JP7612447B2

JP7612447B2 - Display processing device, training system, and display processing method

Info

Publication number: JP7612447B2
Application number: JP2021023908A
Authority: JP
Inventors: 健太郎西田; 健吾牧野; 健輔針本
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 2021-02-18
Filing date: 2021-02-18
Publication date: 2025-01-14
Anticipated expiration: 2041-02-18
Also published as: JP2022126057A

Description

本開示は、表示処理装置、訓練システム及び表示処理方法に関するものである。 The present disclosure relates to a display processing device, a training system, and a display processing method.

従来、車両の運転のための情報処理を実行する運転用情報処理装置が知られている（例えば、特許文献１参照）。運転用情報処理装置は、車両の運転者の視線を検出する視線検出装置を備えており、運転者が特定の範囲を注視した場合、車両以外の部分に設置された通知部に、運転に関する情報を通知している。 There is a known driving information processing device that processes information for driving a vehicle (see, for example, Patent Document 1). The driving information processing device is equipped with a gaze detection device that detects the gaze of the driver of the vehicle, and when the driver gazes at a specific range, it notifies a notification unit installed in a part other than the vehicle of information related to driving.

特開２０１９－１２４８９２号公報JP 2019-124892 A

車両等の輸送機械の操作を訓練するシミュレータを用いた訓練システムでは、操作者が、複数の監視対象物を視認しつつ、輸送機械の操作を行う。特許文献１では、運転に関する情報が、車両以外の部分に設置された通知部に通知されることから、操作者による通知の確認に際して、監視対象物に対する操作者の視認が外れたり、通知内容の把握に負荷が生じたりする。また、操作者が複数の監視対象物を適切に視認しているか否かを把握することが困難となっている。 In a training system using a simulator for training the operation of transportation machinery such as vehicles, an operator operates the transportation machinery while visually checking multiple monitored objects. In Patent Document 1, information related to driving is notified to a notification unit installed in a part other than the vehicle, so when the operator checks the notification, the operator may lose sight of the monitored objects or may have to make a burden in understanding the notification content. In addition, it is difficult to determine whether the operator is properly visually checking multiple monitored objects.

そこで、本開示は、監視対象物への視認を適切に促すことができる表示処理装置、訓練システム及び表示処理方法を提供することを課題とする。 Therefore, the objective of this disclosure is to provide a display processing device, a training system, and a display processing method that can appropriately encourage visibility of monitored objects.

本開示の表示処理装置は、複数の監視対象物に基づいて操作される機械に関する表示処理を実行する表示処理装置において、操作者に対して画像を表示する表示部と、前記画像上における前記操作者の視点位置を検出する視線検出装置と、前記視線検出装置により検出した前記画像上における前記視点位置に基づいて、前記画像への表示処理を実行する制御部と、を備え、前記画像は、前記機械に含まれる前記監視対象物の表示領域となる対象領域を含み、前記制御部は、前記視点位置を含む前記画像上の前記表示領域を視認領域とすると、前記視認領域以外の領域である非視認領域に含まれる前記対象領域に対して表示処理を実行する。 The display processing device of the present disclosure is a display processing device that executes display processing related to a machine operated based on multiple monitored objects, and includes a display unit that displays an image to an operator, a gaze detection device that detects the viewpoint position of the operator on the image, and a control unit that executes display processing on the image based on the viewpoint position on the image detected by the gaze detection device, the image includes a target area that is a display area of the monitored objects included in the machine, and the control unit executes display processing on the target area included in a non-visual area that is an area other than the visible area, assuming that the display area on the image including the viewpoint position is a visible area.

本開示の訓練システムは、上記の表示処理装置と、複数の前記監視対象物を含む前記機械の動作を模擬するシミュレータと、を備える。 The training system of the present disclosure includes the above-mentioned display processing device and a simulator that simulates the operation of the machine including multiple monitored objects.

本開示の表示処理方法は、操作者に対して画像を表示する表示部を備える表示処理装置に、複数の監視対象物に基づいて操作される機械に関する表示処理を実行させる表示処理方法において、前記画像上における前記操作者の視点位置を検出するステップと、検出した前記画像上における前記視点位置に基づいて、前記画像への表示処理を実行するステップと、を備え、前記画像は、前記機械に含まれる前記監視対象物の表示領域となる対象領域を含み、前記表示処理を実行するステップでは、前記視点位置を含む前記画像上の前記表示領域を視認領域とすると、前記視認領域以外の領域である非視認領域に含まれる前記対象領域に対して表示処理を実行する。 The display processing method disclosed herein is a display processing method for causing a display processing device having a display unit that displays an image to an operator to execute display processing related to a machine operated based on multiple monitored objects, the display processing method comprising the steps of: detecting the viewpoint position of the operator on the image; and executing display processing on the image based on the detected viewpoint position on the image, the image including a target area that is a display area for the monitored objects included in the machine, and in the step of executing display processing, when the display area on the image including the viewpoint position is taken as a visible area, display processing is executed on the target area included in a non-visual area that is an area other than the visible area.

本開示によれば、監視対象物への視認を適切に促すことができる。 This disclosure makes it possible to appropriately encourage visibility of the monitored object.

図１は、実施形態１に係る訓練システムを模式的に示す概略構成図である。FIG. 1 is a schematic configuration diagram illustrating a training system according to a first embodiment. 図２は、実施形態１に係る訓練システムのブロック図である。FIG. 2 is a block diagram of the training system according to the first embodiment. 図３は、表示部に表示される画像を示す図である。FIG. 3 is a diagram showing an image displayed on the display unit. 図４は、強調表示処理が実行されたときの画像を示す図である。FIG. 4 is a diagram showing an image when the highlighting process is executed. 図５は、強調表示処理が実行されないときの画像を示す図である。FIG. 5 is a diagram showing an image when the highlighting process is not executed. 図６は、実施形態１に係る表示処理方法の一例のフローチャートである。FIG. 6 is a flowchart of an example of a display processing method according to the first embodiment. 図７は、実施形態１に係る表示処理方法の他の一例のフローチャートである。FIG. 7 is a flowchart of another example of the display processing method according to the first embodiment. 図８は、強調表示処理が実行されたときの画像の一例を示す図である。FIG. 8 is a diagram showing an example of an image when the highlighting process is executed. 図９は、強調表示処理が実行されたときの画像の他の一例を示す図である。FIG. 9 is a diagram showing another example of an image when the highlighting process is executed. 図１０は、実施形態２に係る訓練システムにおいて表示部に表示される画像を示す図である。FIG. 10 is a diagram showing an image displayed on a display unit in the training system according to the second embodiment. 図１１は、実施形態２に係る表示処理方法の一例のフローチャートである。FIG. 11 is a flowchart of an example of a display processing method according to the second embodiment.

以下に、本開示に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。 Below, an embodiment of the present disclosure will be described in detail with reference to the drawings. Note that the present invention is not limited to this embodiment. Furthermore, the components in the following embodiments include those that are easily replaceable by a person skilled in the art, or those that are substantially the same. Furthermore, the components described below can be combined as appropriate, and when there are multiple embodiments, the respective embodiments can also be combined.

［実施形態１］
実施形態１に係る訓練システム１は、操作者に対して機械の操作を訓練させるための装置となっており、また、機械の操作に応じた機械の動作を模擬する装置となっている。機械としては、複数の監視対象物に基づいて操作される機械となっており、例えば、車両または航空機等の輸送機械、または複数の機器からなる設備等が適用される。なお、機械は、複数の監視対象物に基づいて操作される機械であればよく、特に限定されない。実施形態１では、航空機の訓練に用いられる訓練システム１として説明する。また、航空機における複数の監視対象物としては、例えば、航空機内の計器等であったり、航空機外の建物等であったりする。この訓練システム１は、航空機の動作を模擬するシミュレータと、操作者に表示する表示部を処理する表示処理装置とが一体化されたシステムとなっている。 [Embodiment 1]
The training system 1 according to the first embodiment is a device for training an operator to operate a machine, and is also a device for simulating the operation of the machine according to the operation of the machine. The machine is a machine operated based on a plurality of monitored objects, and for example, a transport machine such as a vehicle or an aircraft, or a facility consisting of a plurality of devices, is applied. Note that the machine is not particularly limited as long as it is a machine operated based on a plurality of monitored objects. In the first embodiment, the training system 1 is described as being used for training an aircraft. In addition, the plurality of monitored objects in an aircraft may be, for example, instruments inside the aircraft or buildings outside the aircraft. This training system 1 is a system in which a simulator for simulating the operation of an aircraft and a display processing device for processing a display unit for displaying to an operator are integrated.

図１は、実施形態１に係る訓練システムを模式的に示す概略構成図である。図２は、実施形態１に係る訓練システムのブロック図である。図３は、表示部に表示される画像を示す図である。図４は、強調表示処理が実行されたときの画像を示す図である。図５は、強調表示処理が実行されないときの画像を示す図である。図６は、実施形態１に係る表示処理方法の一例のフローチャートである。図７は、実施形態１に係る表示処理方法の他の一例のフローチャートである。 FIG. 1 is a schematic diagram showing a training system according to the first embodiment. FIG. 2 is a block diagram of the training system according to the first embodiment. FIG. 3 is a diagram showing an image displayed on the display unit. FIG. 4 is a diagram showing an image when highlighting processing is executed. FIG. 5 is a diagram showing an image when highlighting processing is not executed. FIG. 6 is a flowchart of an example of a display processing method according to the first embodiment. FIG. 7 is a flowchart of another example of a display processing method according to the first embodiment.

（シミュレータ）
図１及び図２に示すように、訓練システム１は、表示部として機能するヘッドマウントディスプレイ（ＨＤＭ：以下、単にディスプレイという）１１と、視線検出装置１２と、操縦装置１３と、制御装置１５と、を備えている。なお、ディスプレイ１１、視線検出装置１２及び制御装置１５は、表示処理装置として機能する。 (Simulator)
1 and 2, the training system 1 includes a head mounted display (HDM: hereinafter, simply referred to as a display) 11 functioning as a display unit, a gaze detection device 12, a steering device 13, and a control device 15. The display 11, the gaze detection device 12, and the control device 15 function as display processing devices.

ディスプレイ１１は、操作者に対して画像を表示するデバイスである。ディスプレイ１１は、表示する画像として、例えば、図３に示すように、航空機内の監視対象物となる機内オブジェクトＯ１、航空機外の監視対象物となる機外オブジェクトＯ２を表示する画像２０を表示している。つまり、画像２０には、機内オブジェクトＯ１を表示する表示領域と、機外オブジェクトＯ２を表示する表示領域とが含まれている。機内オブジェクトＯ１は、例えば、航空機のフレーム、複数の計器、窓、窓枠等である。機外オブジェクトＯ２は、例えば、建物等である。図３に示すように、画像２０には、機内オブジェクトＯ１である複数の計器を模擬した表示領域となる対象領域Ｅ１が複数含まれている。複数の対象領域Ｅ１に対応する計器としては、例えば、Ａ／Ｓ（対気速度計）、Ａ／Ｉ（姿勢指示計）、ＡＬＴ（高度計）、Ｔ／Ｂ（昇降計）、Ｄ／Ｇ（方位計）、Ｖ／Ｓ（傾斜計）、ＲＰＭ（エンジン回転数）等がある。後述する表示処理は、機内オブジェクトＯ１を表示する表示領域に行われる一方で、機外オブジェクトＯ２を表示する表示領域に行われない処理となっている。 The display 11 is a device that displays an image to an operator. As the image to be displayed, the display 11 displays, for example, an image 20 that displays an in-flight object O1 that is a monitoring object inside the aircraft and an outside-flight object O2 that is a monitoring object outside the aircraft, as shown in FIG. 3. That is, the image 20 includes a display area that displays the in-flight object O1 and a display area that displays the outside-flight object O2. The in-flight object O1 is, for example, the frame of the aircraft, multiple instruments, a window, a window frame, etc. The outside-flight object O2 is, for example, a building, etc. As shown in FIG. 3, the image 20 includes multiple target areas E1 that are display areas that simulate multiple instruments that are the in-flight object O1. Examples of instruments that correspond to the multiple target areas E1 include A/S (airspeed indicator), A/I (attitude indicator), ALT (altimeter), T/B (vertex indicator), D/G (direction indicator), V/S (inclinometer), RPM (engine speed), etc. The display process described below is performed in the display area that displays the inside-aircraft object O1, but is not performed in the display area that displays the outside-aircraft object O2.

また、ディスプレイ１１は、ヘッドマウントディスプレイであることから、ディスプレイ１１（を装着する操作者）の姿勢及び位置を検出している。そして、ディスプレイ１１は、制御装置１５に接続されており、姿勢及び位置に関する情報を制御装置１５へ向けて出力している。また、ディスプレイ１１は、制御装置１５により表示制御されることで、表示処理が行われた画像２０を表示する。 In addition, since the display 11 is a head-mounted display, it detects the posture and position of the display 11 (or the operator wearing the display). The display 11 is connected to the control device 15, and outputs information related to the posture and position to the control device 15. The display 11 is also controlled by the control device 15 to display the image 20 that has been subjected to display processing.

視線検出装置１２は、操作者の視線を検出する装置であり、例えば、アイトラッカーまたはカメラ等の機器が用いられる。視線検出装置１２は、ディスプレイ１１上における操作者の視点位置Ｐを検出する。視線検出装置１２は、制御装置１５に接続されており、視線検出によって得られるディスプレイ１１上の視点位置Ｐに関する情報を、制御装置１５へ向けて出力する。また、視線検出装置１２は、所定のサンプリング周期で視点位置Ｐを検出して制御装置１５へ出力することから、図４及び図５の実線で示すように、制御装置１５は、取得した複数の視点位置Ｐを、視点位置Ｐの移動に関する履歴（移動履歴）として取得可能となっている。 The gaze detection device 12 is a device that detects the gaze of the operator, and may be, for example, an eye tracker or a camera. The gaze detection device 12 detects the operator's viewpoint position P on the display 11. The gaze detection device 12 is connected to the control device 15, and outputs information about the viewpoint position P on the display 11 obtained by gaze detection to the control device 15. In addition, since the gaze detection device 12 detects the viewpoint position P at a predetermined sampling period and outputs it to the control device 15, as shown by the solid lines in Figures 4 and 5, the control device 15 can acquire the acquired multiple viewpoint positions P as a history (movement history) of the movement of the viewpoint position P.

操縦装置１３は、操作者の操作入力を取得する装置である。操縦装置１３は、制御装置１５に接続されており、操作入力に関する情報を、制御装置１５へ向けて出力する。 The control device 13 is a device that acquires operation input from an operator. The control device 13 is connected to the control device 15, and outputs information related to the operation input to the control device 15.

制御装置１５は、航空機の動作を模擬したり、操作者の操作を検出したり、ディスプレイ１１に対する表示制御を行ったりしている。制御装置１５は、制御部２５と、記憶部２６とを有している。 The control device 15 simulates the operation of the aircraft, detects the operations of the operator, and controls the display of the display 11. The control device 15 has a control unit 25 and a memory unit 26.

記憶部２６は、例えば、半導体記憶デバイス、及び磁気記憶デバイス等の任意の記憶デバイスを含む。記憶部２６は、制御部２５の処理結果を一時的に記憶する作業領域として利用されたり、各種プログラム及び各種データを記憶したりしている。記憶部２６は、例えば、各種プログラムとして、航空機の動作を模擬するプログラム、ディスプレイ１１の表示を制御するプログラム、視線検出を行うプログラム、操作検出を行うプログラム等が記憶されている。また、記憶部２６は、各種データとして、視線検出装置１２により検出した視点位置Ｐに関する情報、後述する表示処理に用いられる情報である要求注視比率に関する情報等を記憶している。 The storage unit 26 includes any storage device, such as a semiconductor storage device and a magnetic storage device. The storage unit 26 is used as a working area for temporarily storing the processing results of the control unit 25, and stores various programs and various data. The storage unit 26 stores, for example, various programs such as a program for simulating the operation of an aircraft, a program for controlling the display of the display 11, a program for performing gaze detection, and a program for performing operation detection. The storage unit 26 also stores, as various data, information regarding the viewpoint position P detected by the gaze detection device 12, and information regarding a required gaze ratio, which is information used in the display processing described below.

制御部２５は、例えば、ＣＰＵ（Central Processing Unit）等の集積回路を含んでいる。具体的に、制御部２５は、記憶部２６に記憶されているプログラムに含まれる命令を実行することによって各種機能を実現する。制御部２５は、例えば、ディスプレイ１１の表示を制御するプログラムを実行することにより、ディスプレイ１１に表示される画像２０に対する表示処理を実行する。 The control unit 25 includes an integrated circuit such as a CPU (Central Processing Unit). Specifically, the control unit 25 realizes various functions by executing instructions included in a program stored in the storage unit 26. For example, the control unit 25 executes a program that controls the display of the display 11, thereby performing display processing for the image 20 displayed on the display 11.

ここで、実施形態１では、表示処理として、図４及び図５に示す表示処理を実行している。実施形態１の表示処理は、視点位置Ｐを含む画像２０上の表示領域を視認領域Ｅ２とすると、視認領域Ｅ２以外の領域である非視認領域に含まれる対象領域Ｅ１に対して行われている。具体的に、実施形態１の表示処理は、所定の訓練イベントの実行時において実行されており、訓練イベントに対応付けて、操作者による注視が要求される対象領域Ｅ１となる注視領域Ｅ３が設定されている。図４及び図５に示す表示処理においては、注視領域Ｅ３として、Ａ／Ｓ（対気速度計）、Ａ／Ｉ（姿勢指示計）、ＡＬＴ（高度計）、Ｔ／Ｂ（昇降計）、Ｄ／Ｇ（方位計）、Ｖ／Ｓ（傾斜計）に対応する対象領域Ｅ１が設定されている。なお、注視領域Ｅ３は、上記の対象領域Ｅ１に特に限定されず、航空機を構成する構造物を表示する表示領域であれば、何れの表示領域であってもよい。また、視認領域Ｅ２は、少なくとも視点位置Ｐを含む表示領域であればよく、視点位置Ｐに対応する点としての表示領域であってもよいし、視点位置Ｐを中心とする円形の表示領域であってもよい。 Here, in the first embodiment, the display process shown in FIG. 4 and FIG. 5 is executed as the display process. In the first embodiment, the display process is executed for the target area E1 included in the non-visual area, which is an area other than the visual area E2, assuming that the display area on the image 20 including the viewpoint position P is the visual area E2. Specifically, the display process of the first embodiment is executed when a predetermined training event is executed, and a gaze area E3 is set as the target area E1 to which the operator is required to gaze in association with the training event. In the display process shown in FIG. 4 and FIG. 5, the target area E1 corresponding to the A/S (airspeed indicator), A/I (attitude indicator), ALT (altimeter), T/B (climb indicator), D/G (heading indicator), and V/S (inclinometer) is set as the gaze area E3. Note that the gaze area E3 is not particularly limited to the above-mentioned target area E1, and may be any display area as long as it displays a structure constituting an aircraft. Furthermore, the visual recognition area E2 needs to be a display area that includes at least the viewpoint position P, and may be a display area that is a point corresponding to the viewpoint position P, or may be a circular display area centered on the viewpoint position P.

図４に示すように、制御装置１５の制御部２５は、注視領域Ｅ３を含む画像２０において、視認領域Ｅ２と注視領域Ｅ３とが重複しているか否かを判定し、重複していないと判定すると、表示処理として、重複していない注視領域Ｅ３を強調する強調表示処理を実行する。強調表示としては、図４に示す例として、注視領域Ｅ３の周縁を点灯させる点灯表示となっている。強調表示は、点灯表示に特に限定されず、点滅表示、または拡大表示であってもよい。 As shown in FIG. 4, the control unit 25 of the control device 15 determines whether or not the visual recognition area E2 and the gaze area E3 overlap in the image 20 including the gaze area E3, and if it determines that they do not overlap, executes a highlighting process to highlight the non-overlapping gaze area E3 as a display process. As an example of the highlighting shown in FIG. 4, a lighting display is used to light up the periphery of the gaze area E3. The highlighting is not particularly limited to a lighting display, and may be a flashing display or an enlarged display.

一方で、図５に示すように、制御装置１５の制御部２５は、注視領域Ｅ３を含む画像２０において、視認領域Ｅ２と注視領域Ｅ３とが重複しているか否かを判定し、重複していると判定すると、強調表示処理を実行しない。 On the other hand, as shown in FIG. 5, the control unit 25 of the control device 15 determines whether or not the visual recognition area E2 and the gaze area E3 overlap in the image 20 including the gaze area E3, and if it determines that they overlap, does not execute the highlighting process.

（表示処理方法）
次に、図６を参照して、訓練システム１において実行される表示処理方法の一例について説明する。図６に示す表示処理方法は、複数の注視領域Ｅ３において実行されている。表示処理方法は、訓練システム１による所定の訓練イベントが開始されることで実行される（ステップＳ１）。ステップＳ１の実行後、制御部２５は、視線検出装置１２により操作者の視点位置Ｐを検出して、視点位置Ｐを含む視認領域Ｅ２を取得する（ステップＳ２）。そして、制御部２５は、画像２０上における視認領域Ｅ２に基づいて、画像２０への表示処理を実行するステップＳ３からステップＳ５を実行する。つまり、制御部２５は、取得した視認領域Ｅ２と、設定された注視領域Ｅ３とが重複しているか否かを判定することで、注視の有無を判定している（ステップＳ３）。制御部２５は、視認領域Ｅ２と注視領域Ｅ３とが重複していると判定すると、注視あり（ステップＳ３：Ｙｅｓ）として、注視領域Ｅ３に対する強調表示処理の実行を停止する（ステップＳ４）。一方で、制御部２５は、視認領域Ｅ２と注視領域Ｅ３とが重複していないと判定すると、注視なし（ステップＳ３：Ｎｏ）として、注視領域Ｅ３に対する強調表示処理を実行する（ステップＳ５）。なお、ステップＳ３における視認領域Ｅ２と注視領域Ｅ３との重複判定は、注視時間をパラメータとして加えてもよい。つまり、制御部２５は、ステップＳ３において、視認領域Ｅ２と注視領域Ｅ３とが重複し、注視時間が所定のしきい値以下となる場合、重複していないと判定する。一方で、制御部２５は、ステップＳ３において、視認領域Ｅ２と注視領域Ｅ３とが重複し、注視時間が所定のしきい値よりも長い場合、重複していると判定するようにしてもよい。ステップＳ４またはステップＳ５の実行後、制御部２５は、訓練イベントが終了したか否かを判定する（ステップＳ６）。制御部２５は、訓練イベントが終了したと判定する（ステップＳ６：Ｙｅｓ）と、表示処理に関する一連の制御を終了する。一方で、制御部２５は、訓練イベントが終了していないと判定する（ステップＳ６：Ｎｏ）と、再び、ステップＳ２に進み、訓練イベントが終了するまで、表示処理に関する制御を実行する。 (Display Processing Method)
Next, an example of a display processing method executed in the training system 1 will be described with reference to FIG. 6. The display processing method shown in FIG. 6 is executed in a plurality of gaze areas E3. The display processing method is executed when a predetermined training event is started by the training system 1 (step S1). After executing step S1, the control unit 25 detects the operator's viewpoint position P by the line of sight detection device 12 and acquires a viewing area E2 including the viewpoint position P (step S2). Then, the control unit 25 executes steps S3 to S5 of executing a display process on the image 20 based on the viewing area E2 on the image 20. That is, the control unit 25 determines whether or not the acquired viewing area E2 overlaps with the set viewing area E3 to determine whether or not there is gaze (step S3). When the control unit 25 determines that the viewing area E2 and the viewing area E3 overlap, it determines that there is gaze (step S3: Yes) and stops the execution of the highlighting process on the viewing area E3 (step S4). On the other hand, when the control unit 25 determines that the visual recognition area E2 and the gaze area E3 do not overlap, it executes a highlighting process for the gaze area E3 as no gaze (step S3: No). The gaze time may be added as a parameter to the overlap determination of the visual recognition area E2 and the gaze area E3 in step S3. That is, in step S3, the control unit 25 determines that the visual recognition area E2 and the gaze area E3 do not overlap when they overlap and the gaze time is equal to or less than a predetermined threshold value. On the other hand, in step S3, the control unit 25 may determine that the visual recognition area E2 and the gaze area E3 overlap and the gaze time is longer than a predetermined threshold value. After executing step S4 or step S5, the control unit 25 determines whether the training event has ended (step S6). When the control unit 25 determines that the training event has ended (step S6: Yes), it ends a series of controls related to the display process. On the other hand, if the control unit 25 determines that the training event has not ended (step S6: No), the control unit 25 again proceeds to step S2 and executes control related to the display process until the training event ends.

次に、図７を参照して、訓練システム１において実行される表示処理方法の他の一例について説明する。図７に示す表示処理方法では、ステップＳ３における注視の有無の判定を、注視比率を用いて行っている。注視比率は、所定期間における注視時間の割合である。所定期間は、現在時刻と、現在時刻よりもｔ秒前の時刻との間の期間である。注視時間は、視認領域Ｅ２と注視領域Ｅ３とが重複する時間であり、所定期間ｔにおける積算時間である。図７の表示処理方法では、注視比率として、実注視比率Ｐと要求注視比率Ｐｒｅｆとが用いられる。実注視比率Ｐは、視線検出装置１２により検出された視点位置Ｐに基づく視認領域Ｅ２から算出される数値である。要求注視比率Ｐｒｅｆは、所定の訓練イベントにおける注視領域Ｅ３のそれぞれに予め要求される数値である。要求注視比率Ｐｒｅｆは、予め記憶部２６に記憶されている。 Next, referring to FIG. 7, another example of the display processing method executed in the training system 1 will be described. In the display processing method shown in FIG. 7, the presence or absence of gaze in step S3 is determined using a gaze ratio. The gaze ratio is the ratio of gaze time in a predetermined period. The predetermined period is the period between the current time and a time t seconds before the current time. The gaze time is the time during which the visual recognition area E2 and the gaze area E3 overlap, and is the accumulated time in the predetermined period t. In the display processing method of FIG. 7, the actual gaze ratio P and the required gaze ratio Pref are used as the gaze ratio. The actual gaze ratio P is a numerical value calculated from the visual recognition area E2 based on the viewpoint position P detected by the gaze detection device 12. The required gaze ratio Pref is a numerical value required in advance for each of the gaze areas E3 in a predetermined training event. The required gaze ratio Pref is stored in advance in the storage unit 26.

図７に示す表示処理方法は、図６の表示処理方法と同様に、訓練システム１による所定の訓練イベントが開始されることで実行される（ステップＳ１）。ステップＳ１の実行後、制御部２５は、視線検出装置１２により操作者の視点位置Ｐを検出して、視点位置Ｐを含む視認領域Ｅ２を取得する（ステップＳ２）。そして、制御部２５は、画像２０上における視認領域Ｅ２に基づいて、画像２０への表示処理を実行するステップＳ３ａからステップＳ３ｃを実行し、この後、図６の表示処理方法と同様にステップＳ４からステップＳ６を実行する。 The display processing method shown in FIG. 7 is executed when a predetermined training event is started by the training system 1, similar to the display processing method of FIG. 6 (step S1). After executing step S1, the control unit 25 detects the operator's viewpoint position P by the gaze detection device 12, and obtains a visual recognition area E2 including the viewpoint position P (step S2). Then, the control unit 25 executes steps S3a to S3c to execute display processing on the image 20 based on the visual recognition area E2 on the image 20, and then executes steps S4 to S6 similar to the display processing method of FIG. 6.

具体的に、制御部２５は、取得した視認領域Ｅ２と、設定された注視領域Ｅ３とが重複しているか否かを判定し、重複している場合には、注視時間としてカウントする（ステップＳ３ａ）。また、制御部２５は、ステップＳ３ａにおいて、所定期間ｔに対する注視時間の割合である実注視比率Ｐを算出する。この後、制御部２５は、記憶部２６から要求注視比率Ｐｒｅｆを取得する（ステップＳ３ｂ）。そして、制御部２５は、算出した実注視比率Ｐと、取得した要求注視比率Ｐｒｅｆとを比較することで、注視の有無を判定している（ステップＳ３ｃ）。つまり、ステップＳ３ｃにおいて、制御部２５は、実注視比率Ｐが要求注視比率Ｐｒｅｆよりも大きいか否かを判定する。制御部２５は、実注視比率Ｐが要求注視比率Ｐｒｅｆよりも大きいと判定すると、注視あり（ステップＳ３ｃ：Ｙｅｓ）として、注視領域Ｅ３に対する強調表示処理を実行しない（ステップＳ４）。一方で、制御部２５は、実注視比率Ｐが要求注視比率Ｐｒｅｆ以下であると判定すると、注視なし（ステップＳ３ｃ：Ｎｏ）として、注視領域Ｅ３に対する強調表示処理の実行を停止する（ステップＳ５）。ステップＳ４またはステップＳ５の実行後、制御部２５は、図６の表示処理方法と同様に、訓練イベントが終了したか否かを判定する（ステップＳ６）。制御部２５は、訓練イベントが終了したと判定する（ステップＳ６：Ｙｅｓ）と、表示処理に関する一連の制御を終了する。一方で、制御部２５は、訓練イベントが終了していないと判定する（ステップＳ６：Ｎｏ）と、再び、ステップＳ２に進み、訓練イベントが終了するまで、表示処理に関する制御を実行する。 Specifically, the control unit 25 determines whether the acquired visual recognition area E2 overlaps with the set gaze area E3, and if so, counts it as gaze time (step S3a). In addition, in step S3a, the control unit 25 calculates the actual gaze ratio P, which is the ratio of the gaze time to the predetermined period t. After that, the control unit 25 acquires the required gaze ratio Pref from the storage unit 26 (step S3b). Then, the control unit 25 compares the calculated actual gaze ratio P with the acquired required gaze ratio Pref to determine whether or not gaze is present (step S3c). That is, in step S3c, the control unit 25 determines whether or not the actual gaze ratio P is greater than the required gaze ratio Pref. If the control unit 25 determines that the actual gaze ratio P is greater than the required gaze ratio Pref, it determines that gaze is present (step S3c: Yes) and does not execute the highlighting process for the gaze area E3 (step S4). On the other hand, when the control unit 25 determines that the actual gaze ratio P is equal to or less than the required gaze ratio Pref, it determines that there is no gaze (step S3c: No) and stops the execution of the highlighting process for the gaze area E3 (step S5). After executing step S4 or step S5, the control unit 25 determines whether the training event has ended (step S6), similar to the display processing method of FIG. 6. When the control unit 25 determines that the training event has ended (step S6: Yes), it ends a series of controls related to the display processing. On the other hand, when the control unit 25 determines that the training event has not ended (step S6: No), it proceeds to step S2 again and executes control related to the display processing until the training event ends.

なお、上記した強調表示処理は一例であり、上記の処理に特に限定されない。例えば、制御部２５は、強調表示処理として、例えば、図８及び図９に示す強調表示処理を実行してもよい。図８は、強調表示処理が実行されたときの画像の一例を示す図である。図９は、強調表示処理が実行されたときの画像の他の一例を示す図である。 The above-described highlighting process is an example, and the highlighting process is not particularly limited to the above process. For example, the control unit 25 may execute the highlighting process shown in FIG. 8 and FIG. 9 as the highlighting process. FIG. 8 is a diagram showing an example of an image when the highlighting process is executed. FIG. 9 is a diagram showing another example of an image when the highlighting process is executed.

図８は、訓練イベントの切り替えによって、所定の注視領域Ｅ３に対応付けられた要求注視比率Ｐｒｅｆが大きくなった場合の画像２０を示している。具体的に、図８では、Ａ／Ｉ（姿勢指示計）の注視領域Ｅ３に対応する要求注視比率Ｐｒｅｆが、訓練イベントの切り替え前後において大きくなった場合となっており、この場合、制御部２５は、図７に示す表示処理方法に基づいて、制御部２５が、Ａ／Ｉ（姿勢指示計）の注視領域Ｅ３に対して強調表示処理を実行している。 Figure 8 shows an image 20 in which the required gaze ratio Pref associated with a specified gaze area E3 increases due to a change in training event. Specifically, Figure 8 shows a case in which the required gaze ratio Pref corresponding to the gaze area E3 of the A/I (attitude indicator) increases before and after a change in training event, and in this case, the control unit 25 performs highlighting processing on the gaze area E3 of the A/I (attitude indicator) based on the display processing method shown in Figure 7.

図９は、強調表示処理における強調表示の表示形態が、拡大表示となっている。つまり、制御部２５は、強調表示処理の対象となる注視領域Ｅ３が、より大きな表示領域となるように拡大表示を実行してもよい。 In FIG. 9, the display form of the highlighting in the highlighting process is an enlarged display. In other words, the control unit 25 may execute the enlargement so that the gaze area E3 that is the target of the highlighting process becomes a larger display area.

また、実施形態１の強調表示処理において、制御部２５は、実注視比率Ｐに基づいて強調表示の強度を変化させてもよい。つまり、強調表示処理において、実注視比率Ｐが要求注視比率Ｐｒｅｆよりも大幅に小さい場合、点灯表示の明度を明るくし、要求注視比率Ｐｒｅｆに近づくにつれて、明度を暗くなるようにしてもよい。また、制御部２５は、実注視比率Ｐの他、非注視時間（視認領域Ｅ２と注視領域Ｅ３とが重複していない時間）の長さに応じて強調表示の強度を変化させてもよい。さらに、制御部２５は、実注視比率Ｐが所定のしきい値より小さい状態となる時間に応じて、強調表示の強度を変化させてもよい。 In addition, in the highlighting process of embodiment 1, the control unit 25 may change the intensity of the highlighting based on the actual gaze ratio P. That is, in the highlighting process, when the actual gaze ratio P is significantly smaller than the required gaze ratio Pref, the brightness of the illuminated display may be brightened, and as it approaches the required gaze ratio Pref, the brightness may be darkened. In addition, the control unit 25 may change the intensity of the highlighting according to the length of non-gazing time (the time during which the visual recognition area E2 and the gaze area E3 do not overlap) in addition to the actual gaze ratio P. Furthermore, the control unit 25 may change the intensity of the highlighting according to the time during which the actual gaze ratio P is smaller than a predetermined threshold value.

また、実施形態１では、複数の計器に対応する対象領域Ｅ１を、注視領域Ｅ３として設定したが、設定対象となる注視領域Ｅ３は、機内オブジェクトＯ１であれば、何れの表示領域であってもよい。例えば、注視領域Ｅ３として、外の注視を要求する場合、制御部２５は、機内オブジェクトＯ１としての窓、窓枠を強調表示処理してもよい。 In addition, in the first embodiment, the target area E1 corresponding to multiple instruments is set as the gaze area E3, but the gaze area E3 to be set may be any display area of the in-flight object O1. For example, when requesting gaze outside as the gaze area E3, the control unit 25 may highlight a window or window frame as the in-flight object O1.

また、制御部２５は、表示処理の実行に関する履歴を履歴データとして、記憶部２６に記憶させておき、履歴データを用いた評価を実行してもよい。 The control unit 25 may also store the history of the execution of the display process as history data in the storage unit 26 and perform evaluation using the history data.

［実施形態２］
次に、図１０及び図１１を参照して、実施形態２について説明する。なお、実施形態２では、重複した記載を避けるべく、実施形態１と異なる部分について説明し、実施形態１と同様の構成である部分については、同じ符号を付して説明する。図１０は、実施形態２に係る訓練システムにおいて表示部に表示される画像を示す図である。図１１は、実施形態２に係る表示処理方法の一例のフローチャートである。 [Embodiment 2]
Next, a second embodiment will be described with reference to Fig. 10 and Fig. 11. In the second embodiment, in order to avoid repetitive description, only parts different from the first embodiment will be described, and parts having the same configuration as the first embodiment will be described with the same reference numerals. Fig. 10 is a diagram showing an image displayed on a display unit in a training system according to the second embodiment. Fig. 11 is a flowchart of an example of a display processing method according to the second embodiment.

実施形態２では、図１０に示すように、制御部２５による表示処理として、非視認領域Ｅ５を隠すマスク表示処理を実行している。非視認領域Ｅ５は、視認領域Ｅ２以外の領域である。つまり、制御部２５は、画像２０上において、視認領域Ｅ２が重複しているか否かを判定し、視認領域Ｅ２が重複していない、すなわち非視認領域Ｅ５であると判定すると、表示処理として、非視認領域Ｅ５を隠すマスク表示処理を実行する。マスク表示処理としては、図１０に示す例として、非視認領域Ｅ５をぼかすぼかし表示となっている。マスク表示は、ぼかし表示に特に限定されず、非視認領域Ｅ５を隠すような表示処理であれば、何れの表示処理であってもよい。 In the second embodiment, as shown in FIG. 10, the control unit 25 executes a mask display process to hide the non-visual area E5 as a display process. The non-visual area E5 is an area other than the visual area E2. That is, the control unit 25 determines whether the visual area E2 overlaps on the image 20, and if it determines that the visual area E2 does not overlap, i.e., is the non-visual area E5, executes a mask display process to hide the non-visual area E5 as a display process. As an example of the mask display process shown in FIG. 10, a blurred display is performed to blur the non-visual area E5. The mask display is not particularly limited to a blurred display, and may be any display process that hides the non-visual area E5.

（表示処理方法）
次に、図１１を参照して、訓練システム１において実行される実施形態２に係る表示処理方法の一例について説明する。図１１に示す表示処理方法は、図６に示す表示処理方法のステップＳ３からステップＳ５を、ステップＳ１３からステップＳ１５に代えたものとなっている。以下では、ステップＳ１３からステップＳ１５までを説明する。 (Display Processing Method)
Next, an example of a display processing method according to the second embodiment executed in the training system 1 will be described with reference to Fig. 11. The display processing method shown in Fig. 11 is obtained by replacing steps S3 to S5 of the display processing method shown in Fig. 6 with steps S13 to S15. Steps S13 to S15 will be described below.

制御部２５は、ステップＳ２において、視認領域Ｅ２を取得すると、画像２０上において、視認領域Ｅ２重複しているか否かを判定する（ステップＳ１３）。制御部２５は、画像２０に対して視認領域Ｅ２が重複していると判定する（ステップＳ１３：Ｙｅｓ）と、視認領域Ｅ２に対するぼかし処理の実行を停止する（ステップＳ１４）。一方で、制御部２５は、画像２０に対して視認領域Ｅ２が重複していない、すなわち、非視認領域Ｅ５であると判定する（ステップＳ１３：Ｎｏ）と、非視認領域Ｅ５に対するぼかし処理を実行する（ステップＳ１５）。この後、制御部２５は、図６のステップＳ６を実行して、一連の制御を終了する。 When the control unit 25 acquires the visual recognition area E2 in step S2, it determines whether or not the visual recognition area E2 overlaps on the image 20 (step S13). If the control unit 25 determines that the visual recognition area E2 overlaps with the image 20 (step S13: Yes), it stops the execution of the blurring process on the visual recognition area E2 (step S14). On the other hand, if the control unit 25 determines that the visual recognition area E2 does not overlap with the image 20, that is, it is a non-visual recognition area E5 (step S13: No), it executes the blurring process on the non-visual recognition area E5 (step S15). Thereafter, the control unit 25 executes step S6 in FIG. 6 to end the series of controls.

以上のように、本実施形態に記載の表示処理装置、訓練システム１及び表示処理方法は、例えば、以下のように把握される。 As described above, the display processing device, training system 1, and display processing method described in this embodiment can be understood, for example, as follows.

第１の態様に係る表示処理装置は、複数の監視対象物を含む機械に関する表示処理を実行する表示処理装置において、操作者に対して画像２０を表示する表示部（ディスプレイ１１）と、前記画像２０上における前記操作者の視点位置Ｐを検出する視線検出装置１２と、前記視線検出装置１２により検出した前記画像２０上における前記視点位置Ｐに基づいて、前記画像２０への表示処理を実行する制御部２５と、を備え、前記画像２０は、前記監視対象物の表示領域となる対象領域Ｅ１を含み、前記制御部２５は、前記視点位置Ｐを含む前記画像２０上の前記表示領域を視認領域Ｅ２とすると、前記視認領域Ｅ２以外の領域である非視認領域Ｅ５に含まれる前記対象領域Ｅ１に対して表示処理を実行する。 The display processing device according to the first aspect is a display processing device that executes display processing related to a machine including multiple monitored objects, and includes a display unit (display 11) that displays an image 20 to an operator, a gaze detection device 12 that detects the viewpoint position P of the operator on the image 20, and a control unit 25 that executes display processing on the image 20 based on the viewpoint position P on the image 20 detected by the gaze detection device 12, the image 20 includes a target area E1 that is a display area of the monitored objects, and the control unit 25 executes display processing on the target area E1 included in a non-visual area E5 that is an area other than the visual area E2, assuming that the display area on the image 20 including the viewpoint position P is the visual area E2.

この構成によれば、非視認領域Ｅ５に含まれる対象領域Ｅ１に対して表示処理を実行することにより、注視されていない監視対象物への視認を適切に促すことができる。 With this configuration, by executing a display process on the target area E1 included in the non-visual area E5, it is possible to appropriately encourage the viewer to view a monitored object that is not being watched.

第２の態様として、前記画像２０は、前記操作者による注視が要求される前記対象領域となる注視領域Ｅ３を含み、前記制御部２５は、前記視認領域Ｅ２と前記注視領域Ｅ３とが重複していないと判定すると、前記表示処理として、前記注視領域Ｅ３を強調する強調表示処理を実行する。 In a second aspect, the image 20 includes a gaze area E3 that is the target area where the operator is required to gaze, and when the control unit 25 determines that the visual confirmation area E2 and the gaze area E3 do not overlap, the control unit 25 executes a highlighting process to highlight the gaze area E3 as the display process.

この構成によれば、注視が要求される注視領域Ｅ３が注視されていない場合、注視されていない注視領域Ｅ３を強調表示することができるため、注視されていない注視領域Ｅ３への視認を適切に促すことができる。 With this configuration, when the gaze area E3 that requires attention is not being gazed at, the gaze area E3 that is not being gazed at can be highlighted, thereby appropriately encouraging the viewer to look at the gaze area E3 that is not being gazed at.

第３の態様として、前記制御部２５は、前記視認領域Ｅ２と前記注視領域Ｅ３とが重複する時間を注視時間として取得し、前記強調表示処理において、所定期間における前記注視時間の割合である実注視比率Ｐと、前記注視領域Ｅ３に対して予め要求される要求注視比率Ｐｒｅｆとを用いており、前記実注視比率Ｐが前記要求注視比率Ｐｒｅｆよりも大きくなる場合、前記強調表示処理の実行を停止する一方で、前記実注視比率Ｐが前記要求注視比率Ｐｒｅｆ以下となる場合、前記強調表示処理を実行する。 In a third aspect, the control unit 25 acquires the time during which the visual recognition area E2 and the gaze area E3 overlap as the gaze time, and in the highlighting process, uses an actual gaze ratio P, which is the ratio of the gaze time in a specified period, and a required gaze ratio Pref, which is required in advance for the gaze area E3. If the actual gaze ratio P is greater than the required gaze ratio Pref, the execution of the highlighting process is stopped, whereas if the actual gaze ratio P is equal to or less than the required gaze ratio Pref, the highlighting process is executed.

この構成によれば、要求注視比率と実注視比率とに基づいて、強調表示処理の実行の有無を判定することができるため、注視領域Ｅ３に対する注視が好適に実施されていたか否かを適切に判定することができる。 With this configuration, it is possible to determine whether or not highlighting processing is performed based on the required gaze ratio and the actual gaze ratio, so it is possible to appropriately determine whether or not gaze on the gaze area E3 has been performed appropriately.

第４の態様として、前記制御部２５は、前記強調表示処理を実行する場合、前記実注視比率Ｐに基づいて強調表示の強度を変化させる。 As a fourth aspect, when the control unit 25 executes the highlighting process, it changes the intensity of the highlighting based on the actual gaze ratio P.

この構成によれば、注視領域Ｅ３に対する注視時間の割合に応じて、強調表示の強度を変化させることにより、注視領域Ｅ３への注視の度合いを把握することができる。 With this configuration, the intensity of the highlighting can be changed depending on the proportion of gaze time on the gaze area E3, making it possible to grasp the degree of gaze on the gaze area E3.

第５の態様として、前記制御部２５は、前記視認領域Ｅ２と前記注視領域Ｅ３とが重複しない時間を非注視時間として取得し、前記強調表示処理を実行する場合、前記非注視時間に基づいて強調表示の強度を変化させる。 As a fifth aspect, the control unit 25 obtains the time during which the visual recognition area E2 and the gaze area E3 do not overlap as non-gaze time, and when executing the highlighting process, changes the intensity of the highlighting based on the non-gaze time.

この構成によれば、非注視時間の長さに応じて、強調表示の強度を変化させることにより、注視領域Ｅ３への注視の度合いを把握することができる。 With this configuration, the intensity of the highlighting can be changed depending on the length of non-gazing time, making it possible to grasp the degree of attention to the gaze area E3.

第６の態様として、前記強調表示処理は、点灯表示、点滅表示、拡大表示の少なくとも一つを含む表示処理である。 As a sixth aspect, the highlighting process is a display process that includes at least one of a lit display, a blinking display, and an enlarged display.

この構成によれば、注視領域Ｅ３に適した表示形態とすることができる。 This configuration allows for a display form that is suitable for the gaze area E3.

第７の態様として、前記制御部２５は、前記表示処理として、前記非視認領域Ｅ５を隠すマスク表示処理を実行する。 As a seventh aspect, the control unit 25 executes a mask display process to hide the non-visible area E5 as the display process.

この構成によれば、非視認領域Ｅ５を隠すことで、非視認領域Ｅ５に含まれる対象領域Ｅ１への視認を促すことができる。 With this configuration, by hiding the non-visual area E5, it is possible to encourage viewing of the target area E1 contained in the non-visual area E5.

第８の態様に係る訓練システム１は、上記の表示処理装置と、複数の前記監視対象物を含む前記機械の動作を模擬するシミュレータと、を備える。 The training system 1 according to the eighth aspect includes the display processing device described above and a simulator that simulates the operation of the machine including the multiple monitored objects.

この構成によれば、操作者に対して、注視していない監視対象物への視認を適切に促すことで、適切な訓練を実施することができる。 This configuration allows the operator to be appropriately prompted to look at monitored objects that they are not focusing on, allowing for appropriate training.

第９の態様に係る表示処理方法は、操作者に対して画像を表示する表示部（ディスプレイ１１）を備える表示処理装置に、複数の監視対象物を含む機械に関する表示処理を実行させる表示処理方法において、前記画像２０上における前記操作者の視点位置を検出するステップＳ２と、検出した前記画像２０上における前記視点位置Ｐに基づいて、前記画像２０への表示処理を実行するステップＳ３～Ｓ５，Ｓ１３～Ｓ１５と、を備え、前記画像２０は、前記監視対象物の表示領域となる対象領域Ｅ１を含み、前記表示処理を実行するステップＳ３～Ｓ５，Ｓ１３～Ｓ１５では、前記視点位置Ｐを含む前記画像２０上の前記表示領域を視認領域Ｅ２とすると、前記視認領域Ｅ２以外の領域である非視認領域Ｅ５に含まれる前記対象領域Ｅ１に対して表示処理を実行する。 The display processing method according to the ninth aspect is a display processing method for causing a display processing device having a display unit (display 11) that displays an image to an operator to execute display processing related to a machine including multiple monitored objects, the display processing method including step S2 of detecting the viewpoint position of the operator on the image 20, and steps S3 to S5 and S13 to S15 of executing display processing on the image 20 based on the detected viewpoint position P on the image 20, the image 20 including a target area E1 that is a display area of the monitored objects, and in steps S3 to S5 and S13 to S15 of executing the display processing, if the display area on the image 20 including the viewpoint position P is defined as a visible area E2, the display processing is executed on the target area E1 included in a non-visual area E5 that is an area other than the visible area E2.

１訓練システム
１１ディスプレイ
１２視線検出装置
１３操縦装置
１５制御装置
２０画像
２５制御部
２６記憶部
Ｅ１対象領域
Ｅ２視認領域
Ｅ３注視領域
Ｅ５非視認領域
Ｐ視点位置
Ｏ１機内オブジェクト
Ｏ２機外オブジェクト REFERENCE SIGNS LIST 1 training system 11 display 12 gaze detection device 13 piloting device 15 control device 20 image 25 control unit 26 memory unit E1 target area E2 visual recognition area E3 gaze area E5 non-visual recognition area P viewpoint position O1 in-flight object O2 outside-flight object

Claims

A display processing device that performs display processing related to a machine operated based on a plurality of monitored objects,
a display unit that displays an image to an operator;
a gaze detection device for detecting a gaze position of the operator on the image;
a control unit that executes a display process on the image based on the viewpoint position on the image detected by the line-of-sight detection device,
the image includes a region of interest that is a representation of the monitored object contained in the machine;
The control unit is
When the display area on the image including the viewpoint position is defined as a visual recognition area, a display process is performed on the target area included in a non-visual recognition area that is an area other than the visual recognition area,
the image includes a gaze area that is the target area on which gaze by the operator is required,
When the control unit determines that the visual recognition area and the gaze area do not overlap, the control unit executes, as the display process, an emphasis display process that emphasizes the gaze area .

The control unit is
A time during which the visual recognition area and the gaze area overlap is acquired as a gaze time;
In the highlighting process, an actual gaze ratio, which is a ratio of the gaze time in a predetermined period, and a required gaze ratio, which is previously required for the gaze area, are used,
When the actual gaze ratio is greater than the required gaze ratio, the execution of the highlighting process is stopped, while
The display processing device according to claim 1 , wherein the highlighting process is executed when the actual gaze ratio is equal to or smaller than the required gaze ratio.

The display processing device according to claim 2 , wherein the control unit, when executing the highlighting process, changes an intensity of highlighting based on the actual gaze ratio.

The control unit is
A time during which the visual recognition area and the gaze area do not overlap is acquired as a non-gaze time;
The display processing device according to claim 2 , wherein, when the highlighting process is executed, an intensity of the highlighting is changed based on the non-gazing time.

The display processing device according to claim 1 , wherein the highlighting process includes at least one of a lighting display, a blinking display, and an enlarged display.

The display processing device according to claim 1 , wherein the control unit executes, as the display process, a mask display process for hiding the non-visual area.

A display processing device that performs display processing related to a machine operated based on a plurality of monitored objects,
a display unit that displays an image to an operator;
a gaze detection device for detecting a gaze position of the operator on the image;
a control unit that executes a display process on the image based on the viewpoint position on the image detected by the line-of-sight detection device,
the image includes a region of interest that is a representation of the monitored object contained in the machine;
The control unit is
A display processing device that performs display processing on the target area included in a non-visual area, which is an area other than the visible area, when the display area on the image including the viewpoint position is considered to be a visible area, and performs a mask display processing to hide the non-visual area as the display processing.

A display processing device according to any one of claims 1 to 7,
a simulator that simulates the operation of the machine including a plurality of the monitored objects.

A display processing method for causing a display processing device having a display unit that displays an image to an operator to execute display processing related to a machine operated based on a plurality of monitored objects, comprising:
detecting a viewpoint position of the operator on the image;
and executing a display process on the image based on the detected viewpoint position on the image,
the image includes a region of interest that is a representation of the monitored object contained in the machine;
In the step of executing the display process,
When the display area on the image including the viewpoint position is defined as a visual recognition area, a display process is performed on the target area included in a non-visual recognition area that is an area other than the visual recognition area,
the image includes a gaze area that is the target area on which gaze by the operator is required,
In the step of executing the display process,
a display processing method for executing, as the display processing, a highlighting process for highlighting the gaze area when it is determined that the visual recognition area and the gaze area do not overlap ;

A display processing method for causing a display processing device having a display unit that displays an image to an operator to execute display processing related to a machine operated based on a plurality of monitored objects, comprising:
detecting a viewpoint position of the operator on the image;
and executing a display process on the image based on the detected viewpoint position on the image,
the image includes a region of interest that is a representation of the monitored object contained in the machine;
In the step of executing the display process,
A display processing method in which, when the display area on the image including the viewpoint position is defined as a visible area, a display process is performed on the target area included in a non-visual area, which is an area other than the visible area, and as the display process, a mask display process is performed to hide the non-visual area.