JP7612447B2 - 表示処理装置、訓練システム及び表示処理方法 - Google Patents

Description

本開示は、表示処理装置、訓練システム及び表示処理方法に関するものである。

従来、車両の運転のための情報処理を実行する運転用情報処理装置が知られている（例えば、特許文献１参照）。運転用情報処理装置は、車両の運転者の視線を検出する視線検出装置を備えており、運転者が特定の範囲を注視した場合、車両以外の部分に設置された通知部に、運転に関する情報を通知している。

特開２０１９－１２４８９２号公報

車両等の輸送機械の操作を訓練するシミュレータを用いた訓練システムでは、操作者が、複数の監視対象物を視認しつつ、輸送機械の操作を行う。特許文献１では、運転に関する情報が、車両以外の部分に設置された通知部に通知されることから、操作者による通知の確認に際して、監視対象物に対する操作者の視認が外れたり、通知内容の把握に負荷が生じたりする。また、操作者が複数の監視対象物を適切に視認しているか否かを把握することが困難となっている。

そこで、本開示は、監視対象物への視認を適切に促すことができる表示処理装置、訓練システム及び表示処理方法を提供することを課題とする。

本開示の表示処理装置は、複数の監視対象物に基づいて操作される機械に関する表示処理を実行する表示処理装置において、操作者に対して画像を表示する表示部と、前記画像上における前記操作者の視点位置を検出する視線検出装置と、前記視線検出装置により検出した前記画像上における前記視点位置に基づいて、前記画像への表示処理を実行する制御部と、を備え、前記画像は、前記機械に含まれる前記監視対象物の表示領域となる対象領域を含み、前記制御部は、前記視点位置を含む前記画像上の前記表示領域を視認領域とすると、前記視認領域以外の領域である非視認領域に含まれる前記対象領域に対して表示処理を実行する。

本開示の訓練システムは、上記の表示処理装置と、複数の前記監視対象物を含む前記機械の動作を模擬するシミュレータと、を備える。

本開示の表示処理方法は、操作者に対して画像を表示する表示部を備える表示処理装置に、複数の監視対象物に基づいて操作される機械に関する表示処理を実行させる表示処理方法において、前記画像上における前記操作者の視点位置を検出するステップと、検出した前記画像上における前記視点位置に基づいて、前記画像への表示処理を実行するステップと、を備え、前記画像は、前記機械に含まれる前記監視対象物の表示領域となる対象領域を含み、前記表示処理を実行するステップでは、前記視点位置を含む前記画像上の前記表示領域を視認領域とすると、前記視認領域以外の領域である非視認領域に含まれる前記対象領域に対して表示処理を実行する。

本開示によれば、監視対象物への視認を適切に促すことができる。

図１は、実施形態１に係る訓練システムを模式的に示す概略構成図である。 図２は、実施形態１に係る訓練システムのブロック図である。 図３は、表示部に表示される画像を示す図である。 図４は、強調表示処理が実行されたときの画像を示す図である。 図５は、強調表示処理が実行されないときの画像を示す図である。 図６は、実施形態１に係る表示処理方法の一例のフローチャートである。 図７は、実施形態１に係る表示処理方法の他の一例のフローチャートである。 図８は、強調表示処理が実行されたときの画像の一例を示す図である。 図９は、強調表示処理が実行されたときの画像の他の一例を示す図である。 図１０は、実施形態２に係る訓練システムにおいて表示部に表示される画像を示す図である。 図１１は、実施形態２に係る表示処理方法の一例のフローチャートである。

以下に、本開示に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。

［実施形態１］
実施形態１に係る訓練システム１は、操作者に対して機械の操作を訓練させるための装置となっており、また、機械の操作に応じた機械の動作を模擬する装置となっている。機械としては、複数の監視対象物に基づいて操作される機械となっており、例えば、車両または航空機等の輸送機械、または複数の機器からなる設備等が適用される。なお、機械は、複数の監視対象物に基づいて操作される機械であればよく、特に限定されない。実施形態１では、航空機の訓練に用いられる訓練システム１として説明する。また、航空機における複数の監視対象物としては、例えば、航空機内の計器等であったり、航空機外の建物等であったりする。この訓練システム１は、航空機の動作を模擬するシミュレータと、操作者に表示する表示部を処理する表示処理装置とが一体化されたシステムとなっている。

図１は、実施形態１に係る訓練システムを模式的に示す概略構成図である。図２は、実施形態１に係る訓練システムのブロック図である。図３は、表示部に表示される画像を示す図である。図４は、強調表示処理が実行されたときの画像を示す図である。図５は、強調表示処理が実行されないときの画像を示す図である。図６は、実施形態１に係る表示処理方法の一例のフローチャートである。図７は、実施形態１に係る表示処理方法の他の一例のフローチャートである。

（シミュレータ）
図１及び図２に示すように、訓練システム１は、表示部として機能するヘッドマウントディスプレイ（ＨＤＭ：以下、単にディスプレイという）１１と、視線検出装置１２と、操縦装置１３と、制御装置１５と、を備えている。なお、ディスプレイ１１、視線検出装置１２及び制御装置１５は、表示処理装置として機能する。

ディスプレイ１１は、操作者に対して画像を表示するデバイスである。ディスプレイ１１は、表示する画像として、例えば、図３に示すように、航空機内の監視対象物となる機内オブジェクトＯ１、航空機外の監視対象物となる機外オブジェクトＯ２を表示する画像２０を表示している。つまり、画像２０には、機内オブジェクトＯ１を表示する表示領域と、機外オブジェクトＯ２を表示する表示領域とが含まれている。機内オブジェクトＯ１は、例えば、航空機のフレーム、複数の計器、窓、窓枠等である。機外オブジェクトＯ２は、例えば、建物等である。図３に示すように、画像２０には、機内オブジェクトＯ１である複数の計器を模擬した表示領域となる対象領域Ｅ１が複数含まれている。複数の対象領域Ｅ１に対応する計器としては、例えば、Ａ／Ｓ（対気速度計）、Ａ／Ｉ（姿勢指示計）、ＡＬＴ（高度計）、Ｔ／Ｂ（昇降計）、Ｄ／Ｇ（方位計）、Ｖ／Ｓ（傾斜計）、ＲＰＭ（エンジン回転数）等がある。後述する表示処理は、機内オブジェクトＯ１を表示する表示領域に行われる一方で、機外オブジェクトＯ２を表示する表示領域に行われない処理となっている。

また、ディスプレイ１１は、ヘッドマウントディスプレイであることから、ディスプレイ１１（を装着する操作者）の姿勢及び位置を検出している。そして、ディスプレイ１１は、制御装置１５に接続されており、姿勢及び位置に関する情報を制御装置１５へ向けて出力している。また、ディスプレイ１１は、制御装置１５により表示制御されることで、表示処理が行われた画像２０を表示する。

視線検出装置１２は、操作者の視線を検出する装置であり、例えば、アイトラッカーまたはカメラ等の機器が用いられる。視線検出装置１２は、ディスプレイ１１上における操作者の視点位置Ｐを検出する。視線検出装置１２は、制御装置１５に接続されており、視線検出によって得られるディスプレイ１１上の視点位置Ｐに関する情報を、制御装置１５へ向けて出力する。また、視線検出装置１２は、所定のサンプリング周期で視点位置Ｐを検出して制御装置１５へ出力することから、図４及び図５の実線で示すように、制御装置１５は、取得した複数の視点位置Ｐを、視点位置Ｐの移動に関する履歴（移動履歴）として取得可能となっている。

操縦装置１３は、操作者の操作入力を取得する装置である。操縦装置１３は、制御装置１５に接続されており、操作入力に関する情報を、制御装置１５へ向けて出力する。

制御装置１５は、航空機の動作を模擬したり、操作者の操作を検出したり、ディスプレイ１１に対する表示制御を行ったりしている。制御装置１５は、制御部２５と、記憶部２６とを有している。

記憶部２６は、例えば、半導体記憶デバイス、及び磁気記憶デバイス等の任意の記憶デバイスを含む。記憶部２６は、制御部２５の処理結果を一時的に記憶する作業領域として利用されたり、各種プログラム及び各種データを記憶したりしている。記憶部２６は、例えば、各種プログラムとして、航空機の動作を模擬するプログラム、ディスプレイ１１の表示を制御するプログラム、視線検出を行うプログラム、操作検出を行うプログラム等が記憶されている。また、記憶部２６は、各種データとして、視線検出装置１２により検出した視点位置Ｐに関する情報、後述する表示処理に用いられる情報である要求注視比率に関する情報等を記憶している。

制御部２５は、例えば、ＣＰＵ（Central Processing Unit）等の集積回路を含んでいる。具体的に、制御部２５は、記憶部２６に記憶されているプログラムに含まれる命令を実行することによって各種機能を実現する。制御部２５は、例えば、ディスプレイ１１の表示を制御するプログラムを実行することにより、ディスプレイ１１に表示される画像２０に対する表示処理を実行する。

ここで、実施形態１では、表示処理として、図４及び図５に示す表示処理を実行している。実施形態１の表示処理は、視点位置Ｐを含む画像２０上の表示領域を視認領域Ｅ２とすると、視認領域Ｅ２以外の領域である非視認領域に含まれる対象領域Ｅ１に対して行われている。具体的に、実施形態１の表示処理は、所定の訓練イベントの実行時において実行されており、訓練イベントに対応付けて、操作者による注視が要求される対象領域Ｅ１となる注視領域Ｅ３が設定されている。図４及び図５に示す表示処理においては、注視領域Ｅ３として、Ａ／Ｓ（対気速度計）、Ａ／Ｉ（姿勢指示計）、ＡＬＴ（高度計）、Ｔ／Ｂ（昇降計）、Ｄ／Ｇ（方位計）、Ｖ／Ｓ（傾斜計）に対応する対象領域Ｅ１が設定されている。なお、注視領域Ｅ３は、上記の対象領域Ｅ１に特に限定されず、航空機を構成する構造物を表示する表示領域であれば、何れの表示領域であってもよい。また、視認領域Ｅ２は、少なくとも視点位置Ｐを含む表示領域であればよく、視点位置Ｐに対応する点としての表示領域であってもよいし、視点位置Ｐを中心とする円形の表示領域であってもよい。

図４に示すように、制御装置１５の制御部２５は、注視領域Ｅ３を含む画像２０において、視認領域Ｅ２と注視領域Ｅ３とが重複しているか否かを判定し、重複していないと判定すると、表示処理として、重複していない注視領域Ｅ３を強調する強調表示処理を実行する。強調表示としては、図４に示す例として、注視領域Ｅ３の周縁を点灯させる点灯表示となっている。強調表示は、点灯表示に特に限定されず、点滅表示、または拡大表示であってもよい。

一方で、図５に示すように、制御装置１５の制御部２５は、注視領域Ｅ３を含む画像２０において、視認領域Ｅ２と注視領域Ｅ３とが重複しているか否かを判定し、重複していると判定すると、強調表示処理を実行しない。

（表示処理方法）
次に、図６を参照して、訓練システム１において実行される表示処理方法の一例について説明する。図６に示す表示処理方法は、複数の注視領域Ｅ３において実行されている。表示処理方法は、訓練システム１による所定の訓練イベントが開始されることで実行される（ステップＳ１）。ステップＳ１の実行後、制御部２５は、視線検出装置１２により操作者の視点位置Ｐを検出して、視点位置Ｐを含む視認領域Ｅ２を取得する（ステップＳ２）。そして、制御部２５は、画像２０上における視認領域Ｅ２に基づいて、画像２０への表示処理を実行するステップＳ３からステップＳ５を実行する。つまり、制御部２５は、取得した視認領域Ｅ２と、設定された注視領域Ｅ３とが重複しているか否かを判定することで、注視の有無を判定している（ステップＳ３）。制御部２５は、視認領域Ｅ２と注視領域Ｅ３とが重複していると判定すると、注視あり（ステップＳ３：Ｙｅｓ）として、注視領域Ｅ３に対する強調表示処理の実行を停止する（ステップＳ４）。一方で、制御部２５は、視認領域Ｅ２と注視領域Ｅ３とが重複していないと判定すると、注視なし（ステップＳ３：Ｎｏ）として、注視領域Ｅ３に対する強調表示処理を実行する（ステップＳ５）。なお、ステップＳ３における視認領域Ｅ２と注視領域Ｅ３との重複判定は、注視時間をパラメータとして加えてもよい。つまり、制御部２５は、ステップＳ３において、視認領域Ｅ２と注視領域Ｅ３とが重複し、注視時間が所定のしきい値以下となる場合、重複していないと判定する。一方で、制御部２５は、ステップＳ３において、視認領域Ｅ２と注視領域Ｅ３とが重複し、注視時間が所定のしきい値よりも長い場合、重複していると判定するようにしてもよい。ステップＳ４またはステップＳ５の実行後、制御部２５は、訓練イベントが終了したか否かを判定する（ステップＳ６）。制御部２５は、訓練イベントが終了したと判定する（ステップＳ６：Ｙｅｓ）と、表示処理に関する一連の制御を終了する。一方で、制御部２５は、訓練イベントが終了していないと判定する（ステップＳ６：Ｎｏ）と、再び、ステップＳ２に進み、訓練イベントが終了するまで、表示処理に関する制御を実行する。

次に、図７を参照して、訓練システム１において実行される表示処理方法の他の一例について説明する。図７に示す表示処理方法では、ステップＳ３における注視の有無の判定を、注視比率を用いて行っている。注視比率は、所定期間における注視時間の割合である。所定期間は、現在時刻と、現在時刻よりもｔ秒前の時刻との間の期間である。注視時間は、視認領域Ｅ２と注視領域Ｅ３とが重複する時間であり、所定期間ｔにおける積算時間である。図７の表示処理方法では、注視比率として、実注視比率Ｐと要求注視比率Ｐｒｅｆとが用いられる。実注視比率Ｐは、視線検出装置１２により検出された視点位置Ｐに基づく視認領域Ｅ２から算出される数値である。要求注視比率Ｐｒｅｆは、所定の訓練イベントにおける注視領域Ｅ３のそれぞれに予め要求される数値である。要求注視比率Ｐｒｅｆは、予め記憶部２６に記憶されている。

図７に示す表示処理方法は、図６の表示処理方法と同様に、訓練システム１による所定の訓練イベントが開始されることで実行される（ステップＳ１）。ステップＳ１の実行後、制御部２５は、視線検出装置１２により操作者の視点位置Ｐを検出して、視点位置Ｐを含む視認領域Ｅ２を取得する（ステップＳ２）。そして、制御部２５は、画像２０上における視認領域Ｅ２に基づいて、画像２０への表示処理を実行するステップＳ３ａからステップＳ３ｃを実行し、この後、図６の表示処理方法と同様にステップＳ４からステップＳ６を実行する。

具体的に、制御部２５は、取得した視認領域Ｅ２と、設定された注視領域Ｅ３とが重複しているか否かを判定し、重複している場合には、注視時間としてカウントする（ステップＳ３ａ）。また、制御部２５は、ステップＳ３ａにおいて、所定期間ｔに対する注視時間の割合である実注視比率Ｐを算出する。この後、制御部２５は、記憶部２６から要求注視比率Ｐｒｅｆを取得する（ステップＳ３ｂ）。そして、制御部２５は、算出した実注視比率Ｐと、取得した要求注視比率Ｐｒｅｆとを比較することで、注視の有無を判定している（ステップＳ３ｃ）。つまり、ステップＳ３ｃにおいて、制御部２５は、実注視比率Ｐが要求注視比率Ｐｒｅｆよりも大きいか否かを判定する。制御部２５は、実注視比率Ｐが要求注視比率Ｐｒｅｆよりも大きいと判定すると、注視あり（ステップＳ３ｃ：Ｙｅｓ）として、注視領域Ｅ３に対する強調表示処理を実行しない（ステップＳ４）。一方で、制御部２５は、実注視比率Ｐが要求注視比率Ｐｒｅｆ以下であると判定すると、注視なし（ステップＳ３ｃ：Ｎｏ）として、注視領域Ｅ３に対する強調表示処理の実行を停止する（ステップＳ５）。ステップＳ４またはステップＳ５の実行後、制御部２５は、図６の表示処理方法と同様に、訓練イベントが終了したか否かを判定する（ステップＳ６）。制御部２５は、訓練イベントが終了したと判定する（ステップＳ６：Ｙｅｓ）と、表示処理に関する一連の制御を終了する。一方で、制御部２５は、訓練イベントが終了していないと判定する（ステップＳ６：Ｎｏ）と、再び、ステップＳ２に進み、訓練イベントが終了するまで、表示処理に関する制御を実行する。

なお、上記した強調表示処理は一例であり、上記の処理に特に限定されない。例えば、制御部２５は、強調表示処理として、例えば、図８及び図９に示す強調表示処理を実行してもよい。図８は、強調表示処理が実行されたときの画像の一例を示す図である。図９は、強調表示処理が実行されたときの画像の他の一例を示す図である。

図８は、訓練イベントの切り替えによって、所定の注視領域Ｅ３に対応付けられた要求注視比率Ｐｒｅｆが大きくなった場合の画像２０を示している。具体的に、図８では、Ａ／Ｉ（姿勢指示計）の注視領域Ｅ３に対応する要求注視比率Ｐｒｅｆが、訓練イベントの切り替え前後において大きくなった場合となっており、この場合、制御部２５は、図７に示す表示処理方法に基づいて、制御部２５が、Ａ／Ｉ（姿勢指示計）の注視領域Ｅ３に対して強調表示処理を実行している。

図９は、強調表示処理における強調表示の表示形態が、拡大表示となっている。つまり、制御部２５は、強調表示処理の対象となる注視領域Ｅ３が、より大きな表示領域となるように拡大表示を実行してもよい。

また、実施形態１の強調表示処理において、制御部２５は、実注視比率Ｐに基づいて強調表示の強度を変化させてもよい。つまり、強調表示処理において、実注視比率Ｐが要求注視比率Ｐｒｅｆよりも大幅に小さい場合、点灯表示の明度を明るくし、要求注視比率Ｐｒｅｆに近づくにつれて、明度を暗くなるようにしてもよい。また、制御部２５は、実注視比率Ｐの他、非注視時間（視認領域Ｅ２と注視領域Ｅ３とが重複していない時間）の長さに応じて強調表示の強度を変化させてもよい。さらに、制御部２５は、実注視比率Ｐが所定のしきい値より小さい状態となる時間に応じて、強調表示の強度を変化させてもよい。

また、実施形態１では、複数の計器に対応する対象領域Ｅ１を、注視領域Ｅ３として設定したが、設定対象となる注視領域Ｅ３は、機内オブジェクトＯ１であれば、何れの表示領域であってもよい。例えば、注視領域Ｅ３として、外の注視を要求する場合、制御部２５は、機内オブジェクトＯ１としての窓、窓枠を強調表示処理してもよい。

また、制御部２５は、表示処理の実行に関する履歴を履歴データとして、記憶部２６に記憶させておき、履歴データを用いた評価を実行してもよい。

［実施形態２］
次に、図１０及び図１１を参照して、実施形態２について説明する。なお、実施形態２では、重複した記載を避けるべく、実施形態１と異なる部分について説明し、実施形態１と同様の構成である部分については、同じ符号を付して説明する。図１０は、実施形態２に係る訓練システムにおいて表示部に表示される画像を示す図である。図１１は、実施形態２に係る表示処理方法の一例のフローチャートである。

実施形態２では、図１０に示すように、制御部２５による表示処理として、非視認領域Ｅ５を隠すマスク表示処理を実行している。非視認領域Ｅ５は、視認領域Ｅ２以外の領域である。つまり、制御部２５は、画像２０上において、視認領域Ｅ２が重複しているか否かを判定し、視認領域Ｅ２が重複していない、すなわち非視認領域Ｅ５であると判定すると、表示処理として、非視認領域Ｅ５を隠すマスク表示処理を実行する。マスク表示処理としては、図１０に示す例として、非視認領域Ｅ５をぼかすぼかし表示となっている。マスク表示は、ぼかし表示に特に限定されず、非視認領域Ｅ５を隠すような表示処理であれば、何れの表示処理であってもよい。

（表示処理方法）
次に、図１１を参照して、訓練システム１において実行される実施形態２に係る表示処理方法の一例について説明する。図１１に示す表示処理方法は、図６に示す表示処理方法のステップＳ３からステップＳ５を、ステップＳ１３からステップＳ１５に代えたものとなっている。以下では、ステップＳ１３からステップＳ１５までを説明する。

制御部２５は、ステップＳ２において、視認領域Ｅ２を取得すると、画像２０上において、視認領域Ｅ２重複しているか否かを判定する（ステップＳ１３）。制御部２５は、画像２０に対して視認領域Ｅ２が重複していると判定する（ステップＳ１３：Ｙｅｓ）と、視認領域Ｅ２に対するぼかし処理の実行を停止する（ステップＳ１４）。一方で、制御部２５は、画像２０に対して視認領域Ｅ２が重複していない、すなわち、非視認領域Ｅ５であると判定する（ステップＳ１３：Ｎｏ）と、非視認領域Ｅ５に対するぼかし処理を実行する（ステップＳ１５）。この後、制御部２５は、図６のステップＳ６を実行して、一連の制御を終了する。

以上のように、本実施形態に記載の表示処理装置、訓練システム１及び表示処理方法は、例えば、以下のように把握される。

第１の態様に係る表示処理装置は、複数の監視対象物を含む機械に関する表示処理を実行する表示処理装置において、操作者に対して画像２０を表示する表示部（ディスプレイ１１）と、前記画像２０上における前記操作者の視点位置Ｐを検出する視線検出装置１２と、前記視線検出装置１２により検出した前記画像２０上における前記視点位置Ｐに基づいて、前記画像２０への表示処理を実行する制御部２５と、を備え、前記画像２０は、前記監視対象物の表示領域となる対象領域Ｅ１を含み、前記制御部２５は、前記視点位置Ｐを含む前記画像２０上の前記表示領域を視認領域Ｅ２とすると、前記視認領域Ｅ２以外の領域である非視認領域Ｅ５に含まれる前記対象領域Ｅ１に対して表示処理を実行する。

この構成によれば、非視認領域Ｅ５に含まれる対象領域Ｅ１に対して表示処理を実行することにより、注視されていない監視対象物への視認を適切に促すことができる。

第２の態様として、前記画像２０は、前記操作者による注視が要求される前記対象領域となる注視領域Ｅ３を含み、前記制御部２５は、前記視認領域Ｅ２と前記注視領域Ｅ３とが重複していないと判定すると、前記表示処理として、前記注視領域Ｅ３を強調する強調表示処理を実行する。

この構成によれば、注視が要求される注視領域Ｅ３が注視されていない場合、注視されていない注視領域Ｅ３を強調表示することができるため、注視されていない注視領域Ｅ３への視認を適切に促すことができる。

第３の態様として、前記制御部２５は、前記視認領域Ｅ２と前記注視領域Ｅ３とが重複する時間を注視時間として取得し、前記強調表示処理において、所定期間における前記注視時間の割合である実注視比率Ｐと、前記注視領域Ｅ３に対して予め要求される要求注視比率Ｐｒｅｆとを用いており、前記実注視比率Ｐが前記要求注視比率Ｐｒｅｆよりも大きくなる場合、前記強調表示処理の実行を停止する一方で、前記実注視比率Ｐが前記要求注視比率Ｐｒｅｆ以下となる場合、前記強調表示処理を実行する。

この構成によれば、要求注視比率と実注視比率とに基づいて、強調表示処理の実行の有無を判定することができるため、注視領域Ｅ３に対する注視が好適に実施されていたか否かを適切に判定することができる。

第４の態様として、前記制御部２５は、前記強調表示処理を実行する場合、前記実注視比率Ｐに基づいて強調表示の強度を変化させる。

この構成によれば、注視領域Ｅ３に対する注視時間の割合に応じて、強調表示の強度を変化させることにより、注視領域Ｅ３への注視の度合いを把握することができる。

第５の態様として、前記制御部２５は、前記視認領域Ｅ２と前記注視領域Ｅ３とが重複しない時間を非注視時間として取得し、前記強調表示処理を実行する場合、前記非注視時間に基づいて強調表示の強度を変化させる。

この構成によれば、非注視時間の長さに応じて、強調表示の強度を変化させることにより、注視領域Ｅ３への注視の度合いを把握することができる。

第６の態様として、前記強調表示処理は、点灯表示、点滅表示、拡大表示の少なくとも一つを含む表示処理である。

この構成によれば、注視領域Ｅ３に適した表示形態とすることができる。

第７の態様として、前記制御部２５は、前記表示処理として、前記非視認領域Ｅ５を隠すマスク表示処理を実行する。

この構成によれば、非視認領域Ｅ５を隠すことで、非視認領域Ｅ５に含まれる対象領域Ｅ１への視認を促すことができる。

第８の態様に係る訓練システム１は、上記の表示処理装置と、複数の前記監視対象物を含む前記機械の動作を模擬するシミュレータと、を備える。

この構成によれば、操作者に対して、注視していない監視対象物への視認を適切に促すことで、適切な訓練を実施することができる。

第９の態様に係る表示処理方法は、操作者に対して画像を表示する表示部（ディスプレイ１１）を備える表示処理装置に、複数の監視対象物を含む機械に関する表示処理を実行させる表示処理方法において、前記画像２０上における前記操作者の視点位置を検出するステップＳ２と、検出した前記画像２０上における前記視点位置Ｐに基づいて、前記画像２０への表示処理を実行するステップＳ３～Ｓ５，Ｓ１３～Ｓ１５と、を備え、前記画像２０は、前記監視対象物の表示領域となる対象領域Ｅ１を含み、前記表示処理を実行するステップＳ３～Ｓ５，Ｓ１３～Ｓ１５では、前記視点位置Ｐを含む前記画像２０上の前記表示領域を視認領域Ｅ２とすると、前記視認領域Ｅ２以外の領域である非視認領域Ｅ５に含まれる前記対象領域Ｅ１に対して表示処理を実行する。

この構成によれば、非視認領域Ｅ５に含まれる対象領域Ｅ１に対して表示処理を実行することにより、注視されていない監視対象物への視認を適切に促すことができる。

１ 訓練システム
１１ ディスプレイ
１２ 視線検出装置
１３ 操縦装置
１５ 制御装置
２０ 画像
２５ 制御部
２６ 記憶部
Ｅ１ 対象領域
Ｅ２ 視認領域
Ｅ３ 注視領域
Ｅ５ 非視認領域
Ｐ 視点位置
Ｏ１ 機内オブジェクト
Ｏ２ 機外オブジェクト

Claims (10)

1. 複数の監視対象物に基づいて操作される機械に関する表示処理を実行する表示処理装置において、
   操作者に対して画像を表示する表示部と、
   前記画像上における前記操作者の視点位置を検出する視線検出装置と、
   前記視線検出装置により検出した前記画像上における前記視点位置に基づいて、前記画像への表示処理を実行する制御部と、を備え、
   前記画像は、前記機械に含まれる前記監視対象物の表示領域となる対象領域を含み、
   前記制御部は、
   前記視点位置を含む前記画像上の前記表示領域を視認領域とすると、前記視認領域以外の領域である非視認領域に含まれる前記対象領域に対して表示処理を実行しており、
   前記画像は、前記操作者による注視が要求される前記対象領域となる注視領域を含み、
   前記制御部は、前記視認領域と前記注視領域とが重複していないと判定すると、前記表示処理として、前記注視領域を強調する強調表示処理を実行する表示処理装置。
2. 前記制御部は、
   前記視認領域と前記注視領域とが重複する時間を注視時間として取得し、
   前記強調表示処理において、所定期間における前記注視時間の割合である実注視比率と、前記注視領域に対して予め要求される要求注視比率とを用いており、
   前記実注視比率が前記要求注視比率よりも大きくなる場合、前記強調表示処理の実行を停止する一方で、
   前記実注視比率が前記要求注視比率以下となる場合、前記強調表示処理を実行する請求項１に記載の表示処理装置。
3. 前記制御部は、前記強調表示処理を実行する場合、前記実注視比率に基づいて強調表示の強度を変化させる請求項２に記載の表示処理装置。
4. 前記制御部は、
   前記視認領域と前記注視領域とが重複しない時間を非注視時間として取得し、
   前記強調表示処理を実行する場合、前記非注視時間に基づいて強調表示の強度を変化させる請求項２に記載の表示処理装置。
5. 前記強調表示処理は、点灯表示、点滅表示、拡大表示の少なくとも一つを含む表示処理である請求項１から４のいずれか１項に記載の表示処理装置。
6. 前記制御部は、前記表示処理として、前記非視認領域を隠すマスク表示処理を実行する請求項１から５のいずれか１項に記載の表示処理装置。
7. 複数の監視対象物に基づいて操作される機械に関する表示処理を実行する表示処理装置において、
   操作者に対して画像を表示する表示部と、
   前記画像上における前記操作者の視点位置を検出する視線検出装置と、
   前記視線検出装置により検出した前記画像上における前記視点位置に基づいて、前記画像への表示処理を実行する制御部と、を備え、
   前記画像は、前記機械に含まれる前記監視対象物の表示領域となる対象領域を含み、
   前記制御部は、
   前記視点位置を含む前記画像上の前記表示領域を視認領域とすると、前記視認領域以外の領域である非視認領域に含まれる前記対象領域に対して表示処理を実行しており、前記表示処理として、前記非視認領域を隠すマスク表示処理を実行する表示処理装置。
8. 請求項１から７のいずれか１項に記載の表示処理装置と、
   複数の前記監視対象物を含む前記機械の動作を模擬するシミュレータと、を備える訓練システム。
9. 操作者に対して画像を表示する表示部を備える表示処理装置に、複数の監視対象物に基づいて操作される機械に関する表示処理を実行させる表示処理方法において、
   前記画像上における前記操作者の視点位置を検出するステップと、
   検出した前記画像上における前記視点位置に基づいて、前記画像への表示処理を実行するステップと、を備え、
   前記画像は、前記機械に含まれる前記監視対象物の表示領域となる対象領域を含み、
   前記表示処理を実行するステップでは、
   前記視点位置を含む前記画像上の前記表示領域を視認領域とすると、前記視認領域以外の領域である非視認領域に含まれる前記対象領域に対して表示処理を実行しており、
   前記画像は、前記操作者による注視が要求される前記対象領域となる注視領域を含み、
   前記表示処理を実行するステップでは、
   前記視認領域と前記注視領域とが重複していないと判定すると、前記表示処理として、前記注視領域を強調する強調表示処理を実行する表示処理方法。
10. 操作者に対して画像を表示する表示部を備える表示処理装置に、複数の監視対象物に基づいて操作される機械に関する表示処理を実行させる表示処理方法において、
    前記画像上における前記操作者の視点位置を検出するステップと、
    検出した前記画像上における前記視点位置に基づいて、前記画像への表示処理を実行するステップと、を備え、
    前記画像は、前記機械に含まれる前記監視対象物の表示領域となる対象領域を含み、
    前記表示処理を実行するステップでは、
    前記視点位置を含む前記画像上の前記表示領域を視認領域とすると、前記視認領域以外の領域である非視認領域に含まれる前記対象領域に対して表示処理を実行しており、前記表示処理として、前記非視認領域を隠すマスク表示処理を実行する表示処理方法。

Images