JP7668779B2

JP7668779B2 - 表示装置、視界補助システム、産業車両、制御方法及びプログラム

Info

Publication number: JP7668779B2
Application number: JP2022205733A
Authority: JP
Inventors: 拓也明石; 啓介塚原
Original assignee: Mitsubishi Logisnext Co Ltd
Current assignee: Mitsubishi Logisnext Co Ltd
Priority date: 2022-12-22
Filing date: 2022-12-22
Publication date: 2025-04-25
Anticipated expiration: 2042-12-22
Also published as: JP2024090078A

Description

本開示は、表示装置、視界補助システム、産業車両、制御方法及びプログラムに関する。

フォークリフトのフォークの側面やマストの下部にカメラを搭載し、その映像を運転席付近に取り付けたモニターに投影するシステムが提供されている。このシステムによれば、フォークに積載されている荷物によって前方の視界が遮られている状況でも、運転者は、モニターを確認することで前方の様子を把握することができる。このようなシステムにおいて、前方視野確保のためにモニターのサイズは小さく設計される場合があるが、モニターに表示された画像を確認するためには凝視する必要がある。

関連する技術として、特許文献１には、フォークの先端部を含む範囲を撮像するカメラを設け、このカメラが撮影した画像にフォークの位置を示す仮想フォークを重畳して運転者が装着しているヘッドマウントディスプレイに表示する支援装置が開示されている。

特許第６２１７４７２号公報

運転者が車両前方を向いたときに前方の視界が遮られる状況であっても、運転者の視界をそれ以上遮ることなく、前方の様子を確認できるようにする技術が求められている。

本開示は、上記課題を解決することができる表示装置、視界補助システム、産業車両、制御方法及びプログラムを提供する。

本開示の表示装置は、人の頭部に装着する表示装置であって、画像データを表示することが可能な透過的な表示部と、産業車両に設けられたカメラが撮影した前記産業車両の前方の画像を取得する取得部と、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記産業車両に積載された前方の視界を塞ぐ物体に重畳して表示する制御部と、を備え、前記制御部は、前記画像データを表示する範囲が、前記物体からはみ出ないように制御する。

本開示の視界補助システムは、産業車両に設けられるカメラと、上記の表示装置と、を備える。

本開示の産業車両は、カメラと、上記の表示装置と、を備える。

本開示の制御方法は、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置の制御方法であって、産業車両に設けられたカメラが撮影した前記産業車両の前方の画像を取得し、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記産業車両に積載された前方の視界を塞ぐ物体に重畳して表示するとともに、前記画像データを表示する範囲が、前記物体からはみ出ないように制御する。

また、本開示のプログラムは、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置のコンピュータを、産業車両に設けられたカメラが撮影した前記産業車両の前方の画像を取得する手段、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記産業車両に積載された前方の視界を塞ぐ物体に重畳して表示する手段、として機能させ、前記表示する手段は、前記画像データを表示する範囲が、前記物体からはみ出ないように制御する。

上述の表示装置、視界補助システム、産業車両、制御方法及びプログラムによれば、運転者が車両前方を向いたときに前方の視界が遮られる状況であっても、運転者の視界をそれ以上遮ることなく、前方の様子を確認することができる。

実施形態に係るフォークリフトの一例を示す概略図である。実施形態に係る表示装置の一例を示すブロック図である。実施形態に係る焦点距離と仮想オブジェクトの大きさを説明する図である。実施形態に係る運転者の姿勢と仮想オブジェクトの位置の関係を説明する図である。実施形態に係るカメラが撮影した画像の表示例を示す図である。実施形態に係る仮想モニターの垂直方向の表示角度と高さ方向の表示位置について説明する第１の図である。実施形態に係る仮想モニターの垂直方向の表示角度と高さ方向の表示位置について説明する第２の図である。実施形態に係る仮想モニターの水平方向の表示角度について説明する第１の図である。実施形態に係る仮想モニターの水平方向の表示角度について説明する第２の図である。実施形態に係る仮想モニターの表示と非表示の切り替え制御について説明する第１の図である。実施形態に係る仮想モニターの表示と非表示の切り替え制御について説明する第２の図である。実施形態に係る仮想モニターの表示制御の一例を示すフローチャートである。実施形態に係る表示装置のハードウェア構成の一例を示す図である。

＜実施形態＞
以下、本開示の表示装置について、図面を参照して説明する。
（構成）
図１は、各実施形態に係るフォークリフトの一例を示す概略図である。
フォークリフト１は、車体１０と、荷役装置１１と、制御装置１８と、表示装置２０と、を備えている。車体１０は、不図示の駆動装置およびステアリング装置を備え、フォークリフト１を走行させる。荷役装置１１は、フォーク１２と、フォーク１２を昇降させるマスト１３と、荷物が後方（マスト１３側）へ落下することを防ぐバックレスト１４と、を備え、フォーク１２に積載した荷物を昇降させる等して荷役動作を行う。マスト１３は、不図示の外側マストと不図示の内側マストを有しており、不動の外側マストに対して内側マストが昇降するように構成されている。マスト１３には荷重センサ１５が設けられていて、荷重センサ１５は、フォーク１２に積載された荷物の重量を検出する。また、外側マストには近接センサ１６が設けられている。近接センサ１６は、フォーク１２に荷物が積載されたかどうかを検出する。近接センサ１６は、荷物が運転者１００の視界を遮る程度に積載されたかどうかを検出できるような高さ（ある程度高い位置）に設けられる。荷役装置１１には、前方を撮影するカメラ１７が搭載されている。例えば、マスト１３の上部にはカメラ１７ａがフォーク１２の先端部を撮影できるように斜め下方向へ向けて搭載されている。また、例えば、フォーク１２の先端には、カメラ１７ｂが設けられている。カメラ１７ｂは、フォーク１２の前方を撮影する。荷役装置１１には、カメラ１７ａ、１７ｂの両方が搭載されていてもよいし、どちらか一方のみが搭載されていてもよい。以下では、一例として、カメラ１７ａが搭載されているとして説明を行う。カメラ１７ａが撮影した画像（動画でも静止画でもよい。）は、表示装置２０へ送信される。制御装置１８は、フォークリフト１の動作を制御する。例えば、運転者１００がハンドル１９ａやリフトレバー１９ｂを操作すると、制御装置１８は、その操作を検出し、車両の走行方向の制御やマスト１３を昇降させる動作を行う。制御装置１８は、荷重センサ１５、近接センサ１６と接続されており、これらのセンサが検出した情報を取得する。制御装置１８は、荷重センサ１５、近接センサ１６が検出した情報、運転者１００がハンドル１９ａやリフトレバー１９ｂを操作したことを示す信号などの情報を表示装置２０へ送信する。表示装置２０は、ＡＲ（Augmented Reality）グラス又は、ＭＲ（Mixed Reality）グラスである。運転者１００は、表示装置２０を装着して、フォークリフト１の運転を行う。本明細書では、図１に示すようにフォークリフト１の荷役装置１１が設けられている方向を前方、その反対方向を後方と呼び、前方を向いたときの左右方向をそれぞれ左側、右側と呼ぶ。

図２は、実施形態に係る表示装置の一例を示すブロック図である。表示装置２０は、表示装置とコンピュータを含んで構成される、ＡＲグラス又はＭＲグラスである（以下、両方を含んでＡＲグラスと記載する。）。表示装置２０は、制御装置１８やカメラ１７と通信可能に接続されていて、それらの装置から情報を取得する。表示装置２０は、カメラ１７ａが撮影した画像を表示する。図示するように表示装置２０は、センサ部２１と、表示部２２と、送受信部２３と、制御部２４と、表示判定部２５と、記憶部２６と、を備える。

センサ部２１は、運転者１００のヘッドトラッキング用のセンサ（例えば、複数の可視光カメラやＩＭＵ（Inertial Measurement Unit））、運転者１００のアイトラッキング用のセンサ（例えば、赤外線カメラ）、深度センサ、マイク等を備える。

表示部２２は、ＡＲグラスのレンズ（スクリーン）の部分を構成し、例えば、透過的（レンズを通じて外界が見える）なホログラフィックディスプレイで構成される。レンズに仮想オブジェクトが投影されない状態では、運転者１００は、現実の世界をそのまま見ることができる。仮想オブジェクトとは、表示部２２に投影される画像データである。仮想オブジェクトが表示部２２に表示されると、運転者１００には、現実の世界に重畳して仮想オブジェクトが見える。

送受信部２３は、他の装置とデータの送受信を行う。例えば、送受信部２３は、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信により、他装置との間でデータの送受信を行う。例えば、送受信部２３は、カメラ１７が撮影した画像を受信する。例えば、送受信部２３は、制御装置１８から、荷重センサ１５、近接センサ１６が検出した情報、運転者１００がハンドル１９ａやリフトレバー１９ｂを操作したことを示す信号などを受信する。

制御部２４は、表示部２２の表示制御等を行う。制御部２４は、センサ部２１が検出した情報に基づいて、運転者１００の周辺の空間形状を認識し、周辺の空間の３次元地図情報を作成し、仮想空間を生成する。制御部２４は、作成した地図情報に基づいて、仮想空間の所望の位置に仮想オブジェクトを配置する。運転者１００には、現実の世界の当該位置に存在する物に重畳して仮想オブジェクトが表示される。仮想オブジェクトは、（１）空間内の所定の位置（仮想オブジェクトは、固定的にある位置に存在する。）、（２）周辺空間に存在する物体を基準とする所定の位置（例えば、物体が車体１０の場合、仮想オブジェクトは車体１０の走行に追従して移動する。）、（３）運転者１００を基準とする所定の位置（例えば、仮想オブジェクトは、運転者１００の視線方向の所定距離だけ離れた位置に存在する。）などに表示させることができる。（１）や（２）の場合、仮想オブジェクトは、あたかもその位置に実際に存在するかのように運転者１００によって認識される。仮想オブジェクトは、仮想空間上の任意の位置に配置することができ、その配置位置は、運転者１００に近づけたり遠ざけたりして自由に変更することができる。例えば、仮想オブジェクトを遠くに配置すれば、運転者１００には、仮想オブジェクトが遠くに存在するように見え、近くに配置すれば、運転者１００には、仮想オブジェクトが近くに存在するように見える。また、制御部２４は、センサ部２１が検出した情報に基づいて、運転者１００の姿勢、例えば、屈んだり、運転席から右側又は左側へ身を乗り出したりといった姿勢をとったときの頭部の位置を算出する。そして、制御部２４は、運転者１００の頭部と仮想オブジェクトの位置関係から、実際に仮想オブジェクトが現実の世界に存在するときと同様に見えるように仮想オブジェクトを生成して表示する。

仮想オブジェクトを自由に配置することや、仮想空間上のある位置に仮想オブジェクトを配置することにより、あたかもその位置に仮想オブジェクトが存在するように見えるようにすること、運転者１００の姿勢に応じて仮想オブジェクトの見え方を変化させることは、ＡＲグラスが備える機能である。ユーザは、所望の仮想オブジェクトに関する設定を表示装置２０に対して行う（開発者がＡＲ開発ツールを使って仮想オブジェクトを開発し、開発したプログラムを表示装置２０に実装する。）。すると、制御部２４が、その設定に従って所望の位置に仮想オブジェクトを配置する。本実施形態では制御部２４は、フォーク１２に積載された荷物が占める範囲の何れかの位置に仮想オブジェクトを表示する（上記の（２）に相当）。例えば、フォーク１２の荷物が積載されている範囲に仮想オブジェクトを配置すれば、荷物に重畳して仮想オブジェクトを表示することができる。荷物が積載されている範囲は、もともと荷物によって視界が遮られているので、荷物と重畳して仮想オブジェクトを表示しても、運転者１００の視界をそれ以上悪化させることはない。本実施形態では、仮想オブジェクトとして、カメラ１７ａが撮影した画像を表示する仮想モニターＶＭを、荷物が占める範囲の何れかの位置に配置する。これにより、荷物によって前方の視界が遮られている状況であっても、カメラ１７ａが撮影した前方の画像を運転者１００の視野範囲内に視界を遮ることなく表示することができる。

図３Ａに、運転者１００から距離Ｌ１だけ前方に配置した仮想オブジェクト３１ａ、距離Ｌ１だけ前方の表示範囲（表示部２２に収まる視野の範囲）３１ｂ、運転者１００から距離Ｌ２だけ前方に配置した仮想オブジェクト３２ａ、距離Ｌ２だけ前方の表示範囲３２ｂを示す。仮想オブジェクトではない現実のモニターをマスト１３の奥側（例えば、運転者１００から距離Ｌ２だけ前方）に配置した場合、モニターはマスト１３に隠れて見えなくなるが、ＡＲの仮想モニターＶＭの場合はマスト１３の奥側に配置していても、仮想モニターＶＭはＡＲグラス上に表示されるため、マストに隠れるということはない。ＡＲ技術には、仮想モニターＶＭがマスト１３に隠れるように表示するオクルージョン機能もあるが、本実施形態では、仮想モニターＶＭに表示される情報を優先するためオクルージョン機能は使用しない。図３に示すように、サイズの異なる２つの仮想オブジェクト３１ａ、３２ａ（仮想オブジェクト３２ａの方が、仮想空間におけるサイズが大きい）をそれぞれ距離Ｌ１、Ｌ２の位置に配置した場合、遠くに存在する物体ほど小さく見えるという性質により、運転者１００にとっては、いずれも同じ大きさに見えるようにすることができる。つまり、仮想オブジェクトを遠くに配置する場合には、仮想オブジェクトのサイズを大きくし、手前に配置する場合には仮想オブジェクトのサイズを小さくする。仮想オブジェクトの具体的なサイズは、配置位置（運転者１００からの距離）と表示部２２上でどのようなサイズで表示するかによって算出することができ、運転者１００からの距離に応じて、仮想オブジェクトのサイズを変更することで、運転者１００から常に一定の大きさで見えるようにすることができる。仮想オブジェクトがマスト１３に隠れて見えなくなることが無いとすると、運転者１００にとって同じ大きさで表示される２つの仮想オブジェクト３１ａ、３２ａの違いは配置位置、換言すれば焦点距離のみとなる。このように仮想空間上に配置する仮想オブジェクトの配置位置とサイズを制御することにより、運転者１００から見た仮想オブジェクトの表示サイズを変えずに焦点距離のみを自由に変えることが可能となる。

この性質を利用して、フォーク１２の先端部付近に仮想モニターＶＭを配置すると、実物のフォーク１２の先端付近を見たときと仮想モニターＶＭを見たときの焦点がほぼ同じになり、運転者１００は、双方を同時に見ることが可能になる。つまり、運転者１００に焦点合わせの負担を強いることなく、カメラ１７ａが撮影した画像を見せるためには、運転者１００の焦点位置になるべく近いところに仮想オブジェクトを配置することが好ましい。荷物を積載してフォークリフト１を前進させる場面では、運転者１００は、運転席からフォーク１２先端のさらに前方の棚などを確認したい場合がある。この場合、仮想モニターＶＭもフォーク１２先端の少し前方へ配置すると、仮想モニターＶＭはその位置に存在しているように見える。フォーク１２先端のさらに前方を目視によって確認している運転者１００にとっては、ちょうど視線を合わせた位置に仮想オブジェクトが存在しているように見えるため、仮想モニターＶＭを確認するために改めて焦点を合わせる必要はない。しかし、同様に、荷物を積載してフォークリフト１を前進させる場面では、図３Ｂに示すように、運転者１００は、右側に身を乗り出して、側面から荷物とそのさらに前方に存在する棚などの位置関係を確認したい場合もある。この場合、もし、フォーク１２先端の前方に仮想モニターＶＭを配置するならば、確認対象の棚などと仮想モニターＶＭとが重なって見える為、荷物と棚の位置関係を確認しにくくなる。そこで本実施形態では、運転者１００が、図３Ｂに示すような姿勢を取ったときでも運転者１００の視界を遮らないようにするため、仮想モニターＶＭをフォーク１２先端よりも手前側に配置する。また、仮想モニターＶＭを余り手前側に配置すると（例えば、図３ＢのＶＭ１）、図３Ｂに示すような姿勢を取ったときに仮想モニターＶＭが視野範囲Ｈ１から外れてしまい、運転者１００は、仮想モニターＶＭ１を確認するために視線を移動させなければならない。そのようなことが生じないように、本実施形態では、仮想モニターＶＭをバックレスト１４よりも前方に配置する。つまり、仮想モニターＶＭは範囲Ｈ２の何れかの位置に配置される。これにより、多少焦点合わせの負担が生じても、運転者１００の視界を遮ることなく、運転者１００の視野範囲内にカメラ１７ａが撮影した画像を表示させることができる。図４に、表示部２２に表示される仮想モニターＶＭの一例を示す。

次に図５Ａ、図５Ｂを参照して、仮想モニターＶＭの垂直方向の表示角度と高さ方向の表示位置の制御について説明する。
図５Ａの表示面Ｐは、仮想モニターＶＭの前後方向の表示位置および垂直方向の角度を示している。制御部２４は、範囲Ｈ２の所定の位置に仮想モニターＶＭを配置するとともに、運転者１００の視線方向と直交するように仮想モニターＶＭの表示面を上方へ向けて角度θだけ傾ける。運転者１００の視線方向は、センサ部２１のアイトラッキング機能を利用して算出してもよいし、運転者１００の頭部位置に応じて所定の角度を設定するようにしてもよい。また、運転者１００から見た荷物５０の向こう側の様子をよりよく認識できるように仮想モニターＶＭのサイズ（垂直方向のサイズ）をできるだけ大きく設定してもよいし（例えば、図５Ａのサイズ５１）、仮想モニターＶＭによって、運転者１００の視界が少しでも遮られることが無いように荷物のサイズに合わせたサイズ（例えば、図５Ａのサイズ５２）としてもよい。仮想モニターＶＭの垂直方向サイズは、倉庫などで積載される平均的な荷物のサイズ等に基づいて、予め定められていてもよいし、例えば、センサ部２１が備える可視光カメラが認識する画像から、制御部２４が、荷物５０とそれ以外の領域（例えば、地面）の境界線を認識して、可視光カメラから見える仮想モニターＶＭの上端が荷物５０の角５３を超えないような仮想モニターＶＭのサイズを計算し、計算したサイズで仮想モニターＶＭを表示してもよい。また、仮想モニターＶＭが荷物の範囲を超えた場合でも、仮想モニターＶＭの向こう側の現実世界を認識できるように、カメラ１７ａが撮影した画像を仮想モニターＶＭに透過画像（運転者１００から見たときに画像を通り抜けた側の現実世界が透けて見えるような状態で表示した画像）として表示してもよい。

図５Ｂに運転者１００が屈んだ場合の仮想モニターＶＭの表示例を示す。運転者１００が屈んだ状態になると、制御部２４は、仮想モニターＶＭを下方にスライドさせ、上下方向のサイズを小さくする、あるいは、全体のサイズを縮小する。この場合も制御部２４は、運転者１００の視線方向と直交するように仮想モニターＶＭの表示面の角度を調整する。制御部２４は、仮想モニターＶＭのサイズをできるだけ大きく設定してもよいし（例えば、図５Ｂのサイズ５１´）、荷物のサイズに合わせたサイズ（例えば、図５Ａのサイズ５２´）としてもよい。

次に図６Ａ、図６Ｂを参照して、仮想モニターＶＭの水平方向の表示角度の制御について説明する。
図６Ａの表示面Ｐは、仮想モニターＶＭの前後方向の表示位置および水平方向の角度を示している。制御部２４は、範囲Ｈ２の所定の位置に仮想モニターＶＭを配置するとともに、運転者１００の視線方向と直交するように仮想モニターＶＭの表示面を向ける。制御部２４は、仮想モニターＶＭのサイズ（水平方向のサイズ）をできるだけ大きく設定してもよいし（例えば、図６Ａのサイズ６１）、荷物６０に収まるサイズ（例えば、図５Ａのサイズ６２）としてもよい。仮想モニターＶＭの水平方向のサイズは、倉庫などで積載される平均的な荷物のサイズ等に基づいて、予め定められていてもよいし、例えば、センサ部２１が備える可視光カメラが認識する画像から、制御部２４が、荷物６０とそれ以外の境界線を認識して、荷物６０に収まるようなサイズを計算し、計算したサイズで仮想モニターＶＭを表示してもよい。また、制御部２４は、カメラ１７ａが撮影した画像を透過画像として表示してもよい。

図６Ｂに運転者１００が運転席の右側へ身を乗り出した場合の仮想モニターＶＭの表示例を示す。運転者１００が右側へ移動すると、制御部２４は、運転者１００の姿勢に応じて、点Ｏを中心として、仮想モニターＶＭの水平方向の角度を調整する。例えば、制御部２４は、運転者１００の視線方向と仮想モニターＶＭの表示面が直交するように仮想モニターＶＭを水平方向に回転させてもよいし、運転者１００の右方向の移動量に応じて、所定角度だけ仮想モニターＶＭを、点Ｏを中心として反時計方向に回転させてもよい。制御部２４は、仮想モニターＶＭのサイズをできるだけ大きく設定してもよいし（例えば、図５Ｂのサイズ６１´）、荷物のサイズに合わせたサイズ（例えば、図５Ａのサイズ６２´）としてもよい。但し、仮想モニターＶＭのサイズを大きく表示する場合、制御部２４は、フォーク１２の先端方向への視界を妨げないように図示する範囲６３´に重なる領域には仮想モニターＶＭを表示しない。例えば、制御部２４は、運転者１００の右方向の移動量に応じて、仮想モニターＶＭにおける向かって右側の所定の範囲を非表示としたり、水平方向のサイズを収縮したり、矢印６４´の方向へ表示位置をスライドさせるなどして範囲６３´の視界を塞がないようにする。また、制御部２４は、仮想モニターＶＭの反対側（向かって左側）について、カメラ１７ａの画角よりも外側となる範囲を非表示としてもよい。

このように表示部２２に表示する仮想モニターＶＭの位置、角度、範囲は、運転者１００の姿勢に応じて制御される。また、仮想モニターＶＭの表示と非表示についても、自動的、又は、運転者１００の動作や操作により切り替えることができる。例えば、仮想モニターＶＭが邪魔になる場面では、仮想モニターＶＭを非表示とすることができる。

表示判定部２５は、仮想モニターＶＭの表示と非表示を判定する。表示判定部２５が仮想モニターＶＭを表示すると判定すると、制御部２４は、仮想モニターＶＭを表示（配置）し、表示判定部２５が非表示にすると判定すると、制御部２４は、仮想モニターＶＭを非表示（仮想空間上に仮想モニターＶＭを配置しない。）にする。例えば、表示判定部２５は、荷物によって車両前方が見えない状況になると仮想モニターＶＭを表示すると判定し、そうでない場合には仮想モニターＶＭを非表示にすると判定する。表示判定部２５の判定処理の一例を以下に記載する。

＜車両前方が見えない状態を自動的に検知する場合＞
（Ａ）表示判定部２５は、送受信部２３を通じて、制御装置１８から近接センサ１６が検出した情報（近接センサ１６を設けた外側マストと、フォーク１２に積載された荷物が近接しているかどうかを検出する。荷物が積載されていない場合、近接センサ１６の検出できる高さに至るまでは荷物が積載されていないと考えられる。）を取得する。表示判定部２５は、近接センサ１６が外側マストと荷物が近接していることを検出した場合、仮想モニターＶＭを表示すると判定し、そうでない場合、仮想モニターＶＭを非表示にすると判定する。

（Ｂ）表示判定部２５は、送受信部２３を通じて、制御装置１８から荷重センサ１５が検出した情報（フォーク１２に積載した荷物の重さ）を取得する。表示判定部２５は、荷重センサ１５が検出した重量が所定の閾値以上になると、仮想モニターＶＭを表示すると判定し、高さが閾値未満となると、仮想モニターＶＭを非表示にすると判定する。

（Ｃ）センサ部２１が備える可視光カメラ等で荷物を積載していない状態のマスト１３付近を撮影し、その画像あるいは荷物を積載していない状態のマスト１３付近の形状等を記憶部２６に記録しておく。そして、表示判定部２５は、都度、センサ部２１が撮影したマスト１３付近の画像と、記憶部２６に記録された画像を比較し、例えば、画像間の差分によって荷物が積載されたかどうかを判定する。例えば、撮影された画像の視界を遮る高さ範囲における各画素の差分の平均が閾値以上であれば、表示判定部２５は、その高さまで荷物が積載されたと判断する。荷物が積載されたと判断すると、表示判定部２５は、仮想モニターＶＭを表示すると判定し、そうでない場合、仮想モニターＶＭを非表示にすると判定する。

＜運転者の操作によって表示・非表示を判定する場合＞
（Ｄ）制御部２４が、例えば、運転者１００のジェスチャや音声などに基づいて、仮想空間上に操作パネル（仮想オブジェクト）を表示する。この操作パネルには、仮想モニターＶＭの表示と非表示を切り替える仮想スイッチが設けられている。運転者１００が仮想スイッチの操作によって表示を指示すると、表示判定部２５は、仮想モニターＶＭを表示すると判定する。運転者１００が仮想スイッチの操作によって非表示を指示すると、表示判定部２５は、仮想モニターＶＭを非表示にすると判定する。このように仮想空間上に表示した操作パネル操作パネルに対して操作を行うことを可能とする技術はＭＲによって実現することができる。

（Ｅ）ハンドル１９ａやリフトレバー１９ｂに仮想モニターＶＭの表示、非表示を切り替えるボタンなどを設け、このボタンが操作されると、表示判定部２５は、仮想モニターＶＭを表示又は非表示にすると判定する。

（Ｆ）マスト１３（外マストの運転席側）ヘッドガードのフロントパイプなどに２次元マーカ（例えば、ＱＲコード（登録商標））を貼付けておく。例えば、図７Ａに例示するように向かって右側のマスト１３に表示（ＯＮ）に対応する情報が含まれた２次元マーカ７１を張り付け、向かって左側のマスト１３に非表示（ＯＦＦ）に対応する情報が含まれた２次元マーカ７２を張り付け、運転者１００が、何れかの２次元マーカ７１，７２を凝視する（例えば所定時間見る）ことによって、表示判定部２５は、仮想モニターＶＭを表示又は非表示にすると判定する。運転者１００が何れかの２次元マーカ７１，７２を凝視しているかについては、例えば、センサ部２１のアイトラッキング用センサによって検出することができる。単に右側の２次元マーカ７１を凝視したか、左側の２次元マーカ７２を凝視したかによって、表示、非表示の何れを指示されたかを認識してもよいが、誤操作を防ぐため、左右の２次元マーカに含まれる情報を別のものにして、表示判定部２５は、２次元マーカから読み取った内容から表示、非表示の何れであるかを判定することが望ましい。また、上記した（Ａ）～（Ｃ）の検出方法により、荷物がある程度の高さ積載されていると判断された場合のみ、２次元マーカによる表示、非表示の切り替えを有効にするようにしてもよい。これにより、荷物が積載されていないにもかかわらず、たまたま表示に対応する２次元マーカ７１を凝視してしまった場合や、荷物が積載されていても仮想モニターＶＭが必要ない場合に、仮想モニターＶＭが表示されることを防ぐことができる。

（Ｇ）また、マスト１３等にＱＲコード（登録商標）を張り付けることに代えて、仮想空間上のマスト１３に対応する位置付近に、表示と非表示の仮想スイッチを配置してもよい。例えば、図７Ｂに例示するように向かって右側に表示（ＯＮ）を指示する仮想スイッチ７１´を配置し、向かって左側に非表示（ＯＦＦ）を指示する仮想スイッチ７２´を配置する。そして運転者１００が何れかの仮想スイッチを凝視することによって、表示判定部２５は、仮想モニターＶＭを表示又は非表示にすると判定する。この場合も、上記した（Ａ）～（Ｃ）の検出方法により、荷物がある程度の高さ積載されていると判断された場合のみ、仮想スイッチによる表示、非表示の切り替えを有効にするようにしてもよい。

（Ｈ）また、表示判定部２５は、音声認識によって仮想モニターＶＭの表示と非表示を判定してもよい。例えば、運転者１００が「表示」と発話すると、センサ部２１のマイクがその発話を検出し、表示判定部２５が音声認識により、仮想モニターＶＭを表示するよう指示されたことを認識する。すると、表示判定部２５は、仮想モニターＶＭを表示すると判定する。非表示の場合も同様である。この場合も、上記した（Ａ）～（Ｃ）の検出方法により、荷物がある程度の高さ積載されていると判断された場合のみ、仮想スイッチによる表示、非表示の切り替えを有効にするようにしてもよい。

記憶部２６は、センサ部２１が検出した情報、送受信部２３が受信した情報、仮想オブジェクト、フォークリフト１又は様々な車種のフォークリフトのＣＡＤ情報などを記憶する。

（動作）
次に図８を参照して、表示装置２０の制御について説明する。
図８は、実施形態に係る仮想モニターの表示制御の一例を示すフローチャートである。
表示装置２０を装着した運転者１００は、フォークリフト１の運転席に座ると、表示装置２０を起動し、キャリブレーションを行う（ステップＳ１）。キャリブレーションでは、運転者１００とフォークリフト１の位置関係を算出する。例えば、制御部２４は、センサ部２１の可視光カメラによって、フォークリフト１のハンドルやその他の構造物を認識し、撮影されたハンドル等の形状や見え方からフォークリフト１の車種を推定する。制御部２４は、記憶部２６に記録されたＣＡＤ情報から推定した車種に対応するＣＡＤ情報を読み出して、フォークリフト１全体の形状を把握する。また、例えば、制御部２４は、センサ部２１の可視光カメラによって撮影したハンドルの画像を解析したり、センサ部２１の深度センサによってハンドルまでの距離を測定したりすることで、運転者１００とハンドルとの位置関係、つまり、運転者１００が運転席のどの位置に座っているか、運転者１００の頭部の高さがどの程度か、あるいは、読み出したフォークリフト１のＣＡＤ情報から運転者１００とフォークリフト１の各部までの位置関係（水平方向の距離や垂直方向の距離など）を算出する。これにより、運転者１００とフォーク１２先端やバックレスト１４の正確な距離を把握し、例えば、仮想モニターＶＭの配置位置、角度や、運転者１００が右側に身を乗り出した状態での仮想モニターＶＭの配置位置、角度などを算出することができる。また、例えば、フォークリフト１の所定位置（例えば外マスト）に２次元マーカを設け、センサ部２１によって２次元マーカを認識し、２次元マーカとの位置関係や２次元マーカが示すフォークリフト１の車種および当該車種のＣＡＤ情報から上記と同様にして、運転者１００とフォークリフト１の各部までの位置関係を算出してもよい。

キャリブレーションが完了すると、運転者１００は表示装置２０に対して所定の操作を行い、仮想モニターＶＭを表示する機能を起動する。当該機能が起動すると、制御部２４が、送受信部２３を通じて、カメラ１７からカメラ１７が撮影した画像を取得する（ステップＳ２）。次に表示判定部２５が、上記の（Ａ）～（Ｇ）に記載した判定方法によって、仮想モニターＶＭを表示するか非表示とするかを判定する（ステップＳ３）。表示判定部２５が表示すると判定した場合（ステップＳ４；Ｙｅｓ）、制御部２４が、仮想モニターＶＭを仮想空間上の所定位置に配置する（ステップＳ５）。所定位置とは、前後方向については、例えば、フォーク１２の先端からバックレスト１４の間であり、垂直方向については荷物の高さと重畳する範囲である。荷物の高さについては、カメラ１７ａ又はセンサ部２１の可視光カメラで撮影した画像から、所定の画像認識によって把握してもよいし、予めある高さを設定しておいてもよい。制御部２４は、仮想モニターＶＭを、例えば、フォーク１２に積載された荷物に重畳してなるべく大きなサイズで表示する。また、図５Ａ～図６Ｂを参照して説明したように、制御部２４は、仮想モニターＶＭの表示面の方向を運転者１００の視線方向に応じて変化させたり、運転者１００の姿勢に応じて、仮想モニターＶＭの垂直方向又は水平方向の配置位置や表示サイズを変更したりする。
ステップＳ３にて、表示判定部２５が非表示にすると判定した場合（ステップＳ４；Ｎｏ）、ステップＳ６の処理に進む。

次に制御部２４は、仮想モニターＶＭを表示する機能を終了するかどうかを判定する（ステップＳ６）。例えば、運転者１００が、仮想モニターＶＭを表示する機能を終了する操作を行った場合には、制御部２４は、仮想モニターＶＭを表示する機能を終了すると判定し、そうでない場合には、終了しないと判定する。終了しないと判定した場合（ステップＳ６；Ｎｏ）、ステップＳ２以降の処理を繰り返し行う。終了すると判定した場合（ステップＳ６；Ｙｅｓ）、図８の処理フローを終了する。

なお、上記の実施形態では、カメラ１７および表示装置２０を含む視界補助システムをフォークリフト１に適用する場合を例に説明を行ったが、視界補助システムは、例えば、ショベルカー、ブルドーザー、クレーン車、リーチスタッカーなどのフォークリフト以外の産業車両にも適用することができる。

（効果）
従来から運転席の前方に現実のモニターを設け、そのモニターにフォーク１２の前方を撮影した画像を表示するシステムが提供されている。このシステムの場合には、走行時にモニターが視界の妨げになり、前方視野確保のために小さく設計された現実のモニターに表示された画像を確認するためにはモニターを凝視する必要がある。これに対し、本実施形態では、運転者にＡＲグラス（表示装置２０）を装着させ、仮想空間上に仮想モニターＶＭを配置し、仮想モニターＶＭにフォーク１２の前方等を撮影した画像を表示する。また、仮想モニターＶＭは、自由な位置に配置することができるため、車両の前方で視界を塞いでいる荷物に重畳して表示することにより、それ以上、運転者１００の視界を塞ぐようなこと無く、前方を確認できるようにする。また、仮想モニターＶＭは、現実のモニターに比べて大きく表示することができるので、運転者１００は車両前方を向いた状態で特に凝視する必要もなく、荷物に投影された前方の画像を確認することができる。また、仮想モニターＶＭをある程度前方（バックレスト１４とフォーク１２先端の間）に配置することで、運転席に現実のモニターを設ける場合と比べて焦点距離を遠くに設定することができる。これにより、車両周辺を目視により確認しながらフォークリフト１を運転する運転者１００にとって、焦点を合わせやすく、仮想モニターＶＭに表示された画像の確認が負担とならないようにすることができる。また、不要な場面では仮想モニターＶＭを消すことで視界の妨げになることを防ぐことができる。

図９は、実施形態に係る表示装置のハードウェア構成の一例を示す図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。
上述の表示装置２０は、コンピュータ９００に実装される。そして、上述した各機能は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。

なお、表示装置２０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、ＣＤ、ＤＶＤ、ＵＳＢ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

＜付記＞
各実施形態に記載の表示装置、視界補助システム、産業車両、制御方法及びプログラムは、例えば以下のように把握される。

（１）第１の態様に係る表示装置は、人（運転者１００や同乗者）の頭部に装着する表示装置２０であって、画像データを表示することが可能な透過的な表示部２２と、産業車両に設けられたカメラ１７が撮影した前記産業車両の前方の画像を取得する取得部（送受信部２３）と、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記産業車両が有する、前方の視界を塞ぐ物体（荷物）に重畳して表示する制御部２４と、を備える。
ＡＲ技術を用いて、運転者１００の前方の視界を防ぐ物体を利用して、そこにカメラが撮影した産業車両前方の画像を表示することで、運転者の前方の視界が遮られる状況であっても、前方の様子を確認することができる。

（２）第２の態様に係る表示装置は、（１）の表示装置であって、前記制御部は、前記人の姿勢に応じて前記画像データを表示する位置および／又は角度を変更する。
これにより、運転者１００から仮想モニターを確認しやすくすることができる。

（３）第３の態様に係る表示装置は、（１）～（２）の表示装置であって、前記制御部は、前記画像データを表示する範囲が、前記物体からはみ出ないように制御する。
これにより、仮想モニターＶＭによってかえって前方が見えにくくなることを防ぐことができる。

（４）第４の態様に係る表示装置は、（１）～（３）の表示装置であって、前記画像データを表示するか非表示とするかを判定する表示判定部、をさらに備え、前記制御部は、前記表示判定部が前記画像データを表示すると判定すると、前記画像データを表示し、前記表示判定部が前記画像データを非表示にすると判定すると、前記画像データを表示しない。
これにより、必要なときだけ仮想モニターＶＭを表示することができる。例えば、仮想モニターＶＭが、視界を遮り邪魔になるような場面では仮想モニターＶＭを非表示とすることができる。

（５）第５の態様に係る表示装置は、（４）の表示装置であって、前記表示判定部は、前記産業車両が前記物体を有したことを検出すると、前記画像データを表示すると判定する。
これにより、作業装置の動作時だけ仮想モニターＶＭを表示することができる。
視界を塞ぐ物体を産業車両が有すると、前方が見えにくくなるため、視界を塞ぐ物体を有したことを検出することを契機として、仮想モニターを表示する。これにより、前方の視界が塞がれた状況になると自動的に仮想モニターＶＭを表示し、仮想モニターＶＭにて前方を確認することができるようになる。

（６）第６の態様に係る表示装置は、（４）～（５）の表示装置であって、前記表示判定部は、前記産業車両が前記物体を有したことを、前記産業車両が前記物体を有するための機構が検出する重量の変化、前記機構の周辺を撮影した画像の変化、前記機構の周辺に設けられた前記物体の接近を検出する近接センサによる検出情報の何れかによって検出する。
これにより、産業車両が視界を遮る物体を有したかどうかを検出することができる。

（７）第７の態様に係る表示装置は、（４）～（６）の表示装置であって、前記制御部は、前記画像データの表示と非表示を切り替える指示を受け付ける仮想的なスイッチを表示し、前記表示判定部は、前記スイッチに対する前記人の操作に基づいて、前記画像データの表示と非表示を判定する。
これにより、ハードウェアのスイッチを設けることなく、仮想モニターの表示と非表示を切り替えることができるようになる。

（８）第８の態様に係る表示装置は、（４）～（７）の表示装置であって、前記表示判定部は、前記画像データの表示と対応付けられた第１のマーカと、前記画像データの非表示と対応付けられた第２のマーカと、の何れを前記人が凝視したかに基づいて、前記画像データの表示と非表示を判定する。
これにより、運転者の両手がふさがれた状況であっても、視線によって仮想モニターの表示と非表示を切り替えることができる。

（９）第９の態様に係る視界補助システムは、産業車両に設けられるカメラと、（１）～（８）の表示装置と、を備える。

（１０）第１０の態様に係る産業車両は、カメラと、（１）～（８）の表示装置と、を備える。

（１１）第１１の態様に係る制御方法は、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置の制御方法であって、産業車両に設けられたカメラが撮影した前記産業車両の前方の画像を取得し、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前方の視界を塞ぐ、前記産業車両が有する物体に重畳して表示する。

（１２）第１２の態様に係るプログラムは、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置のコンピュータを、産業車両に設けられたカメラが撮影した前記産業車両の前方の画像を取得する手段、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前方の視界を塞ぐ、前記産業車両が有する物体に重畳して表示する手段、として機能させる。

１・・・フォークリフト
１０・・・車体
１１・・・荷役装置
１２・・・フォーク
１３・・・マスト
１４・・・バックレスト
１５・・・荷重センサ
１６・・・近接センサ
１７・・・カメラ
１８・・・制御装置
１９ａ・・・ハンドル
１９ｂ・・・リフトレバー
２０・・・表示装置
２１・・・センサ部
２２・・・表示部
２３・・・送受信部
２４・・・制御部
２５・・・表示判定部
２６・・・記憶部
１００・・・運転者
ＶＭ・・・仮想モニター
９００・・・コンピュータ
９０１・・・ＣＰＵ
９０２・・・主記憶装置
９０３・・・補助記憶装置
９０４・・・入出力インタフェース
９０５・・・通信インタフェース

Claims

人の頭部に装着する表示装置であって、
画像データを表示することが可能な透過的な表示部と、
産業車両に設けられたカメラが撮影した前記産業車両の前方の画像を取得する取得部と、
前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記産業車両に積載された前方の視界を塞ぐ物体に重畳して表示する制御部と、
を備え、
前記制御部は、前記画像データを表示する範囲が、前記物体からはみ出ないように制御する、
表示装置。
前記制御部は、前記人の姿勢に応じて前記画像データを表示する位置および／又は角度を変更する、
請求項１に記載の表示装置。
前記画像データを表示するか非表示とするかを判定する表示判定部、
をさらに備え、
前記制御部は、前記表示判定部が前記画像データを表示すると判定すると、前記画像データを表示し、前記表示判定部が前記画像データを非表示にすると判定すると、前記画像データを表示しない、
請求項１又は請求項２に記載の表示装置。
人の頭部に装着する表示装置であって、
画像データを表示することが可能な透過的な表示部と、
産業車両に設けられたカメラが撮影した前記産業車両の前方の画像を取得する取得部と、
前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記産業車両に積載された前方の視界を塞ぐ物体に重畳して表示する制御部と、
前記画像データを表示するか非表示とするかを判定する表示判定部と、
を備え、
前記表示判定部は、前記産業車両が前記物体を有したことを検出すると、前記画像データを表示すると判定し、
前記制御部は、前記表示判定部が前記画像データを表示すると判定すると、前記画像データを表示し、前記表示判定部が前記画像データを非表示にすると判定すると、前記画像データを表示しない、
表示装置。
前記表示判定部は、前記産業車両が前記物体を有したことを、前記産業車両が前記物体を有するための機構が検出する重量の変化、前記機構の周辺を撮影した画像の変化、前記機構の周辺に設けられた前記物体の接近を検出する近接センサによる検出情報の何れかによって検出する、
請求項４に記載の表示装置。
人の頭部に装着する表示装置であって、
画像データを表示することが可能な透過的な表示部と、
産業車両に設けられたカメラが撮影した前記産業車両の前方の画像を取得する取得部と、
前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記産業車両に積載された前方の視界を塞ぐ物体に重畳して表示する制御部と、
前記画像データを表示するか非表示とするかを判定する表示判定部と、
を備え、
前記制御部は、前記画像データの表示と非表示を切り替える指示を受け付ける仮想的なスイッチを表示し、
前記表示判定部は、前記スイッチに対する前記人の操作に基づいて、前記画像データの表示と非表示を判定し、
前記制御部は、前記表示判定部が前記画像データを表示すると判定すると、前記画像データを表示し、前記表示判定部が前記画像データを非表示にすると判定すると、前記画像データを表示しない、
表示装置。
人の頭部に装着する表示装置であって、
画像データを表示することが可能な透過的な表示部と、
産業車両に設けられたカメラが撮影した前記産業車両の前方の画像を取得する取得部と、
前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記産業車両に積載された前方の視界を塞ぐ物体に重畳して表示する制御部と、
前記画像データを表示するか非表示とするかを判定する表示判定部と、
を備え、
前記表示判定部は、前記画像データの表示と対応付けられた第１のマーカと、前記画像データの非表示と対応付けられた第２のマーカと、の何れを前記人が凝視したかに基づいて、前記画像データの表示と非表示を判定し、
前記制御部は、前記表示判定部が前記画像データを表示すると判定すると、前記画像データを表示し、前記表示判定部が前記画像データを非表示にすると判定すると、前記画像データを表示しない、
表示装置。
前記産業車両は、フォークリフトであって、
前記制御部は、前記フォークリフトの運転席から見て前記フォークリフトのフォークの先端側を前、その反対側を後とした場合の前後方向に関し、前記フォークの先端から前記フォークリフトのバックレストの範囲に前記画像データを表示する、
請求項１または請求項２に記載の表示装置。
産業車両に設けられるカメラと、
請求項１又は請求項２に記載の前記表示装置と、
を備える視界補助システム。
カメラと
請求項１又は請求項２に記載の前記表示装置と、
を備える産業車両。
画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置の制御方法であって、
産業車両に設けられたカメラが撮影した前記産業車両の前方の画像を取得し、
前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記産業車両に積載された前方の視界を塞ぐ物体に重畳して表示するとともに、
前記画像データを表示する範囲が、前記物体からはみ出ないように制御する、
制御方法。
画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置のコンピュータを、
産業車両に設けられたカメラが撮影した前記産業車両の前方の画像を取得する手段、
前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記産業車両に積載された前方の視界を塞ぐ物体に重畳して表示する手段、
として機能させ、
前記表示する手段は、前記画像データを表示する範囲が、前記物体からはみ出ないように制御する、
プログラム。