JP6733174B2 - 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム - Google Patents

Description

本発明は、頭部装着型表示装置の技術に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。

特許文献１には、使用者の視野を２つ以上の領域に分割し、分割した領域ごとに対応させた仮想画像を表示させる頭部装着型表示装置が記載されている。また、特許文献２には、検出された使用者の視線位置の近傍に入力を補助するためのガイド情報を示す画像を表示させるマルチモーダル・インターフェース（multimodal interface）が記載されている。また、特許文献３には、使用者の歩行などの移動状態に合わせて変化する使用者の注視点までの距離と同じ位置に、使用者に視認される画像を表示させる頭部装着型表示装置が記載されている。

特表２０１４−５２６１５７号公報 特開平１１−５４７７８号公報 特開２０１４−２２５７２７号公報

しかし、特許文献１に記載された技術では、分割された領域に表示される仮想画像が多い場合には、仮想画像を表示させるための処理の負担が大きく、仮想画像の表示に遅れを生じるおそれがあった。また、特許文献２，３に記載された技術でも、表示される画像の容量が大きい場合には、画像を表示させるための処理の負担が大きい場合があった。そのほか、従来の頭部装着型表示装置の技術においては、その小型化や、低コスト化、製造の容易化、使い勝手の向上等が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
本発明の一形態の頭部装着型表示装置は、画像を表示領域に表示可能であり、かつ、外景を透過可能な画像表示部と、使用者の視線方向を特定する視線方向特定部と、特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更部と、前記外景を撮像する外景撮像部と、特定対象物に対応付けられた前記表示画像の元である画像データを、前記画像データの種類ごとに識別して取得する画像データ取得部と、を備え、前記画像変更部は、前記外景撮像部が特定対象物を撮像した場合に、撮像された前記外景の画像の中から特定対象物を検出し、検出した特定対象物の位置に対応付けて前記表示画像の位置を設定し、前記画像データ取得部が取得した前記画像データの種類と、前記表示領域に対する撮像された前記特定対象物の位置と、に基づいて、前記特定対象物に対応付けられた前記表示画像の態様を決定する。
この形態の頭部装着型表示装置によれば、使用者が視認している位置に応じて、画像の表示態様を変更することで、使用者の表示画像に対する視認性を低下させずに、画像を表示させるための処理の負担を低減できる。また、特定対象物と表示される画像との対応関係について、よりわかりやすく使用者に視認させることができ、使用者の使い勝手が向上する。また、画像データの種類に応じて使用者に視認させる画像の表示態様が異なり、必要に応じた画像を使用者に視認させることができる。
本発明の他の一形態の頭部装着型表示装置は、画像を表示領域に表示可能であり、かつ、外景を透過可能な画像表示部と、使用者の視線方向を特定する視線方向特定部と、特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更部と、前記外景を撮像する外景撮像部と、前記外景において移動している移動物体を特定する移動物体特定部と、を備え、前記画像変更部は、撮像された前記外景の画像の中から特定対象物を検出し、検出した特定対象物の位置に対応付けて前記表示画像の位置を設定し、前記移動物体が前記画像表示部に近づく速度に基づいて、前記特定対象物に対応付けられた前記表示画像の表示態様を設定する。
この形態の頭部装着型表示装置によれば、使用者が視認している位置に応じて、画像の表示態様を変更することで、使用者の表示画像に対する視認性を低下させずに、画像を表示させるための処理の負担を低減できる。また、特定対象物と表示される画像との対応関係について、よりわかりやすく使用者に視認させることができ、使用者の使い勝手が向上する。また、使用者に近づく自動車等について危険を使用者に報知できる。
本発明のさらに他の一形態の頭部装着型表示装置は、画像を表示領域に表示可能であり、かつ、外景を透過可能な画像表示部と、使用者の視線方向を特定する視線方向特定部と、特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更部と、前記外景を撮像する外景撮像部と、を備え、前記視線方向特定部は、さらに、使用者が視認している視認対象までの距離を特定し、前記画像変更部は、撮像された前記外景の画像の中から特定対象物を検出し、検出した特定対象物の位置に対応付けて前記表示画像の位置を設定し、前記視認対象と、前記視認対象以外の範囲であると共に前記視認対象に対して移動している移動背景に基づく運動特性と、に基づいて、前記特定対象物に対応付けられた前記表示画像の表示態様を設定する。
この形態の頭部装着型表示装置によれば、使用者が視認している位置に応じて、画像の表示態様を変更することで、使用者の表示画像に対する視認性を低下させずに、画像を表示させるための処理の負担を低減できる。また、特定対象物と表示される画像との対応関係について、よりわかりやすく使用者に視認させることができ、使用者の使い勝手が向上する。また、使用者が視認している視認対象との移動速度の比較によって、画像の表示態様を設定するため、使用者に与える臨場感を調整できる。
その他、本発明は、以下の形態としても実現することが可能である。

（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表示領域に表示可能な画像表示部と；使用者の視線方向を特定する視線方向特定部と；特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更部と、を備える。この形態の頭部装着型表示装置によれば、使用者が視認している位置に応じて、画像の表示態様を変更することで、使用者の表示画像に対する視認性を低下させずに、画像を表示させるための処理の負担を低減できる。

（２）上記形態の頭部装着型表示装置において、前記画像変更部は、特定された前記視線方向に応じて変化する使用者の視覚特性に対応させて前記表示画像を変更してもよい。この形態の頭部装着型表示装置によれば、画像を視認する使用者の認識などの視覚特性を損なわないで、画像を表示させる処理の速度を向上させることができる。

（３）上記形態の頭部装着型表示装置において、前記視覚特性は、サッカードに関連する特性であり；前記画像変更部は、使用者の視野範囲として、サッカードによる視角も加えた範囲を設定してもよい。この形態の頭部装着型表示装置によれば、サッカードを考慮して表示画像の表示態様が設定されるため、使用者が意図しない眼球運動の範囲も考慮された画像を予め表示領域に表示できる。

（４）上記形態の頭部装着型表示装置において、前記画像変更部は、前記表示領域の一部に前記表示画像を表示する場合に、前記表示画像の位置と前記視線方向とに応じて、前記表示画像を変更してもよい。この形態の頭部装着型表示装置によれば、画像を視認する使用者の認識のしやすさを低減させないで、画像を表示させる処理の速度を向上させることができる。

（５）上記形態の頭部装着型表示装置において、前記画像表示部は、外景を透過可能であり；前記頭部装着型表示装置は、さらに；前記外景を撮像する外景撮像部を備え；前記画像変更部は、撮像された前記外景の画像の中から特定対象物を検出し、検出した特定対象物の位置に対応付けて前記表示画像の位置を設定してもよい。この形態の頭部装着型表示装置によれば、特定対象物と表示される画像との対応関係について、よりわかりやすく使用者に視認させることができ、使用者の使い勝手が向上する。

（６）上記形態の頭部装着型表示装置において、前記視線方向特定部は、前記画像表示部の向きを検出する表示部方向検出部を有し、検出された前記画像表示部の向きに基づいて前記視線方向を特定してもよい。この形態の頭部装着型表示装置によれば、例えば、使用者の眼を撮像するような装置を使用せずに、簡便に安価に使用者の視線方向を特定できる。

（７）上記形態の頭部装着型表示装置において、前記視線方向特定部は、使用者の眼を撮像する眼撮像部を有し、撮像された使用者の眼の画像に基づいて、前記視線方向を特定してもよい。この形態の頭部装着型表示装置によれば、使用者の視線方向を精度良く特定できる。

（８）上記形態の頭部装着型表示装置において、前記視線方向特定部は、さらに、使用者が視認している視認対象まで距離を特定し；前記画像変更部は、前記視認対象と、前記視認対象以外の範囲であると共に前記視認対象に対して移動している移動背景に基づく運動特性と、に基づいて、前記特定対象物に対応付けられた前記表示画像の表示態様を設定してもよい。この形態の頭部装着型表示装置によれば、使用者が視認している視認対象との移動速度の比較によって、画像の表示態様を設定するため、使用者に与える臨場感を調整できる。

（９）上記形態の頭部装着型表示装置において、前記画像変更部は、前記特定対象物が前記移動背景である場合には、前記特定対象物が前記視認対象に対して移動していない場合と比較して、前記特定対象物に対応付けられた前記表示画像の表示態様を簡便な態様に設定してもよい。この形態の頭部装着型表示装置によれば、視認対象と異なる移動速度の対象に対応付けられた画像を表示するための処理を低減することで、使用者の画像の視認性を低減させずに、処理の負担を軽減できる。

（１０）上記形態の頭部装着型表示装置において、前記画像表示部は、外景を透過可能であり；前記頭部装着型表示装置は、さらに；前記外景を撮像する外景撮像部と；前記特定対象物に対応付けられた前記表示画像の元である画像データを、前記画像データの種類ごとに識別して取得する画像データ取得部と、を備え；前記画像変更部は、前記外景撮像部が前記特定対象物を撮像した場合に、前記画像データ取得部が取得した前記画像データの種類と、前記表示領域に対する撮像された前記特定対象物の位置と、に基づいて、前記特定対象物に対応付けられた前記表示画像の態様を決定してもよい。この形態の頭部装着型表示装置によれば、画像データの種類に応じて使用者に視認させる画像の表示態様が異なり、必要に応じた画像を使用者に視認させることができる。

（１１）上記形態の頭部装着型表示装置において、さらに；外景において移動している移動物体を特定する移動物体特定部を備え；前記画像変更部は、前記移動物体が前記画像表示部に近づく速度に基づいて、前記特定対象物に対応付けられた前記表示画像の表示態様を設定してもよい。この形態の頭部装着型表示装置によれば、使用者に近づく自動車等について危険を使用者に報知できる。

（１２）上記形態の頭部装着型表示装置において、前記画像変更部は、前記視線方向を中心とする所定の領域以外の前記移動物体が予め設定された速度以上で前記画像表示部に近づく場合には、前記移動物体が予め前記特定対象物として設定されていなくても前記特定対象物と判定し、判定された前記特定対象物に予め設定された前記表示画像を設定してもよい。この形態の頭部装着型表示装置によれば、必要なときのみ、必要な画像を使用者に視認させることができ、使用者に対する頭部装着型表示装置の使い勝手が向上する。

（１３）上記形態の頭部装着型表示装置において、前記画像変更部は、前記表示画像が文字画像を含む場合には、特定された前記視線方向を含む第１の視野範囲では前記文字画像を前記表示画像として前記表示領域に表示させ、前記第１の視野範囲よりも大きい範囲であると共に前記第１の視野範囲を含まない第２の視野範囲では前記文字画像を前記表示画像として前記表示領域に表示させなくてもよい。この形態の頭部装着型表示装置によれば、使用者が文字を認識しづらい視野範囲では文字画像を含まない画像が表示領域に表示されるため、画像を視認する使用者の認識のしやすさをより低減させないで、画像を表示させる処理の速度を向上させることができる。

（１４）上記形態の頭部装着型表示装置において、前記画像変更部は、前記表示画像が使用者に三次元画像として視認される画像の場合には、特定された前記視線方向を含む第３の視野範囲では前記表示画像を三次元画像として前記表示領域に表示させ、前記第３の視野範囲よりも大きい範囲であると共に前記第３の視野範囲を含まない第４の視野範囲に表示では前記表示画像を二次元画像として使用者に視認されるように前記表示領域に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者が表示画像までの距離を認識しづらい視野範囲において二次元画像を表示領域に表示させるため、対応画像を視認する使用者の認識のしやすさを低減させないで、画像を表示させる処理の速度をより向上させることができる。

（１５）上記形態の頭部装着型表示装置において、前記画像変更部は、前記表示画像が複数の色の情報を含む画像である場合には、特定された前記視線方向を含む第５の視野範囲では前記表示画像を複数の色の情報を含む画像として前記表示領域に表示させ、前記第５の視野範囲よりも大きい範囲であると共に前記第５の視野範囲を含まない第６の視野範囲では前記表示画像を単色の濃淡を用いて前記表示領域に表示させてもよい。この形態の頭部装着型表示装置によれば、画像を視認する使用者の認識のしやすさを低減させないで、画像を表示させる処理の速度をより向上させることができる。

（１６）上記形態の頭部装着型表示装置において、前記画像変更部は、前記第６の視野範囲では、前記表示画像の輪郭のみを前記表示領域に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者が色情報を認識しづらい範囲においては画像の外枠のみを表示させので、対応画像を視認する使用者の認識のしやすさを低減させないで、画像を表示させる処理の速度をより向上させることができる。

（１７）上記形態の頭部装着型表示装置において、前記画像変更部は、特定された前記視線方向を含む第７の視野範囲よりも大きい範囲であると共に前記第７の視野範囲を含まない第８の視野範囲では、前記表示画像を前記第７の視野範囲に表示される画像よりも簡略化した簡易画像として前記表示領域に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者が表示画像の詳細な内容までを認識できない視野範囲では画像があることだけを示す簡略化した画像のみが表示領域に表示されるため、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、視線方向特定部と、画像変更部と、の３つ要素の内の一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、視線方向特定部を有していてもよく、有していなくてもよい。また、装置は、画像変更部を有していてもよく、有していなくてもよい。画像表示部は、例えば、画像を表示領域に表示可能であってもよい。視線方向特定部は、例えば、使用者の視線方向を特定してもよい。画像変更部は、例えば、特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置および表示装置の制御方法、制御システム、頭部装着型表示システム、表示装置、制御システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

本実施形態における頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。 本実施形態におけるＨＭＤの構成を機能的に示すブロック図である。 注視点と使用者の視線方向と関係の説明図である。 注視点を中心とする水平視野および鉛直視野の概略図である。 水平視野における視野の範囲ごとの人間の認識の度合いを示す説明図である。 鉛直視野における視野の範囲ごとの人間の認識の度合いを示す説明図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 画像表示処理の流れを示すフローチャートである。 対応画像の画像表示位置と区別された視野範囲との関係を示す説明図である。 対応画像が表示された場合の使用者の視野の一例を示す説明図である。 カメラの撮像範囲が変化した後の対応画像が表示された場合に使用者の視野の一例を示す説明図である。 使用者の視線方向が変化した後の対応画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 第１実施形態の視野範囲と第２実施形態の視野範囲との比較するための説明図である。 第３実施形態において自動車を運転している使用者が視認する視野の説明図である。 第３実施形態において自動車を運転している使用者が視認する視野の説明図である。 第４実施形態において歩行者である使用者が視認する視野の説明図である。 変形例における使用者が視認する視野の一例を示す説明図である。 変形例における使用者が視認する視野の一例を示す説明図である。 対応画像が視野範囲に属する場合に使用者が視認する視野の一例を示す説明図である。 変形例における使用者の視野における対応画像の表示位置の説明図である。 変形例におけるＨＭＤの外観構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、本実施形態における頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、第１カメラ６１と、第２カメラ６２と、右眼撮像カメラ３７と、左眼撮像カメラ３８と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

第１カメラ６１および第２カメラ６２は、外景を撮像する。第１カメラ６１と第２カメラ６２とのそれぞれは、画像表示部２０の異なる位置に配置されている。第１カメラ６１は、右光学像表示部２６の他端である端部ＥＲにおいて、画像表示部２０が使用者に装着された場合の使用者の頭部方向に配置されている。また、同じように、第２カメラ６２は、左光学像表示部２８の他端である端部ＥＬにおいて、画像表示部２０が使用者に装着された場合の使用者の頭部方向に配置されている。本実施形態では、第１カメラ６１と第２カメラ６２とのそれぞれは、画像表示部２０の中心である右光学像表示部２６の一端と左光学像表示部２８の一端とが接続する位置を通る中心線に対して、線対称に配置されている。なお、以降では、第１カメラ６１と第２カメラ６２とを合わせて、単に、カメラ６１，６２とも呼ぶ。本実施形態では、第１カメラ６１が画像表示部２０に配置されている場所と、第２カメラ６２が画像表示部２０に配置されている場所と、が異なるため、第１カメラ６１の撮像範囲と第２カメラ６２の撮像範囲との両方に撮像されている対象までの距離を、三角法を用いて算出できる。なお、カメラ６１，６２は、請求項における外景撮像部に相当する。

右眼撮像カメラ３７は、画像表示部２０を装着した使用者の右眼を撮像するカメラである。同様に、左眼撮像カメラ３８は、画像表示部２０を装着した使用者の左眼を撮像するカメラである。右眼撮像カメラ３７によって撮像された使用者の右眼の画像および左眼撮像カメラ３８によって撮像された使用者の左眼の画像は、後述する方向特定部１６６が使用者の視線方向を特定するための処理に用いられる。なお、右眼撮像カメラ３７および左眼撮像カメラ３８は、単眼カメラであるが、ステレオカメラであってもよい。以降では、右眼撮像カメラ３７および左眼撮像カメラ３８を合わせて、眼撮像カメラ３７，３８とも呼ぶ。眼撮像カメラ３７，３８と後述する方向特定部１６６とは、請求項における視線方向特定部に相当する。また、眼撮像カメラ３７，３８は、請求項における眼撮像部に相当する。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２は、本実施形態におけるＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、記憶部１２０と、電源１３０と、無線通信部１３２と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行なう。

記憶部１２０は、コンピュータープログラムを格納しているＲＯＭと、ＣＰＵ１４０が種々のコンピュータープログラムの書き込みおよび読み取りを実行するときに用いられるＲＡＭと、を有する。

ＣＰＵ１４０は、記憶部１２０のＲＯＭに格納されているコンピュータープログラムを読み出し、記憶部１２０のＲＡＭに書き込みおよび読み取りを実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、画像設定部１６５、距離測定部１６８、および、方向特定部１６６として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。なお、画像光を生成することを「画像を表示する」ともいう。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して音声信号を供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。

方向特定部１６６は、眼撮像カメラ３７，３８によって撮像された使用者の右眼ＲＥの画像および左眼ＬＥの画像を解析することによって、使用者の視線方向を特定する。撮像された使用者の右眼ＲＥの画像および左眼ＬＥの画像に基づく使用者の視線方向の特定方法としては、種々の公知技術を用いることができる。例えば、方向特定部１６６は、撮像された画像を、記憶部１２０に予め記憶された使用者の視線方向に対応させた画像のデータベースを基準として、撮像された眼の画像に対してパターンマッチングや統計的識別法を用いて、使用者の視線方向を特定できる。

距離測定部１６８は、第１カメラ６１の撮像画像に含まれる対象物と、第２カメラ６２の撮像画像に含まれる対象物と、に対して三角法を用いることで、カメラ６１，６２の撮像画像に含まれる対象物の画像までの距離を測定する。なお、本実施形態では、配置された場所が異なるステレオカメラである第１カメラ６１と第２カメラ６２とによって、対象物までの距離が測定されたが、他の実施形態では、ＴＯＦ（Time Of Flight）センサーなどの異なる測定手段によって、対象物までの距離が測定されてもよい。

画像設定部１６５は、画像表示部２０に表示させる画像（表示画像）の各種設定を行なう。例えば、画像設定部１６５は、表示画像の表示位置や表示画像の大きさや表示画像の輝度などを設定したり、表示画像を三次元画像として、使用者に立体的（３Ｄ）に視認させるために両眼視差（単に、「視差」ともいう）を形成するように右眼用画像データと左眼用画像データとを設定する。また、画像設定部１６５は、撮像画像に対してパターンマッチング等を用いることで、撮像画像の中から予め設定された検出対象の画像を検出する。

本実施形態では、画像設定部１６５は、同じ画像データに基づく画像であっても、特定された使用者の視線方向と、画像が表示される画像領域の位置と、の関係によって、異なる画像を画像表示部２０に表示させる。例えば、画像設定部１６５は、ＲＧＢ（Red Green Blue）の色情報を有する三次元画像データに基づいて、使用者の注視点を中心とする所定の視野の範囲ではＲＧＢの色情報を有し、測定された距離情報を用いた三次元画像として画像表示部２０に表示させる。一方、画像設定部１６５は、三次元画像データに基づいて、当該所定の視野の範囲外では白と黒のみの色情報を有する二次元画像として画像表示部２０に表示させる。画像設定部１６５は、視線方向と画像領域の位置との関係について、同じ画像データであってもどのように異なる画像を表示するかの対応を決定するルックアップテーブルを、ＲＯＭを介して読み取ることで、画像表示部２０に表示させる画像を決定している。

図３は、注視点ＰＯＲと使用者の視線方向ＥＤと関係の説明図である。図３には、使用者の右眼ＲＥと左眼ＬＥとが注視点ＰＯＲを見ている場合の視線方向ＥＤが示されている。本実施形態では、右眼ＲＥと左眼ＬＥとの中間点である左右眼球中心ＭＰから注視点ＰＯＲまでの方向を視線方向ＥＤとして定義している。なお、使用者の視線方向ＥＤの定義については、種々変形可能であり、例えば、利き眼から注視点ＰＯＲまでの方向を視線方向ＥＤとして定義してもよい。

人間は、注視点ＰＯＲを中心とする一定の範囲である視野に存在する対象を視認できる。一般に、人間は、注視点ＰＯＲまでの距離と同じ距離に存在し、注視点ＰＯＲの近い位置に存在する対象ほど、より明確に視認できる。人間が視野のどの範囲に存在する対象かによって人間の視認性が変化する視覚特性には、種々の形態がある。例えば、ある視野の範囲までは対象の輪郭を明確に視認できるが、それ以外の視野の範囲では、対象が存在することを認識できるものの、対象の輪郭が把握できないといった視覚特性が存在する。なお、対象の代わりとなる表示画像についても同様のことが言える。換言すると、人間は、注視点ＰＯＲから離れるほど、視野に含まれる対象物を認識する能力が低下する。そのため、本実施形態では、画像設定部１６５は、使用者の視線方向ＥＤから離れる位置に表示される画像については、同じ画像データに基づく画像であっても、例えば、画像の解像度を落とすなどの手段によって、当該画像を画像表示部２０に表示させるための処理を低減させて画像表示部２０に当該画像を表示させる。なお、画像設定部１６５は、請求項における画像変更部に相当する。

注視点ＰＯＲを中心とする約５度以内の領域は、視力などの視機能が優れている弁別視野と呼ばれている。また、注視点ＰＯＲを中心として水平方向に約３０度以内で、かつ、視点を中心として垂直方向に約２０度以内の領域は、眼球運動だけで瞬時に対象を認識できる有効視野と呼ばれている。また、注視点ＰＯＲを中心として水平方向に約６０〜９０度で、かつ、視点を中心として垂直方向に約４５〜７０度以内の領域は、使用者が眼球を動かす眼球運動や頭部運動を行なうことで無理なく対象を認識できる安定注視野と呼ばれている。

図４は、注視点ＰＯＲを中心とする水平視野ＶＲｗおよび鉛直視野ＶＲｈの概略図である。図４には、水平方向および鉛直方向における弁別視野と有効視野と安定注視野との関係が示されている。図４には、使用者が注視点ＰＯＲを見ている場合に、注視点ＰＯＲを中心として視認できる視野ＶＲと、視野ＶＲを水平方向成分に分けて説明するための水平視野ＶＲｗと、視野ＶＲを鉛直方向成分に分けて説明するための鉛直視野ＶＲｈと、が示されている。図４では、弁別視野と有効視野と安定注視野とは、下記の関係（１）のように表される。なお、関係（１）における括弧書きの角度は、注視点ＰＯＲを中心とした場合の片側の角度である。
弁別視野：Ｗ０，Ｈ０（〜約５度）
有効視野：Ｗ１（〜約３０度），Ｈ１（〜約２０度） ・・・（１）
安定注視野：Ｗ２（〜約６０（９０）度），Ｈ２（〜約４５（７０）度）
図４に示すように、視野ＶＲの鉛直方向では、上側よりも下側における安定注視野などが広い範囲である。これは、人間にとって、鉛直方向に沿って上側よりも下側を視認しやすいことを示している。

図５は、水平視野ＶＲｗにおける視野の範囲ごとの人間の認識の度合いを示す説明図である。図５には、使用者ＵＳの視線方向ＥＤを中心として６つに区別した視野範囲ＶＲ１から視野範囲ＶＲ６が示されており、下記の関係（２）が成立する。なお、関係（２）における括弧書きの角度は、注視点ＰＯＲを中心とした場合の片側の角度である。
ＶＲ１：注視点ＰＯＲとみなせる範囲（〜約１度）
ＶＲ２：文字を識別できる範囲（〜約１０度）
ＶＲ３：眼球運動が楽に行なえる範囲（〜約１５度）・・・（２）
ＶＲ４：形状を識別できる範囲（〜約３０度）
ＶＲ５：色情報を識別できる範囲（〜約６０度）
ＶＲ６：視野の限界（〜約９４度）
以上、図５に示すように、視野によって使用者ＵＳが認識できる情報が異なってくる。

図６は、鉛直視野ＶＲｈにおける視野の範囲ごとの人間の認識の度合いを示す説明図である。図６には、図５の水平視野ＶＲｗの代わりとしての鉛直視野ＶＲｈについての区別された使用者ＵＳの視野が示されている。そのため、区別した視野範囲がどういった視野範囲であるのかの説明は省略する。

図２に示すインターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、第１カメラ６１と、第２カメラ６２と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図７は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図２に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−２．画像表示処理：
図８は、画像表示処理の流れを示すフローチャートである。画像表示処理では、ＣＰＵ１４０が、カメラ６１，６２の撮像画像の中から検出された検出対象に対応付けられた対応画像を画像表示部２０に表示させる際に、使用者の視線方向ＥＤを中心として区別された視野範囲と画像の表示位置とに基づいて、表示画像を変更して画像表示部２０に表示させる処理である。

画像表示処理では、初めに、画像設定部１６５は、カメラ６１，６２を用いて、外景を撮像する（ステップＳ１１）。画像設定部１６５は、撮像されたカメラ６１，６２の撮像画像の中から画像表示部２０に表示させる対応画像に対応付けられた検出対象をパターンマッチング等によって検出する（ステップＳ１３）。画像設定部１６５は、撮像画像の中から検出対象を検出しない場合には（ステップＳ１３：ＮＯ）、引き続き、撮像画像の中から検出対象の検出を待機する（ステップＳ１３）。

ステップＳ１３の処理において、画像設定部１６５は、撮像画像の中から検出対象を検出した場合には（ステップＳ１３：ＹＥＳ）、検出対象に予め対応付けられた対応画像を画像表示部２０に表示させる画像表示位置を決定する（ステップＳ１５）。対応画像の画像表示位置については、種々の決定が可能であり、例えば、撮像画像の中の検出対象の位置にかかわらず画像表示部２０が画像を表示できる画像表示最大領域ＰＮにおける固定された位置に表示させたり、検出対象に設定された特徴点の位置の近傍に表示させる場合などがある。なお、画像表示最大領域ＰＮは、請求項における表示領域に相当する。

対応画像の画像表示位置が決定されると（ステップＳ１５）、ＣＰＵ１４０は、画像表示部２０を頭部に装着している使用者の注視点ＰＯＲおよび視線方向ＥＤを、眼撮像カメラ３７，３８の撮像画像を用いて特定する（ステップＳ１７）。ＣＰＵ１４０は、距離測定部１６８がカメラ６１，６２の撮像画像を用いて測定した検出対象までの距離と、方向特定部１６６が眼撮像カメラ３７，３８の撮像画像を用いて特定した使用者の視線方向ＥＤと、を特定する。

画像設定部１６５は、対応画像の画像表示最大領域ＰＮにおける画像表示位置が、特定された視線方向ＥＤに基づいて設定された複数の視野範囲の内のいずれの視野範囲に属するかを特定する（ステップＳ１９）。画像設定部１６５は、例えば、図５に示すように、特定された視線方向ＥＤを中心とする複数の視野範囲を区別し、画像表示位置が区別したどの視野範囲に属するのかを特定する。

図９は、対応画像ＩＭ１の画像表示位置と区別された視野範囲との関係を示す説明図である。図９には、使用者が視認する視野ＶＲの一例が示されている。図９に示すように、使用者は、光学像表示部２６，２８を透過した外景ＳＣを視認できる。外景ＳＣには、検出対象ＴＷとしてのランドマークの１つとしての「スカイツリー」が含まれている。図９には、ＣＰＵ１４０によって特定された使用者の注視点ＰＯＲと、注視点ＰＯＲを中心として所定の範囲で設定された視野範囲ＶＲ２，ＶＲ３，ＶＲ４，ＶＲ５と、が示されている。なお、視野範囲ＶＲ３とは、視野範囲ＶＲ３に含まれ、かつ、視野範囲ＶＲ２に含まれない範囲をいう。同じように、視野範囲ＶＲ４とは、視野範囲ＶＲ４に含まれ、かつ、視野範囲ＶＲ２，ＶＲ３に含まれない範囲をいい、視野範囲ＶＲ５とは、視野範囲ＶＲ５に含まれ、かつ、視野範囲ＶＲ２，ＶＲ３，ＶＲ４のいずれにも含まれない範囲をいう。図９では、破線の画像表示最大領域ＰＮと、注視点ＰＯＲを示す星印と、各視野範囲を示す一点鎖線と、を説明のために便宜上示しているが、これらは使用者には視認されない。本実施形態では、カメラ６１，６２の撮像画像によって、使用者が視認する視野に相当する撮像画像が作成されているため、作成された撮像画像と使用者の視野ＶＲとは一致する。他の実施形態では、撮像画像と使用者の視野ＶＲとが異なっていてもよい。

画像設定部１６５は、図８のステップＳ１９の処理を行なうと、検出対象ＴＷに対応付けられた対応画像の画像データに基づいて画像表示最大領域ＰＮに表示させる対応画像の表示態様を設定する（ステップＳ２３）。本実施形態では、画像設定部１６５は、画像表示最大領域ＰＮにおいて対応画像が表示される位置に対応させて、同じ画像データに基づく表示画像であっても、表示画像の態様の設定を変更する。画像設定部１６５は、対応画像ＩＭ１の表示態様を設定すると、表示態様を設定した対応画像ＩＭ１を画像表示最大領域ＰＮに表示させる（ステップＳ２３）。

図１０は、対応画像ＩＭ１が表示された場合の使用者の視野ＶＲの一例を示す説明図である。図１０に示すように、使用者の視野ＶＲには、光学像表示部２６，２８を透過して使用者が視認できる外景ＳＣと、画像表示最大領域ＰＮ内に表示された対応画像ＩＭ１と、が含まれている。対応画像ＩＭ１は、撮像画像の中から検出された検出対象ＴＷに対応付けられて画像表示最大領域ＰＮに表示される画像である。対応画像ＩＭ１は、検出対象ＴＷの近くに検出対象ＴＷに重複しないように表示されるように予め設定されている。特に、特定された使用者の注視点ＰＯＲが検出対象ＴＷに重複する場合には、対応画像ＩＭ１は、特定された注視点ＰＯＲの位置に合わせて表示される。なお、検出対象ＴＷは、請求項における特定対象物に相当する。

画像設定部１６５は、特定された注視点ＰＯＲの位置に対応付けた対応画像ＩＭ１を表示させる画像表示位置と各視野範囲との位置関係を特定する。画像設定部１６５は、対応画像ＩＭ１の少なくとも一部が最も注視点ＰＯＲに近い視野範囲ＶＲ２に含まれることを特定すると、対応画像ＩＭ１の画像データに基づいて表示させる画像の表示態様として、対応画像ＩＭ１の画像データを最も詳細まで表した表示態様として設定する。画像設定部１６５は、設定した表示態様の対応画像ＩＭ１として、下記の内容（Ａ）〜（Ｃ）の全てを充足した画像を画像表示最大領域ＰＮに表示させる。
（Ａ）文字画像
（Ｂ）三次元画像（距離情報を含む）
（Ｃ）ＲＧＢの色情報を含む画像
設定された表示態様の対応画像ＩＭ１は、文字画像を含んでおり、検出対象ＴＷまでの距離と同じ距離に視認されるような三次元画像として画像表示最大領域ＰＮに表示される。また、対応画像ＩＭ１に含まれる文字画像の内の下線が引いてある「こちら」には、別に画像表示最大領域ＰＮに表示されるカーソルなどを移動させることによって、「こちら」を選択可能であることを示すために、他の文字画像と異なる色（例えば、青（ＢＬＵＥ））によって表示されている。操作部１３５が受け付けた所定の操作によって、対応画像ＩＭ１に含まれる「こちら」が選択されると、ＣＰＵ１４０は、無線通信部１３２を介して、検出対象ＴＷのホームページ（ＨＰ）へと接続される。なお、本実施形態では、対応画像ＩＭ１の画像表示位置が複数の視野範囲に含まれる場合には、画像設定部１６５は、最も内側の視野範囲に対応画像ＩＭ１の全体が含まれた場合に表示される態様で、対応画像ＩＭ１を画像表示最大領域ＰＮに表示させる。なお、他の実施形態では、対応画像ＩＭ１の表示位置がいずれの視野範囲に含まれるかの特定について種々変形可能であり、例えば、画像の内の最も含まれる表示領域が多い視野範囲が、表示態様を設定するための視野範囲として特定されてもよい。視野範囲ＶＲ２は、請求項における第１の視野範囲に相当し、視野範囲ＶＲ２以外の視野範囲は、請求項における第２の視野範囲に相当する。

図８のステップＳ２３において、対応画像ＩＭ１が画像表示最大領域ＰＮに表示されると、ＣＰＵ１４０は、カメラ６１，６２の撮像範囲の変化を監視する（ステップＳ２５）。ＣＰＵ１４０は、カメラ６１，６２の撮像範囲の変化を検出した場合には（ステップＳ２５：ＹＥＳ）、ステップＳ１３以降の処理を繰り返す。なお、ＣＰＵ１４０は、カメラ６１，６２の撮像範囲の変化は、所定の閾値を用いて、所定の閾値以下の変化であれば、撮像画像に変化がないとして扱ってもよい。

図１１は、カメラ６１，６２の撮像範囲が変化した後の対応画像ＩＭ２が表示された場合に使用者の視野ＶＲの一例を示す説明図である。図１１には、図１０と比較して、使用者が検出対象ＴＷよりも離れた位置に存在し、使用者の注視点ＰＯＲが外景ＳＣに含まれる月ＭＮである場合の視野ＶＲが示されている。すなわち、図１１では、図１０と比較して、使用者の注視点ＰＯＲも変化している。図１１に示す例では、カメラ６１，６２の撮像画像から検出された検出対象ＴＷは、視野範囲ＶＲ５よりもさらに外側の範囲に含まれる。この場合に、画像設定部１６５は、対応画像ＩＭ１と同じ対応画像ＩＭ２の画像データに基づいて画像表示最大領域ＰＮに表示させる画像の表示態様として、検出対象ＴＷの位置のみを簡略化した距離情報を有さない表示態様として設定する。図１１に示すように、画像設定部１６５は、対応画像ＩＭ２の画像データに基づく簡略化した対応画像ＩＭ２として、検出対象ＴＷの位置に重複する丸の画像である対応画像ＩＭ２を、画像表示最大領域ＰＮに無限遠の位置に表示させる。本実施形態では、画像設定部１６５は、視野範囲ＶＲ５に含まれる検出対象ＴＷの対応画像として、検出対象ＴＷの位置を表すだけの画像を画像表示最大領域ＰＮに表示させる。なお、視野範囲ＶＲ５よりも外側の範囲は、請求項における第８の視野範囲に相当し、視野範囲ＶＲ５を含む視野範囲ＶＲ５より内側の視野範囲は、請求項における第７の視野範囲に相当する。

図８のステップＳ２３において、対応画像ＩＭ２が表示されると、ＣＰＵ１４０は、カメラ６１，６２の撮像範囲の変化を監視する（ステップＳ２５）。ＣＰＵ１４０は、カメラ６１，６２の撮像画像の変化がないと判定した場合には（ステップＳ２５：ＮＯ）、使用者の視線方向ＥＤの変化を監視する（ステップＳ２７）。ＣＰＵ１４０は、使用者の視線方向ＥＤが変化したと判定した場合には（ステップＳ２７：ＹＥＳ）、ステップＳ１７以降の処理を繰り返す。

図１２は、使用者の視線方向ＥＤが変化した後の対応画像ＩＭ３が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１２には、図１１と比較して、使用者の注視点ＰＯＲが変化した場合の視野ＶＲが示されている。図１２に示す例では、使用者の注視点ＰＯＲは、外景ＳＣに含まれる建物ＢＤ１であり、カメラ６１，６２の撮像画像における検出対象ＴＷの位置は、視野範囲ＶＲ４および視野範囲ＶＲ５に含まれている。そのため、画像設定部１６５は、検出対象ＴＷが視野範囲ＶＲ４に属すると判定して、検出対象ＴＷに対応付けられた対応画像ＩＭ１と同じ画像データである対応画像ＩＭ３の画像データに基づいて画像表示最大領域ＰＮに表示させる画像の表示態様を設定する。画像設定部１６５は、設定した表示態様に基づいて、ホームページ（ＨＰ）とリンクしており、選択可能なボタンとしての対応画像ＩＭ３を、図１０の対応画像ＩＭ１の「こちら」と同じ色の無限遠に視認される画像として、画像表示最大領域ＰＮに表示させる。換言すると、画像設定部１６５は、図１０に示す対応画像ＩＭ１に対して、（Ａ）文字画像の内容と、（Ｂ）距離情報を含む三次元画像の内容と、を含まないで、（Ｃ）ＲＧＢの色情報を含む画像として、画像表示最大領域ＰＮに対応画像ＩＭ３を表示させる。なお、視野範囲ＶＲ４は、請求項における第４の視野範囲に相当し、視野範囲ＶＲ４よりも内側の視野範囲は、請求項における第３の視野範囲に相当する。

図８のステップＳ２３の処理において、対応画像ＩＭ３が画像表示最大領域ＰＮに表示されると、ＣＰＵ１４０は、カメラ６１，６２の撮像範囲の変化を監視する（ステップＳ２５）。ＣＰＵ１４０は、カメラ６１，６２の撮像範囲の変化がないと判定した場合には（ステップＳ２５：ＮＯ）、使用者の視線方向ＥＤの変化を監視する（ステップＳ２７）。ＣＰＵ１４０は、使用者ＵＳの視線方向ＥＤの変化がないと判定した場合には（ステップＳ２７：ＮＯ）、操作部１３５に対する画像表示処理を終了する所定の操作の受付を監視する（ステップＳ２９）。画像表示処理を終了する所定の操作が受け付けられない場合には（ステップＳ２９：ＮＯ）、ＣＰＵ１４０は、ステップＳ２５以降の処理を繰り返す。ステップＳ２９の処理において、画像表示処理を終了する所定の操作が受け付けられた場合には（ステップＳ２９：ＹＥＳ）、ＣＰＵ１４０は、画像表示処理を終了する。

また、本実施形態におけるＨＭＤ１００では、画像設定部１６５は、特定された使用者の視線方向ＥＤと対応画像の表示位置との関係に基づいて、同じ対応画像の画像データであっても、異なる画像として画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度を向上させることができる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、カメラ６１，６２の撮像画像の中から検出された検出対象ＴＷの位置に対応付けて対応画像の画像表示位置を設定する。そのため、本実施形態のＨＭＤ１００では、検出対象ＴＷと対応画像との対応関係について、よりわかりやすく使用者に視認させることができ、使用者の使い勝手が向上する。

また、本実施形態のＨＭＤ１００では、眼撮像カメラ３７，３８の撮像画像によって使用者の視線方向ＥＤが特定されるため、使用者の視線方向ＥＤおよび注視点ＰＯＲを精度良く特定できる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、対応画像ＩＭ１の画像データに基づいて、視野範囲ＶＲ２では文字画像を含む対応画像ＩＭ１を画像表示部２０の画像表示最大領域ＰＮに表示させる。一方で、画像設定部１６５は、対応画像ＩＭ１の画像データに基づいて、視野範囲ＶＲ２よりも外側の視野範囲では、文字画像を含まない対応画像（例えば、対応画像ＩＭ２）を画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、使用者が文字を認識しづらい視野範囲では文字画像を含まない対応画像が画像表示部２０に表示されるため、対応画像を視認する使用者の認識のしやすさをより低減させないで、対応画像を表示させる処理の速度を向上させることができる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、対応画像ＩＭ１の画像データに基づいて、視野範囲ＶＲ５では、簡略化した丸の画像の対応画像ＩＭ２を画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、使用者が表示画像の詳細な内容までを認識できない視野範囲では画像があることだけを示す簡略化した画像のみが画像表示部２０に表示されるため、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、対応画像ＩＭ１の画像データに基づいて、視野範囲ＶＲ４では、使用者の注視点ＰＯＲまでの距離にかかわらず、距離情報を含まない二次元画像としての対応画像ＩＭ３を画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、使用者が表示画像までの距離を認識しづらい視野範囲において二次元画像を画像表示部２０に表示させるため、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。

Ｂ．第２実施形態：
第２実施形態のＨＭＤ１００ａでは、第１実施形態のＨＭＤ１００と比較して、画像設定部１６５ａが対応画像の表示態様を設定するために用いる視野範囲ＶＲ２が異なり、他の構成については第１実施形態のＨＭＤ１００と同じである。

第２実施形態では、視野範囲ＶＲ２は、人間の眼球運動を考慮して決定される。人間の眼球運動としては、固視微動と、追従運動と、サッカードとの３つに分けられることが知られている。人間が特定の対象物を注視している場合であっても、実際の人間の視線は動いており、このような不随運動を固視微動という。追従運動とは、人間が動いている対象物を見ている場合に、当該対象物の動きを追跡する運動である。追従運動の速度は、最大３０ｄｅｇｒｅｅ／ｓ（ｄｐｓ）程度である。サッカードとは、眼球が小刻みに、高速で動く運動のことである。例えば、本を読んでいる場合などにおいて、横書きの文の右端まで読んだ後、改行された文の始まりである左端まで視線を高速で移動させる運動がサッカードに当たる。サッカードによる眼球の速度は、３００〜６００ｄｐｓ程度であり、サッカードの初動には、１６０〜１７０ミリセカンド（ｍｓ）程度を要する。サッカードの距離を視角で表すと、個人によって差があるものの、２〜６度（ｄｅｇｒｅｅ）程度である。第２実施形態では、画像設定部１６５ａは、第１実施形態の視野範囲ＶＲ２に、サッカードによる視角も加えた視野範囲ＶＲ２Ｓを、第１実施形態のＶＲ２における表示態様と同じに設定する。

図１３は、第１実施形態の視野範囲ＶＲ２と第２実施形態の視野範囲ＶＲ２Ｓとの比較するための説明図である。なお、図１３には、第１実施形態の図１０に図示されていた視野範囲ＶＲ３，ＶＲ４，ＶＲ５を図示せずに、新たに、視野範囲ＶＲ２Ｓを図示している。また、図１３では、第１実施形態との比較のために、便宜上、第１実施形態の視野範囲ＶＲ２を破線で示している。

第２実施形態の画像設定部１６５ａは、第１実施形態の視野範囲ＶＲ２の外側であっても、視野範囲ＶＲ２Ｓの内側であれば、検出対象ＴＷに対応付けられた画像として、対応画像ＩＭ１を画像表示最大領域ＰＮに表示させる。換言すると、第２実施形態では、検出対象ＴＷが検出された場合に対応画像ＩＭ１として表示する視野領域が、視野範囲ＶＲ２から視野範囲ＶＲ２Ｓへと拡張されている。

以上説明したように、第２実施形態のＨＭＤ１００ａでは、画像設定部１６５ａは、人間の眼球運動である視覚特性としてのサッカードを用いて、対応画像の表示態様を変化させた。そのため、第２実施形態のＨＭＤ１００ａでは、第１実施形態と同じように、視野範囲ＶＲ２Ｓよりも外側の領域では、検出対象ＴＷに対応付けられた対応画像を画像表示最大領域ＰＮに表示させるために必要な処理を軽減する。さらに、視野範囲ＶＲ２Ｓの領域では、対応画像ＩＭ１を画像表示最大領域ＰＮに表示させるため、注視点ＰＯＲがサッカードによって第１実施形態の視野範囲ＶＲ２の外側に変化したとしても、視野範囲ＶＲ２Ｓの内側であれば、対応画像の表示に遅れを生じさせなくてすむ。これにより、使用者にとってＨＭＤ１００ａの使い勝手が向上する。

Ｃ．第３実施形態：
第３実施形態のＨＭＤ１００ｂでは、画像設定部１６５ｂが画像表示最大領域ＰＮに表示させる対応画像を設定する場合に、上記実施形態で考慮された視線方向ＥＤおよび検出対象に加えて、使用者が注視している視認対象と視認対象以外の範囲との運動特性も考慮して、対応画像の表示態様を設定する。考慮される運動特性としては、例えば、視認対象が静止しており、視認対象の背景が視認対象に対して動いている場合などに使用者が感じる感覚が挙げられる。具体的には、電車に乗っている使用者が電車の窓に張られた広告を視認対象として視認しているに、走っている電車の外の景色は、動いているように使用者に知覚される場合などである。このように、人間が、自身に対して動いていると知覚することを、運動刺激を受けるという。一方で、人間が、自身に対して静止していると知覚することを、静止刺激を受けるという。一般に、人間は、視認対象として静止刺激を受け、視認対象の周りの背景として運動刺激を受けると、自身が運動していると知覚することが知られている。また、人間は、視認対象の近くから（特に奥行きを基準とした前後に）運動刺激を受けると、自身が運動していると知覚する。一方で、視認対象として運動刺激を受け、背景として静止刺激を受けると、自身が運動していないと知覚する。第３実施形態のＨＭＤ１００ｂでは、使用者が運動していると感じる自己運動感覚を出したりなくしたりすることで、使用者に臨場感を持たせたり、使用者の臨場感を抑制したりする。本明細書では、ＨＭＤ１００ｂの使用者が、停止していると認識する視認対象に対して、移動していると認識する背景等を、移動背景とも呼ぶ。

図１４は、第３実施形態において自動車を運転している使用者が視認する視野ＶＲの説明図である。図１４に示すように、第３実施形態では、使用者は、外景ＳＣとして森林の中の道路と、画像表示最大領域ＰＮに表示された対応画像ＩＭ７および対応画像ＩＭ８と、を視認している。使用者は、右手ＲＨと左手ＬＨとで自動車のハンドルＨＤを操作し、注視点ＰＯＲを見ている。対応画像ＩＭ７は、検出対象ＴＷａである自動車に搭載されたカーナビゲーション（以降では、単に「カーナビ」とも呼ぶ）に対応付けられた画像である。ＩＭ７は、カーナビが目的地までの経路として直進することを使用者に促す画像である。対応画像ＩＭ７は、文字などの情報を削った単に矢印の画像（マーク）として画像表示最大領域ＰＮに表示させる。対応画像ＩＭ８は、外景ＳＣに含まれる検出対象ＴＷｂである道路に対応付けられた画像である。対応画像ＩＭ８は、道路の脇から飛び出してくるおそれのある野生の動物に注意することを使用者に促す「動物注意」の文字画像である。

第３実施形態では、方向特定部１６６は、右眼撮像カメラ３７が撮像した右眼ＲＥの撮像画像と、左眼撮像カメラ３８が撮像した左眼ＬＥの撮像画像と、を用いることで、使用者の視線方向ＥＤに加えて、視認対象ＯＪ１までの距離も特定できる。図１４に示す例では、方向特定部１６６によって特定された視認対象ＯＪ１までの距離は、１０メートル（ｍ）である。すなわち、使用者は、自動車の外景ＳＣに含まれる道路を視認対象ＯＪ１として注視している。この場合、自動車が走行していると、使用者は、自身にとって移動していると認識する道路から運動刺激を受ける。また、使用者は、視認対象ＯＪ１の道路の近くの背景も移動していると知覚することにより、視認対象ＯＪ１の近くの背景から運動刺激を受ける。そのため、使用者は、自身が運動していると知覚する。

第３実施形態の距離測定部１６８ｂは、カメラ６１，６２によって複数の時点（例えば、動画）で撮像された外景の撮像画像を用いて、撮像画像における特定の対象がカメラ６１，６２に対して移動しているか否かを判定できる。画像設定部１６５ｂは、距離測定部１６８ｂによって判定された撮像された対象のそれぞれの移動の有無に基づいて、対応画像ＩＭ７の表示態様および対応画像ＩＭ８の表示態様を設定する。

画像設定部１６５ｂは、使用者が視認対象ＯＪ１から運動刺激を受けているため、同じように運動刺激を使用者に与える検出対象ＴＷｂに対応付けられた対応画像ＩＭ８を、文字などの情報も含む画像として画像表示最大領域ＰＮに表示させる。一方で、画像設定部１６５ｂは、使用者が乗車している自動車の内部に配置された検出対象ＴＷａは、使用者と同じ速度で移動するため、使用者に静止刺激を与える。画像設定部１６５ｂは、視認対象ＯＪ１が使用者に与える運動刺激と異なる静止刺激を使用者に与える検出対象ＴＷａに対応付けられた対応画像ＩＭ７を、単なるマークを表す画像として画像表示最大領域ＰＮに表示させる。簡単に言うと、第３実施形態のＨＭＤ１００ｂでは、画像設定部１６５ｂは、使用者の視線方向ＥＤとしての視認対象ＯＪ１までの距離と、視認対象ＯＪ１に対する速度の関係に基づいて、対応画像ＩＭ７，ＩＭ８の表示態様を設定する。

図１５は、第３実施形態において自動車を運転している使用者が視認する視野ＶＲの説明図である。図１５に示すように、使用者は、外景ＳＣと、対応画像ＩＭ８および対応画像ＩＭ９と、を視認している。図１５に示す例では、使用者は、図１４に示す使用者の視線方向ＥＤと同じ方向を注視している。この場合、図１４に示す例と図１５に示す例とでは、画像を表示できる画像表示最大領域ＰＮにおいて、使用者は、同じ領域を視認していることになる。すなわち、使用者の視線方向を基準として、図１５における検出対象ＴＷａの位置および検出対象ＴＷｂの位置は、図１４における検出対象ＴＷａの位置および検出対象ＴＷｂの位置と同じである。

図１５において、使用者が注視する視認対象ＯＪ２は、使用者から５０センチメートル（ｃｍ）離れた自動車のフロントガラスである。換言すると、使用者は、自身と一緒に移動して静止しているように見える視認対象ＯＪ２を注視している。図１５に示す例では、使用者は、視認対象ＯＪ２から静止刺激を受け、検出対象ＴＷａから静止刺激を受け、検出対象ＴＷｂから運動刺激を受ける。そのため、画像設定部１６５ｂは、視認対象ＯＪ２と同じ静止刺激を使用者に与える検出対象ＴＷａに対応付けられた対応画像ＩＭ９の表示態様として、文字情報も含む画像を設定する。対応画像ＩＭ９は、カーナビが使用者を目的地まで案内するための直進することを促す「このまま直進」の文字画像である。一方で、画像設定部１６５ｂは、視認対象ＯＪ２の静止刺激と異なる運動刺激を使用者に与える検出対象ＴＷｂに対応付けられた対応画像ＩＭ１０の表示態様として、文字情報を削って、注意を促すびっくりマークである「！」のみを設定する。請求項における簡便な表示態様とは、画像表示最大領域ＰＮに表示される２つの表示画像を比較したときに、表示画像に含まれる形状がより複雑でないこと（例えば、単純な「○」や「×」の形状）、表示画像に用いられる色がより少ないこと、表示画像の領域がより小さいこと（例えば、より少ない文字での表示）、などが挙げられる。

以上説明したように、第３実施形態のＨＭＤ１００ｂでは、方向特定部１６６ｂが視認対象ＯＪ１，ＯＪ２までの距離を特定し、画像設定部１６５ｂは、視認対象ＯＪ１，ＯＪ２から使用者が受ける静止刺激や運動刺激といった運動特性に基づいて、検出対象ＴＷａ，ＴＷｂに対応付けられた対応画像ＩＭ７，ＩＭ８，ＩＭ９，ＩＭ１０の表示態様を設定する。そのため、第３実施形態のＨＭＤ１００ｂでは、使用者の運動特性も考慮した対応画像が画像表示最大領域ＰＮに表示されるため、対応画像を用いて、使用者が感じる臨場感を調整できる。また、使用者により視認しやすい画像と視認しにくい対応画像を画像表示最大領域ＰＮに表示させる場合に、視認しにくい対応画像の情報を少なくすることで、ＨＭＤ１００ｂが実行する処理の負担を軽減できる。

また、第３実施形態のＨＭＤ１００ｂでは、図１４に示す例と図１５に示す例とで比較したように、画像設定部１６５ｂは、視線方向ＥＤに対して、外景の同じ領域に位置する検出対象ＴＷａ，ＴＷｂであっても、視認対象の運動特性によって、対応画像の表示態様を変更する。そのため、第３実施形態のＨＭＤ１００ｂでは、対応画像を用いて、使用者が感じる臨場感をより調整できる。

Ｄ．第４実施形態：
第４実施形態のＨＭＤ１００ｃでは、撮像された対象の移動速度が特定され、画像設定部１６５ｃは、画像表示部２０ｃを装着している使用者に対する特定された対象の移動速度と、使用者の視線方向ＥＤと、に基づいて、対応画像の表示態様を設定する。また、ＨＭＤ１００ｃでは、無線通信部１３２ｃは、無線通信を行なうことで、他のサーバーから検出対象のデータと、当該検出対象に対応付けられた対応画像の基となる画像データと、を取得する。無線通信部１３２ｃによって取得される画像データは、画像データが複数のカテゴリーに分類されており、無線通信部１３２ｃは、これらのカテゴリーについても、画像データと紐付けて取得する。カテゴリーとしては、例えば、使用者に目的地までの道などを教える「案内」や自然災害などの突発的な事象に起因して使用者に注意を促す「警告」などが挙げられる。なお、無線通信部１３２ｃは、請求項における画像データ取得部に相当する。

図１６は、第４実施形態において歩行者である使用者が視認する視野ＶＲの説明図である。図１６に示すように、使用者は、建物ＢＤ４などを含む外景ＳＣと、画像表示最大領域ＰＮに表示された対応画像ＩＭ１１および対応画像ＩＭ１２と、を視認する。図１６に示す例では、使用者は、建物ＢＤ４の入口ＥＮを注視点ＰＯＲとして視認している。なお、図１６には、注視点ＰＯＲを中心として、第１実施形態で説明した視野範囲ＶＲ２が示されている。対応画像ＩＭ１１は、検出対象としての移動物体ＣＡ１に対応付けられて表示される画像である。移動物体ＣＡ１は、建物ＢＤ４の前の道路を、使用者に対して横切るように（左右に）通行している循環バスである。対応画像ＩＭ１１は、移動物体ＣＡ１が〇〇市内を循環するバスであることを表す文字画像「〇〇市内循環バス」である。

対応画像ＩＭ１２は、検出対象としての移動物体ＣＡ２に対応付けられて表示される画像である。移動物体ＣＡ２は、使用者に方向に向かって走行してくる自動車である。画像設定部１６５ｃは、無線通信部１３２ｃを介して取得した画像データに基づいて、対応画像ＩＭ１２の表示態様を決定して、画像表示最大領域ＰＮに対応画像ＩＭ１２を表示させる。第３実施形態では、方向特定部１６６ｃは、画像表示部２０ｃを基準として、カメラ６１，６２によって撮像された撮像画像に含まれる対象の移動速度を測定する。対応画像ＩＭ１２は、元となる画像データが紐付けられているカテゴリーが「警告」である。この場合、画像設定部１６５ｃは、移動物体ＣＡ２が予め設定された速度以上で使用者（画像表示部２０ｃ）に近づくと判定した場合は、注視点ＰＯＲおよび視野範囲ＶＲ２との位置関係に関わらず、対応画像ＩＭ１１などの他の対応画像よりも大きく対応画像ＩＭ１２を画像表示最大領域ＰＮに表示させる。そのため、図１６に示すように、使用者への移動物体ＣＡ２の接近を注意する文字画像「接近中！」の対応画像ＩＭ１２のフォントは、対応画像ＩＭ１１のフォントよりも大きく画像表示最大領域ＰＮに表示される。なお、方向特定部１６６ｃは、請求項における移動物体特定部に相当する。

以上説明したように、第４実施形態のＨＭＤ１００ｃでは、画像設定部１６５ｃは、視線方向ＥＤに加えて、検出対象としての移動物体ＣＡ２が画像表示部２０ｃを装着している使用者に近づく速度に基づいて、移動物体ＣＡ２に対応付けられた対応画像ＩＭ１２の表示態様を設定する。そのため、第４実施形態のＨＭＤ１００ｃでは、使用者への近づく速度が速い移動物体がある場合に、使用者に危険を報知することができ、使用者の利便性が向上する。

Ｅ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｅ−１．変形例１：
図１７は、変形例における使用者が視認する視野ＶＲの一例を示す説明図である。図１７には、第１実施形態の図１２と比較して、使用者の注視点ＰＯＲが建物ＢＤ１から建物ＢＤ２へと変化した後の視野ＶＲが示されている。図１７に示す例では、使用者の注視点ＰＯＲが建物ＢＤ２であるため、画像設定部１６５は、カメラ６１，６２の撮像画像における検出対象ＴＷの位置が視野範囲ＶＲ３に属すると判定して、画像表示最大領域ＰＮに表示画像としての対応画像ＩＭ４を表示させる。対応画像ＩＭ４は、図１２に示す対応画像ＩＭ３に対して、さらに、（Ｂ）距離情報を含む三次元画像として表示される画像である。換言すると、対応画像ＩＭ４は、（Ｂ）距離情報を含む三次元画像の内容と、（Ｃ）ＲＧＢの色情報と、を含む画像である。なお、視野範囲ＶＲ４は、請求項における第４の視野範囲に相当し、視野範囲ＶＲ４よりも内側の視野範囲は、請求項における第３の視野範囲に相当する。

このように、この変形例のＨＭＤ１００では、画像設定部１６５は、対応画像ＩＭ１の画像データに基づいて、視野範囲ＶＲ３では、距離情報を含む三次元画像としての対応画像ＩＭ４を画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、この変形例のＨＭＤ１００では、同じ画像データに基づいて、使用者が三次元画像として認識できる範囲においては三次元画像が表示され、使用者が三次元画像を認識しづらい範囲においては二次元画像が表示される。これにより、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。

図１８は、変形例における使用者が視認する視野ＶＲの一例を示す説明図である。図１８には、第１実施形態の図１２と比較して、使用者の注視点ＰＯＲが建物ＢＤ１から建物ＢＤ３へと変化した後の視野ＶＲが示されている。図１８に示す例では、使用者ＵＳの注視点ＰＯＲが建物ＢＤ３であるため、画像設定部１６５は、カメラ６１，６２の撮像画像における検出対象ＴＷの位置が視野範囲ＶＲ５に属すると判定して、画像表示最大領域ＰＮに表示画像としての対応画像ＩＭ５を表示させる。対応画像ＩＭ５は、白と黒との濃淡によって表され、対応画像ＩＭ１と同じ画像データに基づいて作成される画像である。対応画像ＩＭ５は、ＲＧＢの色情報を含まない上で使用者の視認性を向上させるために、濃淡の濃い色の長方形の画像を背景として、濃淡の薄い色の「ＨＰ」の文字を表した画像である。換言すると、対応画像ＩＭ５は、対応画像ＩＭ３に対して、（Ｃ）ＲＧＢの色情報を含まない画像である。なお、視野範囲ＶＲ５は、請求項における第６の視野範囲に相当し、視野範囲ＶＲ５よりも内側の視野範囲は、請求項における第５の視野範囲に相当する。

このように、この変形例のＨＭＤ１００では、画像設定部１６５は、対応画像ＩＭ１の画像データに基づいて、視野範囲ＶＲ５では、ＲＧＢの色情報を含まない対応画像ＩＭ５を画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、この変形例のＨＭＤ１００では、同じ画像データに基づいて、使用者がＲＧＢを含む種々の色情報を認識できる範囲においてはＲＧＢの色情報を用いた対応画像が表示され、使用者が色情報を認識しづらい範囲においては白と黒との色情報のみを有する対応画像が表示させる。これにより、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。

Ｅ−２．変形例２：
図１９は、対応画像ＩＭ５が視野範囲ＶＲ５に属する場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１９には、撮像された人間の被写体ＯＢに頭部の位置に、帽子の画像である対応画像ＩＭ６が重畳されて表示されている場合の視野ＶＲが示されている。被写体ＯＢは、上半身および下半身にスキーウェアを試着している人間であり、実際には帽子を頭部に試着していない。図１９に示すように、ＨＭＤ１００の使用者の注視点ＰＯＲは、被写体ＯＢから離れた位置であり、この場合に、対応画像ＩＭ６が画像表示最大領域ＰＮにおいて表示される領域は、視野範囲ＶＲ５に属する。対応画像ＩＭ６の基となる画像データは、対応画像ＩＭ６として表示されている帽子の模様などの色情報も含んでいる。しかし、画像設定部１６５は、対応画像ＩＭ６の表示位置が視野範囲ＶＲ５に属するため、対応画像ＩＭ６を、模様やＲＧＢなどの色情報を含まず、帽子の外枠だけを黒の濃い濃淡で表示させた画像として画像表示最大領域ＰＮに表示させる。換言すると、画像設定部１６５は、対応画像ＩＭ６の輪郭を使用者に認識させるため、帽子の画像の外枠のみの画像を画像表示最大領域ＰＮに表示させる。

このように、この変形例のＨＭＤ１００では、画像設定部１６５は、画像データに基づいて、視野範囲ＶＲ５では、表示画像の輪郭のみの対応画像ＩＭ６を画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、この変形例のＨＭＤ１００では、使用者が色情報を認識しづらい範囲においては画像の外枠のみを表示させので、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。

Ｅ−３．変形例３：
上記実施形態では、表示画像が画像表示最大領域ＰＮの一部に表示されたが、表示画像は、画像表示最大領域ＰＮの全体に表示される画像であってもよいし、カメラ６１，６２の撮像画像から検出される検出対象と対応付けられた対応画像とは異なる画像であってもよい。例えば、表示画像は、検出対象と無関係に、コンテンツ等によって再生される映画などの動画であってもよい。また、表示画像としての動画は、画像表示最大領域ＰＮの全体に表示されてもよい。画像が画像表示最大領域ＰＮの全体に表示される動画の場合に、画像設定部１６５は、使用者の視線方向ＥＤが画像表示最大領域ＰＮ上にないと判定したときには、動画を非表示にしてもよい。このように、画像設定部１６５は、画像表示最大領域ＰＮに表示される画像と特定された使用者の視線方向ＥＤとに基づいて、表示画像の表示態様を種々変形して設定する。

上記実施形態では、使用者の視線方向ＥＤは、眼撮像カメラ３７，３８の撮像画像に基づいて特定されたが、別の方法によって特定されてもよい。例えば、画像表示部２０の向きによって使用者の視線方向ＥＤが特定されてもよい。具体的には、画像表示部２０を頭部に装着している使用者の視線方向ＥＤは、画像表示部２０の正面方向であると特定し、常に、画像表示最大領域ＰＮの中心を使用者の注視点ＰＯＲとして設定してもよい。この変形例のＨＭＤ１００によれば、眼撮像カメラ３７，３８のような装置を使用せずに、簡便に安価に使用者の視線方向ＥＤを特定できる。また、画像表示部２０にジャイロセンサーが搭載されて、ジャイロセンサーによって検出された角速度に基づいて、画像表示部２０の向きが特定されてもよい。また、使用者のこめかみや鼻に接触する部分に配置された電極が検出する筋電位によって使用者の視線方向が特定されてもよい。

また、上記実施形態では、人間の視野と視野に関連した人間に視認の程度によって、視野範囲ＶＲ２などの使用者の注視点ＰＯＲに対する範囲を設定したが、これらの範囲によっては、種々変形可能である。外景ＳＣの輝度などの明るさ、ＨＭＤ１００の使用者の視力、表示される画像の解像度などによって視野範囲ＶＲ２などが設定されてもよい。

上記実施形態では、カメラ６１，６２の撮像画像に基づいて、撮像画像に含まれる対象物までの距離が測定されたが、対象物までの距離の測定の方法や測定の有無については、種々変形可能である。また、必ずしも、対象物までの距離が測定される必要はない。

上記実施形態では、画像表示部２０を装着した使用者が透過した外景ＳＣを視認できたが、使用者が外景ＳＣを視認できないいわゆるクローズ型のＨＭＤであってもよい。

また、上記実施形態では、外景ＳＣを撮像する撮像部として、第１カメラ６１と第２カメラ６２とによって構成されるステレオカメラが用いられたが、１つのカメラが用いられてもよいし、３つ以上のカメラが用いられてもよい。また、カメラの配置される位置は、必ずしも画像表示部２０に含まれる必要はなく、カメラは、画像表示部２０と別体で構成されてもよい。

また、使用者の視覚特性には個人差があるため、操作部１３５が所定の操作を受け付けることで、視野範囲と画像表示部２０に表示される画像との対応関係が変更されてもよい。

上記実施形態では、三次元画像として使用者に認識させるために、両眼視差を形成する方法を用いたが、三次元画像として使用者に認識させる方法については、種々変形可能である。例えば、三次元画像として使用者に認識させる方法として、輻輳運動させる画像が画像表示部２０に表示されたり、陰影が画像に付与したり、画像の大きさの変更させることで奥行き感が表されてもよい。また、二次元画像についても、例えば、距離情報を含まない無限遠として画像表示部２０に表示される画像であってもよく、種々変形可能である。

図１８に示すように、視野範囲ＶＲ５では、ＲＧＢの色情報を含まない対応画像ＩＭ５が画像表示最大領域ＰＮに表示されたが、色情報を含まない例としては、これに限られず、種々変形可能である。例えば、赤（ＲＥＤ）などの単色に対して、濃淡が付与された画像が画像表示最大領域ＰＮに表示されてもよい。色情報を減らした画像としては、単に、特定の色のグレースケールなどによって表示された画像であってもよい。

上記実施形態では、図１１に示すように、簡略化した画像として丸の画像である対応画像ＩＭ２が画像表示最大領域ＰＮに表示されたが、簡略化した画像については、種々変形可能である。例えば、丸以外の三角や四角の画像であってもよいし、画像データに対応付けられた当該画像データを連想しやすい何らかのシンボルマークの形状であってもよい。簡略化した画像とは、画像データに基づいて表示される画像（例えば、対応画像ＩＭ１）と比較して、複雑ではなく、そこに簡略化した画像が存在することを使用者に認識させる程度の画像であればよい。

上記実施形態では、使用者の視線方向と使用者の視野範囲との関係に基づいて、画像表示最大領域ＰＮに表示される画像の態様が変化したが、態様ではなく、画像が表示される位置が変化してもよい。例えば、視野範囲ＶＲ２に含まれる場合には、画像表示最大領域ＰＮの全体に画像が表示され、視野範囲ＶＲ５よりも外側の範囲である場合には、画像表示最大領域ＰＮの一部に簡略化された画像が表示されてもよい。

Ｅ−４．変形例４：
上記第４実施形態では、移動物体ＣＡ２が検出対象として予め設定されていたが、検出対象として予め設定さていない対象が、上述した速度以上で使用者に近づくと判断された場合に、新たに検出対象として設定されてもよい。また、図１６の対応画像ＩＭ１２は、注視点ＰＯＲ付近の視野範囲ＶＲ２に含まれる場合には、対応画像ＩＭ１１と同じフォントで画像表示最大領域ＰＮに表示されてもよい。これは、画像表示最大領域ＰＮにおける注視点ＰＯＲの近くに、使用者へと注意を促す対応画像ＩＭ１２が表示される場合には、使用者が対応画像ＩＭ１２を注視していると判定されるからである。また、他の実施形態として、無線通信部１３２ｃが他のサーバーから対応画像の基となる画像データを取得するのではなく、ＨＭＤ１００ｃがデータベースとしてこれらの画像データを記憶した記憶部を有していてもよい。また、ＨＭＤ１００ｃの画像設定部１６５ｃが、インターフェイス１８０を介して接続されたデータベースから画像データ等を取得してもよい。

以上説明したように、変形例のＭＤ１００ｃでは、画像設定部１６５ｃは、予め検出対象ＴＷとして記憶されていない対象であっても、一定速度以上で画像表示部２０ｃを装着している使用者に近づく場合には、当該対象を検出対象ＴＷと判定して、予め設定された警告等の対応画像ＩＭ１２を画像表示最大領域ＰＮに表示させる。そのため、第４実施形態のＨＭＤ１００ｃでは、使用者に危険をより適切に報知でき、使用者の利便性が向上する。

Ｅ−５．変形例５：
この変形例では、上記第４実施形態のＨＭＤ１００ｃの画像設定部１６５ｃと比較して、変形例の画像設定部１６５ｄが画像データに紐付けられたカテゴリーに応じて対応画像の表示位置を変更することが異なる。画像設定部１６５ｄは、カテゴリーに応じて表示する優先度の重み付けを行ない、優先度の高いカテゴリーに紐付けられた画像データに基づく表示画像を、注視点ＰＯＲの近くに表示させる。なお、画像データに紐付けられたカテゴリーは、請求項における画像データの種類に相当する。

図２０は、変形例における使用者の視野ＶＲにおける対応画像ＩＭ１３，ＩＭ１４の表示位置の説明図である。図２０に示すように、画像表示部２０ｄを頭部に装着した使用者は、外景ＳＣとしての商店街と、対応画像ＩＭ１４と、対応画像ＩＭ１５と、を視認している。使用者の注視点ＰＯＲは、商店街にあるお店「〇〇薬局」の看板を見ている。図２０に示す例では、カメラ６１，６２は、検出対象ＴＷｄ１としての「〇〇薬局」の看板と、検出対象ＴＷｄ２としての自動車と、を撮像している。対応画像ＩＭ１３は、検出対象ＴＷｄ１に対応付けられて、画像表示最大領域ＰＮに表示される画像である。対応画像ＩＭ１３は、画像表示最大領域ＰＮの中央上部に表示されている。対応画像ＩＭ１３の画像データに紐付けられたカテゴリーは、「広告」である。対応画像ＩＭ１４は、検出対象ＴＷｄ１に対応付けられて、画像表示最大領域ＰＮに表示される画像である。対応画像ＩＭ１４は、画像表示最大領域ＰＮの中央部に表示されている。対応画像ＩＭ１４の画像データに紐付けられたカテゴリーは、「警告」である。

変形例の画像設定部１６５ｄは、使用者の視線方向ＥＤにおいて、距離の異なる位置に複数の検出対象が重複している場合に、対応画像の画像データに紐付けられたカテゴリーに基づいて、複数の対応画像の表示領域が重複しないように、対応画像の表示位置を含む表示態様を設定する。図２０では、検出対象ＴＷｄ１の看板と、検出対象ＴＷｄ２の自動車とは、同じ注視点ＰＯＲ付近で重複している。このような場合に、画像設定部１６５ｄは、カテゴリーが「警告」である対応画像ＩＭ１４を、カテゴリーが「広告」である対応画像ＩＭ１３よりも目立つように、画像表示最大領域ＰＮの中央部に表示させる。また、画像設定部１６５ｄは、対応画像ＩＭ１４を、対応画像ＩＭ１３よりも大きく表示させる。

以上説明したように、変形例のＨＭＤ１００ｄでは、画像設定部１６５ｄが対応画像の画像データに紐付けられたカテゴリーに応じて、検出対象に対応付けられた対応画像の画像表示最大領域ＰＮにおける表示態様を設定する。そのため、変形例のＨＭＤ１００ｄでは、より使用者に視認させたい画像を優先的に画像表示最大領域ＰＮに表示させ、使用者の使い勝手を向上させる。

Ｅ−６．変形例６：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ６１，６２が画像表示部２０に配置されたが、カメラ６１が画像表示部２０とは別体に構成され、外景ＳＣを撮像できてもよい。また、制御部１０の構成するＣＰＵ１４０や電源１３０が画像表示部２０に全て搭載されたＨＭＤ１００であってもよい。このＨＭＤ１００では、画像表示部２０と別体で構成されるコントローラーがないため、より小型化できる。また、制御部１０と画像表示部２０とのそれぞれに、ＣＰＵ１４０が搭載されることで、制御部１０がコントローラー単体として使用され、画像表示部２０が表示装置単体として使用されてもよい。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のＨＭＤ１００に対して本発明を適用することも可能である。また、画像表示最大領域ＰＮは、各画素に形成されたＭＥＭＳシャッターを開閉するＭＥＭＳシャッター方式のディスプレイによって構成されてもよい。

また、画像光生成部として、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用したＨＭＤ１００であってもよい。具体的な構成としては、ＨＭＤ１００は、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材と、を光射出部として備えてもよい。ＨＭＤ１００がこの構成を備えると、信号光形成部によって射出された光は、ＭＥＭＳミラーによって反射され、光学部材に入射し、光学部材に導かれて、虚像形成面（例えば、反射面）に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、形成された虚像を使用者が視認することで、使用者に画像が認識される。

また、例えば、ＨＭＤ１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ＨＭＤ１００の代わりに、使用者の頭部に装着されるのではなく、双眼鏡のように使用者が手で位置を固定するハンドヘルドディスプレイが画像表示装置として用いられてもよい。また、ＨＭＤ１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、ＨＭＤ１００は、他の装置から受信した画像信号に基づく画像を表示するためだけの表示装置と用いられてもよい。具体的には、デスクトップ型のＰＣのモニターに相当する表示装置として用いられ、例えば、デスクトップ型のＰＣから画像信号を受信することで、画像表示部２０の画像表示最大領域ＰＮに画像が表示されてもよい。

また、ＨＭＤ１００は、システムの一部として機能するように用いられてもよい。例えば、航空機を含むシステムの一部の機能を実行するための装置としてＨＭＤ１００が用いられてもよいし、ＨＭＤ１００が用いられるシステムとしては、航空機を含むシステムに限られず、自動車や自転車など含むシステムであってもよい。

また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。

Ｅ−７．変形例７：
上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。

図２１は、変形例におけるＨＭＤの外観構成を示す説明図である。図２１（Ａ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｘを備える点とである。右光学像表示部２６ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の左眼の斜め上に配置されている。図２１（Ｂ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｙを備える点とである。右光学像表示部２６ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤ１００として実現できる。

また、上記実施形態において、ＨＭＤ１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部，１１…決定キー，１２…点灯部，１３…表示切替キー，１４…トラックパッド，１５…輝度切替キー，１６…方向キー，１７…メニューキー，１８…電源スイッチ，２０…画像表示部（画像表示部），２１…右保持部，２２…右表示駆動部，２３…左保持部，２４…左表示駆動部，２６…右光学像表示部，２８…左光学像表示部，３０…イヤホンプラグ，３２…右イヤホン，３４…左イヤホン，３７…右眼撮像カメラ（眼撮像部、視線方向特定部），３８…左眼撮像カメラ（眼撮像部、視線方向特定部），４０…接続部，４２…右コード，４４…左コード，４６…連結部材，４８…本体コード，５１，５２…送信部，５３，５４…受信部，６１…第１カメラ（外景撮像部），６２…第２カメラ（外景撮像部），１００…ＨＭＤ（頭部装着型表示装置），１２０…記憶部，１３０…電源，１３２…無線通信部，１３５…操作部，１４０…ＣＰＵ，１５０…オペレーティングシステム，１６０…画像処理部，１６５…画像設定部（画像変更部），１６６…方向特定部（視線方向特定部），１６８…距離測定部，１７０…音声処理部，１８０…インターフェイス，１９０…表示制御部，２０１…右ＢＬ制御部，２０２…左ＢＬ制御部，２１１…右ＬＣＤ制御部，２１２…左ＬＣＤ制御部，２２１…右バックライト，２２２…左バックライト，２４１…右ＬＣＤ，２４２…左ＬＣＤ，２５１…右投写光学系，２５２…左投写光学系，２６１…右導光板，２６２…左導光板，ＡＰ…先端部，ＢＤ１，ＢＤ２，ＢＤ３，ＢＤ４…建物，ＥＤ…使用者の視線方向，ＥＬ…左光学像表示部の端部，ＥＲ…右光学像表示の端部，ＨＳｙｎｃ…水平同期信号，ＶＳｙｎｃ…垂直同期信号，ＰＣＬＫ…クロック信号，ＩＬ…照明光，ＩＭ１，ＩＭ２，ＩＭ３，ＩＭ４，ＩＭ５，ＩＭ６，ＩＭ７，ＩＭ８，ＩＭ９，ＩＭ１０，ＩＭ１１，ＩＭ１２，ＩＭ１３，ＩＭ１４…対応画像，ＬＥ…左眼，ＲＥ…右眼，ＭＮ…月，ＭＰ…左右眼球中心，ＯＡ…外部機器，ＯＢ…被写体，ＰＬ…画像光，ＰＮ…画像表示最大領域（表示領域），ＰＯＲ…注視点，ＳＣ…外景，ＴＷ，ＴＷａ，ＴＷｂ，ＴＷｄ１，ＴＷｄ２…検出対象（特定対象物），ＵＳ…使用者，ＶＲ…視野，ＶＲ１，ＶＲ２，ＶＲ３，ＶＲ４，ＶＲ５，ＶＲ６，ＶＲ２Ｓ…視野範囲，ＶＲｈ…鉛直視野，ＶＲｗ…水平視野，ＯＪ１，ＯＪ２…視認対象，ＲＨ…右手，ＬＨ…左手，ＨＤ…ハンドル，ＣＡ１，ＣＡ２…移動物体，ＥＮ…入口

Claims (17)

1. 頭部装着型表示装置であって、
   画像を表示領域に表示可能であり、かつ、外景を透過可能な画像表示部と、
   使用者の視線方向を特定する視線方向特定部と、
   特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更部と、
   前記外景を撮像する外景撮像部と、
   特定対象物に対応付けられた前記表示画像の元である画像データを、前記画像データの種類ごとに識別して取得する画像データ取得部と、を備え、
   前記画像変更部は、前記外景撮像部が特定対象物を撮像した場合に、撮像された前記外景の画像の中から特定対象物を検出し、検出した特定対象物の位置に対応付けて前記表示画像の位置を設定し、前記画像データ取得部が取得した前記画像データの種類と、前記表示領域に対する撮像された前記特定対象物の位置と、に基づいて、前記特定対象物に対応付けられた前記表示画像の態様を決定する、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、さらに、
   外景において移動している移動物体を特定する移動物体特定部を備え、
   前記画像変更部は、前記移動物体が前記画像表示部に近づく速度に基づいて、前記特定対象物に対応付けられた前記表示画像の表示態様を設定する、頭部装着型表示装置。
3. 頭部装着型表示装置であって、
   画像を表示領域に表示可能であり、かつ、外景を透過可能な画像表示部と、
   使用者の視線方向を特定する視線方向特定部と、
   特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更部と、
   前記外景を撮像する外景撮像部と、
   前記外景において移動している移動物体を特定する移動物体特定部と、を備え、
   前記画像変更部は、撮像された前記外景の画像の中から特定対象物を検出し、検出した特定対象物の位置に対応付けて前記表示画像の位置を設定し、前記移動物体が前記画像表示部に近づく速度に基づいて、前記特定対象物に対応付けられた前記表示画像の表示態様を設定する、頭部装着型表示装置。
4. 請求項２または請求項３に記載の頭部装着型表示装置であって、
   前記画像変更部は、前記視線方向を中心とする所定の領域以外の前記移動物体が予め設定された速度以上で前記画像表示部に近づく場合には、前記移動物体が予め前記特定対象物として設定されていなくても前記特定対象物と判定し、判定された前記特定対象物に予め設定された前記表示画像を設定する、頭部装着型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記視線方向特定部は、さらに、使用者が視認している視認対象まで距離を特定し、
   前記画像変更部は、前記視認対象と、前記視認対象以外の範囲であると共に前記視認対象に対して移動している移動背景に基づく運動特性と、に基づいて、前記特定対象物に対応付けられた前記表示画像の表示態様を設定する、頭部装着型表示装置。
6. 頭部装着型表示装置であって、
   画像を表示領域に表示可能であり、かつ、外景を透過可能な画像表示部と、
   使用者の視線方向を特定する視線方向特定部と、
   特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更部と、
   前記外景を撮像する外景撮像部と、を備え、
   前記視線方向特定部は、さらに、使用者が視認している視認対象までの距離を特定し、
   前記画像変更部は、撮像された前記外景の画像の中から特定対象物を検出し、検出した特定対象物の位置に対応付けて前記表示画像の位置を設定し、前記視認対象と、前記視認対象以外の範囲であると共に前記視認対象に対して移動している移動背景に基づく運動特性と、に基づいて、前記特定対象物に対応付けられた前記表示画像の表示態様を設定する、頭部装着型表示装置。
7. 請求項５または請求項６に記載の頭部装着型表示装置であって、
   前記画像変更部は、前記特定対象物が前記移動背景である場合には、前記特定対象物が前記視認対象に対して移動していない場合と比較して、前記特定対象物に対応付けられた前記表示画像の表示態様を簡便な態様に設定する、頭部装着型表示装置。
8. 請求項１から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、
   前記画像変更部は、特定された前記視線方向に応じて変化する使用者の視覚特性に対応させて前記表示画像を変更する、頭部装着型表示装置。
9. 請求項８に記載の頭部装着型表示装置であって、
   前記視覚特性は、サッカードに関連する特性であり、
   前記画像変更部は、使用者の視野範囲として、サッカードによる視角も加えた範囲を設定する、頭部装着型表示装置。
10. 請求項１から請求項９までのいずれか一項に記載の頭部装着型表示装置であって、
    前記画像変更部は、前記表示領域の一部に前記表示画像を表示する場合に、前記表示画像の位置と前記視線方向とに応じて、前記表示画像を変更する、頭部装着型表示装置。
11. 請求項１から請求項１０までのいずれか一項に記載の頭部装着型表示装置であって、
    前記視線方向特定部は、前記画像表示部の向きを検出する表示部方向検出部を有し、検出された前記画像表示部の向きに基づいて前記視線方向を特定する、頭部装着型表示装置。
12. 請求項１から請求項１１までのいずれか一項に記載の頭部装着型表示装置であって、
    前記視線方向特定部は、使用者の眼を撮像する眼撮像部を有し、撮像された使用者の眼の画像に基づいて、前記視線方向を特定する、頭部装着型表示装置。
13. 請求項１から請求項１２までのいずれか一項に記載の頭部装着型表示装置であって、
    前記画像変更部は、前記表示画像が文字画像を含む場合には、特定された前記視線方向を含む第１の視野範囲では前記文字画像を前記表示画像として前記表示領域に表示させ、前記第１の視野範囲よりも大きい範囲であると共に前記第１の視野範囲を含まない第２の視野範囲では前記文字画像を前記表示画像として前記表示領域に表示させない、頭部装着型表示装置。
14. 請求項１から請求項１３までのいずれか一項に記載の頭部装着型表示装置であって、
    前記画像変更部は、特定された前記視線方向を含む第７の視野範囲よりも大きい範囲であると共に前記第７の視野範囲を含まない第８の視野範囲では、前記表示画像を前記第７の視野範囲に表示される画像よりも簡略化した簡易画像として前記表示領域に表示させる、頭部装着型表示装置。
15. 頭部装着型表示装置のためのコンピュータープログラムであって、
    画像を表示領域に表示可能であり、かつ、外景を透過可能な画像表示機能と、
    使用者の視線方向を特定する視線方向特定機能と、
    特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更機能と、
    前記外景を撮像する外景撮像機能と、
    特定対象物に対応付けられた前記表示画像の元である画像データを、前記画像データの種類ごとに識別して取得する画像データ取得機能と、を頭部装着型表示装置に実現させ、
    前記画像変更機能は、前記外景撮像機能が特定対象物を撮像した場合に、撮像された前記外景の画像の中から特定対象物を検出し、検出した特定対象物の位置に対応付けて前記表示画像の位置を設定し、前記画像データ取得機能が取得した前記画像データの種類と、前記表示領域に対する撮像された前記特定対象物の位置と、に基づいて、前記特定対象物に対応付けられた前記表示画像の態様を決定する、コンピュータープログラム。
16. 頭部装着型表示装置のためのコンピュータープログラムであって、
    画像を表示領域に表示可能であり、かつ、外景を透過可能な画像表示機能と、
    使用者の視線方向を特定する視線方向特定機能と、
    特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更機能と、
    前記外景を撮像する外景撮像機能と、
    前記外景において移動している移動物体を特定する移動物体特定機能と、を頭部装着型表示装置に実現させ、
    前記画像変更機能は、撮像された前記外景の画像の中から特定対象物を検出し、検出した特定対象物の位置に対応付けて前記表示画像の位置を設定し、前記移動物体が前記表示領域に近づく速度に基づいて、前記特定対象物に対応付けられた前記表示画像の表示態様を設定する、コンピュータープログラム。
17. 頭部装着型表示装置のためのコンピュータープログラムであって、
    画像を表示領域に表示可能なであり、かつ、外景を透過可能な画像表示機能と、
    使用者の視線方向を特定する視線方向特定機能と、
    特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更機能と、
    前記外景を撮像する外景撮像機能と、を頭部装着型表示装置に実現させ、
    前記視線方向特定機能は、さらに、使用者が視認している視認対象までの距離を特定し、
    前記画像変更機能は、撮像された前記外景の画像の中から特定対象物を検出し、検出した特定対象物の位置に対応付けて前記表示画像の位置を設定し、前記視認対象と、前記視認対象以外の範囲であると共に前記視認対象に対して移動している移動背景に基づく運動特性と、に基づいて、前記特定対象物に対応付けられた前記表示画像の表示態様を設定する、コンピュータープログラム。

Images