JP6308249B2 - 頭部装着型表示装置および方法 - Google Patents

Description

本発明は、頭部装着型表示装置および頭部装着型表示装置の制御方法に関する。

現実環境にコンピューターを用いて情報を付加提示する拡張現実（ＡＲ、Augmented Reality）と呼ばれる技術が知られている。拡張現実は、スマートフォンやヘッドマウントディスプレイ（以降、「頭部装着型表示装置」と呼ぶ。）などに搭載される。図１は、拡張現実について説明するための説明図である。図１（Ａ）は、非透過型の頭部装着型表示装置で拡張現実が実現される様子を示している。頭部装着型表示装置は、カメラで外景を撮像し、撮像により得られた画像ＣＰを画像認識し、付加提示するための情報（図の例ではオブジェクトＯＢ）を生成する。頭部装着型表示装置は、撮像された画像ＣＰと、生成されたオブジェクトＯＢとを重畳させた画像を、液晶画面に表示させる。これによって、頭部装着型表示装置の使用者は拡張現実を体感することができる。なお、ここでは、拡張現実を非透過型の頭部装着型表示装置を用いて実現する例について説明したが、スマートフォン等でも実現できる。例えば、引用文献１には、拡張現実の技術を搭載した非透過型の頭部装着型表示装置が開示されている。

特開２０１１−２０３８２３号公報 特開２０１０−１４６４８１号公報

図１（Ｂ）は、光学透過型の頭部装着型表示装置で拡張現実が実現される様子を示している。光学透過型の頭部装着型表示装置においても、非透過型と同様に、撮像により得られた画像ＣＰを画像認識し、付加提示するための情報（オブジェクトＯＢ）を生成する。その後、光学透過型の頭部装着型表示装置では、生成されたオブジェクトＯＢのみを液晶画面に表示させる。使用者は、液晶画面に表示され、虚像ＶＩとして表示されたオブジェクトＯＢと、目前のレンズを透過して見える外景ＳＣとの両方を視認することで、拡張現実を体感することができる。なお、図１（Ｂ）の左から１枚目に示す撮像により得られる領域を「撮像視界」とも呼び、図１（Ｂ）の左から２枚目に示す虚像ＶＩとして表示される領域を「映像視界」とも呼び、図１（Ｂ）の左から３枚目に示す外景ＳＣとして視認可能な領域を「現実視界」とも呼ぶ。

ここで、使用者の眼前に虚像ＶＩが投写される領域（現実視界と映像視界が重なる部分）の大きさと、カメラで撮像可能な領域（撮像視界）との大きさとが一致しない場合がある。両者の大きさが一致しない場合、光学透過型の頭部装着型表示装置では、虚像ＶＩとして表示されたオブジェクトＯＢと、目前のレンズを透過して見える外景ＳＣとの間にずれが生じ、使用者に違和感を与えるという問題があった。具体的には、例えば、カメラで撮像可能な領域（映像視界）が広大である場合、従来の光学透過型の頭部装着型表示装置では、その広大な範囲に対応するオブジェクトＯＢが生成され、使用者の眼前に虚像ＶＩとして表示される。このような場合、使用者は、自身の眼前に虚像ＶＩが投写されている領域（現実視界と映像視界が重なる部分）内の外景ＳＣと、オブジェクトＯＢとの間に生じる齟齬により、違和感を覚えてしまう。

本発明は、光学透過型の頭部装着型表示装置において、拡張現実を実現する際に生じる違和感を低減することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
［形態１］
虚像を外景と同時に視認可能に表示する頭部装着型表示装置であって、
前記外景を撮像する撮像手段と、
撮像された前記外景に応じて付加画像を生成する処理手段と、
生成された前記付加画像を前記虚像として表示する表示手段と、
を備え、
前記処理手段は、撮像された前記外景のうち、前記虚像の表示領域と前記撮像手段の撮像領域とが重複する重複領域を用いて前記付加画像を生成し、
前記表示手段は、前記虚像の表示領域の四隅を示す案内マークを虚像として表示し、
前記撮像手段は、前記案内マークの位置を示すための目印として、矩形形状の面を有する物を含む外景を撮像し、
前記処理手段は、撮像された前記外景内の前記目印の頂点の位置に基づき前記重複領域を決定する、
頭部装着型表示装置。

［適用例１］
使用者が、虚像と外景を同時に視認可能な頭部装着型表示装置であって、
外景を撮像して外景画像を取得する撮像部と、
取得された前記外景画像を解析すると共に、解析の結果に応じて拡張現実用の付加画像データーを生成する拡張現実処理部と、
生成された前記付加画像データーを用いて画像光を生成する表示素子と、
生成された前記画像光を用いて使用者の眼前に虚像を形成する導光部と、
を備え、
前記拡張現実処理部は、前記外景画像のうち、前記虚像の表示領域と前記撮像部の撮像領域とが重複する重複領域を取得し、前記重複領域を用いて前記付加画像データーを生成する、頭部装着型表示装置。
このような構成とすれば、拡張現実処理部は、虚像の表示領域と撮像部の撮像領域とが重複する重複領域を取得し、重複領域を用いて付加画像データーを生成するため、拡張現実処理部が拡張現実を実現する際に生じる違和感を低減することができる。

［適用例２］
適用例１記載の頭部装着型表示装置であって、さらに、
前記使用者に対して、前記虚像の表示領域を示すためのガイド画像データーが記憶されている記憶部を備え、
前記拡張現実処理部は、前記ガイド画像データーを用いた画像光を生成させると共に、前記使用者に対して前記虚像の表示領域に所定の目印を示すよう案内し、前記外景画像を取得させ、取得された前記外景画像を解析して得られた前記目印の位置を、前記重複領域と他の領域との境界として取得する、頭部装着型表示装置。
このような構成とすれば、拡張現実処理部は、ガイド画像データーを用いた画像光を生成させると共に、使用者に対して虚像の表示領域に所定の目印を示すよう案内し、外景画像を取得させ、取得された外景画像を解析して得られた目印の位置を、重複領域と他の領域との境界として取得する。この結果、拡張現実処理部は、虚像の表示領域と、撮像部の撮像領域とが重複する重複領域を取得することができる。

［適用例３］
適用例２記載の頭部装着型表示装置であって、
前記ガイド画像データーは、前記表示素子と同じアスペクト比を有する矩形形状であって、その四隅のうちの少なくとも２箇所に配置された案内マークを含み、
前記拡張現実処理部は、前記使用者に対して、前記案内マークを指で指し示すことで前記目印を示すよう案内する、頭部装着型表示装置。
このような構成とすれば、拡張現実処理部は、使用者に対して案内マークを指で指し示すことで目印を示すよう案内するため、特別な装置を必要とせず、かつ、使用者がわかりやすい簡単な操作で、虚像の表示領域に所定の目印を付与させることができる。

［適用例４］
適用例２記載の頭部装着型表示装置であって、
前記ガイド画像データーは、前記表示素子と同じアスペクト比を有する矩形形状であって、その四隅のうちの少なくとも２箇所に配置された枠状の案内マークを含み、
前記拡張現実処理部は、前記使用者に対して、前記案内マークの枠内に併せて、矩形形状の側面を有する物を配置することで前記目印を示すよう案内する、頭部装着型表示装置。
このような構成とすれば、拡張現実処理部は、使用者に対して、案内マークの枠内に併せて、矩形形状の側面を有する物を配置することで目印を示すよう案内するため、一度の操作で虚像の表示領域に目印を付与させることができる。

［適用例５］
適用例１ないし４のいずれか一項記載の頭部装着型表示装置であって、さらに、
前記頭部装着型表示装置の装着時における使用者の右側の眼またはこめかみまたはそれらの周辺に対応する位置に配置され、外景を撮像して第２の外景画像を取得する第２の撮像部と、
前記頭部装着型表示装置の装着時における使用者の左側の眼またはこめかみまたはそれらの周辺に対応する位置に配置され、外景を撮像して第３の外景画像を取得する第３の撮像部と、
を備え、
前記拡張現実処理部は、さらに、前記第２の外景画像に含まれる特定の物体と、前記第３の外景画像に含まれる前記特定の物体と、の間のずれ量を求め、求めた前記ずれ量から外界における前記物体の奥行きに関する情報を取得する、頭部装着型表示装置。
このような構成とすれば、拡張現実処理部は、さらに、頭部装着型表示装置の装着時における使用者の右側の眼またはこめかみまたはそれらの周辺に対応する位置に配置された第２の撮像部により撮影された第２の外景画像に含まれる特定の物体と、頭部装着型表示装置の装着時における使用者の左側の眼またはこめかみまたはそれらの周辺に対応する位置に配置された第３の撮像部により撮影された第３の外景画像に含まれる特定の物体と、の間のずれ量を求め、求めたずれ量から外界における物体の奥行きに関する情報を取得することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、画像表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

拡張現実について説明するための説明図である。 本発明の一実施例における頭部装着型表示装置の外観の構成を示す説明図である。 ヘッドマウントディスプレイの構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 使用者に認識される虚像の一例を示す説明図である。 領域決定処理の手順を示すフローチャートである。 領域決定処理について説明するための説明図である。 カメラによって撮像された外景画像の一例を示す説明図である。 第２実施例における領域決定処理の手順を示すフローチャートである。 第２実施例における領域決定処理について説明するための説明図である。 第３実施例における頭部装着型表示装置の外観の構成を示す説明図である。 奥行き取得処理で取得する奥行き情報について説明するための説明図である。 奥行き取得処理について説明するための説明図である。

次に、本発明の実施の形態を実施例に基づいて説明する。

Ａ．第１実施例：
（Ａ−１）頭部装着型表示装置の構成：
図２は、本発明の一実施例における頭部装着型表示装置の外観の構成を示す説明図である。頭部装着型表示装置ＨＭは、頭部に装着する頭部装着型表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施例のヘッドマウントディスプレイＨＭは、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。

ヘッドマウントディスプレイＨＭは、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施例では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１とを含んでいる。右光学像表示部２６および左光学像表示部２８は、ヘッドマウントディスプレイＨＭの装着時における使用者の右および左の眼前に対応する位置に配置されている。右光学像表示部２６の一端と、左光学像表示部２８の一端は、それぞれ、ヘッドマウントディスプレイＨＭの装着時における使用者の眉間に対応する位置で接続されている。右光学像表示部２６の他端である端部ＥＲからは、右保持部２１が延伸している。同様に、左光学像表示部２８の他端である端部ＥＬからは、左保持部２３が延伸している。

右保持部２１は、右光学像表示部２６の端部ＥＲから、ヘッドマウントディスプレイＨＭの装着時における使用者の側頭部に対応する位置にかけて、右光学像表示部２６とほぼ直角をなすように延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の端部ＥＬから、ヘッドマウントディスプレイＨＭの装着時における使用者の側頭部に対応する位置にかけて、左光学像表示部２８とほぼ直角をなすように延伸して設けられた部材である。右保持部２１と、左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部にヘッドマウントディスプレイＨＭを保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、ヘッドマウントディスプレイＨＭの装着時における使用者の頭部に対向する側であって、右光学像表示部２６の端部ＥＲ側に配置されている。また、左表示駆動部２４は、左保持部２３の内側であって、左光学像表示部２８の端部ＥＬ側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」と、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」と、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部は、図示しないＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）や、投写光学系等を含む。詳細は後述する。光学部材としての光学像表示部は、図示しない導光板と、調光板とを含んでいる。導光板は、光透過性の樹脂材料等によって形成され、表示駆動部から取り込んだ画像光を使用者の眼に向けて射出させる。調光板は、薄板状の光学素子であり、ヘッドマウントディスプレイＨＭの表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板を保護し、導光板の損傷や、汚れの付着等を抑制するとともに、調光板の光透過率を調整することにより、使用者の眼に入る外光量を調整し、虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

カメラ６１は、ヘッドマウントディスプレイＨＭの装着時における使用者の眉間に対応する位置に配置されている。カメラ６１は、ヘッドマウントディスプレイＨＭの表側方向、換言すれば、使用者の眼の側とは反対側方向の外景（外部の景色）を撮像し、外景画像を取得する。本実施例においては、カメラ６１が「撮像部」に相当する。本実施例におけるカメラ６１は、単眼カメラとして例示するが、ステレオカメラを採用してもよい。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２と、左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや、光ファイバーを採用することができる。

制御部１０は、ヘッドマウントディスプレイＨＭを操作するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ヘッドマウントディスプレイＨＭの動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光状態によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイＨＭの電源投入状態を切り替える。

図３は、ヘッドマウントディスプレイＨＭの構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２と、を備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８に対する操作入力等の使用者による操作入力に応じた信号を取得する機能を有する。記憶部１２０は、図示しないＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等を含む記憶部である。また、記憶部１２０には、座標情報記憶部１２２が含まれている。座標情報記憶部１２２は、ＡＲ処理部１４２により実行される領域決定処理において求められた座標を格納するための記憶領域である。電源１３０は、ヘッドマウントディスプレイＨＭの各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

ＣＰＵ１４０は、予めインストールされたプログラムを実行することで、オペレーティングシステム（ОＳ）１５０としての機能を提供する。また、ＣＰＵ１４０は、ＲＯＭやハードディスクに格納されているファームウェアやコンピュータープログラムをＲＡＭに展開して実行することにより、ＡＲ処理部１４２、画像処理部１６０、音声処理部１７０、表示制御部１９０としても機能する。

ＡＲ処理部１４２は、ＯＳ１５０や、特定のゲームアプリケーションからの処理開始要求をトリガーとして、拡張現実を実現させるための処理（以降、「ＡＲ処理」とも呼ぶ。）を実行する。ＡＲ処理においてＡＲ処理部１４２は、カメラ６１により取得された外景画像を解析し、解析の結果に応じて拡張現実のための付加画像データーを生成する。外景画像の解析方法および付加画像データーの生成方法については周知であるため説明を省略する。また、ＡＲ処理部１４２は、ＡＲ処理に先立って領域決定処理を実行する。領域決定処理は、ＡＲ処理内で「外景画像を解析」する際の解析範囲を決定するための処理である。詳細は後述する。なお、ＡＲ処理部１４２を「拡張現実処理部」とも呼ぶ。

画像処理部１６０は、ＡＲ処理において生成された付加画像データーや、インターフェイス１８０を介して入力されるコンテンツ等に基づき、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データーＤａｔａを生成し、接続部４０を介してこれらの信号を画像表示部２０に供給する。

指定された付加画像データーに基づく供給を行う場合、画像処理部１６０は、デフォルト値として予め定められ、記憶部１２０内に格納された表示設定（ＶＳｙｎｃ、ＨＳｙｎｃなど）を取得する。画像処理部１６０は、取得した表示設定に応じて、図示しないＰＬＬ（Phase Locked Loop）回路等を利用してクロック信号ＰＣＬＫを生成する。その後、画像処理部１６０は、付加画像データーＤａｔａ（ＲＧＢデーター）を記憶部１２０内のＤＲＡＭに格納する。

一方、コンテンツに基づく供給を行う場合、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に、１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、図示しないＰＬＬ回路等を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、図示しないＡ／Ｄ変換回路等を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像データーＤａｔａ（ＲＧＢデーター）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。

なお、付加画像データーやコンテンツがディジタル形式で与えられる場合は、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃ、アナログ画像信号のＡ／Ｄ変換は不要である。また、以降では、付加画像データーＤａｔａおよび対象画像データーＤａｔａを総称して「画像データーＤａｔａ」とも呼ぶ。画像処理部１６０は、必要に応じて、記憶部１２０に格納された画像データーＤａｔａに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、上述のように生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データーＤａｔａとを、送信部５１および５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と、画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦ、などを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、画像表示部２０の右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対し、接続部４０を介して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス、無線ＬＡＮインターフェイス等を備えることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、右イヤホン３２と、左イヤホン３４とを備えている。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１を含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と、画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する機能を有する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データーＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する機能を有する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

図４は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１はマトリクス状に配置された各画素位置に対応する液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表す有効な画像光ＰＬへと変調する機能を有する。なお、図４のように、本実施例ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

図３の右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。なお、導光部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２を含んでいる。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して「画像光生成部」と、左投写光学系２５２と、左導光板２６２とを総称して「導光部」とも呼ぶ。右表示駆動部２２と左表示駆動部２４とは対になっており、左表示駆動部２４の各部は、右表示駆動部２２で説明する各部と同様の構成および動作を有するため詳細な説明は省略する。

図５は、使用者に認識される虚像の一例を示す説明図である。上述のようにして、ヘッドマウントディスプレイＨＭの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像を視認することができる。図５に示すように、ヘッドマウントディスプレイＨＭの使用者の視野ＶＲ内には虚像ＶＩが表示される。また、使用者の視野ＶＲのうち、虚像ＶＩが表示された部分については、使用者は、光学像表示部の虚像ＶＩを介して、外景ＳＣを見ることができる。さらに、使用者の視野ＶＲのうち、虚像ＶＩが表示された部分以外については、使用者は、光学像表示部を透過して、外景ＳＣを直接見ることができる。

なお、虚像ＶＩが表示される領域を「映像視界」とも呼ぶ。また、使用者が外景ＳＣを視認可能な領域、換言すれば、視野ＶＲ内の領域を「現実視界」とも呼ぶ。このとき、使用者の眼前に虚像ＶＩが投写されている領域は、現実視界と映像視界が重なっている部分であるといえる。

（Ａ−２）領域決定処理：
図６は、領域決定処理の手順を示すフローチャートである。図７は、領域決定処理について説明するための説明図である。領域決定処理は、ＡＲ処理に先立ってＡＲ処理部１４２により実行される処理であり、ＡＲ処理内で「外景画像を解析」する際の解析範囲を決定するための処理である。なお、領域決定処理は、ＡＲ処理のサブルーチンとして動作してもよい。

まず、ＡＲ処理部１４２は、領域決定処理内で使用する変数ｎに「１」をセットすることで、変数の初期化を行う(ステップＳ１００)。次に、ＡＲ処理部１４２は、ガイド画像を虚像表示させる（ステップＳ１０２）。図７（Ａ）は、ガイド画像ＣＧの一例を示す説明図である。ガイド画像ＣＧは、ヘッドマウントディスプレイＨＭの使用者に対して、虚像の表示領域の端部を示すための画像である。本実施例におけるガイド画像ＣＧは、右ＬＣＤ２４１および左ＬＣＤ２４２（表示素子）と同じアスペクト比を有する矩形形状で、白色一色の背景を有する画像であり、その四隅と、対角線の交点に位置する部分とに、円状の案内マークＰ１〜Ｐ５を有している。ガイド画像ＣＧの画像データー（以降、「ガイド画像データー」とも呼ぶ。）は、記憶部１２０に予め格納されている。

ステップＳ１０２においてＡＲ処理部１４２は、記憶部１２０に格納されているガイド画像データーを読み出して、ガイド画像データーを画像処理部１６０へ送信する。ガイド画像データーを受信した画像処理部１６０では、図３で説明した処理が実行される。この結果、ヘッドマウントディスプレイＨＭの使用者の視野ＶＲには図７（Ａ）のガイド画像ＣＧが虚像ＶＩとして表示される。

ステップＳ１０４においてＡＲ処理部１４２は、虚像ＶＩとして表示されたガイド画像ＣＧのうちのｎ番目の案内マークを指差すように、使用者に対して案内する。ここで、「ｎ番目の点」は、ステップＳ１００で初期化した変数ｎの値に応じて変動する。また、ＡＲ処理部１４２は、使用者に対する案内の方法として、ダイアログボックス等を用いたメッセージを表示させてもよいし、音声による案内を行っても良い。音声による案内は、表示中のガイド画像ＣＧを遮ることなく案内することができる点で好ましい。

図７（Ｂ）は、使用者が、自らの視野ＶＲに虚像ＶＩとして表示されたガイド画像ＣＧの１番目の案内マークＰ１を指差す様子を示している。なお、図７（Ｂ）では、図示の便宜上、光学像表示部を透過する外景ＳＣについては図示を省略している。使用者への案内後、図６のステップＳ１０６においてＡＲ処理部１４２は、カメラ６１に外景画像を撮像させる。図８は、カメラ６１によって撮像された外景画像ＣＰの一例を示す説明図である。

ステップＳ１０８においてＡＲ処理部１４２は、撮像された外景画像ＣＰを画像認識して、人間の指先の位置を特定する。ＡＲ処理部１４２は、指先位置の座標を取得し、座標情報記憶部１２２へ保存する（ステップＳ１１０）。具体的には、ＡＲ処理部１４２は、ステップＳ１０８で特定された指先の位置の座標を取得する。この座標は、例えば、外景画像ＣＰの最も左上部分の画素を（０，０）とした場合のＸ方向、Ｙ方向の移動量として定義することができる。ＡＲ処理部１４２は、取得した座標と、変数ｎの値とを関連付けて座標情報記憶部１２２へ格納する。

ＡＲ処理部１４２は、変数ｎの値が、ガイド画像ＣＧに配置された案内マークの個数以上となったか否かを判定する（ステップＳ１１２）。変数ｎの値が案内マークの個数未満である場合（ステップＳ１１２：ＮＯ）、ＡＲ処理部１４２は、変数ｎをインクリメントし、処理をステップＳ１０４へ遷移させる。そして、ＡＲ処理部１４２は、次の案内マークについて、外景画像ＣＰの取得、指先位置の座標取得、座標の保存の一連の処理を繰り返す。一方、変数ｎの値が案内マークの個数以上である場合（ステップＳ１１２：ＹＥＳ）、ＡＲ処理部１４２は、ガイド画像の表示を終了させる旨の要求を画像処理部１６０および表示制御部１９０へ送信し（ステップＳ１１６）、処理を終了させる。

このようにしてＡＲ処理部１４２は、ガイド画像を右ＬＣＤ２４１および左ＬＣＤ２４２（表示素子）の表示可能領域いっぱいに表示させた状態で、使用者の視界にガイド画像の虚像ＶＩを表示させ、ガイド画像の四隅にある案内マークＰ１〜Ｐ４が、カメラ６１により撮像された外景画像ＣＰのどの位置に相当するのかを示す座標を取得する。換言すれば、領域決定処理においてＡＲ処理部１４２は、カメラ６１（撮像部）の撮像領域と、虚像ＶＩの表示領域とが重複する領域、すなわち図８の領域ＥＡを予め取得する。なお、カメラ６１の撮像領域と虚像ＶＩの表示領域とが重複する領域のことを「重複領域」とも呼ぶ。

以上のように第１実施例によれば、ＡＲ処理部１４２（拡張現実処理部）は、ＡＲ処理に先立って重複領域ＥＡを取得する。その後のＡＲ処理においてＡＲ処理部１４２は、取得した重複領域ＥＡを用いて、具体的には、カメラ６１により撮像された外景画像ＣＰのうち重複領域ＥＡ内の画像を解析対象とすることで、拡張現実のための付加画像データーを生成する。これにより、カメラ６１で撮像可能な領域（映像視界）の大きさと、使用者の眼前に虚像ＶＩとして投写される領域（現実視界と映像視界が重なる部分）の大きさとを、擬似的に一致させる（キャリブレーションする）ことができる。結果として、ＡＲ処理において表示される付加提示用の情報（オブジェクトＯＢ）と、使用者が目前の光学像表示部を透過して目にする外景ＳＣとの間にずれが生じることを抑制することができ、光学透過型のヘッドマウントディスプレイＨＭ（頭部装着型表示装置）において、ＡＲ処理部１４２が拡張現実を実現する際に生じる違和感を低減することができる。

なお、上記実施例では、ＡＲ処理部１４２が付加画像データーを生成する際の重複領域ＥＡの使用方法として「解析対象を限定する」方法を示した。しかし、上記はあくまで例示であり、重複領域ＥＡは、種々の利用方法が可能である。例えば、ＡＲ処理部１４２は、カメラ６１により撮像された外景画像ＣＰの全てを解析し、重複領域ＥＡ内の付加提示用の情報と、重複領域ＥＡ外の付加提示用の情報との表示方法を変えた付加画像データーを生成してもよい。具体的には、重複領域ＥＡ内の付加提示用の情報は内容が認識可能な態様で表示し、重複領域ＥＡ外の付加提示用の情報は矢印等のアイコンで存在のみを示す態様で表示することができる。

また、ＡＲ処理部１４２（拡張現実処理部）は、ガイド画像データーを用いた画像光を生成させると共に、使用者に対して虚像ＶＩの表示領域に所定の目印を示すよう案内した後、外景画像ＣＰを取得させ、取得された外景画像ＣＰを解析して得られた目印の位置を、重複領域ＥＡと他の領域との境界として取得する。この結果、ＡＲ処理部１４２は、虚像ＶＩの表示領域と、カメラ６１の撮像領域とが重複する重複領域ＥＡを取得することができる。

さらに、ＡＲ処理部１４２（拡張現実処理部）は、使用者に対して案内マークＰ１〜Ｐ５を指で指し示すことで目印を示すよう案内するため、特別な装置を必要とせず、かつ、使用者がわかりやすい簡単な操作で、虚像ＶＩの表示領域に所定の目印を付与させることができる。

Ｂ．第２実施例：
本発明の第２実施例では、領域決定処理における重複領域の取得方法が異なる構成について説明する。以下では、第１実施例と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施例と同様の構成部分については先に説明した第１実施例と同様の符号を付し、その詳細な説明を省略する。

（Ｂ−１）頭部装着型表示装置の構成：
第２実施例におけるヘッドマウントディスプレイＨＭａの構成は、図１〜図５で説明した第１実施例とほぼ同様である。

ただし、第２実施例におけるヘッドマウントディスプレイＨＭａは、ＡＲ処理部１４２に代えてＡＲ処理部１４２ａを備えるが第１実施例とは異なる。さらに、第２実施例におけるヘッドマウントディスプレイＨＭａは、記憶部１２０内に予め格納されているガイド画像データーの内容および領域決定処理の内容が、第１実施例とは異なる。

（Ｂ−２）領域決定処理：
図９は、第２実施例における領域決定処理の手順を示すフローチャートである。図１０は、第２実施例における領域決定処理について説明するための説明図である。第２実施例の領域決定処理も、第１実施例と同様に、ＡＲ処理に先立ってＡＲ処理部１４２ａにより実行される処理であり、ＡＲ処理内で「外景画像を解析」する際の解析範囲を決定するための処理である。

まず、ＡＲ処理部１４２ａは、ガイド画像を表示させる（ステップＳ２０２）。図１０（Ａ）は、ガイド画像ＣＧａの一例を示す説明図である。ガイド画像ＣＧａは、ヘッドマウントディスプレイＨＭの使用者に対して、虚像の表示領域の端部を示すための画像である。本実施例におけるガイド画像ＣＧａは、右ＬＣＤ２４１および左ＬＣＤ２４２（表示素子）と同じアスペクト比を有する矩形形状で、白色一色の背景を有する画像であり、四隅に枠状の案内マークＰ１〜Ｐ４を有している。ガイド画像ＣＧａの画像データーは記憶部１２０に予め格納されている。

ステップＳ２００においてＡＲ処理部１４２ａは、記憶部１２０に格納されているガイド画像データーを読み出して、ガイド画像データーを画像処理部１６０へ送信する。ガイド画像データーを受信した画像処理部１６０では、図３で説明した処理が実行され、ヘッドマウントディスプレイＨＭａの視野ＶＲには図１０（Ａ）のガイド画像ＣＧａが虚像ＶＩとして表示される。

ステップＳ２０２においてＡＲ処理部１４２ａは、虚像ＶＩとして表示されたガイド画像ＣＧａの枠内に紙を合わせるように、使用者に対して案内する。案内方法は、ダイアログボックス等を用いたメッセージでもよいし、音声による案内でもよい。

図１０（Ｂ）は、使用者が、自らの視野ＶＲに虚像ＶＩとして表示されたガイド画像ＣＧａの案内マークＰ１〜Ｐ４内に紙ＰＰを合わせる様子を示している。なお、図１０（Ｂ）では、図示の便宜上、光学像表示部を透過する外景ＳＣについては図示を省略している。使用者への案内後、図９のステップＳ２０４においてＡＲ処理部１４２ａは、カメラ６１に外景画像を撮像させる。

ステップＳ２０６においてＡＲ処理部１４２ａは、撮像された外景画像を画像認識して、紙と、外景との境界を特定する。ＡＲ処理部１４２ａは、特定した境界のうち、矩形の頂点の位置の座標を取得し、座標情報記憶部１２２へ保存する（ステップＳ２０８）。その後、ＡＲ処理部１４２ａは、ガイド画像の表示を終了させる旨の要求を画像処理部１６０および表示制御部１９０へ送信し（ステップＳ２１０）、処理を終了させる。

以上のように、第２実施例の領域決定処理においても、ＡＲ処理部１４２ａ（拡張現実処理部）は、カメラ６１（撮像部）の撮像領域と、虚像ＶＩの表示領域とが重複する重複領域取得することができる。このため、第２実施例の構成においても、第１実施例と同様の効果を得ることができる。

さらに、ＡＲ処理部１４２ａ（拡張現実処理部）は、使用者に対して、案内マークＰ１〜Ｐ４の枠内に併せて、矩形形状の側面を有する物（例えば紙）を配置することで目印を示すよう案内するため、一度の操作で虚像ＶＩの表示領域に目印を付与させることができる。

Ｃ．第３実施例：
本発明の第３実施例では、領域決定処理に加えてさらに、奥行き取得処理を実行可能な構成について説明する。奥行き取得処理は、外界環境の「奥行き情報」を取得する処理であり、ＡＲ処理部１４２ｂによって実行される。ＡＲ処理部１４２ｂは、取得された奥行き情報を、ＡＲ処理内の付加画像データー生成時に使用することで、外界環境の奥行きを考慮した拡張現実を実現させることができる。以下では、第１実施例と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施例と同様の構成部分については先に説明した第１実施例と同様の符号を付し、その詳細な説明を省略する。

（Ｃ−１）頭部装着型表示装置の構成：
図１１は、第３実施例における頭部装着型表示装置の外観の構成を示す説明図である。図１〜図５（特に図２）で示した第１実施例との違いは、制御部１０に代えて制御部１０ｂを備える点と、画像表示部２０に代えて画像表示部２０ｂを備える点である。制御部１０ｂは、ＡＲ処理部１４２に代えてＡＲ処理部１４２ｂを備えている。ＡＲ処理部１４２ｂは、第１実施例で説明した領域決定処理に加えて、奥行き取得処理を実行する。また、画像表示部２０ｂは、さらに、カメラ６２と、カメラ６３とを含んでいる。

カメラ６２は、ヘッドマウントディスプレイＨＭｂの装着時における使用者の右側の眼またはこめかみまたはそれらの周辺に対応する位置に配置されている。カメラ６３は、ヘッドマウントディスプレイＨＭｂの装着時における使用者の左側の眼またはこめかみまたはそれらの周辺に対応する位置に配置されている。カメラ６２およびカメラ６３は、カメラ６１と同様に、使用者の眼の側とは反対側方向の外景を撮像し、外景画像を取得する。カメラ６２およびカメラ６３が撮像した外景画像は、後述の奥行き取得処理において用いられる。なお、本実施例においては、カメラ６２が「第２の撮像部」に、カメラ６３が「第３の撮像部」に、それぞれ相当する。

（Ｃ−２）領域決定処理：
第３実施例における領域決定処理の手順は、図９、図１０で説明した第１実施例と同様である。

（Ｃ−３）奥行き取得処理：
図１２は、奥行き取得処理で取得する奥行き情報について説明するための説明図である。奥行き情報は、ヘッドマウントディスプレイＨＭｂを装着した使用者の外界の環境に存在する物の奥行きに関する情報である。例えば、図１２のように、ヘッドマウントディスプレイＨＭｂの使用者が、前方に存在するリンゴを見た場合、使用者の右眼ＲＥと左眼ＬＥとでは、見える像に差異が生じる。以降、この差異を「両眼視差」とも呼び、リンゴと、使用者の右眼ＲＥおよび左眼ＬＥのなす輻輳角θ１として表わす。両眼視差が生じることによって、使用者はリンゴの奥行きを知覚することができる。

一方、ヘッドマウントディスプレイＨＭｂの使用者が、リンゴよりも更に遠くに存在する花を見た場合、花と使用者の右眼ＲＥおよび左眼ＬＥのなす輻輳角θ２は、輻輳角θ１よりも小さくなる。すなわち、図１２において、使用者の両眼とリンゴとの間の距離を奥行き距離Ｌ１とし、使用者の両眼と花との間の距離を奥行き距離Ｌ２としたとき、両眼視差θ１、θ２と、奥行き距離Ｌ１、Ｌ２とは、
θ１＞θ２ かつ Ｌ１＜Ｌ２
の関係を満たす。換言すれば、両眼視差θの大きさは、使用者の両眼と物体との間の奥行き距離Ｌと反比例する。このため、奥行き取得処理では、「奥行き情報」として、両眼視差θもしくは奥行き距離Ｌのうちの、少なくとも一方を取得する。

図１３は、奥行き取得処理について説明するための説明図である。奥行き決定処理において、まずＡＲ処理部１４２ｂは、カメラ６２とカメラ６３とのそれぞれに、外景画像を撮像させる。図１３の上段は、使用者の右眼に対応する位置に設けられたカメラ６２が撮像した外景画像ＣＰ６２を示す。図１３の下段は、使用者の左眼に対応する位置に設けられたカメラ６３が撮像した外景画像ＣＰ６３を示す。ＡＲ処理部１４２ｂは、撮像された外景画像ＣＰ６２と外景画像ＣＰ６３とのそれぞれを画像認識して、両画像内に含まれる特定の物体についての基準点をそれぞれ特定する。基準点とは、物体の位置を特定するための基準にするための点であり、任意に定めることができる。基準点は例えば、物体の中心点とすることができる。

ＡＲ処理部１４２ｂは、外景画像ＣＰ６２内の基準点と、外景画像ＣＰ６３内の基準点との間のずれ量を求める。その後、ＡＲ処理部１４２ｂは、ずれ量と両眼視差θ（もしくは奥行き距離Ｌ）との対応関係を定めたテーブル等を用いて、求めたずれ量から両眼視差θもしくは奥行き距離Ｌを算出する。なお、ずれ量が大きいほど、両眼視差θが大きく、奥行き距離Ｌは小さくなる。

例えば、図１２の例では、ＡＲ処理部１４２ｂは、外景画像ＣＰ６２内に含まれるリンゴの中心点Ｏ１と、外景画像ＣＰ６３内に含まれるリンゴの中心点Ｏ２とを特定し、中心点Ｏ１と中心点Ｏ２との間のずれ量ＤＥ１を求める。そして、ＡＲ処理部１４２ｂは、前述のテーブル等を用いて、ずれ量ＤＥ１から両眼視差θ（もしくは奥行き距離Ｌ）を算出する。

以上のように、第３実施例によれば、ＡＲ処理部１４２ｂ（拡張現実処理部）は、ヘッドマウントディスプレイＨＭｂ（頭部装着型表示装置）の装着時における使用者の右側の眼またはこめかみまたはそれらの周辺に対応する位置に配置されたカメラ６２（第２の撮像部）により撮像された外景画像ＣＰ６２（第２の外景画像）に含まれる特定の物体と、ヘッドマウントディスプレイＨＭｂの装着時における使用者の左側の眼またはこめかみまたはそれらの周辺に対応する位置に配置されたカメラ６３（第３の撮像部）により撮像された外景画像ＣＰ６３（第３の外景画像）に含まれる特定の物体と、の間のずれ量を求め、求めたずれ量から外界における物体の奥行きに関する情報を取得することができる。この結果、ＡＲ処理部１４２ｂは、ＡＲ処理において、物体の奥行きに関する情報を用いた仮想現実を提供することができる。

Ｄ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の構成をとることができる。例えば、ソフトウェアによって実現した機能は、ハードウェアによって実現するものとしてもよい。そのほか、以下のような変形が可能である。

Ｄ１．変形例１：
上記実施例では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施例では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施例の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。

例えば、接続部を省略し、制御部と画像表示部とが無線通信可能な構成としてもよい。具体的には、制御部にさらに第１の無線通信部を備えると共に、画像表示部にさらに第２の無線通信部と電源とを備える構成とする。この場合、第１の無線通信部が上記実施例における送信部として機能し、第２の無線通信部が上記実施例における受信部として機能する。

例えば、図２に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、制御部にＷｉ−Ｆｉ（wireless fidelity）等を用いた通信部を設けてもよい。

例えば、図２に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続されていてもよい。

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。なお、非透過型ヘッドマウントディスプレイの場合、ＡＲ処理部は、外景画像と付加画像とを重畳させた新たな付加画像データーを生成し、画像処理部は、新たな付加画像データーを表示させる。

例えば、画像処理部、表示制御部、ＡＲ処理部、音声処理部等の機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、上記実施例では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。

また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。

例えば、上記実施例では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

Ｄ２．変形例２：
上記実施例では、ガイド画像の一例を挙げて説明した。しかし、ガイド画像としては上記実施例の例示に限らず、種々の変形が可能である。

例えば、上記第１実施例（図７）では、ガイド画像の一例として、矩形で、四隅および対角線の交点に位置する部分に円状の案内マークを有する画像を示した。しかし、例えば、矩形で、四隅のうちの２箇所（例えば、対角線上の２点）のみに案内マークを有する画像としてもよい。さらに、例えば、案内マークの形状は、円形状でなくともよく、多角形、キャラクター等の絵文字、アイコン等を採用してもよい。

例えば、上記第２実施例（図１０）では、ガイド画像の一例として、矩形で、四隅に枠状の案内マークを有する画像を示した。しかし、例えば、矩形で、四隅のうちの２箇所（例えば、対角線上の２点）のみに枠状の案内マークを有する画像としてもよい。また、例えば、矩形の四辺全てを囲む枠状の案内マークを有する画像としてもよい。さらに、例えば、案内マークの形状は枠状でなくともよい。

Ｄ３．変形例３：
上記実施例では、領域決定処理の一例を示した。しかし、図６、図９に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

例えば、図６に示した領域決定処理では、「所定の目印」として使用者の指先を用いることとした。しかし、目印には任意のものを採用可能である。例えば、ペン先やポインター等の先細り形状のものを使用することができる。

例えば、図６に示した領域決定処理において、ＡＲ処理部は、案内マークを指差すよう案内し、外景画像を取得し、指先位置の座標を取得し、座標を保存するという一連の処理を、案内マークの個数の分だけ繰り返すこととした。しかし、案内マークを指差すよう順次案内し、全ての案内マークについて外景画像をひとまず取得した後で、取得した複数の外景画像から指先位置の座標をそれぞれ取得し、座標を保存するという処理の流れとしてもよい。

例えば、図９に示した領域決定処理では、「所定の目印」として紙を用いることとした。しかし、目印としては、矩形形状の側面を有する限りにおいて任意のものを採用可能である。例えば、下敷きや、ノートや、箱や、本などを用いても良い。

Ｄ４．変形例４：
上記実施例では、奥行き取得処理の一例を示した。しかし、図１２、図１３に示した処理の手順はあくまで一例であり、種々の変形が可能である。

Ｄ５．変形例５：
上記実施例では、画像光生成部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

Ｄ６．変形例６：
上記実施例および各変形例における構成要素のうち、特許請求の範囲において独立請求項で記載された構成に対応する要素以外の要素は、付加的な要素であり、省略可能である。

１０、１０ｂ…制御部（コントローラー）
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２１…耳掛部
２２…右表示駆動部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ（撮像部）
６２…カメラ（第２の撮像部）
６３…カメラ（第３の撮像部）
１１０…入力情報取得部
１２０…記憶部
１２２…座標情報記憶部
１３０…電源
１４０…ＣＰＵ
１４２、１４２ａ、１４２ｂ…ＡＲ処理部
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部（画像光生成部）
２０２…左バックライト制御部（画像光生成部）
２１１…右ＬＣＤ制御部（表示素子、画像光生成部）
２１２…左ＬＣＤ制御部（表示素子、画像光生成部）
２２１…右バックライト（画像光生成部）
２２２…左バックライト（画像光生成部）
２４１…右ＬＣＤ（表示素子、画像光生成部）
２４２…左ＬＣＤ（表示素子、画像光生成部）
２５１…右投写光学系（導光部）
２５２…左投写光学系（導光部）
２６１…右導光板（導光部）
２６２…左導光板（導光部）
２８０…電源
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…右眼用画像データー
Ｄａｔａ２…左眼用画像データー
ＯＡ…外部機器
ＳＣ…外景
ＶＩ…虚像
ＩＬ…照明光
ＰＬ…画像光
ＶＲ…視野
ｎ…変数
ＣＰ６２…外景画像（第２の外景画像）
ＣＰ６３…外景画像（第３の外景画像）
Ｏ１、Ｏ２…中心点
Ｐ１〜Ｐ５１…案内マーク
ＥＡ…重複領域
ＯＢ…オブジェクト
ＲＥ…右眼
ＬＥ…左眼
ＣＧ、ＣＧａ…ガイド画像
ＥＬ、ＥＲ…端部
ＨＭ、ＨＭａ、ＨＭｂ…頭部装着型表示装置（ヘッドマウントディスプレイ）
ＡＰ…先端部
ＰＰ…紙
ＣＰ…外景画像

Claims (7)

1. 虚像を外景と同時に視認可能に表示する頭部装着型表示装置であって、
   前記外景を撮像する撮像手段と、
   撮像された前記外景に応じて付加画像を生成する処理手段と、
   生成された前記付加画像を前記虚像として表示する表示手段と、
   を備え、
   前記処理手段は、撮像された前記外景のうち、前記虚像の表示領域と前記撮像手段の撮像領域とが重複する重複領域を用いて前記付加画像を生成し、
   前記表示手段は、前記虚像の表示領域の四隅を示す案内マークを虚像として表示し、
   前記撮像手段は、前記案内マークの位置を示すための目印として、矩形形状の面を有する物を含む外景を撮像し、
   前記処理手段は、撮像された前記外景内の前記目印の頂点の位置に基づき前記重複領域を決定する、
   頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記処理手段は、前記重複領域の決定に先立ち、前記案内マークの位置を前記目印によって示すよう案内を行う、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記処理手段は、前記案内を音声によって行う、頭部装着型表示装置。
4. 請求項２に記載の頭部装着型表示装置であって、
   前記処理手段は、前記案内を、前記表示手段にメッセージを表示させることによって行う、頭部装着型表示装置。
5. 請求項１から４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記処理手段は、撮像された前記外景のうちの前記重複領域内の部分を解析対象として前記付加画像を生成する、頭部装着型表示装置。
6. 請求項１から５までのいずれか一項に記載の頭部装着型表示装置であって、
   前記撮像手段は、右眼側の外景および左眼側の外景を撮像可能であり、
   前記処理手段は、撮像された前記右眼側の外景中の特定の物体と、撮像された前記左眼側の外景中の前記特定の物体と、の間のずれ量に基づき、前記特定の物体の奥行きを求める、頭部装着型表示装置。
7. 頭部装着型表示装置が、虚像を外景と同時に視認可能に表示する方法であって、
   （ａ）撮像手段によって外景を撮像する工程と、
   （ｂ）撮像された前記外景に応じて付加画像を生成する工程と、
   （ｃ）生成された前記付加画像を前記虚像として表示する工程と、
   を備え、
   前記工程（ｂ）では、撮像された前記外景のうち、前記虚像の表示領域と前記撮像手段の撮像領域とが重複する重複領域を用いて前記付加画像を生成し、
   前記虚像の表示領域の四隅を示す案内マークを虚像として表示し、前記案内マークの位置を示すための目印として、矩形形状の面を有する物を含む外景を撮像し、撮像された前記外景内の前記目印の頂点の位置に基づき前記重複領域を決定する工程を備える、方法。

Images