JP6264014B2 - 頭部装着型表示装置 - Google Patents

Description

本発明は、頭部装着型表示装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ））が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイと光源とを利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板等を利用してユーザーの眼に導くことにより、ユーザーに虚像を視認させる（例えば、特許文献１）。この特許文献では、現実環境にコンピューターを用いて情報を付加提示する拡張現実感（ＡＲ、Augmented Reality）の実現手法が適用されているが、このＡＲの適用に限らず、カメラを搭載した頭部装着型表示装置では、ユーザーに虚像を外景に重ねて視認させるに当たり、カメラで撮像した撮像画像についても、これを虚像としてプレビュー可能である。ところで、カメラの撮像画像をプレビューすることは、頭部装着型表示装置以外の撮像装置において一般的であり、例えば、カメラの撮像モードを通常モードとマナーモードに切り替え可能とし、マナーモードにあっては、プレビュー画像を通常モードより縮小表示する手法も提案されている（例えば、特許文献２）。

特開２０１３−１７８６３９号公報 特開２０１３−１１５７２２号公報

上記の特許文献１に限らずカメラを搭載した頭部装着型表示装置においてカメラの撮像画像を虚像としてプレビューする場合、特許文献２で提案されているように、虚像たるカメラの撮像画像を、縮小してプレビューすることや虚像表示域の全域においてプレビューすることも可能である。しかしながら、頭部装着型表示装置は、ユーザーに外景に重ねてプレビュー画像を虚像として視認させるという特異な機能を有することから、次のような問題が指摘されるに到った。

カメラの撮像画像が虚像としてプレビューされると、ユーザーは、撮像画像である虚像の外景と、ユーザーが自らの眼で見る実際の外景の両者を一度に視認することになる。カメラの撮像領域は、ユーザー自身が眼で見る視認領域と必ずしも一致せず、カメラの撮像方向についても、ユーザーの目線方向と必ずしも一致しない。また、撮像画像の画像データーは虚像形成に関連する各種データー処理に処されるので、撮像画像である虚像の外景が遅延して提供される。これらの結果、虚像として提供された外景と実際の外景との間で不整合が起き、ユーザーに違和感を与えかねない。そして、虚像たるカメラの撮像画像を縮小してプレビューしただけでは、上記の不整合に起因した違和感が顕著となり得る。なお、カメラの撮像画像とは異なる画像データー、例えば外部から提供されたもしくは頭部装着型表示装置自体が備える動画画像データーを虚像としてユーザーに外景に重ねて視認させる場合には、ユーザーはそもそも虚像と外景とが相違することを自認しているので、上記した違和感はさほど問題にならない。

また、頭部装着型表示装置を装着したユーザーは、装置付属のカメラを単なる外景の撮像のみならず、多様な用途で用いることが想定される。例えば、横方向に情報を持つバーコードや縦横に情報を持つＱＲコード（登録商標）の情報読込に装置付属のカメラを用いることがある。こうした場合、ユーザーが実際に視認しているこうしたコードとカメラの撮像したコード（詳しくは、虚像表示されたコード）とを敢えて対比したいと所望する場合も有り得るので、利便性の向上の余地も残されている。こうしたことから、カメラを搭載した頭部装着型表示装置において、カメラの撮像画像を虚像として提供する際の違和感を緩和しつつ利便性の向上を図ることが要請されるに到った。この他、カメラの撮像画像を虚像として提供する構成についての汎用性の向上や、そのコスト低下等についても望まれている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、外景に重ねて虚像を視認可能とする頭部装着型表示装置であって、ユーザーに視認させる前記虚像を形成して表示する画像表示部と、該画像表示部での虚像形成処理を実行する虚像形成処理部と、ユーザーの視野方向を撮像可能なカメラと、該カメラの撮像した撮像画像を前記画像表示部でプレビュー画像として虚像表示する際の画像表示状況を設定するプレビュー設定部とを備える。上記形態の頭部装着型表示装置は、プレビュー設定部が異なる表示状況を設定し得るので、それぞれの表示状況に応じた虚像形成処理部による虚像形成処理を経て、カメラの撮像画像を画像表示部でプレビュー画像として多様な状況で虚像表示できる。例えば、プレビュー画像として虚像表示されるカメラの撮像画像が実際の外景とできるだけ整合するような表示状況でプレビュー画像を提供したり、プレビュー画像として虚像表示されるカメラの撮像画像が実際の外景と対比可能な表示状況でプレビュー画像を提供したりできる。この結果、上記形態の頭部装着型表示装置によれば、カメラを搭載した頭部装着型表示装置において、カメラの撮像画像を虚像として提供する際の違和感を緩和しつつ利便性の向上を図ることが可能となる。

（２）上記形態の頭部装着型表示装置において、前記プレビュー設定部は、前記プレビュー画像の表示サイズと、前記虚像表示域における前記プレビュー画像の表示位置と、前記撮像画像を前記プレビュー画像とする際の倍率の少なくとも一つを前記画像表示状況として設定するようにしてもよい。こうすれば、カメラの撮像画像を画像表示部でプレビュー画像として虚像表示する状況がより多様化するので、実際の外景との不整合に起因した違和感のより一層の緩和や、利便性の向上を図ることができる。

（３）上記のいずれかの形態の頭部装着型表示装置において、前記プレビュー設定部は、ユーザーによる前記画像表示状況の設定を待機するようにできる。こうすれば、カメラの撮像画像を虚像表示としてのプレビュー画像で提供を受けるユーザー自らの設定を経て、画像表示状況を種々設定できるので、実際の外景との不整合に起因した違和感の更なる緩和や、利便性のより一層の向上を図ることができる。

（４）上記の形態の頭部装着型表示装置において、前記画像表示状況ごとの複数のの設定項目を表示し、該表示した設定項目の選定のためにユーザーにて操作される項目設定操作部を有し、前記プレビュー設定部は、前記項目設定操作部のユーザー操作により前記画像表示状況を設定するようにできる。こうすれば、カメラの撮像画像を虚像表示としてのプレビュー画像で提供を受けるユーザー自らが、表示された複数の設定項目から所望の設定項目を選定して画像表示状況を種々設定できるので、実際の外景との不整合に起因した違和感の更なる緩和や、利便性のより一層の向上を図ることができる。

（５）上記の形態の頭部装着型表示装置において、前記プレビュー画像を表示する設定と表示しない設定のいずれかを定める際にユーザーにて操作される表示設定操作部を有し、前記プレビュー設定部は、前記表示設定操作部のユーザー操作により前記プレビュー画像を表示する設定とされると、前記項目設定操作部のユーザー操作により前記画像表示状況を設定するようにできる。こうすれば、プレビュー画像の表示を所望したユーザー自らの表示設定操作部の操作を経て、プレビュー画像を表示するので、違和感の低減等に有益となる。

（６）上記の形態の頭部装着型表示装置において、ユーザーの頭部の挙動を監視し、ユーザーが所定の頭部挙動を起こすと、前記プレビュー画像を表示する設定とする表示設定部を有し、前記プレビュー設定部は、前記表示設定部が前記プレビュー画像を表示する設定とすると、前記項目設定操作部のユーザー操作により前記画像表示状況を設定するようにできる。こうしても、プレビュー画像の表示を所望したユーザー自らが起こした所定の頭部挙動を経て、プレビュー画像を表示するので、違和感の低減等に有益となる。

（７）上記の形態の頭部装着型表示装置において、前記カメラによる撮像状況を、ユーザーにより静止画撮像モードと動画撮像モードのいずれかに切り替えるモード切替部を有し、前記プレビュー設定部は、前記モード切替部が前記静止画撮像モードに切り替えると、前記項目設定操作部のユーザー操作により前記画像表示状況を設定するようにできる。静止画撮像モードで撮像したカメラ画像は、ユーザーが視認する外景と不整合であっても、ユーザー自らが所望して撮像した静止画像であるので、ユーザーは、実際の外景との不整合に起因した違和感を承知していることから、この違和感を感じ難くなる。

（８）上記の形態の頭部装着型表示装置において、前記虚像形成処理部は、前記プレビュー画像を前記画像表示部に所定時間に亘って表示されるよう前記虚像形成処理を実行するようにできる。こうすれば、プレビュー画像を表示しても、その表示時間を当初の所定時間に限るので、上記した違和感を与え得る時間を限ることができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

また、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置の制御方法、頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。 ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。 右表示駆動部２２における画像光生成部によって画像光が射出される様子を示す説明図である。 生成部１４３やプレビュー制御部１４１等にてユーザーに認識されるように形成した虚像の一例を示す説明図である。 ユーザーの視野ＶＲとカメラ６１の撮像領域ＣＲｖおよび虚像表示域ＶＩＲとの関係を概略的に示す説明図である。 カメラ６１の撮像画像に対応した虚像ＶＩを含むプレビュー画像の表示サイズ等の設定の様子を示す説明図である。 画像処理部１６０や表示制御部１９０等を含む制御部１０にて実行されるカメラプレビュー処理の概要を説明する説明図である。 カメラプレビューＰｒＶが不要の場合の表示態様の概略を示す説明図である。 カメラプレビューＰｒＶを行う場合の表示態様の一例を概略的に示す説明図である。 ユーザー操作によりカメラプレビューＰｒＶの表示位置が虚像表示域ＶＩＲの右上領域に設定された際の表示態様を概略的に示す説明図である。 ユーザー操作によりカメラプレビューＰｒＶの表示位置が虚像表示域ＶＩＲの左上領域で表示サイズが９６０ｘ５４０に設定された際の表示態様を概略的に示す説明図である。 ユーザー操作によりカメラプレビューＰｒＶの表示位置が虚像表示域ＶＩＲの右上領域で表示倍率が２．０倍に設定された際の表示態様を概略的に示す説明図である。 変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。

Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、以下、ヘッドマウントディスプレイ１００）とも呼ばれる。本実施形態のヘッドマウントディスプレイ１００は、ユーザーが、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。

ヘッドマウントディスプレイ１００は、ユーザーの頭部に装着された状態においてユーザーに虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。

画像表示部２０は、ユーザーの頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、ユーザーが画像表示部２０を装着した際にユーザーの右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、ユーザーが画像表示部２０を装着した際のユーザーの眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、ユーザーが画像表示部２０を装着した際のユーザーの側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、ユーザーが画像表示部２０を装着した際のユーザーの側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、ユーザーの頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、ユーザーが画像表示部２０を装着した際のユーザーの頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

左右の表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、右導光板２６１、２６２（図２参照）と調光板とを含んでいる。右導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光をユーザーの眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（ユーザーの眼の側とは反対の側）を覆うように配置されている。調光板は、右導光板２６１、２６２を保護し、右導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、ユーザーの眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

カメラ６１は、ユーザーが画像表示部２０を装着した際の画像表示部２０の端部ＥＲに配置されている。カメラ６１は、画像表示部２０の表側方向、換言すれば、ヘッドマウントディスプレイ１００を装着した状態におけるユーザーの視野方向を撮像方向とし、その撮像方向たるユーザー正面の外景（外部の景色）を撮像し、外景画像を取得する。この場合、ヘッドマウントディスプレイ１００を装着したユーザーが、自身の頭を上下や左右に動かせば、その動きに合わせてユーザーの視野方向は変わり、カメラ６１の撮像方向も変わる。カメラ６１はいわゆる可視光カメラであって、例えばＣＣＤ（ Charge Coupled Device ）やＣＭＯＳ（ Complementary Metal-Oxide Semiconductor ）等の撮像素子を備える。このカメラ６１により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像であり、その撮像データーは、後述のＣＰＵ１４０に出力され、後述の虚像形成処理に用いられる。本実施形態におけるカメラ６１は単眼カメラであるが、ステレオカメラとしてもよい。この他、カメラ６１は、ユーザーの視野方向を撮像できるカメラであればよく、例えば１８０度といった広角視野で撮像可能なカメラでもよい。また、３６０度のいわゆる魚眼撮像が可能なカメラを用い、魚眼撮像画像からユーザーの視野方向と一致した領域の画像を切り取るようにしてもよい。カメラ６１の配設位置については、画像表示部２０の端部ＥＲに限らず、ユーザーの眉間に対応する位置や、画像表示部２０の端部ＥＬとしてもよい。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０は、ヘッドマウントディスプレイ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ヘッドマウントディスプレイ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。このタッチパッド１４は、後述する各種スイッチ等を表示すると共に、当該スイッチのユーザー操作に応じた制御信号を出力する。図１では、カメラ６１による撮像開始スイッチや、後述のプレビュー表示の要否を定めるスイッチがメニュー表示されている。これらスイッチ表示は、装置電源オン等の所定のタイミング、或いは、ユーザーによる所定動作、例えばタッチパッド１４のシングルタッチや制御部１０を素早く上下に動かす動作があると、なされる。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイ１００の電源の状態を切り替える。

図２はヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８などに対する操作入力に応じた信号を取得する。記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０は、後述の虚像ＶＩに含ませて表示するアイコン等のＣＧ（computer graphics）の他、カメラ撮像画像を虚像として後述するようにプレビュー表示する際の表示状況設定テーブル等を記憶している。電源１３０は、ヘッドマウントディスプレイ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って他の機器との無線通信を行う。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０、プレビュー制御部１４１、生成部１４３として機能する。

画像処理部１６０は、インターフェイス１８０を介して入力されるコンテンツ（映像）に基づいて信号を生成する。本実施形態では、カメラ６１の撮像した撮像画像も、このコンテンツの一つとされる。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データーＤａｔａとを生成・送信する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデーターの画像データーＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを生成・送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データーＤａｔａに対して、解像度変換処理や、輝度・彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データーＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。また、表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。なお、表示制御部１９０は、本願における「虚像形成処理部」を、画像処理部１６０やプレビュー制御部１４１、生成部１４３と協働して構築し、画像表示部２０での虚像形成に必要な虚像形成処理を実行する。

プレビュー制御部１４１は、入力情報取得部１１０にて制御部１０のタッチパッド１４に表示した表示状況設定テーブルのユーザー操作に基づいて、後述のプレビュー画像を生成し、その画像信号を生成部１４３に出力する。この際、プレビュー制御部１４１は、カメラ６１からその撮像画像の入力があると、カメラ６１の撮像画像についても、プレビュー表示すべく、そのプレビュー画像を生成する。生成部１４３は、後述の画像表示部２０にて虚像を表示する際の画像データーを、記憶部１２０の記憶済みのＣＧやプレビュー制御部１４１からの画像信号に基づいて形成し、これを画像表示部２０に出力する。こうすることで、生成部１４３は、画像処理部１６０やプレビュー制御部１４１、および表示制御部１９０と協働して本願における「虚像形成処理部」を構築する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２の備える図示しないスピーカーおよび左イヤホン３４の備える図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、９軸センサー６６とを備えている。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０がユーザーの頭部に装着されているときには、ユーザーの頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データーＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

図３は右表示駆動部２２における画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつユーザーの右眼ＲＥに導く。光学像表示部は、画像光を用いてユーザーの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

左眼ＬＥのための左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。右表示駆動部２２と左表示駆動部２４とは対になっており、左表示駆動部２４の各部は、右表示駆動部２２で説明した上記の各部と同様の構成および機能を有するので、その説明は省略する。

図４は生成部１４３やプレビュー制御部１４１等にてユーザーに認識されるように形成した虚像の一例を示す説明図である。上述のようにして、ヘッドマウントディスプレイ１００のユーザーの両眼に導かれた画像光がユーザーの網膜に結像することにより、ユーザーは虚像ＶＩを視認することができる。図４に示すように、ヘッドマウントディスプレイ１００のユーザーの視野ＶＲ内には虚像ＶＩが表示され、この虚像ＶＩには、カメラ６１の駆動状況を表すアイコン等の各種ＣＧが含まれている。また、ユーザーの視野ＶＲのうち、虚像ＶＩが表示された部分については、ユーザーは、光学像表示部の虚像ＶＩと、この虚像ＶＩを透過するようにして外景ＳＣを虚像ＶＩの背後に視認する。ユーザーの視野ＶＲのうち、虚像ＶＩが表示された部分以外については、ユーザーは、光学像表示部を透過して、外景ＳＣを直接見ることができる。本実施形態では、上記の種ＣＧの他、虚像ＶＩの表示領域である虚像表示域ＶＩＲを示す枠も虚像として視認されるよう、処理される。

このように虚像ＶＩを外景ＳＣに重ねて表示するための画像データーは、ヘッドマウントディスプレイ１００の生成部１４３にてなされる虚像表示用の画像データー形成により生成される。そして、生成部１４３にて生成された画像データーが、右ＬＣＤ制御部２１１等に通信されて、虚像ＶＩは、ユーザーの正面領域に表示される。画像データー生成の際、生成部１４３は、外景ＳＣに虚像ＶＩを重ねて表示させるために、異なる右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを生成するので、その結果として、虚像ＶＩは外景ＳＣに重なって表示されることになる。

ここで、撮像画像を虚像ＶＩとして表示する際のユーザーの視野ＶＲとカメラ６１の撮像領域ＣＲｖおよび虚像表示域ＶＩＲとの関係について説明する。図５はユーザーの視野ＶＲとカメラ６１の撮像領域ＣＲｖおよび虚像表示域ＶＩＲとの関係を概略的に示す説明図である。図示するように、ユーザーの視野ＶＲに実像Ｒｉ１〜Ｒｉ５が水平に等分に並んで含まれている場合、カメラ６１は、ユーザーが装着した画像表示部２０の端部ＥＲに位置することから、その撮像領域ＣＲｖは、視野ＶＲの右方側の一部領域となり、カメラ６１は、実像Ｒｉ３〜Ｒｉ５を撮像する。このカメラ６１の撮像画像としての虚像ＶＩ（虚像Ｖｉ３〜Ｖｉ５）は、視野ＶＲのほぼ中央を占める虚像表示域ＶＩＲの一部領域において後述のプレビュー画像として提供される。虚像Ｖｉ３〜Ｖｉ５を含むプレビュー画像の表示位置は、虚像表示域ＶＩＲの左方領域の上下もしくは中央、右方領域の上下もしくは中央或いは中央領域の上下もしくは中央のいずれかに設定可能であり、後述するように、その表示領域はユーザー操作により設定される。また、このプレビュー画像の表示サイズにあっても、多段階に調整可能であり、ユーザー操作を経て設定される。この他、プレビュー画像の拡大・縮小も設定可能であり、その拡大率についても、ユーザー操作を経て設定される。図６はカメラ６１の撮像画像に対応した虚像ＶＩを含むプレビュー画像の表示サイズ等の設定の様子を示す説明図である。

制御部１０は、装置電源オン等の所定のタイミング、或いは、ユーザーによる所定動作、例えばタッチパッド１４のダブルタッチや制御部１０を素早く左右に動かす動作があると、図６に示すように、タッチパッド１４に表示状況設定テーブルを表示する。この表示状況設定テーブルは、レビュー画像の表示サイズと、拡大率と、虚像表示域ＶＩＲにおける表示位置とを、それぞれ複数の設定項目をメニュー形式で含んでいる。よって、ユーザーは、この表示状況設定テーブルを見て、ユーザーは、レビュー画像の表示サイズや、拡大率、虚像表示域ＶＩＲにおける表示位置を既述したように選択設定する。この設定信号は、生成部１４３やプレビュー制御部１４１に出力され、プレビュー画像の表示に必要な画像データー処理に用いられる。こうしたプレビュー画像の表示状況は、タッチパッド１４への表示状況設定テーブルの表示を経て、随時、ユーザーにより設定される。

ユーザーは、生成部１４３にて得られた虚像ＶＩ（虚像Ｖｉ３〜Ｖｉ５）を含むプレビュー画像を透過して外景ＳＣを視認する。以下、カメラ６１が実際に撮像した撮像画像を虚像表示域ＶＩＲにプレビュー画像の虚像ＶＩとして表示した画像をカメラプレビューＰｒＶと称して、このカメラプレビューに関する処理について説明する。

Ａ−２．カメラプレビュー処理:
図７は画像処理部１６０や表示制御部１９０等を含む制御部１０にて実行されるカメラプレビュー処理の概要を説明する説明図、図８はカメラプレビューＰｒＶが不要の場合の表示態様の概略を示す説明図、図９はカメラプレビューＰｒＶを行う場合の表示態様の一例を概略的に示す説明図である。このカメラプレビュー処理は、カメラ６１が撮像を継続している間に繰り返し実行され、制御部１０は、まず、カメラ６１の撮像した撮像画像を虚像表示域ＶＩＲに虚像ＶＩとして表示するカメラプレビューＰｒＶの要否を判定する（ステップＳ１００）。この場合、カメラ６１による撮像は、タッチパッド１４における所定操作（撮像開始スイッチ操作）や、ヘッドマウントディスプレイ１００を装着したユーザーの頭部動作、例えば、連続した上下の頭部の動き等をトリガーとして開始される。また、カメラプレビューＰｒＶの要否、具体的にはカメラプレビューＰｒＶを要する場合には、タッチパッド１４における他の所定操作（プレビュー実行操作）や、ユーザーの他の頭部動作、例えば、連続した左右の頭部の動き等が必要とされている。制御部１０は、これら操作や頭部挙動を待機し、ステップＳ１００にてカメラプレビュー要否を判定する。より具体的に説明すると、制御部１０は、タッチパッド１４に、撮像開始スイッチに加え、或いは当該スイッチ操作後に、プレビュー実行スイッチを表示し、ユーザーによるこのプレビュー実行スイッチ操作を待機する。そして、当該スイッチのユーザー操作があると、カメラプレビュー表示を要すると判定する。この他、制御部１０は、９軸センサー６６からのセンサー出力に基づいてユーザーの頭部挙動を監視し、ユーザーの頭部挙動が連続した左右の頭部の動きに合致すれば、カメラプレビュー表示を要すると判定する。

制御部１０は、上記したプレビュー実行操作や所定の頭部動作の有無により、ステップＳ１００にてカメラプレビューＰｒＶの要否を判定し、ここで、カメラプレビューＰｒＶが不要であると判定すると、画像表示部２０にカメラプレビュー不要の旨の制御信号を出力して（ステップＳ１０５）、本ルーチンを一旦終了する。ステップＳ１００にてカメラプレビューが不要と判定した場合、画像表示部２０は、カメラプレビュー不要の旨の制御信号を受け、図８に示すように、虚像ＶＩをその虚像表示域ＶＩＲを含めて表示しない上段の態様か、虚像表示域ＶＩＲの領域枠と各種ＣＧを虚像ＶＩとして表示する下段の態様のいずれかを採り、これら画像にカメラプレビューＰｒＶを含ませない。上記のいずれの態様を採るかは、図示しないディップスイッチ等にて規定したり、所定のユーザー操作にて予め定めるようにできる。本実施形態では、上記のカメラプレビューの要否は、初期設定にて、カメラプレビュー不要と設定されているので、カメラ６１が上記したユーザー操作によりオンされて撮像を開始する際、上記したプレビュー実行操作や所定の頭部動作がなければ、ステップＳ１００での否定判定を経て、図８のいずれかの態様とされる。

一方、ステップＳ１００にてカメラプレビューを要すると判定すると、制御部１０は、カメラ６１の撮像画像データーの入力（ステップＳ１１０）と、タッチパッド１４における表示状況設定テーブル（図６参照）を用いたユーザー操作によるプレビュー設定の読込（ステップＳ１１８）とを行う。本実施形態では、上記のプレビュー画像の表示状況設定は、既述したように随時、ユーザーによりなされるので、図９に示すカメラプレビューＰｒＶの表示状況は、その表示位置を虚像表示域ＶＩＲの左上領域とすること、表示サイズは例えば３２０ｘ２４０であること、表示倍率はｘ０．５であることに設定されていることになる。よって、制御部１０の生成部１４３は、プレビュー制御部１４１と協働して、これら設定済み表示状況でカメラプレビューＰｒＶが虚像表示域ＶＩＲに虚像表示されるよう、入力した撮像画像データーから、虚像ＶＩを表示するための画像データー（虚像画像データー）を生成し、その生成した画像データーを画像表示部２０に出力して（ステップＳ１２０）、本ルーチンを一旦終了する。これにより、画像表示部２０は、カメラ６１の撮像した撮像画像をカメラプレビューＰｒＶとして含む虚像ＶＩをユーザーの視野ＶＲの中の虚像表示域ＶＩＲに表示して、その虚像ＶＩをユーザーに視認させる。カメラ６１の撮像した撮像画像を含む虚像ＶＩ、図５で示した例では虚像Ｖｉ３〜Ｖｉ５を含むカメラプレビューＰｒＶを表示するに当たり、画像表示部２０は、図９に示すように、虚像表示域ＶＩＲにおける上記の設定済み表示位置に、虚像Ｖｉ３〜Ｖｉ５を含むカメラプレビューＰｒＶを虚像表示域ＶＩＲの領域枠と共に表示する上段の態様か、虚像Ｖｉ３〜Ｖｉ５を含むカメラプレビューＰｒＶに加え、カメラ６１の駆動状況を表すアイコン等の各種ＣＧを虚像表示域ＶＩＲの領域枠と共に表示する下段の態様のいずれかを採る。上記のいずれの態様を採るかは、図示しないディップスイッチ等にて規定したり、所定のユーザー操作にて予め定めるようにできる。このようにカメラ６１の撮像した撮像画像をカメラプレビューＰｒＶとして含む虚像ＶＩを表示するに当たり、このカメラプレビューＰｒＶの表示期間を、本実施形態では、予め定めた所定期間、例えば、数秒から十数秒の期間に限るようにした。この場合、カメラプレビューＰｒＶの表示を所定時間に限るか、或いは継続して行うかを、図示しないディップスイッチ等にて規定したり、所定のユーザー操作にて予め定めるようにしてもよい。

図１０はユーザー操作によりカメラプレビューＰｒＶの表示位置が虚像表示域ＶＩＲの右上領域に設定された際の表示態様を概略的に示す説明図、図１１はユーザー操作によりカメラプレビューＰｒＶの表示位置が虚像表示域ＶＩＲの左上領域で表示サイズが９６０ｘ５４０に設定された際の表示態様を概略的に示す説明図、図１２はユーザー操作によりカメラプレビューＰｒＶの表示位置が虚像表示域ＶＩＲの右上領域で表示倍率が２．０倍に設定された際の表示態様を概略的に示す説明図である。これら各図に示すように、制御部１０は、ステップＳ１１８で読み込んだプレビュー画像の表示状況設定に応じて、生成部１４３やプレビュー制御部１４１にてカメラプレビューＰｒＶを虚像表示域ＶＩＲに含ませて虚像表示する。図１２の拡大表示では、実像Ｒｉ３〜Ｒｉ５に対応する虚像Ｖｉ３〜Ｖｉ５を設定した拡大率で拡大して表示するので、設定済みの表示サイズのカメラプレビューＰｒＶでは、虚像Ｖｉ４のみが拡大表示され、拡大済みの虚像Ｖｉ３と虚像Ｖｉ５とは、カメラプレビューＰｒＶの表示エリアから外れるため、表示されない。

以上説明した構成を備える本実施形態のヘッドマウントディスプレイ１００は、虚像ＶＩを外景ＳＣに重ねて表示するための画像データーをプレビュー制御部１４１や生成部１４３にて生成し、その生成した画像データーにより、虚像ＶＩがユーザーの正面領域に表示されるように虚像ＶＩを外景ＳＣに重ねて視認させる。その上で、本実施形態のヘッドマウントディスプレイ１００は、カメラ６１の撮像した撮像画像に対応する虚像Ｖｉ３〜Ｖｉ５を含むカメラプレビューＰｒＶを虚像表示域ＶＩＲに虚像表示するに当たり、図６に示す表示状況設定テーブルで設定された表示状況に応じて（ステップＳ１１８）、カメラプレビューＰｒＶを虚像表示するのに必要な画像データーを形成して（ステップＳ１２０）、このカメラプレビューＰｒＶを設定済み表示状況で虚像表示域ＶＩＲに虚像表示する。本実施形態のヘッドマウントディスプレイ１００は、その一例としての図９〜図１２に示すように、異なる表示状況を設定し得るので、それぞれの表示状況に応じた虚像形成のためのデーター処理を経て、カメラ６１の撮像画像を虚像としてのカメラプレビューＰｒＶを画像表示部２０にて多様な状況で表示できる。例えば、図１２に示すカメラプレビューＰｒＶでは、実像Ｒｉ４に対応した虚像Ｖｉ４を実際の外景たる実像Ｒｉ４とできるだけ整合するような表示状況で提供したり、実像Ｒｉ４に対応した虚像Ｖｉ４を実際の外景たる実像Ｒｉ４と近くに表示してこれらを対比可能な表示状況で提供したりできる。例えば、実像Ｒｉ４がＱＲコードであれば、ユーザーが自ら目にする実像Ｒｉ４としてのＱＲコードと、カメラ６１が撮像して虚像表示された虚像Ｖｉ４とを対比できるので、カメラ６１によるコード読取精度が高まると共に、ＱＲコードへの標準合わせも簡便となる。この結果、本実施形態のヘッドマウントディスプレイ１００によれば、カメラ６１を搭載したヘッドマウントディスプレイ１００において、カメラ６１の撮像画像を虚像として提供する際の違和感を緩和しつつ利便性の向上を図ることができる。

本実施形態のヘッドマウントディスプレイ１００は、図６に示すように、カメラプレビューＰｒＶの表示サイズと、虚像表示域ＶＩＲにおけるカメラプレビューＰｒＶの表示位置と、カメラプレビューＰｒＶに含まれる画像の倍率（拡大率）のいずれかを設定可能とする。よって、本実施形態のヘッドマウントディスプレイ１００によれば、カメラ６１の撮像画像を画像表示部２０でカメラプレビューＰｒＶとして虚像表示する表示状況をより多様化できるので、実際の外景との不整合に起因した違和感のより一層の緩和や、利便性の向上を図ることができる。

本実施形態のヘッドマウントディスプレイ１００は、カメラプレビューＰｒＶの表示状況を、図６に示す表示状況設定テーブルのユーザー操作により設定する。ユーザーは、カメラプレビューＰｒＶの虚像表示に必要な所定操作を自ら行ったので、そのユーザーは、カメラプレビューＰｒＶに含まれる虚像ＶＩ（虚像Ｖｉ３〜虚像Ｖｉ５）が実像Ｒｉ３〜実像Ｒｉ５と不整合であること等を予め予測している。その上で、本実施形態のヘッドマウントディスプレイ１００は、カメラ６１の撮像画像を虚像表示としてのカメラプレビューＰｒＶとして提供を受けるユーザー自らの操作を経て、カメラプレビューＰｒＶの表示状況を種々設定できる。よって、本実施形態のヘッドマウントディスプレイ１００によれば、実際の外景との不整合に起因した違和感をユーザー操作を経てより緩和したり、利便性をより高めることができる。

本実施形態のヘッドマウントディスプレイ１００は、既述したように、実像Ｒｉ４に対応した虚像Ｖｉ４を実際の外景たる実像Ｒｉ４と近くに表示してこれらを対比可能とするに当たり、カメラ６１の光軸がユーザーの視線と一致するようにカメラ６１を駆動制御する必要はない。よって、本実施形態のヘッドマウントディスプレイ１００によれば、カメラ光軸が駆動する機械的な構成やこれを駆動制御する処理デバイスを特段使用する必要はない。よって、本実施形態のヘッドマウントディスプレイ１００によれば、カメラ６１の撮像した撮像画像をカメラプレビューＰｒＶとして虚像表示するに当たっての汎用性が高まると共に、コスト低下を図ることもできる。

本実施形態のヘッドマウントディスプレイ１００は、カメラ６１の撮像した撮像画像をカメラプレビューＰｒＶとして虚像表示しないようにするに当たり、図８下段に示すように、各種ＣＧについては、これらを虚像表示域ＶＩＲに表示してユーザーに提供できる。よって、本実施形態のヘッドマウントディスプレイ１００によれば、ユーザーは虚像表示域ＶＩＲの表示やＣＧを通してカメラ６１で撮像中である旨を認知できるので、利便性を損なわない。なお、この図８下段の態様において、虚像表示域ＶＩＲの領域枠を表示せず、カメラ６１の駆動状況を表すアイコン等の各種ＣＧだけを、或いは赤色点滅を表示してもよく、こうしても、アイコン表示や点滅表示を通してカメラ６１で撮像中である旨を認知できるので、利便性を損なわない。赤色点滅に替え、或いは赤色点滅と同時に、カメラ撮像中である旨を音声にてユーザーに報知するようにしてもよい。

Ｂ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。

上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図２に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続されていてもよい。

例えば、図２に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部１０に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部１０にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ（ユーザーの足により操作するスイッチ）による操作入力を取得してもよい。また、フットスイッチや視線による操作入力を取得可能とすれば、ユーザーが手を離すことが困難である作業においても、入力情報取得部は、ユーザーからの操作入力を取得することができる。

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。

図１３は変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図１３（Ａ）の例の場合、図１に示したヘッドマウントディスプレイ１００との違いは、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備える点と、左光学像表示部２８に代えて左光学像表示部２８ａを備える点である。右光学像表示部２６ａは、既述した実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの右眼の斜め上に配置されている。同様に、左光学像表示部２８ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの左眼の斜め上に配置されている。図１３（Ｂ）の例の場合、図１に示したヘッドマウントディスプレイ１００との違いは、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｂを備える点である。右光学像表示部２６ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの右眼の斜め下に配置されている。左光学像表示部２８ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの左眼の斜め下に配置されている。このように、光学像表示部はユーザーの眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部がユーザーの眼の一部分のみを覆う態様、換言すれば、光学像表示部がユーザーの眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。

例えば、画像処理部、表示制御部、プレビュー制御部、生成部、音声処理部等の機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が透過型の平面ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面ディスプレイ装置のリモコンとして利用することもできる。

また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

例えば、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

・他の変形例：
既述したヘッドマウントディスプレイ１００に、拡張現実感を実現させるための処理（以降、「拡張現実処理」とも呼ぶ。）を実行するＡＲ処理部を設けるようにしてもよい。この拡張現実処理は、例えば図４に示す虚像表示域ＶＩＲと各種ＣＧの虚像表示に際し、ユーザーが知覚する外景ＳＣを拡張するための付加提示用の情報を表す画像データーの生成とこれを用いた虚像表示を意味する。そして、ＡＲ処理部にて生成された画像データーが、右ＬＣＤ制御部２１１等に通信されて、虚像ＶＩは、ユーザーの正面領域に表示される。なお、「外景ＳＣを拡張する」とは、ユーザーが眼にする現実環境、すなわち外景ＳＣに対して情報を付加、削除、強調、減衰させ、ユーザーから見た現実世界たる外景ＳＣを拡張することを意味する。画像データー生成を図る拡張現実処理の際、ＡＲ処理部は、外景ＳＣに付加提示用の情報を融像させるために、異なる右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを生成する。「外景に付加提示用の情報を融像させる」とは、ユーザーが実際目にする外景ＳＣのうちの、ユーザーから所定の距離だけ離れた位置に対して、付加提示用の情報が存在するかのような感覚をユーザーに対して与える虚像ＶＩを表示することを意味する。

例えば、図４においてユーザーに視認される虚像ＶＩがリンゴであるとすると、このリンゴを表す画像データーが、外景ＳＣに含まれる現実の道の上に重なるような画像データーとしてＡＲ処理部の拡張現実処理により生成され、この生成された画像データーに基づく画像が、虚像ＶＩとして表示されることになる。これにより、ユーザーは、あたかも何もない道の上に、リンゴが落ちているような感覚を得ることができるであり、ＡＲ処理部は、図４に示した虚像ＶＩやリンゴの虚像ＶＩを、現実の外景ＳＣにユーザーから所定の距離だけ離れて表示するための右眼用、左眼用の上記データーを拡張現実処理により生成し、これを出力する。上記したリンゴを洗わす画像データーに替え、外部機器ＯＡからの他のコンテンツの画像データーが拡張現実処理に処されれば、これら画像データーに基づくコンテンツを虚像ＶＩとして表示する画像データーが生成され、その生成された画像データーの基づく画像（コンテンツ）が、虚像ＶＩとして表示されることになる。これにより、ユーザーは、視野ＶＲに含まれる外景に重ねて、虚像ＶＩたるコンテンツを視認することができるであり、ＡＲ処理部は、図４に示した虚像ＶＩやコンテンツの虚像ＶＩを、現実の外景ＳＣにユーザーから所定の距離だけ離れて表示するための右眼用、左眼用の上記データーを拡張現実処理により生成し、これを表示制御部１９０と協働して出力する。こうした拡張現実処理がＡＲ処理部により実行されない場合、ユーザーには、図４に示した虚像ＶＩの表示領域である虚像表示域ＶＩＲを示す枠と、この虚像表示域ＶＩＲに含まれるカメラ６１の駆動状況を表すアイコン等の各種ＣＧとが、プレビュー制御部１４１や生成部１４３により既述したように虚像ＶＩとして画像表示部２０にて表示されることになる。

こうしたＡＲ処理部は、カメラによって取得されたユーザー正面の外景画像を、画素視差角によりパターンマッチングさせて、拡張現実処理を実現してもよい。具体的には、画像表示部は、右眼用カメラと、左眼用カメラとを備える構成とする。右眼用カメラは、画像表示部のユーザーの右眼に対応する位置に配置され、画像表示部の表側方向の外景を撮像可能なカメラである。左眼用カメラは、画像表示部のユーザーの左眼に対応する位置に配置され、画像表示部の表側方向の外景を撮像可能なカメラである。ＡＲ処理部は、右眼用カメラにより撮像された画像に含まれる対象物体（付加提示用の情報を近傍に表示させる対象となる物体）と、左眼用カメラにより撮像された画像に含まれる対象物体との間のずれ量を求め、当該ずれ量と画素視差角とを用いて、拡張現実処理における虚像ＶＩの表示箇所たる「目標距離」を決定してもよい。

ＡＲ処理部は、外部機器ＯＡから提供を受けるコンテンツについての上記の拡張現実処理を、所定の条件が満足される場合に限って実行してもよい。例えば、画像表示部に対してユーザーの視線の方向を検出可能な構成を備えたうえで、ＡＲ処理部は、検出された視線の方向が以下の条件のうちの少なくともいずれか１つを満たす場合に限って、上記の拡張現実処理を実行してもよい。
・水平約２００°、垂直約１２５°（例えば、下方向７５°、上方向５０°）の視野角の範囲内であるとき。
・情報受容能力に優れる有効視野である、水平約３０°、垂直約２０°の範囲内であるとき。
・注視点が迅速に安定して見える安定注視野である、水平６０°〜９０°、垂直４５°〜７０°の範囲内であるとき。
・映像に誘発される自己運動感覚（ベクション）の誘発が起こりはじめる水平約２０°から、自己運動感覚が飽和する約１１０°の範囲内であるとき。

本実施形態では、虚像表示域ＶＩＲの中央に、画像表示部２０により、例えば赤色等の水平ラインを表示してもよい。こうして表示された水平ラインは、バーコードやＱＲコードの情報読込にカメラ６１を用いる際の位置合わせに用いることができる。よって、カメラプレビューが不要の場合の表示態様や、図１１に示した表示サイズアップでの表示態様、図１２に示した拡大表示態様において、赤色等の水平ラインを虚像として表示するようにしてもよい。こうすれば、カメラ６１の撮像した撮像画像（この場合は、バーコードやＱＲコード）を含むカメラプレビューＰｒＶを虚像表示しないまま、水平ラインがバーコードやＱＲコードに合致するようカメラ位置を調整したり、カメラプレビューＰｒＶにおいて水平ラインがバーコードやＱＲコードに合致するようカメラ位置を調整して、カメラ６１による確実な情報読込ができ、利便性が高まる。

本実施形態では、カメラ６１を画像表示部２０に装着したが、カメラ６１を画像表示部２０とは別体に備え、この別体のカメラ６１にてユーザーの視野方向を撮像するようにしてもよい。この場合には、この別体のカメラ６１をＵＳＢケーブル等の信号線で制御部１０と接続すればよい。こうした別体のカメラ６１では、ユーザーの視野方向を撮像できると共に、ユーザーの視野方向とは異なる撮像方向で撮像することもできる。ユーザーの視野方向とは異なる撮像方向で撮像されたカメラ画像は、ユーザーが視認する実際の外景と全く相違することが有り得るので、既述した不整合に起因した違和感が顕著となり得る。よって、カメラ６１がユーザーの視野方向とは異なる撮像方向で撮像する場合には、カメラプレビュー表示を要しないと判定して、ステップＳ１０５に移行するようにしてもよい。また、ユーザーの視野方向とは異なる撮像方向の撮像をユーザーが敢えて所望する場合には、何らかのスイッチをタッチパッド１４に表示して、そのスイッチ操作により、カメラ６１がユーザーの視野方向とは異なる撮像方向で撮像する場合であっても、例外的に、カメラプレビュー表示を要すると判定するようにしてもよい。

本実施形態では、ステップＳ１００にて、タッチパッド１４（図１参照）に表示したプレビュー実行スイッチのユーザー操作やユーザーの頭部挙動に応じて、カメラプレビュー表示の要否を判定したが、これに限らない。例えば、タッチパッド１４に、カメラ６１による撮像を静止画撮像とする静止モードスイッチと、動画撮像とする動画モードスイッチを表示し、いずれかのモードスイッチのユーザー操作により、カメラプレビュー表示の要否を判定するようにしてもよい。具体的には、静止モードスイッチのユーザー操作があると、カメラプレビュー表示を要すると判定して、ステップＳ１１０に移行する。静止モードスイッチの操作後のカメラ画像は、静止画であることからユーザーが視認する外景と不整合となるが、ユーザー自らが所望した静止画像であるので、ユーザーは、実際の外景との不整合に起因した違和感を承知している。よって、静止モードスイッチのユーザー操作を経てカメラプレビュー表示を行っても、実際の外景との不整合に起因した違和感を、ユーザーに与え難くなり、違和感は緩和される。静止画像でのカメラプレビューＰｒＶの表示とすれば、虚像ＶＩとしてのデーター処理負荷を軽減できる。この静止画像でのカメラプレビューＰｒＶの表示を白黒の画像とすれば、より一層、データー処理負荷を軽減できる。また、動画モードスイッチのユーザー操作があると、カメラプレビュー表示を要しないと判定して、ステップＳ１０５に移行し、カメラプレビューＰｒＶを行わない。一般に、動画像表示には、その虚像ＶＩへのデーター処理に所定の処理時間を要するが、動画モードではカメラプレビューＰｒＶを表示しないので、処理負荷を軽減できる。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部（コントローラー）
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２０ａ、２０ｂ…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２６ａ、２６ｂ…右光学像表示部
２８…左光学像表示部
２８ａ、２８ｂ…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
６１…カメラ
１００…ヘッドマウントディスプレイ（頭部装着型表示装置）
１１０…入力情報取得部
１２０…記憶部
１３０…電源
１３２…無線通信部
１４０…ＣＰＵ
１４１…プレビュー制御部
１４３…生成部
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２２１…右バックライト
２２２…左バックライト
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…右眼用画像データー
Ｄａｔａ２…左眼用画像データー
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＣＧ…種
ＶＩ…虚像
ＥＬ…端部
ＡＰ…先端部
ＥＲ…端部
ＶＲ…視野
ＶＩＲ…虚像表示域
Ｒｉ１〜Ｒｉ５…実像
Ｖｉ３〜Ｖｉ５…虚像
ＣＲｖ…撮像領域
ＰｒＶ…カメラプレビュー

Claims (8)

1. 外景に重ねて虚像を視認可能とする頭部装着型表示装置であって、
   ユーザーに視認させる前記虚像を形成して表示する画像表示部と、
   該画像表示部での虚像形成処理を実行する虚像形成処理部と、
   ユーザーの視野方向を撮像可能なカメラと、
   該カメラの撮像した撮像画像を前記画像表示部でプレビュー画像として虚像表示する際の画像表示状況を設定するプレビュー設定部とを備え、
   前記プレビュー設定部は、前記プレビュー画像の表示サイズと、前記虚像が表示される虚像表示域における前記プレビュー画像の表示位置と、前記撮像画像を前記プレビュー画像とする際の倍率の少なくとも一つを前記画像表示状況として設定する、頭部装着型表示装置。
2. 前記プレビュー設定部は、ユーザーによる前記画像表示状況の設定を待機する、請求項１に記載の頭部装着型表示装置。
3. 外景に重ねて虚像を視認可能とする頭部装着型表示装置であって、
   ユーザーに視認させる前記虚像を形成して表示する画像表示部と、
   該画像表示部での虚像形成処理を実行する虚像形成処理部と、
   ユーザーの視野方向を撮像可能なカメラと、
   該カメラの撮像した撮像画像を前記画像表示部でプレビュー画像として虚像表示する際の画像表示状況を設定するプレビュー設定部とを備え、
   前記プレビュー設定部は、ユーザーによる前記画像表示状況の設定を待機する、頭部装着型表示装置。
4. 請求項２または請求項３に記載の頭部装着型表示装置であって、
   前記画像表示状況ごとの複数の設定項目を表示し、該表示した設定項目の選定のためにユーザーにて操作される項目設定操作部を有し、
   前記プレビュー設定部は、前記項目設定操作部のユーザー操作により前記画像表示状況を設定する、頭部装着型表示装置。
5. 請求項４に記載の頭部装着型表示装置であって、
   前記プレビュー画像を表示する設定と表示しない設定のいずれかを定める際にユーザーにて操作される表示設定操作部を有し、
   前記プレビュー設定部は、前記表示設定操作部のユーザー操作により前記プレビュー画像を表示する設定とされると、前記項目設定操作部のユーザー操作により前記画像表示状況を設定する、頭部装着型表示装置。
6. 請求項４に記載の頭部装着型表示装置であって、
   ユーザーの頭部の挙動を監視し、ユーザーが所定の頭部挙動を起こすと、前記プレビュー画像を表示する設定とする表示設定部を有し、
   前記プレビュー設定部は、前記表示設定部が前記プレビュー画像を表示する設定とすると、前記項目設定操作部のユーザー操作により前記画像表示状況を設定する、頭部装着型表示装置。
7. 請求項４に記載の頭部装着型表示装置であって、
   前記カメラによる撮像状況を、ユーザーにより静止画撮像モードと動画撮像モードのいずれかに切り替えるモード切替部を有し、
   前記プレビュー設定部は、前記モード切替部が前記静止画撮像モードに切り替えると、前記項目設定操作部のユーザー操作により前記画像表示状況を設定する、頭部装着型表示装置。
8. 前記虚像形成処理部は、前記プレビュー画像を前記画像表示部に所定時間に亘って表示されるよう前記虚像形成処理を実行する、請求項１から請求項７のいずれか一項に記載の頭部装着型表示装置。

Images