JP5023632B2 - ヘッドマウントディスプレイ - Google Patents

Description

本発明は、ヘッドマウントディスプレイに関するものであり、特に、利用者の眼に表示画像を光学的に導いて視認させる画像表示部と、画像表示部の動作を制御する制御部と、利用者が操作することにより制御部に画像表示部の制御を行わせる操作入力部とを備え、利用者の頭部に装着して使用するヘッドマウントディスプレイに関するものである。

従来より、利用者の眼に表示画像を光学的に導いて視認させる画像表示部と、この画像表示部の動作を制御する制御部と、利用者が操作することにより制御部に画像表示部の制御を行わせる操作入力部とを有するディスプレイ本体と、このディスプレイ本体を利用者の頭部に装着するための頭部装着部とを備え、利用者が頭部に装着して映像を鑑賞することができるヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）が実用化されている。

このＨＭＤとして、それぞれに異なる機能が割り振られた複数の操作入力手段を備え、利用者が複数の操作入力手段の中から、所望する機能が割り振られている操作入力手段を選択して操作することにより、ＨＭＤが備える複数種類の機能の中から所望の機能を選択して利用することができるように構成したＨＭＤが考案されている（たとえば、特許文献１参照。）。
特開平１１−１３６５９８号公報

上記従来のＨＭＤでは、ＨＭＤを装着している利用者にとって、操作入力手段の配設位置を見つけることは容易ではなく、手探りで操作入力手段を探す必要があったため、操作性に問題があった。

すなわち、ＨＭＤは利用者が頭部に装着して使用するものであるため、利用者がＨＭＤを頭部に装着しているときに、ＨＭＤに設けられている操作入力手段は利用者の視界に入らない。

そのため、ＨＭＤの利用者は、操作入力手段を操作する場合、手探りで操作入力手段を探して操作するか、若しくは、一旦ＨＭＤを頭部から取外してから操作入力手段を操作しなければならず、操作入力手段の操作性が低かった。

そこで、請求項１に係る本発明では、利用者の眼に表示画像を光学的に導いて視認させる画像表示部と、画像表示部の動作を制御する制御部と、利用者が操作することにより制御部に画像表示部の制御を行わせる操作入力部とを備え、利用者の頭部に装着して使用するヘッドマウントディスプレイにおいて、画像表示部は、利用者の眼に入射させる光束の波面曲率を変調する波面曲率変調素子を有し、制御部は、波面曲率変調素子の動作を制御することにより、操作入力部の配設位置を報知させる報知画像を利用者が鑑賞する表示画像よりも奥行き方向手前側に表示させて、前記利用者に視認させる制御を行うこととした。

また、請求項２に係る本発明では、請求項１に記載のヘッドマウントディスプレイにおいて、制御部は、画像表示部により、報知画像として、操作入力部の配設位置を説明する文字情報画像、又は、操作入力部の配設位置の方向を指し示す指示画像を前記利用者に視認させる制御を行うことを特徴とする。

また、請求項３に係る本発明では、請求項２に記載のヘッドマウントディスプレイにおいて、制御部は、画像表示部により、文字情報画像、又は、指示画像を、操作入力部の配設位置と近接する位置に表示して利用者に視認させる制御を行うことを特徴とする。

また、請求項４に係る本発明では、請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイにおいて、制御部は、操作入力部が操作されたことを検出する操作検出手段を備え、操作検出手段により操作入力部が操作されたことを検出すると、画像表示部により、報知画像に換えて、操作入力部の操作結果を示す結果画像を利用者に視認させる制御を行うことを特徴とする。

また、請求項５に係る本発明では、請求項４に記載のヘッドマウントディスプレイにおいて、結果画像は、報知画像の色、及び／又は、形状を変化させた画像であることを特徴とする。

また、請求項６に係る本発明では、請求項４に記載のヘッドマウントディスプレイにおいて、結果画像は、操作入力部が操作されたことにより変位したときの当該操作入力部の外観を表す画像であることを特徴とする。

また、請求項７に係る本発明では、請求項４〜６のいずれか１項に記載のヘッドマウントディスプレイにおいて、制御部は、画像表示部により結果画像を利用者に視認させる制御を行った後、所定時間経過後に、結果画像を利用者に視認させる制御を停止することを特徴とする。

また、請求項８に係る本発明では、請求項４〜７のいずれか１項に記載のヘッドマウントディスプレイにおいて、操作入力部は、画像表示部により結果画像を利用者に視認させる機能を無効にするための無効スイッチを有することを特徴とする。

また、請求項１０に係る本発明では、請求項１〜９のいずれか１項に記載のヘッドマウントディスプレイにおいて、当該ヘッドマウントディスプレイは、画像信号に応じた光束を２次元方向に走査し、その走査された光を眼に導き網膜上に表示画像を形成する網膜走査型ディスプレイであることを特徴とする。

本発明によれば、以下に記載するような効果が生起される。すなわち、請求項１に係る本発明によれば、ヘッドマウントディスプレイを頭部に装着したままの状態で、利用者に操作入力部の配設位置を容易に把握させ、操作入力部を容易且つ確実に操作可能とすることにより操作性を向上させたヘッドマウントディスプレイを提供することができる。また、利用者がヘッドマウントディスプレイで画像を鑑賞している場合に、鑑賞している画像と報知画像とを混同することがなく、確実に報知画像を視認することができる。

また、請求項２に係る本発明によれば、利用者は、操作入力手段の配設位置を説明する文字情報画像、又は、操作入力部の配設位置の方向を示す指示画像を視認することにより、操作入力部の正確な配設位置を把握することができるので、ヘッドマウントディスプレイを頭部に装着したままの状態であっても、容易に操作入力部を操作することができる。

また、請求項３に係る本発明によれば、文字情報画像又は指示画像という操作入力部の配設位置を報知する報知画像を、利用者の視界において最も操作入力部の配設位置に近いところに表示させることができるので、利用者は、操作入力部の配設位置をさらに正確に把握することができ、操作入力部の操作性をより一層向上させることができる。

また、請求項４に係る本発明によれば、操作入力部の操作結果を示す結果画像を利用者に視認させることにより、利用者が所望する操作入力部を正確に操作したこと利用者に確認させることができる。

また、請求項５に係る本発明によれば、報知画像の色、及び／又は、形状を変化させた結果画像を利用者に視認させることにより、利用者が所望する操作入力部を正確に操作したことより確実に利用者に確認させることができる。

また、請求項６に係る本発明によれば、利用者がヘッドマウントディスプレイを装着した状態では見ることができない操作入力部の操作状態を報知画像により利用者に視認させることができるので、利用者に操作入力部の操作状態をよりわかりやすく報知することができる。

また、請求項７に係る本発明によれば、利用者に結果画像を所定時間視認させた後に、結果画像の表示を終了させるため、結果画像が、利用者による画像鑑賞の妨げになることを防止することができる。

また、請求項８に係る本発明によれば、無効スイッチを操作することにより、利用者の好みに合わせて報知画像の表示と非表示とを切替えることができる。

また、請求項９に係る本発明によれば、ヘッドマウントディスプレイの装着中に利用者の眼前に位置する導光部の上方、及び／又は、側方という利用者の視界の周縁部に操作入力部を設けることによって、報知画像による報知内容を簡略化しても、利用者に確実且つ容易に操作入力部の配設位置を報知することができ、操作入力部の操作性をさらに向上させることができる。

また、請求項１０に係る本発明によれば、ヘッドマウントディスプレイを頭部に装着した状態であっても、容易に操作入力部の配設位置を把握することができ、煩雑な作業を行うことなく容易に操作入力部を操作することができる操作性の高い網膜走査型ディスプレイを提供することができる。

以下、本発明の一実施形態について、図面を参照して具体的に説明する。なお、本実施形態では、ヘッドマウントディスプレイとして、網膜走査型ディスプレイを例に挙げて説明するが、本発明は、これに限定されるものではなく、液晶ディスプレイや有機ＥＬ（electroluminescence）ディスプレイ等、他の画像表示装置を備え、利用者が頭部に装着して画像を鑑賞する他のヘッドマウントディスプレイに対して適用することができるものである。

図１は、本実施形態に係るヘッドマウントディスプレイの使用形態を示す説明図であり、図２は、報知画像の一例を示す説明図であり、図３は、本実施形態に係るヘッドマウントディスプレイを示す外観斜視図であり、図４〜図６は、報知画像と結果画像の一例を示す説明図であり、図７は、ヘッドマウントディスプレイの制御部を示す機能ブロック図であり、図８は、ヘッドマウントディスプレイの画像表示部を示す説明図であり、図９は、制御部が行う処理を示すフローチャートであり、図１０は、３次元表示用画像表示部を示す説明図であり、図１１は、他の実施形態に係るヘッドマウントディスプレイを示す外観斜視図であり、図１２は、他の実施形態における報知画像と結果画像の一例を示す説明図である。

（ヘッドマウントディスプレイの概要の説明）
図１に示すように、本実施形態に係るヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）１は、利用者Ａが頭部に装着した状態で画像を視認する装置であり、その内部に、利用者Ａの眼に表示画像を光学的に導いて視認させる画像表示部と、この画像表示部の動作を制御する制御部とを有する網膜走査型画像表示装置を備えている。

この網膜走査型画像表示装置は、画像信号を変調したビーム光を、利用者Ａの少なくとも一方の網膜に投影すると共に走査して画像を表示（投影表示）することにより、表示画像を利用者Ａに視認させる装置である。

そして、このＨＭＤ１は、利用者Ａがビデオゲームを行う際に、ゲームの画像を表示するディスプレイとして、また、利用者Ａが映画等の映像コンテンツを鑑賞する際のディスプレイとして用いるものである。

また、このＨＭＤ１は、携帯電話機２等の電話機能を有する外部装置と接続可能なインターフェース部と、利用者Ａが操作することにより、制御部に画像表示部の動作制御を含むＨＭＤ１が備える各種機能を作動させる制御を行わせる複数の操作入力部とを備えている。

これらの各操作入力部には、それぞれ異なる機能を割り当てることができ、例えば、インターフェース部を介して携帯電話機２から電話着信を示す信号が入力された場合に、携帯電話機２を着信状態から通話状態に切替える機能や、ゲーム画像において複数の選択肢が表示された場合に、複数の選択肢の中から一つを選択する機能等、様々な機能を割り当てることができるようにしている。

特に、このＨＭＤ１は、利用者Ａが頭部に装着して利用している状態において、表示画像中に操作入力部の配設位置を報知させる報知画像を表示して使用者に視認させることにより、利用者Ａに各操作入力部の配設位置を知らせる機能を備えている。

すなわち、このＨＭＤ１の制御部は、操作入力部の配設位置を報知する報知画像として、操作入力部の配設位置を示す文字情報画像、又は、操作入力部の配設位置の方向を指し示す指示画像を、画像表示部によって表示させて利用者Ａに視認させる制御を行うようにしている。

このとき、制御部は、画像表示部によって、これら文字情報画像又は指示画像を、表示画像における操作入力部の配設位置と近接する位置に表示させて利用者Ａに視認させる制御を行うようにしている。

具体的には、図２（ａ）に示すように、たとえば、利用者ＡがこのＨＭＤ１を用いてビデオゲームを行っているときに、表示画像Ｖ中に「ＹＥＳ」又は「ＮＯ」のいずれかを操作入力部操作することにより選択させる文字情報が表示されたとする。

ここで、「ＹＥＳ」を選択するための操作入力部（以下、「ＹＥＳボタン」という。）が画面左上に配設されており、「ＮＯ」を選択するための操作入力部（以下、「ＮＯボタン」という。）が画面右上に配設されている場合に、制御部は、図２（ｂ）に示すように、ＹＥＳボタンの配設位置に近接した画面左上に「ＹＥＳなら画面左上のボタンを押してください。」という文字情報画像Ｖ１からなる報知画像を画像表示部に表示させると共に、ＮＯボタンの配設位置に近接した画面右上に「ＮＯなら画面右上のボタンをおしてください。」という文字情報画像Ｖ１からなる報知画像を画像表示部に表示させて利用者Ａに視認させる制御を行う。

また、制御部は、指示画像によって操作入力部の配設位置を報知する場合には、図２（ｃ）に示すように、ＹＥＳボタンが配設された画面左上方向を指し示す指示画像Ｖ２からなる報知画像を画像表示部により表示させると共に、ＮＯボタンが配設された画面右上方向を指し示す指示画像Ｖ２からなる報知画像を画像表示部に表示させて利用者Ａに視認させる制御を行う。

このように、このＨＭＤ１は、表示画像中に各操作入力部の配設位置を示す報知画像を表示するため、ＨＭＤ１を頭部に装着したままの状態で、利用者に操作入力部の配設位置を容易に把握させて、操作入力部を容易且つ確実に操作させることができるように構成している。

また、このＨＭＤ１は、図３に示すように、内部に網膜走査型画像表示装置を収納した筐体３と、この筐体３を支持する支持フレーム４と、支持フレーム４と一体に形成されてＨＭＤ１を利用者Ａの頭部に装着するための頭部装着部５とを備えている。

筐体３は、内部に網膜走査型画像表示装置を収納可能な収納空間を有し、頭部装着時に利用者Ａの左眼部分と左側こめかみ部分とを被覆するように配設された平面視略Ｌ字形状の箱体により構成しており、その内部に、網膜走査型画像表示装置を収納している。

支持フレーム４は、眼鏡のフロント部と同様の形状をしたゴーグル型の支持体であり、本実施形態では、ＨＭＤ１を頭部に装着した際に、利用者Ａの左眼と対向する部分に筐体３を取り付けるようにしている。

また、この支持フレーム４は、ＨＭＤ１を頭部に装着した際に、利用者Ａの右眼と対向する部分を透光性部材により構成することによって、利用者ＡがＨＭＤ１により画像を鑑賞している間であっても、周囲の状況を視認できるようにしている。

そして、この支持フレーム４は、利用者Ａの左眼と対向する部分と、利用者Ａの右眼と対向する部分との間に正面視略台形の切欠部４ａを備えており、利用者ＡがＨＭＤ１を頭部に装着する際には、利用者Ａの鼻にこの切欠部４ａを掛止するようにしている。

頭部装着部５は、その基端側がゴーグル型の支持体の上部両端にそれぞれ回動自在に取付けられた、眼鏡のツル（テンプル）と同様形状の部材により構成しており、その終端側が、ＨＭＤ１を頭部に装着する際に、利用者の耳に掛止できるように湾曲した形状となっている。

そして、利用者Ａは、このＨＭＤ１を利用する際、支持フレーム４の切欠部４ａを鼻に掛止すると共に、頭部装着部５終端側の湾曲した部分を両耳に掛止することによって両耳と鼻の３点でＨＭＤ１を支持させ、筐体３を右眼の前方に位置させるようにして頭部に装着した後、操作スイッチ６を操作することによって映像コンテンツ等を鑑賞する。

また、この筐体３は、ＨＭＤ１を頭部に装着した状態において、当該筐体３の最前面部を構成する正面視略矩形状の前面３ａと、当該筐体３の最上部を構成する平面視略Ｌ字形状の頂面３ｂとの間を、頂面３ｂから前面３ａに向けて傾斜させた傾斜面３ｃにより接合させている。

そして、このＨＭＤ１は、利用者Ａが頭部に装着した際に、利用者Ａの左眼前に位置する部分となる筐体３の前面３ａの内側に、表示画像を光学的に利用者Ａの眼に導く画像表示部の導光部を配設している。

本実施形態のＨＭＤ１では、この導光部の配設されている位置が利用者Ａにとって画像が表示される視界領域となる。

また、導光部の上方に位置する筐体３の傾斜面３ｃには、利用者Ａが操作する複数の操作入力部として機能する操作スイッチ６を設け、利用者Ａがこれらの操作スイッチ６を操作することによって、制御部に画像表示部の動作制御をはじめとするＨＭＤ１全体の動作制御を行わせるようにしている。

なお、ここでは、複数の操作スイッチ６を導光部の上方に位置する筐体３の傾斜面３ｃに設けるようにしているが、これに限らず、たとえば、筐体３の前面３ａと利用者ＡがＨＭＤ１を頭部に装着した際に利用者Ａの左側に位置する筐体３の外側面３ｄとを接合している左側傾斜面３ｅに設けても良く、好ましくは、筐体３の前面３ａの周辺であって、導光部の上方、及び／又は、側方を構成している筐体３の外側面に設けることが望ましい。

このように、操作スイッチ６を、導光部の上方、及び／又は、側方を構成している筐体３の外側面に設けることによって、利用者Ａの視界領域において操作スイッチ６の配設位置に最も近接した位置に報知画像を表示させることができる。

また、これら複数の操作スイッチ６は、それぞれ半押し操作、及び、全押し操作が可能な押圧型スイッチにより構成しており、制御部は、これらの操作スイッチ６が半押し操作されたことを検出する半押し検出手段及び操作スイッチ６が全押し操作されたことを検出する全押し検出手段として機能する操作検出手段を備えている。

そして、制御部は、半押し検出手段により操作スイッチ６が半押し操作されたことを検出すると、半押し操作された操作スイッチ６の配設位置を強調表示させる報知画像を画像表示部により表示して利用者Ａに視認させる制御を行う。

その後、制御部は、全押し検出手段により操作スイッチ６が全押し操作されたことを検出すると、画像表示部により、報知画像に換えて、その操作スイッチ６が全押し操作されたことを示す結果画像を表示させて利用者Ａに視認させると共に、全押し操作された操作スイッチ６に割り当てられている機能を作動させる制御を行う。

このとき制御部は、結果画像として、操作スイッチ６の配設位置を報知する報知画像の色、及び／又は、形状を変化させた画像を画像表示に表示させる制御を行う。

具体的には、表示画像Ｖ中に、図２（ｃ）に示した指示画像Ｖ２が表示されている状態において、利用者がＹＥＳボタンを半押し操作すると、制御部は、図４（ａ）に示すように、半押し操作されているＹＥＳボタンの配設位置を報知する報知画像として、指示画像Ｖ２だけを強調表示する強調報知画像Ｖ３を、画像表示部により表示させて、利用者Ａに半押し操作した操作スイッチ６が確かにＹＥＳボタンであることを報知する。

続いて、利用者Ａが半押し操作した操作スイッチ６をさらに押圧して全押し操作を行うと、制御部は、図４（ｂ）に示すように、ＹＥＳボタンの配設位置を報知している強調報知画像Ｖ３に換えて、ＹＥＳボタンが確かに全押し操作されたという結果を示す結果画像Ｖ４を画像表示部により表示させて、利用者Ａに視認させる。

このとき表示する結果画像Ｖ４は、図４に示すように、強調報知画像Ｖ３の色及び形状を変化させた画像により構成している。

その後、制御部は、この結果画像Ｖ４を画像表示部に表示させて利用者Ａに視認させる制御を行ってから所定時間が経過すると、結果画像Ｖ４を画像表示部に表示させる制御を停止して、結果画像Ｖ４を表示画像Ｖから消去させるようにしている。

このように、操作スイッチ６を半押し操作及び全押し操作可能に構成すると共に、利用者Ａが半押し操作を行ったときに、強調報知画像Ｖ３を表示させ、全押し操作を行ったときに結果画像Ｖ４を表示させるように構成したため、利用者Ａは、操作スイッチ６を全押し操作する前に半押し操作することにより、選択している操作スイッチ６が所望の操作スイッチ６であるか否かを確認することができるので、誤って別の操作スイッチ６を誤操作することを防止することができ、これにより、操作入力部の操作性を一層向上させることができる。

しかも、結果画像Ｖ４を所定時間表示させた後、表示画像Ｖから消去するように構成したため、結果画像Ｖ４が、利用者Ａによる画像鑑賞の妨げになることを防止することができる。

また、これら複数の操作スイッチ６のうちの一つには、画像表示部により操作スイッチ６の配設位置を報知する報知画像を表示させる機能、及び／又は、操作スイッチ６の操作結果画像を表示する機能を無効にするための無効スイッチとしての機能を割り当てるようにしている。

このように、複数の操作スイッチ６の中に無効スイッチとして機能する操作スイッチ６を設けることにより、利用者Ａの好みに合わせて報知画像と結果画像の表示・非表示を切替えることができる。

そのため、ＨＭＤ１の操作に熟練した利用者Ａは、この無効スイッチを操作して報知画像や結果画像の表示機能を無効にすることにより、操作スイッチ６の報知画像や、操作スイッチ６の結果画像を表示画像中から消去することができるので、視界全体に所望の画像を表示させて表示画像を鑑賞することができる。

一方、ＨＭＤ１の操作に慣れていない利用者Ａは、この無効スイッチを操作せずに、報知画像や結果画像の表示機能を有効にしておくことにより、操作スイッチ６の配設位置や、確実に操作スイッチ６を操作したか否かを容易に認識することができる。

また、これら複数の操作スイッチ６のうちの一つには、ＨＭＤ１に携帯電話機２から電話着信を示す信号が入力された場合に、携帯電話機２を着信状態から通話状態に切替えるための通話スイッチとしての機能を割り当てるようにしている。

すなわち、この制御部は、ＨＭＤ１に携帯電話機２から電話着信を示す信号が入力されたことを検出する電話着信検出手段と、この電話着信検出手段により電話着信を示す信号の入力を検出した場合に、携帯電話機２を着信状態から通話状態に切り替える通話切替手段として機能するのである。

そして、制御部は、携帯電話機２からインターフェース部を介して電話着信を示す信号が入力されたことを検出すると、画像表示部に通話スイッチの配設位置を報知する報知画像を表示させて利用者Ａに視認させる制御を行うようにしている。

その後、制御部は、通話スイッチが操作されて携帯電話機２が着信状態から通話状態になったことを検出すると、画像表示部に通話スイッチに対応する報知画像を表示させて利用者に視認させる制御を停止するようにしている。

具体的には、通話スイッチとしての機能が、表示画像Ｖにおける画面左上に配設された操作スイッチ６に割り当てられている場合に、ＨＭＤ１に携帯電話機２から電話着信を示す信号が入力されると、制御部は、図５（ａ）に示すように、表示画像Ｖ中における画面左上に、携帯電話機２が着信状態であることと、通話スイッチの配設位置とを示す報知画像としての着信報知画像Ｖ５を、画像表示部により表示させて利用者Ａに視認させる制御を行う。

このように、画像表示部に着信報知画像Ｖ５を表示させることによって、利用者Ａは、ＨＭＤ１により画像を鑑賞している最中に、携帯電話機２に電話着信があった場合であっても、通話スイッチに対応する着信報知画像Ｖ５を視認することにより、電話着信があったことと、通話スイッチの配設位置とを容易に知ることができる。

また、通話スイッチを操作して電話を通話状態にした後には、図５（ｂ）に示すように、通話スイッチに対応する着信報知画像Ｖ５に変えて、通話スイッチが操作されたことを示す結果画像としての通話報知画像Ｖ６を、所定時間に限り表示させた後、その表示を終了させるため、着信報知画像Ｖ５や通話報知画像Ｖ６が、利用者Ａによる画像鑑賞の妨げになることがなく、携帯電話機２により通話をしながら好適に画像鑑賞を続けることができる。

また、利用者ＡがＨＭＤ１を頭部に装着した際に利用者Ａの左側に位置する筐体３の外側面３ｄには、回動操作と押圧操作とが可能な他の操作入力部として機能するジョグダイヤル６ａを備えており、制御部は、他の操作入力部が操作されたことを検出する操作検出手段として、このジョグダイヤルの回動位置を検出する回動位置検出手段と、ジョグダイヤルの押圧操作を検出する押圧操作検出手段とを備えている。

そして、制御部は、ジョグダイヤル６ａを操作する必要がある場合に、ジョグダイヤルの配設位置を報知する報知画像を、画像表示部により表示させて利用者Ａに視認させる制御を行う。

具体的には、ジョグダイヤル６ａを回動操作することにより、画像表示部に行わせる複数種類の機能の中から一つの機能を選択し、回動操作により選択した機能をジョグダイヤル６ａの押圧操作により決定する場合、制御部は、図６（ａ）に示すように、ジョグダイヤル６ａの配設位置を示すジョグダイヤル位置報知画像Ｖ７を、画像表示装置により表示画像Ｖ中の画面左側に表示させて、利用者Ａに視認させる制御を行う。

ここでは、画像表示部に行わせる複数種類の機能として、１〜５の５つの機能があるものとし、ジョグダイヤル６ａを操作して２の機能を選択する場合について説明する。

ここで、ジョグダイヤル６ａが回動操作されると、制御部は、回動位置検出手段による検出結果に基づいて画像表示部に行わせる２の機能を選択すると共に、図６（ｂ）に示すように、ジョグダイヤル６ａの回動操作結果を示す結果画像として、選択された機能を示す２の画像だけを強調表示する選択結果画像Ｖ８を画像表示部に表示させて、利用者Ａに視認させる制御を行う。

次に、ジョグダイヤル６ａが押圧操作されると、制御部は、図６（ｃ）に示すように、押圧操作検出手段の検出結果に基づいて、ジョグダイヤル６ａの押圧操作結果を示す結果画像として、押圧操作により決定された２の画像だけを強調表示させる決定結果画像Ｖ９を画像表示部に表示させて利用者Ａに視認させる制御を行うと共に、決定した２の機能を画像表示部に実行させる制御を行う。

このように、ＨＭＤ１にジョグダイヤル６ａを設けたことにより、複数の操作スイッチ６を操作することなく、ジョグダイヤル６ａを回動操作及び押圧操作するだけで、ＨＭＤ１に複数種類の機能を実行させることができるので、操作入力部の操作性をさらに向上させることができる。しかも、ＨＭＤ１を装着した状態でジョグダイヤル６ａを目視せずに操作する場合に、ジョグダイヤル６ａの操作状態を表示画像中に表示される結果画像によって確認することができるので、ジョグダイヤル６ａの誤操作を防止することができ、ＨＭＤ１の操作性をさらに向上させることができる。

なお、ここでは、ジョグダイヤル６ａの回動操作結果を示す結果画像として、選択された機能を示す２の画像だけを強調表示する選択結果画像Ｖ８を表示させ、ジョグダイヤル６ａの押圧操作結果を示す結果画像として、押圧操作により決定された２の画像だけを強調表示させる決定結果画像Ｖ９を表示させるようにしているが、ジョグダイヤル６ａの回動操作結果を示す結果画像及びジョグダイヤル６ａの押圧操作結果を示す結果画像は、これに限定するものではなく、たとえば、ジョグダイヤル６ａの回動操作結果を示す結果画像として、ジョグダイヤル６ａが回動操作されたことにより変位した当該ジョグダイヤル６ａの外観を示す画像を表示させ、ジョグダイヤル６ａの押圧操作結果を示す結果画像として、ジョグダイヤル６ａが押圧操作されたことにより変位した当該ジョグダイヤル６ａの外観を示す画像を表示させてもよい。

（ヘッドマウントディスプレイの制御部の説明）
次に、上記した報知画像、及び、結果画像の表示を画像表示部に行わせるＨＭＤ１の制御部について、図７を参照して具体的に説明する。

図７に示すように、制御部Ｂは、ＣＰＵ（Central Processing Unit）７と、ＲＯＭ（Read Only Memory）８と、ＲＡＭ（Random Access Memory）９と、ビデオＲＡＭ１０と、オーディオＣＯＤＥＣ１１と、ビデオＣＯＤＥＣ１２と、インターフェース１３と、信号判別回路１４と、スピーカ制御回路１５と、マイク制御回路１６と、操作検出回路１９とを備えている。

そして、ＣＰＵ７、ＲＯＭ８、ＲＡＭ９、ビデオＲＡＭ１０、信号判別回路１４、オーディオＣＯＤＥＣ１１、ビデオＣＯＤＥＣ１２、インターフェース１３は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。

ＣＰＵ７は、ＲＯＭ８に記憶されている各種プログラムを実行することにより、オーディオＣＯＤＥＣ１１、ビデオＣＯＤＥＣ１２、信号判別回路１４、操作検出回路１９等の制御部Ｂを構成する各種回路を動作させると共に、操作検出回路１９に接続されている複数の操作スイッチ６のそれぞれに所定の機能を割り当てるための演算処理を行う演算処理装置である。

ＲＯＭ８は、オーディオＣＯＤＥＣ１１を動作させるための音情報再生プログラム、ビデオＣＯＤＥＣ１２を動作させるための映像情報再生プログラム、信号判別回路を動作させるための信号判別プログラム、操作検出回路１９を動作させるための操作検出プログラム等、制御部Ｂを構成する各種回路を動作させるためにＣＰＵ７が実行する各種プログラムや、複数の各操作スイッチ６に所定の機能を割り当てるための機能割り当てプログラムの他、ＨＭＤ１によって再生する音情報等を記憶する記憶手段である。

ＲＡＭ９は、ＣＰＵ７がＲＯＭ８に記憶している各種プログラムを実行する際に作業領域として使用する一時記憶手段である。

インターフェース１３は、ＨＭＤ１に接続された携帯電話機２から入力される所定の信号を信号判別回路１４へ出力するインターフェース部として機能するものである。

操作検出回路１９は、複数の操作スイッチ６とジョグダイヤル６ａとに接続されており、ＣＰＵ７がＲＯＭ８に記憶している操作検出プログラムを実行することにより動作して、複数の操作スイッチ６及びジョグダイヤル６ａが操作されたことを検出する操作検出手段として機能し、その検出結果を示す信号を信号判別回路１４へ出力する回路である。

さらに、この操作検出回路１９は、押圧型の操作スイッチ６が半押し操作されたことを検出半押し検出手段として機能して、押圧型の操作スイッチ６が半押し操作されたことを示す信号を信号判別回路１４へ出力すると共に、押圧型の操作スイッチ６が全押し操作されたことを検出する全押し検出手段としても機能して、押圧型の操作スイッチ６が全押し操作されたことを示す信号を信号判別回路１４へ出力する。

また、この操作検出回路１９は、ジョグダイヤル６ａが回動操作されたときの回動位置を検出する回動位置検出手段として機能して、ジョグダイヤル６ａの回動位置を示す信号を信号判別回路へ出力すると共に、ジョグダイヤル６ａが押圧操作されたことを検出する押圧操作検出手段としても機能して、ジョグダイヤル６ａが押圧操作されたことを示す信号を信号判別回路１４へ出力する。

信号判別回路１４は、ＣＰＵ７がＲＯＭ８に記憶している信号判別プログラムを実行することにより動作して、操作検出回路１９から入力される各種信号から、その信号を出力した操作スイッチ６又はジョグダイヤル６ａを特定すると共に、特定した操作スイッチ６又はジョグダイヤル６ａに割り当てられている機能を判別する。

そして、この信号判別回路１４は、操作検出回路１９から入力された信号が、操作スイッチ６から出力されたものであると判別した場合に、その信号が、操作スイッチ６を半押し操作したことを示す信号なのか、全押し操作した信号なのかを判別する。

また、この信号判別回路１４は、操作検出回路１９から入力された信号がジョグダイヤル６ａから出力された信号であると判別した場合に、その信号が、ジョグダイヤル６ａの回動位置を示す信号なのか、ジョグダイヤル６ａを押圧操作したことを示す信号なのかを判別する。

そして、信号判別回路１４は、これら複数の判別結果を示す情報をＲＡＭ９の所定領域に一時的に記憶させる。ここでＲＡＭ９に一時記憶させる情報は、ＣＰＵ７が操作スイッチ６又はジョグダイヤル６ａの操作に対応した動作を画像表示部Ｃに行わせる処理を実行する際に用いられる情報である。

また、この信号判別回路１４は、インターフェース１３を介して携帯電話機２から入力された信号が電話着信を示す信号であるか否かを判別し、電話着信を示す信号であると判別した場合に、その判別結果を示す情報をＲＡＭ９の所定領域に記憶させる。ここでＲＡＭ９に記憶させた情報は、ＣＰＵ７が画像表示部Ｃに着信報知画像Ｖ５を表示させる制御行う際に用いられる情報である。

ビデオＲＡＭ１０は、ＨＭＤ１によって再生する映像コンテンツやゲーム画像等の映像情報を記憶するために個別に設けた映像情報記憶手段である。

また、このビデオＲＡＭ１０には、複数の操作スイッチ６の各配設位置を報知するための報知画像の情報や、操作スイッチ６が操作されたことを示す結果画像を示す情報等を記憶する画像情報記憶手段として機能するものであり、具体的には、図２に示す文字情報画像Ｖ１や指示画像Ｖ２の情報、図４に示す強調報知画像Ｖ３や結果画像Ｖ４の情報、図５に示す着信報知画像Ｖ５や通話報知画像Ｖ６の情報、図６に示すジョグダイヤル位置報知画像Ｖ７や選択結果画像Ｖ８や決定結果画像Ｖ９の情報等、複数種類の報知画像と結果画像とを記憶している。

オーディオＣＯＤＥＣ１１は、ＣＰＵ７がＲＯＭ８に記憶している音情報再生プログラムを実行することにより動作して、ＲＯＭ８に記憶されている所定のファイル形式にエンコードされた音情報をデコードしてスピーカ制御回路１５へ出力する他、マイク制御回路１６から入力される音情報を所定のファイル形式にエンコードしてＲＡＭ９へ出力する音情報変換回路である。

スピーカ制御回路１５は、オーディオＣＯＤＥＣ１１から入力されるディジタルの音情報をアナログの音信号に変換するＤ／Ａコンバータと、Ｄ／Ａコンバータにより変換したアナログの音信号を増幅するアンプとを有し、アンプにより増幅した音信号をスピーカ１７へ出力することにより、スピーカ１７から音声を出力させる回路である。

マイク制御回路１６は、マイク１８により集音した利用者Ａの声や、ＨＭＤ１周辺の音声を増幅するアンプと、アンプにより増幅したアナログの音信号をディジタルに変換するＡ／Ｄコンバータとを有し、Ａ／Ｄコンバータにより変換した音情報をオーディオＣＯＤＥＣ１１へ出力する回路である。

ビデオＣＯＤＥＣ１２は、ＣＰＵ７がＲＯＭ８に記憶している映像情報再生プログラムを実行することにより動作して、ビデオＲＡＭ１０に記憶されている所定のファイル形式にエンコードされた映像情報（映像コンテンツを示す情報、報知画像の情報、結果画像の情報等）をデコードして映像信号Ｓｉｇを生成し、図８に示す画像表示部Ｃの信号処理回路２１へ出力する映像情報変換回路である。

また、このビデオＣＯＤＥＣ１２は、インターフェース１３を介して外部装置から入力される映像信号を所定のファイル形式にエンコードしてビデオＲＡＭ１０へ出力する映像情報変換回路でもある。

このように、ＨＭＤ１の制御部Ｂは、ビデオＲＡＭ９に記憶している報知画像の情報を読み出し、ビデオＣＯＤＥＣ１２によりデコードして映像信号Ｓｉｇを生成し、この映像信号Ｓｉｇを画像表示部Ｃへ出力することにより、画像表示部Ｃに報知画像を表示させて利用者Ａに視認させるようにしている。

また、この制御部Ｂは、操作検出回路１９によって、操作スイッチ６又はジョグダイヤルが操作されたことを検出すると、信号判別回路１４によって、操作された操作入力部を特定すると共に、その操作内容を判別する。

そして、制御部Ｂは、特定した操作入力部と、判別した操作内容とに対応した報知画像や結果画像等をビデオＲＡＭ９から読み出し、ビデオＣＯＤＥＣ１２によりデコードして映像信号Ｓｉｇを生成し、この映像信号Ｓｉｇを画像表示部Ｃへ出力することにより、画像表示部Ｃに報知画像又は結果画像を表示させて利用者Ａに視認させるようにしている。

（ヘッドマウントディスプレイの画像表示部の説明）
次に、ＨＭＤ１から入力される映像信号Ｓｉｇを信号処理して利用者Ａの眼に向けて出射して走査することにより、利用者Ａに画像を視認させる画像表示部Ｃについて、図８を参照して具体的に説明する。

図８に示すように、画像表示部Ｃは、図７に示す制御部Ｂから供給される映像信号Ｓｉｇをドットクロック毎に読み出し、読み出した映像信号Ｓｉｇに応じて強度変調された光束を生成して出射する光束生成部２０を備え、さらに、その光束生成部２０と利用者Ａの眼Ｅとの間には、光束生成部２０で生成され、光ファイバ１００を介して出射されるレーザビーム（以下、「光束」と呼ぶ。）を平行光化するコリメート光学系６１と、このコリメート光学系６１で平行光化された光束を画像表示のために水平方向（１次方向）に走査する水平走査部７０と、水平走査部７０で水平方向に走査された光束を垂直方向（２次方向）に走査する垂直走査部８０と、水平走査部７０と垂直走査部８０との間に設けられたリレー光学系７５と、このように水平方向と垂直方向に走査された光束（以下、「走査光束」とする。）を瞳孔Ｅａへ出射するためのリレー光学系９０を備えている。

また、光束生成部２０には、制御部Ｂから供給される映像信号Ｓｉｇが入力され、それに基づいて画像を合成するための要素となる各信号等を発生する信号処理回路２１が設けられ、この信号処理回路２１において、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各画像信号２２ａ〜２２ｃが生成され、出力される。また、信号処理回路２１は、水平走査部７０で使用される水平同期信号２３と、垂直走査部８０で使用される垂直同期信号２４とをそれぞれ出力する。

さらに、光束生成部２０は、信号処理回路２１からドットクロック毎に出力される３つの画像信号（Ｂ，Ｒ，Ｇ）２２ａ〜２２ｃをそれぞれ光束にする光源部３０と、これらの３つの光束を１つの光束に結合して任意の光束を生成するための光合成部４０を備えている。

光源部３０は、青色の光束を発生させるＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の光束を発生させるＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の光束を発生させるＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。なお、各レーザ３４、３５、３６は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、光束の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて光束の強度変調を行う必要がある。

光合成部４０は、光源部３０から入射する光束を平行光にコリメートするように設けられたコリメート光学系４１、４２、４３と、このコリメートされた光束を合成するためのダイクロイックミラー４４、４５、４６と、合成された光束を光ファイバ１００に導く結合光学系47とを備えている。

各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各光束が波長に関して選択的に反射・透過される。

具体的には、Ｂレーザ３４から出射した青色光束は、コリメート光学系４１によって平行光化された後に、ダイクロイックミラー44に入射される。Ｇレーザ３５から出射した緑色光束は、コリメート光学系４２を経てダイクロイックミラー４５に入射される。Ｒレーザ３６から出射した赤色光束は、コリメート光学系４３を経てダイクロイックミラー４６に入射される。

それら３つのダイクロイックミラー４４、４５、４６にそれぞれ入射した３原色の光束は、波長選択的に反射または透過して結合光学系４７に達し、集光され光ファイバ１００へ出力される。

水平走査部７０及び垂直走査部８０は、光ファイバ１００から入射された光束を画像として投影可能な状態にするために、水平方向と垂直方向に走査して走査光束とするものである。

水平走査部７０は、光束を水平方向に走査するため偏向面を有する共振型偏向素子７１と、この共振型偏向素子７１を共振させ、共振型偏向素子７１の偏向面を揺動させる駆動信号を発生する駆動信号発生器としての水平走査駆動回路７２と、共振型偏向素子７１から出力される変位信号に基づいて、共振型偏向素子７１の偏向面の揺動範囲及び揺動周波数等の揺動状態を検出する位相検出回路７３と、共振型偏向素子７１の温度を検出する温度センサ７４とを有している。なお、この温度センサ７４は、共振型偏向素子７１の温度を検出するものであるが、共振型偏向素子７１の周囲の温度を検出することで、共振型偏向素子７１の温度を検出するようにしてもよい。

垂直走査部８０は、光束を垂直方向に走査するための偏向素子８１と、この偏向素子８１を駆動させる垂直走査制御回路８２とを備えている。なお、本実施形態では、垂直走査部８０の偏向素子８１が、光束を走査することによって利用者Ａに表示画像を視認させる光スキャナに相当する。

また、水平走査駆動回路７２と垂直走査制御回路８２は、信号処理回路２１から出力される水平同期信号２３と垂直同期信号２４に基づいてそれぞれ駆動する。

また、水平走査部７０と垂直走査部８０との間での光束を中継するリレー光学系７５を備えており、共振型偏向素子７１によって水平方向に走査された光は、リレー光学系７５を通って、偏向素子８１によって垂直方向に走査されて、走査光束として、リレー光学系９０へ出射される。

リレー光学系９０は、正の屈折力を持つレンズ系９１、９４を有している。垂直走査部８０から出射された表示用走査光束は、レンズ系９１によって、それぞれの光束がその光束の中心線を相互に平行にされ、かつそれぞれ収束光束に変換される。そして、レンズ系９４によってほぼ平行な光束となると共に、これらの光束の中心線が利用者Ａの瞳孔Ｅａに収束するように変換される。

また、本実施形態では、水平走査部７０、リレー光学系７５、垂直走査部８０、リレー光学系９０が、表示画像を利用者Ａの眼Ｅに導く光学素子に相当する。

なお、本実施形態においては、光ファイバ１００から入射された光束を、水平走査部７０で水平方向に走査した後、垂直走査部８０によって垂直方向に走査することとしたが、水平走査部７０と垂直走査部８０との配置を入れ替え、垂直走査部８０によって垂直方向に走査した後、水平走査部７０で水平方向に走査するようにしてもよい。

（ヘッドマウントディスプレイの制御部が行う処理の説明）
次に、ＨＭＤ１の制御部Ｂが、画像表示部Ｃに報知画像と結果画像とを表示させる際に行う処理について、図９を参照して具体的に説明する。

ここでは、ＨＭＤ１に携帯電話機２から電話着信を示す信号が入力された場合に、制御部Ｂが行う処理について説明する。

図９に示すように、制御部Ｂは、携帯電話機２に電話着信があるか否かの判断を行う（ステップＳ１）。

ここで、制御部Ｂは、外部装置である携帯電話機２からインターフェース１３を介して信号が入力されると、信号判別回路１４により、その信号が電話着信を示す信号であるか否かの判別を行うことによって、携帯電話機２に電話着信があるか否かの判断を行う。

そして、制御部Ｂは、信号判別回路１４により電話着信を示す信号であると判別した場合に処理をステップＳ２へ移し、電話着信を示す信号でないと判別した場合には、ステップＳ１の処理を繰り返し行う。

ステップＳ２において制御部Ｂは、通話スイッチの設定処理を行い、その後、処理をステップＳ３へ移す。

ここで制御部Ｂでは、ＣＰＵ７がＲＯＭ８に記憶している機能割り当てプログラムを実行することにより、携帯電話機２を着信状態から通話状態に切替える通話スイッチの機能を割り当てる操作スイッチ６を決定する処理を行う。

ステップＳ３において制御部Ｂは、着信報知画像Ｖ５、及び、通話報知画像Ｖ６の読み込み処理を行い、その後、処理をステップＳ４へ移す。

ここで制御部Ｂは、ビデオＲＡＭ９から着信報知画像Ｖ５の情報と、通話報知画像Ｖ６の情報とを読出して、ビデオＣＯＤＥＣ１２へ入力する処理を行う。

ステップＳ４において制御部Ｂは、報知画像及び結果画像の表示機能がＯＮに設定されているか否かの判断を行い、ＯＮに設定されていると判断した場合に処理をステップＳ５へ移し、ＯＦＦに設定されていると判断した場合に、報知画像及び結果画像を表示させることなく、処理をステップＳ１へ戻す。

ステップＳ５において制御部Ｂは、着信報知画像Ｖ５を表示する処理を行い、その後、処理をステップＳ６へ移す。

ここで制御部Ｂでは、ＣＰＵ７がＲＯＭ８に記憶している映像情報再生プログラムを実行することにより、ビデオＣＯＤＥＣ１２を動作させ、ステップＳ３において読み出した着信報知画像Ｖ５の情報をデコードして、着信報知画像Ｖ５を画像表示部Ｃに表示させるための映像信号Ｓｉｇを生成する。

そして、ビデオＣＯＤＥＣ１２により生成した映像信号Ｓｉｇを通信用のバスを介して画像表示部Ｃの信号処理回路２１へ出力することによって、画像表示部Ｃに着信報知画像Ｖ５を表示させて利用者Ａに視認させる。

ステップＳ６において制御部Ｂは、電話着信が終了したか否かの判断を行い、電話着信が終了したと判断した場合に処理をステップＳ７へ移し、電話着信が終了していないと判断した場合に処理をステップＳ８へ移す。

ここで制御部Ｂは、信号判別回路１４により、電話着信を示す信号が継続して入力されているか否かを判別することにより、電話着信が終了しているか否かの判断を行う。

ステップＳ７において制御部Ｂは、ステップＳ５の処理によって表示させた着信報知画像Ｖ５を表示画像Ｖから消去する処理を行い、その後、処理をステップＳ１へ移す。

また、ステップＳ８において制御部Ｂは、操作スイッチ６の半押し操作があったか否かの判断を行い、半押し操作があったと判断した場合に処理をステップＳ９へ移し、半押し操作がなかったと判断した場合に処理をステップＳ６へ移す。

ここで制御部Ｂは、操作検出回路１９から１４へ入力される信号に基づいて、ステップＳ２の処理により通話ボタンとしての機能を割り当てられた操作スイッチ６が半押し操作されたか否かの判断を行う。

ステップＳ９において制御部Ｂは、確認画像を表示する処理を行い、その後、処理をステップＳ１０へ移す。ここで制御部Ｂは、ステップＳ５の処理により表示させた着信報知画像Ｖ５だけを強調表示させる処理を行うことにより、利用者Ａに対して、半押し操作した操作スイッチ６が通話ボタンであることを確認させる。

その後、ステップＳ１０において制御部Ｂは、操作スイッチ６が全押し操作されたか否かの判断を行い、全押し操作されたと判断した場合に処理をステップＳ１１へ移し、全押し操作されていないと判断した場合に処理をステップＳ６へ移す。

ここで制御部Ｂは、ここで制御部Ｂは、操作検出回路１９から１４へ入力される信号に基づいて、ステップＳ２の処理により通話ボタンとしての機能を割り当てられた操作スイッチ６が全押し操作されたか否かの判断を行う。

ステップＳ１１において制御部Ｂは、所定時間に限り通話報知画像Ｖ６を表示させる処理を行い、その後、処理をステップＳ１へ移す。

ここで制御部Ｂでは、ＣＰＵ７がＲＯＭ８に記憶している映像情報再生プログラムを実行することにより、ビデオＣＯＤＥＣ１２を動作させ、ステップＳ３において読み出した通話報知画像Ｖ６の情報をデコードして、通話報知画像Ｖ６を画像表示部Ｃに表示させるための映像信号Ｓｉｇを生成する。

そして、ビデオＣＯＤＥＣ１２により生成した映像信号Ｓｉｇを通信用のバスを介して画像表示部Ｃの信号処理回路２１へ出力することによって、ステップＳ９の処理によって表示させた確認画像に換えて、画像表示部Ｃに通話報知画像Ｖ６を表示させて利用者Ａに視認させる。

そして、制御部Ｂは、画像表示部Ｃに通話報知画像Ｖ６を表示させてから所定時間が経過した後に、画像表示部Ｃへの映像信号Ｓｉｇの出力を停止することによって、表示画像Ｖ中から通話報知画像Ｖ６を消去させ、その後、処理をステップＳ１に戻す。

このように、本実施形態のＨＭＤ１では、利用者Ａに映像コンテンツやゲーム画像を鑑賞させている最中に、制御部Ｂがこのような処理を行うようにしているため、利用者Ａは、ＨＭＤ１により画像を鑑賞している最中に携帯電話機２に電話着信があった場合であっても、着信報知画像Ｖ５を視認することにより、携帯電話機２が着信状態になっていることと、通話スイッチの配設位置とを容易に知ることができる。

しかも、このＨＭＤ１では、利用者Ａが操作スイッチ６を半押し操作すると、その操作スイッチ６の配設位置を報知する報知画像だけを強調表示する強調報知画像Ｖ３や確認画像等を表示させるようにしているので、利用者Ａに対して、半押し操作している操作スイッチ６が所望の操作スイッチ６なのかどうかを確認させることができる。

さらに、このＨＭＤ１では、利用者Ａにより半押し操作された操作スイッチ６が全押し操作されると、その操作結果を示す画像として、結果画像Ｖ４、通話報知画像Ｖ６、決定報知画像Ｖ９等を表示させるようにしているので、利用者Ａに操作スイッチ６が適切に操作されたことを知らせることができる。

その上、このＨＭＤ１では、操作スイッチ６の操作結果を示す画像を表示させてから所定時間が経過すると、操作スイッチ６の操作結果を示す画像を表示画像Ｖ中から消去するようにしているので、これら結果画像Ｖ４、通話報知画像Ｖ６、決定報知画像Ｖ９等の画像が、利用者Ａによる画像鑑賞の妨げになることを防止することができる。

なお、ここでは、ＨＭＤ１に携帯電話機２から電話着信を示す信号が入力された場合に、制御部Ｂが行う処理についてのみ説明したが、制御部Ｂは、他の報知画像や結果画像を画像表示部Ｃに表示させる場合にも、略同様の処理を行うことにより、各種報知画像、結果画像等を利用者Ａに視認させる。

ずなわち、制御部Ｂは、各種報知画像、又は、各種結果画像を画像表示部Ｃに表示させる場合には、信号判別回路１４により、操作入力部のなかでどのスイッチ（操作スイッチ６又はジョグダイヤル６ａ）が、どのように操作されたのかを判別し、その判別結果に基づいて、各操作入力部の配設位置を示す報知画像の情報、信号判別回路１４により判別した各操作入力部の操作に応じた報知画像や結果画像を示す情報をビデオＲＡＭ９から読出し、その情報をビデオＣＯＤＥＣ１２によりデコードして、各報知画像又は結果画像に対応する映像信号Ｓｉｇを生成する。

そして、制御部Ｂは、こうして生成した映像信号Ｓｉｇを、画像表示部Ｃの信号処理回路２１へ出力することによって、画像表示部Ｃにより各報知画像又は各結果画像を表示させて利用者Ａに視認させるのである。

また、上記した実施形態では、各操作入力部の配設位置を示す報知画像と、各操作入力部の操作結果を示す結果画像とを、表示画像Ｖ中に２次元的に表示させるようにしているが、本発明は、これに限定されるものではなく、例えば、報知画像又は結果画像を、表示画像Ｖ中において３次元的に表示させてもよい。

そして、報知画像又は結果画像を３次元的に表示させる場合には、報知画像又は結果画像だけを、映像コンテンツやゲーム画像等の利用者Ａが鑑賞する表示画像Ｖよりも、奥行き方向手前側に表示させるようにする。

このように報知画像又は結果画像だけを、利用者Ａが鑑賞する画像よりも、奥行き方向手前側に表示させる場合には、画像表示部Ｃに替えて、波面曲率変調素子を備えた３次元表示用画像表示部をＨＭＤ１に設けるようにする。

ここで、３次元表示用画像表示部について、図１０を参照して説明する。なお、図１０に示す３次元表示用画像表示部Ｃａにおいて、図８に示した画像表示部Ｃと同様の構成要件については、同一の符号を付することにより、その説明を省略する。

図１０に示すように、３次元表示用画像表示部Ｃａは、その基本的構成に関しては、図８に示す画像表示部Ｃと同様であるが、コリメート光学系６１と、水平走査部７０との間に、コリメート光学系６１が出力する光束の波面曲率を変調して水平走査部７０へ向けて出力する波面曲率変調素子６１ａを備えている点が異なる。尚、波面曲率とは、光束の拡がり具合（平行度）を示すもので、光束の平行状態が無限遠画像を示し、平行からの拡がり（拡散）具合が大きくなるほど、より近い距離の画像を示すものである。

この波面曲率変調素子６１ａは、コリメート光学系６１から入射した光束を反射または透過させるビームスプリッタと、そのビームスプリッタを経て入射した光束を収束する収束レンズと、その収束レンズにより収束された光束を反射するミラー部と、ミラー部を駆動するミラー駆動装置とを備えている。

そして、この波面曲率変調素子６１ａは、コリメート光学系から入射した光束をビームスプリッタで反射して収束レンズを通過させた後、ミラー部で反射させる。そして、再度、収束レンズを通過させ、その後、ビームスプリッタを透過させて水平走査部７０へ出力させる。

このとき波面曲率変調素子６１ａでは、上記したミラー部を駆動するミラー駆動装置を動作させて、収束レンズとミラー部との間隔を変更することにより、コリメート光学系６１から入射して水平走査部７０へ向かう光束の波面曲率を変更する。

そして、この波面曲率変調素子６１ａは、ミラー駆動装置により、ミラー部を収束レンズに接近する方向か、又は、収束レンズから離れる方向に変位させ、収束レンズとミラー部との間隔を変更することにより、利用者Ａの眼Ｅに出射する光束の結像位置を光軸方向に調整することで、報知画像又は結果画像だけを利用者Ａの視界における奥行き方向又は手前方向へ３次元的に移動させて表示することができるようにしている。

このように、３次元表示用画像表示部Ｃａに報知画像又は結果画像を表示させる場合には、ＲＯＭ８内の所定領域に、ミラー駆動装置の動作を制御するための波面曲率変調素子制御プログラムを記憶させておき、制御部Ｂに、この波面曲率変調素子制御プログラムを実行させることにより、３次元表示用画像表示部Ｃａに報知画像又は結果画像を表示させる。

そして、制御部Ｂは、報知画像又は結果画像を表示させる場合に、ビデオＲＡＭ９から報知画像の情報又は結果画像の情報を読み出し、その情報をビデオＣＯＤＥＣ１２によってデコードして映像信号Ｓｉｇを生成して３次元表示用画像表示部Ｃａへ出力すると共に、波面曲率変調素子制御プログラムを実行して波面曲率変調素子６１ａを動作させることにより、報知画像又は結果画像だけを、利用者Ａが鑑賞する表示画像Ｖよりも奥行き方向手前側に３次元的に表示させるようにしている。

このように、報知画像又は結果画像だけを、利用者Ａが鑑賞する表示画像Ｖよりも奥行き方向手前側に表示させて利用者Ａに視認させることにより、利用者Ａは、鑑賞している画像と報知画像や結果画像とを混同することがなく、確実に報知画像や結果画像を視認することができる。

また、上記した実施形態では、操作入力部が備えるスイッチとして、操作スイッチ６とジョグダイヤル６ａとを例に挙げて説明したが、本発明はこれに限定するものではなく、傾動操作及び押圧操作が可能なジョイスティックタイプのスイッチ（以下、「ジョイスティックスイッチ」という。）等、他のスイッチを備えたＨＭＤ１に対しても適用することができる。

ここで、本発明の他の実施形態として、ジョイスティックスイッチを備えたＨＭＤ１に対して本発明を適用した場合の実施形態について、図１１及び図１２を参照して説明する。なお、図１２において、図３に示すＨＭＤ１と同様の構成要件に関しては同一の符号を付することによりその説明を省略する。

図１１に示すように、この実施形態に係るＨＭＤ１ａは、その基本的構成に関して、図３に示すＨＭＤ１と同様であるが、図３に示すＨＭＤ１が備えるジョグダイヤル６ａに替えて、ジョイスティックスイッチ６ｂを備えている。

このジョイスティックスイッチ６ｂは、利用者がＨＭＤ１を頭部に装着した状態で上下、前後に傾動操作することができると共に、押圧操作することができるように構成しており、利用者がこのジョイスティックスイッチ６ｂを傾動操作することにより、上記ジョグダイヤル６ａと同様に、画像表示部に行わせる複数種類の機能の中から一つの機能を選択し、傾動操作により選択した機能をジョイスティックスイッチ６ｂの押圧操作により決定して、その機能を画像表示部に実行させることができるようにしている。

また、このＨＭＤ１ａの制御部は、操作入力部の操作を検出する操作検出手段として、ジョイスティックスイッチ６ｂの傾動操作を検出する傾動操作検出手段と、ジョイスティックスイッチ６ｂの押圧操作を検出する押圧操作検出手段とを備えており、ビデオＲＡＭ９には、これら傾動操作検出手段及び押圧操作検出手段の検出結果にそれぞれ対応したジョイスティックスイッチ６ｂの外観を表す報知画像や結果画像の情報を記憶させている。

すなわち、このＨＭＤ１ａの制御部Ｂは、ＣＰＵ７がＲＯＭ８に記憶されている操作検出プログラムを実行することにより操作検出回路１９を動作させて、ジョイスティックスイッチ６ｂの傾動操作を検出する傾動操作検出手段として機能すると共に、ジョイスティックスイッチ６ｂの押圧操作を検出する押圧操作検出手段として機能し、これら傾動操作検出手段及び押圧操作検出手段の検出結果を示す信号を信号判別回路１４へ送信する処理を行う。

そして、このＨＭＤ１ａの制御部Ｂは、ＣＰＵ７がＲＯＭ８に記憶されている信号判別プログラムを実行することにより信号判別回路１４を動作させて、傾動操作検出手段又は押圧操作検出手段の検出結果を示す信号を判別することにより、ジョイスティックスイッチ６ｂが操作された内容を判別し、その操作内容に対応した報知画像や結果画像等をビデオＲＡＭ９から読み出し、ビデオＣＯＤＥＣ１２によりデコードして映像信号Ｓｉｇを生成し、この映像信号Ｓｉｇを画像表示部Ｃへ出力することにより、画像表示部Ｃに報知画像又は結果画像を表示させて利用者Ａに視認させるようにしている。

特に、この実施形態におけるＨＭＤ１ａの制御部Ｂは、操作入力部であるジョイスティックスイッチ６ｂが操作された場合に、当該ジョイスティックスイッチ６ｂの操作結果を示す結果画像として、このジョイスティックスイッチ６ｂが操作されたことにより変位したときの当該ジョイスティックスイッチ６ｂの外観を表す画像を表示画像中に表示させることにより、ジョイスティックスイッチ６ｂの操作状態を利用者に視認させる制御を行う。

すなわち、制御部Ｂは、上記傾動操作検出手段によりジョイスティックスイッチ６ｂが傾動操作されたことを検出すると、その傾動操作結果を示す結果画像として、ジョイスティックスイッチ６ｂが傾動操作されたことにより変位したときの当該ジョイスティックスイッチ６ｂの外観を表す結果画像を利用者に視認させる制御を行うと共に、上記押圧操作検出手段によりジョイスティックスイッチ６ｂが押圧操作されたことを検出すると、その押圧操作結果を示す結果画像として、ジョイスティックスイッチ６ｂが押圧操作されたことにより変位したときの当該ジョイスティックスイッチ６ｂの外観を表す結果画像を利用者に視認させる処理を行うのである。

ここで、制御部Ｂが表示画像中に表示するジョイスティックスイッチ６ｂに関する報知画像や結果画像について具体的に説明する。

このＨＭＤ１ａの制御部Ｂは、ジョイスティックスイッチ６ｂを操作する必要がある場合に、図１２（ａ）に示すように、表示画像Ｖ中において、ジョイスティックスイッチ６ｂの配設位置と近接する位置（ここでは、表示画像Ｖの左隅）に、傾動操作及び押圧操作されていない状態のジョイスティックスイッチ６ｂの外観をデフォルメした報知画像Ｖ１０を表示させる制御を行うことにより、利用者にジョイスティックスイッチ６ｂの配設位置を報知するようにしている。

その後、制御部Ｂは、ジョイスティックスイッチ６ｂが利用者によって上側に傾動操作されたことを検出すると、図１２（ｂ）に示すように、ジョイスティックスイッチ６ｂが上側に傾動操作されたことにより変位した状態を表す結果画像Ｖ１１を表示させ、ジョイスティックスイッチ６ｂが下側に傾動操作されたことを検出すると、図１２（ｃ）に示すように、ジョイスティックスイッチ６ｂが下側に傾動操作されたことにより変位した状態を表す結果画像Ｖ１２を表示させる制御を行う。

また、制御部Ｂは、ジョイスティックスイッチ６ｂが利用者によって前側に傾動操作されたことを検出すると、図１２（ｄ）に示すように、ジョイスティックスイッチ６ｂが前側に傾動操作されたことにより変位した状態を表す結果画像Ｖ１３を表示させ、ジョイスティックスイッチ６ｂが後側に傾動操作されたことを検出すると、図１２（ｅ）に示すように、ジョイスティックスイッチ６ｂが後側に傾動操作されたことにより変位した状態を表す結果画像Ｖ１４を表示させる制御を行う。

そして、制御部Ｂは、ジョイスティックスイッチ６ｂが利用者によって押圧操作されたことを検出すると、図１２（ｆ）に示すように、ジョイスティックスイッチ６ｂが押圧操作されたことにより変位した状態を表す結果画像Ｖ１５を表示させる制御を行うのである。

このように、他の実施形態に係るＨＭＤ１ａの制御部Ｂは、ジョイスティックスイッチ６ｂの配設位置を報知する報知画像Ｖ１０や、ジョイスティックスイッチ６ｂが傾動操作されて変位したときのジョイスティックスイッチ６ｂの外観をデフォルメした結果画像Ｖ１０〜Ｖ１４や、ジョイスティックスイッチ６ｂが押圧操作されて変位したときのジョイスティックスイッチ６ｂの外観を表す結果画像を表示画像Ｖ中に表示させる制御を行うように構成しているため、利用者がＨＭＤ１ａを頭部に装着したままの状態であっても、ジョイスティックスイッチ６ｂの操作状態を容易且つ確実に把握することができるので、ＨＭＤ１ａの操作性をより向上させることができる。

本実施形態に係るヘッドマウントディスプレイの使用形態を示す説明図である。 報知画像の一例を示す説明図である。 本実施形態に係るヘッドマウントディスプレイを示す外観斜視図である。 報知画像と結果画像の一例を示す説明図である。 報知画像と結果画像の一例を示す説明図である。 報知画像と結果画像の一例を示す説明図である。 ヘッドマウントディスプレイの制御部を示す機能ブロック図である。 ヘッドマウントディスプレイの画像表示部を示す説明図である。 制御部が行う処理を示すフローチャートである。 ３次元表示用画像表示部を示す説明図である。 他の実施形態に係るヘッドマウントディスプレイを示す外観斜視図である。 他の実施形態における報知画像と結果画像の一例を示す説明図である。

符号の説明

Ａ 利用者
Ｂ 制御部
Ｃ 画像表示部
Ｃａ ３次元表示用画像表示部
１、１ａ ＨＭＤ
２ 携帯電話機
３ 筐体
４ 支持フレーム
５ 頭部装着部
６ 操作スイッチ
６ａ ジョグダイヤル
６ｂ ジョイスティックスイッチ
７ ＣＰＵ
８ ＲＯＭ
８ ＲＡＭ
１０ ビデオＲＡＭ
１１ オーディオＣＯＤＥＣ
１２ ビデオＣＯＤＥＣ
１３ インターフェース
１４ 信号判別回路
１９ 操作検出回路
２０ 光束生成部
２１ 信号処理回路
３０ 光源部
４０ 光合成部
４７ 結合光学系
６１ コリメート光学系
６１ａ 波面曲率変調素子
７０ 水平走査部
７５ リレー光学系
８０ 垂直走査部
８１ 偏向素子
Ｖ 表示画像
Ｖ１ 文字情報画像
Ｖ２ 指示画像
Ｖ３ 強調報知画像
Ｖ４ 結果画像
Ｖ５ 着信報知画像
Ｖ６ 通話報知画像
Ｖ７ ジョグダイヤル位置報知画像
Ｖ８ 選択結果画像
Ｖ９ 決定結果画像
Ｖ１０ ジョイスティックスイッチに関する報知画像
Ｖ１１〜Ｖ１５ ジョイスティックスイッチに関する結果画像

Claims (10)

1. 利用者の眼に表示画像を光学的に導いて視認させる画像表示部と、前記画像表示部の動作を制御する制御部と、前記利用者が操作することにより前記制御部に前記画像表示部の制御を行わせる操作入力部とを備え、前記利用者の頭部に装着して使用するヘッドマウントディスプレイにおいて、
   前記画像表示部は、前記利用者の眼に入射させる光束の波面曲率を変調する波面曲率変調素子を有し、
   前記制御部は、前記波面曲率変調素子の動作を制御することにより、前記操作入力部の配設位置を報知させる報知画像を前記利用者が鑑賞する表示画像よりも奥行き方向手前側に表示させて、前記利用者に視認させる制御を行うことを特徴とするヘッドマウントディスプレイ。
2. 前記制御部は、前記画像表示部により、前記報知画像として、前記操作入力部の配設位置を説明する文字情報画像、又は、前記操作入力部の配設位置の方向を指し示す指示画像を前記利用者に視認させる制御を行うことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記制御部は、前記画像表示部により、前記文字情報画像、又は、前記指示画像を、前記操作入力部の配設位置と近接する位置に表示して前記利用者に視認させる制御を行うことを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記制御部は、前記操作入力部が操作されたことを検出する操作検出手段を備え、
   前記操作検出手段により前記操作入力部が操作されたことを検出すると、前記画像表示部により、前記報知画像に換えて、前記操作入力部の操作結果を示す結果画像を前記利用者に視認させる制御を行うことを特徴とする請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイ。
5. 前記結果画像は、前記報知画像の色、及び／又は、形状を変化させた画像であることを特徴とする請求項４に記載のヘッドマウントディスプレイ。
6. 前記結果画像は、前記操作入力部が操作されたことにより変位したときの当該操作入力部の外観を表す画像であることを特徴とする請求項４に記載のヘッドマウントディスプレイ。
7. 前記制御部は、前記画像表示部により前記結果画像を前記利用者に視認させる制御を行った後、所定時間経過後に、前記結果画像を前記利用者に視認させる制御を停止することを特徴とする請求項４〜６のいずれか１項に記載のヘッドマウントディスプレイ。
8. 前記操作入力部は、前記画像表示部により前記結果画像を前記利用者に視認させる機能を無効にするための無効スイッチを有することを特徴とする請求項４〜７のいずれか１項に記載のヘッドマウントディスプレイ。
9. 前記画像表示部は、当該ヘッドマウントディスプレイを前記利用者の頭部に装着した際に、前記利用者の眼前に位置するように配設され、前記表示画像を光学的に前記利用者の眼に導く導光部を備え、
   前記操作入力部は、前記導光部の上方、及び／又は、側方に配設されていることを特徴とする請求項１〜８のいずれか１項に記載のヘッドマウントディスプレイ。
10. 当該ヘッドマウントディスプレイは、画像信号に応じた光束を２次元方向に走査し、その走査された光を眼に導き網膜上に表示画像を形成する網膜走査型ディスプレイであることを特徴とする請求項１〜９のいずれか１項に記載のヘッドマウントディスプレイ。

Images