JP6187578B2 - 虚像表示装置 - Google Patents

Description

本発明は、頭部に装着して使用するヘッドマウントディスプレイ等の虚像表示装置に関する。

近年、ヘッドマウントディスプレイのように虚像の形成及び観察を可能にする虚像表示装置として、表示素子からの画像光を装着者である観察者の瞳に導くタイプのものが種々提案されており、特に、虚像を形成する画像光と外界からの光である外界光とを重畳させるために、シースルーにしたものが提案されている（特許文献１参照）。

なお、ヘッドマウントディスプレイに関する技術ではないが、視線の方向を検出し、検出結果をコンピューターの入力操作に適用するものが知られている（特許文献２参照）。

特許文献１等のようなシースルータイプの虚像表示装置の使用では、背景の外界光の影響で画像が見づらくなる場合がある。このような場合の対策として、画像光の明るさを可変にすることで、観察者の眼に入る外界光と画像光とのバランスを取ることが考えられる。しかしながら、使用環境については、種々の態様があり、例えば、室内が局所的に明るくなっており、観察者がその局所的に明るい箇所に向いた状態で画像光による虚像を観察する、といった状況も考えられる。このような場合、観察者の眼が外界光に反応して、知覚される画像光が相対的に十分な明るさでなくなり、結果として画像光による虚像が認識しづらいものになる、という事態が生じ得る。逆に、知覚される画像光が相対的に明るくなりすぎて外界光の観察が不能になりシースルーの効果を得られなくなる場合も生じ得る。なお、特許文献２のような技術により、視線の方向を検出できるとしても、これをもって直ちに上記のような状況を改善できるとは限らない。

特開２００７−１７８９４１号公報 特開平６−２４２８８３号公報

本発明は、画像光と外界光とを重畳させるシースルータイプであって、外界光の状態に応じて画像光を適切な明るさに調整できる虚像表示装置を提供することを目的とする。

上記目的を達成するため、本発明の虚像表示装置は、（ａ）外界光を透過させるとともに画像光による虚像を形成する虚像形成部と、（ｂ）虚像形成部の向きに応じて外界光の明るさを方位に関連づけて検出する光検出装置と、（ｃ）光検出装置によって検出された明るさに関する情報に基づいて画像光を制御する画像光制御部と、を備える。

上記虚像表示装置では、虚像形成部が画像光と外界光とを重畳させるシースルータイプとなっており、画像光制御部は、光検出装置によって当該外界光の明るさを方位に関連づけて検出し、検出された明るさに関する情報に基づいて、画像光を制御するものとなっている。これにより、観察者が向いている方位からの外界光の明るさに対応して、画像光を制御し、画像光による像（虚像）の明るさと外界光による像の明るさとのバランスを適度なものにできる。つまり、外界光の状態に応じて画像光を知覚しやすい適切な明るさに調整できる。

本発明の具体的な側面では、画像光制御部が、虚像形成部上の被照射領域に対応する画像光の光量を分割された領域ごとに部分的に変化させる。この場合、外界光の局所的な明暗の状態に対して、画像光の光量を部分的に変えることで、明るさのバランスを取ることができる。

本発明の別の側面では、画像光制御部が、画像光となるべき照明光を発生させるバックライト光源を制御するバックライト制御部である。この場合、バックライト光源を制御することで、画像光の明るさを制御することができる。

本発明のさらに別の側面では、観察者の視線の方向を検知する視線検知装置をさらに備え、画像光制御部が、視線検知装置の検知結果として得られる観察者の視線の方向における外界光の明るさに関する情報に基づいて画像光を制御する。この場合、観察者の視線の方向における外界光の明るさに応じて、画像光の状態を制御することができるので、虚像の観察がより容易になる。

本発明のさらに別の側面では、視線検知装置が、画像光に重畳されて射出される近赤外光線のうち観察者の眼において反射されて画像光の光路を逆行する成分を当該光路上から分岐するビームスプリッターと、ビームスプリッターで分岐された当該近赤外光線を検出する近赤外光線検知センサーとを有する。この場合、可視光領域外の波長である近赤外光線を用い、これをビームスプリッターで分岐することで、画像光に影響を与えることなく、かつ、確実に観察者の眼球の動きを捉えて視線の方向を検知することができる。

本発明のさらに別の側面では、光検出装置が、視線検知装置で検知された観察者の視線に関する情報に基づいて明るさを検出する範囲を変化させる。ここで、視線に関する情報とは、視線の方向やその方向の変化といった視線に関する種々の情報を意味する。この場合、観察者の視線の先の外界の明るさについてより優先した画像光の制御を行うことができる。

本発明のさらに別の側面では、光検出装置が、外界光の光量を検出するフォトダイオード部と、外界光による像をフォトダイオード部に向けて投影するレンズとを有する。この場合、簡易な構造でより確実に外界光の状況を捉えることができる。

本発明のさらに別の側面では、光検出装置において、フォトダイオード部が、２次元状に配置される複数のフォトダイオード素子を有して構成され、外界光の検出領域をフォトダイオード素子の配置に対応して複数に分割する。この場合、外界光によって形成される外界像の明るさを、分割領域ごとに判断することができる。

第１実施形態の虚像表示装置を示す斜視図である。 （Ａ）は、虚像表示装置を構成する第１表示装置の本体部分の平断面図であり、（Ｂ）は、本体部分の正面図である。 虚像表示装置の光学系における光路の一例を具体的に説明する平面図である。 虚像表示装置における画像光の制御について説明するための図である。 （Ａ）は、観察者の観察領域を模式的に示す図であり、（Ｂ）は、バックライト光源を模式的に示す図である。 制御動作の一例を説明するためのフローチャートである。 （Ａ）は、変形例の虚像表示装置における観察領域を模式的に示す図であり、（Ｂ）は、他の変形例の虚像表示装置における観察領域を模式的に示す図である。 第２実施形態に係る虚像表示装置を説明するための平面図である。 虚像表示装置における画像光の制御について説明するための図である。 制御動作の一例を説明するためのフローチャートである。 第３実施形態に係る虚像表示装置を説明するための図である。 （Ａ）は、第４実施形態に係る虚像表示装置を説明するための図であり、（Ｂ）は、変形例の虚像表示装置を説明するための図である。 第５実施形態に係る虚像表示装置を示す図である。

〔第１実施形態〕
以下、図面を参照しつつ、本発明の第１実施形態に係る虚像表示装置について詳細に説明する。

〔Ａ．虚像表示装置の外観〕
図１に示す本実施形態の虚像表示装置１００は、眼鏡のような外観を有するヘッドマウントディスプレイであり、この虚像表示装置１００を装着した装着者である観察者に対して虚像による画像光を認識させることができるとともに、観察者に外界像をシースルーで観察させることができる。虚像表示装置１００は、観察者の眼前を覆う光学パネル１１０と、光学パネル１１０等を支持するフレーム１２１と、フレーム１２１の前方のカバー部分１９１，１９２からテンプル１４１，１４２にかけての部分に付加された第１及び第２駆動部１３１，１３２と、光学パネル１１０等の上方側の中央部に固定的に取り付けられる光検出装置１８０とを備える。光学パネル１１０は、第１パネル部分１１１と第２パネル部分１１２とを有し、両パネル部分１１１，１１２は、中央で一体的に連結された板状の部品となっている。図面上で左側の第１パネル部分１１１と第１駆動部１３１とを組み合わせた第１表示装置１００Ａは、左眼用の虚像を形成する部分であり、単独でも虚像表示装置として機能する。また、図面上で右側の第２パネル部分１１２と第２駆動部１３２とを組み合わせた第２表示装置１００Ｂは、右眼用の虚像を形成する部分であり、単独でも虚像表示装置として機能する。

〔Ｂ．光検出装置の構造〕
虚像表示装置１００の光検出装置１８０について説明する。光検出装置１８０は、虚像表示を行うための画像形成において付随的な装置であるが、シースルーによる外界像の観察と画像光による虚像の観察とを両立させるための画像光の制御に際しては、重要な役割を担う部分である。光検出装置１８０は、光学パネル１１０等に対して固定的に取り付けられている。つまり、観察者が姿勢を変えることで、光学パネル１１０等の向きが変化すると、これに伴って光検出装置１８０の向きも変化するものとなっている。このため、光検出装置１８０は、装着時において、常に観察者の眼前の方向についての外界光の状況を検出可能なものとなっている。虚像表示装置１００は、光検出装置１８０を有することにより、観察者の眼前側の外界光の明るさを方位に関連づけて検出でき、この検出結果に基づいて外界光の明るさに応じた画像光の光量制御ができる。なお、画像光の制御の詳細については、後述する。また、虚像表示装置１００における画像形成の動作制御は、観察者からの各種指令を受付可能なコントロール装置（不図示）によってなされるものとする。

〔Ｃ．表示装置の本体の構造〕
以下、図２（Ａ）等を参照して、画像形成において本質的な役割を担う装置である第１表示装置１００Ａすなわち表示装置の本体についての構造について説明する。

図２（Ａ）及び２（Ｂ）に示すように、第１表示装置１００Ａは、画像形成装置１０と、導光装置２０とを備える。ここで、画像形成装置１０は、図１における第１駆動部１３１に相当し、導光装置２０は、図１における第１パネル部分１１１に相当する。なお、図１に示す第２表示装置１００Ｂは、第１表示装置１００Ａと同様の構造を有し左右を反転させただけであるので、第２表示装置１００Ｂの詳細な説明は省略する。

図示の状態において、観察者にとって真正面の方向が、虚像表示装置１００を構成する光学系の射出側の光軸である第２光軸ＡＸ２に沿った方向であり、第２光軸ＡＸ２が虚像表示装置１００側から観察者側に向かう方向を＋Ｘ方向とし、観察者にとって眼が並ばない上下方向を±Ｙ方向とし、眼が並ぶ左右方向を±Ｚ方向とする。

画像形成装置１０は、画像表示装置１１と、投射光学系１２とを有する。このうち、画像表示装置１１は、２次元的な照明光ＳＬを射出する照明装置３１と、透過型の空間光変調装置である液晶表示デバイス３２と、照明装置３１及び液晶表示デバイス３２の動作を制御する駆動制御部３４とを有する。

照明装置３１は、赤、緑、青の３色を含む光を発生する光源３１ａと、光源３１ａからの光を拡散させて矩形断面の光束にするバックライト導光部３１ｂとを有する。液晶表示デバイス３２は、照明装置３１からの照明光ＳＬを空間的に変調して動画像等の表示対象となるべき画像光を形成する。駆動制御部３４は、光源駆動回路３４ａと、液晶駆動回路３４ｂとを備える。光源駆動回路３４ａは、照明装置３１の光源３１ａに電力を供給して安定した輝度の照明光ＳＬを射出させる。また、光源駆動回路３４ａは、供給する電力を調整することで、照明装置３１の照明光ＳＬの光量を調整でき、延いては画像光ＧＬの光量を調整できる。例えば、矩形形状のバックライト導光部３１ｂからの射出領域を分割し分割された領域ごとに光量を変化させるといった制御が可能である。液晶駆動回路３４ｂは、液晶表示デバイス３２に対して画像信号又は駆動信号を出力することにより、透過率パターンとして動画や静止画の元になるカラーの画像光を形成する。

投射光学系１２は、液晶表示デバイス３２上の各点から射出された画像光を平行状態の光束にするコリメートレンズである。

導光装置２０は、導光部材２１と光透過部材２３とを接合したものであり、全体としてＸＹ面に平行に延びる平板状の光学部材を構成している。導光装置２０は、導光部材２１と光透過部材２３とにより、外界光を透過させるとともに画像光による虚像を形成するシースルータイプの虚像形成部として機能する。

導光装置２０のうち、導光部材２１は、平面視において台形のプリズム状部材であり、側面として、第１反射面２１ａと、第２反射面２１ｂと、第３反射面２１ｃと、第４反射面２１ｄとを有する。第１及び第２反射面２１ａ，２１ｂは、ＸＹ面に沿って延びている。また、第３反射面２１ｃは、ＸＹ面に対して４５°以下の鋭角αで傾斜しており、第４反射面２１ｄは、ＸＹ面に対して例えば４５°以下の鋭角βで傾斜している。第３反射面２１ｃを通る光軸すなわち光学系の入射側の光軸である第１光軸ＡＸ１と、第４反射面２１ｄを通る光軸すなわち光学系の射出側の光軸である第２光軸ＡＸ２とは、平行に配置されている。

導光部材２１は、可視域で高い光透過性を示す樹脂材料で形成されている。導光部材２１は、射出成型によって一体的に成型されたブロック状部材を本体部分２０ａとしている。このように導光部材２１は、基材としての本体部分２０ａを一体形成品とするが、機能的に、光入射部Ｂ１と導光部Ｂ２と光射出部Ｂ３とに分けて考えることができる。

光入射部Ｂ１は、三角プリズム状の部分であり、第１反射面２１ａの一部である光入射面ＩＳと、光入射面ＩＳに対向する第３反射面２１ｃとを有する。光入射面ＩＳは、画像形成装置１０からの画像光ＧＬを取り込むための裏側又は観察者側の平面であり、投射光学系１２に対向してその第１光軸ＡＸ１に垂直に延びている。第３反射面２１ｃは、矩形の輪郭を有し、その矩形領域全体に、光入射面ＩＳを通過した画像光ＧＬを反射して導光部Ｂ２内に導くための全反射ミラーであるミラー層２５を有する。このミラー層２５は、導光部材２１の本体部分２０ａの斜面ＲＳ上にアルミ等の蒸着によって成膜を施すことにより形成される。第３反射面２１ｃは、投射光学系１２の第１光軸ＡＸ１又はＸＹ面に対して例えば鋭角α＝２５°〜２７°で傾斜しており、光入射面ＩＳから入射し全体として＋Ｚ方向に向かう画像光ＧＬを、全体として−Ｚ方向寄りの−Ｘ方向に向かわせるように折り曲げることで、画像光ＧＬを導光部Ｂ２内に確実に結合させる。

導光部Ｂ２は、互いに対向しＸＹ面に平行に延びる２平面として、光入射部Ｂ１で折り曲げられた画像光をそれぞれ全反射させる第１反射面２１ａと第２反射面２１ｂとを有している。ここでは、第１反射面２１ａが画像形成装置１０に近い裏側又は観察者側にあるものとし、第２反射面２１ｂが画像形成装置１０から遠い表側又は外界側にあるものとする。この場合、第１反射面２１ａは、上記の光入射面ＩＳや後述する光射出面ＯＳと共通の面部分となっている。第１及び第２反射面２１ａ，２１ｂは、屈折率差を利用する全反射面である。

光入射部Ｂ１の第３反射面２１ｃで反射された画像光ＧＬは、まず、第１反射面２１ａに入射し、全反射される。次に、当該画像光ＧＬは、第２反射面２１ｂに入射し、全反射される。以下この動作が繰り返されることで、画像光は、全体として導光装置２０の奥側の主導光方向すなわち光射出部Ｂ３を設けた−Ｘ側に導かれる。なお、第１及び第２反射面２１ａ，２１ｂには反射コートが施されていないため、外界側から第２反射面２１ｂに入射する外界光又は外光は、高い透過率で導光部Ｂ２を通過する。つまり、導光部Ｂ２は、外界像の透視が可能なシースルータイプになっている。

光射出部Ｂ３は、三角プリズム状の部分であり、第１反射面２１ａの一部である光射出面ＯＳと、光射出面ＯＳに対向する第４反射面２１ｄとを有する。光射出面ＯＳは、画像光ＧＬを観察者の眼ＥＹに向けて射出するための裏側の平面であり、光入射面ＩＳと同様に第１反射面２１ａの一部となっており、第２光軸ＡＸ２に垂直に延びている。第４反射面２１ｄは、矩形の平坦面であり、第１及び第２反射面２１ａ，２１ｂを経て入射してきた画像光ＧＬを反射して光射出部Ｂ３外に射出させるとともに外界光ＯＬを透過させるためのハーフミラー層２８を、第４反射面２１ｄの中央に配置された矩形の部分領域に有する。このハーフミラー層２８は、光透過性を有する半透過反射膜である。ハーフミラー層２８は、導光部材２１のうち第４反射面２１ｄを構成する斜面ＲＲ上に例えば銀等による金属反射膜や誘電体多層膜を成膜することにより形成される。ハーフミラー層２８の画像光ＧＬに対する反射率は、シースルーによる外界光ＯＬの観察を容易にする観点で、想定される画像光ＧＬの入射角範囲において１０％以上５０％以下とする。

第４反射面２１ｄは、第１反射面２１ａに垂直な第２光軸ＡＸ２又はＸＹ面に対して例えば鋭角α＝２５°〜２７°で傾斜しており、上記ハーフミラー層２８により、導光部Ｂ２の第１及び第２反射面２１ａ，２１ｂを経て入射してきた画像光ＧＬを部分的に反射して全体として−Ｚ方向に向かわせるように折り曲げることで、光射出面ＯＳを通過させる。

光透過部材２３は、導光部材２１の本体部分２０ａと同一の屈折率を有する本体部分２３ｓで構成され、第１面２３ａと、第２面２３ｂと、第３面２３ｃとを有する。第１及び第２面２３ａ，２３ｂは、第１及び第２反射面２１ａ，２１ｂと同様、ＸＹ面に沿って延びている。また、第３面２３ｃは、ＸＹ面に対して傾斜しており、導光部材２１の第４反射面２１ｄに対向して平行に配置されている。つまり、光透過部材２３は、第２面２３ｂと第３面２３ｃとに挟まれた楔状の部材を有するものとなっている。光透過部材２３は、導光部材２１と同様に、可視域で高い光透過性を示す樹脂材料で形成されている。光透過部材２３は、射出成型によって一体的に成型されたブロック状部材を本体部分２３ｓとしている。

光透過部材２３において、第１面２３ａは、導光部材２１に設けた第１反射面２１ａの延長平面上に配置され、観察者の眼ＥＹに近い裏側にあり、第２面２３ｂは、導光部材２１に設けた第２反射面２１ｂの延長平面上に配置され、観察者の眼ＥＹから遠い表側にある。第３面２３ｃは、接着剤によって導光部材２１の第４反射面２１ｄに接合される矩形の光透過面である。以上の第１面２３ａと第３面２３ｃとなす角度は、導光部材２１の第２反射面２１ｂと第４反射面２１ｄとのなす角度εと等しくなっており、第２面２３ｂと第３面２３ｃとのなす角度は、導光部材２１の第１反射面２１ａと第３反射面２１ｃとのなす角度βと等しくなっている。

光透過部材２３と導光部材２１とは、両者の接合部分及びその近傍において、透視部Ｂ４を構成している。すなわち、第１及び第２面２３ａ，２３ｂには、ミラー層等の反射コートが施されていないため、導光部材２１の導光部Ｂ２と同様に外界光ＯＬを高い透過率で透過させる。第３面２３ｃも、外界光ＯＬを高い透過率で透過可能であるが、導光部材２１の第４反射面２１ｄがハーフミラー層２８を有していることから、第３面２３ｃの中央領域を通過する外界光ＯＬは減光される。つまり、観察者は、減光された画像光ＧＬと外界光ＯＬとを重畳させたものを観察することになり、導光装置２０は、虚像形成部として機能する。

以下、図３を参照して、第１表示装置１００Ａにおける画像光の具体的な光路の一例を説明する。なお、図３では、画像光の光路決定に関係する光学系のみ示している。また、投射光学系１２は、３つのレンズＬ１，Ｌ２，Ｌ３を有しているものとする。

図示のように、液晶表示デバイス３２の右側の第１表示点Ｐ１からの画像光ＧＬ１１，ＧＬ１２は、第１及び第２反射面２１ａ，２１ｂにおいて等しい第１反射角γ１で計３回全反射され、第４反射面２１ｄに入射する。画像光ＧＬ１１，ＧＬ１２は、この第４反射面２１ｄで第３反射面２１ｃと同一の角度で反射され、光射出面ＯＳからこの光射出面ＯＳに垂直な第２光軸ＡＸ２方向に対して角度θ₁の傾きで平行光束として射出される。

液晶表示デバイス３２の左側の第２表示点Ｐ２からの画像光ＧＬ２１，ＧＬ２２は、第１及び第２反射面２１ａ，２１ｂにおいて等しい第２反射角γ２で計５回全反射され、第４反射面２１ｄに入射する。画像光ＧＬ２１，ＧＬ２２は、この第４反射面２１ｄで第３反射面２１ｃと同一の角度で反射され、光射出面ＯＳからこの光射出面ＯＳに垂直な第２光軸ＡＸ２方向に対して角度θ₂の傾きで平行光束として射出される。

また、図３において、導光部材２１を展開した場合で見ると、観察者は、光入射面ＩＳに対応する２つの位置の異なる入射等価面ＩＳ'，ＩＳ"の近傍に存在する投射光学系１２のレンズＬ３を重ねて観察していることになる。

以上のようにして画像光ＧＬから形成される虚像の観察と、シースルーによる外界光ＯＬの観察とが両立するためには、両光束の光量について、ある程度の範囲内でバランスがとられていることが必要となる。外界光ＯＬの影響により、観察者の瞳孔の大きさは、変化する。このため、仮に画像光ＧＬの光量を一定に確保していても、観察者が知覚しにくいものとなる可能性がある。従って、外界光ＯＬの状態が変化しても、画像光ＧＬと外界光ＯＬとが程良くバランスされた状態を維持するためには、画像光ＧＬの状態を、外界光ＯＬの変化に対応して制御する必要がある。本実施形態では、光検出装置１８０（図１参照）が、光学パネル１１０すなわち導光装置２０に固定的に取り付けられて導光装置２０と向きを一致させた状態を保つことで、常に視界の前方すなわち＋Ｚ側に関して外界光ＯＬの光量検出を行うものとなっており、この検出結果に基づいて、照明装置３１（図２（Ａ）参照）の制御を行うことで、外界光ＯＬの状態に応じた画像光ＧＬの光量制御ができるものとなっている。

〔Ｄ．光検出装置による外界光の検出〕
以下、図４を参照して、外界光ＯＬの明るさに対応させた画像光ＧＬの明るさの制御の前提として必要となる光検出装置１８０による外界光ＯＬの検出について説明する。

光検出装置１８０は、フォトダイオード部１８１と、レンズ１８２とを有する。図示の例では、フォトダイオード部１８１は、ＸＹ面に平行な面についてマトリクス状に３×３で配置される９つのフォトダイオード素子１８１ａで構成されている。つまり、フォトダイオード部１８１は、９つに分割された領域で略−Ｚ側から虚像表示装置１００に向かう外界光ＯＬの状態を検出するものとなっている。各フォトダイオード素子１８１ａは、矩形形状であり、レンズ１８２によって投影されて矩形形状の領域内に入射する光の光量を測定する。なお、レンズ１８２は、外界像をフォトダイオード部１８１上に投影するものであり、フォトダイオード部１８１の前方（＋Ｚ側）に配置され無限遠を焦点とするレンズであり、遠方から光検出装置１８０に向かう外界光ＯＬの成分をその方位に応じて複数のフォトダイオード素子１８１ａのうちいずれかに向けて入射させる。なお、ここで、レンズ１８２による投影については、無限遠を焦点とすることで一定以上の距離からの外界像のピントを合わせられる投影とすることができるが、各フォトダイオード素子１８１ａ上において必ずしも外界像のピントを合わせる必要はなく、各フォトダイオード素子１８１ａにおいて対象となる方位からの外界光成分の光量測定が可能となっていればよい。

９つのフォトダイオード素子１８１ａには、説明のために１〜９の番号をそれぞれ付与してあり、５番が付され中央に位置するフォトダイオード素子１８１ａが、レンズ１８２の光軸と一致した中心の位置に配置されているものとする。ここで、レンズ１８２の光軸方向は、Ｚ方向であり、観察者にとっての正面方向に一致している。

外界光ＯＬの成分のうち、例えばレンズ１８２の光軸方向にある中央側のエリアＡからの外界光成分ＯＬａは、レンズ１８２を経て５番のフォトダイオード素子１８１ａに入射する。従って、外界光成分ＯＬａの明るさは、５番のフォトダイオード素子１８１ａの出力となる。一方、外界光ＯＬの成分のうち、例えばエリアＡよりも上方側である周辺側のエリアＢからの外界光成分ＯＬｂは、レンズ１８２を経て８番のフォトダイオード素子１８１ａに入射する。従って、外界光成分ＯＬｂの明るさは、８番のフォトダイオード素子１８１ａの出力となる。以上のようにして、光検出装置１８０において、対象となるエリアの方位ごとに対応する外界光ＯＬの平均化された明るさが検出され、外界光に関する情報を得ることができる。光検出装置１８０は、９つのフォトダイオード素子１８１ａにおいて測定された外界光成分の光量についての情報を信号化して虚像表示装置１００の動作制御を司るコントロール装置３００に送信する。

〔Ｅ．光検出装置の検出結果に基づく画像光の制御〕
以下、図４等を参照して、光検出装置の検出結果に基づく画像光の制御について説明する。本実施形態では、上述の光検出装置１８０において検出された外界光に関する情報に基づいて、虚像表示装置１００のコントロール装置３００に内蔵される制御部３１１が駆動制御部３４を介して光源を制御する（図２（Ａ）参照）ことにより、画像光ＧＬの光量が制御されるものとなっている。

図４に示すように、虚像表示装置１００は、コントロール装置３００として、制御部３１１と、記憶部３１２と、キー入力処理部３１３と、キー入力部３１４と、画像処理部３１５と、外界光情報検出部３１９とを備えている。

制御部３１１は、虚像表示装置１００の全体的な動作を制御している。つまり、制御部３１１は、記憶部３１２、キー入力処理部３１３、画像処理部３１５、外界光情報検出部３１９等と通信可能に接続されており、これらの部分から情報を取り込み、或いはこれらの部分に制御信号等を送って動作状態を制御している。特に、本実施形態では、制御部３１１は、外界光情報検出部３１９を介して光検出装置１８０からの情報を取得してこの情報に基づいて光源を制御することにより、画像光の状態を調整している。このための機能として、制御部３１１は、明るさ読取部３１１ａ、調整量決定部３１１ｂ等を含み、光検出装置の検出結果に基づく画像光調整のための光源制御部すなわち画像光制御部として機能する。

外界光情報検出部３１９は、光検出装置１８０において検出され、信号として送信された外界光の明るさに関する情報を受け取り、制御部３１１の明るさ読取部３１１ａに送信する。

記憶部３１２は、ＲＯＭ、ＲＡＭ、不揮発性メモリー等で構成され、虚像表示装置１００を動作させるために必要なプログラム、データ等を保持する。ここでは、特に、記憶部３１２は、明るさ読取部３１１ａで読み取られた外界光ＯＬに関する情報についての信号データに基づいて最適な光源制御を選択するためのプログラム及び制御用テーブルデータを保持している。

キー入力処理部３１３は、キー入力部３１４から入力された観察者の指示を処理する手段である。

画像処理部３１５は、入力選択部や通信部（不図示）を介して外部から入力された画像信号又は画像データに対して必要に応じて、諧調補正等を含む各種補正処理を行い、画像処理後の画像信号を、液晶パネルを駆動する液晶パネル駆動部である液晶駆動回路３４ｂに出力する。

以下、図５（Ａ）等により、光検出装置の検出結果に基づく画像光の制御動作の一例について概要を説明する。図５（Ａ）は、観察者の観察領域を模式的に示す図であり、図５（Ｂ）は、バックライト光源である矩形形状のバックライト導光部３１ｂを模式的に示す図である。図５（Ａ）において、２点鎖線の領域ＩＭ０は、観察者が導光装置２０を経た外界光ＯＬによって認識する外界像の範囲を示し、点線の領域ＩＭ１は、観察者が画像光ＧＬによって認識する虚像の範囲を示すものとする。さらに、領域ＩＭ０のうち、領域ＩＭ１に対応する領域を１点鎖線の領域ＩＭ２とする。つまり、領域ＩＭ１又は領域ＩＭ２は、外界光ＯＬと画像光ＧＬとが重畳する領域である。ここでは、図４に示す９つのフォトダイオード素子１８１ａを有する光検出装置１８０によって、外界像の範囲である領域ＩＭ０のうち領域ＩＭ１に相当する領域における外界像の明るさが検出されるものとする。

ここで、領域ＩＭ１及び領域ＩＭ２において、９つに分割された分割領域１ｃ〜９ｃは、図４の９つのフォトダイオード素子１８１ａが対象とする測定領域に対応しているものとする。つまり、例えば図５（Ａ）の領域ＩＭ１のうち中央に位置する分割領域５ｃは、図４のエリアＡからの外界光ＯＬによって観察される外界像の領域であり、このエリアの明るさは、５番のフォトダイオード素子１８１ａによって検出される。同様に、図５（Ａ）の分割領域８ｃは、図４のエリアＢに対応し、８番のフォトダイオード素子１８１ａによって検出される。つまり、分割領域１ｃ〜９ｃは、図４においてフォトダイオード素子１８１ａに付した１〜９の番号にそれぞれ対応したものとなっている。

さらに、本実施形態では、図５（Ｂ）に示すように、矩形断面の光束を形成するバックライト導光部３１ｂが、虚像の領域ＩＭ２の各分割領域１ｃ〜９ｃに対応する９つの分割された発光領域１ａ〜９ａを有し、発光領域１ａ〜９ａごとに光量の調整が可能になっているものとする。つまり、バックライト導光部３１ｂを制御することで、画像光ＧＬの光量が部分的（局所的）に変化し、領域ＩＭ２に形成される虚像は、分割領域１ｃ〜９ｃごとに明るさを変化させることができるものとなっている。この場合、制御部３１１は、液晶駆動回路３４ｂを介してバックライト光源であるバックライト導光部３１ｂを制御するバックライト制御部として機能することになる。上記の場合、例えば８番のフォトダイオード素子１８１ａでの測定された外界光ＯＬの成分光量が大きいすなわち明るいと測定されれば、これに応じて、画像光ＧＬのうち分割領域８ｃの虚像を形成する成分の光量を大きくし、明るい画像とすればよい。つまり、制御部３１１は、分割領域８ｃに対応する発光領域８ａに供給する電力を、８番のフォトダイオード素子１８１ａからの検出結果に応じて大きくすることで、分割領域８ｃで形成される虚像を適度に明るくすることができる。

以上のような構成から、光検出装置１８０での検出結果に応じてバックライト導光部３１ｂすなわちバックライト光源を含む照明装置３１を制御することで、画像光ＧＬの状態を、外界光ＯＬの方位ごとの変化に対応して制御することができる。

以下、図６のフローチャートを参照して、光検出装置の検出結果に基づく画像光の制御動作の一例について説明する。

まず、虚像表示装置１００を起動させると、制御部３１１は、記憶部３１２に格納された外界光に関する情報を初期化する処理を行う（ステップＳ１０１）。次に、制御部３１１は、外界光情報検出部３１９に、光検出装置１８０から送信された外界光の明るさに関する情報を受け取らせるとともに（ステップＳ１０２）、明るさ読取部３１１ａとして、外界光情報検出部３１９で受け取った情報を読み取って外界光ＯＬの方位ごとの状況を確認する（ステップＳ１０３）。また、この際、制御部３１１は、読み取った情報を記憶部３１２に格納する。次に、制御部３１１は、ステップＳ１０３において取得した情報が、これまでの情報から変更されているかを判断する（ステップＳ１０４）。つまり、記憶部３１２に既に格納されている情報とステップＳ１０３において取得した情報とを比較する。なお、ステップＳ１０１において初期化された直後に情報を取得した場合については、ステップＳ１０４において、情報が変更されたものと判断する。ステップＳ１０４において、情報変更がなかったと制御部３１１が判断すると（ステップＳ１０４：Ｎｏ）、制御部３１１は、光源の調整量を定めた制御パターンの動作が最適であると判断し、これを変更することなく維持してステップＳ１０２〜ステップＳ１０４に示す外界光の明るさに関する情報を受け取って状況を判断する一連の動作を繰り返す。一方、ステップＳ１０４において、情報変更があったと制御部３１１が判断すると（ステップＳ１０４：Ｙｅｓ）、制御部３１１は、外界光ＯＬの状態が変更され、画像光ＧＬをこれに対応させるべく光源の調整量を定めた制御パターンの動作を再設定する必要があると判断し、調整量決定部３１１ｂとして、記憶部３１２から変更後の外界光に関する情報に対応する光源の調整量を定めた複数の制御パターンを示すテーブルデータから一のパターンを選択して読み出す（ステップＳ１０５）。次に、制御部３１１は、ステップＳ１０５において選択され読み出された新たな制御パターンに従った制御をさせるべく光源駆動回路３４ａに制御信号を送信する。この制御信号に従って、光源駆動回路３４ａが照明装置３１を駆動させることで、例えば図５（Ａ）及び５（Ｂ）によって説明したような光源制御がなされる（ステップＳ１０６）。制御部３１１は、上記光源制御の動作を虚像表示装置１００による画像形成動作が終了するまで繰り返す（ステップＳ１０７）。つまり、観察者がキー入力部３１４によって、画像形成動作を終了する旨の指令を出すまで光検出装置１８０からの測定結果を確認し、対応する画像光の制御を行う（ステップＳ１０１〜Ｓ１０６）。

以上のように、本実施形態では、虚像形成部である導光装置２０が画像光ＧＬと外界光ＯＬとを重畳させるシースルータイプとなっており、画像光制御部である制御部３１１が、光検出装置１８０によって外界光ＯＬの明るさを方位に関連づけて検出し、検出された明るさに関する情報に基づいて、画像光ＧＬを制御するものとなっている。これにより、観察者が向いている方位からの外界光ＧＬの明るさに対応して、画像光ＧＬを制御し、画像光ＧＬによる画像の明るさと外界光ＯＬによる外界像の明るさとのバランスを適度なものにできる。つまり、外界光ＯＬの状態に応じて画像光ＧＬを適切な明るさに調整できる。

なお、上記において、画像光制御部である制御部３１１は、外界光ＯＬに対する画像光ＧＬの制御として照明光ＳＬの光量のみを制御するものとしているが、外界光ＯＬに対する画像光ＧＬの制御において、さらに、空間光変調装置である液晶表示デバイス３２を制御するものとしてもよい。つまり、液晶表示デバイス３２での階調度を調整することで画像光ＧＬの局所的な調整を行うことも可能である。この場合、画素単位で明暗の調整が可能となる。

光検出装置１８０は、フォトダイオード部１８１と、レンズ１８２とで構成されているが、これに限らず、例えばフォトダイオード部１８１の部分に、フォトレジスターやフォトトランジスター等フォトダイオード以外の種々の光検出器を適用することも可能である。

また、上記では、分割数を３×３の９つとしているが、この分割パターンは一例であり、これ以外にも種々のものとすることができる。例えば、もっと多くのフォトダイオード素子を配置し、各フォトダイオードが検出する領域をさらに細かくしてもよい。また、上記では、外界光ＯＬと画像光ＧＬとが重畳する領域と、光検出装置１８０によって検出を行う範囲とを一致させるものとしているが、光検出装置１８０による検出範囲は、種々考えられ、例えば外界光として観察者に認識される範囲全体を検出するものであってもよい。

以下、図７（Ａ）により具体的な一変形例について説明する。図７（Ａ）に示すように、領域ＩＭ０全体を５×５の２５の領域に分割し、各領域について検出を行うものとしている。この場合、光検出装置１８０のフォトダイオード部１８１は、５×５の合計２５個のフォトダイオード素子１８１ａで構成されることになる。なお、領域ＩＭ０の２５の分割領域のうち、中央の３×３の９つの分割領域は、虚像の領域ＩＭ２を構成する９つの分割領域１ｃ〜９ｃに対応しているものとする。この場合、虚像の領域ＩＭ２のみならず、その周辺の外界像の明るさまで加味して虚像の明るさを調整することができる。また、図７（Ｂ）に示す他の一変形例のように、外界像側の分割と虚像側の分割とが正確には一致しないものであってもよい。図示の場合、外界像の領域ＩＭ０も虚像の領域ＩＭ２も３×３の９つに領域を分割しているが、この場合、範囲の違いから各分割領域は一致しない。このような場合であっても、例えば、領域ＩＭ０の分割領域のうち中央に位置する領域ＡＡを、領域ＩＭ２の分割領域５ｃに対応させ、領域ＩＭ０の分割領域のうち中央上方側に位置する領域ＢＢを、領域ＩＭ２の分割領域８ｃに対応させるというように、各領域を対応付けた上で制御することで、明るさを調整することができる。

また、上記では、光検出装置１８０側と光源側であるバックライト導光部３１ｂとでの分割パターンを一致させているが、分割パターンは一致していなくてもよい。また、バックライト導光部３１ｂを分割させず、一様なものとし制御部３１１は、全体光量を調整するものとしてもよい。この場合、例えば画像光の光量を、光検出装置１８０で検出された結果のうち最も明るい外界光に対応させるものとすることが考えられる。また、領域ＩＭ２の分割領域の境界が目立ったり、分割領域での光量さに起因するムラが生じたりしないように、例えば画像処理等を適宜施すものとしてもよい。

また、上記では、ステップＳ１０５における調整量の決定を、あらかじめ用意されたテーブルデータから一のパターンを選択して読み出すものとしているが、これ以外の方法で調整量を決定するものとしてもよい。例えば、９つの領域について調整量の大きさを重みづけし、重みづけされたデータとステップＳ１０３で読み取ったデータを照合し、その都度制御パターンを算出するものとしてもよい。

また、以上では、制御パターンを制御部３１１により自動的に行っているが、観察者がキー入力部３１４から適宜指令を出して、制御部３１１による制御とは異なる制御パターンで調整を行うものとしてもよい。

〔第２実施形態〕
以下、第２実施形態に係る虚像表示装置について説明する。なお、本実施形態に係る虚像表示装置は、第１実施形態に係る虚像表示装置１００の変形例であり、観察者の視線の方向を検知するための視線検知装置をさらに有して構成されることを除いて、外部の構造は虚像表示装置１００と同様であるため、全体の図示及び説明を省略する。

図８は、第１実施形態の図３に対応する図であり、本実施形態に係る虚像表示装置において視線検知装置４００を備えた状態について説明するためのものである。図示のように、視線検知装置４００は、ビームスプリッター４１０と、近赤外光線検知センサー４１１とを有する。本実施形態では、照明装置側において画像光ＧＬに重畳された状態で近赤外光線ＧＬｒが射出されるものとし、観察者の眼ＥＹの眼球において反射された近赤外光線ＧＬｒを視線検知装置４００によって検知することで、観察者の視線の方向を検知するものとなっている。本実施形態では、画像光制御部が、視線検知装置４００の検知結果として得られる観察者の視線の方向における外界光の明るさに関する情報に基づいて画像光を制御するものとなっている。これにより、観察者の視線の方向における外界光の明るさに応じて、画像光の状態を制御することができるものとなっている。

以下、虚像表示装置１００を構成する視線検知装置４００の構造について説明する。まず、視線検知装置４００のうち、ビームスプリッター４１０は、可視光領域の光及び特定の偏光状態（例えばＰ偏光とする）にある近赤外光成分を透過させ、かつ、特定の偏光状態（例えばＳ偏光とする）にある近赤外光成分を反射させる特性を有する。近赤外光線検知センサー４１１は、近赤外光線を検出する検知センサーであり、図示のように、画像光ＧＬの光路外においてビームスプリッター４１０に対向するように配置され、ビームスプリッター４１０での反射によって分岐された近赤外光成分を検知するものとなっている。

以下、視線検知装置４００を用いた視線検知の動作について説明する。ここでは、液晶表示デバイス３２は、可視光領域の各色光及びＰ偏光の近赤外光線ＧＬｒがから射出されるものとする。つまり、ビームスプリッター４１０は、近赤外光線ＧＬｒを含め液晶表示デバイス３２から射出される成分のいずれも透過させる。

ビームスプリッター４１０を透過した近赤外光線ＧＬｒは、導光装置２０等を経て眼ＥＹに示す眼球に入射する。この際、近赤外光線ＧＬｒのうち、眼ＥＹの眼球表面にある角膜で反射される角膜反射光成分と眼ＥＹの眼底部の網膜で反射される網膜反射光成分とが存在する。これらの反射光成分を捉えることができれば、視線の方向を検知できる。具体的には、まず、角膜反射光成分は高輝度でスポットの径は小さく、網膜反射光成分は低輝度でスポットの径は大きいので、両者を判別することは可能である。さらに、角膜反射光成分のスポットが視線の動きとともに素早く動きまわるのに対して、網膜は眼底部にあり殆ど動かない。従って、このほとんど静止した網膜の反射像の中を動く角膜の反射像を重ねることで、観察者の眼ＥＹの動きすなわち視線の方向を検知することができる。

液晶表示デバイス３２から射出された近赤外光線ＧＬｒは、Ｐ偏光であるため、ビームスプリッター４１０を透過するのに対し、近赤外光線ＧＬｒのうち眼ＥＹにおいて反射され光路を逆行する成分である反射光線ＲＬｒについては、Ｓ偏光の成分を含むものとなっている。従って、反射光線ＲＬｒの一部の反射光成分は、ビームスプリッター４１０において反射される。従って、当該反射光成分を近赤外光線検知センサー４１１において検知することで、視線検知装置４００は、観察者の視線の方向を検知する。

以下、図９等を参照して、光検出装置及び視線検知装置の検出結果に基づく画像光の制御について説明する。本実施形態では、光検出装置１８０において検出された外界光に関する情報に加え、視線検知装置４００において検知された観察者の視線の方向に関する情報に基づいて、制御部３１１による画像光ＧＬの光量が制御される。このため、制御部３１１は、明るさ読取部３１１ａ及び調整量決定部３１１ｂに加え、視線検知装置４００で検知された視線の方向に関する情報を読み取る視線情報読取部３１１ｃを含んでいる。なお、視線検知装置４００で検知された視線の方向に関する情報は、視線センサー４１０からコントロール装置３００の視線情報検知部３３０に送信されて制御部３１１に伝達される。

以下、図１０のフローチャートを参照して、光検出装置及び視線検知装置の検出結果に基づく画像光の制御動作の一例について説明する。

まず、虚像表示装置１００を起動させると、制御部３１１は、外界光の明るさ及び視線の方向に関する情報を初期化する処理を行い（ステップＳ２０１）、外界光の明るさに関する情報を読み取って外界光ＯＬの方位ごとの状況を確認する（ステップＳ１０２，Ｓ１０３）。さらに、制御部３１１は、視線情報検知部３３０を介して視線センサー４１０から送信される視線の方向に関する情報すなわち視線検知装置４００の測定結果を受け付け（ステップＳ２０２）、当該情報から観察者の視線に関する状況を確認する（ステップＳ２０３）。なお、制御部３１１は、読み取ったこれらの情報を記憶部３１２にそれぞれ格納する。次に、制御部３１１は、ステップＳ１０３及びステップＳ２０３において取得した情報が、これまでの情報から変更されているかを判断する（ステップＳ２０４）。つまり、記憶部３１２に既に格納されている情報とステップＳ１０３及びステップＳ２０３において取得した情報とを比較し、双方とも情報変更がなかったと制御部３１１が判断すると（ステップＳ２０４：Ｎｏ）、光源の調整量を定めた制御パターンを変更することなく維持してステップＳ１０２〜ステップＳ２０４に示す一連の動作を繰り返す。一方、ステップＳ２０４において、ステップＳ１０３及びステップＳ２０３において取得した情報のうち少なくともいずれか一方に情報変更があったと制御部３１１が判断すると（ステップＳ２０４：Ｙｅｓ）、調整量決定部３１１ｂとして、複数の制御パターンから一の制御パターンを選択して読み出し（ステップＳ１０５）、この制御パターンに従った制御をさせるべく光源駆動回路３４ａに制御信号を送信し、これに応じた光源制御がなされる（ステップＳ１０６）。制御部３１１は、上記光源制御の動作を虚像表示装置１００による画像形成動作が終了するまで繰り返す（ステップＳ１０７）。

上記の場合、調整量決定部３１１ｂによる制御パターンの選択によって、視線検知装置４００の検知結果として得られる観察者の眼ＥＹの視線の方向における外界光ＯＬの明るさに関する情報に基づいて画像光ＧＬを制御することができる。例えば、視線検知装置４００における検知結果から、図５（Ａ）等に示す９つの分割領域のうち、中央の分割領域５ｃに対応する方向に観察者の視線が向いている場合には、画像光ＧＬによる虚像の範囲ＩＭ２のうち分割領域５ｃの明るさの調整を他の領域よりも優先して調整するものとしてもよい。この場合、例えば分割領域５ｃの明るさを５番のフォトダイオード素子１８１ａで検出された明るさに合わせて調整するのみならず、分割領域５ｃの左右に隣接する分割領域も分割領域５ｃで設定した明るさとなるように調整してもよい。

以上のように、本実施形態では、外界光に関する情報に加え、観察者の視線の方向やその方向の変化といった視線に関する情報に基づいて画像光の光量が制御される。これにより、より観察者に対する影響度合いの大きい外界光の状態に対応して画像光の調整を図ることができる。

〔第３実施形態〕
以下、第３実施形態に係る虚像表示装置について説明する。なお、本実施形態に係る虚像表示装置は、第２実施形態に係る虚像表示装置の変形例であり、光検出装置１８０の構成を除いて、第２実施形態に係る虚像表示装置と同様であるため、全体の図示及び説明を省略する。

図１１は、第２実施形態の図９に対応する図であり、本実施形態に係る虚像表示装置１００のうち、光検出装置１８０について説明するための図である。図示のように、光検出装置１８０のうち、外界光ＯＬによる外界像を投影するレンズ１８２は、制御部３１１に接続されたレンズ駆動回路１８２ａにより、正面方向であるＺ方向に対して垂直な面内すなわちＸＹ面に平行な面内について並進移動可能となっている。これにより、光検出装置１８０は、視線検知装置４００で検知された観察者の視線の方向やその方向の変化といった視線に関する情報に基づいて、光検出装置１８０によって明るさを検出する範囲を変化させるものとなっている。具体的には、まず、制御部３１１が、視線検知装置４００の視線センサー４１０からの情報を視線情報検知部３３０を介して取得すると、その視線の方向に対応するようにレンズ１８２を移動させるべく、レンズ駆動回路１８２ａに駆動信号を送信する。つまり、観察者の視線の方向に対応する外界光ＯＬの成分が、光検出装置１８０を構成する９つのフォトダイオード素子１８１ａの内真ん中に位置する５番のフォトダイオード素子１８１ａにおいて検出されるようにレンズ１８２をシフトさせる。これにより、９つのフォトダイオード素子１８１ａによって観察者の視線の方向及びその周辺に関する外界光ＯＬの状態を捉えることができる。

以上のように、本実施形態では、観察者の視線に関する情報に基づいて、光検出装置１８０によって明るさを検出する範囲を変化させた上で、外界光の光量検出を行っている。これにより、観察者の視線をより優先して画像光の制御を行うことができる。

〔第４実施形態〕
以下、第４実施形態に係る虚像表示装置について説明する。なお、本実施形態に係る虚像表示装置は、第１実施形態に係る虚像表示装置１００の変形例であるため、全体の図示及び説明を省略する。

図１２（Ａ）は、正面から見た光検出装置１８０の状態を模式的に示す図である。第１実施形態等では、各フォトダイオード素子１８１ａが矩形形状であるものとしているが、フォトダイオード素子１８１ａの形状や検知する領域については、様々な態様が考えられ、例えば図示のように円形状となっていてもよい。また、図１２（Ｂ）に示すように、領域については、均等な大きさにせず、例えば中央の領域を他の領域よりも大きくし、画像光の光量調整においても、真ん中の領域の影響を優先的に取り扱うものとしてもよい。なお、図１２（Ａ）及び１２（Ｂ）は、例示であり、このほかにも、種々の分割パターンの態様が考えられ、例えば中央から同心円状に区分される分割領域で構成してもよい。

〔第５実施形態〕
以下、図１３により、第５実施形態に係る虚像表示装置について説明する。ここでは、本実施形態に係る虚像表示装置２００のうち、第１表示装置２００Ａの構造の一例について説明することで、虚像表示装置２００の構造の一例を説明する。第１表示装置２００Ａは、信号光を形成するとともに当該信号光を走査光ＴＬとして射出するための光射出装置２１０と、光射出装置２１０からの走査光ＴＬを受けて画像光ＧＬを形成する被照射部材２２０とを備える。光射出装置２１０は、観察者の鼻ＮＳ周辺に配置され、信号光形成部２１１と、走査光学系２１２とを有し、被照射部材２２０は、光射出装置２１０の前方側（＋Ｚ側）において観察者の眼ＥＹの前方を覆うように配置されている。

被照射部材２２０は、走査光の照射を受ける被照射膜（半透過膜）である半透過反射膜と、半透過反射膜を支持固定する支持部材とを有している。つまり、被照射部材２２０は、ハーフミラーである。これにより、観察者の眼ＥＹには、虚像のみならず、外界からの光も入ることになり、虚像表示装置２００は、双方を重畳して観察可能にするシースルーの構成となっている。つまり、被照射部材２２０は、虚像形成部である。

被照射部材２２０は、図示のように、観察者の眼ＥＹの前方であって光射出装置２１０よりも観察者に対して遠方側（＋Ｚ側）に位置するように配置されている。つまり、観察者の眼ＥＹと被照射部材２２０との間に光射出装置２１０が配置されている。

被照射部材２２０は、観察者の眼ＥＹを前方から覆うのに十分な大きさを有しており、光射出装置２１０の走査光学系２１２から＋Ｚ方向に傾いて照射された走査光ＴＬを受け、これを反射することで虚像を形成し、観察者に認識させるものとなっている。なお、被照射部材２２０の形状は、虚像表示装置１００の外観すなわちフレームＦＬの形状に沿った形状を有している。

以下、画像形成の動作について説明する。まず、光射出装置２１０のうち、信号光形成部２１１は、信号光を形成し、射出する。射出された信号光は、スキャン部である走査光学系２１２に入射する。走査光学系２１２は、信号光を、走査光として被照射部材２２０に向けて射出する。被照射部材２２０において、信号光を走査光として走査させて入射させることで、画像光ＧＬによって虚像が形成され、この虚像を観察者が眼ＥＹで捉えることで、画像が認識される。

本実施形態のような構成を有する虚像表示装置２００においても、光検出装置１８０を備えることで、第１実施形態等の場合と同様に、観察者が向いている方位からの外界光ＧＬの明るさに対応して、画像光ＧＬを制御し、画像光ＧＬによる画像の明るさと外界光ＯＬによる外界像の明るさとのバランスを適度なものにできる。つまり、外界光ＯＬの状態に応じて画像光ＧＬを適切な明るさに調整できる。

なお、上記では、光源として、ダイオードレーザ光源又はＬＥＤ光源を用いるものとしているが、光源は、例えば有機ＥＬ等の上記以外のものであってもよい。

〔その他〕
以上実施形態に即して本発明を説明したが、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

上記の説明では、光検出装置１８０を光学パネル１１０等すなわち導光装置２０の上方側の中央部に固定的に取り付けられるものとしているが、必要な範囲の光検出が可能であれば、光検出装置１８０の固定位置は、これ以外の箇所であっても構わない。また、導光装置２０の向きを把握でき、対象となる方向についての明るさを検出できるのであれば、光検出装置１８０は、光学パネル１１０等に固定的に取り付けられていなくてもよい。

また、上記第３実施形態等において、視線に関する情報として、両眼の視線についてそれぞれ取得するものとしてもよく、少なくとも一方の視線について取得するものとしてもよい。

また、上記第２実施形態等において、視線検知装置４００の一部又は全部が、画像表示装置１１と一体的に構成されるものとしてもよい。

上記の説明では、虚像表示装置１００がヘッドマウントディスプレイであるとして具体的な説明を行ったが、虚像表示装置１００は、ヘッドアップディスプレイに改変することもできる。

上記実施形態の虚像表示装置１００では、右眼及び左眼の双方に対応して、一組ずつ表示装置を設ける構成としているが、右眼又は左眼のいずれか一方に対してのみ例えば画像形成装置１０と導光装置２０とを設け画像を片眼視する構成にしてもよい。

また、右眼及び左眼の双方に表示装置を設ける構成とする場合、３Ｄ画像の観察において、双方の眼の位置について輻輳角や両眼視差を考慮して適した状態に位置調整できる。

上記実施形態では、光入射面ＩＳを通る第１光軸ＡＸ１と光入射面ＩＳを通る第２光軸ＡＸ２とが平行であるとしたが、これらの光軸ＡＸ１，ＡＸ２を非平行とすることもできる。

上記実施形態では、導光部材２１の第４反射面２１ｄに設けたハーフミラー層２８の反射率を５０％以下としてシースルーを優先しているが、ハーフミラー層２８の反射率を５０％以上として画像光を優先することもできる。

１０…画像形成装置、 １１…画像表示装置、 １２…投射光学系、 ２０…導光装置（虚像形成部）、 ２０ａ…本体部分、 ２１…導光部材、 ２１ａ，２１ｂ，２１ｃ，２１ｄ…第１−第４反射面、 ２３…光透過部材、 ２３ｓ…本体部分、 ２３ａ…第１面、 ２３ｂ…第２面、 ２５…ミラー層、 ２８…ハーフミラー層（半透過反射膜）、 １８０…光検出装置、 １８１…フォトダイオード部、 １８２…レンズ、 １８１ａ…フォトダイオード素子、 １００，２００…虚像表示装置、 １００Ａ…表示装置（虚像形成部）、 ３００…コントロール装置、 ３１１…制御部（画像光制御部、バックライト制御部）、 ３１１ａ…読取部、 ３１１ｂ…調整量決定部、 ３１１ｃ…視線情報読取部、 ４００…視線検知装置、 ４１０…ビームスプリッター、 ４１１…近赤外光線検知センサー、 ３１２…記憶部、 ３１５…画像処理部、 ３１９…外界光情報検出部、 ２１０…光射出装置、 ２１１…信号光形成部、 ２１２…走査光学系、 ＡＸ，ＡＸ１，ＡＸ２…光軸、 Ｂ１…光入射部、 Ｂ２…導光部、 Ｂ３…光射出部、 Ｂ４…透視部、 ＥＹ…眼、 ＧＬ，ＧＬ１，ＧＬ２…画像光、 ＯＬ…外界光、 ＩＳ…光入射面、 ＯＳ…光射出面、 ＳＬ…照明光

Claims (20)

1. 外界光を透過させるとともに画像光による虚像を形成する虚像形成部と、
   前記虚像形成部の被照射領域と重なる外界からの前記外界光の明るさを領域ごとに検出する光検出装置と、
   前記光検出装置によって検出された前記領域ごとの前記外界光の明るさに基づいて前記被照射領域の領域ごとに前記画像光を制御する画像光制御部と、
   を備える、虚像表示装置。
2. 観察者の視線の方向を検知する視線検知装置をさらに備え、
   前記画像光制御部は、前記視線検知装置の検知結果として得られる観察者の視線の方向に対応する前記領域の前記外界光の明るさに基づいて前記画像光を制御する、請求項１に記載の虚像表示装置。
3. 前記視線検知装置は、前記画像光に重畳されて射出される不可視光線のうち観察者の眼において反射されて前記画像光の光路を逆行する成分を当該光路上から分岐するビームスプリッターと、前記ビームスプリッターで分岐された当該不可視光線を検出する不可視光線検知センサーとを有する、請求項２に記載の虚像表示装置。
4. 前記光検出装置は、前記視線検知装置で検知された観察者の視線に基づいて明るさを検出する範囲を変化させる、請求項２及び請求項３のいずれか一項に記載の虚像表示装置。
5. 前記画像光制御部は、前記光検出装置の検出結果に基づいて前記領域のうち中央の領域に前記観察者の視線の方向が向いている場合に、他の領域よりも優先して前記画像光の制御を行う、請求項２から請求項４のいずれか一項に記載の虚像表示装置。
6. 前記光検出装置は、前記外界光の光量を検出するフォトダイオード部と、前記外界光による像を前記フォトダイオード部に向けて投影するレンズとを有する、請求項１から請求項５までのいずれか一項に記載の虚像表示装置。
7. 前記光検出装置において、前記フォトダイオード部は、２次元状に配置される複数のフォトダイオード素子を有して構成され、前記外界光の検出領域を前記フォトダイオード素子の配置に対応して複数に分割する、請求項６に記載の虚像表示装置。
8. 前記光検出装置は、前記被照射領域と、前記被照射領域の周辺領域と、で前記外界光の明るさを検出する、請求項１から請求項７までのいずれか一項に記載の虚像表示装置。
9. 前記光検出装置の前記領域は、前記領域ごとに異なる大きさを有する、請求項１から請求項８までのいずれか一項に記載の虚像表示装置。
10. 前記光検出装置の前記領域は、中央の領域が他の領域よりも大きく、
    前記画像光制御部は、前記画像光の制御において、前記中央の領域の検出結果を前記他の領域の検出結果よりも優先して前記画像光の制御を行う、請求項９に記載の虚像表示装置。
11. 外界光を透過させるとともに画像光による虚像を形成する虚像形成部と、
    前記虚像形成部の被照射領域及び前記被照射領域の周辺領域と重なる外界からの前記外界光の明るさを領域ごとに検出する光検出装置と、
    前記光検出装置によって検出された前記領域ごとの前記外界光の明るさに基づいて前記被照射領域の領域ごとに前記画像光を制御する画像光制御部と、
    を備える、虚像表示装置。
12. 観察者の視線の方向を検知する視線検知装置をさらに備え、
    前記画像光制御部は、前記視線検知装置の検知結果として得られる観察者の視線の方向に対応する前記領域の前記外界光の明るさに基づいて前記画像光を制御する、請求項１１に記載の虚像表示装置。
13. 前記視線検知装置は、前記画像光に重畳されて射出される不可視光線のうち観察者の眼において反射されて前記画像光の光路を逆行する成分を当該光路上から分岐するビームスプリッターと、前記ビームスプリッターで分岐された当該不可視光線を検出する不可視光線検知センサーとを有する、請求項１２に記載の虚像表示装置。
14. 前記光検出装置は、前記視線検知装置で検知された観察者の視線に基づいて明るさを検出する範囲を変化させる、請求項１２及び請求項１３のいずれか一項に記載の虚像表示装置。
15. 前記画像光制御部は、前記光検出装置の検出結果に基づいて前記領域のうち中央の領域に前記観察者の視線の方向が向いている場合に、他の領域よりも優先して前記画像光の制御を行う、請求項１２から請求項１４のいずれか一項に記載の虚像表示装置。
16. 前記光検出装置は、前記外界光の光量を検出するフォトダイオード部と、前記外界光による像を前記フォトダイオード部に向けて投影するレンズとを有する、請求項１１から請求項１５までのいずれか一項に記載の虚像表示装置。
17. 前記光検出装置において、前記フォトダイオード部は、２次元状に配置される複数のフォトダイオード素子を有して構成され、前記外界光の検出領域を前記フォトダイオード素子の配置に対応して複数に分割する、請求項１６に記載の虚像表示装置。
18. 前記光検出装置の前記領域は、前記領域ごとに異なる大きさを有する、請求項１１から請求項１７までのいずれか一項に記載の虚像表示装置。
19. 前記光検出装置の前記領域は、中央の領域が他の領域よりも大きく、
    前記画像光制御部は、前記画像光の制御において、前記中央の領域の検出結果を前記他の領域の検出結果よりも優先して前記画像光の制御を行う、請求項１８に記載の虚像表示装置。
20. 前記画像光制御部は、前記画像光となるべき照明光を発生させるバックライト光源を制御するバックライト制御部である、請求項１から請求項１９までのいずれか一項に記載の虚像表示装置。

Images