JP6339887B2

JP6339887B2 - 画像表示装置

Info

Publication number: JP6339887B2
Application number: JP2014150369A
Authority: JP
Inventors: 雅則本田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2014-07-24
Filing date: 2014-07-24
Publication date: 2018-06-06
Anticipated expiration: 2034-07-24
Also published as: JP2016024751A

Description

本発明は、画像表示装置に係り、更に詳しくは、ユーザが視認可能な表示エリア上に画像を表示する画像表示装置の改良に関する。

ＨＭＤ（Head Mounted Display）は、ユーザの頭部に装着する画像表示装置であり、両方又は片方の目の前方に配置されるスクリーンに映像を投影することにより、ユーザにＶＲ（バーチャルリアリティ：仮想現実）を体感させるウエアラブルデバイスの一つとして知られている（例えば、特許文献１）。この種の画像表示装置では、ユーザの視界がスクリーンによって遮られることから、手や指の位置を目で見て確認するのは容易ではなく、キーボード、マウス等の入力装置を操作する際の操作性が良くないという問題があった。

特許文献１には、操作対象を示すアイコンを仮想的に表示する一方、操作者の手や指をカメラにより撮影して、アイコンに対する操作者の動きを検知し、手や指の動きを表示してアイコンを操作する技術が開示されている。この技術によれば、手や入力装置の位置を実際に確認しなくても、仮想的に表示されるアイコンを操作することができる。

特開平８−６７０８号公報

しかしながら、上述した様な従来の画像表示装置では、操作対象を示すアイコンを表示エリア内に表示する必要があることから、アイコンの分だけ表示範囲が狭くなってしまうという問題があった。また、手又は指の動きを検知してアイコンを操作することから、両手が塞がっている場合に、表示エリアに表示中の画像を拡大し、或いは、縮小することができないという問題もあった。

本発明は、上記の事情に鑑みてなされたものであり、表示範囲を狭くすることなく、表示エリアに表示中の画像を拡大又は縮小する際の操作性を向上させることができる画像表示装置を提供することを目的とする。特に、両手が塞がっている場合であっても、表示画像の拡大又は縮小を容易に行うことができる画像表示装置を提供することを目的とする。

本発明による画像表示装置は、ユーザの頭部の動きを検出する頭部検出手段と、上記ユーザが視認可能な表示エリアを有し、上記表示エリア上に表示画像を表示する画像表示手段と、上記頭部の検出結果に基づいて、スケーリング倍率を決定するスケーリング倍率決定手段と、上記スケーリング倍率に基づいて、上記表示画像をスケーリングするスケーリング手段とを備え、上記スケーリング倍率決定手段が、上記頭部の前後方向の動きに応じて、上記スケーリング倍率を変更するように構成される。

この様な構成によれば、ユーザの頭部の動きを検出し、頭部の前後方向の動きに応じて表示画像のスケーリング倍率を変更するので、頭部を前方又は後方へ移動させるだけで、表示エリア上の表示画像を拡大又は縮小することができる。また、アイコンなどの操作オブジェクトを表示エリア内に表示する必要がないので、表示範囲が操作オブジェクトの分だけ狭くなるのを防止することができる。

本発明によれば、表示範囲を狭くすることなく、表示エリアに表示中の画像を拡大又は縮小する際の操作性を向上させた画像表示装置を提供することができる。特に、両手が塞がっている場合であっても、表示画像の拡大又は縮小を容易に行うことができる画像表示装置を提供することができる。

本発明の実施の形態１による画像表示装置１の一構成例を示した斜視図である。図１の画像表示部１２の構成例を模式的に示した説明図であり、左目表示部１２Ｌを上から見た場合が示されている。図１の画像表示装置１の動作の一例を示した図であり、左目用及び右目用の表示画像をそれぞれ表示する左目表示部１２Ｌ及び右目表示部１２Ｒが示されている。図１のコントローラ部２０の構成例を示したブロック図である。図１の画像表示装置１の動作の一例を模式的に示した説明図であり、ユーザの頭部５を前後方向に移動させて表示画像を拡大又は縮小させる場合が示されている。図１の画像表示装置１の動作の一例を示した図であり、表示エリア１２６内に予め定められる倍率変更エリアＡＥが示されている。図１の画像表示装置１における動画撮影時の動作の一例を示したフローチャートである。本発明の実施の形態２による画像表示装置１の一構成例を示した斜視図であり、自動車の車内に設置されたＨＵＤ型の画像表示部３０が示されている。図８の画像表示装置１の動作の一例を示した図であり、３つの表示エリア３４ａ〜３４ｃに分割された投影エリア３４が示されている。図８の画像表示装置１におけるコントローラ部４０の構成例を示したブロック図である。

実施の形態１．
＜画像表示装置１＞
図１は、本発明の実施の形態１による画像表示装置１の一構成例を示した斜視図である。図中には、接続ケーブル２を介して互いに接続されたヘッドセット部１０及びコントローラ部２０からなる画像表示装置１が示されている。この画像表示装置１は、眼鏡型のＨＭＤであり、ユーザの頭部に装着するヘッドセット部１０と、ヘッドセット部１０を制御するコントローラ部２０とにより構成される。

ヘッドセット部１０は、頭部装着ユニットであり、加速度センサ３、視線検知用のカメラ４及びフレーム部１１と、左目表示部１２Ｌ及び右目表示部１２Ｒからなる画像表示部１２とにより構成される。

フレーム部１１は、眼前に配置され、顔面に沿って左右方向に延びる形状のレンズ保持部１１ａと、側頭部に沿って前後方向に延びる形状のテンプル部１１ｂとからなる。画像表示部１２は、映像を表示し、ユーザに視認させる。左目表示部１２Ｌは、ユーザの左目に映像を視認させるための表示部であり、左目の前方に配置される。右目表示部１２Ｒは、ユーザの右目に映像を視認させるための表示部であり、右目の前方に配置される。左目表示部１２Ｌ及び右目表示部１２Ｒは、フレーム部１１のレンズ保持部１１ａに保持される。

加速度センサ３は、ユーザの頭部の動きを検知するために、フレーム部１１に生じる加速度を検出するセンサである。例えば、加速度センサ３には、復帰用のばねに接続された可動体の微小な位置の変化を静電容量の変化に基づいて検知する機械的変位計測方式の静電容量型センサが用いられる。この加速度センサ３は、フレーム部１１のテンプル部１１ｂに配設されている。

カメラ４は、ユーザの視線を検知するために、ユーザの目を被写体として撮影する撮像装置であり、投光装置、結像レンズ及び撮像素子により構成される。投光装置は、検出光を眼球に向けて出射する照明装置であり、検出光を生成する発光素子と、検出光を平行光に変換する投光レンズとからなる。例えば、検出光には、赤外線が用いられ、発光素子には、ＬＥＤ（発光ダイオード）が用いられる。

結像レンズは、角膜により反射された検出光を撮像素子の受光面上に結像させる光学素子である。撮像素子は、検出光を受光し、結像した像の光の明暗を電気信号に変換して撮影画像を生成するイメージセンサである。例えば、撮像素子には、ＣＣＤ（電荷結合素子）イメージセンサが用いられる。このカメラ４は、フレーム部１１のレンズ保持部に配設されている。このカメラ４は、左目を撮影するカメラであり、レンズ保持部１１ａにおける左目表示部１２Ｌの上方に配置されている。

コントローラ部２０は、ユーザ操作を受け付け、ヘッドセット部１０を制御する制御ユニットであり、直方体形状の薄型筐体の前面に、カメラ２１、タッチパネル２２及び操作キー２３が設けられている。例えば、コントローラ部２０は、通話機能を含む各種機能を有する携帯電話機からなる。

カメラ２１は、コントローラ部２０の前方の風景などを被写体として撮影する撮像装置である。タッチパネル２２は、各種情報が表示される表示画面を有し、表示画面に対するタッチ操作を検出する表示装置である。操作キー２３は、押下型の接点式スイッチからなり、各種機能が割り当てられる。例えば、後述するズーム機能の有効又は無効を切り替える機能が操作キー２３に割り当てられる。

このコントローラ部２０は、投影用の画像データを生成するとともに、加速度センサ３の出力に基づいて、頭部の動きを検知し、また、カメラ４により撮影された画像データに基づいて、視線を検知する。

＜画像表示部１２＞
図２は、図１の画像表示部１２の構成例を模式的に示した説明図であり、左目表示部１２Ｌを上から見た場合が示されている。この左目表示部１２Ｌは、外界の様子を直接に視認可能な光学透過型の表示装置であり、投影装置１２１、投光レンズ１２２、プリズム１２３、導光板１２４及びハーフミラー層１２５により構成される。

投影装置１２１は、表示画像を投影する装置であり、前方に向けて配置される。例えば、投影装置１２１は、画像を表示画面上に表示する液晶パネルと、液晶パネルの表示画面に背面側から可視光を照射し、映像光を生成するためのバックライトとからなる。

プリズム１２３は、投影装置１２１の前方に配置され、投影装置１２１から投光レンズ１２２を介して入射される映像光をハーフミラー層１２５に向けて反射する。導光板１２４は、プリズム１２３及びハーフミラー層１２５を収容する略矩形の平板状の光学素子であり、視線と交差するように配置され、右端部に入射される映像光をハーフミラー層１２５へ導光する。ハーフミラー層１２５は、プリズム１２３から入射される映像光を後方に向けて反射する一方、前方から入射される外光を透過させる。

図３は、図１の画像表示装置１の動作の一例を示した図であり、左目用及び右目用の表示画像をそれぞれ表示する左目表示部１２Ｌ及び右目表示部１２Ｒが示されている。図中には、フレーム部１１のレンズ保持部１１ａを後方から見た様子が示されている。

左目表示部１２Ｌ及び右目表示部１２Ｒには、ハーフミラー層１２５の位置に対応して、ユーザが視認可能な表示エリア１２６がそれぞれ形成され、ハーフミラー層１２５により反射された映像光からなる表示画像が表示エリア１２６上に表示されている。

例えば、表示エリア１２６は、横長の矩形形状からなる。左右の表示エリア１２６には、左目用及び右目用の表示画像がそれぞれ表示される。この様なヘッドセット部１０を使用することにより、ユーザは、任意の姿勢で映像を閲覧することができる。

画像表示部１２に表示される映像には、カメラ２１により撮影した撮影画像と、外部機器から取得した画像と、現在地から目的地までの経路を含むナビゲーション地図と、放送波を受信して得られるＴＶ映像とがある。例えば、カメラ２１により撮影した動画像が画像表示部１２に表示される。また、インターネット上のウェブサイトからダウンロードした映像コンテンツが画像表示部１２に表示される。また、これらの映像は、モノクロ画像又はカラー画像からなる動画像又は静止画像として供給される。

この画像表示装置１では、ユーザの頭部の動きを検知して、表示エリア１２６に表示中の画像を拡大又は縮小する動作が行われる。表示画像の拡大又は縮小は、表示エリア１２６内の視線位置を中心として行われる。

＜コントローラ部２０＞
図４は、図１のコントローラ部２０の構成例を示したブロック図である。このコントローラ部２０は、カメラ２１、操作キー２３、撮影画像記憶部２０１、頭部検出部２１１、スケーリング倍率決定部２１２、スケーリング部２１３、表示画像記憶部２１４、通信部２１５、視線検出部２２１、スケーリング中心決定部２２２及び倍率変更許可部２２３により構成される。

撮影画像記憶部２０１には、カメラ２１により撮影した撮影画像が保持される。頭部検出部２１１は、加速度センサ３の出力に基づいて、ユーザの頭部の動きを検出し、その検出結果をスケーリング倍率決定部２１２へ出力する。例えば、前後方向の加速度成分に基づいて、頭部の前後方向の動きが検出される。すなわち、頭部の移動距離及び移動方向が検出される。

スケーリング倍率決定部２１２は、頭部の検出結果に基づいて、表示エリア１２６に表示される画像のサイズを規定するスケーリング倍率を決定する。具体的には、頭部の前後方向の動きに応じて、スケーリング倍率を変更する動作が行われる。例えば、予め定められた距離Ｄ１を超えて頭部が前方に移動した場合に、スケーリング倍率を一定量だけ変更し、表示画像を拡大させる。一方、予め定められた距離Ｄ２を超えて頭部が後方に移動した場合には、スケーリング倍率を一定量だけ変更し、表示画像を縮小させる。

スケーリング部２１３は、スケーリング倍率に基づいて、表示画像をスケーリングする。例えば、スケーリング部２１３は、撮影画像記憶部２０１から撮影画像を読み出し、スケーリング倍率に従って画像サイズを変換することにより、画像表示部１２に表示するための表示画像を生成し、表示画像記憶部２１４内に格納する。また、スケーリング部２１３は、スケーリング倍率が変更されれば、表示画像記憶部２１４内の表示画像を更新する。通信部２１５は、接続ケーブル２を介してヘッドセット部１０と通信し、表示画像記憶部２１４から表示画像を読み出して画像表示部１２へ送信する。

この様な構成によれば、頭部の前後方向の動きに応じて、スケーリング倍率が変更され、表示画像が更新されるので、頭部を前方又は後方へ移動させることにより、表示画像を拡大又は縮小させることができる。ここでは、表示画像が誤って拡大又は縮小されるのを防止するために、スケーリング倍率決定部２１２は、操作キー２３の押下操作に基づいて、頭部の動きに連動するズーム機能を有効化し、当該ズーム機能が有効な期間内において、頭部の動きに応じてスケーリング倍率を変更する動作を行う。

なお、ここでいう表示画像の拡大又は縮小は、表示エリア１２６における画像の表示サイズの拡大又は縮小である。従って、撮影画像のピクセル数が表示画像に比べて多い場合、撮影画像を元画像として画像サイズを縮小することにより、表示画像が作製される。例えば、元画像の縮小処理は、ピクセルデータをスケーリング倍率に応じて間引くことによって行われる。従って、表示画Ａを表示画Ｂに拡大又は縮小する処理は、共通の元画像から表示画Ａ及びＢを生成する際の縮小率を異ならせることによって行われる。

また、カメラ２１が光学的に撮影倍率を変更可能である場合は、カメラ２１の撮影倍率を変更することにより、表示画像のスケーリング倍率を変更するような構成であっても良い。

視線検出部２２１は、カメラ４により撮影された撮影画像に基づいて、ユーザの視線を検出し、その検出結果をスケーリング中心決定部２２２及び倍率変更許可部２２３へ出力する。例えば、撮影画像の特徴点を解析し、眼球の輪郭や角膜、虹彩の位置を特定することにより、眼球の回転角から視線方向が推定される。また、カメラ４及び眼球の相対的な位置関係を特定することにより、表示エリア１２６上の視線位置Ｐが推定される。

スケーリング中心決定部２２２は、視線の検出結果に基づいて、表示画像上におけるスケーリング中心ＳＣを決定する。例えば、スケーリング中心決定部２２２は、視線位置Ｐに対応する表示画像上の位置をスケーリング中心ＳＣとして指定する。スケーリング部２１３は、表示画像のスケーリング中心ＳＣを移動させることなく、表示画像をスケーリングする。

この様にスケーリング中心ＳＣを中心として表示画像をスケーリングすることにより、表示中の画像を拡大させた際に、視線位置Ｐの画像が表示エリア１２６の外に移動して視認できなくなるのを抑制することができる。

倍率変更許可部２２３は、視線が倍率変更エリアＡＥ内に属するか否かを判別し、倍率変更エリアＡＥ内であれば、スケーリング倍率決定部２１２に対し、スケーリング倍率の変更を許可する。倍率変更許可部２２３は、視線が倍率変更エリアＡＥ外であれば、スケーリング倍率の変更を許可しない。倍率変更エリアＡＥは、表示エリア１２６の中央を含み、表示エリア１２６の端部を含まないエリアである。

スケーリング倍率決定部２１２は、倍率変更が許可されている場合に、スケーリング倍率を変更し、倍率変更が許可されていない場合に、スケーリング倍率を変更しない。この様にスケーリング倍率を変更する場合のスケーリング中心ＳＣを倍率変更エリアＡＥ内に制限することにより、頭部の動きとスケーリング中心ＳＣとが大きくずれるのを防止し、酔いが生じるのを抑制することができる。

図５は、図１の画像表示装置１の動作の一例を模式的に示した説明図であり、ユーザの頭部５を前後方向に移動させて表示画像を拡大又は縮小させる場合が示されている。この図では、頭部５にヘッドセット部１０を装着したユーザを左方から見た様子と、表示画像を表示する表示エリア１２６とが示されている。

図中の（ａ）には、頭部５を前方に移動させて表示画像を拡大させる場合が示されている。腰部を中心として上体を前方へ傾ければ、頭部５が前方に移動する。具体的には、上体を前方へ傾けつつ、上体に対して頭部５を相対的に後方へ傾けることにより、顔面を前方に向けた状態を維持しながら、頭部５を前方に移動させることができる。この様な頭部５の前後方向の動きに連動してスケーリング倍率を変更することにより、表示画像が拡大する。

図中の（ｂ）には、頭部５を後方に移動させて表示画像を縮小させる場合が示されている。腰部を中心として上体を後方へ傾ければ、頭部５が後方に移動する。具体的には、上体を後方へ傾けつつ、上体に対して頭部５を相対的に前方へ傾けることにより、顔面を前方に向けた状態を維持しながら、頭部５を後方に移動させることができる。この様な頭部５の前後方向の動きに連動してスケーリング倍率を変更することにより、表示画像が縮小する。

ユーザの前方に固定された静止物体は、頭部５を前方へ移動させることにより、ユーザの目から静止物体までの距離が近くなるので、視野内において、より大きな物体として知覚される。一方、頭部５を後方へ移動させることにより、視野内において、より小さな物体として知覚される。本実施の形態による画像表示装置１では、頭部５の前後方向の動きに連動してスケーリング倍率を変更することにより、直感的な身体の動きによって表示画像を拡大又は縮小させることができる。

＜倍率変更エリアＡＥ＞
図６は、図１の画像表示装置１の動作の一例を示した図であり、表示エリア１２６内に予め定められる倍率変更エリアＡＥが示されている。この倍率変更エリアＡＥは、表示エリア１２６の中央を中心とする楕円形状のエリアであり、表示エリア１２６の周縁部を含まないように指定される。

視線位置Ｐが倍率変更エリアＡＥに属しているか否かに応じて、スケーリング倍率の変更が許可される。つまり、視線位置Ｐが倍率変更エリアＡＥに属している場合にのみ、スケーリング倍率の変更が許可され、頭部５の動きに応じてスケーリング倍率が変更される。表示画像の拡大又は縮小処理は、視線位置Ｐをスケーリング中心ＳＣとして行われる。この様に、ユーザに任意に指定させるスケーリング中心ＳＣを倍率変更エリアＡＥ内に制限することにより、頭部５の動きとスケーリング中心ＳＣとが大きくずれ、酔いが発生するのを抑制することができる。

表示エリア１２６の中央点は、スケーリング中心ＳＣのデフォルト位置ＳＣ_１であり、視線移動によってスケーリング中心ＳＣの位置を変更しない場合と、視線位置Ｐを検知してスケーリング中心ＳＣを決定する機能が無効である場合とには、デフォルト位置ＳＣ_１を中心として表示画像の拡大又は縮小が行われる。

図７のステップＳ１０１〜Ｓ１１５は、図１の画像表示装置１における動画撮影時の動作の一例を示したフローチャートである。この図には、コントローラ部２０に設けられたカメラ２１を用いて、周囲の風景などを被写体として撮影する場合の処理手順が示されている。

まず、コントローラ部２０は、撮影開始を指示するユーザ操作に基づいて、カメラ２１を起動し、動画撮影を開始して撮影画像を取得し、表示画像をスケーリングして画像表示部１２の表示エリア１２６上に表示する（ステップＳ１０１）。

次に、コントローラ部２０は、操作キー２３の押下操作により、頭部５の動きに連動するズーム機能を有効化することがユーザにより指示されれば（ステップＳ１０２）、倍率設定を参照する（ステップＳ１０３）。例えば、撮影画像に対し、顔認証処理を行い、被写体の顔が表示エリア１２６からはみ出さない範囲内に、スケーリング倍率を制限する機能に対し、当該機能が有効又は無効のいずれであるのかを示す選択情報が倍率設定として保持される。

また、頭部５の動きに連動するズーム機能が有効であることをユーザ報知する機能に対し、当該機能が有効又は無効のいずれであるのかを示す選択情報が倍率設定として保持される。このユーザ報知機能を選択した場合に、報知方法の選択情報が倍率設定として保持される。報知方法には、ヘッドセット部１０のフレーム部１１又は画像表示部１２に設けられるインジケータを点灯又は点滅させて通知する方法と、表示エリア１２６内にアイコンを表示させて通知する方法と、フレーム部１１に設けられるバイブレータを振動させて通知する方法と、フレーム部１１に設けられるスピーカから報知音を出力する方法と、コントローラ部２０に設けられるインジケータを点灯又は点滅させて通知する方法と、タッチパネル２２の表示画面内にアイコンを表示させて通知する方法と、コントローラ部２０に設けられるバイブレータを振動させて通知する方法と、コントローラ部２０に設けられるスピーカから報知音を出力する方法とがあり、ユーザは、これらの報知方法を任意に指定することができる。

また、視線位置Ｐを検知してスケーリング中心ＳＣを決定する機能に対し、当該機能が有効又は無効のいずれであるのかを示す選択情報が倍率設定として保持される。また、表示画像のみ拡大又は縮小を行い、記録用の撮影画像については拡大又は縮小を行わない機能に対し、当該機能が有効又は無効のいずれであるのかを示す選択情報が倍率設定として保持される。また、頭部５の移動距離とスケーリング倍率の変更量との比率を示す選択情報が倍率設定として保持される。この比率には、頭部５の移動距離にかかわらず一定量だけスケーリング倍率を変更させる場合と、頭部５の移動距離に応じてスケーリング倍率の変更量を変化させる場合とのいずれかを選択することができる。

ここでは、頭部５の動きに連動するズーム機能が有効であることをユーザ報知する機能が選択され、表示画像のみ拡大又は縮小を行い、記録用の撮影画像については拡大又は縮小を行わない機能は、無効である。

次に、コントローラ部２０は、頭部５の動きを検出し、頭部５の前後方向の動きに応じてスケーリング倍率を変更し、頭部５の動きに連動して倍率変更が可能であることをユーザに通知する（ステップＳ１０４〜Ｓ１０６）。ステップＳ１０４からステップＳ１０６までの処理手順は、録画開始を指示するユーザ操作が検知されるまで繰り返される（ステップＳ１０７）。

次に、コントローラ部２０は、録画開始を指示するユーザ操作に基づいて、撮影画像を記憶する録画処理を開始する（ステップＳ１０８）。次に、コントローラ部２０は、頭部５の動きを検出し、頭部５の前後方向の動きに応じてスケーリング倍率を変更する（ステップＳ１０９，Ｓ１１０）。ステップＳ１０８からステップＳ１１０までの処理手順は、録画終了を指示するユーザ操作が検知されるまで繰り返され（ステップＳ１１１）、録画終了が指示されれば、この処理は終了する。

一方、コントローラ部２０は、ステップＳ１０２において、頭部５の動きに連動するズーム機能を有効化することがユーザにより指示されなければ、動画撮影を継続し、表示画像の表示を維持する（ステップＳ１１２）。次に、コントローラ部２０は、録画開始を指示するユーザ操作が検知されれば（ステップＳ１１３）、撮影画像を記憶する録画処理を開始する（ステップＳ１１４）。ステップＳ１１４の処理手順は、録画終了を指示するユーザ操作が検知されるまで繰り返され（ステップＳ１１５）、録画終了が指示されれば、この処理は終了する。

本実施の形態による画像表示装置１では、ユーザの頭部５の動きを検出し、頭部５の前後方向の動きに応じて表示画像のスケーリング倍率を変更するので、頭部５を前方又は後方へ移動させるだけで、表示エリア１２６上の表示画像を拡大又は縮小することができる。また、アイコンなどの操作オブジェクトを表示エリア１２６内に表示する必要がないので、表示範囲が操作オブジェクトの分だけ狭くなるのを防止することができる。従って、表示範囲を狭くすることなく、表示エリア１２６に表示中の画像を拡大又は縮小する際の操作性を向上させることができる。

実施の形態２．
実施の形態１では、画像表示装置１が眼鏡型のＨＭＤからなる場合の例について説明した。これに対し、本実施の形態では、画像表示装置１が自動車の車内に設置されるＨＵＤ（Head Up Display：ヘッドアップディスプレイ）型の画像表示部を備える場合について説明する。

＜画像表示部３０＞
図８は、本発明の実施の形態２による画像表示装置１の一構成例を示した斜視図であり、自動車の車内に設置されたＨＵＤ型の画像表示部３０が示されている。この画像表示装置１は、自動車の車内に設置される画像表示部３０と、画像表示部３０を制御するコントローラ部４０とにより構成される。画像表示部３０は、運転席側の天井に設置される車載ユニットであり、投影装置３１、投影スクリーン３２及び頭部検知用のカメラ３３により構成される。コントローラ部４０は、車内に設置される。

投影装置３１は、表示画像を投影スクリーン３２上に投影する装置であり、前方に向けて配置される。例えば、投影装置３１は、画像を表示画面上に表示する液晶パネルと、液晶パネルの表示画面に背面側から可視光を照射し、映像光を生成するためのバックライトとからなる。

投影スクリーン３２は、ハーフミラー層を収容する略矩形の平板状の光学素子からなり、視線と交差するように、ユーザの頭部５とフロントガラスとの間に配置されている。ハーフミラー層は、投影装置３１から入射される映像光を後方に向けて反射する一方、前方から入射される外光を透過させる。

カメラ３３は、ユーザの頭部５の動き及び視線を検知するために、ユーザの目を被写体として撮影する撮像装置である。例えば、カメラ３３により撮影された画像の特徴点を解析し、カメラ３３からユーザの目までの距離を特定することにより、頭部５の前後方向の動きが検知される。

また、眼球の輪郭や角膜、虹彩の位置を特定することにより、眼球の回転角から視線方向が推定される。また、カメラ３３及び眼球の相対的な位置関係を特定することにより、投影スクリーン３２上の視線位置Ｐが推定される。このカメラ３３は、投影装置３１に設けられている。

図９は、図８の画像表示装置１の動作の一例を示した図であり、３つの表示エリア３４ａ〜３４ｃに分割された投影エリア３４が示されている。この画像表示装置１では、ユーザの視線を検知して、投影スクリーン３２上における視線位置Ｐを特定することにより、３つの表示エリア３４ａ〜３４ｃのいずれかがスケーリング対象エリアとして選択される。頭部５の動きに連動するズーム機能は、スケーリング対象エリアに表示中の画像に基づいて行われる。

投影エリア３４は、ユーザが視認可能な表示エリアであり、投影スクリーン３２上において映像光が投影される領域からなる。この投影エリア３４は、ハーフミラー層の位置に対応して形成され、ハーフミラー層により反射された映像光からなる表示画像が表示されている。この例では、現在地、現在地から目的地までの経路、通過点までの距離、進行方向、現在時刻等を含む地図情報が投影エリア３４上に表示されている。

表示エリア３４ａは、投影エリア３４の左端部に形成され、通過点までの距離、進行方向及び現在時刻が表示されている。表示エリア３４ｂは、投影エリア３４の中央部及び右端部を含むエリアであり、現在地や現在地から目的地までの経路がシンボル、図形等によって示された地図画像が表示されている。表示エリア３４ｃは、投影エリア３４の下端部に形成されたエリアである。

ユーザは、視線を移動させて表示エリア３４ａ〜３４ｃのいずれかをスケーリング対象エリアとして選択した後、頭部５を前方又は後方へ移動させることにより、当該表示エリアに表示中の画像を拡大又は縮小させることができる。例えば、表示エリア３４ａをスケーリング対象エリアとして選択し、頭部５を前方へ移動させれば、通過点までの詳細地図が表示される。

また、表示エリア３４ｂをスケーリング対象エリアとして選択し、頭部５を前後方向に移動させれば、頭部５の移動方向及び移動距離に応じて、地図の縮尺が変更される。また、表示エリア３４ｃをスケーリング対象エリアとして選択し、頭部５を前後方向に移動させれば、投影エリア３４に表示中の画像全体に対し、頭部５の移動方向及び移動距離に応じて、スケーリング倍率が変更される。或いは、表示エリア３４ｃをスケーリング対象エリアとして選択した場合、頭部５を前後方向に移動させることにより、頭部５の移動方向及び移動距離に応じて、地図上に重ねて表示されている文字のフォントサイズが拡大又は縮小される。

＜コントローラ部４０＞
図１０は、図８の画像表示装置１におけるコントローラ部４０の構成例を示したブロック図である。このコントローラ部４０は、地図情報記憶部４０１、頭部検出部４１１、スケーリング倍率決定部４１２、スケーリング部４１３、表示画像記憶部４１４、通信部４１５、視線検出部４２１及び対象エリア選択部４２２により構成される。

スケーリング倍率決定部４１２、スケーリング部４１３、表示画像記憶部４１４、通信部４１５及び視線検出部４２１は、図４のコントローラ部２０におけるスケーリング倍率決定部２１２、スケーリング部２１３、表示画像記憶部２１４、通信部２１５及び視線検出部２２１と同様の構成からなり、重複する説明を省略する。

地図情報記憶部４０１には、地図情報が保持される。頭部検出部４１１は、カメラ３３により撮影された撮影画像に基づいて、ユーザの頭部の動きを検出し、その検出結果をスケーリング倍率決定部２１２へ出力する。例えば、撮影画像の特徴点を解析し、眼球までの距離の変化から、頭部５の前後方向の動きが検出される。すなわち、頭部の移動距離及び移動方向が検出される。

スケーリング部４１３は、地図情報記憶部４０１から地図情報を読み出し、スケーリング倍率に従って画像サイズを変換することにより、画像表示部３０に表示するための表示画像を生成し、表示画像記憶部４１４内に格納する。

対象エリア選択部４２２は、視線の検出結果に基づいて、２以上の表示エリア３４ａ〜３４ｃのいずれかをスケーリング対象エリアとして選択する。この対象エリア選択部４２２は、視線が表示エリア３４ａ〜３４ｃのいずれに属するのかを判別し、同一の表示エリア内に一定時間を超えて視線が属している場合に、当該表示エリアをスケーリング対象エリアとして選択する。一方、対象エリア選択部４２２は、視線がスケーリング対象エリアから出た場合に、スケーリング対象エリアの選択を解除する。スケーリング部４１３は、スケーリング対象エリアの表示画像をスケーリングする。

本実施の形態による画像表示装置１では、視線移動により、スケーリング対象エリアを選択することができる。また、同一の表示エリア内に一定時間を超えて視線が属している場合に、当該表示エリアをスケーリング対象エリアとして選択し、スケーリング対象エリアに表示中の画像に対し、頭部５の前後方向の動きに応じてスケーリング倍率を変更するので、表示画像が誤って拡大又は縮小されるのを防止することができる。

なお、実施の形態１では、カメラ２１により撮影された撮影画像が画像表示部１２に表示される場合の例について説明した。また、実施の形態２では、地図情報が画像表示部３０に表示される場合の例について説明した。本発明は、画像表示部に表示される画像をこれに限定するものではない。例えば、前方の風景などを被写体として撮影するカメラをヘッドセット部１０に設け、このカメラにより撮影された画像を画像表示部１２の表示エリア１２６上に表示することにより、ユーザの視界を仮想的に再現させるような構成のものにも本発明は適用することができる。

また、実施の形態１では、加速度センサ３を用いてユーザの頭部５の動きが検知される場合の例について説明した。また、実施の形態２では、カメラ３３により撮影された撮影画像を解析して頭部５の動きが検知される場合の例について説明した。本発明は、頭部５の動きを検知する方法をこれに限定するものではない。例えば、コリオリの力を利用して姿勢変化を検出するジャイロセンサを用いて、頭部５の動きを検知するような構成であっても良い。

また、実施の形態１及び２では、画像表示部とコントローラ部とが別体である場合の例について説明したが、本発明は、画像表示装置１の構成をこれに限定するものではない。例えば、画像表示部及びコントローラ部を一体化したものにも本発明は適用することができる。

また、実施の形態１では、ヘッドセット部１０及びコントローラ部２０が接続ケーブル２を介して接続される場合の例について説明したが、本発明は、ヘッドセット部１０及びコントローラ部２０間の接続形態をこれに限定するものではない。例えば、近距離無線通信又は赤外線通信などの無線通信により、ヘッドセット部１０及びコントローラ部２０を接続するような構成であっても良い。

本発明の実施の形態による画像表示装置１の構成と対応する作用効果とを以下に整理してまとめる。
第１の本発明による画像表示装置１は、ユーザの頭部５の動きを検出する頭部検出部２１１と、ユーザが視認可能な表示エリア１２６を有し、表示エリア１２６上に表示画像を表示する画像表示部１２と、頭部５の検出結果に基づいて、スケーリング倍率を決定するスケーリング倍率決定部２１２と、スケーリング倍率に基づいて、表示画像をスケーリングするスケーリング部１１３とを備え、スケーリング倍率決定部２１２が、頭部５の前後方向の動きに応じて、スケーリング倍率を変更するように構成される。

この様な構成によれば、ユーザの頭部５の動きを検出し、頭部５の前後方向の動きに応じて表示画像のスケーリング倍率を変更するので、頭部５を前方又は後方へ移動させるだけで、表示エリア１２６上の表示画像を拡大又は縮小することができる。また、アイコンなどの操作オブジェクトを表示エリア１２６内に表示する必要がないので、表示範囲が操作オブジェクトの分だけ狭くなるのを防止することができる。

第２の本発明による画像表示装置１は、上記構成に加え、ユーザの視線を検出する視線検出部２２１と、視線の検出結果に基づいて、表示画像上におけるスケーリング中心ＳＣを決定するスケーリング中心決定部２２２とを備え、スケーリング部２１３が、表示画像のスケーリング中心ＳＣを移動させることなく、表示画像をスケーリングするように構成される。この様な構成によれば、ユーザは、視線移動により、スケーリング中心ＳＣを任意に指定することができる。また、スケーリング中心ＳＣを移動させることなく、表示画像をスケーリングするので、表示画像を拡大させた際に、視線位置Ｐの画像が表示エリア１２６の外に移動し、視認できなくなるのを防止することができる。

第３の本発明による画像表示装置１は、上記構成に加え、視線が、表示エリア１２６の中央を含み、端部を含まない倍率変更エリアＡＥ内に属するか否かを判別し、倍率変更エリアＡＥ内であれば、スケーリング倍率の変更を許可する倍率変更許可部２２３を備え、スケーリング倍率決定部２１２が、倍率変更が許可されている場合に、スケーリング倍率を変更し、倍率変更が許可されていない場合に、スケーリング倍率を変更しないように構成される。この様な構成によれば、頭部５の動きに連動するスケーリングを視線位置Ｐが倍率変更エリアＡＥ内に存在する場合に制限することにより、頭部５の動きとスケーリング中心ＳＣとが大きくずれ、酔いが発生するのを抑制することができる。

第４の本発明による画像表示装置１は、上記構成に加え、ユーザの視線を検出する視線検出部４２１と、視線の検出結果に基づいて、２以上の表示エリア３４ａ〜３４ｃのいずれかをスケーリング対象エリアとして選択する対象エリア選択部４２２とを備え、スケーリング部４１３が、スケーリング対象エリアの表示画像をスケーリングするように構成される。この様な構成によれば、ユーザは、視線移動により、スケーリング対象エリアを任意に指定することができる。

第５の本発明による画像表示装置１は、上記構成に加え、対象エリア選択部４２２が、視線が表示エリア３４ａ〜３４ｃのいずれに属するのかを判別し、同一の表示エリア内に一定時間を超えて視線が属している場合に、当該表示エリアをスケーリング対象エリアとし、視線がスケーリング対象エリアから出た場合に、スケーリング対象エリアの選択を解除するように構成される。この様な構成によれば、同一の表示エリア内に一定時間を超えて視線が属している場合に、当該表示エリアをスケーリング対象エリアとし、スケーリング対象エリアの表示画像をスケーリングすることにより、表示画像が誤って拡大又は縮小されるのを抑制することができる。

１画像表示装置
１０ヘッドセット部
１１フレーム部
１１ａレンズ保持部
１１ｂテンプル部
１２画像表示部
１２Ｌ左目表示部
１２Ｒ右目表示部
１２１投影装置
１２２投光レンズ
１２３プリズム
１２４導光板
１２５ハーフミラー層
１２６表示エリア
２０コントローラ部
２１カメラ
２２タッチパネル
２３操作キー
２０１撮影画像記憶部
２１１頭部検出部
２１２スケーリング倍率決定部
２１３スケーリング部
２１４表示画像記憶部
２１５通信部
２２１視線検出部
２２２スケーリング中心決定部
２２３倍率変更許可部
３０画像表示部
３１投影装置
３２投影スクリーン
３３頭部検知用のカメラ
３４投影エリア
３４ａ〜３４ｃ表示エリア
４０コントローラ部
４０１地図情報記憶部
４１１頭部検出部
４１２スケーリング倍率決定部
４１３スケーリング部
４１４表示画像記憶部
４１５通信部
４２１視線検出部
４２２対象エリア選択部
２接続ケーブル
３加速度センサ
４視線検知用のカメラ
５頭部
ＡＥ倍率変更エリア
ＳＣ_１スケーリング中心のデフォルト位置
Ｐ視線位置

Claims

ユーザの頭部の動きを検出する頭部検出手段と、
上記ユーザが視認可能な表示エリアを有し、上記表示エリア上に表示画像を表示する画像表示手段と、
上記頭部の検出結果に基づいて、スケーリング倍率を決定するスケーリング倍率決定手段と、
上記スケーリング倍率に基づいて、上記表示画像をスケーリングするスケーリング手段と、
上記ユーザの視線を検出する視線検出手段と、
上記視線の検出結果に基づいて、上記表示画像上におけるスケーリング中心を決定するスケーリング中心決定手段と、
上記視線が、上記表示エリアの中央を含み、端部を含まない倍率変更エリア内に属するか否かを判別し、上記倍率変更エリア内であれば、上記スケーリング倍率の変更を許可する倍率変更許可手段とを備え、
上記スケーリング倍率決定手段は、上記頭部の前後方向の動きに応じて、上記スケーリング倍率を変更し、
上記スケーリング手段は、上記表示画像の上記スケーリング中心を移動させることなく、上記表示画像をスケーリングし、
上記スケーリング倍率決定手段は、倍率変更が許可されている場合に、上記スケーリング倍率を変更し、倍率変更が許可されていない場合に、上記スケーリング倍率を変更しないことを特徴とする画像表示装置。