JP6785983B2 - 情報表示装置及び方法、並びにプログラム及び記録媒体 - Google Patents

Description

本発明は情報表示装置及び方法、並びにプログラム及び記録媒体に関する。本発明は特に被表示物の質感を表現し、被表示物をよりリアルに表示することができる情報表示装置及び方法、並びにプログラム及び記録媒体に関する。本発明の情報表示装置は、例えば車両用の表示装置、例えば計器盤（インストルメント・パネル）を表示する表示装置として用いられる。

情報表示装置は、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等から成る表示部を用いて情報を表示する。

情報表示装置は、近年情報のデジタル化により用途を広げており、例えば車両情報の表示などにも使われるようになってきている。車両情報を情報表示装置で表示する場合、アナログ式計器を表す画像がコンピュータグラフィックス技術で生成されて２次元の表示部に表示されることがある。このような表示においては、質感、リアリティの改善が課題である。

特許文献１には、車両の乗員の視線方向を取得し、取得結果に基づき計器の表示態様、例えば反射光の態様を推定することとしている。

特開２０１０−５８６３３号公報（第５−７頁、第１図）

特許文献１では、表示態様の算出のために、計器の３次元形状を用いており、そのため、処理データ量が大きく、処理負荷が大きく、観察者の動きに対する応答性が悪いと言う問題がある。

本発明は、このような状況に鑑みてなされたものであり、少ないデータ処理量とメモリ量とで、質感を表現することができ、かつ観察者の動きに対し応答性良く、リアリティのある映像を表示することが可能な情報表示装置及び方法を提供することを目的とする。

本発明の情報表示装置は、
被表示物を表す表示画像を生成する画像処理装置と、
前記表示画像を表示する表示部と、
前記表示部を見る観察者を撮像し、観察者画像を出力する観察者撮像部とを有し、
前記画像処理装置は、
前記観察者画像に基づいて、前記観察者の視点の位置及び動きを表す視点情報を生成する視点情報処理部と、
仮想空間内に配置され、前記被表示物の複数の構成部分の前記観察者から見える可視面にそれぞれ対応し、対応する可視面の、前記観察者から見たときの奥行方向位置に対応する、前記仮想空間内の奥行方向位置に配置された複数の平面状のオブジェクトの各々についての質感情報と、前記視点情報とに基づいて、当該オブジェクトの画像を生成し、前記複数のオブジェクトの画像を合成することで、前記表示画像を生成する表示画像生成部とを有する
ことを特徴とする。

本発明によれば、被表示物の複数の構成部分の可視面の各々に対応するオブジェクトが平面状であって、３次元形状を持たないため、データ量を減らし処理負荷を減らすことができ、観察者の視点の動きに対する応答性を高めることができる。

本発明の実施の形態１に係る情報表示装置２の構成を概略的に示すブロック図である。 図１の画像処理装置を構成する画像表示ＥＣＵを示すブロック図である。 表示部に表示される画像で表される計器盤の一例を示す正面図である。 図３の計器盤の分解斜視図である。 図３及び図４に示される計器盤を表す画像の生成に用いられるオブジェクトを示す図である。 （ａ）及び（ｂ）は平面オブジェクトに対応する可視面の一例及び法線情報を示す図である。 １つのレイヤについての物体色情報、鏡面反射情報、及び法線情報を示す図である。 他のレイヤについての物体色情報、鏡面反射情報、及び法線情報を示す図である。 さらに他のレイヤについての物体色情報、鏡面反射情報、及び法線情報を示す図である。 （ａ）〜（ｄ）は、観察者の視点の移動に伴う、表示画像の変化の例を示す概略図である。 オブジェクト及び擬似光源の仮想空間における配置の例を示す図である。 観察者の視点の移動に伴うオブジェクトの移動の例を示す図である。 図１の画像処理装置の画像処理の手順を示すフローチャートである。 図１３の表示画像生成のステップにおける処理の手順を示すフローチャートである。 奥行情報の他の例を示す図である。 奥行情報のさらなる例を示す図である。 本発明の実施の形態３に係る情報表示装置の構成を概略的に示すブロック図である。

実施の形態１．
図１は、本発明の実施の形態１に係る情報表示装置２の構成を概略的に示す。
図１に示すように、情報表示装置２は、画像処理装置１０と、状態情報取得部２１と、観察者撮像部２２と、周辺環境撮像部２３と、表示部２５とを有する。
画像処理装置１０は、被表示物を表す画像を表示する。被表示物は、例えば車両に関する情報（エンジンの回転速度、車両の走行速度等）を示す計器盤である。
ここで言う車両は、乗用車等の４輪車のほか、２輪車を含む。

表示部２５は、画像処理装置１０で生成された画像を表示する。表示部２５は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、空中ディスプレイ等の２次元ディスプレイで構成される。
被表示物が車両の計器盤である場合、表示部２５は、本来計器盤が配置される位置に、例えばダッシュボードに配置される。この場合、観察者（例えば、運転者）は、計器盤の代わりに表示部２５に表示される画像を見ることで、車両に関する情報を得る。

画像処理装置１０は、表示部２５の位置に被表示物を置いたと仮定した場合に、観察者の側から見られるのと同様の画像を生成する。
画像処理装置１０は、グラフィックス技術により画像を生成するものである。具体的には、複数のオブジェクトを仮想空間内に配置し、仮想投影面に投影することで画像を生成する。この仮想空間は、被表示物が置かれる空間、従って表示部２５が置かれる空間（実空間）を模擬したものである。仮想投影面は、実空間における表示部２５の表示面に対応する、仮想空間内の平面（仮想表示面）に平行に配置される。

複数のオブジェクトは、仮想表示面に平行に配置された平面状のオブジェクトであり、被表示物の複数の構成部分の観察者から見える面（可視面）にそれぞれ対応し、被表示物の対応する可視面の奥行方向位置に対応する、仮想空間における奥行方向位置に配置される。
被表示物の可視面の奥行方向位置とは、表示部２５の位置に置かれた被表示物を、観察者から見たときの奥行方向位置であり、例えば、観察者の視点を含み、表示部２５の表示面に平行な基準面からの距離で定義される。
仮想空間内における奥行方向位置とは、仮想空間内に配置されたオブジェクトを、仮想空間内に仮想される観察者から見たときの奥行方向位置であり、例えば、仮想空間内に仮想される観察者の視点（実空間における観察者の視点に対応する）を含み、仮想表示面に平行な基準面からの距離で定義される。

各オブジェクトは、その奥行方向位置と同じ奥行方向位置に仮想されるレイヤに属するものとして扱われる。各レイヤは、仮想表示面に平行な平面であり、各レイヤには、１以上のオブジェクトが属する。

状態情報取得部２１は、被表示物の状態を定める状態情報Ｆａを取得する。被表示物が車両の計器盤である場合、車両の状態（エンジンの回転速度、車両の走行速度、方向指示器の状態等）に基づいて被表示物である計器盤の状態（計器の指針の位置、インジケータの輝度或いは色）が定められる。この場合、状態情報として、車両の状態を示す情報（車両情報）を取得する。

観察者撮像部２２は、表示部２５を見る観察者４、特にその頭部を撮像し、撮像画像を観察者画像Ｆｂとして出力する。被表示物が車両の計器盤である場合、観察者４は一般に運転者である。

周辺環境撮像部２３は、表示部２５の周辺の環境を撮像し、撮像画像を周辺環境画像Ｆｃとして出力する。被表示物が車両の計器盤である場合、表示部２５の周辺の環境には、車両の内部の環境のみならず車両の外部の環境が含まれる。

画像処理装置１０は、属性情報記憶部１１と、視点情報処理部１２と、環境情報処理部１３と、表示画像生成部１４とを有する。

属性情報記憶部１１には、複数のオブジェクトの各々についての属性情報Ｊａが記憶されている。

視点情報処理部１２は、観察者撮像部２２から出力される観察者画像Ｆｂに基づいて、観察者の視点の位置及び動きを表す視点情報Ｇｂを生成する。
環境情報処理部１３は、周辺環境撮像部２３から出力される周辺環境画像Ｆｃに基づいて、周辺の光学的環境を表す周辺環境情報Ｇｃを生成する。

表示画像生成部１４は、属性情報記憶部１１に記憶されている属性情報Ｊａと、状態情報取得部２１で得られた状態情報Ｆａと、視点情報処理部１２で生成された視点情報Ｇｂと、環境情報処理部１３で生成された周辺環境情報Ｇｃとに基づいて、当該オブジェクトの画像を生成し、複数のオブジェクトの画像を合成することで、表示画像を生成する。
表示画像生成部１４は、レイヤ画像生成部１５と、レイヤ画像合成部１６とを有する。

レイヤ画像生成部１５は、属性情報Ｊａ、状態情報Ｆａ、視点情報Ｇｂ、及び周辺環境情報Ｇｃとに基づいて、複数のレイヤ画像を生成する。
レイヤ画像生成部１５は、複数のオブジェクトの各々を、当該オブジェクトと同じ奥行方向位置のレイヤに属するものとして扱い、各々各レイヤに属する１以上のオブジェクトの画像から成る複数のレイヤ画像を生成する。

各レイヤのレイヤ画像は、当該レイヤに属するオブジェクトを、仮想投影面に投影することで得られる画像である。
各オブジェクトを画素の集合で表す場合、各オブジェクトの各画素の画素値を定めることで当該オブジェクトの画像が生成され、各レイヤに属する１以上のオブジェクトの画像を統合することで、当該レイヤの画像が生成される。例えば、各レイヤに対して一組のメモリプレーンが用意され、当該レイヤに属するオブジェクトの各画素の画素値を当該メモリプレーンに書き込むことで当該レイヤの画像が生成される。
各レイヤのレイヤ画像の生成に当たっては、属性情報記憶部１１に記憶されている属性情報Ｊａのうち、当該レイヤに属するオブジェクトについての属性情報が、上記の状態情報Ｆａ、視点情報Ｇｂ及び周辺環境情報Ｇｃとともに、参照される。

レイヤ画像合成部１６は、複数のレイヤ画像を合成して表示画像を生成する。
合成に当たり、レイヤ画像合成部１６は、複数のレイヤ画像に対し、運動視差を与える処理及び陰面消去の処理を施す。
運動視差を与える処理においては、より奥側に位置するレイヤに属するオブジェクトに対しより大きな運動視差を与える。
陰面消去の処理においては、手前側のレイヤに属するオブジェクトに重なる、奥側のレイヤに属するオブジェクトが消去される。

画像処理装置１０は、例えば図２に示される画像表示ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により構成される。
図２に示される画像表示ＥＣＵは、ＣＰＵ１０１と、メモリ１０２とを有し、これらはバス１０３により接続されている。ＣＰＵ１０１及びメモリ１０２はさらに、バス１０３を介し、さらにそれぞれ入力インターフェース１０４、１０５及び１０６を介して状態情報取得部２１、観察者撮像部２２及び周辺環境撮像部２３と接続されるとともに、バス１０３及び出力インターフェース１０７を介して、表示部２５と接続されている。

ＣＰＵ１０１はメモリ１０２に記憶されたプログラムに従って動作し、図１に示される視点情報処理部１２、環境情報処理部１３、及び表示画像生成部１４の機能を実現する。
メモリ１０２は、上記のプログラムを記憶するほか、図１の属性情報記憶部１１並びに後述のメモリ１２ｍ、１３ｍ、１５ｍとしての役割を果たす。

以下、情報表示装置２が、車両の計器盤を表示するものである場合について、各部の動作をより詳しく説明する。

この場合、状態情報取得部２１は、車両情報Ｆａを取得し、レイヤ画像生成部１５に供給する。
車両情報Ｆａには、一般に、エンジンの回転速度を示す情報、車両の走行速度を示す情報、冷却水の温度を示す情報、走行距離を示す情報、燃料残量を示す情報、方向指示器の動作状態を示す情報が含まれる。状態情報取得部２１は、これらの情報を、車両のそれぞれの部分を制御するための制御ＥＣＵから、ＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を通じて所定時間間隔で入手する。
以下に示す例では、上記のうち、エンジンの回転速度を示す情報、車両の走行速度を示す情報、及び方向指示器の動作状態を示す情報が、レイヤ画像生成部１５に供給されるものとしている。

表示部２５に表示される画像で表される計器盤の一例が図３及び図４に示されている。
図３は計器盤の正面図であり、図４は計器盤の構成部分を示す分解斜視図である。図３には、計器盤とともに、計器盤を見る観察者４が示され、図４には、計器盤とともに、観察者４の視点４Ｅが示されている。

図示の計器盤３００は、２個の計器３０１、３０２とインジケータ３０３とを含む。
左側の計器３０１は、回転速度計であり、エンジンの回転速度を示す。具体的には、状態情報取得部２１で取得されたエンジンの回転速度を示す情報に応じて指針３１１の回転方向の位置が変わる。計器３０１は、指針３１１のほか、文字盤３１２及びリング３１３を含む。
右側の計器３０２は、走行速度計であり、車両の走行速度を示す。具体的には、状態情報取得部２１で取得された車両の走行速度を示す情報に応じて指針３２１の回転方向の位置が変わる。計器３０２は、指針３２１のほか、文字盤３２２及びリング３２３を含む。

インジケータ３０３は、一対の矢印型の表示灯３３１及び３３２を含み、図示しない方向指示器（車両の外部に設けられ、他の車両等に対する合図のために用いられる）の状態を示す。
方向指示器は、例えば、運転者による操作に応じて点滅する。インジケータ３０３は、方向指示器が点滅しているとき、これに同調して、高輝度状態と低輝度状態とを交互に繰り返す。

計器３０１及び３０２及びインジケータ３０３はダッシュボード３０５に設けられている。

このような計器盤３００を表示部２５に表示する場合、指針３１１、３２１、文字盤３１２、３２２、リング３１３、３２３、インジケータ３０３、及びダッシュボード３０５が、被表示物の構成部分となる。即ち被表示物には、主たる表示対象（計器盤）のみならず、その背景（ダッシュボード）が含まれる。

これらの構成部分の、観察者４から見える面（可視面）は、図４に示されるように、異なる奥行方向位置（視点４Ｅを含み表示部２５の表示面２５Ｑに平行な基準面Ｑ０からの距離が異なる位置）にある。
図示の例では、指針３１１、３２１の可視面は基準面Ｑ０から距離Ｄ１の位置にあり、文字盤３１２、３２２の可視面は基準面Ｑ０から距離Ｄ２の位置にあり、リング３１３、３２３の可視面は基準面Ｑ０から距離Ｄ３の位置にあり、インジケータ３０３の可視面は基準面Ｑ０から距離Ｄ４の位置にあり、ダッシュボード３０５の可視面は基準面Ｑ０から距離Ｄ５の位置にある。

図４には、基準面Ｑ０からそれぞれ距離Ｄ１〜Ｄ５の位置にある平面が符号Ｑ１〜Ｑ５で示されている。
これらの可視面は、基準面Ｑ０に対して傾斜している場合もあり、また基準面Ｑ０の方に突出した部分、或いは窪んだ部分を含むことがあるので、基準面Ｑ０までの距離（Ｄ１〜Ｄ５）は代表的な値で表される。代表的な値としては、平均値、中間値、或いは主要部分についての値を用いることができる。

本実施の形態の情報表示装置２は、可視面に対応するオブジェクトを用いて表示画像を生成する。
図５には、図３及び図４に示される上記の構成部分の可視面に対応するオブジェクトが示されている。各オブジェクトは、対応する可視面を持つ構成部分と同じ符号に添え字ｂを付したもので示されている。

オブジェクトは、仮想空間内に、実空間における表示部２５の表示面２５Ｑに対応する、仮想空間内の平面（仮想表示面）２５Ｌに平行に、かつそれぞれ対応する可視面（構成部分である指針、文字盤、リング、インジケータ、背景の可視面）の奥行方向位置に対応する奥行方向位置に配置されている。

ここで、オブジェクトについての奥行方向位置とは、仮想空間内における、視点４Ｅｂを含み、仮想表示面２５Ｌに平行な基準面Ｌ０からの距離（仮想空間における奥行距離）Ｃ１〜Ｃ５で定義される。
一方、被表示物の構成部分の可視面についての奥行方向位置とは、上記のように被表示物が観察者４の前に、即ち、表示部２５の位置に置かれたと仮定した場合における、視点４Ｅを含む基準面Ｑ０から当該可視面までの距離（実空間における奥行距離）Ｄ１〜Ｄ５で定義される。この場合、例えば、被表示物の構成部分の可視面のいずれか、例えば、基準面Ｑ０に最も近い可視面（指針３１１、３２１の可視面）の奥行方向位置が、表示部２５の表示面２５Ｑの位置に一致するように、被表示物が配置されるものとする。

視点４Ｅが表示面２５Ｑに対して、前後に動く（近づいたり、遠ざかったりする）ので、表示面２５Ｑから視点４Ｅを含む基準面Ｑ０までの距離は変化し得る。表示面２５Ｑから基準面Ｑ０までの距離として、測定により求めた値を用いても良く、経験に基づき定められる標準的な値を用いても良い。例えば、該距離が変化する場合には、その中間値又は平均値を標準的な値として用いても良い。以下では、経験に基づいて定められる標準的な値を用いる場合について説明する。測定により求めた距離を用いる構成については後述する。
標準的な値を用いる場合にも、後述のように、視点４Ｅの前後の動きに応じて表示画像の明るさを変える場合には、前後の動きを検出し、検出した動き（位置の変化）に基づいて表示画像の明るさを変化させることとしても良い。

上記のようにして定められた奥行距離Ｄ１〜Ｄ５に基づいて奥行距離Ｃ１〜Ｃ５を定める。距離Ｃ１〜Ｃ５は、距離Ｄ１〜Ｄ５に一致するように定めるのが望ましい。しかしながら、本発明はこれに限定されず、距離Ｃ１〜Ｃ５が、距離Ｄ１〜Ｄ５に対して比例関係、或いは同じ大小関係を有する等の何等かの類似性を有すれば良い。

上記のオブジェクトの各々は当該オブジェクトと同じ奥行方向位置のレイヤに属するものとして扱われる。複数のオブジェクトが同じ奥行方向位置にある場合、それらは同じレイヤに属するものとして扱われる。図示の例では、オブジェクト３１１ｂ及び３２１ｂは第１のレイヤＬ１に属し、オブジェクト３１２ｂ及び３２２ｂは第２のレイヤＬ２に属し、オブジェクト３１３ｂ及び３２３ｂは第３のレイヤＬ３に属し、オブジェクト３３１ｂ及び３３２ｂは第４のレイヤＬ４に属し、オブジェクト３０５ｂは第５のレイヤＬ５に属するものとして扱われる。

属性情報記憶部１１には、上記のオブジェクトの各々についての属性情報Ｊａが予め外部から与えられて記憶されている。
属性情報Ｊａは、形状情報Ｊｂと、質感情報Ｊｃと、奥行情報Ｊｄとを含む。

各オブジェクトについての形状情報Ｊｂは、表示部２５の位置に仮想的に配置された被表示物の、該オブジェクトに対応する構成部分の可視面を、視点４Ｅの側から見たときの形状を表す情報である。

各オブジェクトについての質感情報Ｊｃは、表示部２５の位置に仮想的に配置された被表示物の、該オブジェクトに対応する構成部分の可視面の質感情報Ｊｃであり、物体色情報Ｊｅと、鏡面反射情報Ｊｆと、法線情報Ｊｇとを含む。

各オブジェクトについての物体色情報Ｊｅは、当該オブジェクトに対応する構成部分の可視面の色を表す情報である。ここで言う色は、反射、シェーディングの影響を無視した物体そのものの色（即ち、分光反射率）である。
オブジェクトを画素の集合として表す場合、物体色情報Ｊｅは各画素についての物体色を表す画素値、例えばＲ、Ｇ、Ｂの成分値で表される。
構成部分の可視面の全体が同じ物体色であれば、オブジェクトのすべての画素の画素値が互いに同じとなる。構成部分の可視面に模様がある場合には、オブジェクト内の位置に応じて画素値が異なるものとなる。

各オブジェクトについての鏡面反射情報Ｊｆは、当該オブジェクトに対応する構成部分の可視面の鏡面反射の程度（光沢）を表す情報である。
オブジェクトを画素の集合として表す場合、鏡面反射情報Ｊｆは各画素についての光沢の度合いを示す画素値で表される。この画素値は例えば０から２５５までの範囲内の値である。例えば、光沢が最も強く、鏡面反射の度合いが最も大きい場合には、鏡面反射情報Ｊｆを表す画素値が「２５５」とされ、少し表面加工がされたマット（つや消し）調の表面を表現する場合、鏡面反射情報Ｊｆは一様に中程度の値とされる。

各オブジェクトについての法線情報Ｊｇは、表示部２５の位置に仮想的に配置された被表示物の、当該オブジェクトに対応する構成部分の可視面の法線方向を表す情報である。
法線方向は例えば、基準面Ｑ０の法線の方向を基準とする。
法線方向は、例えば、３次元のベクトルで表される。３次元のベクトルは３つの成分値の組み合わせで表される。
オブジェクトを画素の集合として表す場合、法線情報は各画素についての法線方向を示す３つの画素値の組み合わせで表される。
オブジェクトの法線情報が、Ｒ、Ｇ、Ｂの成分値から成るカラー画像データの形式で表される場合、３次元ベクトルの３つの成分値Ｘ、Ｙ、ＺをそれぞれＲ、Ｇ、Ｂのチャンネルに割り当てて表現することができる。各成分値が０から２５５までの範囲の値である場合、０〜１２７を負の値を表すのに用い、１２８〜２５５を正の値を表すのに用いても良い。

平面状のオブジェクトについて、このように法線情報Ｊｇを持たせるのは、被表示物の可視面における光の反射をより忠実に再現するためである。法線情報Ｊｇに基づき反射等の計算を行う際には、平面状のオブジェクトの表面が画素毎に法線情報Ｊｇに対応する傾斜を有するものとみなす。
例えば、可視面が図６（ａ）に示すように、左半部と右半部とで異なる方向に傾斜している場合、図６（ｂ）に示すように、オブジェクトのうち、可視面の左半部に対応する画素Ｐｘ群と右半部に対応する画素Ｐｘ群とでは異なる法線方向を示す法線情報を持つことになる。

オブジェクトの各々についての奥行情報Ｊｄは、当該オブジェクトの奥行方向位置を表す。
上記のように、各オブジェクトの奥行方向位置は、被表示物を表示部２５の位置に仮想的に配置したときの当該オブジェクトに対応する構成部分の可視面の奥行方向位置に対応する。

また、各オブジェクトは、当該オブジェクトの奥行方向位置にあると仮想されるレイヤに属するものとして扱われる。
この場合、各レイヤについての奥行情報Ｊｄと、各オブジェクトについて、当該オブジェクトが属するレイヤを示す情報との組み合わせを、当該オブジェクトの奥行情報の代わりとして用いることができる。

その場合、基準面Ｌ０からレイヤＬ１〜Ｌ５までの距離Ｃ１〜Ｃ５を表す情報と、各オブジェクトについてどのレイヤに属するかを示す情報とが、属性情報記憶部１１に記憶されている。

また、各レイヤに属する１以上のオブジェクトについての形状情報Ｊｂ及び質感情報Ｊｃも、纏められ、当該レイヤの情報として扱われる。
図７〜図９には、レイヤＬ１〜Ｌ５のうち、レイヤＬ１、Ｌ２及びＬ３について、物体色情報Ｊｅ、鏡面反射情報Ｊｆ、法線情報Ｊｇをレイヤ毎の情報として、即ち、各レイヤのそれぞれの画素にマッピングした情報として図示している。

観察者撮像部２２は、表示部２５を観察する観察者４（特にその頭部）を撮像し、撮像画像を観察者画像Ｆｂとして出力する。
観察者撮像部２２は、撮像装置（カメラ）を備え、フレーム毎に撮像を行い、フレーム毎の画像を順次出力する。

観察者撮像部２２は、例えば、図１０（ａ）〜（ｄ）のように、表示部２５の上部に設置されている。

視点情報処理部１２は、観察者撮像部２２から出力される観察者画像Ｆｂから観察者の視点の位置を検出し、視点の位置及び動きを表す情報（視点情報）Ｇｂを生成する。

視点情報処理部１２は、観察者撮像部２２から出力される観察者画像Ｆｂ中の眼を認識して、認識した眼の位置を視点の位置としても良く、観察者画像Ｆｂ中の頭部を認識して、認識した頭部の位置を視点の位置としても良い。要するに、眼の位置、又は観察者のうち、眼に近い部分の位置を検出するものであれば良い。以下では、頭部を認識し、頭部の位置を視点の位置として検出するものとして説明する。頭部の位置を視点の位置として扱うことを考慮し、図１０（ａ）〜（ｄ）には観察者４の頭部に符号４Ｅが付してある。

視点情報処理部１２は、検出した視点の位置を示す情報（視点位置情報）に基づいて、視点４Ｅの動きを追跡し、視点４Ｅの動きを表す動き情報を生成する。この動き情報としては、例えば、移動方向及び移動量を表す情報が生成される。

視点の位置を表す情報は、相対的な位置を表す情報であっても良い。例えば視点情報処理部１２が観察者４の頭部を最初に認識したときの、該頭部の位置を基準位置とし、それ以降の動きを累積することで、基準位置に対する相対的な位置を表す情報を生成することとしても良い。

図１０（ａ）は、視点４Ｅが表示部２５に表示される計器盤のうち、右側の計器に正対している状態を示し、図１０（ｂ）は、視点４Ｅが表示部２５に表示される計器盤のうち、左側の計器に正対している状態を示す。
図１０（ｃ）は、視点４Ｅが表示部２５に近い位置にある状態を示し、図１０（ｄ）は、視点４Ｅが表示部２５から遠い位置にある状態を示す。

視点４Ｅの左右上下の動きは、観察者画像内において認識された頭部の位置の変化に基づいて検出することができる。

視点４Ｅの前後（奥行方向）の動きの向きについては、例えば観察者画像中の、認識された頭部の面積が次第に大きくなれば前に（近寄る方向に）移動しているものと判断することができ、頭部の面積が次第に小さくなれば後ろに（遠ざかる方向に）移動しているものと判断することができる。

視点４Ｅの前後の移動量も相対的な量が得られれば良く、例えば頭部の面積を画素数で表す場合、１画素当たりの移動量を予め定義しておき、増加又は減少した画素数に基づいて手前側又は奥側への移動量を求めることとしても良い。

前後の動きについては、観察者画像中の頭部の面積によるものに限らず、例えば観察者画像中の頭部の特定の部分（特徴点）相互間の距離で判断しても良い。

視点情報処理部１２は、上記のようにして生成した動き情報をレイヤ画像生成部１５に供給する。

視点情報処理部１２は、視点位置情報のフレーム間補間を行い、これにより、フレームレートのより高い情報を生成するものであっても良い。即ち、視点情報処理部１２は、観察者撮像部２２から出力されるフレーム毎の観察者画像Ｆｂからフレーム毎の視点情報Ｇｂを生成するが、フレーム毎の視点情報に含まれる視点位置情報に対しフレーム間補間を行い、これにより、フレームレートのより高い視点位置情報を生成することとしても良い。フレームレートのより高い視点位置情報から動き情報を生成することで、視点４Ｅの動きを滑らかに表現する動き情報を生成することができる。

周辺環境撮像部２３は、表示部２５の周辺の環境を撮像し、撮像画像を周辺環境画像Ｆｃとして出力する。周辺環境撮像部２３は、フレーム毎に撮像を行い、フレーム毎の画像を順次出力する。周辺環境撮像部２３は、例えば全天球カメラ、半天球カメラ、広角カメラなどの画角の広い撮像装置を備える。また２以上の撮像装置の組み合わせであっても良い。

ここで言う周辺の環境には、車内における表示部２５の周辺及び車外に存在する人、物、風景が含まれる。ここで言う「人」には、観察者自身、他の乗員、車外の歩行者等が含まれる。ここで言う「物」には、車内灯、太陽、街路灯、他の車両のヘッドライト、テールライト等が含まれる。

環境情報処理部１３は、周辺環境撮像部２３から出力される周辺環境画像Ｆｃに基づいて周辺環境情報Ｇｃを生成し、内部のメモリ１３ｍに記憶する。
環境情報処理部１３は、周辺環境画像Ｆｃに含まれる、人、物、風景のうち、表示部２５の位置に実際の被表示物、例えば計器盤が存在すると仮定した場合に、該被表示物の構成部分の可視面に写り込む程度、即ち、上記可視面の輝度、色等に変化を生じさせる程度が比較的大きいものについての情報を取得する。

周辺環境情報Ｇｃは、方向別の光の強さ及び色を表す情報であっても良い。例えば、特定の方向に特定の色の強い光の光源があるといった情報であっても良い。

周辺環境情報Ｇｃは、車両の高速移動中の環境変化を遅滞なく表示画像に反映させるために、観察者が表示部２５に表示される画像の変化に滑らかさを感じるフレームレートで取得するのが望ましい。
一方、車両の走行速度が低い場合や周辺の環境の変化が少ない場合、或いは被表示物の構成部分の可視面がマット調（つや消し処理を施されたもの）であり、写り込みが少ない場合は、フレーム毎のデータを間引きながら（例えば数フレームに１回、或いは数秒に１回だけ）取得するようにしても良い。この場合、生成された周辺環境情報Ｇｃは一旦環境情報処理部１３内のメモリ１３ｍに記憶された後、繰り返し読み出されて使用される。

環境情報処理部１３は、周辺環境画像Ｆｃ中の人、物、風景による、写り込みの視認性を高めるため、周辺環境情報Ｇｃで表される画像（写り込み画像）の色を補正する処理、解像度を高くする処理等、周辺環境情報Ｇｃの補正処理を実施した上で、レイヤ画像生成部１５に供給することとしても良い。

レイヤ画像生成部１５は、複数のレイヤの各々についてレイヤ画像を生成する。各レイヤのレイヤ画像は、当該レイヤに属するオブジェクトを仮想投影面ＰＬに投影することで得られる画像である。

レイヤ画像生成部１５は、属性情報記憶部１１に記憶されている形状情報Ｊｂ及び質感情報Ｊｃで表される形状及び質感を持つオブジェクトを、同じく属性情報記憶部１１に記憶されている当該オブジェクトの奥行情報（当該オブジェクトが属するレイヤの奥行情報）Ｊｄで表される奥行方向位置に配置し、仮想投影面ＰＬへの投影を行う。

レイヤ画像生成部１５は、属性情報記憶部１１に記憶されている形状情報Ｊｂ、質感情報Ｊｃ、及び奥行情報Ｊｄと、状態情報取得部２１で取得される車両情報Ｆａと、視点情報処理部１２から提供される視点情報Ｇｂと、環境情報処理部１３から提供される周辺環境情報Ｇｃとを入力とし、各レイヤの画像を生成する。即ち、各レイヤに属する１以上のオブジェクトの画像を生成し、生成した１以上のオブジェクトの画像を統合して、当該レイヤのレイヤ画像として出力する。

各オブジェクトの画像の生成に当たり、車両情報Ｆａに基づいて表示される計器盤の状態（計器３０１、３０２の指針３１１、３２１に対応するオブジェクト３１１ｂ、３２１ｂの回転位置、インジケータ３０３の表示灯３３１、３３２に対応するオブジェクト３３１ｂ、３３２ｂの輝度）を定める。

各オブジェクトが画素の集合で表される場合、レイヤ画像生成部１５は、各オブジェクトの画像の生成において、各画素の画素値（色成分値、輝度値等）を定める。
この場合、構成部分の可視面に模様、写り込みがある場合には（即ち、属性情報記憶部１１から読み出された質感情報Ｊｃ及び環境情報処理部１３で生成された周辺環境情報Ｇｃに基づいて、写り込みを表現すべきであると判断されるときには）、それらの模様、写り込みをも表現する。また、視点４Ｅの位置（視点情報Ｇｂにより表される）に応じて輝度、色等に変化を生じさせるべきである場合には、該輝度、色の変化をも加える。

各オブジェクトの画像の生成においては、当該オブジェクトに対し質感情報Ｊｃに基づいて、バンプマッピングを行うことで、当該オブジェクトに対応する構成部分の可視面の質感を表現する。

光学反射の計算はＰｈｏｎｇモデル、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル、Ｂｌｉｎｎモデル等、オブジェクトに対応する構成部分の可視面の材質に合わせた反射モデルを選択して行う。

また、視点４Ｅの移動に伴い、被表示物の明るさが変化し、或いは明るい部分（ハイライト部分）が移動することが知られている。例えば、視点４Ｅの上下左右の移動（基準面Ｑ０に平行な移動）に伴い、明るい部分（特に、ハイライト部分）が同じ方向に移動すること、及び視点４Ｅの前後の移動（基準面Ｑ０に垂直な方向の移動）に伴い、被表示物の明るさが変わることが知られている。本実施の形態ではそのような現象を再現するため、仮想空間内に位置し、視点４Ｅｂの移動に伴い移動する擬似光源を仮想して画像の生成を行う。この擬似光源は、例えば視点４Ｅｂと同じ位置にあるものと仮想される。

この時仮想空間における、オブジェクトの位置は固定されており、擬似光源が視点４Ｅｂの動きに追従して移動するものとする。

例えば、図１１に示されるように、各オブジェクトはレイヤＬ１〜Ｌ５のいずれかに配置されており、上下左右の位置（基準面Ｌ０に対して平行な方向の位置）も変わらないものとし、擬似光源は視点４Ｅｂと同じ位置にあり、視点４Ｅｂとともに、動くものとする。

レイヤ画像生成部１５は、この擬似光源の位置の変化に応じ、オブジェクトからの表面反射光の強さを変化させ、それにより画像の各部分の明るさを変化させる。明るさを変化させる処理は輝度を変化させることで行われる。このとき各オブジェクトの表面は図６に例示するように、画素毎に定義された法線方向を有するものとされる。

例えば、図１０（ａ）に示されるように、視点４Ｅが表示部２５に対し右方向に動くと、仮想空間内の視点４Ｅｂ及び擬似光源を同様に移動させ、それによってオブジェクトからの表面反射を変化させ、画像中の明るい部分（ハイライト部分）を右方向に移動させる。

図１０（ｂ）に示されるように、視点４Ｅが表示部２５に対し左方向に動くと、仮想空間内の視点４Ｅｂ及び擬似光源を同様に移動させ、それによってオブジェクトからの表面反射を変化させ、画像中の明るい部分（ハイライト部分）を左方向に移動させる。

また、図１０（ｃ）に示されるように、視点４Ｅが表示部２５に近づくと、仮想空間内の視点４Ｅｂ及び擬似光源を同様に移動させることで、オブジェクトからの表面反射をより強くし、画像の輝度をより高くする。

図１０（ｄ）に示されるように、視点４Ｅが表示部２５から遠ざかると、仮想空間内の視点４Ｅｂ及び擬似光源を同様に移動させることで、オブジェクトからの表面反射をより弱くし、画像の輝度をより低くする。

さらに、レイヤ画像生成部１５は、仮想空間における擬似光源からの光の強度（各オブジェクトの表面における照度）を、各レイヤの奥行距離（Ｃ１〜Ｃ５）に応じて減衰させ、各レイヤのオブジェクトの画像の明るさを調整する。明るさの調整は、輝度を調整することで行われる。このとき、各レイヤにおける照度は、擬似光源からの距離の２乗に反比例するという法則に従うものとする。

例えば図１１において、擬似光源（視点４Ｅｂと同じ位置にある）から第１のレイヤＬ１までの距離をＣ１とし、第１のレイヤＬ１における照度をＥ１とすると、第２のレイヤＬ２における照度Ｅ２は、
Ｅ２＝（Ｃ１／Ｃ２）＾２×Ｅ１ （１）
として計算する。第３のレイヤＬ３における照度Ｅ３も同様に、
Ｅ３＝（Ｃ２／Ｃ３）＾２×Ｅ２ （２）
で求められる。他のレイヤについても同様の計算により照度が求められる。
各レイヤのオブジェクトの画像の明るさを、この照度に応じた値に定める。このようにすることで、画像に奥行感を与えることができる。

なお、擬似光源の強さ、擬似光源の広がり特性は、固有のパラメータとしてレイヤ画像生成部１５内のメモリ１５ｍに記憶されているものとする。

以上のように、レイヤ画像生成部１５は、複雑な３次元形状データを用いずに光沢、シェーディングの影響を計算し、各オブジェクトの画像を生成する。３次元形状データを用いないので計算のためのデータ処理量が少なくて済む。

レイヤ画像合成部１６は、レイヤ画像生成部１５で生成されたレイヤ画像Ｌ１〜Ｌ５を奥行情報Ｊｄに従い、重ね合せることで表示画像を生成する。この重ね合せにおいて、運動視差を与える処理及び陰面消去の処理が行われる。

運動視差を与えるための処理は以下のようにして行われる。
図１２に示すように、仮想空間における視点４Ｅｂを含む基準面Ｌ０から、それぞれのレイヤＬ１〜Ｌ５までの距離をＣ１〜Ｃ５とする。
運動視差は、視点４Ｅの移動に伴って、仮想空間内の視点４Ｅｂを移動させ、これに伴ってオブジェクトを同方向に移動させることで表現される。このとき視点４Ｅｂから遠いオブジェクトほどより大きく移動させる。具体的にはオブジェクトの移動量を視点４Ｅｂからの距離に比例させる。

第ｊのレイヤ（ｊは１から５のいずれか）のオブジェクトの移動量Ｍｊは、視点４Ｅｂの移動量Ｍ０に基づき以下の式で求められる値に定められる。
Ｍｊ＝Ｃｊ×Ｍ０×Ｋ （３）
Ｋは係数であり、実験等により、違和感のない値に定められる。

陰面消去の処理においては、各レイヤのオブジェクトは、それよりも手前のレイヤのオブジェクトと重なるときは、消去される。

レイヤ画像合成部１６は各レイヤのオブジェクトに対して運動視差を与えるための移動をさせた後に、陰面消去を行って重ね合わせることで、表示画像を生成する。
表示部２５はレイヤ画像合成部１６で生成した表示画像を表示する。

なおまた、視点情報処理部１２は、観察者画像中の視点の位置の特定ができない場合には、そのことを示す情報（検出失敗情報）を出力し、レイヤ画像生成部１５は、検出失敗情報が出力されたときは、視点４Ｅｂが既定の位置（既定の視点位置）にあるものとして画像の生成（画像の各部の明るさの決定、及び運動視差を与えるための移動量の決定）を行う。既定の視点位置を示す情報は例えば予めレイヤ画像生成部１５内のメモリ１５ｍに記憶されている。

レイヤ画像合成部１６は、表示画像を表示部２５に送ることで、表示部２５の表示画像を更新する。表示画像の更新のレートは、視点４Ｅの動きに即応し、変化が滑らかで遅延の少ない画像を表示させるように、例えば２０ｆｐｓ以上であることが望ましい。

観察者画像Ｆｂの取得のレートが低く、観察者が画像表示に遅延を感じる場合はカルマンフィルタ等で視点４Ｅの動きを予測しながら表示画像の更新をより高いレートで行っても良い。
この予測は、レイヤ画像生成部１５におけるレイヤ画像の生成の際に行っても良く、レイヤ画像合成部１６における表示画像の生成の際に行っても良い。

次に、上記の画像処理装置１０による画像処理の手順を図１３のフローチャートを参照して説明する。

まずステップＳＴ１において、レイヤ画像生成部１５は、表示部２５で表示される被表示物の構成部分に対応するオブジェクトについての属性情報Ｊａを取得する。属性情報Ｊａには、形状情報Ｊｂ、質感情報Ｊｃ及び奥行情報Ｊｄが含まれる。

次に、ステップＳＴ２、ＳＴ３、ＳＴ４の処理が平行して行われる。
ステップＳＴ２においては、視点情報処理部１２が、観察者画像Ｆｂから視点情報Ｇｂを生成する。即ち、観察者画像Ｆｂ中の視点の検出（視点の位置の特定）を試み、検出できたか否かを示す情報を保存するとともに、検出できた場合には、検出された視点の位置を示す情報を内部のメモリ１２ｍに記憶する。さらに、視点の動きの検出を行う。動きの検出においては、例えば２フレーム連続で視点４Ｅを検出した場合、該視点４Ｅの位置の差分に基づいて、移動方向及び移動量を求め、動き情報としてメモリ１２ｍに記憶する。

ステップＳＴ３では、環境情報処理部１３が、周辺環境撮像部２３での撮像で得られた周辺環境画像Ｆｃから、周辺環境情報Ｇｃを生成する。

ステップＳＴ４では、レイヤ画像生成部１５が、状態情報取得部２１から車両情報Ｆａを取得する。

ステップＳＴ５では、視点情報処理部１２が、ステップＳＴ２の処理で視点４Ｅが検出できたことを示す情報が保存されているか否かの判定を行う。
視点４Ｅが検出できたことを示す情報が保存されている場合には、ステップＳＴ６に進む。そうでなければステップＳＴ７に進む。

ステップＳＴ６では、レイヤ画像生成部１５が、ステップＳＴ２で検出された視点の位置を示す情報をメモリ１２ｍから読み出す。

ステップＳＴ７では、レイヤ画像生成部１５のメモリ１５ｍに予め記憶されている既定の視点位置を示す情報を読み出す。

ステップＳＴ６又はステップＳＴ７の次にステップＳＴ８に進む。
ステップＳＴ８では、表示画像生成部１４が、表示画像生成処理（図１４）を行う。
具体的には、レイヤ画像生成部１５が、ステップＳＴ１で取得された属性情報Ｊａ、ステップＳＴ６でメモリ１２ｍから読み出された、検出された視点位置を示す情報又はステップＳＴ７でメモリ１５ｍから読み出された既定の視点位置を示す情報、ステップＳＴ３で生成された周辺環境情報Ｇｃ、及びステップＳＴ４で取得された車両情報Ｆａに基づき複数のレイヤ画像を生成し、レイヤ画像合成部１６が、レイヤ画像生成部１５で生成された複数のレイヤ画像を合成して表示画像を生成する。

ステップＳＴ９では、レイヤ画像合成部１６が、ステップＳＴ８で生成された表示画像を表示部２５に送り、表示部２５の表示画像を更新する。

次に上記のステップＳＴ８の表示画像生成処理の詳細を、図１４を参照して説明する。
まず、ステップＳＴ１１において、レイヤ画像生成部１５は、ステップＳＴ６又はＳＴ７で読み出された視点位置を示す情報に基づき仮想空間内の擬似光源の位置を決定する。

ステップＳＴ１２では、レイヤ画像生成部１５が各レイヤのレイヤ画像を生成する。
ステップＳＴ１３では、レイヤ画像合成部１６は、ステップＳＴ１２で生成した複数のレイヤ画像を合成して表示画像を生成する。

以上に説明したように、実施の形態１に係る情報表示装置２においては、それぞれ被表示物の構成部分の可視面に対応する平面状のオブジェクトを、当該可視面の奥行方向位置に対応する奥行方向位置に配置し、仮想投影面に投影することで、当該オブジェクトの画像を生成する。そして各レイヤに属する複数のオブジェクトの画像を統合することで、当該レイヤの画像を生成し、複数のレイヤの画像を合成して表示画像を生成する。

各オブジェクトの画像の生成に当たっては、オブジェクトを照らす仮想の擬似光源を視点４Ｅとともに移動させることで、視点４Ｅの動きに伴う、被表示物の可視面の明るさの変化、ハイライト部分の移動を再現することができ、表示画像のリアリティを向上させることができる。
また、質感情報に基づいてバンプマッピングを行って当該オブジェクトに対応する構成部分の可視面の質感を表現することができ、表示画像のリアリティを向上させることができる。

レイヤ画像の合成に際しては、奥行方向位置に応じた運動視差を与える処理及び陰面消去の処理を行う。その結果、視点の動きに伴って、異なる奥行方向位置にある可視面が、視点の動きに対して異なる移動量だけ移動する現象を忠実に再現することができ、表示画像のリアリティを向上させることができる。

また、オブジェクトが平面状であり、複雑な３次元形状データを使用しないので、表示画像の生成のための計算処理を減らすことができる。その結果、処理を高速に行うことができ、観察者の視点４Ｅの動き等に対する応答性を向上させることができる。

なおまた、視点情報処理部１２が、視点位置情報のフレーム間補間を行うこととすれば、視点４Ｅの動きに滑らかに追従する視点情報を生成することができる。
視点の動きに滑らかに追従する視点情報を用いることで、表示画像の変化が視点４Ｅの動きにより滑らかに追従するものとなり、よりリアルな表示が可能となる。

上記の例では、観察者撮像部２２が表示部２５の上部に設置されているが、本発明はこれに限定されず、観察者撮像部２２は表示部２５の上部以外の位置に設置されていても良い。例えば、表示部２５の下部に設置されていても良く、表示部２５の筐体内に設置されていても良い。また、表示部２５の近傍に設置されていても良く、表示部２５から離れた位置に設置されていても良い。要するに、観察者撮像部２２は、観察者４を撮像することができ、撮像で得られた画像から、視点４Ｅの位置及び動きを把握することができるように設けられていれば良い。

上記の実施の形態では、視点の位置及び動きに応じて、擬似光源の位置及び動きを定めることとしている。但し、視点の位置は相対的な位置であっても良いこととしている。これは、視点毎の見え方に関し、観察者は正確な認識乃至記憶があるわけではなく、要するに、視点の動きに対して表示画像が変化すれば、リアリティを感じることができるためである。従って、オブジェクト画像の生成に当たり、視点の位置を示す情報を用いず、視点の動きを示す情報のみを用い、視点の動きに応じて画像を変化させることとしても良い。

実施の形態２．
上記の実施の形態では、属性情報記憶部１１に記憶されている各オブジェクトについての奥行情報Ｊｄが、基準面Ｌ０からの距離Ｃ１〜Ｃ５を表すものである。代わりに、基準面Ｌ０に最も近いレイヤのオブジェクトについては、基準面Ｌ０からの距離を表し、それ以外のレイヤのオブジェクトについては、当該レイヤよりも基準面側に位置し、隣接するレイヤまでの距離を表す情報であっても良い。

例えば、図１５に示すように、基準面Ｌ０からレイヤＬ１までの距離Ａ０、レイヤＬ１、Ｌ２間の距離Ａ１、レイヤＬ２、Ｌ３間の距離Ａ２、レイヤＬ３、Ｌ４間の距離Ａ３、及びレイヤＬ４、Ｌ５間の距離Ａ４を表す情報を属性情報記憶部１１に記憶させておくこととしても良い。
そして、レイヤ画像生成部１５及びレイヤ画像合成部１６は、このような奥行情報Ｊｄを属性情報記憶部１１から読出し、該奥行情報Ｊｄで表される距離Ａ０〜Ａ５に基づいて、基準面Ｌ０からの距離Ｃ１〜Ｃ５を算出し、式（１）〜（３）の演算に用いることとしても良い。

なおまた、基準面Ｌ０に最も近いレイヤ（第１のレイヤ）のオブジェクトについては、基準面Ｌ０からの距離を表し、それ以外のレイヤのオブジェクトについては、基準面に最も近いレイヤ（第１のレイヤ）からの距離を表す情報であっても良い。

例えば、図１６に示すように、基準面Ｌ０からレイヤＬ１までの距離Ｂ０、レイヤＬ１、Ｌ２間の距離Ｂ１、レイヤＬ１、Ｌ３間の距離Ｂ２、レイヤＬ１、Ｌ４間の距離Ｂ３、及びレイヤＬ１、Ｌ５間の距離Ｂ４を表す情報を属性情報記憶部１１に記憶させておくこととしても良い。
そして、レイヤ画像生成部１５及びレイヤ画像合成部１６は、このような奥行情報Ｊｄを属性情報記憶部１１から読出し、該奥行情報Ｊｄで表される距離Ｂ０〜Ｂ５に基づいて、基準面Ｌ０からの距離Ｃ１〜Ｃ５を算出し、それぞれ式（１）〜（３）の演算に用いることとしても良い。

実施の形態３．
実施の形態１では、観察者の視点の奥行方向位置として、経験的に得られる標準的な位置を用いて、式（１）、（２）による奥行方向位置の変化に基づく画像の明るさの調整のための計算、及び式（３）による動的視差を与えるためのレイヤ画像の移動量の計算を行っている。しかしながら、本発明はこれに限定されず、観察者撮像部で観察者の視点までの距離を測定して、測定結果に基づいて表示面から視点までの距離を算出し、算出した距離に基づいて画像の生成を行っても良い。

測定により視点４Ｅまでの距離を求めるには、例えば観察者撮像部として、測距機能を有する撮像部を用いれば良い。観察者の視点４Ｅまでの距離としては、例えば頭部までの距離を測定することとすれば良い。

測距機能を有する撮像部としては、例えばＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式の測距機能を有する撮像部を用いることができる。

視点までの距離を測定により求める場合の情報表示装置の構成を図１７に示す。
図１７に示される情報表示装置２ｃは、図１の情報表示装置２と概して同じであるが、奥行距離算出部１７が付加されており、属性情報記憶部１１、観察者撮像部２２、及び視点情報処理部１２の代わりに、属性情報記憶部１１ｂ、観察者撮像部２２ｂ、及び視点情報処理部１２ｂが設けられている。属性情報記憶部１１ｂ、観察者撮像部２２ｂ、及び視点情報処理部１２ｂは、それぞれ属性情報記憶部１１、観察者撮像部２２、及び視点情報処理部１２と概して同じであるが、以下の点で異なる。

図１７の属性情報記憶部１１ｂに記憶される奥行情報Ｊｄには、基準面Ｌ０からの距離を表す情報が含まれない。即ち、レイヤ相互間の距離を表す情報のみが記憶されている。例えば、図１５に示される距離のうち、基準面Ｌ０からの距離Ａ０を表す情報が記憶されておらず、隣接レイヤ間の距離Ａ１〜Ａ４を表す情報のみが記憶されており、或いは図１６に示される距離のうち、基準面Ｌ０からの距離Ｂ０を表す情報が記憶されておらず、第１のレイヤからの距離Ｂ１〜Ｂ４を表す情報のみが記憶されている。

図１７の観察者撮像部２２ｂは、被写体の撮像を行って観察者画像を出力するのみならず、被写体までの距離を示す情報を生成して出力する。
図１７の視点情報処理部１２ｂは、観察者撮像部２２ｂからの観察者画像及び被写体までの距離を示す情報に基づいて、撮像画像中の視点の位置を特定し、観察者撮像部２２ｂから視点４Ｅまでの距離を示す情報を生成し、該生成した情報で表される距離に基づいて、表示面２５Ｑから視点４Ｅまでの距離Ｄ１を算出し、算出した距離Ｄ１を示す情報を生成して、奥行距離算出部１７に供給する。
なお、観察者撮像部２２ｂが表示面２５Ｑと同じ平面上にある場合には、観察者撮像部２２ｂから視点４Ｅまでの距離をそのまま、表示面２５Ｑから視点４Ｅまでの距離Ｄ１として用いることができる。

奥行距離算出部１７は、視点情報処理部１２ｂから供給される距離Ｄ１を表す情報に基づいて基準面Ｌ０から第１のレイヤまでの距離Ｃ１を定める。例えばＣ１はＤ１と同じ値に定められる。さらにこのようにして定めた距離Ｃ１と、属性情報記憶部１１ｂに記憶されている奥行情報Ｊｄで表される距離Ａ１〜Ａ４又はＢ１〜Ｂ４とを用いて距離Ｃ２〜Ｃ５を算出する。そして、このようにして定めた距離Ｃ１〜Ｃ５を示す情報をレイヤ画像生成部１５及びレイヤ画像合成部１６に供給する。

レイヤ画像生成部１５は、属性情報記憶部１１ｂから、形状情報Ｊｂ及び質感情報Ｊｃを受けるとともに、奥行距離算出部１７から距離Ｃ１〜Ｃ５を示す情報を受けてレイヤ画像を生成する。レイヤ画像の生成に当たり、レイヤ画像生成部１５は、奥行距離算出部１７で算出された距離Ｃ１〜Ｃ５を式（１）及び（２）の演算に用いる。
レイヤ画像合成部１６は、レイヤ画像生成部１５で生成された複数のレイヤ画像を合成して表示画像を生成する。合成に当たり、レイヤ画像合成部１６は、奥行距離算出部１７で算出された距離Ｃ１〜Ｃ５を式（３）の演算に用いる。

さらに実施の形態１では、観察者画像Ｆｂ中の頭部の面積の変化などに基づいて、視点４Ｅから表示面２５Ｑまでの距離の変化を算出し、算出した距離の変化に応じて画像の明るさを変えることとしているが、実施の形態３では、奥行距離算出部１７で算出された距離Ｃ１〜Ｃ５の変化に応じて画像の明るさを変えることができる。

本実施の形態では、測定結果に基づいて算出された距離Ｄ１に基づいて、式（１）、（２）、（３）の演算、並びに視点の前後の動きに応じた画像の明るさの変更を行うので、明るさの調整、運動視差の決定をより正確に行うことができる。

なお、上記の実施の形態１〜３の情報表示装置は、車両に搭載されたものであるが、本発明はこれに限定されず、例えば、船舶に搭載され、船舶の状態を示す情報（船舶情報）を表示する表示装置にも適用可能である。本発明はさらに、上記以外の計器盤、例えば他の種類の乗物、例えば航空機の計器盤、乗物以外の計器盤を表す画像を表示する表示装置にも適用可能である。

以上本発明を情報表示装置として説明したが、上記の情報表示装置で行われる情報表示方法及び画像表示方法もまた、本発明の一部を成す。さらに、上記の情報表示装置、情報表示方法、或いは画像処理方法で行われる処理をコンピュータに実行させるプログラム、及び該プログラムを記録したコンピュータで読取り可能な記録媒体もまた本発明の一部を成す。

２、２ｃ 情報表示装置、 ４ 観察者、 ４Ｅ、４Ｅｂ 観察者の視点、 １０ 画像処理装置、 １１、１１ｂ 属性情報記憶部、 １２、１２ｂ 視点情報処理部、 １２ｍ メモリ、 １３ 環境情報処理部、 １３ｍ メモリ、 １４ 表示画像生成部、 １５ レイヤ画像生成部、 １５ｍ メモリ、 １６ レイヤ画像合成部、 １７ 奥行距離算出部、 ２１ 状態情報取得部、 ２２、２２ｂ 観察者撮像部、 ２３ 周辺環境撮像部、 ２５ 表示部、 １０１ ＣＰＵ、 １０２ メモリ、 １０４、１０５、１０６ 入力インターフェース、 １０７ 出力インターフェース。

Claims (15)

1. 被表示物を表す表示画像を生成する画像処理装置と、
   前記表示画像を表示する表示部と、
   前記表示部を見る観察者を撮像し、観察者画像を出力する観察者撮像部とを有し、
   前記画像処理装置は、
   前記観察者画像に基づいて、前記観察者の視点の位置を表す視点情報を生成する視点情報処理部と、
   仮想空間内に配置され、前記被表示物の複数の構成部分の前記観察者から見える可視面にそれぞれ対応し、対応する可視面の、前記観察者から見たときの奥行方向位置に対応する、前記仮想空間内の奥行方向位置に配置された複数の平面状のオブジェクトの各々についての質感情報と、前記視点情報とに基づいて、当該オブジェクトの画像を生成し、前記複数のオブジェクトの画像を合成することで、前記表示画像を生成する表示画像生成部とを有する
   ことを特徴とする情報表示装置。
2. 前記表示画像は、前記被表示物を前記表示部の位置に置いたと仮定した場合に、前記観察者から見えるのと同様の画像である
   ことを特徴とする請求項１に記載の情報表示装置。
3. 前記仮想空間は、前記表示部が置かれる空間を模擬したものであり、
   前記複数のオブジェクトは、前記表示部の表示面に対応する前記仮想空間内の平面に平行に配置される
   ことを特徴とする請求項１又は２に記載の情報表示装置。
4. 前記表示画像生成部は、
   前記複数のオブジェクトを、前記表示部の表示面に対応する前記仮想空間内の平面に平行に配置された仮想投影面に投影することで前記オブジェクトの画像を生成する
   ことを特徴とする請求項３に記載の情報表示装置。
5. 前記表示部の周辺の環境を撮像し、周辺環境画像を出力する周辺環境撮像部をさらに有し、
   前記画像処理装置は、前記周辺環境画像に基づいて、前記表示部の周辺の光学的環境を表す周辺環境情報を生成する環境情報処理部をさらに有し、
   前記表示画像生成部は、前記周辺環境情報にも基づいて前記オブジェクトの画像を生成する
   ことを特徴とする請求項４に記載の情報表示装置。
6. 前記表示画像生成部は、前記複数のオブジェクトの各々の奥行方向位置に基づいて、当該オブジェクトの輝度を調整することを特徴とする請求項５に記載の情報表示装置。
7. 前記表示画像生成部は、
   前記複数のオブジェクトの各々を、当該オブジェクトと同じ奥行方向位置に仮想されるレイヤに属するものとして扱い、各々各レイヤに属する１以上のオブジェクトの画像から成る複数のレイヤ画像を生成するレイヤ画像生成部と、
   前記複数のレイヤ画像を、当該レイヤの奥行方向位置及び前記視点情報に基づいて運動視差を与える処理及び陰面消去の処理を行って、前記複数のレイヤ画像を合成して前記表示画像を生成するレイヤ画像合成部とを有する
   ことを特徴とする請求項５又は６に記載の情報表示装置。
8. 前記レイヤ画像生成部は、
   前記視点情報で示される前記観察者の視点の移動に伴い、前記レイヤ画像のうちの明るい部分を移動させることを特徴とする請求項７に記載の情報表示装置。
9. 前記観察者撮像部はフレーム毎に撮像を行い、フレーム毎の前記観察者画像を順次出力し、
   前記視点情報処理部は、前記フレーム毎の前記観察者画像からフレーム毎の前記視点情報を生成し、フレーム毎の前記視点情報に含まれる視点の位置を示す情報に対しフレーム間補間を行い、これにより、フレームレートのより高い視点の位置を示す情報を生成する
   ことを特徴とする請求項１から８のいずれか１項に記載の情報表示装置。
10. 前記被表示物の状態を定める状態情報を取得する状態情報取得部をさらに有し、
    前記表示画像生成部は、前記状態情報にも基づいて、前記オブジェクトの画像を生成することを特徴とする請求項１から９のいずれか１項に記載の情報表示装置。
11. 前記被表示物は、車両の計器盤であり、
    前記状態情報取得部は、前記計器盤で示すべき車両の状態を表す情報を前記状態情報として取得することを特徴とする請求項１０に記載の情報表示装置。
12. 前記視点情報処理部は、前記観察者画像内において視点の位置を特定できないときは、そのことを示す検出失敗情報を出力し、
    前記表示画像生成部は、前記検出失敗情報が出力されたときは、視点が既定位置にあるものとして、前記オブジェクトの画像を生成する
    ことを特徴とする請求項１から１１のいずれか１項に記載の情報表示装置。
13. 被表示物を表す表示画像を表示する表示部と、
    前記表示部を見る観察者を撮像し、観察者画像を出力する観察者撮像部とを有する情報表示装置における情報表示方法であって、
    前記観察者画像に基づいて、前記観察者の視点の位置を表す視点情報を生成し、
    仮想空間内に配置され、前記被表示物の複数の構成部分の前記観察者から見える可視面にそれぞれ対応し、対応する可視面の、前記観察者から見たときの奥行方向位置に対応する、前記仮想空間内の奥行方向位置に配置された複数の平面状のオブジェクトの各々についての質感情報と、前記視点情報とに基づいて、当該オブジェクトの画像を生成し、前記複数のオブジェクトの画像を合成することで、前記表示画像を生成する
    ことを特徴とする情報表示方法。
14. 請求項１３に記載の情報表示方法における処理をコンピュータに実行させるためのプログラム。
15. 請求項１４に記載のプログラムを記録したコンピュータで読取り可能な記録媒体。

Images