JP7708178B2

JP7708178B2 - 情報処理装置、情報処理方法およびプログラム

Info

Publication number: JP7708178B2
Application number: JP2023514343A
Authority: JP
Inventors: 一樹横山; 瑠璃大屋; 幸治青山
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2021-04-12
Filing date: 2022-01-28
Publication date: 2025-07-15
Anticipated expiration: 2042-01-28
Also published as: US20240380876A1; JPWO2022219877A1; WO2022219877A1; CN117121475A

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

両眼視差を用いて立体表示を行う裸眼立体ディスプレイが知られている。観察者の左眼および右眼に左眼用および右眼用の視点画像が供給される。これにより、あたかも観察者の目の前に仮想物体が存在するかのような表示が実現される。

国際公開第２０１８／１１６５８０号

左右の網膜に映った像は、観察者の脳内で融合され、１つの立体画像として認識される。このような脳の働きは、融像と呼ばれる。左右の像の対応関係が明瞭である場合には、融像は生じやすい。しかし、表現している奥行きが大きかったり、同一の仮想物体が連続して配置されるような場合には、１つの立体画像として認識すべき画像範囲が不明瞭になり、融像が困難になる。従来の裸眼立体ディスプレイでは、融像しやすさについては何ら考慮されていないため、表示コンテンツによっては、稀に融像が困難になり、視認性が低下する場合がある。

そこで、本開示では、融像しやすい立体表示を実現可能な情報処理装置、情報処理方法およびプログラムを提案する。

本開示によれば、立体画像として表示するための複数の視点画像を生成する表示生成部と、ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出する誘目領域検出部と、前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成するマップ生成部と、前記制御マップに基づいて前記視点画像の前記誘目度を調整する画像補正部と、前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる表示制御部と、を有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムが提供される。

表示システムの一例を示す図である。表示システムの機能構成を示す図である。仮想空間に呈示される立体画像の一例を示す図である。仮想空間に呈示される立体画像の一例を示す図である。立体画像を特定の視点から見た視点画像を示す図である。信号処理の流れを説明する図である。視点画像の距離マップを示す図である。誘目度の空間分布の一例を示す図である。誘目度の空間分布の一例を示す図である。誘目度の空間分布の一例を示す図である。制御マップの一例を示す図である。誘目度の空間分布のバリエーションを示す図である。誘目度の空間分布のバリエーションを示す図である。誘目度の空間分布のバリエーションを示す図である。補正信号処理の具体例を示す図である。補正信号処理の具体例を示す図である。補正信号処理の具体例を示す図である。補正信号処理の変形例を示す図である。表示システムのハードウェア構成例を示す図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

なお、説明は以下の順序で行われる。
［１．表示システムの構成］
［２．立体画像の具体例］
［３．情報処理方法］
［３－１．距離マップの生成］
［３－２．誘目度の空間分布の設定］
［３－３．制御マップの生成および補正処理］
［３－４．誘目度の空間分布のバリエーション］
［３－５．補正信号処理の具体例］
［４．変形例］
［５．ハードウェア構成例］
［６．効果］

［１．表示システムの構成］
図１は、表示システム１の一例を示す図である。

表示システム１は、スクリーンＳＣＲが水平面ＢＴに対して角度θだけ傾斜したディスプレイ２１を有する。角度θは、例えば、４５度である。以下、スクリーンＳＣＲの下辺と平行な方向をｘ方向とする。下辺と直交する水平面ＢＴ内の方向をｚ方向とする。ｘ方向およびｚ方向と直交する方向（鉛直方向）をｙ方向とする。

図１の例では、スクリーンＳＣＲのｘ方向のサイズはＷであり、ｚ方向のサイズはＤであり、ｙ方向のサイズはＨである。ｘ方向、ｙ方向およびｚ方向のサイズが、Ｗ、２×ＤおよびＨの直方体の空間が仮想空間ＶＳとなる。スクリーンＳＣＲに表示された複数の視点画像ＶＩ（図５参照）は、立体画像として仮想空間ＶＳに呈示される。以下、ユーザ（観察者）から見てスクリーンＳＣＲの手前側にある仮想空間ＶＳの鉛直面を前面ＦＴと呼び、スクリーンＳＣＲの後ろ側にある仮想空間ＶＳの鉛直面を背面ＲＥと呼ぶ。

両眼視差を利用した表示システム１では、ユーザの左右の目に映る視点画像ＶＩが融像して１つの立体画像として認識される。しかし、仮想物体ＶＯＢ（図３参照）がスクリーンＳＣＲから大きく飛びだしたり深い奥行き位置に配置されたりした場合や、同一の仮想物体ＶＯＢが連続して配置されるような場合には、１つの立体画像として認識すべき画像範囲が不明瞭になるケースがある。そのようなケースでは、稀に融像が困難になり、視認性が低下する場合がある。

実物体を鑑賞する場合には、目のピントを調節することによって、実物体の奥行方向の位置を探索することができる。そのため、奥行方向の位置を手掛かりとして、左右の像の対応関係を認識することができる。しかし、裸眼立体ディスプレイでは、実際に観察されているのは、スクリーンＳＣＲ上に表示されているステレオの錯視画像（視点画像ＶＩ）である。錯視画像の焦点位置は光源となるスクリーンＳＣＲ上に固定される。そのため、目のピント調節により、仮想物体ＶＯＢの奥行きを探索することはできない。このことが、融像をより困難にする。

本開示では、このような問題を解決するため、仮想空間ＶＳ内の特定の領域を誘目領域ＲＡ（図８参照）として設定し、誘目領域ＲＡが他の領域に比べて顕著になるように補正信号処理を行う手法を提案する。ユーザの視線ＥＳ（図８参照）を誘目領域ＲＡに誘導することで、１つの立体画像として認識すべき画像範囲が特定しやすくなる。その結果、融像が促進される。以下、詳細に説明する。

図２は、表示システム１の機能構成を示す図である。

表示システム１は、処理部１０、情報提示部２０、情報入力部３０およびセンサ部４０を有する。処理部１０は、各種情報を処理する情報処理装置である。処理部１０は、センサ部４０から取得したセンサ情報および情報入力部３０から取得したユーザ入力情報に基づいて、情報提示部２０を制御する。

センサ部４０は、外界をセンシングするための複数のセンサを有する。複数のセンサには、例えば、可視光カメラ４１、測距センサ４２、視線検出センサ４３などが含まれる。可視光カメラ４１は、外界の可視光画像を撮影する。測距センサ４２は、レーザ光の飛行時間などを用いて、外界に存在する実物体の距離を検出する。視線検出センサ４３は、公知のアイトラッキング技術を用いて、ディスプレイ２１に向けられたユーザの視線ＥＳを検出する。

情報提示部２０は、ユーザに映像情報、音響情報および触覚情報などの各種情報を提示する。情報提示部２０は、例えば、ディスプレイ２１、スピーカ２２およびハプティクスデバイス２３を有する。ディスプレイ２１には、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）やＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔ－ＥｍｉｔｔｉｎｇＤｉｏｄｅ）などの公知のディスプレイが用いられる。スピーカ２２には、音声などを出力可能な公知のスピーカが用いられる。ハプティクスデバイス２３には、超音波などにより、表示情報に関連した触覚情報を提示可能な公知のハプティクスデバイスが用いられる。

情報入力部３０は、ユーザの入力操作によって各種情報を入力可能な複数の入力機器を有する。複数の入力機器には、例えば、タッチパネル３１、キーボード３２、マウス３３およびマイクロフォン３４などが含まれる。

処理部１０は、例えば、データ処理部１１、Ｉ／Ｆ部１２、視線認識部１３、距離認識部１４、ユーザ認識部１５、誘目情報認識部１６、仮想空間認識部１７、タイマー１８および記憶部１９を有する。処理部１０は、センサ部４０で検出されたセンサ情報および情報入力部３０から入力されたユーザ入力情報をＩ／Ｆ部１２を介して取得する。

視線認識部１３は、視線検出センサ４３で検出された情報に基づいて、ディスプレイ２１に視線ＥＳを向けるユーザの視線情報を生成する。視線情報には、ユーザの目の位置（視点ＶＰ：図８参照）および視線ＥＳの方向に関する情報が含まれる。視線認識処理には、公知のアイトラッキング技術が用いられる。

距離認識部１４は、測距センサ４２で検出された情報に基づいて、外界に存在する実物体の距離情報を生成する。距離情報は、例えば、実物体とディスプレイ２１との間の距離の情報を含む。

ユーザ認識部１５は、可視光カメラ４１で撮影された可視光画像から、ディスプレイ２１に視線ＥＳを向けるユーザの画像を抽出する。ユーザ認識部１５は、抽出されたユーザの画像に基づいて、ユーザの動作情報を生成する。動作情報には、例えば、ユーザがディスプレイ２１を見ながら実施している作業の状況やジェスチャに関する情報が含まれる。

誘目情報認識部１６は、ユーザ入力情報、センサ情報およびコンテンツデータＣＴに基づいて、仮想空間ＶＳの誘目情報を生成する。誘目情報は、ユーザの視覚的な注意を誘引すべき物や場所（誘目領域ＲＡ）に関する情報を含む。誘目情報は、キーとなる誘目領域ＲＡの位置情報を特定するために用いられる。

例えば、手前側（ユーザに近い側）に主要な物が配置される一般的な表示形態では、手前側にある物を特定する情報が誘目情報として生成される。コンテンツデータＣＴに、コンテンツ製作者が指定した誘目位置（物や場所）の情報が含まれる場合には、コンテンツデータＣＴから抽出された誘目位置の情報が誘目情報として生成される。ユーザが特定の位置を継続的に注視している場合には、ユーザの注視位置に関する情報が誘目情報として生成される。例えば、センサ情報から、ユーザが仮想空間ＶＳに指やペンなどを挿入し、仮想物体ＶＯＢに対して描画や造形などの何らかの作業を行っている状況が検出された場合には、作業箇所（注視位置）の位置情報が誘目情報として生成される。

仮想空間認識部１７は、仮想空間ＶＳに関する仮想空間情報を生成する。仮想空間情報には、例えば、スクリーンＳＣＲの角度θ、ならびに、仮想空間ＶＳの位置およびサイズに関する情報が含まれる。

データ処理部１１は、タイマー１８で生成されたタイミング信号に基づいて、情報提示部２０およびセンサ部４０を同期して駆動する。データ処理部１１は、情報提示部２０を制御し、誘目領域からの距離に応じて誘目度（目立ちやすさ）が調整された立体画像を仮想空間ＶＳに表示させる。データ処理部１１は、例えば、誘目領域検出部５１、マップ生成部５２、表示生成部５３、画像補正部５４および表示制御部５５を有する。

表示生成部５３は、立体画像として表示するための複数の視点画像ＶＩを生成する。視点画像ＶＩは、１つの視点ＶＰから見た２次元画像を意味する。複数の視点画像ＶＩには、ユーザの左眼から見た左眼画像と、ユーザの右眼から見た右眼画像と、が含まれる。

例えば、表示生成部５３は、仮想空間認識部１７から取得した仮想空間情報に基づいて、仮想空間ＶＳの位置およびサイズを検出する。表示生成部５３は、視線認識部１３から取得した視線情報に基づいて、ユーザの左眼および右眼の位置（視点ＶＰ）を検出する。表示生成部５３は、コンテンツデータＣＴから３Ｄデータを抽出し、抽出された３Ｄデータをユーザの視点に基づいてレンダリングして視点画像ＶＩを生成する。

誘目領域検出部５１は、誘目情報認識部１６から取得した誘目情報に基づいて、ユーザの視覚的な注意を誘引すべき仮想空間ＶＳの誘目領域ＲＡを検出する。誘目領域ＲＡは、例えば、仮想空間ＶＳに呈示される特定の仮想物体ＶＯＢ、または、特定の仮想物体ＶＯＢを含む仮想空間ＶＳ内の局所領域である。誘目領域ＲＡは、例えば、ユーザ入力情報、ユーザの注視位置、または、コンテンツデータＣＴから抽出された誘目位置に基づいて検出される。ユーザの注視位置は、例えば、ユーザ認識部１５から取得したユーザの動作情報に基づいて検出される。

マップ生成部５２は、誘目領域ＲＡからの距離に基づいて、視点画像ＶＩごとに制御マップＣＭ（図１１参照）を生成する。制御マップＣＭは、視点画像ＶＩにおける誘目度の分布を示す。仮想空間ＶＳには、誘目領域ＲＡにおいて誘目度が最も大きくなるような誘目度の空間分布が設定される。

例えば、制御マップＣＭには、誘目領域ＲＡから離れるにしたがって誘目度が低下するような誘目度の分布が規定される。誘目度は、誘目領域ＲＡからの距離を基準として算出される。基準となる距離は、奥行方向の距離でもよいし、奥行方向と直交する方向の距離でもよい。奥行方向は、ユーザの視線方向でもよいし、ｚ方向でもよい。誘目領域ＲＡからの距離は、距離認識部１４から取得した距離情報に基づいて算出される。

画像補正部５４は、制御マップＣＭに基づいて視点画像ＶＩの誘目度を調整する。例えば、画像補正部５４は、視点画像ＶＩの周波数特性、明度、彩度、コントラスト、透明度、または、色相を画素ごとに調整することにより、視点画像ＶＩの誘目度を調整する。

例えば、画像補正部５４は、周波数特性、明度、彩度、コントラストおよび透明度などの特性を誘目領域ＲＡにおいて最も高くする。これにより、誘目領域ＲＡが顕在化され、誘目度が高まる。仮想空間ＶＳに同じ色相を持つ複数の仮想物体ＶＯＢが呈示される場合には、画像補正部５４は、誘目領域ＲＡに提示される仮想物体ＶＯＢの色相を他の領域の仮想物体ＶＯＢの色相と異ならせることができる。色相が調整された仮想物体ＶＯＢは、異質な仮想物体ＶＯＢとして他から識別される。そのため、誘目領域ＲＡの仮想物体ＶＯＢの誘目度が高まる。

上述の画像処理により、領域ごとに誘目度が調整される。そのため、同質のエッジやテクスチャが連続的に配置されても、異なるエッジやテクスチャとして知覚されやすくなる。これにより、融像が促進され、視認性の高い表示が実現される。視認性が改善されるため、大きな奥行表現が可能となるとともに、知覚される立体感も向上する。さらに、融像のしにくさは視覚疲労の原因となるが、これが解消されることで、視覚疲労の低減も期待できる。

表示制御部５５は、誘目度が調整された複数の視点画像ＶＩを用いて仮想空間ＶＳに立体画像を表示させる。

各種演算に用いられる設定、条件および基準に関する情報は、設定情報ＳＴＩに含まれる。上述の処理に用いられるコンテンツデータＣＴ、設定情報ＳＴＩおよびプログラムＰＧは記憶部１９に記憶される。プログラムＰＧは、本実施形態に係る情報処理をコンピュータに実行させるプログラムである。処理部１０は、記憶部１９に記憶されているプログラムＰＧにしたがって各種の処理を行う。記憶部１９は、処理部１０の処理結果を一時的に記憶する作業領域として利用されてもよい。記憶部１９は、例えば、半導体記憶媒体および磁気記憶媒体などの任意の非一過的な記憶媒体を含む。記憶部１９は、例えば、光ディスク、光磁気ディスクまたはフラッシュメモリを含んで構成される。プログラムＰＧは、例えば、コンピュータにより読み取り可能な非一過的な記憶媒体に記憶されている。

処理部１０は、例えば、プロセッサとメモリとで構成されるコンピュータである。処理部１０のメモリには、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）およびＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）が含まれる。処理部１０は、プログラムＰＧを実行することにより、データ処理部１１、Ｉ／Ｆ部１２、視線認識部１３、距離認識部１４、ユーザ認識部１５、誘目情報認識部１６、仮想空間認識部１７、タイマー１８、誘目領域検出部５１、マップ生成部５２、表示生成部５３、画像補正部５４および表示制御部５５として機能する。

［２．立体画像の具体例］
図３および図４は、仮想空間ＶＳに呈示される立体画像の一例を示す図である。図５は、立体画像を特定の視点ＶＰから見た視点画像ＶＩを示す図である。

コンテンツデータＣＴには、立体画像の３Ｄモデルに関する情報が含まれる。３Ｄモデルを視点ＶＰの情報に基づいてレンダリングすることにより、任意の視点ＶＰから見た視点画像ＶＩが生成される。図３ないし図５の例では、複数のキューブ状の仮想物体ＶＯＢがｘ方向、ｙ方向およびｚ方向に周期的に配列されている。複数の仮想物体ＶＯＢは、スクリーンＳＣＲの手前側から後ろ側にかけてｚ方向に広く分布している。視点画ＶＩには、例えば、複数の仮想物体ＶＯＢとその影画像ＳＨとが含まれる。

ユーザは、仮想空間ＶＳの前面ＦＴ側から立体画像を観察する。観察位置によっては全ての方向に同一のエッジやテクスチャを持つ仮想物体ＶＯＢが観察される。そのため、１つ１つの仮想物体ＶＯＢが区別しにくく、非常に融像しづらい表示となる。この問題を解決するために、本開示では、特定の空間領域を顕在化し、ユーザの視線ＥＳをこの空間領域に誘導して融像を促している。以下、情報処理の一例を説明する。

［３．情報処理方法］
［３－１．距離マップの生成］
図６は、信号処理の流れを説明する図である。図７は、視点画像ＶＩの距離マップＤＭを示す図である。

マップ生成部５２は、立体画像の３次元座標情報に基づいて、各視点画像ＶＩの距離マップＤＭを生成する。距離マップＤＭは、視点ＶＰから仮想物体ＶＯＢの表面までの距離の分布を示す。距離マップＤＭは、視点ＶＰからの距離を画素ごとに規定する。距離マップＤＭの各画素には、例えば、ユーザから見て最も近い仮想空間ＶＳ内の位置（例えば前面ＦＴ）までの距離を０とし、最も遠い仮想空間ＶＳ内の位置（例えば背面ＲＥ）までの距離を１として規格化された距離値が画素値として規定されている。

［３－２．誘目度の空間分布の設定］
図８ないし図１０は、誘目度の空間分布ＡＤの一例を示す図である。

誘目領域検出部５１は、誘目情報に基づいて誘目領域ＲＡの位置情報を生成する。誘目領域検出部５１は、誘目領域ＲＡの位置情報を制御キーとしてマップ生成部５２に供給する。マップ生成部５２は、誘目領域ＲＡの位置を基準とした仮想空間ＶＳの誘目度の空間分布ＡＤを決定する。図８の例では、ユーザの視点ＶＰから最も近い仮想空間ＶＳ上の位置が誘目領域ＲＡとして決定されている。誘目領域ＲＡは、視線ＥＳと直交する平面領域として規定される。視点ＶＰからの距離が大きくなるほど誘目度は小さくなる。

図９の例では、仮想空間ＶＳの前面ＦＴが誘目領域ＲＡとして決定されている。前面ＦＴからの距離が大きくなるほど誘目度は小さくなるような誘目度の空間分布ＡＤが設定される。背面ＲＥの誘目度は最も小さい。図１０の例では、規格化された視点ＶＰからの距離がＤＳ_Ａとなる仮想空間ＶＳ内の領域が誘目領域ＲＡとして決定されている。マップ生成部５２は、誘目度に応じた画像の補正値を制御値ＣＶとして決定する。マップ生成部５２は、誘目度の空間分布ＡＤに基づいて、距離ＤＳと制御値ＣＶとの関係を規定した制御カーブＣＣＶを決定する。

［３－３．制御マップの生成および補正処理］
図１１は、制御マップＣＭの一例を示す図である。

マップ生成部５２は、距離マップＤＭと空間分布ＡＤとに基づいて制御マップＣＭを生成する。例えば、マップ生成部５２は、制御カーブＣＣＶを距離マップＤＭに適用することで、視点画像ＶＩごとに制御マップＣＭを生成する。制御マップＣＭは、対応する視点画像ＶＩの制御値ＣＶの分布を示す。制御マップＣＭは、視点画像ＶＩの各画素の制御値ＣＶを規定する。画像補正部５４は、制御マップＣＭに基づいて、補正信号処理用の制御信号を生成する。画像補正部５４は、制御信号を用いて視点画像ＶＩを補正する。

［３－４．誘目度の空間分布のバリエーション］
図１２ないし図１４は、誘目度の空間分布ＡＤのバリエーションを示す図である。

図１２の例では、誘目領域ＲＡは、ユーザの視線ＥＳの方向（視線方向ＥＳＤ）から見て仮想空間ＶＳの中央部（符号「ａ」で示される）に設定されている。視線方向ＥＳＤと直交する仮想空間ＶＳの中央部の平面領域が誘目領域ＲＡとなっている。誘目領域ＲＡにおいて誘目度が最も大きく、誘目領域ＲＡの手前側（ユーザに近い側）および後ろ側（ユーザから遠い側）では、誘目領域ＲＡからの距離に応じて誘目度が徐々に低下する。

図１３の左から１番目の例では、誘目領域ＲＡは、視線方向ＥＳＤから見て仮想空間ＶＳの前面ＦＴ側の端部に設定されている。前面ＦＴの上辺を通って視線方向ＥＳＤと直交する平面領域が誘目領域ＲＡとなっている。誘目領域ＲＡにおいて誘目度が最も大きく、誘目領域ＲＡから仮想空間ＶＳの中央部までは、誘目領域ＲＡからの距離に応じて誘目度が徐々に低下する。仮想空間ＶＳの中央部よりも後ろ側では、誘目度は変化しない。

図１３の左から２番目の例では、誘目領域ＲＡは、視線方向ＥＳＤから見て仮想空間ＶＳの中央部よりも手前側に設定されている。視線方向ＥＳＤと直交する平面領域が誘目領域ＲＡとなっている。誘目領域ＲＡの手前側および後ろ側では、誘目領域ＲＡからの距離に応じて誘目度が徐々に低下する。

図１３の左から３番目の例では、誘目領域ＲＡは、視線方向ＥＳＤから見て仮想空間ＶＳの中央部に設定されている。誘目度の空間分布ＡＤは、図１２の例と同様である。

図１３の左から４番目の例では、誘目領域ＲＡは、視線方向ＥＳＤから見て仮想空間ＶＳの中央部よりも後ろ側に設定されている。視線方向ＥＳＤと直交する平面領域が誘目領域ＲＡとなっている。誘目領域ＲＡの手前側および後ろ側では、誘目領域ＲＡからの距離に応じて誘目度が徐々に低下する。

図１３の左から５番目の例では、誘目領域ＲＡは、視線方向ＥＳＤから見て仮想空間ＶＳの背面ＲＥ側の端部に設定されている。背面ＲＥの下辺を通って視線方向ＥＳＤと直交する平面領域が誘目領域ＲＡとなっている。誘目領域ＲＡにおいて誘目度が最も大きく、誘目領域ＲＡから仮想空間ＶＳの中央部までは、誘目領域ＲＡからの距離に応じて誘目度が徐々に低下する。仮想空間ＶＳの中央部よりも手間側では、誘目度は変化しない。

図１４の例では、誘目領域ＲＡは、ｚ方向から見て仮想空間ＶＳの中央部に設定されている。ｚ方向と直交する仮想空間ＶＳの中央部の平面領域が誘目領域ＲＡとなっている。誘目領域ＲＡにおいて誘目度が最も大きく、誘目領域ＲＡの手前側および後ろ側では、誘目領域ＲＡからの距離に応じて誘目度が徐々に低下する。

［３－５．補正信号処理の具体例］
図１５ないし図１７は、補正信号処理の具体例を示す図である。各図の左側は補正前の視点画像ＶＩを示し、右側は補正後の視点画像ＶＩ（補正画像ＶＩＣ）を示す。

補正信号処理は、視点画像ＶＩの誘目度を画素ごとに調整する処理である。補正信号処理は、誘目させたい領域をより目立たせそれ以外の領域を目立たないようにさせること、あるいは、同種の仮想物体ＶＯＢが多数存在する場合に、それぞれを区別して認識しやすくすることを目的とする。補正信号処理では、例えば、下記に示す複数の処理が単独で、または、組み合わせて実施される。

図１５の例では、制御マップＣＭに応じて、制御値ＣＶの高い領域の周波数特性を高くし、それ以外の部分を低くする処理が行われる。この処理により、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの鮮鋭度が上がり、エッジやテクスチャの視認性も他より高まる。その結果、融像しやすい表示が得られる。図１５の例では、視線方向ＥＳＤから見て最も手前側の誘目度が高く設定されている。補正画像ＶＩＣでは、最も手前側の鮮鋭度が高く、後ろ側に行くほど鮮鋭度が低くなっている。手前側に誘目させると同時に後ろ側との差をつけることにより、融像しやすくなっている。

図１６の例では、制御マップＣＭに応じて、制御値ＣＶの高い領域を明るく、それ以外の部分を暗くする処理が行われる。この処理により、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの明るさが他よりも上がり、目立ちやすくなる。その結果、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの視認性が高まり、融像しやすい表示が得られる。図１６の例では、視線方向ＥＳＤから見て最も手前側の誘目度が高く設定されている。補正画像ＶＩＣでは、最も手前側が明るく、後ろ側に行くほど暗くなっている。手前側に誘目させると同時に後ろ側との差をつけることにより、融像しやすくなっている。

図１７の例では、制御マップＣＭに応じて、制御値ＣＶの高い領域の彩度を高くし、それ以外の部分の彩度を低くする処理が行われる。この処理により、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの彩度が他よりも鮮やかになる。その結果、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの視認性が高まり、融像しやすい表示が得られる。図１７の例では、視線方向ＥＳＤから見て最も手前側の誘目度が高く設定されている。補正画像ＶＩＣでは、最も手前側が鮮やかで、後ろ側に行くほどくすんだ色になっている。手前側に誘目させると同時に後ろ側との差をつけることにより、融像しやすくなっている。

なお、補正信号処理は上述のものに限られない。例えば、制御マップＣＭに応じて、制御値ＣＶの高い領域の局所コントラストを高くし、それ以外の部分のコントラストを低くする処理が行われてもよい。局所コントラストとは、局所的な空間に存在する仮想物体ＶＯＢ内のコントラストを意味する。この処理により、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢのテクスチャ等が他よりも鮮やかに表示される。その結果、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの視認性が高まり、融像しやすい表示が得られる。

制御マップＣＭに応じて、制御値ＣＶの高い領域の透明度を低くし、それ以外の部分の透明度を上げる処理が行われてもよい。この処理により、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢが目立ちやすくなる。その結果、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの視認性が高まり、融像しやすい表示が得られる。

複数の同質の仮想物体ＶＯＢが仮想空間ＶＳに呈示される場合には、制御マップＣＭに応じて、制御値ＣＶの高い領域とその領域の色相等を変えることにより、領域ごとに仮想物体ＶＯＢを異質化する処理が行われてもよい。この処理により、個々の仮想物体ＶＯＢが区別しやすくなる。その結果、誘目領域ＲＡとなる主要な仮想物体ＶＯＢの視認性が高まり、融像しやすい表示が得られる。

［４．変形例］
図１８は、補正信号処理の変形例を示す図である。

上述した補正信号処理は、いずれも視点画像ＶＩに適用されるポスト処理として実施される。しかし、描画する個々の仮想物体ＶＯＢのマテリアルなど、それ自体の設定を位置に応じて制御することにより、同様な表示を実現することもできる。例えば、画像補正部５４は、コンテンツデータＣＴから複数の仮想物体ＶＯＢを抽出する。画像補正部５４は、仮想物体ＶＯＢごとに、仮想物体ＶＯＢと誘目領域ＲＡとの距離に応じたアルファ値に基づいて仮想物体ＶＯＢの誘目度を調整する。

図１８の例では、ｚ方向から見て手前側が、誘目領域ＲＡとなる主要な領域と定義されている。後ろ側の仮想物体ＶＯＢでは、マテリアルのアルファ値が下げられ、透明度が高い表示となっている。この処理により、誘目領域ＲＡとなる手前側の仮想物体ＶＯＢが目立ちやすくなる。その結果、誘目領域ＲＡとなる手前側の仮想物体ＶＯＢの視認性が高まり、融像しやすい表示が得られる。

［５．ハードウェア構成例］
図１９は、表示システム１のハードウェア構成例を示す図である。

表示システム１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９０１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９０２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、表示システム１は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。表示システム１は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って表示システム１内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、データ処理部１１、視線認識部１３、距離認識部１４、ユーザ認識部１５、誘目情報認識部１６および仮想空間認識部１７を形成し得る。

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、表示システム１の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。表示システム１のユーザは、この入力装置９０６を操作することにより、表示システム１に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、情報入力部３０を形成しうる。

出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、表示システム１が行った各種処理により得られた結果を出力する。具体的には、表示装置は、表示システム１が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、情報提示部２０を形成しうる。

ストレージ装置９０８は、表示システム１の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１９を形成し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、表示システム１に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）などによりデータ伝送可能な外部機器との接続口である。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（ＷｉｒｅｌｅｓｓＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（ＡｓｙｍｍｅｔｒｉｃＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。

センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、表示システム１の姿勢、移動速度等、表示システム１自身の状態に関する情報や、表示システム１の周辺の明るさや騒音等、表示システム１の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、センサ部４０を形成し得る。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ－ＶｉｒｔｕａｌＰｒｉｖａｔｅＮｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

［６．効果］
処理部１０は、表示生成部５３と誘目領域検出部５１とマップ生成部５２と画像補正部５４と表示制御部５５とを有する。表示生成部５３は、立体画像として表示するための複数の視点画像ＶＩを生成する。誘目領域検出部５１は、ユーザの視覚的な注意を誘引すべき仮想空間ＶＳの誘目領域ＲＡを検出する。マップ生成部５２は、誘目領域ＲＡからの距離に基づいて、視点画像ＶＩごとに、視点画像ＶＩにおける誘目度の分布を示す制御マップＣＭを生成する。画像補正部５４は、制御マップＣＭに基づいて視点画像ＶＩの誘目度を調整する。表示制御部５５は、誘目度が調整された複数の視点画像ＶＩを用いて仮想空間ＶＳに立体画像を表示させる。本実施形態の情報処理方法は、上述した処理部１０の処理がコンピュータにより実行される。本実施形態のプログラムは、上述した処理部１０の処理をコンピュータに実現させる。

この構成によれば、１つの立体画像として認識すべき像領域に観察者の注視を促すことができる。そのため、融像が生じやすい。

制御マップＣＭには、誘目領域ＲＡから離れるにしたがって誘目度が低下するような誘目度の分布が規定される。

この構成によれば、誘目領域ＲＡが他の領域に比べて顕著になる。そのため、融像が促進される。

マップ生成部５２は、立体画像の３次元座標情報に基づいて各視点画像ＶＩの距離マップＤＭを生成する。マップ生成部５２は、誘目領域ＲＡの位置を基準とした仮想空間ＶＳの誘目度の空間分布ＡＤを決定する。マップ生成部５２は、距離マップＤＭと誘目度の空間分布ＡＤとに基づいて制御マップＣＭを生成する。

この構成によれば、制御マップＣＭが立体画像の３次元座標情報に基づいて容易に生成される。

画像補正部５４は、視点画像ＶＩの周波数特性、明度、彩度、コントラスト、透明度、または、色相を画素ごとに調整することにより、視点画像ＶＩの誘目度を調整する。

この構成によれば、誘目領域ＲＡに観察者の注視を促しやすくなる。

画像補正部５４は、コンテンツデータＣＴから複数の仮想物体ＶＯＢを抽出する。画像補正部５４は、仮想物体ＶＯＢごとに、仮想物体ＶＯＢと誘目領域ＲＡとの距離に応じたアルファ値に基づいて仮想物体ＶＯＢの誘目度を調整する。

誘目領域検出部５１は、ユーザ入力情報、ユーザの注視位置、または、コンテンツデータＣＴから抽出された誘目位置に基づいて誘目領域ＲＡを検出する。

この構成によれば、誘目領域ＲＡが適切に設定される。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

［付記］
なお、本技術は以下のような構成も取ることができる。
（１）
立体画像として表示するための複数の視点画像を生成する表示生成部と、
ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出する誘目領域検出部と、
前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成するマップ生成部と、
前記制御マップに基づいて前記視点画像の前記誘目度を調整する画像補正部と、
前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる表示制御部と、
を有する情報処理装置。
（２）
前記制御マップには、前記誘目領域から離れるにしたがって前記誘目度が低下するような前記誘目度の分布が規定される、
上記（１）に記載の情報処理装置。
（３）
前記マップ生成部は、前記立体画像の３次元座標情報に基づいて各視点画像の距離マップを生成し、前記誘目領域の位置を基準とした前記仮想空間の誘目度の空間分布を決定し、前記距離マップと前記誘目度の空間分布とに基づいて前記制御マップを生成する、
上記（１）または（２）に記載の情報処理装置。
（４）
前記画像補正部は、前記視点画像の周波数特性、明度、彩度、コントラスト、透明度、または、色相を画素ごとに調整することにより、前記視点画像の誘目度を調整する、
上記（１）ないし（３）のいずれか１つに記載の情報処理装置。
（５）
前記画像補正部は、コンテンツデータから複数の仮想物体を抽出し、仮想物体ごとに、前記仮想物体と前記誘目領域との距離に応じたアルファ値に基づいて前記仮想物体の誘目度を調整する、
上記（１）ないし（３）のいずれか１つに記載の情報処理装置。
（６）
前記誘目領域検出部は、ユーザ入力情報、前記ユーザの注視位置、または、コンテンツデータから抽出された誘目位置に基づいて前記誘目領域を検出する、
上記（１）ないし（５）のいずれか１つに記載の情報処理装置。
（７）
立体画像として表示するための複数の視点画像を生成し、
ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出し、
前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成し、
前記制御マップに基づいて前記視点画像の前記誘目度を調整し、
前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる、
ことを有する、コンピュータにより実行される情報処理方法。
（８）
立体画像として表示するための複数の視点画像を生成し、
ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出し、
前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成し、
前記制御マップに基づいて前記視点画像の前記誘目度を調整し、
前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる、
ことをコンピュータに実現させるプログラム。

１０処理部（情報処理装置）
５１誘目領域検出部
５２マップ生成部
５３表示生成部
５４画像補正部
５５表示制御部
ＡＤ誘目度の空間分布
ＣＭ制御マップ
ＣＴコンテンツデータ
ＤＭ距離マップ
ＰＧプログラム
ＲＡ誘目領域
ＶＩ視点画像
ＶＯＢ仮想物体
ＶＳ仮想空間

Claims

立体画像として表示するための複数の視点画像を生成する表示生成部と、
ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出する誘目領域検出部と、
前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成するマップ生成部と、
前記制御マップに基づいて前記視点画像の前記誘目度を調整する画像補正部と、
前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる表示制御部と、
を有する情報処理装置。
前記制御マップには、前記誘目領域から離れるにしたがって前記誘目度が低下するような前記誘目度の分布が規定される、
請求項１に記載の情報処理装置。
前記マップ生成部は、前記立体画像の３次元座標情報に基づいて各視点画像の距離マップを生成し、前記誘目領域の位置を基準とした前記仮想空間の誘目度の空間分布を決定し、前記距離マップと前記誘目度の空間分布とに基づいて前記制御マップを生成する、
請求項１に記載の情報処理装置。
前記画像補正部は、前記視点画像の周波数特性、明度、彩度、コントラスト、透明度、または、色相を画素ごとに調整することにより、前記視点画像の誘目度を調整する、
請求項１に記載の情報処理装置。
前記画像補正部は、コンテンツデータから複数の仮想物体を抽出し、仮想物体ごとに、前記仮想物体と前記誘目領域との距離に応じたアルファ値に基づいて前記仮想物体の誘目度を調整する、
請求項１に記載の情報処理装置。
前記誘目領域検出部は、ユーザ入力情報、前記ユーザの注視位置、または、コンテンツデータから抽出された誘目位置に基づいて前記誘目領域を検出する、
請求項１に記載の情報処理装置。
立体画像として表示するための複数の視点画像を生成し、
ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出し、
前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成し、
前記制御マップに基づいて前記視点画像の前記誘目度を調整し、
前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる、
ことを有する、コンピュータにより実行される情報処理方法。
立体画像として表示するための複数の視点画像を生成し、
ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出し、
前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成し、
前記制御マップに基づいて前記視点画像の前記誘目度を調整し、
前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる、
ことをコンピュータに実現させるプログラム。