JP6008322B2 - 視差画像生成装置、視差画像生成方法、プログラムおよび集積回路 - Google Patents

Description

本発明は、３次元画像を表現するための視差画像を生成する視差画像生成装置、視差画像生成方法、プログラムおよび集積回路に関する。

近年、視差を有する複数の画像を利用して、３次元画像を表現する様々な技術が開発されている。視差を有する複数の画像を利用して３次元画像を表現する場合、３次元画像の端部におけるオブジェクトは、当該端部付近において立体感が突然なくなり、当該３次元画像の見え方が非常に不自然であるという問題がある。

特許文献１では、３次元画像の端部における不自然な見え方を解消するための技術（以下、従来技術Ａという）が開示されている。

特開２０１０−２６８０９７号公報

しかしながら、従来技術Ａでは、３次元画像の端部を、立体的なフレーム（枠）の画像で覆うように、当該フレーム（枠）を配置する。そのため、従来技術Ａでは、３次元画像の表示サイズが小さくなるという課題を有する。

本発明は、このような課題を解決するためになされたものであり、３次元画像のサイズを小さくすることなく、３次元画像の端部における不自然な表現を抑制することができる視差画像生成装置等を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る視差画像生成装置は、処理対象の２次元画像から、３次元画像を表現するために必要な、互いに視差を有する２つの視差画像を生成するための奥行き画像を用いた処理を行う。前記奥行き画像は、複数の奥行き値から構成される。前記視差画像生成装置は、前記奥行き画像を構成する前記複数の奥行き値のうち、該奥行き画像の端に近い奥行き値程、該奥行き値に対応する位置が視差画像を表示するための表示面に近づくように、該奥行き値を補正する補正処理を行う奥行き値補正部と、前記２次元画像と前記補正処理により補正された前記奥行き画像とを用いて、互いに視差を有する第１および第２視差画像を生成する視差画像生成部とを備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明により、３次元画像のサイズを小さくすることなく、３次元画像の端部における不自然な表現を抑制することができる。

図１は、本発明の第１の実施形態に係る３次元画像視聴システムの構成の一例を示す図である。 図２は、本発明の第１の実施形態に係る視差画像生成装置の構成の一例を示す図である。 図３は、奥行き画像を説明するための図である。 図４は、３次元画像を説明するための図である。 図５は、一例としての左目用画像および右目用画像を示す図である。 図６は、３次元領域におけるオブジェクトの配置を示す図である。 図７は、３次元領域における各オブジェクトの配置位置をＺＸ平面から見た図である。 図８は、視差画像生成処理のフローチャートである。 図９は、奥行き画像補正処理のフローチャートである。 図１０は、奥行き画像内の補正対象領域を説明するための図である。 図１１は、補正後の奥行き値の状態を示す図である。 図１２は、一例としての奥行き画像を示す図である。 図１３は、処理対象の２次元画像内のある１ラインを説明するための図である。 図１４は、３次元領域における画素群の配置状態を示す図である。 図１５は、画素のシフトを説明するための図である。 図１６は、本発明の第１の実施形態に係る視差画像生成処理により生成された左目用画像および右目用画像を示す図である。 図１７は、３次元領域における各オブジェクトの配置状態を示す図である。 図１８は、３次元領域において左目用画像および右目用画像により表現されるオブジェクトの位置を示す斜視図である。 図１９は、ディスプレイとしての視差画像生成装置の外観図である。 図２０Ａは、デジタルスチルカメラとしての視差画像生成装置の外観図である。 図２０Ｂは、デジタルビデオカメラとしての視差画像生成装置の外観図である。 図２１Ａは、本発明の第２の実施形態に係る記録媒体の物理フォーマットの例を示す図である。 図２１Ｂは、本発明の第２の実施形態に係る記録媒体の構成を示す図である。 図２１Ｃは、本発明の第２の実施形態に係るコンピュータシステムの構成を示す図である。

上記目的を達成するために、本発明の一態様に係る視差画像生成装置は、処理対象の２次元画像から、３次元画像を表現するために必要な、互いに視差を有する２つの視差画像を生成するための奥行き画像を用いた処理を行う。前記奥行き画像は、複数の奥行き値から構成される。前記視差画像生成装置は、前記奥行き画像を構成する前記複数の奥行き値のうち、該奥行き画像の端に近い奥行き値程、該奥行き値に対応する位置が視差画像を表示するための表示面に近づくように、該奥行き値を補正する補正処理を行う奥行き値補正部と、前記２次元画像と前記補正処理により補正された前記奥行き画像とを用いて、互いに視差を有する第１および第２視差画像を生成する視差画像生成部とを備える。

ここで、３次元画像において、当該３次元画像の端にかかるようにオブジェクトＡが表示されているとする。この場合、処理対象の２次元画像から、前記補正処理が行われていない奥行き画像を用いて生成された２つの視差画像により表現される３次元画像においては、オブジェクトＡが当該３次元画像の端で途切れるように見える。

一方、本態様では、該奥行き画像の端に近い奥行き値程、当該奥行き値に対応する位置が視差画像を表示するための表示面に近づくように、当該奥行き値を補正する補正処理を行う。そして、補正処理により補正された奥行き画像を用いて第１および第２視差画像が生成される。

これにより、生成された第１および第２視差画像により表現される３次元画像においては、当該オブジェクトＡが当該３次元画像の端で途切れるように見えるといった不自然さを抑制することができる。

したがって、当該３次元画像のサイズを小さくすることなく、３次元画像の端部に表示されるオブジェクトの不自然な表現を抑制することができる。すなわち、３次元画像のサイズを小さくすることなく、３次元画像の端部における不自然な表現を抑制することができる。

また、前記奥行き値補正部は、前記奥行き画像のうち、該奥行き画像の端からＬ（１以上の整数）個の画素だけ離れた位置までの領域である補正対象領域に対応する複数の奥行き値に対し前記補正処理を行ってもよい。

また、前記奥行き値補正部は、前記補正対象領域に対応する複数の奥行き値のうち、生成された前記第１および第２視差画像を表示するための前記表示面よりも手前側において、前記３次元画像内の一部の画素を表現するための奥行き値に対し前記補正処理を行ってもよい。

また、前記奥行き値補正部は、前記２次元画像の水平方向のサイズが大きい程、前記Ｌを大きくしてもよい。

また、前記奥行き値補正部は、前記補正対象領域に含まれる奥行き値のうち、対応する位置が前記表示面から最も手前側に離れている奥行き値を抽出し、抽出した奥行き値に対応する位置が前記表示面から手前側に離れる程、前記Ｌの値を大きくしてもよい。

また、前記奥行き値補正部は、該奥行き画像の左右の端の前記補正対象領域及び上下の端の前記補正対象領域少なくとも一方に対して、前記補正処理を行ってもよい。

また、前記奥行き値補正部は、前記２次元画像が撮像装置をパンしている間に撮像された画像である場合に、該奥行き画像の左右の端の前記補正対象領域の前記Ｌの値を大きくしてもよい。

また、前記奥行き値補正部は、前記２次元画像が撮像装置をチルトしている間に撮像された画像である場合に、該奥行き画像の上下の端の前記補正対象領域の前記Ｌの値を大きくしてもよい。

また、前記奥行き値補正部は、前記撮像装置のパン又はチルトの速度が速い程、対応する前記補正対象領域の前記Ｌの値を大きくしてもよい。

また、前記奥行き値補正部は、前記奥行き画像の端のうち、前記撮像装置が向く方向に位置する前記補正対象領域を、反対側に位置する前記補正対象領域より大きくしてもよい。

また、前記奥行き値補正部は、前記奥行き画像を構成する前記複数の奥行き値のうち、該奥行き画像の端に最も近い奥行き値が、前記第１および第２視差画像を表示するための前記表示面において、画素を表現するための値となるように、前記最も近い奥行き値を補正してもよい。

本発明の一態様に係る視差画像生成方法は、処理対象の２次元画像から、３次元画像を表現するために必要な、互いに視差を有する２つの視差画像を生成するための奥行き画像を用いた処理を行うための視差画像生成方法である。前記奥行き画像は、複数の奥行き値から構成される。前記視差画像生成方法は、前記奥行き画像を構成する前記複数の奥行き値のうち、該奥行き画像の端に近い奥行き値程、該奥行き値に対応する位置が視差画像を表示するための表示面に近づくように、該奥行き値を補正する補正処理を行うステップと、前記２次元画像と前記補正処理により補正された前記奥行き画像とを用いて、互いに視差を有する第１および第２視差画像を生成するステップとを含む。

本発明の一態様に係るプログラムは、処理対象の２次元画像から、３次元画像を表現するために必要な、互いに視差を有する２つの視差画像を生成するための奥行き画像を用いた処理を行うためのプログラムである。前記奥行き画像は、複数の奥行き値から構成される。前記プログラムは、前記奥行き画像を構成する前記複数の奥行き値のうち、該奥行き画像の端に近い奥行き値程、該奥行き値に対応する位置が視差画像を表示するための表示面に近づくように、該奥行き値を補正する補正処理を行うステップと、前記２次元画像と前記補正処理により補正された前記奥行き画像とを用いて、互いに視差を有する第１および第２視差画像を生成するステップとをコンピュータに実行させる。

本発明の一態様に係る集積回路は、処理対象の２次元画像から、３次元画像を表現するために必要な、互いに視差を有する２つの視差画像を生成するための奥行き画像を用いた処理を行う。前記奥行き画像は、複数の奥行き値から構成される。前記集積回路は、前記奥行き画像を構成する前記複数の奥行き値のうち、該奥行き画像の端に近い奥行き値程、該奥行き値に対応する位置が視差画像を表示するための表示面に近づくように、該奥行き値を補正する補正処理を行う奥行き値補正部と、前記２次元画像と前記補正処理により補正された前記奥行き画像とを用いて、互いに視差を有する第１および第２視差画像を生成する視差画像生成部とを備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、図面を参照しつつ、本発明の実施の形態について説明する。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、以下の説明では、同一の構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明を省略する場合がある。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る３次元画像視聴システム１０００の構成の一例を示す図である。図１において、Ｘ、Ｙ、Ｚ方向の各々は、互いに直交する。以下の図に示されるＸ、Ｙ、Ｚ方向の各々も、互いに直交する。

図１に示されるように、３次元画像視聴システム１０００は、視差画像生成装置１００と、アクティブシャッタメガネ２００とを含む。

視差画像生成装置１００は、例えば、プラズマディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ等である。なお、視差画像生成装置１００は、上記のディスプレイに限定されず、デジタルビデオカメラ、デジタルスチルカメラ等であってもよい。また、視差画像生成装置１００は、ディスプレイまたはカメラ等に内蔵される装置であってもよい。

視差画像生成装置１００は、画像を表示するための表示面１０１を備える。表示面１０１は、ＸＹ平面に平行であるとする。表示面１０１は、一例として、ｍ（自然数）行ｎ（自然数）列に配列される複数の画素から構成される画像を表示可能であるとする。

ここで、ｍおよびｎは、それぞれ、１０８０および１９２０であるとする。すなわち、表示面１０１は、横１９２０×縦１０８０画素のサイズ（以下、フルＨＤサイズともいう）の画像を表示可能であるとする。以下においては、表示面１０１が表示可能な画像のサイズを、表示可能サイズともいう。

なお、表示可能サイズは、フルＨＤサイズに限定されず、例えば、横１３６６×縦７６８画素のサイズであってもよい。

本実施の形態では、視差画像生成装置１００は、一例として、フレームシーケンシャル方式により、３次元画像を表現するための視差画像を表示する装置である。この場合、表示面１０１に表示される視差画像のサイズは、表示可能サイズと等しい。

なお、視差画像生成装置１００における３次元画像の表示方式は、フレームシーケンシャル方式に限定されない。視差画像生成装置１００における３次元画像の表示方式は、例えば、レンチキュラー方式であってもよい。この場合、表示面１０１に表示される画像により表現される３次元画像のサイズは、表示可能サイズより小さい。

左目用画像２１Ｌは、ユーザ（視聴者）の左目（以下、第１視点ともいう）に見せるための画像である。右目用画像２１Ｒは、ユーザの右目（以下、第２視点ともいう）に見せるための画像である。左目用画像２１Ｌおよび右目用画像２１Ｒは、互いに視差を有する２次元画像である。

視差画像生成装置１００は、左目用画像２１Ｌおよび右目用画像２１Ｒを、表示面１０１に交互に表示する。

アクティブシャッタメガネ２００は、表示面１０１に左目用画像２１Ｌが表示されているときには、ユーザの右目を遮光することによって、左目用画像２１Ｌをユーザの左目だけに見せる。また、アクティブシャッタメガネ２００は、表示面１０１に右目用画像２１Ｒが表示されているときには、ユーザの左目を遮光することによって、右目用画像２１Ｒをユーザの右目だけに見せる。

このような構成のアクティブシャッタメガネ２００をかけたユーザは、左目で左目用画像２１Ｌを見ることができ、右目で右目用画像２１Ｒを見ることができる。これにより、ユーザは、左目用画像２１Ｌおよび右目用画像２１Ｒから表現される３次元画像を視ることができる。

なお、前述したように、３次元画像の表示方式は、アクティブシャッタメガネ２００を用いるフレームシーケンシャル方式に限定されない。例えば、３次元画像の表示方式は、偏光メガネを用いた方式であってもよい。また、例えば、３次元画像の表示方式は、パララックスバリア、レンチキュラシート等を用いた方式であってもよい。

図２は、本発明の第１の実施形態に係る視差画像生成装置１００の構成の一例を示す図である。

図２に示すように、視差画像生成装置１００は、奥行き値補正部１１０と、視差画像生成部１２０とを備える。

奥行き値補正部１１０は、詳細は後述するが、奥行き画像を用いた処理を行う。奥行き画像は、例えば、デプスマップに相当する。奥行き画像は、処理対象の２次元画像から、視差画像としての左目用画像および右目用画像を生成するために使用される画像である。すなわち、奥行き画像は、処理対象の２次元画像から、互いに視差を有する２つの視差画像を生成するための画像である。当該２つの視差画像（左目用画像および右目用画像）は、３次元画像を表現するために必要な画像である。

図３は、奥行き画像を説明するための図である。奥行き画像は、複数の奥行き値から構成される。複数の奥行き値は、それぞれ、奥行き画像を構成する複数の画素の画素値に相当する。

図３に示すように、奥行き画像を構成する複数の奥行き値は、行列状に配置される。

例えば、ｚ［ｍｎ］とは、奥行き画像において、ｍ行ｎ列に対応する画素の奥行き値を示す。すなわち、ｚ［ｍｎ］は、奥行き画像における座標（ｎ，ｍ）の画素の奥行き値を示す。また、例えば、ｚ［１２］とは、奥行き画像において、１行２列に対応する画素の奥行き値を示す。

本実施の形態では、奥行き値は、一例として、−１〜１の範囲で表されるとする。

なお、奥行き値は、−１〜１の範囲に限定されず、例えば、０〜２５５の範囲で表されてもよい。

図４は、３次元画像を説明するための図である。

図４の（ａ）は、一例としての２次元画像１０を示す図である。２次元画像１０は、３次元画像を表現するための視差画像を生成する場合に、処理対象となる画像である。図４の（ａ）に示される２次元画像１０には、３つのオブジェクト（被写体）１１、１２、１３が配置されている。

図４の（ｂ）は、一例としての奥行き画像Ｄ１０を示す。奥行き画像Ｄ１０は、処理対象の２次元画像１０から、互いに視差を有する２つの視差画像を生成するための画像である。当該２つの視差画像は、左目用画像２０Ｌおよび右目用画像２０Ｒ、または、後述の左目用画像２１Ｌおよび右目用画像２１Ｒである。

２次元画像１０のサイズ（解像度）は、奥行き画像Ｄ１０のサイズ（解像度）と同じである。以下においては、奥行き画像を構成する複数の画素の各々を、奥行き画素ともいう。奥行き画素は、奥行き値を示す。すなわち、奥行き画像は、複数の奥行き値から構成される。

奥行き画像Ｄ１０は、奥行き値を示す複数の奥行き画素から構成される。奥行き画像Ｄ１０を構成する各奥行き画素は、２次元画像１０における、当該奥行き画素の座標と同じ座標の画素の奥行き値を示す。例えば、奥行き画像Ｄ１０における座標（ｘ、ｙ）の画素は、２次元画像１０における座標（ｘ、ｙ）の画素の奥行き値を示す。すなわち、２次元画像１０は、奥行き画像Ｄ１０に対応する画像である。また、２次元画像１０における座標（ｘ、ｙ）の画素は、奥行き画像Ｄ１０における座標（ｘ、ｙ）の奥行き値に対応する画素である。

奥行き画像Ｄ１０において、一例として、白に近い奥行き画素程、当該奥行き画素に対応する３次元画像内の画素が、表示面１０１から、より手前側に位置していることを表現するための奥行き値を示す。奥行き画像Ｄ１０において、一例として、黒に近い奥行き画素程、当該奥行き画素に対応する３次元画像内の画素が、表示面１０１から、より奥側に位置していることを表現するための奥行き値を示す。

奥行き画像Ｄ１０は、奥行き画像Ｄ１１、Ｄ１２、Ｄ１３を示す。奥行き画像Ｄ１１を構成する複数の画素は、それぞれ、オブジェクト１１を構成する複数の画素の奥行き値を示す。奥行き画像Ｄ１２、Ｄ１３も、奥行き画像Ｄ１１と同様である。

詳細は後述するが、奥行き画像を用いたＤＩＢＲ（Ｄｅｐｔｈ Ｉｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）法等により、２次元画像から、左目用画像および右目用画像が生成される。

図５は、一例としての左目用画像２０Ｌおよび右目用画像２０Ｒを示す図である。なお、左目用画像２０Ｌおよび右目用画像２０Ｒは、本発明の処理が施されていない画像であるとする。

図５の（ａ）は、一例としての左目用画像２０Ｌを示す図である。左目用画像２０Ｌは、２次元画像１０の各画素を対応する複数の奥行き値に応じて移動（シフト）したオブジェクト１１、１２、１３を含む。

図５の（ｂ）は、一例としての右目用画像２０Ｒを示す図である。右目用画像２０Ｒは、２次元画像１０の各画素を対応する複数の奥行き値に応じて移動（シフト）したオブジェクト１１、１２、１３を含む。

ここで、ユーザは、前述したアクティブシャッタメガネ２００を使用して、左目で左目用画像２０Ｌを見るとともに、右目で右目用画像２０Ｒを見たとする。

この場合、ユーザは、図６で破線の直方体で表される３次元領域Ｒ１０において、オブジェクト１１、１２、１３の各々が、図６に示す位置に配置されているように立体感を感じることができる。３次元領域Ｒ１０は、複数の視差画像（例えば、左目用画像および右目用画像）により、ユーザに対して３次元画像を表現可能な領域である。この場合、ユーザは、オブジェクト１１の左端部（すなわち、オブジェクト１１の３次元領域Ｒ１０外の部分）付近において、当該オブジェクト１１の立体感が突然なくなっているように感じる。実際には、ユーザは、オブジェクト１１の３次元領域Ｒ１０の外に位置する部分が点滅しているように見える。

図６において、３次元領域Ｒ１０のＺ軸方向は、奥行き値を示す。すなわち、奥行き値は、３次元領域Ｒ１０（３次元空間）において、３次元画像の各画素を表現するための位置を示す。３次元領域Ｒ１０は、一例として、−１〜１の範囲の奥行き値で表現される。また、図６において、表示面１０１は視差ゼロ面である。視差ゼロ面とは、視差ゼロ面に表示される左目用画像および右目用画像の同じ位置の画素の視差がゼロである面である。以下においては、視差ゼロ面に対応する奥行き値を、視差ゼロ奥行き値ともいう。

図６では、Ｚ軸方向における表示面１０１（視差ゼロ面）の位置の視差ゼロ奥行き値を、一例として、０で表現している。なお、視差ゼロ面の位置の奥行き値は、０以外の数値で表現されてもよい。また、図６では、Ｚ軸方向における表示面１０１より手前側の奥行き値を、一例として、負の値で表現している。さらに、図６では、Ｚ軸方向における表示面より奥側の奥行き値を、一例として、正の値で表現している。

図７は、３次元領域Ｒ１０における各オブジェクトの配置位置をＺＸ平面から見た図である。図７は、一例として、Ｘ軸上に、ユーザの左目および右目が配置された場合における各視点と、各オブジェクトとの配置関係を示す。

視点Ｓ０は、表示面１０１（視差ゼロ面）の中央の位置を、Ｘ軸に投影した位置である。視点Ｓ１は、ユーザの左目の位置に相当する。視点Ｓ２は、ユーザの右目の位置に相当する。

３次元領域Ｒ１０のうち、線Ｌ１１と線Ｌ１２との間の領域が、視点Ｓ１から表示面１０１を見た場合に表現される画像（例えば、左目用画像２０Ｌ）である。また、３次元領域Ｒ１０のうち、線Ｌ２１と線Ｌ２２との間の領域が、視点Ｓ２から表示面１０１を見た場合に表現される画像（例えば、右目用画像２０Ｒ）である。

次に、本実施の形態における視差画像を生成するための処理（以下、視差画像生成処理という）について説明する。ここで、視差画像生成部１２０は、処理対象の２次元画像１０を取得するとする。また、図２の奥行き値補正部１１０は、２次元画像１０に対応する奥行き画像Ｄ１０を取得するとする。

図８は、視差画像生成処理のフローチャートである。視差画像生成処理は、視差画像生成方法に相当する。

ステップＳ１１０では、奥行き画像補正処理が行われる。

図９は、奥行き画像補正処理のフローチャートである。

ステップＳ１１１では、奥行き値補正部１１０が、処理対象の奥行き画像を構成する複数の画素のうちの１つの画素を、処理対象画素（以下、処理対象奥行き画素ともいう）に設定する。以下においては、処理対象奥行き画素が示す奥行き値を、奥行き値ｚまたはｚとも表記する。

そして、奥行き値補正部１１０は、処理対象奥行き画素の示す奥行き値が、飛び出し値であるか否かを判定する。ここで、飛び出し値とは、処理対象奥行き画素の示す奥行き値に対応する３次元画像内の画素を、視差ゼロ面より手前の位置に表現するための値である。

ここで、視差ゼロ面に対応する視差ゼロ奥行き値は、一例として、０であるとする。また、奥行き値は、−１〜１の範囲で表されるとする。この場合、飛び出し値は、−１≦飛び出し値＜０の範囲の値である。

ステップＳ１１１において、ＹＥＳならば処理はステップＳ１１２に移行する。一方、ステップＳ１１１において、ＮＯならば、現在の処理対象奥行き画素に対する処理は終了する。ステップＳ１１１の処理では、毎回、異なる画素が、処理対象奥行き画素に設定される。

ステップＳ１１２では、奥行き値補正部１１０が、処理対象奥行き画素が補正対象領域内の画素であるか否かを判定する。補正対象領域は、奥行き画像内の領域である。

図１０は、奥行き画像内の補正対象領域を説明するための図である。

図１０が示す奥行き画像は、一例として、奥行き画像Ｄ１０であるとする。なお、図１０では、図の簡略化のために、奥行き画像Ｄ１０が示す画像は示していない。

補正対象領域の幅Ｌは、奥行き値補正部１１０が、奥行き画像の幅Ｗに所定の係数ｋ（０＜ｋ＜１）を乗算することにより算出する。ｋは、例えば、０．１（又は、０．０５）であるとする。奥行き画像の幅が、例えば、１９２０画素である場合、Ｌは、１９２画素（９６画素）となる。

なお、上記に限定されず、補正対象領域の幅Ｌは、奥行き値補正部１１０が、処理対象の２次元画像の幅に係数ｋを乗算することにより算出してもよい。ここで、処理対象の２次元画像の幅は、処理対象の奥行き画像の幅Ｗと等しい。すなわち、奥行き値補正部１１０は、２次元画像または奥行き画像の水平方向のサイズに基づいて、Ｌの値を算出する。より具体的には、奥行き値補正部１１０は、２次元画像または奥行き画像の水平方向のサイズが大きいほど、Ｌの値を大きくする。

奥行き画像には、補正対象領域Ｒ２１、Ｒ２２が配置される。補正対象領域Ｒ２１は、奥行き画像のうち、奥行き画像の左端から距離Ｌだけ離れた位置までの領域である。ここで、距離Ｌは、Ｘ方向に連続して並ぶＬ（１以上の整数）個の画素の幅と等しいとする。すなわち、補正対象領域Ｒ２１は、奥行き画像のうち、該奥行き画像の左端からＬ個の画素だけ離れた位置までの領域である。

補正対象領域Ｒ２２は、奥行き画像の右端から距離Ｌだけ離れた位置までの領域である。すなわち、補正対象領域Ｒ２２は、奥行き画像のうち、該奥行き画像の右端からＬ個の画素だけ離れた位置までの領域である。

つまり、補正対象領域Ｒ２１、Ｒ２２は、奥行き画像のうち、該奥行き画像の左右の端からそれぞれＬ（１以上の整数）個の画素だけ離れた位置までの領域である。

つまり、補正対象領域Ｒ２１、Ｒ２２は、２次元画像または奥行き画像の水平方向のサイズに基づいて、決定される。一例として、補正対象領域Ｒ２１、Ｒ２２は、それぞれ２次元画像の水平方向のサイズの５％程度の幅とすることができる。但し、補正対象領域Ｒ２１、Ｒ２２の決定方法は上記に限定されず、例えば、下記のような方法で決定してもよい。

一例として、補正対象領域Ｒ２１、Ｒ２２は、予め定められた領域であってもよい。つまり、Ｌは、予め定められた値であってもよい。

他の例として、補正対象領域Ｒ２１、Ｒ２２に含まれる奥行き値の値に応じて、Ｌの値を決定してもよい。より具体的には、奥行き値補正部１１０は、補正対象領域に含まれる奥行き値のうち、対応する位置が表示面から最も手前側に離れている奥行き値（上記の例では、−１に最も近い値）を抽出する。そして、奥行き値補正部１１０は、抽出した奥行き値に対応する位置が表示面から手前側に離れる程（すなわち、抽出した奥行き値が−１に近い程）、Ｌの値を大きくしてもよい。

また、図１０の例では、奥行き画像の左右の端に補正対象領域Ｒ２１、Ｒ２２を設けたが、これに代えて又はこれに加えて、奥行き画像の上下の端に補正対象領域を設けてもよい。すなわち、補正対象領域は、奥行き画像の左右の端及び上下の端の少なくとも一方に設ければよい。

そして、奥行き値補正部１１０は、奥行き画像の左右及び上下の補正対象領域の幅（すなわち、Ｌの値）を、対応する２次元画像の特徴（一例として、２次元画像の撮像条件）に基づいて変更してもよい。奥行き値補正部１１０は、例えば、２次元画像を撮像する際に、パン（撮像装置の向きを左右方向に動かす）、或いはチルト（撮像装置の向きを上下方向に動かす）された場合に、対応する奥行き画像の補正対象領域の幅を変更する。

一例として、奥行き値補正部１１０は、２次元画像が撮像装置をパンしている間に撮像された画像である場合に、パンしていない間に撮像された場合と比較して奥行き画像の左右の端の補正対象領域の幅を大きくする（Ｌの値を大きくする）。同様に、奥行き値補正部１１０は、２次元画像が撮像装置をチルトしている間に撮像された画像である場合に、チルトしていない間に撮像された場合と比較して奥行き画像の上下の端の補正対象領域の幅を大きくする（Ｌの値を大きくする）。

他の例として、奥行き値補正部１１０は、パン又はチルトの速度（スクロール速度）に応じて、補正対象領域の幅を変更してもよい。具体的には、奥行き値補正部１１０は、パンの速度が速い程、奥行き画像の左右の端の補正対象領域の幅を大きくする。同様に、奥行き値補正部１１０は、チルトの速度が速い程、奥行き画像の上下の端の補正対象領域の幅を大きくする。

さらに他の例として、奥行き値補正部１１０は、撮像装置が向く方向（パン又はチルトの方向）に応じて、奥行き画像の左右の端（或いは上下の端）の補正対象領域の幅を非対称にしてもよい。すなわち、奥行き値補正部１１０は、撮像装置が向く方向に位置する端（オブジェクトがフレームインする側）の補正対象領域を、反対側に位置する端（オブジェクトがフレームアウトする側）の補正対象領域より大きくする。

具体的には、右（左）方向にパンする場合、奥行き値補正部１１０は、奥行き画像の右（左）端の補正対象領域を、左（右）端の補正対象領域より大きくする。同様に、上（下）方向にチルトする場合、奥行き値補正部１１０は、奥行き画像の上（下）端の補正対象領域を、下（上）端の補正対象領域より大きくする。

なお、視差画像生成装置１００は、上記の撮像条件（パン／チルト、撮像装置の動きの方向（上下左右）、撮像装置の動きの早さ等）を、２次元画像及び奥行き画像と共に、装置外部から取得してもよいし、異なる時刻の複数の２次元画像を比較して算出できる動き量から推定してもよい。

再び、図９を参照して、ステップＳ１１２において、ＹＥＳならば処理はステップＳ１１３に移行する。一方、ステップＳ１１２において、ＮＯならば、現在の処理対象奥行き画素に対する処理は終了する。

ステップＳ１１１、Ｓ１１２においてＹＥＳと判定された処理対象奥行き画素が示す奥行き値は、表示面１０１よりも手前側において、３次元画像内の一部の画素を表現するための奥行き値である。

ステップＳ１１３では、奥行き値補正処理が行われる。奥行き値補正処理では、奥行き値補正部１１０が、奥行き画像を構成する複数の奥行き値のうち、該奥行き画像の端に近い奥行き値程、該奥行き値に対応する位置が視差画像を表示するための表示面１０１に近づくように、該奥行き値を補正する補正処理を行う。

より具体的には、奥行き値補正部１１０は、図１０の補正対象領域Ｒ２１に含まれる各奥行き値を、奥行き画像Ｄ１０の左端に近づくほど、徐々に０に近い値に補正する。同様に、奥行き値補正部１１０は、図１０の補正対象領域Ｒ２２に含まれる各奥行き値を、奥行き画像Ｄ１０の右端に近づくほど、徐々に０に近い値に補正する。

なお、上記の「奥行き値に対応する位置」とは、３次元領域Ｒ１０（３次元空間）において、当該奥行き値により特定される（示される）Ｚ軸方向の位置である。言い換えれば、奥行き値に対応する位置とは、表示面１０１に直交する軸において、当該奥行き値により特定される（示される）位置である。

以下においては、補正後の奥行き値を、補正済奥行き値ｚ’と表記する。

具体的には、奥行き値補正部１１０が、図１１に示される式１および式２により、補正済奥行き値ｚ’を、算出する。

図１１において、式１、２において、ｌは、奥行き画像の端から処理対象奥行き画素までの距離（画素数）である。処理対象奥行き画素が補正対象領域Ｒ２１内の画素である場合、ｌは、奥行き画像の左端から処理対象奥行き画素までの距離である。この場合、０＜ｌ＜Ｌが満たされるならば、補正済奥行き値ｚ’は、式２により算出される。例えば、Ｌ＝２００であり、ｌ＝２０であるとする。また、ｌ＝２０の位置におけるｚは、−１であるとする。この場合、ｚは、式２より、−０．１となる。

一方、処理対象奥行き画素が補正対象領域Ｒ２２内の画素である場合、ｌは、奥行き画像の右端から処理対象奥行き画素までの距離である。この場合、０＜ｌ＜Ｌが満たされるならば、補正済奥行き値ｚ’は、式２により算出される。

なお、ｌが０である場合、補正済奥行き値ｚ’は０となる。

つまり、式１、２を用いて奥行き値補正処理が行われることにより、奥行き値補正部１１０は、奥行き画像を構成する複数の奥行き値のうち、該奥行き画像の端に最も近い奥行き値が、表示面１０１（視差ゼロ面）において、画素を表現するための値となるように、該奥行き画像の端に最も近い奥行き値を補正する。

なお、ｌが０である場合、補正済奥行き値ｚ’は０以外の所定値としてもよい。所定値は、当該所定値の絶対値が０に近い値である。

なお、Ｓ１１２の処理は行われなくてもよい。この場合、式１により、Ｌ≦ｌを満たす場合、補正済奥行き値ｚ’は、処理対象奥行き画素が示す奥行き値ｚの値である。

また、補正済奥行き値ｚ’を算出する式は、式２に限定されない。すなわち、奥行き画像の端に近い奥行き値ほど、該奥行き値に対応する位置が表示面１０１に近づくように、補正済奥行き値ｚ’を算出するための式であれば、他の式であってもよい。補正済奥行き値ｚ’は、例えば、以下の式３により算出されてもよい。

以上のステップＳ１１１〜Ｓ１１３の処理が、奥行き画像を構成する全ての画素に対して行われる。なお、ステップＳ１１２の処理は、ステップＳ１１１でＹＥＳの場合のみ行われる。また、ステップＳ１１３の処理は、ステップＳ１１２でＹＥＳの場合のみ行われる。

これにより、奥行き画像内の補正対象領域Ｒ２１、Ｒ２２の各々を構成する複数の奥行き値の少なくとも１部が補正された奥行き画像（以下、補正済奥行き画像ともいう）が生成される。

図１１は、補正後の奥行き値の状態を示す図である。図１１では、一例として、補正対象領域Ｒ２１、Ｒ２２の各々にステップＳ１１３の処理対象となる奥行き値が存在する場合における補正後の奥行き値の状態を示す図である。この場合、補正後の奥行き値は、図１１のグラフの２つのＬの各々に対応する曲線に対応する値となる。

ステップＳ１１３の処理対象となる奥行き値が補正対象領域Ｒ２１内のみに存在する場合は、当該奥行き値は、図１１のグラフの左側のＬに対応する曲線に対応する値となる。

図１２は、一例としての奥行き画像を示す図である。

図１２の（ａ）は、奥行き画像Ｄ１０を示す。ここで、奥行き画像補正処理の処理対象の奥行き画像が奥行き画像Ｄ１０である場合、奥行き画像補正処理により生成される補正済奥行き画像は、図１２の（ｂ）が示す補正済奥行き画像Ｄ１０Ａである。

ステップＳ１１２でＹＥＳと判定された複数の処理対象奥行き画素に対し、ステップＳ１１３の奥行き値補正処理が行われることにより、奥行き値補正部１１０は、補正対象領域に対応する複数の奥行き値のうち、表示面１０１よりも手前側において、３次元画像内の一部の画素を表現するための奥行き値に対して補正処理（奥行き値補正処理）を行う。

奥行き画像を構成する全ての画素に対し、上記処理が行われた後、ステップＳ１１４の処理が行われる。

ステップＳ１１４では、奥行き値補正部１１０が、補正済奥行き画像Ｄ１０Ａを、視差画像生成部１２０へ送信する。

そして、この奥行き画像補正処理は終了し、再度、図８の視差画像生成処理に戻り、処理はステップＳ１２０に移行する。

ステップＳ１２０では、視差画像の生成が行われる。具体的には、視差画像生成部１２０が、処理対象の２次元画像１０と補正処理（奥行き画像補正処理）により補正された補正済奥行き画像Ｄ１０Ａとを用いて、互いに視差を有する第１および第２視差画像を生成する。当該第１および第２視差画像は、３次元画像を表現するために必要な画像である。第１および第２視差画像は、それぞれ、左目用画像および右目用画像である。例えば、奥行き画像を用いたＤＩＢＲ法等により、１枚の２次元画像から、左目用画像および右目用画像が生成される。なお、ＤＩＢＲ法は、公知な技術であるので詳細な説明は繰り返さない。

以下、簡単に説明する。以下の処理は視差画像生成部１２０が行う。ここで、処理対象の２次元画像は、２次元画像１０であるとする。ここで、奥行き値は、説明を簡単にするために、一例として、０〜２５５の範囲で表されるとする。

図１３は、処理対象の２次元画像１０内のある１ラインを説明するための図である。

図１３の（ａ）は、２次元画像１０内における処理対象ラインＬＮ１０を示す図である。処理対象ラインＬＮ１０は、２次元画像１０内の処理対象となる１ラインである。

図１３の（ｂ）は、処理対象ラインＬＮ１０を構成する複数の画素の奥行き値を示す。図１３の（ｂ）に示す数値は、各領域（画素群）に対応する奥行き値である。なお、図１３の（ｂ）に示される奥行き値は、一例であり、補正済奥行き画像Ｄ１０Ａに対応する奥行き値ではない。

画素群１１ａは、オブジェクト１１のうち、処理対象ラインＬＮ１０に対応する領域を構成する画素群である。画素群１２ａは、オブジェクト１２のうち、処理対象ラインＬＮ１０に対応する領域を構成する画素群である。画素群１３ａは、オブジェクト１３のうち、処理対象ラインＬＮ１０に対応する領域を構成する画素群である。画素群１４ａ、１４ｂの各々は、オブジェクト１１、１２、１３以外の領域のうち、処理対象ラインＬＮ１０に対応する領域を構成する画素群である。

図１３の（ｂ）に示すように、画素群１１ａを構成する各画素の奥行き値は０である。画素群１２ａを構成する各画素の奥行き値は１２８である。画素群１３ａを構成する各画素の奥行き値は１９２である。画素群１４ａ、１４ｂの各々を構成する各画素の奥行き値は２５５である。

図１４は、３次元領域Ｒ１０における画素群の配置状態を示す図である。図１４において、Ｏｆｆｓｅｔとは、所定のオフセット値（視聴距離Ｏｆｆｓｅｔ）である。なお、Ｏｆｆｓｅｔは、０であってもよい。また、図１４において、距離Ｄは、視点Ｓ０と視点Ｓ１との距離である。

ゼロ視差距離Ｚ０は、視点Ｓ０と表示面１０１とを経由する直線上における、Ｘ軸と表示面１０１との距離である。ゼロ視差距離Ｚ０は、一例として、１２８である。

この場合、処理対象ラインＬＮ１０を構成する各画素のシフト量（移動量）ｘは、視差画像生成部１２０により、以下の式４により算出される。

図１５は、画素のシフトを説明するための図である。

図１５の（ａ）は、式４により算出された画素群のシフト量の一例を示す。

図１５の（ａ）に示すように、画素群１１ａを構成する各画素のシフト量は、−５である。画素群１２ａを構成する各画素のシフト量は、０である。画素群１３ａを構成する各画素のシフト量は、＋２である。画素群１４ａ、１４ｂの各々を構成する各画素のシフト量は、＋５である。

処理対象ラインＬＮ１０を構成する各画素は、対応するシフト量に基づいて、図１５の（ｂ）のように、Ｘ軸方向にシフトされる。

図１５の（ｂ）に示すように、画素群１１ａを構成する各画素は、左に５画素だけシフトされる。画素群１２ａを構成する各画素はシフトされない。画素群１３ａを構成する各画素は、右に２画素シフトされる。画素群１４ａ、１４ｂの各々を構成する各画素は、右に５画素だけシフトされる。

そして、図１５の（ｂ）において、直線Ｌ３１と直線Ｌ３２との間の領域に存在する各画素のうち、Ｘ軸に近い画素（奥行き値を示す画素）を、処理対象ラインＬＮ１０の新たな画素とする。すなわち、図１５の（ｂ）においては、画素群１４ａ、１４ｂを構成する各画素は、処理対象ラインＬＮ１０を構成する画素として利用されない。

これにより、図１５の（ｃ）に示すように、処理対象ラインＬＮ１０を構成する各画素は、更新される。すなわち、処理対象ラインＬＮ１０は更新される。なお、更新後の処理対象ラインＬＮ１０には、画素が存在しない空白領域Ｒ３１、Ｒ３２が発生する場合もある。

この場合、空白領域Ｒ３１の左端に隣接する画素の奥行き値と、空白領域Ｒ３１の右端に隣接する画素の奥行き値とが滑らかにつながるように、例えば、線形補間処理が行われる。空白領域Ｒ３２も同様に、線形補間処理が行われる。これにより、処理対象ラインＬＮ１０を構成する新たな画素は、図１５の（ｄ）に示すようになる。

なお、空白領域に画素を補間するための処理は、線形補間処理に限定されず、他の処理であってもよい。

以上説明した処理対象ラインＬＮ１０に対する処理が、２次元画像１０を構成する全てのライン（行）に対して行われる。これにより、２次元画像１０から、第２視差画像としての右目用画像が生成される。なお、第１視差画像としての左目用画像の生成方法は、上述の右目用画像の生成方法と同様であるので詳細な説明は繰り返さない。

ステップＳ１２０では、視差画像生成部１２０が、図１３〜図１５を用いて説明した上述の右目用画像の生成方法と同様な処理により、処理対象の２次元画像１０と補正処理（奥行き画像補正処理）により補正された補正済奥行き画像Ｄ１０Ａとを用いて、互いに視差を有する左目用画像および右目用画像を生成する。なお、２次元画像１０を構成する各画素の奥行き値は、当該画素に対応する補正済奥行き画像Ｄ１０Ａ内の画素の奥行き値である。

以下においては、処理対象の２次元画像と奥行き画像補正処理により補正された奥行き画像とを用いて生成される左目用画像および右目用画像を、それぞれ処理済左目用画像および処理済右目用画像ともいう。

図１６は、本発明の第１の実施形態に係る視差画像生成処理により生成された左目用画像２１Ｌおよび右目用画像２１Ｒを示す図である。左目用画像２１Ｌは、処理済左目用画像である。右目用画像２１Ｒは、処理済右目用画像である。

図１６の（ａ）は、一例としての左目用画像２１Ｌを示す図である。図１６の（ｂ）は、一例としての右目用画像２１Ｒを示す図である。左目用画像２１Ｌおよび右目用画像２１Ｒの各々は、ステップＳ１２０の処理により、補正済奥行き画像Ｄ１０Ａを用いて、処理対象の２次元画像１０から生成された画像である。なお、図１６に示される左目用画像２１Ｌおよび右目用画像２１Ｒの各々が示すオブジェクトの位置は、必ずしも正確ではない。

なお、視差画像生成装置１００は、生成した左目用画像２１Ｌおよび右目用画像２１Ｒを、表示面１０１に交互に表示する。すなわち、表示面１０１は、生成された第１視差画像（左目用画像２１Ｌ）および第２視差画像（右目用画像２１Ｒ）を表示する。

図１７は、３次元領域Ｒ１０における各オブジェクトの配置状態を示す図である。図１７の（ａ）は、３次元領域Ｒ１０において、本発明の処理が施されていない左目用画像２０Ｌおよび右目用画像２０Ｒにより表現されるオブジェクトの位置を示す図である。図１７の（ａ）より、アクティブシャッタメガネ２００を使用して、左目用画像２０Ｌおよび右目用画像２０Ｒを見るユーザは、オブジェクト１１の左端部付近において、当該オブジェクト１１の立体感が突然なくなっているように感じる。

図１７の（ｂ）は、３次元領域Ｒ１０において、左目用画像２１Ｌおよび右目用画像２１Ｒにより表現されるオブジェクトの位置を示す図である。

具体的には、図１７の（ｂ）は、前述したアクティブシャッタメガネ２００を使用して、左目で左目用画像２１Ｌを見るとともに、右目で右目用画像２１Ｒを見るユーザに対して、３次元領域Ｒ１０において表現されるオブジェクトの位置および形状を示す図である。

図１８は、３次元領域Ｒ１０において左目用画像２１Ｌおよび右目用画像２１Ｒにより表現されるオブジェクトの位置を示す斜視図である。具体的には、図１８は、図１７の（ｂ）で示される各オブジェクトの位置および形状を示す図である。

図１７の（ｂ）および図１８に示されるように、オブジェクト１１の左端の画素の奥行き値は０である。そのため、オブジェクト１１のうち、当該オブジェクト１１の左端に近づく程、オブジェクト１１の飛び出し量が０に近づく。

しかしながら、本実施の形態の視差画像生成処理により生成された左目用画像２１Ｌおよび右目用画像２１Ｒにより表現される３次元画像のサイズは、従来技術Ａのように、小さくなることはない。また、左目用画像２１Ｌおよび右目用画像２１Ｒにより表現される３次元画像は、図１７の（ａ）のように、オブジェクト１１の左端部付近において、当該オブジェクト１１の立体感が突然なくなるといった不自然な表現を防ぐことができる。

したがって、本実施の形態によれば、３次元画像のサイズを小さくすることなく、３次元画像の端部における不自然な表現を抑制することができる。

なお、本実施の形態では、飛び出し値を示す処理対象奥行き画素であって、かつ、補正対象領域Ｒ２１、Ｒ２２のいずれかに含まれる処理対象奥行き画素に対してのみ奥行き値補正処理を行う構成としたがこれに限定されない。

例えば、図９において、ステップＳ１１１の処理は行われなくてもよい。この場合、例えば、飛び出し値を示さない処理対象奥行き画素であって、かつ、補正対象領域Ｒ２１、Ｒ２２のいずれかに含まれる処理対象奥行き画素に対して奥行き値補正処理が行われてもよい。すなわち、表示面１０１より奥側に画素を表現するための奥行き値を示す処理対象奥行き画素であって、かつ、補正対象領域Ｒ２１、Ｒ２２のいずれかに含まれる処理対象奥行き画素に対して奥行き値補正処理が行われてもよい。

この場合、奥行き値補正部１１０は、補正対象領域Ｒ２１、Ｒ２２のいずれかに対応する複数の奥行き値に対して補正処理（奥行き値補正処理）を行う。この処理により、図１８の３次元領域Ｒ１０において、オブジェクト１３の右端を、表示面１０１の右端の位置に表現することができる。すなわち、表示面１０１より奥側のオブジェクト１３の右端の奥行きが、当該オブジェクト１３の右端部付近で突然なくなるという現象を防ぐことができる。

なお、視差ゼロ面に対応する視差ゼロ奥行き値は、予め定められた値としたがこれに限定されない。視差ゼロ奥行き値は、例えば、視差画像生成装置１００の外部から与えられた視差パラメータにより適宜変更されてもよい。

また、本実施の形態では、奥行き画像は、予め用意された画像としたがこれに限定されない。奥行き画像は、３Ｄカメラの撮像処理により得られた左目用画像および右目用画像のずれ量から生成されてもよい。

前述したように、視差画像生成装置１００は、ディスプレイである。

図１９は、ディスプレイとしての視差画像生成装置１００の外観図である。

なお、視差画像生成装置１００は、前述したように、上記のディスプレイに限定されず、デジタルビデオカメラ、デジタルスチルカメラ等であってもよい。

図２０Ａは、デジタルスチルカメラとしての視差画像生成装置１００の外観図である。図２０Ｂは、デジタルビデオカメラとしての視差画像生成装置１００の外観図である。

（第２の実施形態）
本発明は、視差画像生成装置１００が備える特徴的な構成部の動作をステップとする視差画像生成方法として実現してもよい。また、本発明は、そのような視差画像生成方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。

すなわち、視差画像生成方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、前記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２１Ａ〜図２１Ｃは、前記実施の形態の視差画像生成方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより当該視差画像生成方法を実施する場合の説明図である。

図２１Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。図２１Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、前記プログラムを格納したフレキシブルディスクＦＤでは、前記フレキシブルディスクＦＤ上に割り当てられた領域に、前記プログラムが記録されている。

また、図２１Ｃは、フレキシブルディスクＦＤに前記プログラムの記録再生を行うための構成を示す。視差画像生成方法を実現する前記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから前記プログラムをフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ内のプログラムにより視差画像生成方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムＣｓに転送する。

なお、前記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（その他の変形例）
以上、本発明に係る視差画像生成装置および視差画像生成方法について、前記各実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を本実施の形態に施したものも、本発明に含まれる。

例えば、補正対象領域は、奥行き画像の左端部および右端部の領域としたがこれに限定されない。例えば、補正対象領域は、奥行き画像の上端部および下端部の領域としてもよい。また、例えば、補正対象領域は、奥行き画像の左端部、右端部、上端部および下端部の領域としてもよい。

また、補正対象領域は、奥行き画像内の領域に限定されず、例えば、表示面１０１内の領域として定義されてもよい。

上記各実施形態で用いた全ての数値は、本発明を具体的に説明するための一例の数値である。すなわち、本発明は、上記実施形態で用いた各数値に制限されない。

また、本発明に係る視差画像生成方法は、図８の視差画像生成処理および図９の奥行き画像補正処理に相当する。本発明に係る視差画像生成方法は、図８または図９における、対応する全てのステップを必ずしも含む必要はない。すなわち、本発明に係る視差画像生成方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。

また、視差画像生成方法における各ステップの実行される順序は、本発明を具体的に説明するための一例であり、上記以外の順序であってもよい。また、視差画像生成方法におけるステップの一部と、他のステップとは、互いに独立して並列に実行されてもよい。

なお、視差画像生成装置１００の各構成要素の全てまたは一部は典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。また、視差画像生成装置１００は、集積回路として構成されてもよい。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサーで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能パッチの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、３次元画像のサイズを小さくすることなく、３次元画像の端部における不自然な表現を抑制することができる視差画像生成装置として、利用することができる。

１００ 視差画像生成装置
１０１ 表示面
１１０ 奥行き値補正部
１２０ 視差画像生成部
２００ アクティブシャッタメガネ
１０００ ３次元画像視聴システム

Claims (11)

1. 処理対象の２次元画像から、３次元画像を表現するために必要な、互いに視差を有する２つの視差画像を生成するための奥行き画像を用いた処理を行う視差画像生成装置であって、
   前記奥行き画像は、複数の奥行き値から構成され、
   入力データに基づいて前記奥行き画像の端からの幅Ｌを定め、前記奥行き画像を構成する前記複数の奥行き値のうち、前記奥行き画像の端から前記幅Ｌの領域である補正対象領域に対して該奥行き画像の端に近い奥行き値程、該奥行き値に対応する位置が視差画像を表示するための表示面に近づくように、該奥行き値を補正する補正処理を行う奥行き値補正部と、
   前記２次元画像と前記補正処理により補正された前記奥行き画像とを用いて、互いに視差を有する第１および第２視差画像を生成する視差画像生成部とを備え、
   前記奥行き値補正部は、前記補正対象領域に含まれる奥行き値のうち、対応する位置が前記表示面から最も手前側に離れている奥行き値を抽出し、抽出した奥行き値に対応する位置が前記表示面から手前側に離れる程、前記Ｌの値を大きくする
   視差画像生成装置。
2. 前記奥行き値補正部は、前記補正対象領域に対応する複数の奥行き値のうち、生成された前記第１および第２視差画像を表示するための前記表示面よりも手前側において、前記３次元画像内の一部の画素を表現するための奥行き値に対し前記補正処理を行う
   請求項１に記載の視差画像生成装置。
3. 前記奥行き値補正部は、該奥行き画像の左右の端の前記補正対象領域及び上下の端の前記補正対象領域の少なくとも一方に対して、前記補正処理を行う
   請求項１又は２に記載の視差画像生成装置。
4. 前記奥行き値補正部は、
   前記２次元画像が撮像装置をパンしている間に撮像された画像である場合に、該奥行き画像の左右の端の前記補正対象領域の前記Ｌの値を大きくする
   請求項３に記載の視差画像生成装置。
5. 前記奥行き値補正部は、
   前記２次元画像が撮像装置をチルトしている間に撮像された画像である場合に、該奥行き画像の上下の端の前記補正対象領域の前記Ｌの値を大きくする
   請求項３又は４に記載の視差画像生成装置。
6. 前記奥行き値補正部は、前記撮像装置のパン又はチルトの速度が速い程、対応する前記補正対象領域の前記Ｌの値を大きくする
   請求項４又は５に記載の視差画像生成装置。
7. 前記奥行き値補正部は、前記奥行き画像の端のうち、前記撮像装置が向く方向に位置する前記補正対象領域を、反対側に位置する前記補正対象領域より大きくする
   請求項４〜６のいずれか１項に記載の視差画像生成装置。
8. 前記奥行き値補正部は、前記奥行き画像を構成する前記複数の奥行き値のうち、該奥行き画像の端に最も近い奥行き値が、前記第１および第２視差画像を表示するための前記表示面において、画素を表現するための値となるように、前記最も近い奥行き値を補正する
   請求項１〜７のいずれか１項に記載の視差画像生成装置。
9. 処理対象の２次元画像から、３次元画像を表現するために必要な、互いに視差を有する２つの視差画像を生成するための奥行き画像を用いた処理を行うための視差画像生成方法であって、
   前記奥行き画像は、複数の奥行き値から構成され、
   入力データに基づいて前記奥行き画像の端からの幅Ｌを定め、前記奥行き画像を構成する前記複数の奥行き値のうち、前記奥行き画像の端から前記幅Ｌの領域である補正対象領域に対して該奥行き画像の端に近い奥行き値程、該奥行き値に対応する位置が視差画像を表示するための表示面に近づくように、該奥行き値を補正する補正処理を行うステップと、
   前記２次元画像と前記補正処理により補正された前記奥行き画像とを用いて、互いに視差を有する第１および第２視差画像を生成するステップとを含み、
   前記補正処理を行うステップにおいては、前記補正対象領域に含まれる奥行き値のうち、対応する位置が前記表示面から最も手前側に離れている奥行き値を抽出し、抽出した奥行き値に対応する位置が前記表示面から手前側に離れる程、前記Ｌの値を大きくする
   視差画像生成方法。
10. 請求項９に記載の視差画像生成方法をコンピュータに実行させるためのプログラム。
11. 処理対象の２次元画像から、３次元画像を表現するために必要な、互いに視差を有する２つの視差画像を生成するための奥行き画像を用いた処理を行う集積回路であって、
    前記奥行き画像は、複数の奥行き値から構成され、
    入力データに基づいて前記奥行き画像の端からの幅Ｌを定め、前記奥行き画像を構成する前記複数の奥行き値のうち、前記奥行き画像の端から前記幅Ｌの領域である補正対象領域に対して該奥行き画像の端に近い奥行き値程、該奥行き値に対応する位置が視差画像を表示するための表示面に近づくように、該奥行き値を補正する補正処理を行う奥行き値補正部と、
    前記２次元画像と前記補正処理により補正された前記奥行き画像とを用いて、互いに視差を有する第１および第２視差画像を生成する視差画像生成部とを備え、
    前記奥行き値補正部は、前記補正対象領域に含まれる奥行き値のうち、対応する位置が前記表示面から最も手前側に離れている奥行き値を抽出し、抽出した奥行き値に対応する位置が前記表示面から手前側に離れる程、前記Ｌの値を大きくする
    集積回路。

Images