JP5907368B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、２次元画像からなる入力画像を安定的に３次元立体視を実現できる左眼用画像、および右眼用画像からなる３次元画像に変換できるようにした画像処理装置および方法、並びにプログラムに関する。

近年、３次元立体視聴可能な３次元画像を表示することができる液晶パネルやＰＤＰ（Plasma Display Panel）が普及しつつあるが、３次元立体視聴可能な画像信号、すなわち、左眼用画像、および右眼用画像からなる３次元画像信号のコンテンツが不足している。そこで、通常の２次元画像信号を疑似的に３次元画像信号に変換する技術によりコンテンツ不足を補うことが求められている。

通常、２次元画像信号を３次元画像信号に変換する際には、２次元画像の色や明るさを手掛かりとすることで、画素単位で奥行値を画素値とする奥行画像を求めて、その奥行画像の情報に基づいた視差を利用して、左眼用画像、および右眼用画像が生成されている。

ところが、近年、より立体感のある３次元画像に変換する手法として、各画像のシーンを推定して分類することにより、シーンに応じた奥行画像を求め、この奥行画像に基づいて変換するといった手法が提案されている（非特許文献１参照）。

東芝レビューVol.66(2011)

しかしながら、非特許文献１で提案されている手法においては、シーンを推定して分類する際、分類結果を間違えると実際に付けるべき奥行きと大きく異なってしまうため違和感を生じる可能性があった。

本技術はこのような状況に鑑みてなされたものであり、特に、２次元画像からなる入力画像を安定的に３次元立体視を実現できる左眼用画像、および右眼用画像からなる３次元画像に変換できるようにするものである。

本技術の一側面の画像処理装置は、２次元画像からなる入力画像に対して、前記入力画像に含まれる被写体の種別、および前記被写体の動きを含む特徴量に応じて分類される、複数のシーン毎に、前記入力画像と分類されたシーンとがどの程度類似しているのかを示す適合度を検出する適合度検出部と、前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成部と、前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合部と、前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成部とを含む。

前記入力画像の付加情報を取得する付加情報取得部と、前記付加情報に基づいて、前記シーン毎の重みを前記シーン毎の適合度に付加する付加情報重み付加部とを含ませるようにすることができ、前記混合部には、前記複数のシーン毎の、前記付加情報重み付加部により重みが付加された適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合させるようにすることができる。

前記入力画像の付加情報は、EPGに含まれる前記入力画像の番組の情報とすることができる。

前記複数のシーン毎の、前記付加情報重み付加部により重みが付加された適合度を時間方向に安定化させる安定化部をさらに含ませるようにすることができ、前記混合部には、前記複数のシーン毎の、前記付加情報重み付加部により重みが付加されて、さらに、安定化された適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合させるようにすることができる。

前記安定化部は、ＩＩＲフィルタとすることができる。

前記適合度検出部により検出された前記複数のシーン毎の適合度を正規化する正規化部をさらに含ませるようにすることができ、前記混合部には、前記正規化部により正規化された、前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合させるようにすることができる。

前記混合部には、前記正規化部により正規化された、前記複数のシーン毎の適合度に基づいた混合比と、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像との積和を求めることにより、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合させるようにすることができる。

本発明の一側面の画像処理方法は、２次元画像からなる入力画像に対して、前記入力画像に含まれる被写体の種別、および前記被写体の動きを含む特徴量に応じて分類される、複数のシーン毎に、前記入力画像と分類されたシーンとがどの程度類似しているのかを示す適合度を検出する適合度検出部における、前記２次元画像からなる入力画像に対して、前記入力画像に含まれる被写体の種別、および前記被写体の動きを含む特徴量に応じて分類される、複数のシーン毎に、前記入力画像と分類されたシーンとがどの程度類似しているのかを示す適合度を検出する適合度検出ステップと、前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成部における、前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成ステップと、前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合部における、前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成ステップの処理により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合ステップと、前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成部における、前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成ステップとを含む。

本発明の一側面のプログラムは、２次元画像からなる入力画像に対して、前記入力画像に含まれる被写体の種別、および前記被写体の動きを含む特徴量に応じて分類される、複数のシーン毎に、前記入力画像と分類されたシーンとがどの程度類似しているのかを示す適合度を検出する適合度検出部と、前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成部と、前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合部と、前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成部とを含む画像処理装置を制御するコンピュータに、前記適合度検出部における、前記２次元画像からなる入力画像に対して、前記入力画像に含まれる被写体の種別、および前記被写体の動きを含む特徴量に応じて分類される、複数のシーン毎に、前記入力画像と分類されたシーンとがどの程度類似しているのかを示す適合度を検出する適合度検出ステップと、前記奥行画像生成部における、前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成ステップと、前記混合部における、前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成ステップの処理により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合ステップと、前記３次元画像生成部における、前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成ステップとを含む処理を実行させる。

本技術の一側面においては、２次元画像からなる入力画像に対して、前記入力画像に含まれる被写体の種別、および前記被写体の動きを含む特徴量に応じて分類される、複数のシーン毎に、前記入力画像と分類されたシーンとがどの程度類似しているのかを示す適合度が検出され、前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像が生成され、前記複数のシーン毎の適合度に基づいた比率で、生成された複数のシーン毎に対応する手法で生成された奥行画像が混合され、混合奥行画像が生成され、前記混合奥行画像が用いられて、前記入力画像の各画素がシフトされ左眼用画像および右眼用画像が生成されて、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像が生成される。

本技術の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本技術によれば、２次元画像からなる入力画像を安定的に３次元立体視を実現できる左眼用画像、および右眼用画像からなる３次元画像に変換することが可能となる。

本技術を適用した画像処理装置の実施の形態の構成例を示す図である。 図１のシーン分類処理部の構成例を示す図である。 図１の重付処理部の構成例を示す図である。 図１の時間軸制御処理部の構成例を示す図である。 図１のブレンド処理部の構成例を示す図である。 図１の視差生成処理部の構成例を示す図である。 図１の画像処理装置による２Ｄ３Ｄ画像変換処理を説明するフローチャートである。 シーン分類処理を説明するフローチャートである。 時間軸制御処理を説明するフローチャートである。 分類シーン別奥行画像生成処理を説明するフローチャートである。 ブレンド処理を説明するフローチャートである。 視差画像生成処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。

［本技術を適用した画像処理装置の構成例］
図１を参照して、本技術を適用した画像処理装置の構成例について説明する。

図１の画像処理装置１１は、２次元画像信号からなる入力画像を、３次元立体視可能な３次元画像信号に変換するものである。

より詳細には、画像処理装置１１は、シーン分類処理部２１、時間軸制御処理部２２、ブレンド処理部２３、分類シーン別奥行画像生成部２４、および視差生成処理部２５を備えている。

シーン分類処理部２１は、２次元画像信号からなる入力画像信号の画像が、第１分類シーン乃至第３分類シーンの３種類のシーンのそれぞれにどの程度適合しているかを示す適合度を算出して時間軸制御処理部２２に供給する。第１分類シーン乃至第３分類シーンとは、例えば、風景画像のシーン、顔画像を含むシーン、または、動きのあるシーンなどである。すなわち、シーン分類処理部２１は、このような３種類のシーンのそれぞれに対して、入力画像がどの程度適合しているかを示す適合度を検出する。尚、シーン分類処理部２１の詳細な構成については、図２を参照して、後述する。また、ここでは、３種類のシーンを考慮して２次元画像を３次元画像に変換する例について説明するが、シーンの種類は、３種類に限るものではなく、これ以上の種類であってもよいものである。

時間軸制御処理部２２は、シーン分類処理部２１より供給されてくる３種類のシーンのそれぞれに対応する適合度を時間軸に対して安定化するように処理し、シーン毎の混合比としてブレンド処理部２３に出力する。尚、時間軸制御処理部２２の詳細な構成については、図４を参照して、詳細を後述する。

分類シーン別奥行画像生成部２４は、入力画像を第１分類シーン乃至第３分類シーンのそれぞれに対応する手法で奥行画像を生成し、ブレンド処理部２３に供給する。すなわち、今の場合、第１分類シーン乃至第３分類シーンについて、それぞれに対応した手法で合計３種類の奥行画像が生成されることになる。より詳細には、分類シーン別奥行画像生成部２４は、第１分類シーン用奥行画像生成部３１−１乃至第３分類シーン用奥行画像生成部３１−３を備えている。第１分類シーン用奥行画像生成部３１−１乃至第３分類シーン用奥行画像生成部３１−３は、それぞれ入力画像を第１分類シーン乃至第３分類シーンのそれぞれに対応する手法で奥行画像を生成してブレンド処理部２３に出力する。例えば、シーンが人物の顔画像であれば、画像内に顔画像を検出して、検出した顔画像の位置に、予め統計的に求められている顔画像の奥行画像が読み出されて、検出された顔画像の大きさや形状に揃えて貼り付けられる。また、例えば、空と地上とを含むような風景画像のシーンであれば、画像内に地上と空との境界を検出して、予め求められている地上における奥行パターンと、空における奥行パターンとが貼り付けられる。さらに、例えば、動きのあるシーンであるような場合、連続する複数のフレームの画素間の情報を利用して奥行画像が生成される。

ブレンド処理部２３は、分類シーン別奥行画像生成部２４より供給されてくる３種類の奥行画像を、それぞれのシーンに対応して時間軸方向に安定化されているシーン毎の混合比に基づいて混合して、１枚の奥行画像として視差生成処理部２５に供給する。尚、ブレンド処理部２３の詳細な構成については、図５を参照して後述する。

視差生成処理部２５は、ブレンド処理部２３より供給されてくる奥行画像に基づいた視差の情報を、入力画像である２次元画像信号に付加して処理することにより、左眼用画像信号、および右眼用画像信号を生成して出力する。尚、視差生成処理部２５の詳細な構成については、図６を参照して、詳細を後述する。

［シーン分類処理部］
次に、図２を参照して、シーン分類処理部２１の詳細な構成について説明する。

シーン分類処理部２１は、第１分類シーン適合度検出処理部４１−１乃至第３分類シーン適合度検出処理部４１−３、および重付処理部４２を備えている。第１分類シーン適合度検出処理部４１−１乃至第３分類シーン適合度検出処理部４１−３は、第１分類シーン乃至第３分類シーンのそれぞれにどの程度適合しているかを示す指標として適合度Ｍ１乃至Ｍ３を検出する。すなわち、例えば、画像の４隅の所定範囲のヒストグラムを求めることにより、上部の２箇所の隅のヒストグラム、および、下部の２箇所のヒストグラムとの差異が小さく、左右の上部および下部とのヒストグラムとの差異が大きい場合、風景画像としてのシーンの可能性が高いと考えられる。すなわち、上部に空があり、下部が地上であれば、上述したようなヒストグラムの関係となる。そこで、このような４隅のヒストグラムを求めることにより、４隅のヒストグラムの分布が、風景画像において設定される場合と、どの程度類似しているのかが適合度として求められる。尚、以降において、第１分類シーン乃至第３分類シーン、および第１分類シーン適合度検出処理部４１−１乃至第３分類シーン適合度検出処理部４１−３について、それぞれ特に区別する必要がない場合、単に、第N分類シーン、および第N分類シーン適合度検出処理部４１（または４１−Ｎ）と称するものとし、その他の構成についても同様に称するものとする。

重付処理部４２は、入力画像を構成する番組についての、EPG（Electronic Program Guide）などのテキスト情報からなる付加情報に基づいて、第１分類シーン乃至第３分類シーンのそれぞれに付加する重みを制御して付加する。より詳細には、重付処理部４２は、図３で示されるような構成であり、シーン情報抽出処理部６１、重付変換部６２、および乗算部６３−１乃至６３−３を備えている。シーン情報抽出処理部６１は、EPGなどからなる入力画像の属する番組などの付加情報からシーンを識別するのに利用することが可能な情報を抽出して重付変換部６２に供給する。重付変換部６２は、シーン情報抽出処理部６１より供給されてくるシーンに対応したキーワード数などに応じて、適合度Ｍ１乃至Ｍ３に重みW１乃至W３を供給し、乗算部６３−１乃至６３−３により乗じさせて付加させ、混合比として時間軸制御処理部２２に供給する。

すなわち、シーン情報抽出処理部６１が、付加情報から「旅行」、および「紀行」といったキーワードを抽出して重付処理部４２に供給するものとする。重付処理部４２は、例えば、第１分類シーンが風景画像である場合、「旅行」、および「紀行」といったキーワードから、入力画像の番組が風景画像を多く含む可能性があるものとみなし、重みＷ１を１より大きくして乗算部６３−１に供給する。このとき、第２分類シーン、および第３分類シーンへの重みＷ２，Ｗ３については、重みを１のまま乗算部６３−２，６３−３に供給する。このようにすることにより、入力画像に関連しそうなシーンについてのみ、重みを増すことが可能となる。

［時間軸制御処理部］
次に、図４を参照して、時間軸制御処理部２２の構成例について説明する。

時間軸制御処理部２２は、ＩＩＲ（Infinite impulse response）フィルタ７１−１乃至７１−３、および正規化処理部７２を備えている。ＩＩＲフィルタ７１−１乃至７１−３は、それぞれ第１分類シーン乃至第３分類シーンに対応する重みが付された適Ｗ合度を時間軸方向に対して安定化させて、時間安定化した適合度Ｓ_（Ｗ１×Ｍ１）乃至Ｓ_（Ｗ３×Ｍ３）を正規化処理部７２に供給する。正規化処理部７２は、適合度Ｓ_（Ｗ１×Ｍ１）乃至Ｓ_（Ｗ３×Ｍ３）の総和が１となるように正規化して、第１分類シーン乃至第３分類シーンに対する混合比α，β，γとしてブレンド処理部２３に供給する。

［ブレンド処理部］
次に、図５を参照して、ブレンド処理部２３の構成例について説明する。

ブレンド処理部２３は、乗算部８１−１乃至８１−３、および加算部８２を備えている。すなわち、乗算部８１−１乃至８１−３は、それぞれ第１分類シーン乃至第３分類シーンのそれぞれに対応する奥行画像Ｍａｐ１乃至３の各画素に対して、混合比α，β，γを乗算して奥行画像α×Ｍａｐ１，β×Ｍａｐ２，γ×Ｍａｐ３を加算部８２に出力する。加算部８２は、これらの画像信号を加算することで第１分類シーン乃至第３分類シーンのそれぞれに対応する手法で求められた奥行画像Ｍａｐ１乃至Ｍａｐ３を混合して合成し１枚の奥行画像Ｂ−Ｍａｐとして視差生成処理部２５に供給する。

［視差画像生成部］
次に、図６を参照して、視差生成処理部２５の詳細な構成例について説明する。

視差生成処理部２５は、右眼用シフト処理部９１−１、および左眼用シフト処理部９１−２を備えている。右眼用シフト処理部９１−１、および左眼用シフト処理部９１−２は、それぞれ奥行画像Ｂ−Ｍａｐの各画素の情報を視差情報として利用し、入力画像である２次元画像信号の各画素に対して右眼用、および左眼用にシフトさせることで、右眼用画像および左眼用画像を生成して出力する。

［２Ｄ３Ｄ画像変換処理］
次に、図７のフローチャートを参照して、画像処理装置１１による入力画像である２次元画像信号を３次元画像信号に変換する２Ｄ３Ｄ変換処理について説明する。

ステップＳ１において、シーン分類処理部２１は、図示せぬ放送局より放送波により無線で、または、有線で配信され、図示せぬアンテナにより受信されて供給されてくる放送番組の２次元画像信号（２D画像信号）が供給されてきたか否かを判定する。そして、シーン分類処理部２１は、２次元画像信号が送信されてくるまで、同様の処理を繰り返す。ステップＳ１において、２次元画像信号が供給されてきた場合、処理は、ステップＳ２に進む。

ステップＳ２において、シーン分類処理部２１、および分類シーン別奥行画像生成部２４は、供給されてくる２次元画像信号を取得する。尚、取得される画像については、単体のフレームであってもよいし、後述する特徴量の抽出のため、連続する複数のフレームなどであってもよい。

ステップＳ３において、シーン分類処理部２１における重付処理部４２のシーン情報抽出処理部６１は、２次元画像信号と共に重畳されてくるEPGのテキスト情報を付加情報として読み出して、重付変換部６２に供給する。

ステップＳ４において、シーン分類処理部２１は、シーン分類処理を実行し、供給されてきた２次元画像の、予め分類されている第１分類シーン乃至第３分類シーンのそれぞれに対する適合度を求めて、時間軸制御処理部２２に供給する。

［シーン分類処理］
ここで、図８のフローチャートを参照して、シーン分類処理について説明する。

ステップＳ３１において、シーン分類処理部２１は、第１分類シーン乃至第３分類シーンを識別する、図示せぬカウンタＮを１に初期化する。

ステップＳ３２において、重付処理部４２のシーン情報抽出処理部６１は、２次元画像信号と共に重畳されてくるEPGの情報より、シーン情報を抽出する。ここでいう、シーン情報とは、EPGの情報に含まれている、第１分類シーン乃至第３分類シーンに関連するキーワードであり、例えば、風景画像のシーンについてであれば、「紀行」、または「旅行」といった風景画像が頻繁に映し出される可能性のある番組を指すキーワードであり、また、顔画像のシーンについてであれば、「野球」、または「サッカー」といった競技者などの顔画像が頻繁に映し出される画像を多く含む可能性のある番組を指すキーワードである。シーン情報抽出処理部６１は、このようなキーワードを検索し、シーン情報として抽出して、重付変換部６２に供給する。

ステップＳ３３において、シーン分類処理部２１は、第１分類シーン適合度検出処理部４１−１乃至第３分類シーン適合度検出処理部４１−３のうちの第Ｎ分類シーン適合度検出処理部４１を制御して、第Ｎ分類シーンを識別するのに必要な特徴量を抽出させる。すなわち、第Ｎ分類シーンが、例えば、風景画像を含むシーンであるような場合、入力画像における４隅付近の画素のヒストグラムが特徴量として抽出される。また、第Ｎ分類シーンが、例えば、顔画像を含むシーンであるような場合、入力画像における顔画像を構成する眼、鼻、耳、および口といった器官の画像が検索されて特徴量として抽出される。さらに、第Ｎ分類シーンが、動画像であって、動きのある画像からなるシーンであるような場合、入力画像の複数のフレーム分の各画素間のブロックマッチングなどにより求められる動きベクトルが特徴量として抽出される。

ステップＳ３４において、シーン分類処理部２１は、第１分類シーン適合度検出処理部４１−１乃至第３分類シーン適合度検出処理部４１−３のうちの第Ｎ分類シーン適合度検出処理部４１を制御して、第Ｎ分類シーン毎の特徴量からそれぞれの適合度ＭＮを検出する。第N分類シーンが、例えば、風景画像のシーンである場合、上述したように、画像の４隅の所定範囲のヒストグラムが特徴量として求められている。そして、上部の２箇所の隅のヒストグラム、および、下部の２箇所のヒストグラムとの差異が小さく、左右の上部および下部とのヒストグラムとの差異が大きい場合、風景画像としてのシーンの可能性が高いと考えられる。そこで、第Ｎ分類シーン適合度検出処理部４１は、上部の２箇所の隅のヒストグラムの差異が小さい、下部の２箇所の隅のヒストグラムの差異が小さい、右上部と右下部の２箇所の隅のヒストグラムの差異が大きい、および左上部と左下部の２箇所の隅のヒストグラムの差異が大きいという４種類の特徴に対して、いずれの関係も満たせば適合度を１００％として求め、一方で、例えば、このうち２種類の特徴を満たさないのであれば、適合度を５０％として求める。

また、第N分類シーンが、例えば、顔画像を服務のシーンである場合、上述したように、顔を構成する器官が多く検出でできれば顔画像としてのシーンの可能性が高いと考えられる。そこで、第Ｎ分類シーン適合度検出処理部４１は、器官を眼、鼻、口、および耳の４種類が全てであるものとしたとき、その全てが検出できたとき、適合度を１００％とし、例えば、眼、または鼻のみしか検出できなかったとき、４種類のうち２種類が検出されているので、適合度を５０％として求める。

ステップＳ３５において、第Ｎ分類シーン適合度検出処理部４１は、検出した適合度ＭＮを重付処理部４２に出力する。

ステップＳ３６において、重付変換部６２は、シーン情報が、第Ｎ分類シーンに関連する情報であるか否かを判定する。すなわち、第Ｎ分類シーンが、風景画像のシーンであれば、シーン情報が、「紀行」、または「旅行」といった風景画像が頻繁に映し出される可能性のある番組を指すキーワードであれば、関連しているものとみなされる。また、第Ｎ分類シーンが、顔画像のシーンであれば、「野球」、または「サッカー」といった競技者などの顔画像が頻繁に映し出される画像を多く含む可能性のある番組を指すキーワードであれば、関連しているものとみなされる。このように、シーン情報が第Ｎ分類シーンと関連しているとみなされた場合、処理は、ステップＳ３７に進む。

ステップＳ３７において、重付変換部６２は、第Ｎ分類シーンの適合度への重み係数ＷＮを１より高い値に設定し、乗算部６３−Ｎに出力する。

一方、ステップＳ３６において、シーン情報が第Ｎ分類シーンと関連していないとみなされた場合、ステップＳ３８において、重付変換部６２は、第Ｎ分類シーンの適合度への係数ＷＮを１に設定し、乗算部６３−Ｎに出力する。

ステップＳ３９において、乗算部６３−Ｎは、第Ｎ分類シーンの適合度ＭＮに、供給されてきた重み係数ＷＮを乗じて、第Ｎ分類シーンの重付変換された適合度ＷＮ×ＭＮとして出力する。

ステップＳ４０において、シーン分類処理部２１は、カウンタＮが３であるか、すなわち、第１分類シーン乃至第３分類シーンの全てについてシーン分類処理がなされたか否かを判定し、カウンタＮが３ではない場合、処理は、ステップＳ４１に進む。

ステップＳ４１において、シーン分類処理部２１は、カウンタＮを１インクリメントして、処理は、ステップＳ３３に戻る。すなわち、第１分類シーン乃至第３分類シーンの全てについてシーン分類処理がなされたと判定されるまで、ステップＳ３３乃至Ｓ４１の処理が繰り返される。そして、ステップＳ４１において、カウンタＮが３であり、第１分類シーン乃至第３分類シーンの全てについてシーン分類処理がなされたとみなされた場合、処理は、終了する。

すなわち、以上の処理により、第Ｎ分類シーン毎に適合度ＭＮが求められると共に、EPGなどの付加情報から得られるシーン情報が、それぞれに関連するときのみ、重み係数ＷＮが１より大きく設定されて、それ以外のとき１とすることにより、適合度が高く、シーン情報が関連しているほど、大きな重み係数ＷＮが付された適合度が求められる。

ここで、図７のフローチャートの説明に戻る。

ステップＳ４において、シーン分類処理が終了すると、ステップＳ５において、時間軸制御処理部２２が、時間軸制御処理を実行し、第１分類シーン乃至第３分類シーンのそれぞれについて重み係数ＷＮが付加された適合度ＷＮ×ＭＮを時間軸方向に安定化させる。

［時間軸制御処理］
ここで、図９のフローチャートを参照して、時間軸制御処理について説明する。

ステップＳ６１において、時間軸制御処理部２２は、図示せぬカウンタＮを１に初期化する。

ステップＳ６２において、ＩＩＲフィルタ７１−Ｎは、第Ｎ分類シーンの重み付け適合度ＷＮ×ＭＮを、ＩＩＲフィルタ処理することにより、時間軸方向に安定化させて、安定化された第Ｎ分類シーンの重み付け適合度Ｓ_ＷＮ×ＭＮとして出力する。

ステップＳ６３において、時間軸制御処理部２２は、カウンタＮが３であるか否か、すなわち、第１分類シーン乃至第３分類シーンの全ての重み付け適合度ＷＮ×ＭＮを、ＩＩＲフィルタ処理したか否かを判定する。ステップＳ６３において、カウンタＮが３ではない場合、ステップＳ６４において、時間軸制御処理部２２は、カウンタＮを１インクリメントして、処理は、ステップＳ６２に戻る。すなわち、第１分類シーン乃至第３分類シーンの全ての重み付け適合度ＷＮ×ＭＮを、ＩＩＲフィルタ処理されるまで、ステップＳ６２乃至Ｓ６４の処理が繰り返される。そして、ステップＳ６３において、カウンタＮが３である、すなわち、第１分類シーン乃至第３分類シーンの全ての重み付け適合度ＷＮ×ＭＮを、ＩＩＲフィルタ処理されたとみなされた場合、処理は、ステップＳ６５に進む。

ステップＳ６５において、正規化処理部７２は、ＩＩＲフィルタ７１−１乃至７１−３よりそれぞれ供給されてきた第１分類シーン乃至第３分類シーンの安定化された重み付け適合度Ｓ_ＷＮ×ＭＮを正規化し、第１分類シーン乃至第３分類シーンの奥行画像Ｍａｐ１乃至Ｍａｐ３の混合比α，β，γとしてブレンド処理部２３に供給する。

以上の処理により、シーン情報に基づいて重み付けされた第Ｎ分類シーンの適合度ＷＮ×ＭＮを時間軸方向に安定化させた上で、第１乃至第３分類シーンの奥行画像Ｍａｐ１乃至Ｍａｐ３の混合比α，β，γを算出して、ブレンド処理部２３に供給させることが可能となる。

ここで、図７のフローチャートの説明に戻る。

ステップＳ５の処理により時間軸制御処理が実行されると、ステップＳ６において、分類シーン別奥行画像生成部２４は、分類シーン別奥行画像生成処理を実行して、分類シーン毎に異なる手法で奥行画像を生成し、ブレンド処理部２３に供給する。

［分類シーン別奥行画像生成処理］
ここで、図１０のフローチャートを参照して、分類シーン別奥行画像生成処理について説明する。

ステップＳ８１において、分類シーン別奥行画像生成部２４は、図示せぬカウンタＮを１に初期化する。

ステップＳ８２において、分類シーン別奥行画像生成部２４は、第Ｎ分類シーン用奥行画像生成部３１−Ｎを制御して、第Ｎ分類シーン用奥行画像ＭａｐＮを生成させ、ブレンド処理部２３に出力させる。

すなわち、第Ｎ分類シーンが、例えば、風景画像のシーンである場合、第Ｎ分類シーン用奥行画像生成部３１−Ｎは、予め登録されているベースラインを含むような奥行パターンと、上述した４隅近傍の画素値のヒストグラムの差分の関係との情報に基づいて、ベースラインを含むような奥行パターンを読み出して、奥行画像とする。ここでいう、ベースラインとは、例えば、地平線や、地上部分と建物との境界などの画像内に直線状に生じる奥行が変化する境界を示している。ここでは、風景画像のシーンとして、そのようなベースラインを含むいくつかの画像について、予め奥行パターンと、上述した４隅近傍の画素値のヒストグラムの差分との関係を求めておき、４隅近傍の画素値のヒストグラムの差分に基づいて、奥行画像が選択される構成となっている。

第Ｎ分類シーンが、例えば、顔画像を含むシーンである場合、第Ｎ分類シーン用奥行画像生成部３１−Ｎは、予め登録されている顔画像に対応した奥行パターンを利用して、供給さてきた顔画像の大きさに拡大または縮小して調整し、貼り付けることにより、人物の顔画像を含むシーンについて奥行画像を生成する。

また、第Ｎ分類シーンが、例えば、顔画像を含むシーンである場合、第Ｎ分類シーン用奥行画像生成部３１−Ｎは、予め登録されている顔画像に対応した奥行パターンを、供給さてきた画像内において検出される顔画像の大きさに拡大または縮小して調整し、貼り付けることにより、人物の顔画像を含むシーンについて奥行画像を生成する。

さらに、第Ｎ分類シーンが、例えば、動きのある画像を含むシーンである場合、第Ｎ分類シーン用奥行画像生成部３１−Ｎは、連続する複数のフレームに基づいて、画素単位で動きベクトルを求め、これをクラスタリングする。このとき、各クラスタは、オブジェクト毎にクラスタリングされることになるので、動きの相互関係、すなわち、動きに応じて、他のオブジェクトにより覆い隠されるオブジェクトが最も奥に存在するオブジェクトになる。第Ｎ分類シーン用奥行画像生成部３１−Ｎは、最も奥に存在するオブジェクトと、他のオブジェクトとの動きベクトルの二乗誤差を求めることで、相対的な奥行き方向の関係と求めて、これに基づいて奥行画像を生成する。

ステップＳ８３において、分類シーン別奥行画像生成部２４は、カウンタＮが３であるか否かを判定し、Ｎが３である、すなわち、第１分類シーン乃至第３分類シーンの全ての手法で奥行画像ＭａｐＮを生成してブレンド処理部２３に供給したか否かを判定する。ステップＳ８３において、カウンタＮが３ではなく、第１分類シーン乃至第３分類シーンのそれぞれの手法で奥行画像ＭａｐＮが生成されてブレンド処理部２３に供給されていない場合、処理は、ステップＳ８４に進む。

ステップＳ８４において、分類シーン別奥行画像生成部２４は、カウンタＮを１インクリメントし、処理は、ステップＳ８２に戻る。すなわち、第１分類シーン乃至第３分類シーンの全てについて、それぞれの手法で奥行画像ＭａｐＮが生成されてブレンド処理部２３に供給されるまで、ステップＳ８２乃至Ｓ８４の処理が繰り返される。そして、ステップＳ８３において、第１分類シーン乃至第３分類シーンの全ての手法で奥行画像ＭａｐＮが生成されてブレンド処理部２３に供給されたとみなされた場合、処理は、終了する。

以上の処理により、第１分類シーンおよび第３分類シーンの全てについて、それぞれの特性に応じた手法により、奥行画像が生成されて、ブレンド処理部２３に供給される。

ここで、図７のフローチャートの説明に戻る。

ステップＳ６において、分類シーン別奥行画像生成処理が実行されて、第１分類シーン乃至第３分類シーンの全てについて、それぞれの手法で奥行画像ＭａｐＮが生成されると、処理は、ステップＳ７に進む。

ステップＳ７において、ブレンド処理部２３は、ブレンド処理を実行し、分類シーン別奥行画像生成部２４からの第Ｎ分類シーン毎の奥行画像を、時間軸制御処理部２２からの第Ｎ分類シーン毎の混合比α，β，γを用いて混合して視差生成処理部２５に供給する。

［ブレンド処理］
ここで、図１１のフローチャートを参照して、ブレンド処理について説明する。

ステップＳ１０１において、ブレンド処理部２３は、図示せぬカウンタＮを１に初期化する。

ステップＳ１０２において、ブレンド処理部２３は、第Ｎ分類シーンの混合比と、第Ｎ分類シーンの奥行画像ＭａｐＮの各画素とを乗算する。

ステップＳ１０３において、ブレンド処理部２３は、カウンタＮが３であるか否かを判定する。ステップＳ１０３において、カウンタＮ＝３ではない、すなわち、全ての第Ｎ分類シーンの混合比が第Ｎ分類シーンの奥行画像ＭａｐＮの各画素の画素値に乗算されていないとみなされた場合、処理は、ステップＳ１０４に進む。

ステップＳ１０４において、ブレンド処理部２３は、カウンタＮを１インクリメントして、処理は、ステップＳ１０２に戻る。すなわち、全ての第Ｎ分類シーンの混合比が第Ｎ分類シーンの奥行画像ＭａｐＮの各画素の画素値に乗算されたとみなされるまで、ステップＳ１０２乃至Ｓ１０４の処理が繰り返される。

そして、ステップＳ１０３において、カウンタＮが３であり、全ての第Ｎ分類シーンの混合比が第Ｎ分類シーンの奥行画像ＭａｐＮの各画素の画素値に乗算されたとみなされた場合、処理は、ステップＳ１０５に進む。

ステップＳ１０５において、ブレンド処理部２３は、第Ｎ分類シーン毎の奥行画像の各画素の画素値が混合比と乗算された値を、同一の画素位置の画素毎に総和を求め、これを画素値とする画像を混合奥行画像Ｂ−Ｍａｐとして視差生成処理部２５に出力する。

すなわち、以上の処理により、第Ｎ分類シーン毎の奥行画像の画素値を、適合度に基づいて求められる混合比を用いた積和で表現することにより、第Ｎ分類シーン毎の奥行画像が混合されて、１枚の混合奥行画像Ｂ−Ｍａｐとして出力させることが可能となる。

ここで、図７のフローチャートの説明に戻る。

ステップＳ７において、ブレンド処理により複数の第Ｎ分類シーン毎の特性に応じた手法で求められた奥行画像が、適合度に応じた混合比で混合されて、入力画像に対する１枚の混合奥行画像Ｂ−Ｍａｐが生成されると、処理は、ステップＳ８に進む。

ステップＳ８において、視差生成処理部２５は、視差生成処理を実行することにより、混合奥行画像Ｂ−Ｍａｐにおける各画素の画素値である奥行値に基づいて、入力画像である２次元画像の各画素を左右方向にシフトさせることにより、視差を付加して、右眼用画像および左眼用画像を生成して出力する。

［視差生成処理］
ここで、図１２のフローチャートを参照して、視差生成処理について説明する。

ステップＳ１２１において、右眼用シフト処理部９１−１は、入力画像である２次元画像の各画素を、混合奥行画像Ｂ−Ｍａｐの対応する画素位置の奥行値に対応する距離だけ左方向にシフトさせることで、入力画像に右眼用の視差を付加して右眼用画像を生成する。

ステップＳ１２２において、左眼用シフト処理部９１−２は、入力画像である２次元画像の各画素を、混合奥行画像Ｂ−Ｍａｐの対応する画素位置の奥行値に対応する距離だけ右方向にシフトさせることで、入力画像に左眼用の視差を付加して左眼用画像を生成する。

以上の処理により、入力画像である２次元画像の各画素位置に対応する奥行画像の各画素値である奥行値に基づいて、それぞれ右方向および左方向にシフトすることにより、左眼用画像、および右眼用画像を生成することが可能となる。

ここで、図７のフローチャートの説明に戻る。

ステップＳ８により視差生成処理がなされて、左眼用画像および右眼用画像が生成されると、ステップＳ９において、視差生成処理部２５は、生成した左眼用画像および右眼用画像を３次元視聴可能な３次元画像信号として出力する。

ステップＳ１０において、分類シーン別奥行画像生成部２４は、次の画像が供給されてきているか否かを判定し、次の画像が供給されてきている場合、処理は、ステップＳ２に戻り、それ以降の処理が繰り返される。そして、ステップＳ１０において、次の画像が供給されてきていない場合、処理は、終了する。

以上の処理により、分類シーン別に奥行画像が生成されて、シーン情報とそれぞれの分類シーン毎の適合度に応じた混合比で混合されて奥行画像が生成されるので、分類したシーンに誤りがあった場合に生じるような破綻が抑制された奥行画像を生成することが可能となる。また、この際、混合比を求める際には、ＩＩＲフィルタによる処理がなされているので、時間軸方向にも安定した混合比が求められるので、生成される奥行画像も安定したものとすることが可能となる。結果として、２次元画像を３次元画像に変換する２Ｄ３Ｄ変換処理において、違和感が抑制された、安定性の高い３次元画像への変換処理を実現することが可能となる。

以上の如く、本技術によれば、２次元画像信号より、３次元立体視を実現できる左眼用画像、および右眼用画像からなる３次元画像信号を違和感なく安定的に生成することが可能となる。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

尚、本技術は以下のような構成を取ることができる。
（１） ２次元画像からなる入力画像に対して複数のシーン毎の適合度を検出する適合度検出部と、
前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成部と、
前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合部と、
前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成部と
を含む画像処理装置。
（２） 前記入力画像の付加情報を取得する付加情報取得部と、
前記付加情報に基づいて、前記シーン毎の重みを前記シーン毎の適合度に付加する付加情報重み付加部とを含み、
前記混合部は、前記複数のシーン毎の、前記付加情報重み付加部により重みが付加された適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合する
（１）に記載の画像処理装置。
（３） 前記入力画像の付加情報は、EPGに含まれる前記入力画像の番組の情報である
（１）または（２）に記載の画像処理装置。
（４） 前記複数のシーン毎の、前記付加情報重み付加部により重みが付加された適合度を時間方向に安定化させる安定化部をさらに含み、
前記混合部は、前記複数のシーン毎の、前記付加情報重み付加部により重みが付加されて、さらに、安定化された適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記安定化部は、ＩＩＲフィルタである
（４）に記載の画像処理装置。
（６） 前記適合度算出部により算出された、前記適合度検出手段により検出された前記複数のシーン毎の適合度を正規化する正規化部をさらに含み、
前記混合部は、前記正規化部により正規化された、前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合する
（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記混合部は、前記正規化部により正規化された、前記複数のシーン毎の適合度に基づいた混合比と、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像との積和を求めることにより、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合する
（６）に記載の画像処理装置。
（８） ２次元画像からなる入力画像に対して複数のシーン毎の適合度を検出する適合度検出部における、前記２次元画像からなる入力画像に対して複数のシーン毎の適合度を検出する適合度検出ステップと、
前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成部における、前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成ステップと、
前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合部における、前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成ステップの処理により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合ステップと、
前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成部における、前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成ステップと
を含む画像処理方法。
（９） ２次元画像からなる入力画像に対して複数のシーン毎の適合度を検出する適合度検出部と、
前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成部と、
前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合部と、
前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成部と
を含む画像処理装置を制御するコンピュータに、
前記適合度検出部における、前記２次元画像からなる入力画像に対して複数のシーン毎の適合度を検出する適合度検出ステップと、
前記奥行画像生成部における、前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成ステップと、
前記混合部における、前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成ステップの処理により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合ステップと、
前記３次元画像生成部における、前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成ステップと
を含む処理を実行させるプログラム。

１１ 画像処理装置， ２１ シーン分類処理部， ２２ 時間軸制御処理部， ２３ ブレンド処理部， ２４ 分類シーンン別奥行画像生成部， ２５ 視差生成処理部， ４１−１乃至４１−３ 第１乃至第３分類シーン適合度検出処理部， ４２ 重付処理部， ６１ シーン情報抽出処理部， ６２ 重付変換部， ６３−１乃至６３−３ 乗算部， ７１−１乃至７１−３ ＩＩＲフィルタ， ７２ 正規化処理部， ８１−１乃至８１−３ 乗算部， ８２ 加算部， ９１−１，９１−２ 右眼用および左眼用シフト処理部

Claims (9)

1. ２次元画像からなる入力画像に対して、前記入力画像に含まれる被写体の種別、および前記被写体の動きを含む特徴量に応じて分類される、複数のシーン毎に、前記入力画像と分類されたシーンとがどの程度類似しているのかを示す適合度を検出する適合度検出部と、
   前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成部と、
   前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合部と、
   前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成部と
   を含む画像処理装置。
2. 前記入力画像の付加情報を取得する付加情報取得部と、
   前記付加情報に基づいて、前記シーン毎の重みを前記シーン毎の適合度に付加する付加情報重み付加部とを含み、
   前記混合部は、前記複数のシーン毎の、前記付加情報重み付加部により重みが付加された適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合する
   請求項１に記載の画像処理装置。
3. 前記入力画像の付加情報は、EPGに含まれる前記入力画像の番組の情報である
   請求項２に記載の画像処理装置。
4. 前記複数のシーン毎の、前記付加情報重み付加部により重みが付加された適合度を時間方向に安定化させる安定化部をさらに含み、
   前記混合部は、前記複数のシーン毎の、前記付加情報重み付加部により重みが付加されて、さらに、安定化された適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合する
   請求項３に記載の画像処理装置。
5. 前記安定化部は、ＩＩＲフィルタである
   請求項４に記載の画像処理装置。
6. 前記適合度検出部により検出された前記複数のシーン毎の適合度を正規化する正規化部をさらに含み、
   前記混合部は、前記正規化部により正規化された、前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合する
   請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記混合部は、前記正規化部により正規化された、前記複数のシーン毎の適合度に基づいた混合比と、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像との積和を求めることにより、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合する
   請求項６に記載の画像処理装置。
8. ２次元画像からなる入力画像に対して、前記入力画像に含まれる被写体の種別、および前記被写体の動きを含む特徴量に応じて分類される、複数のシーン毎に、前記入力画像と分類されたシーンとがどの程度類似しているのかを示す適合度を検出する適合度検出部における、前記２次元画像からなる入力画像に対して、前記入力画像に含まれる被写体の種別、および前記被写体の動きを含む特徴量に応じて分類される、複数のシーン毎に、前記入力画像と分類されたシーンとがどの程度類似しているのかを示す適合度を検出する適合度検出ステップと、
   前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成部における、前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成ステップと、
   前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合部における、前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成ステップの処理により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合ステップと、
   前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成部における、前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成ステップと
   を含む画像処理方法。
9. ２次元画像からなる入力画像に対して、前記入力画像に含まれる被写体の種別、および前記被写体の動きを含む特徴量に応じて分類される、複数のシーン毎に、前記入力画像と分類されたシーンとがどの程度類似しているのかを示す適合度を検出する適合度検出部と、
   前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成部と、
   前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成部により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合部と、
   前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成部と
   を含む画像処理装置を制御するコンピュータに、
   前記適合度検出部における、前記２次元画像からなる入力画像に対して、前記入力画像に含まれる被写体の種別、および前記被写体の動きを含む特徴量に応じて分類される、複数のシーン毎に、前記入力画像と分類されたシーンとがどの程度類似しているのかを示す適合度を検出する適合度検出ステップと、
   前記奥行画像生成部における、前記入力画像に対して、複数のシーン毎に対応する手法により奥行画像を生成する奥行画像生成ステップと、
   前記混合部における、前記複数のシーン毎の適合度に基づいた比率で、前記奥行画像生成ステップの処理により生成された複数のシーン毎に対応する手法で生成された奥行画像を混合し、混合奥行画像を生成する混合ステップと、
   前記３次元画像生成部における、前記混合奥行画像を用いて、前記入力画像の各画素をシフトさせ左眼用画像および右眼用画像を生成して、前記左眼用画像および前記右眼用画像からなる３次元視聴可能な３次元画像を生成する３次元画像生成ステップと
   を含む処理を実行させるプログラム。

Images