JP6026979B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、多視点映像からシーンの奥行きを推定する画像処理装置、画像処理方法及び画像処理プログラムに関する。

映像メディアの分野では、近年、高臨場化とパーソナライズ化の流れが急速に進んでいる。映像を立体的に視ることで高臨場な映像体験が可能な３Ｄ映像は映画・テレビ・ゲーム機等幅広く普及が進んできている。それに加え、解像度がフルＨＤの４倍ある４Ｋ映像や、ＮＨＫが開発を進めているスーパーハイビジョン映像など、映像の大画面化も高臨場化の流れを加速させる要因のひとつとして挙げられる。また、ネットワークを介したビデオオンデマンドサービスの普及は著しく、テレビやスマートフォンなどユーザが好みのデバイスで好みのコンテンツを視聴する映像のパーソナライズが進んでいることがわかる。

このような背景の中、高臨場とパーソナライズ化を更に加速させる新しい映像メディアのひとつに自由視点映像が挙げられる。自由視点映像を合成するために、多視点画像から視点間の画像を補間する代表的な手法として光線空間法がある（例えば、非特許文献１参照）。これは多視点画像をＥｐｉｐｏｌａｒ Ｐｌａｎｅ Ｉｍａｇｅ（以下、ＥＰＩ画像という）と呼ばれる空間に変換し、光線の傾きを推定することで画素ごとにシーンの奥行きを推定し、視点間の画像を補間するものである。

しかし、この光線空間法は画素単位の処理を前提としており、画素間の連結性を考慮した領域ベースの奥行き推定までは考慮されておらず、均一な輝度の領域が広がるところでは奥行きの誤推定が発生しやすいという課題がある。また、ひとつの視点画像に対して色情報を基に領域分割し、領域ごとに光線の傾きをＥＰＩ画像を用いて推定するＳｅｇｍｅｎｔ−Ｂａｓｅｄ Ｄｅｐｔｈ Ｅｓｔｉｍａｔｉｏｎ手法が存在する（例えば、非特許文献２参照）。

しかし、この手法はひとつの視点画像に依存した領域分割形状となってしまうため、他の視点画像上での領域分割形状との矛盾が生じてしまう可能性がある。また、領域形状を推定した後に奥行きを推定するため、両者の最適解を導くことはできていない。

"光線群による３次元空間情報の表現とその応用"テレビジョン学会誌 ５０（９），１３１２−１３１８，１９９６−０９−２０ "SEGMENT-BASED MULTI-VIEW DEPTH MAP ESTIMATION USING BELIEF PROPAGATION FROM DENSE MULTI-VIEW VIDEO" 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video, 2008 ,pp.193 - 196

多視点画像の各視点画像における独立した色情報に基づく領域分割結果は、視点画像毎に異なるため、互いに整合性の保てない領域分割画像となってしまう。このため、シーンの奥行きを、領域ごとに光線の傾きを推定する場合は、一つの画像の領域分割結果のみを採用するため、１つの視点画像の領域分割結果にのみ依存した奥行き推定結果となってしまい、誤差が大きくなってしまうという問題がある。また、領域分割自体も、事前に設定した領域数に起因した領域分割結果となってしまうため、柔軟な形状変化や領域数の変化に対応できないという問題もある。

本発明は、このような事情に鑑みてなされたもので、柔軟な形状変化や領域数の変化に対応できる領域分割ができるとともに、誤差の小さい奥行き推定を行うことができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明は、入力したＥＰＩ画像から色情報と座標情報とを組み合わせた点情報へ変換して出力する画像情報点変換手段と、前記点情報と直線クラスタのクラスタ情報とを入力し、前記クラスタ情報の更新を行い更新後の前記クラスタ情報を出力するクラスタ更新手段と、更新後の前記クラスタ情報を入力して、さらにクラスタ分割を行う必要があるか否かを判定する分割クラスタ判定手段と、前記分割クラスタ判定手段によって、前記クラスタ分割を行う必要があると判定された場合に、前記ＥＰＩ画像上において直線検出を行うための前記直線クラスタをさらに分割し、分割後の前記直線クラスタのクラスタ情報を前記クラスタ更新手段に対して出力するクラスタ分割手段と、前記分割クラスタ判定手段によって、前記クラスタ分割を行う必要がないと判定された場合に、前記直線クラスタに属する画素から直線の領域情報、奥行き情報及び色情報とを算出して出力する領域計算手段とを備えることを特徴とする。

本発明は、入力したＥＰＩ画像から色情報と座標情報とを組み合わせた点情報へ変換して出力する画像情報点変換ステップと、前記点情報と直線クラスタのクラスタ情報とを入力し、前記クラスタ情報の更新を行い更新後の前記クラスタ情報を出力するクラスタ更新ステップと、更新後の前記クラスタ情報を入力して、さらにクラスタ分割を行う必要があるか否かを判定する分割クラスタ判定ステップと、前記分割クラスタ判定ステップによって、前記クラスタ分割を行う必要があると判定された場合に、前記ＥＰＩ画像上において直線検出を行うための前記直線クラスタをさらに分割し、分割後の前記直線クラスタのクラスタ情報を前記クラスタ更新ステップに対して出力するクラスタ分割ステップと、前記分割クラスタ判定ステップによって、前記クラスタ分割を行う必要がないと判定された場合に、前記直線クラスタに属する画素から直線の領域情報、奥行き情報及び色情報とを算出して出力する領域計算ステップとを有することを特徴とする。

本発明は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムである。

本発明によれば、柔軟な形状変化や領域数の変化に対応できる領域分割ができるとともに、誤差の小さい奥行き推定を行うことができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 ＥＰＩ画像を取得する動作を示す説明図である。 図２に示す取得動作によって取得したＥＰＩ画像の一例を示す図である。 直線を中心とするクラスタの例を示す説明図である。 点情報テーブルの構成を示す説明図である。 図１に示す分割クラスタ判定部３の構成を示すブロック図である。 領域計算部５が最終結果として出力するテーブルの構成を示す図である。 図７に示す結果から再現したＥＰＩ画像の例を示す説明図である。

以下、図面を参照して、本発明の一実施形態による奥行き推定装置を説明する。図１は同実施形態における奥行き推定装置の構成を示すブロック図である。この図に示す奥行き推定装置は、コンピュータ装置によって構成し、画像情報点変換部１、クラスタ更新部２、分割クラスタ判定部３、クラスタ分割部４及び領域計算部５を備える。本実施形態では、直線上に並行に並べられたカメラアレイにより取得された直線上の光線からなるＥＰＩ画像を処理対象としている。

図２は、ＥＰＩ画像を取得する動作を示す説明図である。画像を取得するカメラ（直線カメラアレイ）は、ｘ軸方向に１列に並んでいる。直線カメラアレイを構成するカメラのそれぞれは、縦方向（高さ）をｖ軸、横方向（幅）をｕ軸とした画像を取得する。図２に示すように、直線カメラアレイによって取得した複数の画像をｘ軸方向に並べて、ｖ＝ａにおけるｕｘ平面で切り取った画像がＥＰＩ画像である。図３は、図２に示す取得動作によって取得した簡単なＥＰＩ画像の一例を示す図である。

ＥＰＩ画像上では１つの直線を１つの光線とみなすことができ、光線の傾きは光源位置とカメラまでの距離を表している。観測視点画像における画素の輝度値を基に、ＥＰＩ画像上で直線フィッティングを行うことで、切片と傾きから成る直線のパラメータとして光線を表現し、カメラとカメラの間の未観測視点画像を補間することが可能となる（図４参照）。図４は、直線を中心とするクラスタの例を示す説明図である。

次に、図１に示す奥行き推定装置の処理動作を説明する。まず、取得されたＥＰＩ画像に対して、画像情報点変換部１は、画像情報を点情報へと変換する。次に、クラスタ更新部２は、点情報と初期クラスタ情報を入力として、クラスタのメンバ画素数、重心情報の情報更新を行う。そして、ＥＰＩ画像上の画素全てに対して、クラスタ更新部２は、クラスタ情報の更新を行い、クラスタ分割部４は、クラスタの分割を繰り返すことによって、ＥＰＩ画像上で直線検出を行っていく。

次に、分割クラスタ判定部３は、ＥＰＩ画像を十分に表現できる程度の直線数になったと判定した時、クラスタの更新と分割を終了し、最後に領域計算部５によって、各クラスタのメンバ画素から光線の太さと傾き切片を出力する。

次に、図１に示す構成要素の詳細な処理動作を説明する。始めに、画像情報点変換部１の処理動作を説明する。画像情報点変換部１は、ＥＰＩ画像のＲＧＢ（ｘ，ｙ）を入力として、点情報（点集合Ｅ＝｛ｉ：１≦ｉ≦Ｎ｝と点の数Ｎと、各点の情報｛Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ｝を出力する。ＲＧＢ（ｘ，ｙ）は図３のように座標（ｘ，ｙ）の画素における色（Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ））であり各色Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）は、赤・緑・青の色の強度（０〜２５５の整数）である。

点集合は次の（１）〜（３）の処理によって生成する。
（１）Ｅ＝φ（φは斜線つきゼロを表し、空集合である：以下同様），ｉ＝１とする。
（２）ｘ＝０，…，Ｘ−１、ｙ＝０，…，Ｙ−１の全ての組み合わせについて下記（ｉ）〜（ｉｉｉ）を実行する（ただし、Ｘ，ＹはＥＰＩ画像の幅と高さ）。
（ｉ）Ｅ←ＥＵ｛ｉ｝とする。
（ｉｉ）Ｘ_ｉ＝ｘ，Ｙ_ｉ＝ｙ，Ｚ_ｉ＝ＲＧＢ（ｘ，ｙ）
（ｉｉｉ）ｉ←ｉ＋１とする。
（３）Ｎ＝ｉとする。
このようにして生成した点情報に基づき図５に示す点情報テーブルが生成されることになる。画像情報点変換部１は、この点情報テーブルを点情報としてクラスタ更新部２へ出力する。

次に、クラスタ更新部２の処理動作を説明する。クラスタ更新部２は、点情報｛Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ｝とクラスタ情報｛Ｎ_ｋ，Ｅ_ｋ，Ａ_ｋ，Ｂ_ｋ，Ｃ_ｋ｝（ｋ＝１，…，ｊ）を入力して、更新したクラスタ情報｛Ｎ_ｋ，Ｅ_ｋ，Ａ_ｋ，Ｂ_ｋ，Ｃ_ｋ｝を出力する。

クラスタ更新部２は、画素を表すｘ，ｙ軸方向には直線ｙ＝Ａ_ｋｘ＋Ｂ_ｋ、色の強度を表すｚ（ＲＧＢ）軸方向には点Ｃ_ｋによるクラスタリングを行う。すべての点はセントロイドとなる直線（Ａ_ｋｘ＋Ｂ_ｋ，Ｃ_ｋ）の最も近いクラスタＥ_ｋに属する。クラスタ更新部２は、初回に実行するときは、クラスタ数ｊ＝１、初期クラスタのセントロイドＡ_ｋ，Ｂ_ｋ，Ｃ_ｋ（ｋ＝１）をランダムな値、クラスタＥ_１＝Ｅとして実行する。２回目以降は、クラスタ分割部４からの出力のクラスタ情報｛Ｎ_ｋ，Ｅ_ｋ，Ａ_ｋ，Ｂ_ｋ，Ｃ_ｋ｝（ｋ＝１，…，ｊ）を入力として実行する。クラスタ更新処理は、下記の（１）〜（５）によって行う。

（１）Ｅ_{ｋ（ｏｌｄ）}＝Ｅ_ｋ（ｋ＝１，２，…、ｊ）とする。
（２）全ての点ｉ∈Ｅについて、各クラスタｋ（ｋ＝１，…、ｊ）との距離Ｄ_ｉ，ｋを計算する。
Ｆ_ｄ（ｐ，ｑ）はベクトルｐ，ｑと距離を計算する関数である。
（３）全ての点ｉ∈Ｅについて、クラスタＥ_ｋを更新する。具体的には、最も距離の近いクラスタ
を求め、全てのクラスタＥ_ｋ（ｋ＝１，２，…，ｊ）に対して直線クラスタの傾きＡ_ｋ・切片Ｂ_ｋ・平均値Ｃ_ｋを更新する。具体的には、下記Ｌ_ｋ，Ｇ_ｋを最小化する傾き傾きＡ_ｋ・切片Ｂ_ｋ・平均値Ｃ_ｋを求める。
（４）全てのｋ（ｋ＝１，２，…，ｊ）についてＥ_{ｋ（ｏｌｄ）}＝Ｅ_ｋの場合終了する。
（５）（１）に戻り処理を繰り返す。

例えば、距離関数Ｆ_ｄは下記のように与えることができる。
αは画素間距離と色間の距離の重みを調整する係数である。Ｆ_ｄはこの重み付きのユークリッド距離関数ではなく、マハラノビス距離等を用いてもよい。

次に、クラスタ分割部４の処理動作を説明する。クラスタ分割部４は、クラスタ情報｛Ｎ_ｋ，Ｅ_ｋ，Ａ_ｋ，Ｂ_ｋ，Ｃ_ｋ｝（ｋ＝１，２，…，ｊ）と分割クラスタインデックスＬ＝｛ｌ_１，ｌ_２，…，ｌ_ｎ｝を入力し、分割後のクラスタ情報｛Ｎ_ｋ，Ｅ_ｋ，Ａ_ｋ，Ｂ_ｋ，Ｃ_ｋ｝（ｋ＝１，２，…，ｊ、ただし分割後のｊの値は、分割前からｎ増加（つまりｊ＋ｎ）となっている）を出力する。

具体的には全てのｌ∈Ｌについて下記（１）〜（４）のように計算する。
（１）Ａ′＝Ａ_ｉ，Ｂ′＝Ｂ_ｉ，Ｃ′＝Ｃ_ｉとする。
（２）Ｂ_ｉ＝Ｂ′＋ε_ｙ，Ｃｉ＝Ｃ′＋ε_ｚとする（εはランダムな値、またはＹ，Ｚで分散が大きい方向の単位ベクトル等）。
（３）ｊ←ｊ＋１とする。
（４）Ｂ_ｉ＝Ｂ′−ε_ｙ，Ｃ_ｉ＝Ｃ′−ε_ｚとする。

次に、分割クラスタ判定部３の処理動作を説明する。分割クラスタ判定部３は、クラスタ情報｛Ｎ_ｋ，Ｅ_ｋ，Ａ_ｋ，Ｂ_ｋ，Ｃ_ｋ｝・点情報｛Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ｝を入力し、分割クラスタインデックスＬ＝｛ｌ_１，ｌ_２，…，ｌ_ｎ｝、クラスタ情報｛Ｎ_ｋ，Ｅ_ｋ，Ａ_ｋ，Ｂ_ｋ，Ｃ_ｋ｝を出力する。分割クラスタ判定部３は、分割するクラスタが見つからない場合（つまりＬ＝φのとき）、クラスタ情報を領域計算部５にそのまま出力する。分割するクラスタが見つかった場合（つまりＬ≠φのとき）、分割クラスタインデックスＬとクラスタ情報｛Ｎ_ｋ，Ｅ_ｋ，Ａ_ｋ，Ｂ_ｋ，Ｃ_ｋ｝を出力する。

図６は、図１に示す分割クラスタ判定部３の構成を示すブロック図である。分割クラスタ判定部３は、クラスタ分割部３１、クラスタ更新部３２、情報量規準計算部３３、情報量規準計算部３４、インデックス生成部３５を備える。

図６に示すクラスタ分割部３１とクラスタ更新部３２は、図１に示すクラスタ分割部４とクラスタ更新部２と同一の機能を有するものである。このため、分割クラスタ判定部３はクラスタを分割・更新することができ、その際の情報量（情報量基準計算部３４）を算出することで、クラスタを分割しなかった際の情報量（情報量基準計算部３３）と比較し、クラスタを分割すべきか否かを判断することを可能としている。ｋ＝１，…，ｊの各クラスタで分割する前のクラスタの情報量規準Ｉ_ｋと分割後のクラスタの情報量規準Ｉ′_ｋを比較し、Ｉ_ｋ＞Ｉ′_ｋのときそのクラスタは分割した方が良いクラスタとしてインデックス情報Ｌの集合にｋを追加する。

具体的には下記の（１）〜（９）の処理動作によって計算を行う。
（１）ｋ＝１、インデックス情報Ｌ＝φとする。
（２）ｋ＝ｊ＋１のとき終了する。
（３）情報量規準計算部３３は、クラスタ情報｛Ｎ_ｋ，Ｅ_ｋ，Ａ_ｋ，Ｂ_ｋ，Ｃ_ｋ｝に対して情報量規準Ｉ_ｋを計算する。
（４）｛Ｎ′_１，Ｅ′_ｋ，Ａ′_１，Ｂ′_１，Ｃ′_１｝＝｛Ｎ_ｋ，Ｅ_ｋ，Ａ_ｋ，Ｂ_ｋ，Ｃ_ｋ｝とする。
（５）クラスタ分割部３１は、クラスタ情報｛Ｎ′_１，Ｅ′_１，Ａ′_１，Ｂ′_１，Ｃ′_１｝、分割インデックス情報｛１｝としてクラスタを分割し、分割後のクラスタ情報｛Ｎ′_１，Ｅ′_ｋ，Ａ′_１，Ｂ′_１，Ｃ′_１｝，｛Ｎ′_２，Ｅ′_２，Ａ′_２，Ｂ′_２，Ｃ′_２｝を得る。
（６）クラスタ更新部３２は、分割後のクラスタ情報｛Ｎ′_１，Ｅ′_ｋ，Ａ′_１，Ｂ′_１，Ｃ′_１｝，｛Ｎ′_２，Ｅ′_２，Ａ′_２，Ｂ′_２，Ｃ′_２｝を更新し、更新後のクラスタ情報｛Ｎ′_１，Ｅ′_ｋ，Ａ′_１，Ｂ′_１，Ｃ′_１｝，｛Ｎ′_２，Ｅ′_２，Ａ′_２，Ｂ′_２，Ｃ′_２｝を得る。
（７）情報量規準計算部３４は、クラスタ情報｛Ｎ′_１，Ｅ′_ｋ，Ａ′_１，Ｂ′_１，Ｃ′_１｝，｛Ｎ′_２，Ｅ′_２，Ａ′_２，Ｂ′_２，Ｃ′_２｝に対して情報量規準ｌ′_ｋを計算する。
（８）インデックス生成部３５は、Ｉ_ｋ≧Ｉ′_ｋの場合、インデックス情報Ｌ←Ｌ∪｛ｋ｝とする。
（９）ｋ←ｋ＋１として（２）へ戻る。

情報量規準Ｉ_ｋ，Ｉ′_ｋは例えば下記のようにＡＩＣ・ＢＩＣを用いて求めることができる。
・ＡＩＣ Ｉ_ｋ＝−２ｌｎＬ（Ｅ_ｋ）＋ｑ
Ｉ′_ｋ＝−２ｌｎＬ（Ｅ′_１）Ｌ（Ｅ′_２）＋２ｑ
・ＢＩＣ Ｉ_ｋ＝−２ｌｎＬ（Ｅ_ｋ）＋ｑｌｎＮ_ｋ
Ｉ′_ｋ＝−２ｌｎＬ（Ｅ′_１）Ｌ（Ｅ′_２）＋２ｑｌｎＮ_ｋ
Ｌ（Ｅ_ｋ）はクラスタＥ_ｋの尤度、ｑはクラスタのパラメータ数、Ｎ_ｋはクラスタのサンプル数とする
Σ_ｋｙ，Σ_ｋｚはクラスタｉ∈Ｅ_ｋにおける、（Ｙ_ｉ−（Ａ_ｋＸ_ｉ＋Ｂ_ｋ）），（Ｚ_ｉ−Ｃ_ｋ）の分散共分散行列である。
分散共分散行列が対角行列のときｑ＝９（Ａ_ｋのパラメータ数１，Ｂ_ｋのパラメータ数１，Ｃ_ｋのパラメータ数３，Σ_ｋｙのパラメータ数１、Σ_ｋｚのパラメータ数３の合計）となる。

次に、領域計算部５の処理動作を説明する。領域計算部５は、クラスタ情報｛Ｎ_ｋ，Ｅ_ｋ，Ａ_ｋ，Ｂ_ｋ，Ｃ_ｋ｝（ｋ＝１，…，ｊ）を入力し、奥行情報Ａ_ｋ、色情報Ｃ_ｋ、領域情報Ｗ_ｋを出力する。図７は、領域計算部５が最終結果として出力するテーブルの構成を示す図である。奥行情報Ａ_ｋは、クラスタ情報のＡ_ｋでありこの傾きの大きさが少なければ少ないほど奥にあるオブジェクトであることを示す。また色情報Ｃ_ｋもクラスタ情報のＣ_ｋであり、それぞれの色の強度Ｒ_ｋ，Ｇ_ｋ，Ｂ_ｋを持つ。領域情報ｗ_ｋは、クラスタの大きさ（直線の太さ）でありそれぞれのクラスタ｛Ｎ_ｋ，Ｅ_ｋ，Ａ_ｋ，Ｂ_ｋ，Ｃ_ｋ｝で下記の（１）〜（３）の処理動作によって求めることができる。

（１）クラスタに属する全ての点ｉ∈Ｅ_ｋについて、セントロイドＡ_ｋ，Ｂ_ｋとの差Ｈ_ｉ，ｋを下記の式によって計算する。
Ｈ_ｉ，ｋ＝｜Ｙ_ｉ−（Ａ_ｋＸ_ｋ＋Ｂ_ｋ）｜
（２）全ての点ｉ∈Ｅ_ｋの中でＨ_ｉ，ｋの最大値ｍａｘ_ｉ｛Ｈ_ｉ，ｋ｝を求める。
（３）下記式により差の最大値ｍａｘ_ｉ｛Ｈ_ｉ，ｋ｝から領域ｗ_ｋを求める
この図７の結果から再現したＥＰＩ画像を図８に示す。元のＥＰＩ画像が求めた直線で再現できていることがわかる。

以上説明したように、分割領域形状と分割領域の奥行きの同時推定を行うために、まず多視点画像からＥＰＩ画像断面画像を抽出する。そして、すべてのＥＰＩ画像断面画像に対して同様の処理を行う。これを実現するために、本実施形態による奥行き推定装置は、ＥＰＩ画像断面画像を点情報へと変換する画像情報点変換部１と、クラスタリングの情報を逐次更新していくためのクラスタ更新部２と、クラスタを分割するか否かを判定する分割クラスタ判定部３と、クラスタを分割するクラスタ分割部４と、直線パラメータ及び直線を重心とするクラスタの大きさ等を計算する領域計算部５とを備えた。これにより、領域分割推定と奥行き推定において、ＥＰＩ画像断面画像に対して、直線クラスタリングという新しい枠組みで、光線の傾きと切片と幅を同時に推定することできる。また、光線の奥行きと領域の同時推定において、その終了判断条件を情報量規準とした。

この構成によって、視点画像間において整合性のとれた領域分割が可能になる。また、領域分割数が初期値に依存しない自由度の高い領域分割が可能になる。さらに、特定の画像にのみ依存しない奥行き推定が可能になる（領域形状と奥行きを同時に推定できる）。

前述した実施形態における奥行き推定装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

柔軟な形状変化や領域数の変化に対応できる領域分割ができるとともに、誤差の小さい奥行き推定を行うことが不可欠な用途に適用できる。

１・・・画像情報点変換部、２・・・クラスタ更新部、３・・・分割クラスタ判定部、４・・・クラスタ分割部、５・・・領域計算部

Claims (3)

1. 入力したＥＰＩ画像から色情報と座標情報とを組み合わせた点情報へ変換して出力する画像情報点変換手段と、
   前記点情報と直線クラスタのクラスタ情報とを入力し、前記クラスタ情報の更新を行い更新後の前記クラスタ情報を出力するクラスタ更新手段と、
   更新後の前記クラスタ情報を入力して、分割する前のクラスタの情報量規準Ｉ _ｋ と分割後のクラスタの情報量規準Ｉ’ _ｋ とを比較し、Ｉ _ｋ ＞Ｉ’ _ｋ のときにそのクラスタをさらに分割すると判定することにより、さらにクラスタ分割を行う必要があるか否かを判定する分割クラスタ判定手段と、
   前記分割クラスタ判定手段によって、前記クラスタ分割を行う必要があると判定された場合に、前記ＥＰＩ画像上において直線検出を行うための前記直線クラスタをさらに分割し、分割後の前記直線クラスタのクラスタ情報を前記クラスタ更新手段に対して出力するクラスタ分割手段と、
   前記分割クラスタ判定手段によって、前記クラスタ分割を行う必要がないと判定された場合に、前記直線クラスタに属する画素から直線の領域情報、奥行き情報または色情報とを算出して出力する領域計算手段と
   を備え、
   前記Ｉ _ｋ を、
   Ｉ _ｋ ＝−２ｌｎＬ（Ｅ _ｋ ）＋ｑ、
   前記Ｉ’ _ｋ を、
   Ｉ’ _ｋ ＝−２ｌｎＬ（Ｅ’ _１ ）Ｌ（Ｅ’ _２ ）＋２ｑ
   によって求める、
   または、
   前記Ｉ _ｋ を、
   Ｉ _ｋ ＝−２ｌｎＬ（Ｅ _ｋ ）＋ｑｌｎＮ _ｋ、
   前記Ｉ’ _ｋ を、
   Ｉ’ _ｋ ＝−２ｌｎＬ（Ｅ’ _１ ）Ｌ（Ｅ’ _２ ）＋２ｑｌｎＮ _ｋ
   によって求める（ただし、Ｌ（Ｅ _ｋ ）はクラスタＥ _ｋ の尤度、ｑはクラスタのパラメータ数、Ｎ _ｋ はクラスタのサンプル数である）
   ことを特徴とする画像処理装置。
2. 入力したＥＰＩ画像から色情報と座標情報とを組み合わせた点情報へ変換して出力する画像情報点変換ステップと、
   前記点情報と直線クラスタのクラスタ情報とを入力し、前記クラスタ情報の更新を行い更新後の前記クラスタ情報を出力するクラスタ更新ステップと、
   更新後の前記クラスタ情報を入力して、分割する前のクラスタの情報量規準Ｉ _ｋ と分割後のクラスタの情報量規準Ｉ' _ｋ とを比較し、Ｉ _ｋ ＞Ｉ' _ｋ のときにそのクラスタをさらに分割すると判定することにより、さらにクラスタ分割を行う必要があるか否かを判定する分割クラスタ判定ステップと、
   前記分割クラスタ判定ステップによって、前記クラスタ分割を行う必要があると判定された場合に、前記ＥＰＩ画像上において直線検出を行うための前記直線クラスタをさらに分割し、分割後の前記直線クラスタのクラスタ情報を前記クラスタ更新ステップに対して出力するクラスタ分割ステップと、
   前記分割クラスタ判定ステップによって、前記クラスタ分割を行う必要がないと判定された場合に、前記直線クラスタに属する画素から直線の領域情報、奥行き情報または色情報とを算出して出力する領域計算ステップと
   を有し、
   前記Ｉ _ｋ を、
   Ｉ _ｋ ＝−２ｌｎＬ（Ｅ _ｋ ）＋ｑ、
   前記Ｉ’ _ｋ を、
   Ｉ’ _ｋ ＝−２ｌｎＬ（Ｅ’ _１ ）Ｌ（Ｅ’ _２ ）＋２ｑ
   によって求める、
   または、
   前記Ｉ _ｋ を、
   Ｉ _ｋ ＝−２ｌｎＬ（Ｅ _ｋ ）＋ｑｌｎＮ _ｋ、
   前記Ｉ’ _ｋ を、
   Ｉ’ _ｋ ＝−２ｌｎＬ（Ｅ’ _１ ）Ｌ（Ｅ’ _２ ）＋２ｑｌｎＮ _ｋ
   によって求める（ただし、Ｌ（Ｅ _ｋ ）はクラスタＥ _ｋ の尤度、ｑはクラスタのパラメータ数、Ｎ _ｋ はクラスタのサンプル数である）
   ことを特徴とする画像処理方法。
3. コンピュータを、請求項１に記載の画像処理装置として機能させるための画像処理プログラム。