JP4082410B2

JP4082410B2 - 画像処理方法および画像処理装置

Info

Publication number: JP4082410B2
Application number: JP2004546445A
Authority: JP
Inventors: 謙一北浜; 宏樹岡村
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2002-10-22
Filing date: 2003-10-22
Publication date: 2008-04-30
Anticipated expiration: 2023-10-22
Also published as: WO2004038660A1; JPWO2004038660A1; AU2003275587A1

Description

本発明はステレオマッチングによって物体を３次元立体物として復元する画像処理方法および画像処理装置に関する。

近年、画像処理技術の発達に伴い、異なる方向から対象物を撮影した複数の画像に基づいて、対象物の立体モデルを画像処理によって得る方法がある。このような画像処理方法としては、たとえば特開２０００−９９７６０号公報（３ページ、図２）に開示された３次元モデル生成方法がある。この３次元モデル生成方法では、複数の異なる方向から物体を観測してステレオ画像を取得し、このステレオ画像に基づいて物体の３次元輪郭線を生成すると共に、３次元領域（テクスチャ領域やシェーディング領域）を生成する。３次元輪郭線情報、及び、３次元領域情報に基づいて、既存の３次元モデルと適合するものがある場合はこれらの情報を更新し、適合するものがない場合はこれらの情報を新たな３次元モデルとして登録する。また、物体の３次元モデル全体が完成していない場合は、観測方向を移動して全体のモデルを生成する。

３次元モデル生成方法では、３次元輪郭線を復元する際に輪郭線の連続性を担保する必要がある。このため、従来のモデル生成方法では、物体にネット状のマッチング領域を設定し、遺伝的アルゴリズムを使って上述したネット状のマッチング領域を物体表面にフィットさせることで輪郭線の連続性を求めている。

上述した手法によって輪郭線の連続性を求めた場合、単にネット状のマッチング領域をフィットさせているのみであるので、曲面等を滑らかに復元することが困難であるという問題があった。また、理論上、視差が小さい場合にのみ用いることができるものであるので、たとえばロボットの目のような、近い距離を撮影するステレオカメラでは、この手法を用いることができないという問題もあった。さらには、繰り返しの計算が多く必要となるので、処理が遅いという問題があった。

本発明の課題は、対象物の復元を行う際に、曲面等を滑らかに復元することができる画像処理方法および装置を提供することにある。さらには、近い距離を撮影するステレオカメラに対しても用いることができ、また演算処理量が少なく、処理時間が短くて済む画像処理方法および装置を提供することにある。

上記課題を解決した本発明に係る画像処理方法は、基準画像撮影手段および参照画像撮影手段で同一の対象物を撮影し、基準画像撮影手段で撮影された基準画像および参照画像撮影手段で撮影された参照画像を用いたステレオマッチングによって、対象物の形状を復元するものである。そして、本発明の画像処理方法は、基準画像および参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定し、参照画像における複数のウィンドウを変形させることにより、参照画像における隣接するウィンドウ同士間の離間又は重なり合いを解消させて、基準画像のウィンドウと参照画像のウィンドウとのステレオマッチングを行って対象物の形状を復元する。

基準画像および参照画像のそれぞれに所定の相関関係に基づいて複数のウィンドウを設定する。この複数のウィンドウは、基準画像では整列した状態で形成することができるが、整列したウィンドウに対応付けされた参照画像では、通常、乱雑な状態で設定される。そこで、本発明においては、参照画像における複数のウィンドウを変形させ、隣接するウィンドウ同士間の離間又は重なり合いを解消する。このため、対象物の復元を行う際に、曲面等を滑らかに復元することができる。また、視差が小さい場合に限定されるという不都合はないので、近い距離を撮影するステレオカメラであっても、ステレオマッチングを行うことができる。

ここで、隣接するウィンドウを変形させるにあたり、隣接するウィンドウの対向する角部同士の間に向けて、各ウィンドウの角部を移動させることが好ましい。

このように、ウィンドウ変形時に、隣接するウィンドウの対向する角部同士を、それらの中間部分に向けて移動させてウィンドウを拡張又は収縮させることによって、少ない演算量でウィンドウの拡張又は収縮を好適に行うことができる。この結果、画像処理時間を短縮することができる。

あるいは、基準画面上のウィンドウの重心（又は中心）を結んだ線によって新たなウィンドウ群を形成させると共に、前記参照画像上のウィンドウの重心（又は中心）を結ぶ線によって、前記基準画像上の新たなウィンドウ群に対応する変形後のウィンドウ群を形成させても良い。

このように、隣接するウィンドウの重心（又は中心）を結ぶ線を結んだ線によって基準画面のウィンドウとこれらに対応する参照画面のウィンドウを新たに形成させると共に、参照画像のウィンドウを離間重なり合いのない変形した状態とすることによって、さらに少ない演算量でウィンドウの伸縮を行うことができ、処理時間を短縮することができる。

あるいは、隣接するウィンドウを変形させるにあたり、隣接するウィンドウの各角部を含む境界領域内で、隣接する前記ウィンドウの統一接合点をその隣接するウインドウ同士の相関関係に基づいて求め、この統一接合点を基準としてウィンドウの角部を移動させてウィンドウを拡張又は収縮させても良い。このようにすることで、隣接するウィンドウの接合点をより正確に求めることができる。

また、基準画像上に設定された各ウィンドウと、この基準画面上の各ウィンドウに対応する参照画像上の各ウィンドウとを、それぞれを同じ数に分割してそれぞれ分割ウィンドウを形成させ、基準画像上の分割ウィンドウと参照画像上の分割ウィンドウとを所定の相関関係に基づいて対応付けし、参照画像上の分割ウィンドウを変形させることにより、参照画像上の分割ウィンドウ同士間の離間又は重なり合いを解消させても良い。

このように、基準画像上のウィンドウと参照画像上のウィンドウとを分割して分割ウィンドウを形成し、これらを対応付けすることによって、ウィンドウを微細化することができる。その結果、より正確に対象物の形状を復元することができる。

また、本発明の画像処理装置は、基準画像撮影手段および参照画像撮影手段でそれぞれ撮影された同一対象物の基準画像および参照画像に対して、それぞれ複数のウィンドウを設定するウィンドウ設定手段と、基準画像上のウィンドウの並び順及び参照画像上のウィンドウの並び順の関係に基づいて基準画像に対する参照画像の対応付けを行い、参照画像上の各ウィンドウを変形させることによって参照画像上の隣接するウィンドウ同士間の離間又は重なり合いを解消させた後に、基準画像のウィンドウと参照画像のウィンドウとのステレオマッチングを行って対象物の形状を復元するステレオマッチング手段とを備えるものである。

ここで、ステレオマッチング手段が、前記参照画像上の隣接する前記ウィンドウの対向する角部同士の間に向けて、該ウィンドウの角部を移動させる処理を行うようにしても良い。

また、ウィンドウ変形手段が、隣接するウィンドウのそれぞれの重心を結ぶ線を基準として、ウィンドウを変形させる処理を行う態様とすることもできる。

あるいは、ステレオマッチング手段が、基準画面上のウィンドウの重心（又は中心）を結んだ線によって新たなウィンドウ群を形成させると共に、参照画像上のウィンドウの重心を結ぶ線によって、基準画像上の新たなウィンドウ群に対応する変形後のウィンドウ群を形成させる処理を行うようにしても良い。

また、基準画像上に設定された各ウィンドウと、準画面上の各ウィンドウに対応する前記参照画像上の各ウィンドウとを、それぞれを同じ数に分割してそれぞれ分割ウィンドウを形成させるウィンドウ分割手段をさらに備えていても良い。このとき、ウィンドウマッチング手段は、ウィンドウ分割手段によって分割された基準画像における分割ウィンドウと参照画像における分割ウィンドウとを所定の相関関係に基づいて対応付けし、参照画像における分割ウィンドウを変形させることによって参照画像における分割ウィンドウ同士間の離間又は重なり合いを解消させる。

図１は、本発明に係る画像処理装置のブロック構成図である。
図２は、画像処理装置による画像処理の行程を示すフローチャートである。
図３は、本実施形態に係る画像処理行程におけるウィンドウの変形を行う行程の詳細を示すフローチャートである。
図４Ａは、対象物を撮影した基準画像を示す図である。
図４Ｂは、対象物を撮影した参照画像を示す図である。
図５Ａは、ウィンドウを変形させる手順を説明するための参照図面の説明図である。
図５Ｂは、図５Ａに続く参照画面の説明図である。
図５Ｃは、図５Ｂに続く参照画面の説明図である。
図６Ａは、ウィンドウを変形させる行程を説明するための参照画像を示す図であり、ウィンドウの変形途中時を示す図である。
図６Ｂは、ウィンドウを変形させる行程を説明するための参照画像を示す図であり、ウィンドウの変形終了時を示す図である。
図７は、変形したウィンドウを再分割する行程を示すフローチャートである。
図８Ａは、ウィンドウを分割する行程を説明するための図であり、基準画像を示す図である。
図８Ｂは、ウィンドウを分割する行程を説明するための図であり、参照画像を示す図である。
図９Ａは、ウィンドウ分割変形時の画面を示す図であり、分割前の基準画像を示す図である。
図９Ｂは、ウィンドウ分割変形時の画面を示す図であり、分割前の参照画像を示す図である。
図９Ｃは、ウィンドウ分割変形時の画面を示す図であり、分割後の基準画像を示す図である。
図９Ｄは、ウィンドウ分割変形時の画面を示す図であり、分割後の参照画像を示す図である。
図９Ｅは、ウィンドウ分割変形時の画面を示す図であり、分割後にさらに変形させた後の基準画像を示す図である。
図９Ｆは、ウィンドウ分割変形時の画面を示す図であり、分割後にさらに変形させた参照画像を示す図である。
図１０Ａは、分割したウィンドウを変形させる行程を説明する図であり、基準画像を示す図である。
図１０Ｂは、分割したウィンドウを変形させる行程を説明する図であり、変形前の参照画像を示す図である。
図１０Ｃは、分割したウィンドウを変形させる行程を説明する図であり、変形後の参照画像を示す図である。
図１１Ａは、第２の実施形態におけるウィンドウを変形させる行程を説明する図であり、基準画像を示す図である。
図１１Ｂは、第２の実施形態におけるウィンドウを変形させる行程を説明する図であり、分割前の参照画像を示す図である。
図１１Ｃは、第２の実施形態におけるウィンドウを変形させる行程を説明する図であり、分割後の参照画像を示す図である。
図１１Ｄは、第２の実施形態におけるウィンドウを変形させる行程を説明する図であり、参照画像において対応する画像を探索する範囲を示す図である。
図１２Ａは、ウィンドウを変形した状態を示す図であり、基準画像を示す図である。
図１２Ｂは、ウィンドウを変形した状態を示す図であり、参照画像を示す図である。
図１３Ａは、分割したウィンドウを変形させる行程を説明するための図であり、基準画像を示す図である。
図１３Ｂは、分割したウィンドウを変形させる行程を説明するための図であり、分割前の参照画像を示す図である。
図１３Ｃは、分割したウィンドウを変形させる行程を説明するための図であり、分割後の参照画像を示す図である。
図１４は、ウィンドウを変形する際に用いる小ウィンドウの探索範囲を説明するための説明図である。
図１５Ａは、ウィンドウを変形した状態を示す図であり、基準画像を示す図である。
図１５Ｂは、ウィンドウを変形した状態を示す図であり、参照画像を示す図である。
図１６Ａは、第３の実施形態におけるウィンドウを変形させる行程を説明する図であり、基準画像を示す図である。
図１６Ｂは、第３の実施形態におけるウィンドウを変形させる行程を説明する図であり、変形前の参照画像を示す図である。
図１６Ｃは、第３の実施形態におけるウィンドウを変形させる行程を説明する図であり、変形後の参照画像を示す図である。
図１７Ａは、第３の実施形態におけるウィンドウの分割を説明する図であり、基準画像の図である。
図１７Ｂは、第３の実施形態におけるウィンドウの分割を説明する図であり、参照画像の図である。
図１８Ａは、分割したウィンドウの接合点を探索する範囲を説明する図であり、探索範囲を説明する図である。
図１８Ｂは、分割したウィンドウの接合点を探索する範囲を説明する図であり、接合点となる点を説明する図である。

以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の第１の実施形態に係る画像処理装置のブロック構成図である。図１に示すように、本実施形態に係る画像処理装置１には、基準画像カメラ２と、参照画像カメラ３と、モニタ４とが接続されている。また、画像処理装置１は、前処理部１１と、ウィンドウ生成部１２と、ステレオマッチング部１３とを備えている。ウィンドウ生成部１２には、本発明のウィンドウ変形手段である図示しないウィンドウ変形部が設けられている。画像処理装置１、カメラ２，３、および、モニタ４は、たとえば図示しない車両に取り付けられている。具体的には、たとえば画像処理装置１は車室内の適宜の位置に設置されている。また、基準画像カメラ２および参照画像カメラ３は、たとえば車両の側面における互いに近傍位置に設けられている。さらに、モニタ４は、たとえば車室内におけるドライバの視界が届く位置、たとえばインストルメントパネルに取り付けられている。

基準画像カメラ２と参照画像カメラ３は、いずれもＣＣＤカメラからなり、同一対象物をアナログ画像として撮影している。基準画像カメラ２および参照画像カメラ３で撮影されたアナログ画像は、画像処理装置１における前処理部１１に出力される。画像処理装置１に出力されたアナログ画像は、画像処理装置１で所定の画像処理が施された後、デジタル画像からなる投影像（３次元物体を二次元平面上に表示した像）としてモニタ４に出力される。画像処理装置１における画像処理手順については後述する。モニタ４は、ステレオマッチングされて画像処理装置１から出力された投影像を画面に表示する。

次に、画像処理装置１による画像処理の手順について説明する。図２は、画像処理装置による画像処理の行程を示すフローチャートである。ここでは、画像処理の全体的な流れについて説明する。

画像処理装置１における画像処理を行うために、基準画像カメラ２および参照画像カメラ３で同一対象物を撮影する。基準画像カメラ２で対象物が撮影された基準画像は、画像処理装置１における前処理部１１に出力される。同様に、参照画像カメラ３で対象物が撮影された参照画像は、画像処理装置１における前処理部１１に出力される。こうして、画像処理装置１による画像処理が開始される。

画像処理が開始されると、前処理部１１において、前処理として、基準画像および参照画像に対してカメラキャリブレーションを行い（Ｓ１）、続いて基準画像および参照画像の平行化を行う（Ｓ２）。これらの前処理が施された画像は、前処理部１１からウィンドウ生成部１２に出力される。

ウィンドウ生成部１２では、基準画像および参照画像のそれぞれを複数の領城に分割する領域分割を行う（Ｓ３）。続いて、基準画像および参照画像において分割された各領域をウィンドウとして設定する（Ｓ４）。基準画像および参照画像でウィンドウが設定されたら、各画像がステレオマッチング部１３に出力され、基準画像におけるウィンドウおよび参照画像におけるウィンドウの間で、相関演算を行って対応付け（ウィンドウマッチング）が行われる（Ｓ５）。この相関演算では、各ウィンドウにおける色、輝度、明度等の相関があるしきい値を超えたときに対応付けされるなどとして、対応付けの判断を行っている。

続いて、参照画像におけるウィンドウの並び順の修正を行う（Ｓ６）。並び順の修正は、参照画像における複数のウィンドウのうち、対応付けを行った結果、基準画像における複数のウィンドウとの並び順が異なる誤対応ウィンドウを検出し、誤対応ウィンドウの並び順の修正を行う。この修正を行った後、いまだ誤対応が修正されていないウィンドウを再探索するなどして、参照画像におけるウィンドウの並び順の修正を完了させる（Ｓ６）。こうして、ウィンドウの並び順の修正が済んだら、参照画像におけるウィンドウ間の隙間を埋めるためのウィンドウの変形を行う（Ｓ７）。このウィンドウの変形の詳細については後述する。

ウィンドウの変形が完了した時点で、全ウィンドウ内が一つの平面となっているか否かを判断する（Ｓ８）。その結果、全ウィンドウ内が一つの平面となっていない場合には、同一の平面から外れたウィンドウ（該当ウィンドウ）を再分割する（Ｓ９）。この再分割についての詳細は後述する。該当ウィンドウの再分割が済んだら、再び相関演算を行う（Ｓ１０）。それから、ステップＳ７に戻って、ウィンドウの変形を行い、再び全ウィンドウ内が一つの平面か否かを判断する（Ｓ８）。この行程を繰り返した後、ステップＳ８が肯定されたら、各ウィンドウの４隅の３次元座標が計算される（Ｓ１１）。

ステレオマッチング部１３では、各ウィンドウの４隅の３次元座標に基づいて、立体プリミティブのあてはめ（立体を球、直方体、円錐などのプリミティブと呼ばれる基本立体の組み合わせで表現すること）が行われる（Ｓ１２）。そして、投影像を生成して（Ｓ１３）、画像処理が終了する。こうして生成された投影像は、モニタ４に出力され、表示される。

上記の画像処理行程において、本実施形態では、参照画像におけるウィンドウ変形（Ｓ７）に特徴がある。以下に、この特徴的な行程についてさらに説明する。

図３は、本実施形態に係る画像処理行程におけるウィンドウの変形を行う行程の詳細を示すフローチャートである。

図３に示すように、ウィンドウの変形を行う処理がスタートすると、まず、基準画像に設定された複数のウィンドウに対応するウィンドウを参照画像に表示する（Ｓ２１）。基準画像には、図４Ａに示されるように、自動車の画像Ｖ１を囲む複数のウィンドウＷ１，Ｗ１…が表示されている。参照画像には、図４Ｂに示されるように、自動車の画像Ｖ２を囲む複数のウィンドウＷ２，Ｗ２…が表示されている。基準画像上に表示されたウィンドウＷ１は、四角形（正方形）で、いずれも同一形状をなしている。また、参照画像上に表示されたウィンドウＷ２は、変形前のものであり、いずれも基準画像に表示されたウィンドウＷ１と同一形状の四角形（正方形）である。図４Ｂに示される参照画像上の複数のウィンドウＷ２，Ｗ２…は、ステップＳ６で並び順の修正が行われており、図４Ａに示される基準画像上の複数のウィンドウＷ１，Ｗ１…に対応した順番に並んでいる。

このようにして参照画像上に表示されたウィンドウＷ２，Ｗ２…は、隣接するウィンドウＷ２，Ｗ２同士で離間したり、あるいは重なり合ったりしている。このままでは、画像Ｖ２を３次元物体として復元することが困難であるので、これらの離間や重なり合いを排除すべく、参照画像に表示されたウィンドウＷ２，Ｗ２…を適宜伸縮（変形）させる（Ｓ２２）。

ここで、ウィンドウを伸縮させる手順について説明すると、参照画像において、たとえば図５Ａに示すウィンドウＷＡ，ＷＢ，ＷＣがあるとする。ここでは、ウィンドウＷＡ，ＷＢは重なっており、ＷＢ，ＷＣは離間しているので、ウィンドウＷＡ，ＷＢが重ならないように両ウィンドウＷＡ，ＷＢを収縮させ、ウィンドウＷＢ，ＷＣ間に離間した部分がなくなるように両ウィンドウＷＢ，ＷＣを伸長させる。ウィンドウＷＡ，ＷＢについては、両ウィンドウＷＡ，ＷＢの重なり合っている部分の中点Ｃ１，Ｃ２に向けて、ウィンドウＷＡ，ＷＢをそれぞれ収縮させる。こうして、中点Ｃ１，Ｃ２でそれぞれウィンドウＷＡ，ＷＢの端部を接合させてウィンドウＷＡ，ＷＢを連続させる。一方、ウィンドウＷＢ，ＷＣについては、両ウィンドウＷＢ，ＷＣ間の離間部分の中点Ｃ３，Ｃ４に向けて、両ウィンドウＷＢ，ＷＣを伸長させる。こうして、中点Ｃ３，Ｃ４でそれぞれウィンドウＷＢ，ＷＣの端部を接合させてウィンドウＷＢ，ＷＣを連続させる。

この要領で図４Ｂに示す参照画像のウィンドウＷ２，Ｗ２…を伸縮させた状態を図６Ａに示す。図６Ａに示すように、各ウィンドウＷ２，Ｗ２…を伸縮させることにより、各ウィンドウＷ２，Ｗ２…の端部を接合させて、ウィンドウＷ２，Ｗ２…を連続させる。こうして、各ウィンドウＷ２，Ｗ２…間の隙間を埋めることができる。

ところで、参照画像の各ウィンドウＷ２，Ｗ２…を伸縮させることにより、ウィンドウＷ２，Ｗ２間の隙間を埋めることはできるものの、列方向（図６Ｂ高さ方向）に隣接するウィンドウＷ２，Ｗ２の端部（角部）が連続しておらず、階段状となっているので、図４Ａに示される基準画像のウィンドウＷ１，Ｗ１…との対応関係にズレが生じてしまうおそれが高い。そこで、列方向において生じているウィンドウ端部の位置ズレの調整を行う（Ｓ２３）。

この端部の位置ズレの調整を行う手順について、図５Ｂ及び図５Ｃを用いて説明する。第１行のウィンドウＷＡ１，ＷＢ１は、点Ｆ１，Ｆ２を結ぶ直線部で接続されている。また、第２行のウィンドウＷＡ２，ＷＢ２は、点Ｆ３，Ｆ４を結ぶ直線部で接続されており、第３行のウィンドウＷＡ３，ＷＢ３は点Ｆ５，Ｆ６を結ぶ直線部で接続されている。ここで、点Ｆ２，Ｆ３は、行方向では同じ高さ位置にあるが、列方向ではズレを生じて異なる位置にある。同様に、点Ｆ４，Ｆ５は、行方向では同じ高さ位置にあるが、列方向ではズレを生じて異なる位置にある。このズレを是正するため、点Ｆ２，Ｆ３の中点Ｅ１に向けて点Ｆ２，Ｆ３を移動させてウィンドウＷＡ１，ＷＢ１，ＷＡ２，ＷＢ２を変形させる。同様に、点Ｆ４，Ｆ５の中点Ｅ２に向けて点Ｆ４，Ｆ５を移動させて、ウィンドウＷＡ２、ＷＢ２，ＷＡ３，ＷＢ３を変形させる。変形後の状態が図５Ｃである。

このように変形させられたウィンドウＷＡ１〜ＷＡ３、ＷＢ１〜ＷＢ３は、いずれも台形状となる。そして、四つのウィンドウの中央に位置する隅部は一点で重なりあう。この要領で、図６Ａに示すウィンドウＷ２，Ｗ２…を変形すると、図６Ｂに示すようになり、四つのウィンドウの端部が一点で重なりあう点で、図４Ａに示す基準画像におけるウィンドウＷ１，Ｗ１…と一致する。したがって、基準画像における各ウィンドウＷ１，Ｗ１…と参照画像における各ウィンドウＷ２，Ｗ２…のそれぞれの対応関係を明確にすることができる。このようにしてウィンドウの変形が終了する。

このようにウィンドウの変形を行うことにより、ウィンドウ間の隙間を埋めることができるので、対象物の画像を滑らかに復元することができる。また、このときの演算処理量は少なくて済むので、その分処理時間の短縮を図ることができる。

続いて、図２に示すステップＳ９におけるウィンドウの再分割の手順について、図７を参照して説明する。ステップＳ８ですべてのウィンドウ内が一つの平面ではないと判断されたとき、一つの平面となっていないウィンドウの再分割が行われる。再分割を行う際には、図８Ａに示すように、基準画像における各ウィンドウを四分割する（Ｓ３１）。基準画像の各ウィンドウを四分割する際には、ウィンドウの各辺の中点と、その辺に対向する辺の中点を結ぶ２本の直線によって２×２のグリッド状に分割する。

基準画像におけるウィンドウの分割が済んだら、参照画像のウィンドウも四分割し、基準画像の分割ウィンドウに対応させて探索する範囲を設定する（Ｓ３２）。ここでは、基準画像の正方形の分割ウィンドウと同一の形状の分割ウィンドウが参照画像上に生成される。この点について、図８Ａ及び図８Ｂを参照して説明する。

図８Ａに示されるように基準画像上で四分割されたウィンドウに対応させて、図８Ｂに示されるように参照画像上のウィンドウも四分割する。参照画像のウィンドウの分割をする際には、まず参照画像のウィンドウに、基準画像の分割ウィンドウと同一の大きさの分割ウィンドウを設定する。参照画像上の各ウィンドウに対して四つの分割ウィンドウを設定するに際の分割ウィンドウの表示位置について説明する。参照画像には図８Ｂに示されるように台形のウィンドウが表示されている。

この参照画像上の分割前ウィンドウに関して、図８Ｂに示されるように長さＬ_ＡＢ，Ｌ_ＣＤを規定する。Ｌ_ＡＢ，Ｌ_ＣＤは、分割前ウィンドウを上下に等分し、上側及び下側の各四角形内に面積が最大となる長方形を形成させた際の各長方形の横辺の長さである。図８Ｂの場合は、上側の長方形によって長さＬ_ＡＢが、下側の長方形によって長さＬ_ＣＤが規定されている。また、図８Ａに示されるように、基準画像の分割ウィンドウのＸ方向に沿った長さをｘ０、Ｙ方向に沿った長さをｙ０とする。この条件で、四つの分割ウィンドウにおけるそれぞれの重心（中心）がとり得る範囲をそれぞれＸ_Ａ，Ｘ_Ｂ，Ｘ_Ｃ，Ｘ_Ｄとして以下の（１）式〜（４）に基づいて設定する。

Ｘ_Ａ＝Ｌ_ＡＢ／２−１・・・（１）
Ｘ_Ｂ＝Ｘ_Ａ・・・（２）
Ｘ_Ｃ＝Ｌ_ＣＤ／２−１・・・（３）
Ｘ_Ｄ＝Ｘ_Ｃ・・・（４）

こうして設定された範囲の中で、それぞれ色、輝度、明度などの所定の相関関係に基づいて、基準画像における分割ウィンドウともっとも相関関係の高いウィンドウがそれぞれ設定（配置）される（Ｓ３３）。参照画像の各ウィンドウに対して四つの分割ウィンドウが設定されたら、これらの分割ウィンドウが分割前のウィンドウ内に収まるように各分割ウィンドウを変形させる（Ｓ３４）。分割ウィンドウの変形の手順は、上記のステップＳ７における手順と同様のものである。たとえば、図８Ｂでは、分割ウィンドウＤ１，Ｄ２は互いに離間している。このため、両分割ウィンドウＤ１，Ｄ２の中点に向けて、両分割ウィンドウＤ１，Ｄ２を拡張させ、両分割ウィンドウＤ１，Ｄ２の間の隙間を埋める。また、分割ウィンドウＤ３，Ｄ４は互いに重なり合っている。このため両分割ウィンドウＤ３，Ｄ４の中点に向けて、両分割ウィンドウＤ３，Ｄ４を収縮させて、両分割ウィンドウＤ３，Ｄ４の重畳部分をなくすようにする。また、分割ウィンドウＤ１〜Ｄ４の周囲を、分割前のウィンドウＷの形状に合わせて拡張・収縮させる。

このようにして各ウィンドウの変形が済んだところで、ウィンドウが所望の大きさになったか否かを判断する（Ｓ３５）。その結果、所望の大きさになっていない場合には、ステップＳ３１に戻って、再び同様の処理を施してウィンドウの分割を行う。一方。所望の大きさになっていると判断した場合には、処理を終了する。

図９にこのウィンドウの分割の処理が進行した状態を示す。図９Ａ（基準画像）及び図９Ｂ（参照画像）では、ウィンドウの分割が行われていない状態であり、車両の画像Ｖ１，Ｖ２を区画するウィンドウＷ１，Ｗ１…、Ｗ２，Ｗ２…の一つ一つがカバーする範囲が広くなってしまうものである。次に、１回の分割を行うことにより、図９Ｃ（基準画像）及び図９Ｄ（参照画像）に示すように、各ウィンドウＷ１，Ｗ１…、Ｗ２，Ｗ２…の領域を狭くすることができるので、その分ステレオマッチングを行う際に精度を向上させることができる。さらに図９Ｅ（基準画像）及び図９Ｆ（参照画像）に示すように、もう１回ウィンドウの分割して分割ウィンドウを形成することにより、各ウィンドウ（分割ウィンドウ）の領域を範囲をさらに狭くすることができるので、ステレオマッチングの精度をさらに向上させることができる。

次に、本発明の第２の実施形態について説明する。

本実施形態の画像処理装置としては、上記第１の実施形態における図１に示したものと同一の画像処理装置を利用することができる。また、画像処理の手順については、図２に示す画像処理の行程を経るものである。このうち、主に図２に示すステップＳ７におけるウィンドウの変形およびステップＳ９におけるウィンドウの分割を行う処理が異なるものである。以下、この相違点を中心に、本実施形態について説明する。

図１０Ａ〜図１０Ｃは、本実施形態に係る変形前の画像と変形後の画像との関係を示す説明図である。図１０Ａには基準画像、図１０Ｂにはウィンドウ変形前の参照画像、図１０Ｃにはウィンドウ変形後の参照画像が示されている。本実施形態においては、ウィンドウを拡張／収縮させて変形するに際して、複数のウィンドウの重心を結ぶ点を基準として変形を行う。

図１０Ａに示す基準画像には、９つの正方形のウィンドウＷ１，Ｗ１…がそれぞれ表示されており、各ウィンドウＷ１，Ｗ１…の重心Ｇ１〜Ｇ９をそれぞれ結ぶことによって四つの正方形のウィンドウ（変形ウィンドウと呼ぶ）が形成されている。具体的には、４つの重心Ｇ１，Ｇ２，Ｇ５，Ｇ４を結ぶことにより一つの正方形の変形ウィンドウが形成される。同様に、重心Ｇ２，Ｇ３，Ｇ６，Ｇ５で一つの正方形、重心Ｇ４，Ｇ５，Ｇ８，Ｇ７で一つの正方形、重心Ｇ５，Ｇ６，Ｇ９，Ｇ８で一つの正方形の変形ウィンドウがそれぞれ形成される。

一方、図１０Ｂに示すように、変形前の参照画像では、所定の相関関係に基づいて、基準画像におけるウィンドウＷ１，Ｗ１…と関連付けされたウィンドウＷ２，Ｗ２が表示されている。これらのウィンドウＷ２，Ｗ２…は、図１０Ａに示すウィンドウＷ１，Ｗ１…にその並び順は対応しているが、互いに重なり合ったり、離間したりしている。このような重なり合いや離間した状態を解消するべく、ウィンドウの変形を行う。本実施形態では、図１０Ｃに示されるように、変形前の各ウィンドウの重心Ｇ１１〜Ｇ１９を結んで、四つの台形状の変形ウィンドウを形成する。

具体的には、参照画像における４つの重心Ｇ１１，Ｇ１２，Ｇ１５，Ｇ１４で囲まれる変形ウィンドウが、基準画像における４つの重心Ｇ１，Ｇ２，Ｇ５，Ｇ４で囲まれる変形ウィンドウに対応する。同様に、参照画像における重心Ｇ１２，Ｇ１３，Ｇ１６，１５で囲まれる変形ウィンドウが基準画像における重心Ｇ２，Ｇ３，Ｇ６，Ｇ５に囲まれる変形ウィンドウに対応する。参照画像における重心Ｇ１４，Ｇ１５，Ｇ１８，Ｇ１７で囲まれる変形ウィンドウが基準画像における重心Ｇ４，Ｇ５，Ｇ８，Ｇ７に囲まれる変形ウィンドウに対応する。そして、参照画像における重心Ｇ１５，Ｇ１６，Ｇ１９，Ｇ１８で囲まれる変形ウィンドウが基準画像における重心Ｇ５，Ｇ６，Ｇ８，Ｇ９に囲まれる変形ウィンドウに対応する。

ウィンドウマッチングには、基準画面上のＧ１〜Ｇ９で形成される変形ウィンドウと、参照画面上のＧ１１〜Ｇ１９で形成される変形ウインドウが用いられる。このように、参照画像におけるウィンドウを変形させることにより、参照画像におけるウィンドウの間に隙間がないようにすることができるので、基準画像と参照画像とのウィンドウに対応関係を明確にすることができる。その結果、対象物をより正確に復元することができる。また、本実施形態に係るウィンドウの変形方法では、参照画像における変形前の各ウィンドウの重心を適宜つないでウィンドウを形成することによって行われるのみである。このため、演算処理量を少ないものとすることができ、その結果として、ウィンドウの変形などを短時間で行うことができる。

次に、本実施形態における図２に示すステップＳ９におけるウィンドウの再分割の手順について、図１１Ａ〜図１１Ｄを参照して説明する。

本実施形態のウィンドウ分割は、図１１Ａに示すように、基準画像における変形ウィンドウＷ１，Ｗ１…を、それぞれ２×２のグリッド状に四分割して、分割ウィンドウＤ５，Ｄ５…を形成しておく。また、基準画像におけるウィンドウＷ１，Ｗ１…に対して、図中縦方向に並ぶ小ウィンドウＳ１，Ｓ１…も設定する。一方、図１１Ｂに示すように、参照画像における変形ウィンドウＷ３，Ｗ３…に対しては、基準画像上の対応する行の小ウィンドウＳ１，Ｓ１…と高さ位置を合わせて、相関関係に基づいてそれぞれ小ウィンドウＳ２，Ｓ２…が設定される。これらの小ウィンドウＳ２、Ｓ２…は、基準画像における各小ウィンドウＳ１，Ｓ１…に対する色、輝度、明度などの所定の相関関係に基づく対応付けによって設定されている。このとき、参照画像の小ウィンドウＳ２，Ｓ２…に関して、基準画像の小ウィンドウＳ１，Ｓ１…に対する相関関係が高い位置を探索する探索範囲は、図１１Ｄに示すように、隣接する小ウィンドウの並び順が逆転しない範囲に抑えられている。

こうして参照画像における小ウィンドウＳ２，Ｓ２…を設定したら、各小ウィンドウＳ２，Ｓ２…の重心を結んでいく。その後、各重心を線で結ぶと、変形ウィンドウＷ３、Ｗ３…が各重心を結ぶ線で分割された状態となる。そして、図１２Ａ（基準画像）及び図１２Ｂ（参照画像）に示すように、これら変形ウィンドウＷ３，Ｗ３…が分割されて形成された分割ウィンドウＤ６１〜Ｄ６４は、基準画像の分割ウィンドウＤ５１〜Ｄ５４に対応するものとなる。このようにして、分割ウィンドウを形成することで、各ウィンドウ（分割ウィンドウＤ５，Ｄ６：図１１Ａ及び図１１Ｃ参照）の領域を狭くすることができるので、その分ステレオマッチングを行う際に精度を向上させることができる。

また、本実施形態における変形ウィンドウの分割は、以下に説明する図１３Ａ〜図１３Ｃに示す手順で行うこともできる。この分割手順では、図１３Ａに示すように、基準画像におけるウィンドウＷ１，Ｗ１…の領域の輪郭線をまたぐようにして小ウィンドウＳ３，Ｓ３…を設定する。一方、図１３Ｂに示すように、参照画像においては、図１３Ａに示す基準画像の小ウィンドウＳ３，Ｓ３…との色、輝度、明度などの所定の相関関係に基づく対応付けを所定の範囲内で行い、それぞれに対応する小ウィンドウＳ４，Ｓ４…を設定する。

参照画像上に小ウィンドウＳ４，Ｓ４…を設定する際には、図１４に示されるように、隣接する小ウィンドウの並び順が逆転しないように、しかも可能な限り探索範囲を広げるように、探索範囲をオーバーラップさせた状態で各小ウィンドウの探索範囲が設定される。この探索範囲についてさらに説明すると、４つの変形ウィンドウＷ３，Ｗ３…のうち、右上に位置する変形ウィンドウＷ３の上部の頂点Ｐ１，Ｐ２に着目すると、１行目のウィンドウのうち、もっとも右側に位置する小ウィンドウの探索範囲Ｘ１１は、右側の頂点Ｐ２を中心とした所定の範囲内に設定される。

続いて、右から２番目の小ウィンドウの探索範囲Ｘ１２は、頂点Ｐ１，Ｐ２の中点を中心とした所定の範囲に設定される。このとき、もっとも右側の小ウィンドウの探索範囲Ｘ１１と、右から２番目の小ウィンドウの探索範囲Ｘ１２は、わずかに重なるように設定されている。さらに、右から３番目の小ウィンドウの探索範囲Ｘ１３は、左側の頂点Ｐ１を中心とする所定範囲に設定される。このとき、右から２番目の小ウィンドウの探索範囲Ｘ１２と、右から３番目に小ウィンドウの探索範囲Ｘ１３は、わずかに重なるように設定される。このように各小ウィンドウの探索範囲Ｘ１１〜Ｘ１３を設定することにより、小ウィンドウの並び順が変わらない状態で、広い範囲で小ウィンドウの探索を行うことができる。なお、他の行における小ウィンドウの探索も同様の手順によって行うことができる。

こうして小ウィンドウの設定が行われたら、図１３Ｃに示すように、各小ウィンドウＳ４，Ｓ４…の重心を結んで、分割ウィンドウＤ７，Ｄ７…を設定する。こうして参照画像に分割ウィンドウが表示された状態を図１５Ａ（基準画像）及び図１５Ｂ（参照画像）に示す。図１５Ａ及び図１５Ｂに示すように、これら変形ウィンドウＷ３，Ｗ３…が分割されて形成された分割ウィンドウＤ７１，Ｄ７２…は、基準画像の分割ウィンドウＤ５１，Ｄ５２…に対応するものとなる。このようにして、分割ウィンドウを形成することで、各ウィンドウの領域を狭くすることができるので、その分ステレオマッチングを行う際に精度を向上させることができる。

次に、本発明の第３の実施形態について説明する。

図１６Ａ〜図１６Ｃは、本実施形態に係る変形前の画像と変形後の画像との関係を示す説明図である。図１６Ａには基準画像、図１６Ｂにはウィンドウ変形前の参照画像、図１６Ｃにはウィンドウ変形後の参照画像が示されている。図１６Ａに示す基準画像には、９つの正方形のウィンドウＷ１１〜Ｗ１９が表示されており、図１６Ｂに示すウィンドウ変形前の参照画像には、９つのウィンドウＷ２１〜Ｗ２９が表示されている。

基準画像におけるウィンドウＷ１１〜Ｗ１９は、整然とグリッド状に配置されている。一方、参照画像における９つのウィンドウＷ２１〜Ｗ２９は、基準画像におけるウィンドウＷ１１〜Ｗ１９に対する色、輝度、明度などの所定の相関関係に基づいて設定されたものであり、その並び順は合わされているが、並び位置は雑然としている。

本実施形態では、参照画像におけるウィンドウＷ２１〜Ｗ２９の間に隙間がなくなるようにウィンドウＷ２１〜Ｗ２９を拡張／収縮させるために、隣接する四つのウィンドウの角部を含む境界領域（Ｒ１〜Ｒ４）内で、四つのウィンドウの接合点を求める。四つのウィンドウの接合点は、基準画像における対応する接合点との色、輝度、明度などの所定の相関関係に基づいて設定される。

具体的に説明すると、図１６Ｂに示すウィンドウＷ２１，Ｗ２２，Ｗ２５，Ｗ２４の接合点を求めるにあたり、これらのウィンドウＷ２１，Ｗ２２，Ｗ２５，Ｗ２４の角部を含む境界領域Ｒ１内において、図１６Ａに示すウィンドウＷ１１，Ｗ１２，Ｗ１５，Ｗ１４の接合点Ｊ１と相関関係が高い位置を探索する。そして、基準画像における接合点Ｊ１と相関関係がもっとも高い位置点を境界領域Ｒ１内から探索したら、この点を参照画像におけるウィンドウＷ２１，Ｗ２２，Ｗ２５，Ｗ２４の接合点Ｊ１１として設定する。同様にして、ウィンドウＷ２２，Ｗ２３，Ｗ２６，Ｗ２５の接合点Ｊ１２を境界領域Ｒ２から、ウィンドウＷ２４，Ｗ２５，Ｗ２８，Ｗ２７の接合点Ｊ１３を境界領域Ｒ３から、ウィンドウＷ２５，Ｗ２６，Ｗ２９，Ｗ２８の接合点Ｊ１４を境界領域Ｒ４から、それぞれ探索する。また、ウィンドウＷ２１，Ｗ２２のそれぞれの上辺が、両辺の端部の中点で接合するように、ウィンドウＷ２１，Ｗ２２の上辺を収縮させる。また、ウィンドウＷ２２，Ｗ２３のそれぞれの上辺は両者の端部の中点で接合するように伸長させる。同様にウィンドウＷ２７，Ｗ２８の下辺およびウィンドウＷ２８，Ｗ２９の下辺も両者の端部に中点で接合するように伸長させる。

参照画像におけるウィンドウＷ２１〜Ｗ２９を拡張／収縮させて変形させることにより、変形後の参照画像に示すようにウィンドウＷ２１〜Ｗ２９の間の隙間がなくなるようにすることができる。このようにウィンドウの変形を行うことにより、ウィンドウ間の隙間を埋めることができるので、対象物の画像を滑らかに復元することができる。また、このときの演算処理量は少なくて済むので、その分処理時間の短縮を図ることができる。

次に、本実施形態における図２に示すステップＳ９におけるウィンドウの再分割の手順について、図１７Ａ、図１７Ｂ、図１８Ａ、および、図１８Ｂを参照して説明する。図１７Ａ（基準画像）及び図１７Ｂ（参照画像）は、本実施形態に係るウィンドウの分割を説明するための図である。図１８Ａ及び図１８Ｂは、分割したウィンドウの接合点を探索する範囲を説明するための図であり、図１８Ａは探索範囲を示す図、図１８Ｂは接合点となる点を示す図である。図１８Ａ及び図１８Ｂでは、図１７Ｂに示す参照画像のうちのウィンドウＷ２１，Ｗ２２の部分近傍を拡大して示している。

本実施形態に係る変形ウィンドウの分割を行う際には、図１７Ａに示すように、基準画像におけるウィンドウＷ１１〜Ｗ１９を、それぞれグリッド状に四分割して、分割ウィンドウを形成する。一方、図１７Ｂに示すように、参照画像にウィンドウＷ２１〜Ｓ２９には、基準画像上の対応する行の分割ウィンドウと高さ位置を合わせて、相関関係に基づいてそれぞれ分割ウィンドウが設定される。これらの分割ウィンドウは、基準画像における各分割ウィンドウに対する色、輝度、明度などの所定の相関関係に基づく対応付けによって設定されている。

この分割ウィンドウの設定について、基準画像におけるウィンドウＷ１１，Ｗ１２と参照画像におけるウィンドウＷ２１，Ｗ２２に着目して説明すると、基準画像におけるウィンドウＷ１１，Ｗ１２には、正方形からなる八つの分割ウィンドウＤ８１〜Ｄ８８が設定される。一方、参照画像には、図１８Ａに示すように、基準画面の分割ウィンドウＤ８１〜Ｄ８８に対応する八つの分割ウィンドウＤ９１〜Ｄ９８が設定されるが、それらは離間したりあるいは重なったりしている。これらの状態から、各分割ウィンドウを接合するため、図１７Ａに示す基準画像における分割ウィンドウＤ８１，Ｄ８２，Ｄ８６，Ｄ８５の接合点Ｊ２１ともっとも相関関係が高い点を、図１８Ａに示す参照画像における境界領域Ｒ２１から探索する。ここでの相関関係は、たとえば色、輝度、明度などに基づいて判断することができる。こうして、たとえば図１８Ｂに示す接合点Ｊ３１，Ｊ３１…の候補点の中から、最終的に接合点Ｊ３１が決定される。

こうして基準画像における接合点Ｊ２１ともっとも相関関係の高い接合点Ｊ３１を境界領域Ｒ２１の中から探索したら、分割ウィンドウＤ９１，Ｄ９２，Ｄ９６，Ｄ９５の接合点を設定し、分割ウィンドウＤ９１，Ｄ９２の下辺および分割ウィンドウＤ９６，Ｄ９５の上辺をそれぞれ伸長させる。そうして、境界領域Ｒ２１の中から探索した点で分割ウィンドウＤ９１，Ｄ９２，Ｄ９６，Ｄ９５の角部を接合することにより、各分割ウィンドウＤ９１，Ｄ９２，Ｄ９６，Ｄ９６間に離間をなくすことができる。

また、参照画像における分割ウィンドウＤ９２，Ｄ９３，Ｄ９７，Ｄ９６はいずれも重なった状態にある。これらに対応する基準画像における分割ウィンドウＤ８２，Ｄ８３，Ｄ８７，Ｄ８６の接合点Ｊ２２ともっとも相関関係が高い点を参照画像における境界領域Ｒ２２の中から探索する。ここでの相関関係は、たとえば色、輝度、明度などに基づいて判断することができる。こうして、たとえば図１８Ｂに示す接合点Ｊ３２，Ｊ３２…の候補点の中から、最終的に接合点Ｊ３２が決定される。

こうして基準画像における接合点Ｊ２２ともっとも相関関係の高い接合点Ｊ３２を境界領域Ｒ２２の中から探索したら、分割ウィンドウＤ９２，Ｄ９３，Ｄ９７，Ｄ９６の接合点を設定し、分割ウィンドウＤ９２，Ｄ９３の下辺および分割ウィンドウＤ９７，Ｄ９６の上辺をそれぞれ収縮させる。そうして、境界領域Ｒ２２の中から探索した点で分割ウィンドウＤ９２，Ｄ９３，Ｄ９７，Ｄ９６の角部を接合することにより、各分割ウィンドウＤ９２，Ｄ９３，Ｄ９７，Ｄ９６が連続する。こうして、分割ウィンドウＤ９２，Ｄ９３，Ｄ９６，Ｄ９７間の重なり合いをなくすことができる。

その他、図１７Ｂに示すウィンドウＷ２１〜Ｗ２９においても、同様の手順によってウィンドウを分割・変形させることにより、ウィンドウＷ２１〜Ｗ２９間の離間や重なり合いを解消させることができる。このように、変形ウィンドウを分割することによって、対象物をより正確に復元することができる。また、分割したウィンドウの間の隙間をなくすように分割したウィンドウを変形させることによって、対象物を滑らかに復元することができる。

以上のとおり、本発明によれば、対象物の復元を行う際に、曲面等を滑らかに復元することができる画像処理方法および装置を提供することができる。また、近い距離を撮影するステレオカメラに対しても用いることができ、さらには演算処理量が少なく、処理時間が短くて済む画像処理方法および装置を提供することができる。

Claims

基準画像撮影手段で対象物を撮影して基準画像を取得すると共に、参照画像撮影手段で同一の対象物を撮影して参照画像を取得し、
前記基準画像および前記参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定し、
前記参照画像における前記複数のウィンドウを変形させることにより、前記参照画像における隣接するウィンドウ同士間の離間又は重なり合いを解消させて、前記基準画像のウィンドウと前記参照画像のウィンドウとのステレオマッチングを行い、前記対象物の形状を復元することを特徴とする画像処理方法。
前記参照画像上の隣接する前記ウィンドウを変形させるにあたり、隣接する前記ウィンドウの対向する角部同士の間に向けて、該ウィンドウの角部を移動させる請求項１に記載の画像処理方法。
前記参照画像上の隣接する前記ウィンドウを変形させるにあたり、前記基準画面上のウィンドウの重心を結んだ線によって新たなウィンドウ群を形成させると共に、前記参照画像上のウィンドウの重心を結ぶ線によって、前記基準画像上の新たなウィンドウ群に対応する変形後のウィンドウ群を形成させる請求項１に記載の画像処理方法。
前記基準画面上のウィンドウの中心を結んだ線によって新たなウィンドウ群を形成させると共に、
前記参照画像上の隣接する前記ウィンドウのそれぞれの中心を結ぶ線によって、前記基準画像上の新たなウィンドウ群に対応する変形後のウィンドウ群を形成させる請求項１に記載の画像処理方法。
前記参照画像上の隣接する前記ウィンドウを変形させるにあたり、前記隣接するウィンドウの各角部を含む境界領域内で、隣接する前記ウィンドウの統一接合点をその隣接するウインドウ同士の相関関係に基づいて求め、前記統一接合点を基準として前記ウィンドウを変形させる請求項１に記載の画像処理方法。
前記基準画像上に設定された各ウィンドウと、該基準画面上の各ウィンドウに対応する前記参照画像上の各ウィンドウとを、それぞれを同じ数に分割してそれぞれ分割ウィンドウを形成させ、
前記基準画像における分割ウィンドウと前記参照画像における分割ウィンドウとを所定の相関関係に基づいて対応付けし、
前記参照画像における分割ウィンドウを変形させることにより、前記参照画像における分割ウィンドウ同士間の離間又は重なり合いを解消させる請求項１に記載の画像処理方法。
前記参照画像上のウィンドウを変形させた後、前記基準画像及び前記参照画像上の各ウィンドウを複数の領域に分割し、分割後の前記参照画像上の各ウィンドウを変形させて隣接するウィンドウ同士の離間及び／又は重なり合いを解消し、前記基準画像の分割ウィンドウ及び変形後の前記参照画像の分割ウィンドウに基づいてステレオマッチングを行う請求項１に記載の画像処理方法。
前記基準画像及び前記参照画像の各ウィンドウの分割、並びに、前記参照画像の各ウィンドウの変形を複数回繰り返す請求項７に記載の画像処理方法。
基準画像撮影手段および参照画像撮影手段でそれぞれ撮影された同一対象物の基準画像および参照画像に対して、それぞれ複数のウィンドウを設定するウィンドウ設定手段と、
前記基準画像に設定した複数のウィンドウの並び順と、前記参照画像に設定した複数のウィンドウの並び順との関係に基づいて、前記基準画像に対する前記参照画像の対応付けを行い、前記参照画像上の各ウィンドウを変形させることによって前記参照画像上の隣接するウィンドウ同士間の離間又は重なり合いを解消させた後に、前記基準画像のウィンドウと前記参照画像のウィンドウとのステレオマッチングを行って前記対象物の形状を復元するステレオマッチング手段とを備えることを特徴とする画像処理装置。
前記ステレオマッチング手段が、前記参照画像上の隣接する前記ウィンドウの対向する角部同士の間に向けて、該ウィンドウの角部を移動させる処理を行う請求項９に記載の画像処理装置。
前記ステレオマッチング手段が、前記基準画面上のウィンドウの重心を結んだ線によって新たなウィンドウ群を形成させると共に、前記参照画像上のウィンドウの重心を結ぶ線によって、前記基準画像上の新たなウィンドウ群に対応する変形後のウィンドウ群を形成させる処理を行う請求項９に記載の画像処理装置。
前記ステレオマッチング手段が、前記基準画面上のウィンドウの中心を結んだ線によって新たなウィンドウ群を形成させると共に、前記参照画像上のウィンドウの中心を結ぶ線によって、前記基準画像上の新たなウィンドウ群に対応する変形後のウィンドウ群を形成させる処理を行う請求項９に記載の画像処理装置。
前記ステレオマッチング手段が、前記参照画像上の隣接するウィンドウの各角部を含む境界領域内で、隣接する前記ウィンドウの統一接合点をその隣接するウインドウ同士の相関関係に基づいて求め、前記統一接合点を基準として前記ウィンドウを変形させる請求項９に記載の画像処理装置。
前記基準画像上に設定された各ウィンドウと、該基準画面上の各ウィンドウに対応する前記参照画像上の各ウィンドウとを、それぞれを同じ数に分割してそれぞれ分割ウィンドウを形成させるウィンドウ分割手段をさらに備え、
前記ウィンドウマッチング手段が、前記ウィンドウ分割手段によって分割された前記基準画像における分割ウィンドウと前記参照画像における分割ウィンドウとを所定の相関関係に基づいて対応付けし、前記参照画像における分割ウィンドウを変形させることにより、前記参照画像における分割ウィンドウ同士間の離間又は重なり合いを解消させる請求項９に記載の画像処理装置。
前記参照画像上のウィンドウを変形させた後、前記基準画像及び前記参照画像上の各ウィンドウを複数の領域に分割するウィンドウ分割手段をさらに備え、
前記ステレオマッチング手段が、前記ウィンドウ分割手段による分割後の前記参照画像上の各ウィンドウを変形させて隣接するウィンドウ同士の離間及び／又は重なり合いを解消し、前記基準画像の分割ウィンドウ及び変形後の前記参照画像の分割ウィンドウに基づいてステレオマッチングを行う請求項９に記載の画像処理装置。
前記ウィンドウ分割手段による前記基準画像及び前記参照画像の各ウィンドウの分割、並びに、前記ウィンドウマッチング手段による前記参照画像の各ウィンドウの変形を複数回繰り返す請求項１５に記載の画像処理装置。