JPH0762871B2 - 画像処理方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画素単位でデジタルデータ化された画像情報を
処理する方法及び装置に関し、更に詳述すれば、同一の
処理対象物体を異なる位置で撮影した画像を処理するこ
とにより三次元空間中の物体の位置を特定し計測する方
法及び装置に関する。

〔従来技術〕

三次元空間中の物体の位置を、異なる位置で撮影された
複数の画像を処理して計測するためには、撮影された対
象物の各画像中での像の位置を特定する必要がある。

このためには、画像中の各点、即ち画像を構成する最小
単位である画素それぞれの特徴を識別し、複数の画像間
で各画素の特徴を比較対照することにより、同一の対象
物に属する同一点を写した画素の組合わせを特定するこ
とにより対応付けを行う処理が必要である。そしてその
後、それぞれの画素の画像上での座標から、三角測定の
原理でカメラとその点との間の距離を求める。更に対象
物を写した全ての画素に対して同様の処理を行い、その
対象物のカメラから距離、及び形状を求める。

このような処理は従来はたとえば「ステレオ画像の輪郭
線セグメントに基づく対応」（情報処理学会コンピュー
タビジョン研究会資料38−１、1985）に示されている手
法であり、端的には各画像について、エッジによって領
域に分割し、その領域を囲む輪郭線に関して、複数画像
間で対応付けを行なう方法である。

説明の便宜上、ここでは２台のカメラを使用した最も単
純な方法、即ちステレオカメラにより得られたステレオ
画像を処理する場合について述べる。具体的には、第２
図（ａ），（ｂ）に示す如き２枚の画像がそれぞれ左右
のカメラにより撮影されたとするとそれぞれの画像につ
いて、輪郭線セグメントの抽出を行なう。例えば第２図
（ｂ）の右の画像を例にとると、第３図（ａ）に示す如
く、１次微分オペレーターにより画像の各点のエッジ強
度及びエッジ方向を求め、その値により細線化を行な
い、一定の閾値以上の画素を求める。更に、可能な限り
閉じた領域を構成するように各点列の端点を求め、その
点からエッジの方向と直交する方向に延長の処理を行な
う。その結果を第３図（ｂ）に示す。

次にエッジ点により囲まれた領域にラベル付けを行な
い、各領域の面積，平均の明るさ，上下左右方向への広
がり、等を求める。

各領域を囲むエッジ点を追跡し、第４図のフローチャー
トに示した如く、分岐点、屈曲点で分割し、直鎖又は２
次曲線にあてはめる。あてはめ誤差が大きい場合は、両
端点を結んだ直線から最も遠い点で再分割し、分割され
たそれぞれの点列に対してあてはめを繰り返す。この手
法により得られた直線又は２次曲線を輪郭線セグメント
とする。

第２図をこの手法により処理して得られた輪郭線セグメ
ントの像を第５図（ａ），（ｂ）に示す。なお、第５図
の（ａ），（ｂ）は第２図の（ａ），（ｂ）にそれぞれ
対応している。

ところで、左右のテレビカメラを第６図（ａ）の如く、
その視野の中心軸が互いに並行かつ、２台のカメラを結
ぶ直線に対して垂直となるように設置した場合、三次元
空間中の任意の点Ｐ^＊は左右カメラにより撮像された画
像上の点Ｐ（x_P,y_P）とＰ′（x_P′,y_P′）に写像され
る。点Ｐ及び点Ｐ′の座標には幾何学的な拘束条件とし
て次の（１）式が成立し、左右画像間での対応を行なう
上での限定条件として用いることができる。この条件を
以下、便宜上「エピポーラ条件」と呼ぶこととする。

しかし測定精度を十分に高くするためには、左右カメラ
間の距離を十分にとり、かつ対象物を左右のカメラの視
野内に納めるために、それぞれを内側（対象物の方向）
に向ける動作、即ち第６図（ｂ）に示す如き輻輳運動を
行なう必要がある。輻輳運動を行なう２台のテレビカメ
ラTCL,TCRにより得られた画像間では、上記（１）式が
成立しないため、画像上の座標を下記（２）式により変
換する。

ただし、θはカメラの輻輳角、即ちカメラを平行な状態
から内側へ向けた角度である。

第５図の画像を上記（２）式により変換することにより
テレビカメラの輻輳運動を補正した画像を第７図に示
す。なお、第７図の（ａ），（ｂ）は第２図及び第５図
の（ａ），（ｂ）に対応している。

次に左右２つの画像間で輪郭線セグメントの対応を行な
う。左右それぞれの画像から得られた輪郭線セグメント
の内、上記（１）式のエピポーラ条件を満たす対応を求
める。この対応は誤った対応を含んでいるため、更に他
の方法で正しい対応を求める必要がある。

第１の方法は、対応している輪郭線セグメントが属する
領域の特徴、即ち平均した明るさが等しい（実際は、明
るさの差が所定範囲内）ことを用いて、誤った対応を除
去することである。

第２の方法は、相互に接続する輪郭線セグメント同士を
グループ化し、グループ間の評価を行ない、評価値の低
い対応を除去することである。

更に詳述すれば、第８図に示す如く、２つの画像上のセ
グメントS_iとS_i′,S_jとS_j′とがそれぞれ対応し、かつS
_iとS_j,S_i′とS_j′の端点が一致している場合、これらは
「連続」していると定義する。そして、個々の対応、即
ちセグメント対について連続するセグメントを探索し、
一連の連続するセグメントを一つのグループとする。

次に各グループについて評価を行なう。グループ全体が
誤った対応を行なっている場合は、正しい対応を行なっ
ている場合に比較して、端点において連続する可能性が
小さく、かつ大きな（線分としての長さが長い）セグメ
ントが対応する可能性も小さい。また正しい対応を行な
っている場合は対応しているセグメント対の両端点の三
次元空間上での位置が前後方向に大きく変位しているこ
とはない。従って、それらの関係を数値化し評価するた
め、以下の如く評価値を定義する。

まずグループを構成する各セグメントの対応について定
義する。第９図に示す如く異なる画像上のセグメント
S_j,S_j′が対応している場合、この個別の対応について
正の評価値Ｃと負の評価値Ｄとを次のように定義する。

Ｃ_j,j′＝min（▲▼，▲▼） Ｄ_j,j′＝（X_A−X_A′）−（X_B−X_B′） ただし、A,BはセグメントS_jの両端点 Ａ′はセグメントS_j′のＡと対応する端点 Ｂ′はセグメントS_j′のＢと対応する中間点 Ｄ_j,j′は両セグメントの始点から終点までの視差のず
れ 次にグループ全体の評価値Ｇを次の（３）式で定義し、
計算する。

対応するセグメントが明らかに矛盾した対応を行なって
いる場合、例えば第10図の如く、左画像中から得られた
セグメントS_j,S_iと右画像中から得られたS_j′,S_i′が互
いに対応している多重対応を行なっている場合は、第11
図に示す如く、（３）式の評価式を用いて評価値Ｇが最
大値を示す組み合わせを選択する。

以上の処理により各セグメント間の正しい対応が選択さ
れ、そのセグメント上の各点の三次元空間上での座標
が、２つの画像上での水平方向のずれ、即ち視差から求
められ、対象物の位置測定が完了する。

〔発明が解決しようとする問題点〕

ところで、上述の手法では、左右画像間でエピポーラ条
件を用いて対応の組合わせを求めた後、最終的にはセグ
メント相互の連続関係から複数のセグメントをグループ
化し、このグループ単位で２つの画像間の評価を行なう
ことにより正しい対応を求めている。しかし、この手法
ではグループ化を行なう場合に、以下のような問題点が
発生する。

第１に、グループ化を行なう場合に、該当するセグメン
トの組合わせが多くなり、その組合わせ総てに対して個
々の評価値を求めるため、処理時間が長大化するという
問題がある。

第２に、入力された画像中に多数の物体が撮像されてい
る場合等のように複雑な画像を処理する場合には、三次
元空間中で実際に連結していないセグメントを誤って連
結していると判断する可能性が増大し、その結果、グル
ープ化及び対応の評価が不適切となり、最終的には誤っ
た結果を得るという問題がある。

本発明は以上のような事情に鑑みてなされたものであ
り、同一の画像上で相互に連結したセグメントのグルー
プ化を行なう際に、新たな裁断手段を追加することによ
り、誤ったグループ化を抑制し、複雑な画像に対しても
正確な処理が可能な画像処理方法及びその装置の提供を
目的とする。

〔問題点を解決するための手段〕

本発明の画像処理方法及びその装置は、複数の画像より
得られた画像要素（輪郭線セグメント、又は画素、エッ
ジ点等）からエピポーラ条件等を満たす要素の対を連
結、あるいは近接していること等により順次抽出し、こ
れらが同一の平面上にあるか否かを判定し、同一平面上
にある要素の対のグループに対してのみ複数の画像間で
対応付けの評価を行なうようにしている。

本発明は、三次元空間中に位置する同一の認識対象を異
なる位置で撮像した各画像上での位置を特定する方法に
おいて、各画像それぞれから共通の特徴を有する画素ま
たは画素を連結した線分を得、複数の画像間で対応する
画素または線分の対を順次抽出しつつ、それらが三次元
空間中で同一平面を構成しているか否かを判定し、同一
平面を構成している画素または線分の対についてのみ複
数の画像間で対応度の評価を行うことにより認識対象の
各画像上での位置を特定することを特徴とする。

〔作用〕

本発明の画像処理方法及びその装置によれば、異なった
位置で撮影された同一物体の画像から抽出された個々に
エピポーラ条件等を満たす画像要素（画素、あるいはそ
れを連結した線分）のグループとして抽出され、そのグ
ループが同一の平面を構成するか否かがまず判定され、
その結果、同一の平面を構成する画像要素のグループに
ついてのみ、複数画像間での対応付けが行われることに
より、不要の処理が減少され、かつ誤った対応を含むグ
ループが小さくなるので、処理速度，処理効率が向上さ
れる。

〔実施例〕

以下本発明をその実施例を示す図面に基づいて詳述す
る。なお、以下の実施例は前述の〔従来技術〕で述べ
た、輪郭線セグメントを対応単位として抽出し、評価す
る例について述べるが、本発明は画素、エッジ点等を直
接用いることも可能であり、それについては後述する。
また、以下の実施例は２台のカメラにより撮像された左
右２つの画像を処理対象とする例である。

第１図は本発明に係る画像処理方法を実施するための装
置、即ち本発明の画像処理装置の構成を示すブロック図
であり、画像処理機能を備えたコンピュータシステム等
に組み込まれている。

図中１は処理対象の画像データが格納されている画像メ
モリである。この画像メモリ１には、異なる２位置に設
置されたテレビカメラ等の撮像装置（図示せず）にて同
一対象物質を撮像した２つの画像データが格納される。
そしてこの画像メモリ１に格納されている画像データは
画像処理手段２に与えられ、以下に述べる処理が行われ
た後に置き変えられる。

画像処理手段２は、画像メモリ１の格納内容を各画像単
位で読み込み、エッジ検出、細線化、閾値処理、満点延
長処理等を行なうことにより対象物の画像上での境界を
検出する。そして、得られた境界点上の画素を元の画像
が格納されている画像メモリ１上で特定の値に変換す
る。この実施例では通常の画素データを０から255まで
の値で表現し、境界点の画素は−１の値に変換するもの
とする。

領域特徴抽出手段３は、画像メモリ１から各画像単位で
画像データを読み込み、画像処理手段２により書き込ま
れた境界点の値（−１）を検出し、境界点により分割さ
れた領域それぞれにラベル付けを行ない、そのラベル番
号により各領域を識別し、各領域についてその平均の明
るさ等の特徴を抽出し、その結果を領域特徴記憶部４に
格納する。

領域特徴記憶部４は上述の領域特徴抽出手段３により抽
出された領域ごとの特徴を記憶し、必要に応じてセグメ
ント対応候補抽出手段７にデータを与える。

図中５は輪郭線セグメント抽出手段であり、画像メモリ
１から画像データを受取り、境界線を検出し、各領域を
囲む境界線それぞれについて、〔従来技術〕の項で述べ
た方法に従って、境界線（点列）の曲率極大となる点で
分割し、各点列に直線または曲線をあてはめる。更に入
力テレビカメラなどが輻輳運動を行なっている場合に
は、カメラの中心軸が互いに並行、且つカメラ間を結ぶ
直線に対して直角となっている場合と同等の画像データ
を得るために前述の（１）式を用いて変換する。あては
められた線（輪郭線セグメント）を１単位として第12図
に示す如き輪郭線セグメントデータの形で輪郭線セグメ
ント記憶部６に送出する。

なお、輪郭線セグメントデータは、第12図に示されてい
る如く、そのセグメントの順番号，所属領域番号，開始
点接続セグメント番号（そのセグメントの開始点で接続
している他のセグメントの番号），終了点接続セグメン
ト番号（そのセグメントの終了点で接続している他のセ
グメントの番号），開始点近傍セグメントリスト（その
セグメントの開始点の近傍に位置するセグメントの番
号），終了点近傍セグメントリスト（そのセグメントの
終了点の近傍に位置するセグメントの番号），セグメン
トの線型種類（直線であるか曲線であるか、あるいは領
域の外周の線であるか内周の線であるか），そのセグメ
ントの線型の方程式，開始点及び終了点の座標等にて構
成されている。

輪郭線セグメント記憶部６は上述の輪郭線セグメント抽
出手段５より入力された輪郭線セグメントデータを記憶
し、これをセグメント対応候補抽出手段７及びグループ
評価手段10から要求があった場合に同一平面判定手段８
又はセグメントグループ記憶部９に送出する。

セグメント対応候補抽出手段７は、前述の領域特徴記憶
部４及び輪郭線セグメント記憶部６から適宜に輪郭線セ
グメントデータを取り出し、同一平面判定手段８に送出
する。この同一平面判定手段８は与えられたデータを同
一の平面を構成するグループにまとめ、セグメントグル
ープ記憶部９に送出する。

本発明を特徴付けるセグメント対応候補抽出手段７及び
同一平面判定手段８の処理内容、即ち請求範囲で言うと
ころの“対応する画素または線分の対を順次抽出”する
方法は以下の如くである。

まず、セグメント対応候補抽出手段７には第１のカメラ
にて撮像された画像から得られたセグメント番号を記憶
する第１のセグメントレジスタS1と第２のカメラから得
られたセグメント番号を記憶する第２のセグメントレジ
スタS2と、後入先出形のスタックレジスタSTとを有して
いる。

まず第１のセグメントレジスタS1に１動作ごとに１から
順に値が設定される。これは第１のカメラ画像（便宜上
左画像とする）から得られたセグメント番号を示す。同
様に第２のセグメントレジスタS2は第１のセグメントレ
ジスタS1の内容が１増加する都度、第２のカメラ画像
（便宜上右画像とする）から得られたセグメント全ての
セグメント番号を発生する。

第１及び第２のセグメントレジスタS1,S2の値によって
指定されるセグメントS_jとS_j′とについて、セグメント
対応候補抽出手段７は以下の２つの「基本対応条件」を
満たすかどうか判断する。

なお、セグメントS_jは第１のカメラ画像，同S_j′は第２
のカメラ画像からそれぞれ得られたものとする。

基本対応条件： 領域条件： セグメントS_j及びS_j′が属する領域の特徴が等しいこと
を条件とする。より詳述すれば、第12図に示した如き各
セグメントについての輪郭線セグメントデータを検索
し、所属する領域の番号をそれぞれ得る。次に領域番号
に従って領域特徴記憶部４の内容を検索し、その領域の
特徴、たとえば平均の明るさを得る。その結果が所定範
囲の誤差内である場合はこの条件を満たしているとす
る。

エピポーラ条件： セグメントS_j及びS_j′上にエピポーラ条件を満たす点の
組みあわせが存在することを条件とする。より詳述すれ
ば、第９図に示す如く、Ｙ軸方向（図面上方）に向かっ
て、双方のセグメントS_j,S_j′が誤差Ｅを見込んで共通
の範囲を有し、しかもその部分が右画像では左画像より
左側に存在することである。換言すれば、あるＹ座標Y_p
とセグメントS_j及びS_j′上の点でY_pをＹ座標とする点
（X_p,Y_p）、（X_p′,Y_p′）が次の式を満たすことであ
る。

Y_a−Ｅ＜Y_p＜Y_b＋Ｅ Y_a′−Ｅ＜Y_p＜Y_b′＋Ｅ X_p−X_pb＞−Ｅ セグメントS_j及びS_j′が以上の基本対応条件を満たす場
合、セグメントS_j及びS_j′をスタックレジスタSTに記憶
する。次にセグメントS_j及びS_j′の始点方向又は終点方
向へ向かって、以下の処理を行なう。ここで始点方向と
は、輪郭線セグメント抽出手段５により境界線（輪郭
線）の追跡を行なった際に、該当セグメントをあてはめ
た点列のうちの最初の点の方向であり、終点方向とは最
後の点の方向である。またこの始点及び終点の座標は第
12図に示す如く、輪郭線セグメント記憶部６に記憶され
ており、セグメント対応候補抽出手段７により随時読出
される。

始点方向へ追跡を行なう場合には、まずセグメントS_jの
始点と誤差Ｅの範囲内で一致する終点を持つセグメント
S_iを探索する。換言すればセグメントS_jの始点座標を
（Xs,Ys）、終点座標を（Xe,Ye）とした場合に以下の式
を満たすことである。

（Xs−Xe）^２＋（Ys−Ye）^２＜E² 同様にしてセグメントS_j′の始点と一致する終点を持つ
セグメントS_j′を探索する。さらにセグメントS_j′とセ
グメントS_j′が基本対応条件を満たす場合、それをスタ
ックレジスタSTに記憶し、スカックレジスタST上の全て
のデータを同一平面判定手段８に与え、その結果、同一
平面上にないと判定された場合は、スタックレジスタST
からセグメントS_i,S_i′の記録を削除した後、他の条件
が該当するセグメントの組合わせを探索する。

一方、同一平面上にあると判定された場合は、セグメン
トS_i及びS_i′について、これらと始点方向にそれぞれ接
続すると共に前述の基本対応条件を満たす他のセグメン
トの組み合わせS_k,S_k′を探索し、スタックレジスタST
に記録し、前述のセグメントS_j,S_j′に関してと同様の
処理を行なう。なおここでセグメントが連結して環状に
なっている場合などを考慮し、新たなセグメントの組み
合わせが、スタックレジスタST上の各組合わせと重複し
ている場合は削除する。

このような処理を順次反復することにより、セグメント
S_jとS_j′を最初のセグメントの対応とした場合に、これ
らに順次接続すると共に前述の基本対応条件を満たし、
かつ同一平面上に存在するセグメントの組合わせの総て
が同一平面判定手段８に送出される。

更に、第１及び第２セグメントレジスタS1,S2が順次更
新される。これにより、セグメント対応候補抽出手段７
は第１及び第２の画像から得られた全てのセグメントに
関して、上述の処理を反復実行する。

なお、３台以上のテレビカメラ等にて撮像された３枚以
上のＮ枚の画像を処理する場合は、セグメント対応候補
抽出手段７は同様に第1,第２…第ｎのセグメントレジス
タS1,S2…Snを用い、全ての組合わせを順次発生し、そ
の各組合わせ（S_i1,S_i2…S_iN）について前述同様に基本
対応条件、接続条件、同一平面条件を満たす組合わせを
順次求め、これを同一平面判定手段８に送出する。な
お、この場合は、基本対応条件は拡張され、セグメント
S_i1,S_i2…S_iNの任意の組合わせについて前記２画像の場
合と同様の条件が成立することとする。

同一平面判定手段８は、上述の如くしてセグメント対応
候補抽出手段７により求められたセグメント対の組が与
えられ、その特徴を輪郭線セグメント記憶部６から読出
し、それらが三次元空間中において同一平面にあるか否
かを判定し、その結果をセグメント対応候補抽出手段７
に送出すると共に、同一平面にあると判定された場合は
その組合わせのセグメント番号をセグメントグループ記
憶部９に送出する。

この同一平面判定手段８による処理内容の詳細、即ち請
求範囲で言うところの“三次元空間中で同一平面を構成
しているか否かを判定する”方法は以下の如くである。

まず基本原理を述べる。三次元空間中での任意の平面を
ax＋by＋cz＝１とし、撮像装置としての２台のテレビカ
メラ間の距離をｕとする。さらに両テレビカメラの中心
軸が互いに並行でかつカメラ間を結ぶ直線に垂直である
場合、即ち第６図（ａ）の如く配置されている場合、第
２のカメラの画像上の座標は次の式の如くアフィン変換
行列により第１のカメラの画像上の座標に変換される。

ここで（X,Y）は第１のカメラから平面上の点Ｐを見込
んだ場合の画像中での座標であり、（Ｘ′,Y′）は点Ｐ
の第２のカメラ画像上での座標である。

例えば第13図に示す如く、平面上の４点が第１の画像上
で点A,B,C,Dとして得られ、第２の画像上でそれぞれ
Ａ′,B′,C′,D′として得られたとする。この時各座標
間では次の式が成り立つ。

更に、 Ya′＝Ya,Yb′＝Yb,Yc′＝Yc,Yd′＝Yd ……（4a） と変形される。即ち２枚の画像間で対応付けを行なって
得られた点の組Ａ−Ａ′、Ｂ−Ｂ′、Ｃ−Ｃ′、Ｄ−
Ｄ′にて表される三次元空間上での点が全て同一の平面
上にある必要十分条件は、上記式（4a），（4b）にて示
される如く、それぞれの組のＹ座標が等しく、かつ上式
を満たすようなパラメータa,b,cが存在することであ
る。同一平面判定手段８においては、セグメント対応候
補抽出手段７より送出されたセグメントの対応はそれぞ
れエピポーラ条件を満たした対である、換言すれば上記
（4a）式を満たしているため、（4b）式に関してのみ判
断すればよいことになる。

同一平面判定手段８によるセグメント対が同一平面であ
ることの判定は以下の如く行なわれる。

セグメント対応候補抽出手段７より入力されたセグメン
ト対の組（S₁−S₁′,S₂−S₂′,S₃−S₃′，…,S_n−
S_n′）について、輪郭線セグメント記憶部６よりそれぞ
れのセグメントの始点及び終点の座標を取り出し、それ
らを一次記憶メモリ（図示せず）に記憶させる。第１の
画像のセグメントS_kの始点の座標を（X_sk,Y_sk）、終点
の座標を（X_Ek,Y_Ek）とし、セグメントS_kに対応する第
２の画像上のセグメントS_k′については同様に（X_S′_k,
Y_S′_ｋ）、（X_E′_k,Y_E′_ｋ）とする。全ての対応するセ
グメントについて、始点と終点の対が上記（4b）式を満
たすことが同一平面を構成する必要条件となる。更にセ
グメントが直線である場合は必要十分条件となる。

画像から得られたセグメントは量子化誤差などの誤差を
持っているため、三次元空間中で同一平面上に各点があ
ったとしても（4b）式に完全には一致しない。その為、
各点について予測される区間を求め、画像から得られた
視差とのずれが一定の閾値TH以内である場合に同一平面
にあると判定する。具体的には以下の如く立式し、この
式の値が最少となるように、即ち最小２乗法によりa,b,
cの値を求める。

ここでa,b,cの値が不定となる場合には、便宜上全ての
点が同一平面上にあると判断する。それ以外の場合につ
いては次に各セグメント対について以下の式を満たすこ
とを確認する。

｜（X_S1′−X_S1）−ｕ（−aX_S1＋bY_S1＋ｃ）｜＜TH ｜（X_E1′−X_E1）−ｕ（−aX_E1＋bY_E1＋ｃ）｜＜TH この式をすべての点が満たしている場合に、同一の平面
上に全てのセグメント対があると判断される。同一平面
判定手段８はセグメント対応候補抽出手段７に判定結果
を送出する。更に総てのセグメントが同一平面にあると
判定された場合には、同一平面判定手段８は判定の対象
とされていたセグメントの対をセグメントグループ記憶
部９に送出する。

３枚以上の画像を処理する場合は、例えば３枚の場合で
あれば第１の画像と第２の画像、第２の画像と第３の画
像、第３の画像と第１の画像とからそれぞれ得られたセ
グメント間で同様の判定を行ない、それぞれの組合わせ
すべてが同一平面上であると判定された場合に限り、最
終結果として同一平面と判定する。

セグメントグループ記憶部９は、同一平面判定手段８よ
り送出されたセグメント対の組を一つのグループとして
記憶し、さらにそのグループのグループ評価部10による
評価結果を記憶し、選択手段11に送出する機能を持つ。

グループ評価部10はセグメントグループ記憶部９より順
次セグメントのグループを抽出し、その各セグメントの
特徴を輪郭線セグメント記憶部より抽出し、各グループ
ごとに従来の方法で述べた（３）式の演算を行なって評
価値Ｇを求め、その結果をセグメントグループ記憶部９
に送出する。

選択手段11はセグメトグループ記憶部９の記憶内容から
各グループ間で同一画像の同一セグメントを含むグルー
プを探索し、その複数のグループの内で最も大きな評価
値Ｇを持つグループのみを正しい対応として残し、他の
グループを削除する。最終的に総てのセグメントが単一
のグループのみに所属することになり、その時点まで残
ったグループを三次元座標計算手段12に送出する。

三次元座標計算手段12は選択手段11より送出されたグル
ープの各セグメントの対について三角測量の原理に基づ
き三次元座標を計算し、出力する。

以下、上述の如き構成の本発明の画像処理装置の動作に
ついて簡単に説明する。

例えば第２図（ａ），（ｂ）の如きステレオ画像が画像
メモリ１に入力された場合、画像処理手段２によりエッ
ジ検出、端点延長が行なわれて第３図（ａ），（ｂ）の
如き画像に変換され、得られたエッジ点上の画素が所定
の値（−１）で置き換えられた画像が画像メモリ１に書
き込まれる。次に画像メモリ１に記憶されているエッジ
点の座標を利用して、領域の特徴が領域特徴抽出手段３
により抽出され、領域特徴記憶部４に送出され、格納さ
れる。また輪郭線セグメントの特徴が輪郭線セグメント
抽出手段５により抽出され、更に輻輳運転の補正が行な
われて、第７図に示す如きデータがセグメント特徴記憶
部６に格納される。

次にセグメント対応候補抽出手段７が動作し、各画像か
ら得られた輪郭線セグメント間で対応付けを行なう。対
応付けを行なう場合に基本対応条件（エピポーラ条件、
領域条件など）を用い、連続するセグメントを含めて、
セグメント対応のグループの候補として同一平面判定手
段８に送られる。同一平面判定手段８はアフィン変換が
成立するかどうかを判定し、成立する場合は与えられた
セグメントのグループを記憶部に送り、また結果をセグ
メント対応候補抽出手段７に送る。セグメント対応候補
抽出手段７は同一平面判定手段８にデータを与えたグル
ープが同一平面であると判定され続ける限りは更に接続
するセグメントを順次探索し同様の処理を繰り返す。

その結果セグメントグループ記憶部９には同一平面を構
成するセグメント対のグループのみが記録され、第14図
に示す如きセグメント対のグループが形成される。特に
セグメント対応候補抽出手段７から出力された候補の中
で、誤った対応を含んだグループは連続するセグメント
が少なく、かつ同一平面に構成する可能性が少ない。そ
のため、セグメントグループ記憶部９に記憶されたグル
ープには、誤って対応しているグループが少なく、しか
も誤って対応しているグループは少数のセグメントによ
って構成されることになる。またセグメント対応候補抽
出手段７から同一平面判定手段８へ順次与えられる対応
候補が同一平面を構成していない場合にはその段階でセ
グメント対応候補抽出手段７が探索を停止するために探
索対象はそれまでの分だけになり、無駄時間が省ける。

次にセグメントグループ記憶部９に記憶されている各グ
ループはグループ評価手段10により評価され、選択手段
11により前記（３）式に最大の評価値Ｇを持つものが選
択され、誤って対応しているグループは削除される。最
後に三次元座標計算手段12により、グループを構成する
各セグメント対の三次元座標が計算され、出力される。
第７図から得られた三次元像、即ち、両カメラの中心点
から見た像（ａ）、正面像（ｂ）、側面像（ｃ）、平面
像（ｄ）を第15図に示す。

以上の実施例は画素を連結したセグメントを対応単位と
しているが、画素またはエッジ点を対応単位として直接
処理する場合は第16図のブロック図に示す構成の装置で
処理を行なう。

この装置構成は第１図に示した輪郭線セグメントを対応
単位として用いる装置に比して、領域及び輪郭線セグメ
ントを抽出し、記憶する手段参照符号3,4,5,6を削除
し、他の部分に若干の変更を加えた装置である。各部の
参照符号は第１図に対応して付与してある。ここでは第
１図の構成と異なる点を中心に簡単に述べる。

画像メモリ１に入力された画像は画像処理手段２により
処理される。エッジ点の場合は輪郭線セグメントを用い
る場合と同様にエッジ抽出、細線化、端点延長などの処
理が行なわれる。更にいずれの場合もカメラの輻輳運転
の補正を行なう。

次に点対応候補抽出手段17（第１図のセグメント対応候
補抽出手段７に相当）が動作し、複数の画像間でエピポ
ーラ条件を満たす点の対が探索される。更にその点の近
傍に位置し、かつ対応している点の対を探索し、順次同
一平面判定手段８に送出する。その判定結果により探索
を停止または継続する点に関しては前述の実施例と同様
である。

同一平面判定手段８は第１図の輪郭線セグメントを処理
する装置において始点及び終点を用いる部分を、与えら
れた点自体の座標を用いるように変更され、各点が同一
平面を構成する場合のみ点グループ記憶部19（第１図の
セグメントグループ記憶部９に相当）に記録する。

グループ評価手段10はグループそれぞれについて、各グ
ループを構成する点の対の特徴を比較し、各点の対それ
ぞれに関して、明るさ，エッジ強度などの特徴が近く、
且つグループを構成する画素数、点数が多い対ほど高い
評価値Ｇを与える。その結果は点グループ記憶部９にグ
ループ単位で記録される。

選択手段11は同一の画素又はエッジ点を含むグループ間
で評価値Ｇを比較し、最大値を有するグループ以外のグ
ループを削除する。その結果残ったグループを三次元座
標計算手段12に送出し、グループを構成する各点の対の
三次元空間中での座標を計算し、出力する。

上記本実施例では輪郭線セグメント及び画素、エッジ点
を対応単位として、画像間で対応を行ない三次元座標を
求める方法に付いて述べたが、本発明は他の方法によっ
て得られた点（２次微分ゼロクロッシングなど）や、そ
の点を追跡することにより得られるセグメントを単位と
する場合にも適用可能であることは言うまでもない。

〔効果〕

以上の如く本発明によれば、従来セグメントや画素を単
位として対応付けを行ない、グループ分けを行なう場
合、組合わせの数が多いために処理時間を要し、また対
応の信頼性も低かったが、探索時にグループを構成する
対が同一の三次元平面を構成することを条件とすること
により、探索が局限されることになり、対象になる組み
合わせが少なくなる。従って本発明では、処理時間が短
縮され、また誤った対応ほどグループが小さくなるため
に選択手段に削除される可能性が大であるから、より信
頼性の高い対応が得られる。

【図面の簡単な説明】

第１図は本発明方法を輪郭線セグメントを対応単位とし
て実施するための装置の構成を示すブロック図、第２図
（ａ），（ｂ）はステレオカメラにより得られた画像で
あり、（ａ）は左画面を、（ｂ）は右画面を示し、第３
図（ａ）は第２図（ｂ）の右画面にエッジ検出、細線化
を行なった例、（ｂ）は更に端点延長を行なった例、第
４図は輪郭線セグメントの作成方法を示すフローチャー
ト、第５図は輪郭線セグメントを作成した例、第６図
（ａ）は平行に設置されたカメラの位置関係を示す模式
図、（ｂ）は輻輳運動を行なうカメラの位置関係を示す
模式図、第７図（ａ），（ｂ）は輻輳運動を補正してあ
り、（ａ）は左画面，（ｂ）は右画面を示し、第８図は
セグメント対の接続関係の説明図、第９図はセグメント
の対応関係の説明図、第10図は多重対応の説明図、第11
図は多重対応から正しい対応を選択する方法の説明図、
第12図は輪郭線セグメントのデータ表現の模式図、第13
図は２つの画面間で対応するセグメントのグループの説
明図、第14図は実際に得られたグループの対応例、第15
図は最終的に得られる三次元像の例、第16図は本発明方
法を画素またはエッジ点を対応単位として実施するため
の装置の構成を示すブロック図である。 １……画像メモリ、２……画像処理装置 ７（17）……セグメント対応候補抽出手段（点対応候補
抽出手段）、８……同一平面判定手段 10……グループ評価手段

Claims (1)

【特許請求の範囲】
1. 【請求項１】三次元空間中に位置する同一の認識対象を
   異なる位置で撮像した各画像上での位置を特定する画像
   処理方法において、 前記各画像それぞれから共通の特徴を有する画素または
   画素を連結した線分を得、 複数の画像間で対応する画素または線分の対を順次抽出
   しつつ、それらが三次元空間中で同一平面を構成してい
   るか否かを判定し、 同一平面を構成している画素または線分の対についての
   み複数の画像間で対応度の評価を行うことにより認識対
   象の各画像上での位置を特定することを特徴とする画像
   処理方法。