JP3742759B2

JP3742759B2 - Image processing apparatus and method

Info

Publication number: JP3742759B2
Application number: JP2001154570A
Authority: JP
Inventors: 隆三岡田; 恭弘谷口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-05-23
Filing date: 2001-05-23
Publication date: 2006-02-08
Anticipated expiration: 2021-05-23
Also published as: JP2002352249A

Description

【０００１】
【発明の属する技術分野】
本発明は、自動車などの車両に代表される移動体に取り付けられたＴＶカメラの画像を用いて、自車両の走行の障害となる物体を検出する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
自動車などの車両周辺の障害物を検出する手段として、大きく分けてレーダーを用いる方式と、画像を用いる方式が提案されている。
【０００３】
レーダーを用いる方式では、レーザーレーダー（特願平９−３０７９８）やミリ波レーダー（特開２００１−４２０２５）が多く用いられている。レーザーレーダーの方式は雨など悪天候に弱いという問題がある。ミリ波レーダーの方式には装置が高価になるという問題が存在する。さらにこれらレーダを用いた方式では、自車両の走行経路上の障害物かどうかが分からないという問題がある。
【０００４】
これに対して、画像を用いる方式では、自車両の走行レーンを検出することができるため、自車両の走行レーン上にある危険な障害物のみを検出できるという利点があり、また、装置も安価に構成することができる。
【０００５】
この画像を用いる方式には、複数のＴＶカメラを用いる方式と、単一のＴＶカメラを用いる方式がある。
【０００６】
複数のＴＶカメラを用いる方式には、三角測量の原理によって距離を計測することにより障害物を検出する方式（特願平１１−３１３７）と、路面より高い位置にあるものを障害物として検出する方式（特願平１１−１３０４５１）とがある。
【０００７】
また、単一のＴＶカメラを用いる方式には、画像上の物体の動きを計測することにより障害物を検出する方式（特願平５−２３４５９４、文献１「胡、内村、“変動背景における複数移動物体の検出及び同時追跡”、電学論Ｄ、１２０巻１０号」）と、画像のエッジ点（周辺の輝度値の変化が大きい画素）に基づいて障害物を検出する方式（特開平７−２８０５１７、特開平７−２８９７５）とがある。
【０００８】
さらに、レーダーと画像を組み合わせた方式（特願平９−３０８８４４、特願平１０−２９０３６８）も提案されている。
【０００９】
【発明が解決しようとする課題】
ところで、自車両の走行レーンを検出するためにＴＶカメラを必要とするので、このカメラを用いて障害物検出まで行うことができれば、コストの面で他のレーダーなどと組み合わせて障害物を検出する方式に比べて有利である。また、用いるカメラの数も複数より１台の方が当然コスト的に有利であり、また複数のカメラを用いる場合に必要なカメラ間の位置合わせ（キャリブレーション）の作業も必要なくなるため、簡単に装置を構成できるという利点もある。
【００１０】
この１台のＴＶカメラを用いる方式として、水平なエッジ線を前方の車両の下端として検出する手法（特開平７−２８０５１７、特開平７−２８９７５）があるが、見付けたエッジ線が路面上のペイントやアスファルトの継ぎ目などの可能性もあるため、誤検出を起こす問題がある。
【００１１】
文献２（Ｓ．ＣａｒｌｓｓｏｎとＪ．−Ｏ．Ｅｋｌｕｎｄｈは、“Ｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎｕｓｉｎｇｍｏｄｅｌｂａｓｅｄｐｒｅｄｉｃｔｉｏｎａｎｄｍｏｔｉｏｎｐａｒａｌｌａｘ”，Ｐｒｏｃ．ｏｆＥＣＣＶ，ｐｐ．２９７−３０６，１９９０）において、路面の動きを画面内の点の動きを用いて推定し、路面の動きと異なる動きをする領域を障害物領域として求める手法がある。この手法のように、路面の動きを推定する手法は、画像上で路面が比較的大きい面積を占めており、かつ、その路面に明瞭なテクスチャ（白線や横断歩道などのペイント）を必要とする。実際の走行環境ではこの様な条件が満たされないことも多いという問題がある。
【００１２】
文献１（胡、内村著、“変動背景における複数移動物体の検出及び同時追跡”、電学論Ｄ、１２０巻１０号）において、自車の進行方向を画面内の点の動きから推定し、背景の運動方向以外の動きを持っている領域を障害物として検出する手法がある。また、ＴＶカメラと路面との幾何学的な関係から、自車から障害物の接地面までの距離の変化を計算し、自車と路面の相対速度と異なる動きをしている移動物体を障害物として検出している。しかし、この手法では、路上に静止している物体が検出できないという問題がある。
【００１３】
本発明では、以上のような点を考慮し、車両の周辺をＴＶカメラを用いて撮影した画像列を用いて、自車両に衝突すると危険な障害物だけをもらさず検出する画像処理装置及びその方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
請求項１の発明は、実空間内を移動する移動体の移動方向に存在する物体を検出する画像処理装置において、前記移動体に取り付けられ、その移動方向を撮影した時系列画像を得る画像入力手段と、前記取り込まれた画像内において前記物体が写っているか否かを判定するための候補領域を設定する候補領域設定手段と、前記設定された候補領域に対して、実空間内に１つの仮想平面、または、法線方向の異なる複数の仮想平面を仮想的に設定する仮想平面設定手段と、前記設定した仮想平面に対応する候補領域の時間的な動きに関する情報に基づいて、前記候補領域に前記物体が写っているか否かを判定する判定手段と、を具備し、前記判定手段は、前記候補領域の時間的な動きに関する情報から得られた前記候補領域に相当する実空間内の仮想平面の法線方向と、前記移動体が走行している平面の法線方向と異なる場合には、その候補領域に物体が写っていると判定することを特徴とする画像処理装置である。
【００２２】
【発明の実施の形態】
本実施形態では、路面を走行中の自車両に衝突する危険のある他の車両などの障害物が、路面とは異なる法線方向の平面を含んでいることに着目する。
【００２３】
すなわち、障害物か否かを判定したい画像内のある候補領域が、実世界で路面と異なる法線方向を持っている場合、その領域を障害物領域として検出する。
【００２４】
障害物の平面の法線方向は、様々な法線方向を仮定して画像上の候補領域を追跡し、その追跡結果が実際に得られている画像と適合する法線方向を選択することにより推定される。
【００２５】
【実施例】
以下、図面を参照して本発明の実施形態を具体的に実現する一実施例を説明する。
【００２６】
図１に本実施例の基本的な構成例を示す。
【００２７】
車両に取り付けられ、車両周辺の画像を取得可能な装置（例えば、１台のＴＶカメラ）である画像入力部１によって得られた画像列から、候補領域設定部２によって、障害物かどうかを判定するための画像内の領域を設定する。
【００２８】
平面方向推定部３では、候補領域設定部２で設定された領域に対応する実空間内の物体表面の法線方向に関する情報を計算する。
【００２９】
障害物検出部４では、候補領域の平面の法線方向に関する情報を用いて、候補領域の法線方向が自車両が走行している路面の法線方向と異なるか否かを決定し、異なる場合にはその候補領域を障害物領域として検出する。
【００３０】
これら候補領域設定部２、平面方向推定部３、障害物検出部４は、コンピュータに記憶されたプログラムによって各機能を実現することができる。
【００３１】
以下では、候補領域設定部２、平面方向推定部３、障害物検出部４についての構成例を示す。
【００３２】
（ａ）候補領域設定部２
候補領域設定部２では、障害物かどうかを判定する画像内の領域を設定する。この領域の設定方法には、以下のような構成方法があり、いずれを用いてもよく、また組み合わせて用いてもよい。
【００３３】
１．画像の全体または一部を複数の固定の大きさの領域に重なりを許して分割し、それらそれぞれを候補領域とする。
【００３４】
２．車両に取り付けられたＴＶカメラで撮像された画像では、路面の無限遠線付近を視野内に含んでいることが多い事を考慮して、上記１の領域の分割の大きさを無限遠線に近いほど小さくする。
【００３５】
３．障害物と路面の境界は、水平なエッジ強度の強い線分（エッジ線）として観測されるので、このような水平エッジ線を検出して候補領域の下端とする。候補領域の幅と高さは、この線分の長さに基づいて決めるか、上記１のように固定、または、２のように無限遠線に近いほど小さくなるように決定する。
【００３６】
４．路面の表面は明瞭なテクスチャがないためエッジの強度が低い。それに対して、他の車両などの障害物は輪郭やその内部に強いエッジ点を持つので、上記１から３のようにして分割した領域のうち強いエッジ点を含む領域を候補領域とする。
【００３７】
５．自動車などの人工物は、左右対照な形状をしているものが多いので、上記１から３のようにして分割した領域のうち、画像上で左右対照な輝度分布をしている領域を候補領域とする。
【００３８】
６．障害物が出現しそうな場所を予め設定しておき、その領域に候補領域を上記のような方法によって設定する。
【００３９】
（ｂ）平面方向推定部３
平面方向推定部３の構成例を図２に示し、仮想平面設定部３１と、候補領域追跡部３２と、適合度計算部３３とから構成される。
【００４０】
仮想平面設定部３１は、候補領域設定部２で設定されたそれぞれの候補領域に対して、法線方向の異なる複数の平面を実空間内に仮定する。
【００４１】
候補領域追跡部３２は、候補領域に対応する実空間内の物体表面の平面の法線方向が、仮想平面の法線方向と一致するという仮定のもとで、画像内において候補領域を追跡する。
【００４２】
適合度計算部３３は、それぞれの仮想平面に対する追跡結果と、実際に得られている画像との適合度を計算する。
【００４３】
（ｂ−１）仮想平面設定部３１
ＴＶカメラに固定な座標系Ｏ_Ｃ−ＸＹＺと、候補領域に相当する実空間内の物体に固定な座標系Ｏ_ｏ−ＸＹＺをとる（図３参照）。障害物は路面上に接しているので、物体に固定な座標系の原点Ｏ_ｏは、候補領域の下端の線分を路面上へ逆投影した線分の中点とし、ＸＺ平面は路面上に、Ｚ軸は自車両の進行方向と平行に、Ｙ軸は路面と垂直にとる。
【００４４】
仮定する平面は、物体に固定な座標系で表すと、法線ベクトルがＫ_ｏ＝（Ｋ_ＯＸＫ_ｏｙＫ_ｏｚ）^Ｔで、原点Ｏ_ｏを通る平面であり、次式で表される。
【００４５】
【数１】

いくつの平面を仮定するかは任意である。例えば、道路を走っている自動車から前方を撮影した画像では、障害物として他の自動車が考えられる。この場合、他の自動車として路面と自車両の進行方向に垂直な平面Ｋ_ｏ＝（００１）^Ｔと、路面Ｋ_ｏ＝（０１０）^Ｔの２平面を仮定すればよい。
【００４６】
カメラ座標系Ｏ_Ｃ−ＸＹＺから物体に固定な座標系Ｏ_ｏ−ＸＹＺへの変換は、同時座標系で次のようになる。
【００４７】
【数２】

ここで、Ｐ_ｈｃ＝（Ｘ_ｃＹ_ｃＺ_ｃ１）^Ｔはカメラ座標系Ｏ_Ｃ−ＸＹＺでのある点Ｐ_ｃの同時座標表現、Ｐ_ｈｏは物体に固定な座標系Ｏ_ｏ−ＸＹＺでのＰ_ｈｃに対応する点、Ｑ_ｃｏは座標系Ｏ_Ｃ−ＸＹＺから座標系Ｏ_ｏ−ＸＹＺへの変換を表す４×４の行列、Ｒ_ｃｏ、Ｔ_ｃｏはそれぞれ座標系の回転、平行移動を表す行列とベクトルである。Ｑ_ｃｏを定めるためには、路面に対するカメラの取り付け位置と角度が分かっていなければならないので、本方式では予めこれらを計測しておく。この変換行列Ｑ_ｃｏを用いると、式（１）で表される平面をカメラ座標系で表すことができ、その変換は次式のようになる。
【００４８】
【数３】

変換後の平面は、次式の様な形に整理できる。
【００４９】
【数４】

（ｂ−２）候補領域追跡部３２
カメラ座標系において、シーン中のある点Ｐ_ｐ＝（Ｘ_ｐＹ_ｐＺ_ｐ）^Ｔを画像平面に投影した点ｐ_ｐ＝（ｘ_ｐｙ_ｐ）^Ｔは、画像の歪みのない理想的な透視投影カメラモデルを仮定すると、次式のようになる。
【００５０】
【数５】

ここで、ｆは既知の焦点距離、λはスケールファクタである。
【００５１】
点Ｐ_ｐが、カメラ座標系の原点を中心にＲ＝（Ｒ_ｘＲ_ｙＲ_ｚ）^Ｔだけ回転移動し、Ｔ＝（Ｔ_ｘＴ_ｙＴ_ｚ）^Ｔだけ平行移動すると、移動後の画像上での点ｐ_ｉ＝（ｘ_ｉｙ_ｉ）^Ｔは次式のようになる。
【００５２】
【数６】

【数７】

上式に、平面の方程式（４）を代入して整理すると、次式のようになる。
【００５３】
【数８】

ここで、Ｋ_ｃ＝（Ｋ_ｃｘＫ_ｃｙＫ_ｃｚ）^Ｔである。
【００５４】
【数９】

【数１０】

ここで、Ｐは１つの候補領域内のピクセルの集合を表す。Ｋ_ｃは仮想平面設定部３１で設定した平面の向きを用いる。
【００５５】
運動パラメータＴ、Ｒの推定には、必ずしも式（１０）のようなＳＡＤの最小化を用いる必要はなく、他にも輝度値の差の二乗和の最小化、輝度分布の相関値の最大化、輝度値の微分値の差の絶対（二乗）和の最小化などが考えられる。このような最適化問題を解くことによって行われる追跡処理は、（候補領域設定部２で設定した候補領域の数）×（仮想平面設定部３１で設定した平面の数）だけ独立に行われる。
【００５６】
シーンによっては必ずしも並進と回転の６パラメータ全てを求める必要はなく、自車両とシーン中の物体の間の相対運動に含まれないパラメータには０を代入して、計算量を減らすことができる。
【００５７】
例えば、道路上を走行している自動車に搭載されたＴＶカメラが、進行方向の無限遠点をほぼ画像の中央に捉えている場合、カメラ座標系のＺ軸周りの回転運動はほとんどないので０とすることができる。また、車両の鉛直方向の並進運動もほとんどないので０とすることができる。これは一般的に述べると、あるパラメータが他のパラメータに従属している場合、その拘束式を式（１０）に代入して、推定するパラメータの次元を減らすことに相当する。
【００５８】
式（１０）によって候補領域に相当するシーン中の物体の運動パラメータを求める追跡処理は、毎フレーム行われるが、計算量の削減のために以下のような処理の流れで行う。
【００５９】
まず、候補領域を定めた次のフレームでは、すべての運動パラメータを０に初期化し、その周辺で式（１０）の最小化を行う。その後のフレームでは、前回の運動パラメータの周辺で最小化を行う。
【００６０】
（ｂ−３）適合度計算部３３
ある候補領域において、間違った平面の方向を仮定して追跡した場合、候補領域に相当するシーン中の物体の現在のフレームにおける輝度分布と、追跡結果の運動パラメータを用いて初期の候補領域の輝度分布を現在の画像上に移動させた輝度分布が異なってくる。
【００６１】
一方、正しい平面方向を仮定して追跡を行った場合、この様なことは起こらないので、式（１０）で最小化を行ったときの残差や、残差を候補領域の面積で割った値を、追跡結果と現在の画像の適合度の指標として用いる。すなわち、残差が小さいほど適合度は高いので、この場合は非適合度となる。
【００６２】
また、実際の車両と障害物の相対速度としてはあり得ない運動パラメータを推定結果として出力した場合には、その平面の現在の画像に対する適合度は低く設定する。例えば、平面上を走行している車両の場合、その平面の法線方向の並進運動が大きいものは低い適合度を出力する。
【００６３】
（ｃ）障害物検出部４
障害物検出部４では、適合度計算部３３で計算された、それぞれの仮想平面に対する適合度を用いて、それぞれの候補領域が障害物となるかどうかを判定する。以下では、式（１０）によって追跡処理を行ったときの残差を候補領域の面積で割った値を適合度の指標として用いる場合について以下に述べる。
【００６４】
ある候補領域ｃの仮想平面ｋに関して、フレームｇでの残差を候補領域ｃの面積で割った値をＤ_ｃ（ｇ，ｋ）と表し、非適合度と呼ぶ。路面に相当する仮想平面ｋ_ｒの非適合度Ｄ_ｃ（ｇ，ｋ_ｒ）と、障害物に相当する仮想平面ｋ_ｄの非適合度Ｄ_ｃ（ｇ，ｋ_ｄ）の差を、候補領域ｃが設定されたフレームｇ_ｐから現在のフレームｇ_ｉまで、次式のように加算する。
【００６５】
【数１１】

Ｓ_ｃ（ｇ_ｉ，ｋ_ｄ）がある正の閾値を超えたとき、候補領域ｃを障害物領域と決定する。
【００６６】
＜変更例１＞
本発明は、上記実施例で記載した内容に限定されるものではない。
【００６７】
候補領域追跡部３２において、候補領域内の各点の動きベクトル（フローベクトル）を計算し、適合度計算部３３において、このフローベクトルの分布に基づいて、各仮想平面に対する適合度を計算することもできる。
【００６８】
例えば、簡単のために図５の様な１次元のフローベクトルで考えるとする。
【００６９】
すると、カメラの光軸に対して垂直な平面のフローベクトルは、光軸と画像平面の交点からの距離の一次関数になっている。また、路面上のフローベクトルは、前記距離の二次関数になっている。すなわち、カメラの光軸に対して任意の角度を有する平面のフローベクトルと、前記距離との関数は、その角度に対応して一義的に決定される。
【００７０】
そこで、この事実を応用して仮想平面におけるフローベクトルに関する関数（フローベクトルの分布）が、実際の画像から得られたフローベクトルに関する関数（フローベクトルの分布）と近いか否かで適合度を表すことができる。
【００７１】
＜変更例２＞
車両にスピードメータやハンドル舵角などの各種センサーが取り付けられており、これらの情報を用いることが可能な場合、平面方向推定部３の構成（図２参照）を以下のようにすることも可能である。
【００７２】
候補領域追跡部３２において、候補領域内の各点のフローベクトルを計算する。
【００７３】
同時に、適合度計算部３３において、車両に取り付けられたセンサー群の情報を用いて、上記フローベクトルを計算した２枚の画像を取得する間の車両の移動量を計算し、この移動量から各仮想平面のフローベクトルを計算する。
【００７４】
次に、適合度計算部３３において、実際の画像から計算された動きベクトルｖ_ｒ（ｘ，ｙ）とセンサー情報から計算された仮想平面の動きベクトルｖ_ｖ（ｘ，ｙ）の差を表す量を計算し、それを非適合度として出力する。差を表す量としては、ｖ_ｒ（ｘ，ｙ）とｖ_ｖ（ｘ，ｙ）の差の二乗和や、絶対和、差の二乗（絶対値）の平均値などが考えられる。
【００７５】
＜変更例３＞
道路の側壁などのように、背景となる平面を予め想定できる場合は、仮想平面設定部３１において想定される背景の仮想平面を設定し、候補領域追跡部３２においてこの領域のフローベクトルと、センサー情報から背景の仮想平面のフローベクトルを計算し、適合度計算部３３ではこれらのフローベクトル間の非適合度を計算する。
【００７６】
障害物検出部４においては、この非適合度が高いものを障害物として検出する。この方法では、想定した背景と異なる運動をしている移動物体を検出できる。
【００７７】
【発明の効果】
本発明によれば、移動体に取り付けられた移動体の周辺を観測する１つのＴＶカメラの画像列を用いて、衝突する危険のある障害物のみをもらさず検出することが可能となり、移動体の安全走行、搭乗者の負荷軽減に貢献する。
【図面の簡単な説明】
【図１】本発明の一実施例の構成を示すブロック図である。
【図２】図１の平面方向推定部一実施例を示すブロック図である。
【図３】座標系の配置の説明図である。
【図４】候補領域の追跡方法の説明図である。
【図５】変更例の説明のための１次元のフローベクトルの説明図である。
【符号の説明】
１画像入力部
２候補領域設定部
３平面方向推定部
４障害物検出部
３１仮想平面設定部
３２候補領域追跡部
３３適合度計算部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and method for detecting an object that obstructs running of a host vehicle using an image of a TV camera attached to a moving body typified by a vehicle such as an automobile.
[0002]
[Prior art]
As means for detecting obstacles around a vehicle such as an automobile, a method using a radar and a method using an image have been proposed.
[0003]
Laser radars (Japanese Patent Application No. 9-30798) and millimeter wave radars (Japanese Patent Laid-Open No. 2001-42025) are often used in the radar system. The laser radar method is vulnerable to bad weather such as rain. The millimeter wave radar system has a problem that the device becomes expensive. Furthermore, these radar systems have a problem that it is not known whether the vehicle is an obstacle on the traveling route of the vehicle.
[0004]
On the other hand, the method using the image can detect the traveling lane of the own vehicle, and therefore has an advantage that only a dangerous obstacle on the traveling lane of the own vehicle can be detected, and the apparatus is also inexpensive. Can be configured.
[0005]
As a method using this image, there are a method using a plurality of TV cameras and a method using a single TV camera.
[0006]
In the system using a plurality of TV cameras, an obstacle is detected by measuring a distance based on the principle of triangulation (Japanese Patent Application No. 11-3137), and an object located above the road surface is detected as an obstacle. System (Japanese Patent Application No. 11-130451).
[0007]
The method using a single TV camera is a method for detecting an obstacle by measuring the movement of an object on an image (Japanese Patent Application No. 5-234594, Document 1, “Hu, Uchimura,” Detection and simultaneous tracking of moving objects ", Electrotechnical D, Vol. 120, No. 10") and a method for detecting obstacles based on image edge points (pixels with large changes in peripheral luminance values) -280517 and JP-A-7-28975).
[0008]
Furthermore, methods combining radar and images (Japanese Patent Application Nos. 9-308844 and 10-290368) have also been proposed.
[0009]
[Problems to be solved by the invention]
By the way, since a TV camera is required to detect the traveling lane of the host vehicle, if the obstacle detection can be performed using this camera, the obstacle is detected in combination with other radars in terms of cost. It is advantageous compared to the method. In addition, the number of cameras to be used is naturally more advantageous in terms of cost than one in number, and it is not necessary to perform calibration between the cameras required when using a plurality of cameras. There is also an advantage that the apparatus can be configured.
[0010]
As a method using this single TV camera, there is a method (JP-A-7-280517, JP-A-7-28975) for detecting a horizontal edge line as the lower end of a vehicle ahead, but the found edge line is on the road surface. There is a possibility of false detection because there is a possibility of a joint of paint or asphalt.
[0011]
In Reference 2 (S. Carlsson and J.-O. Eklundh “Object detection using model based prediction and motion parallel”, Proc. Of ECCV, pp. 297-306, 1990). There is a method of obtaining an area that moves differently from the road surface as an obstacle area. Like this method, the method of estimating the movement of the road surface occupies a relatively large area on the image and requires a clear texture (white line, pedestrian crossing paint, etc.) on the road surface. . There is a problem that such a condition is often not satisfied in an actual driving environment.
[0012]
In Reference 1 (Hu, Uchimura, “Detection and Simultaneous Tracking of Multiple Moving Objects in Fluctuating Backgrounds”, Electrical Engineering D, Vol. 120, No. 10), the traveling direction of the vehicle is estimated from the movement of points on the screen. There is a method of detecting an area having a motion other than the background motion direction as an obstacle. In addition, from the geometric relationship between the TV camera and the road surface, the change in the distance from the vehicle to the ground contact surface of the obstacle is calculated to obstruct moving objects that move differently from the relative speed of the vehicle and the road surface. It is detected as an object. However, this method has a problem that an object that is stationary on the road cannot be detected.
[0013]
In the present invention, in consideration of the above points, an image processing apparatus for detecting without detecting only dangerous obstacles when colliding with the host vehicle using an image sequence obtained by photographing the periphery of the vehicle using a TV camera and its It aims to provide a method.
[0014]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided an image processing device for detecting an object existing in a moving direction of a moving body moving in a real space, and an image input for obtaining a time-series image attached to the moving body and photographing the moving direction. Means, a candidate area setting means for setting a candidate area for determining whether or not the object is shown in the captured image, and one candidate in real space for the set candidate area. Based on the virtual plane setting means for virtually setting a virtual plane or a plurality of virtual planes having different normal directions, and the candidate area based on information on temporal movement of the candidate area corresponding to the set virtual plane the provided object determination means for whether is reflected, to the determining means, the real space corresponding to the candidate area obtained from the information on the temporal movement of the candidate region The normal direction of the virtual plane, wherein when the moving body is different from the normal direction of the plane running is an image processing apparatus characterized by determining that the captured the object to the candidate area.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
In the present embodiment, attention is paid to the fact that obstacles such as other vehicles that may collide with the host vehicle traveling on the road surface include a plane in the normal direction different from the road surface.
[0023]
That is, when a certain candidate area in an image to be determined whether or not it is an obstacle has a normal direction different from the road surface in the real world, the area is detected as an obstacle area.
[0024]
The normal direction of the obstacle plane is determined by tracking the candidate area on the image assuming various normal directions and selecting the normal direction that matches the actual result of the tracking result. Presumed.
[0025]
【Example】
Hereinafter, an example that specifically realizes an embodiment of the present invention will be described with reference to the drawings.
[0026]
FIG. 1 shows a basic configuration example of this embodiment.
[0027]
A candidate area setting unit 2 determines whether an object is an obstacle from an image sequence obtained by an image input unit 1 that is an apparatus (for example, one TV camera) attached to a vehicle and capable of acquiring an image around the vehicle. Set the area in the image to do.
[0028]
The plane direction estimation unit 3 calculates information related to the normal direction of the object surface in the real space corresponding to the region set by the candidate region setting unit 2.
[0029]
The obstacle detection unit 4 determines whether or not the normal direction of the candidate area is different from the normal direction of the road surface on which the host vehicle is traveling by using information on the normal direction of the plane of the candidate area. In this case, the candidate area is detected as an obstacle area.
[0030]
The candidate area setting unit 2, the plane direction estimation unit 3, and the obstacle detection unit 4 can realize each function by a program stored in the computer.
[0031]
Below, the structural example about the candidate area | region setting part 2, the plane direction estimation part 3, and the obstruction detection part 4 is shown.
[0032]
(A) Candidate area setting unit 2
The candidate area setting unit 2 sets an area in the image for determining whether the object is an obstacle. This area setting method includes the following configuration methods, which may be used, or may be used in combination.
[0033]
1. The entire image or a part of the image is divided into a plurality of fixed-size areas with overlapping, and each of them is set as a candidate area.
[0034]
2. In consideration of the fact that the image captured by the TV camera attached to the vehicle often includes the vicinity of the infinity line on the road surface in the field of view, the size of the division of the region 1 is set to the infinity line. The closer it is, the smaller.
[0035]
3. Since the boundary between the obstacle and the road surface is observed as a line segment (edge line) having a strong horizontal edge strength, such a horizontal edge line is detected and set as the lower end of the candidate area. The width and height of the candidate area are determined based on the length of this line segment, or fixed as shown in 1 above or so as to become smaller as the line approaches infinity as shown in 2.
[0036]
4). Since the road surface has no clear texture, the edge strength is low. On the other hand, since obstacles such as other vehicles have strong edge points in the contour and inside thereof, a region including strong edge points among the regions divided as described in 1 to 3 above is set as a candidate region.
[0037]
5. Since many artifacts such as automobiles have a right-and-left contrast shape, out of the areas divided as described in 1 to 3 above, an area having a right-and-left brightness distribution on the image is a candidate area. And
[0038]
6). A place where an obstacle is likely to appear is set in advance, and a candidate area is set in that area by the method described above.
[0039]
(B) Plane direction estimation unit 3
A configuration example of the plane direction estimation unit 3 is shown in FIG. 2, and includes a virtual plane setting unit 31, a candidate area tracking unit 32, and a fitness calculation unit 33.
[0040]
The virtual plane setting unit 31 assumes a plurality of planes with different normal directions in the real space for each candidate region set by the candidate region setting unit 2.
[0041]
The candidate area tracking unit 32 tracks the candidate area in the image under the assumption that the normal direction of the plane of the object surface in the real space corresponding to the candidate area matches the normal direction of the virtual plane. .
[0042]
The goodness-of-fit calculation unit 33 calculates the goodness of fit between the tracking result for each virtual plane and the actually obtained image.
[0043]
(B-1) Virtual plane setting unit 31
And the TV camera to a fixed coordinate system _O C -xyz, the object fixed coordinate system _O o -xyz in the real space corresponding to the candidate region take (see Figure 3). Since the obstacle is in contact with the road surface, the origin O _{o of the} coordinate system fixed to the object is the midpoint of the back-projected line segment at the lower end of the candidate area on the road surface, and the XZ plane is on the road surface. The Z axis is parallel to the traveling direction of the host vehicle, and the Y axis is perpendicular to the road surface.
[0044]
The assumed plane is a plane passing through the origin O _o with a normal vector of K _o = (K _OX K _oy K _oz ) ^{T when} expressed in a coordinate system fixed to the object, and is expressed by the following equation.
[0045]
[Expression 1]

How many planes are assumed is arbitrary. For example, in an image taken in front of a car running on a road, another car can be considered as an obstacle. In this case, a plane perpendicular _K o = ^{(001) T} in the traveling direction of the host vehicle and the road surface as the other car, may be assumed to two planes of the road surface _K o = ^{(010) T.}
[0046]
Conversion from the camera coordinate system _O C -xyz to the fixed coordinate system _O o -xyz the object is as follows simultaneous coordinate system.
[0047]
[Expression 2]

Here, P _hc = (X _c Y _c Z _c 1) ^T is a simultaneous coordinate representation of a point P _{c in} the camera coordinate system O _C -XYZ, and P _ho is in a coordinate system O _o -XYZ fixed to the object. point corresponding to P _{_hc, Q co} represents a 4 × 4 matrix representing the transformation from the coordinate system _O C -xyz to the coordinate system _{_{_{O o -XYZ, R co, T}}} co is the rotation of the respective coordinate systems, the translation Matrix and vector. In order to determine Q _co , the camera mounting position and angle with respect to the road surface must be known. In this method, these are measured in advance. By using this transformation matrix _Qco , the plane represented by the equation (1) can be represented by the camera coordinate system, and the transformation is represented by the following equation.
[0048]
[Equation 3]

The converted plane can be organized as shown in the following equation.
[0049]
[Expression 4]

(B-2) Candidate area tracking unit 32
In the camera coordinate system, a point p _p = (x _p y _p ) ^{T obtained} by projecting a point P _p = (X _p Y _p Z _p ) ^T in the scene onto the image plane is an ideal perspective without image distortion. Assuming a projection camera model, the following equation is obtained.
[0050]
[Equation 5]

Here, f is a known focal length , and λ is a scale factor .
[0051]
When the point P _p rotates and moves by R = (R _x R _y R _z ) ^T around the origin of the camera coordinate system and translates by T = (T _x T _y T _z ) ^T , the image on the moved image The point p _i = (x _i y _i ) ^{T at}
[0052]
[Formula 6]

[Expression 7]

Substituting the plane equation (4) into the above equation and rearranging it yields the following equation.
[0053]
[Equation 8]

Here, K _c = (K _cx K _cy K _cz ) ^T.
[0054]
[Equation 9]

[Expression 10]

Here, P represents a set of pixels in one candidate region. K _c is used the orientation of the plane set by the virtual plane setting unit 31.
[0055]
It is not always necessary to use the SAD minimization as shown in the equation (10) for the estimation of the motion parameters T and R. In addition, the square sum of the luminance value difference is minimized, and the correlation value of the luminance distribution is maximized. It is conceivable to minimize the absolute (square) sum of the differences between the luminance values. The tracking process performed by solving such an optimization problem is independently performed by (number of candidate areas set by the candidate area setting unit 2) × (number of planes set by the virtual plane setting unit 31).
[0056]
Depending on the scene, it is not always necessary to obtain all six parameters of translation and rotation, and it is possible to reduce the calculation amount by substituting 0 for parameters not included in the relative motion between the host vehicle and the object in the scene.
[0057]
For example, if a TV camera mounted on a car traveling on a road captures the point of infinity in the direction of travel almost at the center of the image, there is almost no rotational movement around the Z axis of the camera coordinate system. It can be. Further, since there is almost no translational movement in the vertical direction of the vehicle, it can be set to zero. Generally speaking, this is equivalent to reducing the dimension of the parameter to be estimated by substituting the constraint equation into equation (10) when a certain parameter is dependent on another parameter.
[0058]
The tracking process for obtaining the motion parameter of the object in the scene corresponding to the candidate area according to Expression (10) is performed every frame, but is performed according to the following process flow in order to reduce the amount of calculation.
[0059]
First, in the next frame in which the candidate area is determined, all motion parameters are initialized to 0, and the expression (10) is minimized in the vicinity thereof. In subsequent frames, minimization is performed around the previous motion parameter.
[0060]
(B-3) Goodness-of-fit calculation unit 33
When tracking is performed assuming a wrong plane direction in a candidate area, the brightness of the initial candidate area is calculated using the luminance distribution in the current frame of the object in the scene corresponding to the candidate area and the motion parameter of the tracking result. The luminance distribution obtained by moving the distribution on the current image is different.
[0061]
On the other hand, when tracking is performed assuming a correct plane direction, this does not happen. Therefore, the residual when the minimization is performed in Equation (10), and the residual is divided by the area of the candidate region. The value is used as an index of the goodness of fit between the tracking result and the current image. That is, the smaller the residual is, the higher the fitness is, and in this case, the fitness is not good.
[0062]
In addition, when a motion parameter that cannot be assumed as the relative speed between the actual vehicle and the obstacle is output as an estimation result, the degree of fitness of the plane with respect to the current image is set low. For example, in the case of a vehicle traveling on a plane, a vehicle having a large translational motion in the normal direction of the plane outputs a low fitness.
[0063]
(C) Obstacle detection unit 4
The obstacle detection unit 4 determines whether or not each candidate area becomes an obstacle using the degree of matching for each virtual plane calculated by the degree of matching calculation unit 33. Hereinafter, a case where a value obtained by dividing the residual when the tracking process is performed by Expression (10) by the area of the candidate region is used as an index of the fitness will be described below.
[0064]
For a virtual plane k of a certain candidate area c, a value obtained by dividing the residual in the frame g by the area of the candidate area c is expressed as D _c (g, k) and is called non-conformity. The difference between the non-conformity D _c (g, k _r ) of the virtual plane k _r corresponding to the road surface and the non-conformity D _c (g, k _d ) of the virtual plane k _d corresponding to the obstacle is obtained as a candidate area c. Is added from the frame g _p in which is set to the current frame g _i as shown in the following equation.
[0065]
## EQU11 ##

When S _c (g _i , k _d ) exceeds a certain positive threshold, the candidate area c is determined as an obstacle area.
[0066]
<Modification 1>
The present invention is not limited to the contents described in the above embodiments.
[0067]
The candidate area tracking unit 32 calculates a motion vector (flow vector) of each point in the candidate area, and the fitness calculation unit 33 calculates the fitness for each virtual plane based on the flow vector distribution. You can also.
[0068]
For example, let us consider a one-dimensional flow vector as shown in FIG. 5 for simplicity.
[0069]
Then, the flow vector of the plane perpendicular to the optical axis of the camera is a linear function of the distance from the intersection of the optical axis and the image plane. The flow vector on the road surface is a quadratic function of the distance. That is, a function of a plane flow vector having an arbitrary angle with respect to the optical axis of the camera and the distance is uniquely determined corresponding to the angle.
[0070]
Therefore, by applying this fact, the fitness is expressed by whether or not the function (flow vector distribution) on the virtual plane is close to the function (flow vector distribution) obtained from the actual image. be able to.
[0071]
<Modification 2>
When various sensors such as a speedometer and a steering angle are attached to the vehicle and such information can be used, the configuration of the plane direction estimation unit 3 (see FIG. 2) can be configured as follows. It is.
[0072]
The candidate area tracking unit 32 calculates a flow vector for each point in the candidate area.
[0073]
At the same time, the degree-of-fit calculation unit 33 uses the information of the sensor group attached to the vehicle to calculate the amount of movement of the vehicle during the acquisition of the two images obtained by calculating the flow vector. Calculate the flow vector of the virtual plane.
[0074]
Next, in the fitness calculation unit 33, an amount representing the difference between the motion vector v _r (x, y) calculated from the actual image and the virtual plane motion vector v _v (x, y) calculated from the sensor information. Is calculated and output as non-conformity. As an amount representing the difference, a sum of squares of a difference between v _r (x, y) and v _v (x, y), an absolute sum, an average value of the square of the difference (absolute value), or the like can be considered.
[0075]
<Modification 3>
When a plane as a background can be assumed in advance, such as a road side wall, a virtual background plane assumed in the virtual plane setting unit 31 is set, and a flow vector of this area and a sensor are set in the candidate area tracking unit 32 The flow vector of the background virtual plane is calculated from the information, and the goodness-of-fit calculation unit 33 calculates the non-fitness between these flow vectors.
[0076]
The obstacle detection unit 4 detects an object having a high non-conformity as an obstacle. With this method, it is possible to detect a moving object that moves differently from the assumed background.
[0077]
【The invention's effect】
According to the present invention, it is possible to detect an obstacle having a risk of collision without using an image sequence of a single TV camera that observes the periphery of the moving object attached to the moving object. Contributes to safe driving and reduced passenger burden.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
FIG. 2 is a block diagram illustrating an example of a plane direction estimation unit in FIG. 1;
FIG. 3 is an explanatory diagram of an arrangement of a coordinate system.
FIG. 4 is an explanatory diagram of a candidate area tracking method;
FIG. 5 is an explanatory diagram of a one-dimensional flow vector for explaining a modified example.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image input part 2 Candidate area | region setting part 3 Plane direction estimation part 4 Obstacle detection part 31 Virtual plane setting part 32 Candidate area tracking part 33 Suitability calculation part

Claims

In an image processing apparatus that detects an object that exists in a moving direction of a moving body that moves in real space,
An image input means attached to the moving body to obtain a time-series image of the moving direction;
Candidate area setting means for setting a candidate area for determining whether or not the object is reflected in the captured image;
Virtual plane setting means for virtually setting one virtual plane in the real space or a plurality of virtual planes having different normal directions with respect to the set candidate area;
Determination means for determining whether or not the object is reflected in the candidate area based on information on temporal movement of the candidate area corresponding to the set virtual plane;
Equipped with,
The determination means includes
When the normal direction of the virtual plane in the real space corresponding to the candidate area obtained from the information on the temporal movement of the candidate area is different from the normal direction of the plane on which the moving body is traveling An image processing apparatus that determines that an object is reflected in the candidate area .

The determination means includes
Candidate area tracking means for obtaining information on temporal movement of the candidate area corresponding to the set virtual plane;
The degree of fitness that is the degree to which the object is reflected from the information related to the temporal movement of the candidate area, the information based on the actual image captured by the image input means, or the information related to the running state of the moving body Goodness-of-fit calculation means for calculating
Detection means for determining whether or not the object is a candidate area based on the fitness calculated by the fitness calculation means;
The image processing apparatus according to claim 1, further comprising:

The fitness calculation means includes:
A luminance distribution in the current image of the object corresponding to the candidate area, and a luminance distribution obtained by moving the luminance distribution of the initial candidate area onto the current image using information on temporal movement of the candidate area. The image processing apparatus according to claim 2, wherein an amount representing a difference is used as a fitness.

The fitness calculation means includes:
The image processing apparatus according to claim 2, wherein an amount representing a difference between the information regarding the temporal movement of the candidate area and the information regarding the traveling state of the moving body is adapted.

In an image processing method for detecting an object existing in a moving direction of a moving body moving in a real space,
A candidate area setting step for setting a candidate area for determining whether or not the object is reflected in an image captured by an image input unit that is attached to the moving body and obtains a time-series image obtained by photographing the moving direction. When,
A virtual plane setting step for virtually setting one virtual plane in the real space or a plurality of virtual planes having different normal directions with respect to the set candidate area;
A determination step of determining whether or not the object is reflected in the candidate area based on information on temporal movement of the candidate area corresponding to the set virtual plane;
Comprising
In the determination step,
When the normal direction of the virtual plane in the real space corresponding to the candidate area obtained from the information on the temporal movement of the candidate area is different from the normal direction of the plane on which the moving body is traveling An image processing method characterized by determining that an object is reflected in the candidate area .

  In the determination step,
  A candidate area tracking step for obtaining information on temporal movement of the candidate area corresponding to the set virtual plane;
  The degree of suitability that is the degree to which the object is reflected from the information about the temporal movement of the candidate area and the information based on the actual image captured in the image input step or the information about the running state of the moving body A fitness calculation step for calculating
  A detection step for determining whether or not the object is a candidate region based on the fitness calculated in the fitness calculation step;
  Equipped with
  The image processing method according to claim 5.

In a program for realizing, by a computer, an image processing method for detecting an object existing in the moving direction of a moving body moving in a real space,
Candidate area setting function for setting a candidate area for determining whether or not the object is shown in an image captured by an image input unit that is attached to the moving body and obtains a time-series image obtained by photographing the moving direction. When,
A virtual plane setting function for virtually setting one virtual plane in the real space or a plurality of virtual planes having different normal directions with respect to the set candidate area;
A determination function for determining whether or not the object is reflected in the candidate area based on information on temporal movement of the candidate area corresponding to the set virtual plane;
Realized ,
The determination function is:
When the normal direction of the virtual plane in the real space corresponding to the candidate area obtained from the information on the temporal movement of the candidate area is different from the normal direction of the plane on which the moving body is traveling A program for an image processing method, wherein it is determined that an object is reflected in the candidate area .

  The determination function is:
  A candidate area tracking function for obtaining information on temporal movement of the candidate area corresponding to the set virtual plane;
  The degree of fitness that is the degree to which the object is reflected from the information on the temporal movement of the candidate area and the information based on the actual image captured by the image input function or the information on the running state of the moving body A fitness calculation function for calculating
  A detection function for determining whether the object is a candidate area based on the fitness calculated by the fitness calculation function;
  Equipped with
  The image processing method program according to claim 7.