JP3742759B2

JP3742759B2 - 画像処理装置及びその方法

Info

Publication number: JP3742759B2
Application number: JP2001154570A
Authority: JP
Inventors: 隆三岡田; 恭弘谷口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-05-23
Filing date: 2001-05-23
Publication date: 2006-02-08
Anticipated expiration: 2021-05-23
Also published as: JP2002352249A

Description

【０００１】
【発明の属する技術分野】
本発明は、自動車などの車両に代表される移動体に取り付けられたＴＶカメラの画像を用いて、自車両の走行の障害となる物体を検出する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
自動車などの車両周辺の障害物を検出する手段として、大きく分けてレーダーを用いる方式と、画像を用いる方式が提案されている。
【０００３】
レーダーを用いる方式では、レーザーレーダー（特願平９−３０７９８）やミリ波レーダー（特開２００１−４２０２５）が多く用いられている。レーザーレーダーの方式は雨など悪天候に弱いという問題がある。ミリ波レーダーの方式には装置が高価になるという問題が存在する。さらにこれらレーダを用いた方式では、自車両の走行経路上の障害物かどうかが分からないという問題がある。
【０００４】
これに対して、画像を用いる方式では、自車両の走行レーンを検出することができるため、自車両の走行レーン上にある危険な障害物のみを検出できるという利点があり、また、装置も安価に構成することができる。
【０００５】
この画像を用いる方式には、複数のＴＶカメラを用いる方式と、単一のＴＶカメラを用いる方式がある。
【０００６】
複数のＴＶカメラを用いる方式には、三角測量の原理によって距離を計測することにより障害物を検出する方式（特願平１１−３１３７）と、路面より高い位置にあるものを障害物として検出する方式（特願平１１−１３０４５１）とがある。
【０００７】
また、単一のＴＶカメラを用いる方式には、画像上の物体の動きを計測することにより障害物を検出する方式（特願平５−２３４５９４、文献１「胡、内村、“変動背景における複数移動物体の検出及び同時追跡”、電学論Ｄ、１２０巻１０号」）と、画像のエッジ点（周辺の輝度値の変化が大きい画素）に基づいて障害物を検出する方式（特開平７−２８０５１７、特開平７−２８９７５）とがある。
【０００８】
さらに、レーダーと画像を組み合わせた方式（特願平９−３０８８４４、特願平１０−２９０３６８）も提案されている。
【０００９】
【発明が解決しようとする課題】
ところで、自車両の走行レーンを検出するためにＴＶカメラを必要とするので、このカメラを用いて障害物検出まで行うことができれば、コストの面で他のレーダーなどと組み合わせて障害物を検出する方式に比べて有利である。また、用いるカメラの数も複数より１台の方が当然コスト的に有利であり、また複数のカメラを用いる場合に必要なカメラ間の位置合わせ（キャリブレーション）の作業も必要なくなるため、簡単に装置を構成できるという利点もある。
【００１０】
この１台のＴＶカメラを用いる方式として、水平なエッジ線を前方の車両の下端として検出する手法（特開平７−２８０５１７、特開平７−２８９７５）があるが、見付けたエッジ線が路面上のペイントやアスファルトの継ぎ目などの可能性もあるため、誤検出を起こす問題がある。
【００１１】
文献２（Ｓ．ＣａｒｌｓｓｏｎとＪ．−Ｏ．Ｅｋｌｕｎｄｈは、“Ｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎｕｓｉｎｇｍｏｄｅｌｂａｓｅｄｐｒｅｄｉｃｔｉｏｎａｎｄｍｏｔｉｏｎｐａｒａｌｌａｘ”，Ｐｒｏｃ．ｏｆＥＣＣＶ，ｐｐ．２９７−３０６，１９９０）において、路面の動きを画面内の点の動きを用いて推定し、路面の動きと異なる動きをする領域を障害物領域として求める手法がある。この手法のように、路面の動きを推定する手法は、画像上で路面が比較的大きい面積を占めており、かつ、その路面に明瞭なテクスチャ（白線や横断歩道などのペイント）を必要とする。実際の走行環境ではこの様な条件が満たされないことも多いという問題がある。
【００１２】
文献１（胡、内村著、“変動背景における複数移動物体の検出及び同時追跡”、電学論Ｄ、１２０巻１０号）において、自車の進行方向を画面内の点の動きから推定し、背景の運動方向以外の動きを持っている領域を障害物として検出する手法がある。また、ＴＶカメラと路面との幾何学的な関係から、自車から障害物の接地面までの距離の変化を計算し、自車と路面の相対速度と異なる動きをしている移動物体を障害物として検出している。しかし、この手法では、路上に静止している物体が検出できないという問題がある。
【００１３】
本発明では、以上のような点を考慮し、車両の周辺をＴＶカメラを用いて撮影した画像列を用いて、自車両に衝突すると危険な障害物だけをもらさず検出する画像処理装置及びその方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
請求項１の発明は、実空間内を移動する移動体の移動方向に存在する物体を検出する画像処理装置において、前記移動体に取り付けられ、その移動方向を撮影した時系列画像を得る画像入力手段と、前記取り込まれた画像内において前記物体が写っているか否かを判定するための候補領域を設定する候補領域設定手段と、前記設定された候補領域に対して、実空間内に１つの仮想平面、または、法線方向の異なる複数の仮想平面を仮想的に設定する仮想平面設定手段と、前記設定した仮想平面に対応する候補領域の時間的な動きに関する情報に基づいて、前記候補領域に前記物体が写っているか否かを判定する判定手段と、を具備し、前記判定手段は、前記候補領域の時間的な動きに関する情報から得られた前記候補領域に相当する実空間内の仮想平面の法線方向と、前記移動体が走行している平面の法線方向と異なる場合には、その候補領域に物体が写っていると判定することを特徴とする画像処理装置である。
【００２２】
【発明の実施の形態】
本実施形態では、路面を走行中の自車両に衝突する危険のある他の車両などの障害物が、路面とは異なる法線方向の平面を含んでいることに着目する。
【００２３】
すなわち、障害物か否かを判定したい画像内のある候補領域が、実世界で路面と異なる法線方向を持っている場合、その領域を障害物領域として検出する。
【００２４】
障害物の平面の法線方向は、様々な法線方向を仮定して画像上の候補領域を追跡し、その追跡結果が実際に得られている画像と適合する法線方向を選択することにより推定される。
【００２５】
【実施例】
以下、図面を参照して本発明の実施形態を具体的に実現する一実施例を説明する。
【００２６】
図１に本実施例の基本的な構成例を示す。
【００２７】
車両に取り付けられ、車両周辺の画像を取得可能な装置（例えば、１台のＴＶカメラ）である画像入力部１によって得られた画像列から、候補領域設定部２によって、障害物かどうかを判定するための画像内の領域を設定する。
【００２８】
平面方向推定部３では、候補領域設定部２で設定された領域に対応する実空間内の物体表面の法線方向に関する情報を計算する。
【００２９】
障害物検出部４では、候補領域の平面の法線方向に関する情報を用いて、候補領域の法線方向が自車両が走行している路面の法線方向と異なるか否かを決定し、異なる場合にはその候補領域を障害物領域として検出する。
【００３０】
これら候補領域設定部２、平面方向推定部３、障害物検出部４は、コンピュータに記憶されたプログラムによって各機能を実現することができる。
【００３１】
以下では、候補領域設定部２、平面方向推定部３、障害物検出部４についての構成例を示す。
【００３２】
（ａ）候補領域設定部２
候補領域設定部２では、障害物かどうかを判定する画像内の領域を設定する。この領域の設定方法には、以下のような構成方法があり、いずれを用いてもよく、また組み合わせて用いてもよい。
【００３３】
１．画像の全体または一部を複数の固定の大きさの領域に重なりを許して分割し、それらそれぞれを候補領域とする。
【００３４】
２．車両に取り付けられたＴＶカメラで撮像された画像では、路面の無限遠線付近を視野内に含んでいることが多い事を考慮して、上記１の領域の分割の大きさを無限遠線に近いほど小さくする。
【００３５】
３．障害物と路面の境界は、水平なエッジ強度の強い線分（エッジ線）として観測されるので、このような水平エッジ線を検出して候補領域の下端とする。候補領域の幅と高さは、この線分の長さに基づいて決めるか、上記１のように固定、または、２のように無限遠線に近いほど小さくなるように決定する。
【００３６】
４．路面の表面は明瞭なテクスチャがないためエッジの強度が低い。それに対して、他の車両などの障害物は輪郭やその内部に強いエッジ点を持つので、上記１から３のようにして分割した領域のうち強いエッジ点を含む領域を候補領域とする。
【００３７】
５．自動車などの人工物は、左右対照な形状をしているものが多いので、上記１から３のようにして分割した領域のうち、画像上で左右対照な輝度分布をしている領域を候補領域とする。
【００３８】
６．障害物が出現しそうな場所を予め設定しておき、その領域に候補領域を上記のような方法によって設定する。
【００３９】
（ｂ）平面方向推定部３
平面方向推定部３の構成例を図２に示し、仮想平面設定部３１と、候補領域追跡部３２と、適合度計算部３３とから構成される。
【００４０】
仮想平面設定部３１は、候補領域設定部２で設定されたそれぞれの候補領域に対して、法線方向の異なる複数の平面を実空間内に仮定する。
【００４１】
候補領域追跡部３２は、候補領域に対応する実空間内の物体表面の平面の法線方向が、仮想平面の法線方向と一致するという仮定のもとで、画像内において候補領域を追跡する。
【００４２】
適合度計算部３３は、それぞれの仮想平面に対する追跡結果と、実際に得られている画像との適合度を計算する。
【００４３】
（ｂ−１）仮想平面設定部３１
ＴＶカメラに固定な座標系Ｏ_Ｃ−ＸＹＺと、候補領域に相当する実空間内の物体に固定な座標系Ｏ_ｏ−ＸＹＺをとる（図３参照）。障害物は路面上に接しているので、物体に固定な座標系の原点Ｏ_ｏは、候補領域の下端の線分を路面上へ逆投影した線分の中点とし、ＸＺ平面は路面上に、Ｚ軸は自車両の進行方向と平行に、Ｙ軸は路面と垂直にとる。
【００４４】
仮定する平面は、物体に固定な座標系で表すと、法線ベクトルがＫ_ｏ＝（Ｋ_ＯＸＫ_ｏｙＫ_ｏｚ）^Ｔで、原点Ｏ_ｏを通る平面であり、次式で表される。
【００４５】
【数１】

いくつの平面を仮定するかは任意である。例えば、道路を走っている自動車から前方を撮影した画像では、障害物として他の自動車が考えられる。この場合、他の自動車として路面と自車両の進行方向に垂直な平面Ｋ_ｏ＝（００１）^Ｔと、路面Ｋ_ｏ＝（０１０）^Ｔの２平面を仮定すればよい。
【００４６】
カメラ座標系Ｏ_Ｃ−ＸＹＺから物体に固定な座標系Ｏ_ｏ−ＸＹＺへの変換は、同時座標系で次のようになる。
【００４７】
【数２】

ここで、Ｐ_ｈｃ＝（Ｘ_ｃＹ_ｃＺ_ｃ１）^Ｔはカメラ座標系Ｏ_Ｃ−ＸＹＺでのある点Ｐ_ｃの同時座標表現、Ｐ_ｈｏは物体に固定な座標系Ｏ_ｏ−ＸＹＺでのＰ_ｈｃに対応する点、Ｑ_ｃｏは座標系Ｏ_Ｃ−ＸＹＺから座標系Ｏ_ｏ−ＸＹＺへの変換を表す４×４の行列、Ｒ_ｃｏ、Ｔ_ｃｏはそれぞれ座標系の回転、平行移動を表す行列とベクトルである。Ｑ_ｃｏを定めるためには、路面に対するカメラの取り付け位置と角度が分かっていなければならないので、本方式では予めこれらを計測しておく。この変換行列Ｑ_ｃｏを用いると、式（１）で表される平面をカメラ座標系で表すことができ、その変換は次式のようになる。
【００４８】
【数３】

変換後の平面は、次式の様な形に整理できる。
【００４９】
【数４】

（ｂ−２）候補領域追跡部３２
カメラ座標系において、シーン中のある点Ｐ_ｐ＝（Ｘ_ｐＹ_ｐＺ_ｐ）^Ｔを画像平面に投影した点ｐ_ｐ＝（ｘ_ｐｙ_ｐ）^Ｔは、画像の歪みのない理想的な透視投影カメラモデルを仮定すると、次式のようになる。
【００５０】
【数５】

ここで、ｆは既知の焦点距離、λはスケールファクタである。
【００５１】
点Ｐ_ｐが、カメラ座標系の原点を中心にＲ＝（Ｒ_ｘＲ_ｙＲ_ｚ）^Ｔだけ回転移動し、Ｔ＝（Ｔ_ｘＴ_ｙＴ_ｚ）^Ｔだけ平行移動すると、移動後の画像上での点ｐ_ｉ＝（ｘ_ｉｙ_ｉ）^Ｔは次式のようになる。
【００５２】
【数６】

【数７】

上式に、平面の方程式（４）を代入して整理すると、次式のようになる。
【００５３】
【数８】

ここで、Ｋ_ｃ＝（Ｋ_ｃｘＫ_ｃｙＫ_ｃｚ）^Ｔである。
【００５４】
【数９】

【数１０】

ここで、Ｐは１つの候補領域内のピクセルの集合を表す。Ｋ_ｃは仮想平面設定部３１で設定した平面の向きを用いる。
【００５５】
運動パラメータＴ、Ｒの推定には、必ずしも式（１０）のようなＳＡＤの最小化を用いる必要はなく、他にも輝度値の差の二乗和の最小化、輝度分布の相関値の最大化、輝度値の微分値の差の絶対（二乗）和の最小化などが考えられる。このような最適化問題を解くことによって行われる追跡処理は、（候補領域設定部２で設定した候補領域の数）×（仮想平面設定部３１で設定した平面の数）だけ独立に行われる。
【００５６】
シーンによっては必ずしも並進と回転の６パラメータ全てを求める必要はなく、自車両とシーン中の物体の間の相対運動に含まれないパラメータには０を代入して、計算量を減らすことができる。
【００５７】
例えば、道路上を走行している自動車に搭載されたＴＶカメラが、進行方向の無限遠点をほぼ画像の中央に捉えている場合、カメラ座標系のＺ軸周りの回転運動はほとんどないので０とすることができる。また、車両の鉛直方向の並進運動もほとんどないので０とすることができる。これは一般的に述べると、あるパラメータが他のパラメータに従属している場合、その拘束式を式（１０）に代入して、推定するパラメータの次元を減らすことに相当する。
【００５８】
式（１０）によって候補領域に相当するシーン中の物体の運動パラメータを求める追跡処理は、毎フレーム行われるが、計算量の削減のために以下のような処理の流れで行う。
【００５９】
まず、候補領域を定めた次のフレームでは、すべての運動パラメータを０に初期化し、その周辺で式（１０）の最小化を行う。その後のフレームでは、前回の運動パラメータの周辺で最小化を行う。
【００６０】
（ｂ−３）適合度計算部３３
ある候補領域において、間違った平面の方向を仮定して追跡した場合、候補領域に相当するシーン中の物体の現在のフレームにおける輝度分布と、追跡結果の運動パラメータを用いて初期の候補領域の輝度分布を現在の画像上に移動させた輝度分布が異なってくる。
【００６１】
一方、正しい平面方向を仮定して追跡を行った場合、この様なことは起こらないので、式（１０）で最小化を行ったときの残差や、残差を候補領域の面積で割った値を、追跡結果と現在の画像の適合度の指標として用いる。すなわち、残差が小さいほど適合度は高いので、この場合は非適合度となる。
【００６２】
また、実際の車両と障害物の相対速度としてはあり得ない運動パラメータを推定結果として出力した場合には、その平面の現在の画像に対する適合度は低く設定する。例えば、平面上を走行している車両の場合、その平面の法線方向の並進運動が大きいものは低い適合度を出力する。
【００６３】
（ｃ）障害物検出部４
障害物検出部４では、適合度計算部３３で計算された、それぞれの仮想平面に対する適合度を用いて、それぞれの候補領域が障害物となるかどうかを判定する。以下では、式（１０）によって追跡処理を行ったときの残差を候補領域の面積で割った値を適合度の指標として用いる場合について以下に述べる。
【００６４】
ある候補領域ｃの仮想平面ｋに関して、フレームｇでの残差を候補領域ｃの面積で割った値をＤ_ｃ（ｇ，ｋ）と表し、非適合度と呼ぶ。路面に相当する仮想平面ｋ_ｒの非適合度Ｄ_ｃ（ｇ，ｋ_ｒ）と、障害物に相当する仮想平面ｋ_ｄの非適合度Ｄ_ｃ（ｇ，ｋ_ｄ）の差を、候補領域ｃが設定されたフレームｇ_ｐから現在のフレームｇ_ｉまで、次式のように加算する。
【００６５】
【数１１】

Ｓ_ｃ（ｇ_ｉ，ｋ_ｄ）がある正の閾値を超えたとき、候補領域ｃを障害物領域と決定する。
【００６６】
＜変更例１＞
本発明は、上記実施例で記載した内容に限定されるものではない。
【００６７】
候補領域追跡部３２において、候補領域内の各点の動きベクトル（フローベクトル）を計算し、適合度計算部３３において、このフローベクトルの分布に基づいて、各仮想平面に対する適合度を計算することもできる。
【００６８】
例えば、簡単のために図５の様な１次元のフローベクトルで考えるとする。
【００６９】
すると、カメラの光軸に対して垂直な平面のフローベクトルは、光軸と画像平面の交点からの距離の一次関数になっている。また、路面上のフローベクトルは、前記距離の二次関数になっている。すなわち、カメラの光軸に対して任意の角度を有する平面のフローベクトルと、前記距離との関数は、その角度に対応して一義的に決定される。
【００７０】
そこで、この事実を応用して仮想平面におけるフローベクトルに関する関数（フローベクトルの分布）が、実際の画像から得られたフローベクトルに関する関数（フローベクトルの分布）と近いか否かで適合度を表すことができる。
【００７１】
＜変更例２＞
車両にスピードメータやハンドル舵角などの各種センサーが取り付けられており、これらの情報を用いることが可能な場合、平面方向推定部３の構成（図２参照）を以下のようにすることも可能である。
【００７２】
候補領域追跡部３２において、候補領域内の各点のフローベクトルを計算する。
【００７３】
同時に、適合度計算部３３において、車両に取り付けられたセンサー群の情報を用いて、上記フローベクトルを計算した２枚の画像を取得する間の車両の移動量を計算し、この移動量から各仮想平面のフローベクトルを計算する。
【００７４】
次に、適合度計算部３３において、実際の画像から計算された動きベクトルｖ_ｒ（ｘ，ｙ）とセンサー情報から計算された仮想平面の動きベクトルｖ_ｖ（ｘ，ｙ）の差を表す量を計算し、それを非適合度として出力する。差を表す量としては、ｖ_ｒ（ｘ，ｙ）とｖ_ｖ（ｘ，ｙ）の差の二乗和や、絶対和、差の二乗（絶対値）の平均値などが考えられる。
【００７５】
＜変更例３＞
道路の側壁などのように、背景となる平面を予め想定できる場合は、仮想平面設定部３１において想定される背景の仮想平面を設定し、候補領域追跡部３２においてこの領域のフローベクトルと、センサー情報から背景の仮想平面のフローベクトルを計算し、適合度計算部３３ではこれらのフローベクトル間の非適合度を計算する。
【００７６】
障害物検出部４においては、この非適合度が高いものを障害物として検出する。この方法では、想定した背景と異なる運動をしている移動物体を検出できる。
【００７７】
【発明の効果】
本発明によれば、移動体に取り付けられた移動体の周辺を観測する１つのＴＶカメラの画像列を用いて、衝突する危険のある障害物のみをもらさず検出することが可能となり、移動体の安全走行、搭乗者の負荷軽減に貢献する。
【図面の簡単な説明】
【図１】本発明の一実施例の構成を示すブロック図である。
【図２】図１の平面方向推定部一実施例を示すブロック図である。
【図３】座標系の配置の説明図である。
【図４】候補領域の追跡方法の説明図である。
【図５】変更例の説明のための１次元のフローベクトルの説明図である。
【符号の説明】
１画像入力部
２候補領域設定部
３平面方向推定部
４障害物検出部
３１仮想平面設定部
３２候補領域追跡部
３３適合度計算部

Claims

実空間内を移動する移動体の移動方向に存在する物体を検出する画像処理装置において、
前記移動体に取り付けられ、その移動方向を撮影した時系列画像を得る画像入力手段と、
前記取り込まれた画像内において前記物体が写っているか否かを判定するための候補領域を設定する候補領域設定手段と、
前記設定された候補領域に対して、実空間内に１つの仮想平面、または、法線方向の異なる複数の仮想平面を仮想的に設定する仮想平面設定手段と、
前記設定した仮想平面に対応する候補領域の時間的な動きに関する情報に基づいて、前記候補領域に前記物体が写っているか否かを判定する判定手段と、
を具備し、
前記判定手段は、
前記候補領域の時間的な動きに関する情報から得られた前記候補領域に相当する実空間内の仮想平面の法線方向と、前記移動体が走行している平面の法線方向と異なる場合には、その候補領域に物体が写っていると判定する
ことを特徴とする画像処理装置。
前記判定手段は、
前記設定した仮想平面に対応する候補領域の時間的な動きに関する情報を求める候補領域追跡手段と、
前記候補領域の時間的な動きに関する情報と、前記画像入力手段によって取り込まれた実際の画像に基づく情報、または、前記移動体の走行状態に関する情報とから前記物体が写っている度合である適合度を計算する適合度計算手段と、
前記適合度計算手段で計算した適合度に基づいて、前記物体が写った候補領域か否かを決定する検出手段と、
を具備した
ことを特徴とする請求項１記載の画像処理装置。
前記適合度計算手段は、
前記候補領域に相当する前記物体の現在の画像における輝度分布と、前記候補領域の時間的な動きに関する情報を用いて初期の候補領域の輝度分布を現在の画像上に移動させた輝度分布との差異を表す量を適合度とする
ことを特徴とする請求項２記載の画像処理装置。
前記適合度計算手段は、
前記候補領域の時間的な動きに関する情報と移動体の走行状態に関する情報の差異を表す量を適合度する
ことを特徴とする請求項２記載の画像処理装置。
実空間内を移動する移動体の移動方向に存在する物体を検出する画像処理方法において、
前記移動体に取り付けられ、その移動方向を撮影した時系列画像を得る画像入力手段によって取り込まれた画像内において前記物体が写っているか否かを判定するための候補領域を設定する候補領域設定ステップと、
前記設定された候補領域に対して、実空間内に１つの仮想平面、または、法線方向の異なる複数の仮想平面を仮想的に設定する仮想平面設定ステップと、
前記設定した仮想平面に対応する候補領域の時間的な動きに関する情報に基づいて、前記候補領域に前記物体が写っているか否かを判定する判定ステップと、
を具備し、
前記判定ステップにおいては、
前記候補領域の時間的な動きに関する情報から得られた前記候補領域に相当する実空間内の仮想平面の法線方向と、前記移動体が走行している平面の法線方向と異なる場合には、その候補領域に物体が写っていると判定する
ことを特徴とする画像処理方法。
前記判定ステップにおいて、
前記設定した仮想平面に対応する候補領域の時間的な動きに関する情報を求める候補領域追跡ステップと、
前記候補領域の時間的な動きに関する情報と、前記画像入力ステップにおいて取り込まれた実際の画像に基づく情報、または、前記移動体の走行状態に関する情報とから前記物体が写っている度合である適合度を計算する適合度計算ステップと、
前記適合度計算ステップで計算した適合度に基づいて、前記物体が写った候補領域か否かを決定する検出ステップと、
を具備した
ことを特徴とする請求項５記載の画像処理方法。
実空間内を移動する移動体の移動方向に存在する物体を検出する画像処理方法をコンピュータによって実現するプログラムにおいて、
前記移動体に取り付けられ、その移動方向を撮影した時系列画像を得る画像入力手段によって取り込まれた画像内において前記物体が写っているか否かを判定するための候補領域を設定する候補領域設定機能と、
前記設定された候補領域に対して、実空間内に１つの仮想平面、または、法線方向の異なる複数の仮想平面を仮想的に設定する仮想平面設定機能と、
前記設定した仮想平面に対応する候補領域の時間的な動きに関する情報に基づいて、前記候補領域に前記物体が写っているか否かを判定する判定機能と、
を実現し、
前記判定機能は、
前記候補領域の時間的な動きに関する情報から得られた前記候補領域に相当する実空間内の仮想平面の法線方向と、前記移動体が走行している平面の法線方向と異なる場合には、その候補領域に物体が写っていると判定する
ことを特徴とする画像処理方法のプログラム。
前記判定機能は、
前記設定した仮想平面に対応する候補領域の時間的な動きに関する情報を求める候補領域追跡機能と、
前記候補領域の時間的な動きに関する情報と、前記画像入力機能によって取り込まれた実際の画像に基づく情報、または、前記移動体の走行状態に関する情報とから前記物体が写っている度合である適合度を計算する適合度計算機能と、
前記適合度計算機能で計算した適合度に基づいて、前記物体が写った候補領域か否かを決定する検出機能と、
を具備した
ことを特徴とする請求項７記載の画像処理方法のプログラム。