JP4100823B2

JP4100823B2 - Object judgment device

Info

Publication number: JP4100823B2
Application number: JP14831999A
Authority: JP
Inventors: 守道西垣; 雅和坂
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-05-27
Filing date: 1999-05-27
Publication date: 2008-06-11
Anticipated expiration: 2019-05-27
Also published as: JP2000337870A

Description

【０００１】
【発明の属する技術分野】
この発明は、自動車などの車両に搭載されたカメラによる撮像手段を用いて、前方の物体を検出する光学式の物体判定装置に関し、より具体的には、撮像された画像における複数のウィンドウを用いて、物体かどうか判定する物体判定装置に関する。
【０００２】
【従来の技術】
近年、車両走行の安全性を向上させるため、自車両の前方にある物体の距離や大きさを判断し、これに応じて車両を適切に制御する装置が提案されている。
【０００３】
２つの受光素子からなる光学式距離計測装置を使用し、距離検出された被写体が物体か道路領域（路面上の文字／白線を含む）かを判断する手法に関連するものとして、特開平７−２２５１２６号公報には、車両前方の物体を正しく認識することができる路上物体判定装置が記載されている。この装置は、車両の走行路面上を撮像するステレオカメラを備え、カメラで得られた画像を複数のウィンドウに分割して、ウィンドウごとに被写体までの距離を算出する。この被写体までの距離と、ウィンドウの行レンジごとに決まる基準距離とを比較して車両前方の物体を認識する。
【０００４】
また、特開平７−０８３６５５号公報には、一対の受光素子を鉛直方向に設けて距離を測定し、測定される距離の領域が鉛直方向であるので路面文字が複数の領域に及ぶことが少ないこと、および複数の領域に及んだとしても領域間で距離に差があることを利用して、立体物か否かを判定する装置が記載されている。
【０００５】
【発明が解決しようとする課題】
特開平７−２２５１２６号公報や特開平７−０８３６５５号公報のものでは、路面が自車両の前に水平に存在しているものとして、カメラで撮像した被写体が物体か道路領域かの判断を行うので、自車両がピッチングやローリングで傾いたり、坂道を走行する場合には、車両が路面に平行な状態にあることを前提にカメラの取り付け位置や俯角等のパラメータによって決まる推定される路面と実際の路面との間にずれが生じ、計測された距離値が路面までの距離値かどうか正確に判断することができず、誤って物体を判定することがあった。
【０００６】
また、画像を非常に細かいウィンドウに分割すると、立体物であっても、路面上の文字や白線であっても、複数のウィンドウにまたがってしまうこと、検知する対象物が車両である場合にはリヤウィンドウ部とリヤバンパー部との間で距離差があること、さらには測定された距離値にばらつきがあることから、隣接するウィンドウの距離値の差で立体物か否かを判断するのは困難であった。
【０００７】
そこでこの発明は、自車両がピッチングやローリングで傾いても、正確に前方にある物体を判定することのできる装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明の物体判定装置は、所定の間隔をおいて配置された少なくとも２つの撮像手段と、前記少なくとも２つの撮像手段で得られ、複数のウィンドウに分割された画像に基づいて、ウィンドウごとに対象物までの距離を計測する計測手段と、前記計測手段により計測された距離の差が所定範囲内にあり、隣接するウィンドウをクラスタリングしてクラスタを定めるクラスタリング手段と、前記撮像手段の位置、前記クラスタを構成するウィンドウの画像上の位置、および前記計測手段により計測された該ウィンドウ上の対象物までの距離に基づいて、該クラスタを３次元情報で表す３次元表示手段と、前記３次元情報で表されたクラスタの高さまたは厚みを算出し、該算出された高さまたは厚みに基づいて該クラスタの対象物が物体かどうか判定する物体判定手段とを備える。
【０００９】
この発明によると、計測された距離値に基づいてクラスタリングされたウィンドウのクラスタを３次元情報で表し、クラスタの高さまたは厚みに基づいて物体を判定するので、自車両の挙動による相対的な実際の路面の変動があっても物体を正確に判定することができる。
【００１０】
また、請求項２の発明は、請求項１の物体判定装置において、前記３次元情報で表されたクラスタの近くにある他のクラスタを結合するクラスタ結合手段を備え、該結合されたクラスタの高さまたは厚みに基づいて、該結合されたクラスタの対象物が物体かどうか判定する。
【００１１】
請求項２の発明によると、同一の物体を含む可能性が高いクラスタを結合して物体かどうか判定するので、より正確に物体の判定を行うことができる。
【００１２】
また、請求項３の発明は、請求項１または請求項２の物体判定装置において、前記計測手段により計測されたウィンドウ上の対象物までの距離と、前記撮像手段の位置および該ウィンドウの画像上の位置に基づいて定まる路面までの距離とを比較し、該ウィンドウ上の対象物が路面かどうか判断する手段を備える。
【００１３】
請求項３の発明によると、予め決められた路面までの推定距離と実際に計測された距離とに基づき対象物が路面と判断されたウィンドウについては、その後の物体判定処理を行う必要がなくなるので、より効率よく物体判定を行うことができる。
【００１４】
【発明の実施の形態】
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施例の物体判定装置の全体的なブロック図である。図２は、この実施例で用いる三角計測法による距離の計測原理を説明する図である。まず図２を参照して１対の撮像装置を用いた距離の測定方法を説明する。
【００１５】
一対の撮像装置の一方を構成するラインセンサ２１およびレンズ２３は、他方の撮像装置を構成するラインセンサ２２およびレンズ２４と所定の間隔すなわち基線長Ｂだけ左右方向または上下方向に間隔をおいて配置されている。ラインセンサ２１および２２は、典型的には１次元のＣＣＤであり、直線的に配列されたフォトセンサのアレイであってもよい。夜間の使用を考慮すると赤外線を用いた撮像装置にするのがよい。この場合、レンズ２３、２４の前に赤外線透過性のフィルタを置き、赤外線の光源を用いて一定の周期で対象物２０を照射し、対象物２０から反射する赤外線をラインセンサ２１、２２が感知するようにするのがよい。
【００１６】
ラインセンサ２１、２２は、それぞれレンズ２３、２４の焦点距離ｆに配置されている。レンズ２３、２４のある平面から距離ａにある対象物の像が、ラインセンサ２１ではレンズ２３の光軸からＸ１ずれた位置に形成され、ラインセンサ２２ではレンズ２４の光軸からＸ２だけずれた位置に形成されるとすると、レンズ２３、２４の面から対象物２０までの距離ａは、三角計測法の原理により、ａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）で求められる。
【００１７】
この実施例では画像はデジタル化されるので、距離（Ｘ１＋Ｘ２）は、ディジタル的に算出される。ラインセンサ２１および２２で得られる画像の片方または両方をシフトさせながら両画像のそれぞれ対応する画素の輝度を示すディジタル値の差の絶対値の総和を求め、これを相関値とする。相関値が最小値になるときの画像のシフト量が両画像の間の位置ずれ、すなわち（Ｘ１＋Ｘ２）を示す。観念的には図２に示すようにラインセンサ２１および２２から得られる２つの画像を重なり合わせるために２つの画像を相対的に移動させねばならない距離が（Ｘ１＋Ｘ２）である。
【００１８】
ここでは、簡単のため撮像装置が１次元のラインセンサ２１、２２であるものとして説明したが、以下に述べるようにこの発明の一実施例では２次元のＣＣＤまたは２次元のフォトセンサ・アレイを撮像装置として使用する。この場合、２つの撮像装置から得られる２次元の画像を相対的にシフトさせて上述したのと同様の相関計算を行い、相関値が最小となるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）に相当する。
【００１９】
図１の撮像手段３は、図２のレンズ２３およびラインセンサ２１からなる一方の撮像手段に対応し、撮像手段３’は、図２のレンズ２４およびラインセンサ２２からなる他方の撮像手段に対応する。この実施例では、図３の（ｂ）に示すように撮像領域を複数のウィンドウ（小領域）Ｗ₁₁、Ｗ₁₂、・・・に分割し、ウィンドウごとに距離の計測を行うので、対象物全体の２次元の画像が必要になる。このため撮像手段３、３’は、２次元のＣＣＤアレイまたは２次元のフォトセンサ・アレイで構成される。
【００２０】
図３の（ａ）は、撮像手段３または３’により自車両の前方を走行する他車両を撮像した画像の例を示し、図３の（ｂ）は、図３の（ａ）の画像を概念的に複数のウィンドウに分割したものを示す。図３の（ｂ）は、縦方向に行および横方向に列をとり、簡単のため１０行×１５列のウィンドウに分割して示す。それぞれのウィンドウには番号が付されており、たとえばＷ₁₂は、１行２列にあるウィンドウを示す。
【００２１】
撮像手段３、３’で撮像された対象物の画像はアナログ・デジタル変換器（Ａ／Ｄ変換器）４、４’でデジタルデータに変換され、画像メモリ５、５’に格納される。ウィンドウ切り出し部１３によって、ウィンドウＷ₁₁に対応する画像部分が画像メモリ５および５’からそれぞれ切り出されて相関計算部６に送られる。相関計算部６は、切り出された２つの画像を所定の単位ずつシフトさせて前述した相関計算を行い相関値が最小になるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）である。相関計算部６は、こうして求めた（Ｘ１＋Ｘ２）の値を距離計算部７に送る。
【００２２】
距離計算部７は、前述したａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）の式を用いて、ウィンドウＷ₁₁にある対象物までの距離ａ₁₁を求める。こうして求められた距離ａ₁₁は、距離記憶部８に記憶される。同様の計算処理がそれぞれのウィンドウについて順次実行され、距離ａ₁₁、ａ₁₂、・・・が距離記憶部８に記憶される。以下、あるウィンドウについて計算された対象物までの距離を、そのウィンドウの計測距離という。
【００２３】
上の相関計算で用いる画像データは、撮像素子アレイの素子のピッチによって分解能が定まるので、フォトセンサ・アレイなど比較的ピッチの大きい受光素子を用いるときは、ピッチ間の補間計算を行って画像データの密度を高める処理を行い、こうして密度を高められた画像データについて相関計算を行うのが好ましい。
【００２４】
また、温度による撮像素子アレイの特性変化を補正するため、温度センサを撮像素子アレイ付近に配置し、温度センサから得られる温度情報に基づいて距離計算を補正するようにすることもできる。
【００２５】
次に、以上のようにして求められたウィンドウの計測距離を使用して物体の判定を行う方法について説明する。図１の路面除去部３１は、予め決められた推定距離と上記のようにして実際に計測された距離とをウィンドウごとに比較し、推定距離に近い計測距離および推定距離以上の計測距離をもつウィンドウについての計測距離値を距離記憶部８から削除する。推定距離とは、車両が傾くことなく路面に平行な状態にある場合の路面までの距離をいい、このときの路面を推定路面という。この推定距離は、たとえばＣＣＤアレイにより実現される撮像手段３および３’の取り付け位置、俯角、基線長、焦点距離およびサイズと、画像におけるウィンドウの位置とにより予め算出され、ウィンドウごとに推定距離記憶部３２に記憶されている。
【００２６】
計測距離が推定距離に近い値または推定距離以上の値ならば、ウィンドウの対象物が路面であって物体ではないと判断することができ、路面除去部３１は、路面と判断されたウィンドウの計測距離値を距離記憶部８から削除する。これにより、計測距離値が削除されたウィンドウについては以降の物体判定処理を進める必要がなくなり、より効率よく他のウィンドウについて物体判定を行うことができる。路面と判断されたウィンドウの計測距離値を距離記憶部８から削除するかわりに、たとえば路面と判断されたことを識別するフラグを使用し、路面と判断されたウィンドウに識別フラグをたてて距離記憶部８に記憶することもできる。
【００２７】
または、たとえば車両が下り坂を走行し始めるという場合も考えられるので、計測距離と推定距離とを比較してほぼ等しければ、その計測距離値を削除するようにすることもできる。たとえば、計測距離と推定距離との差が０．５メートル以内ならば、路面と判断して計測距離値を削除し、差が０．５メートルより大きければ、実質的に路面ではないと判断して物体判定処理を進める。
【００２８】
クラスタリング部３３は、路面除去部３１により路面と判定されなかったウィンドウ、すなわち撮像された対象物が物体の可能性があるウィンドウの計測距離に基づいて、クラスタリングを行う。最初に、クラスタリング部３３におけるラベル付与部３４が、隣接するウィンドウの計測距離を比較し、ほぼ等しければ、その隣接するウィンドウに同一のラベルを付与し、クラスタを定める。隣接するウィンドウの計測距離を比較するのは、隣接していなければ、計測距離が同じでも物体が異なる場合があるからである。
【００２９】
例として、図３の（ｂ）の路面上の文字「６０」が撮像されているウィンドウについて説明する。「６０」の文字は、ウィンドウＷ₇₅、Ｗ_7B、Ｗ_A5およびＷ_ABに囲まれた領域（斜線がほどこされた領域）に撮像されている。この画像領域に含まれるウィンドウのそれぞれについて計測された距離の例を、図４の（ａ）に示す。数字の単位はメートルである。ここで、計測距離が示されていないウィンドウは、コントラストがなかったために距離が計算できなかったウィンドウを示す。図４の（ａ）において、隣接するウィンドウの計測距離を比較し、所定範囲内ならば（たとえば、計測距離の差が０．５メートル以内ならば所定範囲内とすることができる）、その隣接する２つのウィンドウに同じラベルを付与する。この処理を、計測距離をもつすべてのウィンドウについて行う。
【００３０】
図４の例では、ウィンドウＷ₇₆の計測距離５．８と、Ｗ₇₇の計測距離６．０との差は０．２であり、計測距離がほぼ等しいと判断され、ウィンドウＷ₇₆およびＷ₇₇に同じラベル「１」を付与する。このような処理を、画像の左側部分で隣接するウィンドウについて行うと、図４の（ｂ）の左側部分のように、それぞれのウィンドウにラベル「１」が付与される。同様に、図４の（ａ）の画像の右側部分では、たとえばウィンドウＷ₈₉の計測距離５．５とＷ_8Aの計測距離５．６との差は０．１であり、計測距離がほぼ等しいと判断され、それぞれのウィンドウにラベル「２」を付与する。ここで、ウィンドウＷ₈₉およびＷ_8Aの両方とも、ラベル「１」が付与されたウィンドウとは隣接していないので、異なるラベルを付与する。なお、ラベルは数字である必要はなく、たとえばアルファベット文字など識別できる符号を用いてもよい。
【００３１】
こうして、計測距離値をもつウィンドウのそれぞれにラベルを付与すると、図４の（ｂ）に示されるように、ラベル「１」でクラスタリングされた領域５１と、ラベル「２」でクラスタリングされた領域５２とが定められる。このクラスタリングされた領域をクラスタと呼ぶ。
【００３２】
次に、３次元表示部３５は、上記のようにクラスタリングされたウィンドウのクラスタを３次元情報で表す。図５に示すように、３次元情報は、この例では、水平位置（ｘ）、垂直位置（ｙ）および路面距離（ｚ）の３座標を使用する。水平位置を示すｘ座標はウィンドウの列方向（図３の（ｂ）を参照）に対応し、垂直位置を示すｙ座標は路面からの高さ方向に対応し、路面距離を示すｚ座標はウィンドウの行方向（図３の（ｂ）を参照）に対応する。また、路面距離を示すｚ座標は計測距離ｄに比例する。これらの座標を使用してクラスタを３次元情報で表し、３次元上のクラスタの位置を特定する。
【００３３】
図５を参照して、クラスタを構成するウィンドウを３次元情報で表す方法を説明する。原点Ｏは車両が位置する路面を示し、ｘ、ｙおよびｚ軸は原点Ｏで互いに直交する。ｘ軸は車両から見て左右に伸びており、ｙ軸は路面に垂直に伸びており、ｚ軸は車両の進行方向に伸びている。撮像カメラ５３は、原点Ｏからｙ軸方向の高さＨのところにある。物体５４は、高さｈおよび幅ｇを持ち、ｚ軸方向のｉの場所にある。撮像カメラ５３で撮像された画像上の複数のウィンドウのうち、あるウィンドウには、物体５４が存在しなければ点５５で表される路面が対象物として撮像され、物体５４が存在すれば、点５６で表される物体５４の一部が対象物として撮像される。推定距離Ｄは、撮像カメラ５３と点５５との間の距離であり、物体５４が存在しない場合に撮像された点５５までの計測距離に等しい。計測距離ｄは、撮像カメラ５３と点５６との間の距離であり、図２を参照して前述した方法により計算される。（ｘ，ｙ，ｚ）座標系を使用すると、撮像カメラ５３の位置は（０，Ｈ，０）で表される。点５６の位置は、（ｇ，ｈ，ｉ）で表される。
【００３４】
ウィンドウごとの推定距離Ｄおよび撮像カメラの推定路面からの高さＨは固定値であるので、予め計算して推定距離記憶部３２に記憶しておくことができる。図５から明らかなように、ウィンドウの対象物の高さｈは以下の式（１）から求められ、対象物の路面距離ｉは式（２）から求められる。
【００３５】
【数１】

【００３６】
別の実施形態では、たとえば路面距離を示すｚ座標の代わりに計測距離ｄを使用することもでき、上記の座標系とは異なる座標系によりクラスタの３次元上の位置を特定することもできる。
【００３７】
次に、図６から図８を参照して、クラスタを３次元情報で表してクラスタの３次元上の位置を特定し、クラスタを直方体で近似する例を３通りに分けて説明する。
【００３８】
図６は、路面上に物体が存在せず、車両が傾くことなく路面に平行に走行している例を示す。図６の（ａ）は、撮像カメラが前方の路面を撮像しているのを横から見た状態を示す。図６の（ｂ）は、ウィンドウごとに予め定められた推定距離６５と、図６の（ａ）の状態でウィンドウごとに計測された計測距離６６の例を示す。図６の（ｃ）は、算出されたウィンドウごとの３次元情報を示す。なお、撮像カメラの路面からの高さＨを１．３メートルとして、３次元情報を算出した。わかりやすく説明するため、この例では、図６の（ｄ）に示されるように、撮像した画像領域の一部である３行×３列のウィンドウを使用し、この９個のウィンドウが１つのクラスタを構成するとする。それぞれのウィンドウを識別するため、図６の（ｄ）に示されるように、ウィンドウにはＷ11、Ｗ12、、の番号が付されている。
【００３９】
図６の例では、車両は路面に平行に走行しており、路面上に物体が存在しないので、推定路面と実際の路面とが一致し、推定距離と計測距離とが一致する。したがって、すべてのウィンドウの対象物の高さｈはゼロである。カメラの位置、ウィンドウの画像における位置、計測距離から、それぞれのウィンドウを３次元情報（ｘ，ｙ，ｚ）で表すことができる（図６の（ｃ））。ここで、図６の（ｃ）のｘ座標に示されるｘ1〜ｘ3は、図６の（ｄ）に示される１列目〜３列目のウィンドウの列ごとに予め決められる距離にそれぞれ対応し、カメラの位置、画像におけるウィンドウ数などにより変化する。たとえば、ウィンドウの３列目は、車両の中心から左に１メートルの位置を示すというように定めることができる。
【００４０】
図６の（ａ）に示される点Ｐ1、Ｐ2およびＰ3は、ウィンドウＷ11、Ｗ21およびＷ31のそれぞれの３次元情報を３次元上にそれぞれ投影した点である。図６の（ｃ）に示される９個のウィンドウのすべてを、３次元上に投影して点Ｐ1〜Ｐ9を定め、点Ｐ1〜Ｐ9すべてを含む最小の直方体を定める。この例では、ウィンドウの対象物の高さがゼロなので、点Ｐ1〜Ｐ9をすべて含む直方体は、路面に平行に広がる面６３となる。面６３は、図６の（ａ）から明らかなように、実際の路面６１と一致する。このように、クラスタを３次元情報で表して、クラスタを直方体（この例では平面）で近似することができる。
【００４１】
図７は、前方に物体７１が存在する場合を示す。物体７１が存在するために、ウィンドウＷ11〜Ｗ13およびＷ21〜Ｗ23の計測距離７６の値は、対応する推定距離７５より小さい。図６の例と同様に、前述の式（１）および（２）を用い、それぞれのウィンドウを３次元情報で表す（図７の（ｃ））。これらの３次元情報に基づいて、それぞれのウィンドウを３次元上に投影し、点Ｐ1〜Ｐ9を定める。面７３は、これらの点をつなぎあわせたものを横から見たものである。９個の点Ｐ1〜Ｐ9をすべて含む最小の直方体７４を定め、クラスタを直方体で近似する。図７の（ａ）から明らかなように、この直方体は、撮像した部分の物体の大きさを表している。
【００４２】
図８は、自車両がピッチングなどの影響で傾いて実際の路面と平行でないために、推定路面８２と、距離を計測した実際の路面８１との間にずれが生じている場合を示す。撮像カメラから見ると、図８の実際の路面８１は物体のように見えるので、図６および図７で説明したのと同様の方法で、それぞれのウィンドウを３次元情報で表し、クラスタを直方体で近似することができる。前述の式（１）および（２）を用いてそれぞれのウィンドウを３次元情報で表し（図８の（ｃ））、３次元上に投影して点Ｐ1〜Ｐ9を定める。面８３は、これらの点をつないで横から見たものである。投影された点Ｐ1〜Ｐ9を含む最小の直方体８４を定め、クラスタを直方体で近似する。図７の直方体７４と比較して明らかなように、ピッチングなどで車両が傾いたとしても通常走行において車両が大きく傾くことは起こり得ず、また実際には物体が存在しないので、直方体の厚みが非常に薄いものとなる。
【００４３】
こうして、３次元情報表示部３５は、直方体でクラスタを近似することにより（直方体で近似されたクラスタを近似クラスタという）、クラスタの位置および大きさを容易に認識することができる。具体的には、クラスタを構成するウィンドウの３次元情報に基づいて、距離、位置、高さ、厚みなど近似クラスタが持つ属性を算出し、クラスタ記憶部４８に記憶する。図８の例では、近似クラスタの高さは、対応する直方体の上面８７に含まれる点Ｐ1（すなわち、投影された点Ｐ1〜Ｐ9のうち最大のｙ座標値をもつ点）のｙ座標から求められ、近似クラスタの厚みは、対応する直方体の上面８７に含まれる点Ｐ1のｙ座標と、下面８８に含まれる点Ｐ3（すなわち、投影された点Ｐ1〜Ｐ9のうち最小のｙ座標値をもつ点）のｙ座標との差から求められる。また、近似クラスタの幅は、対応する直方体に含まれる投影された点のうち、最大のｘ座標値をもつ点のｘ座標と、最小のｘ座標値をもつ点のｘ座標との差から求められる。
【００４４】
クラスタを直方体で近似するのは、クラスタの距離、位置、幅および高さを容易に算出して、クラスタに含まれる対象物の大きさおよび位置を正確に認識することができるためである。別の実施形態では、クラスタを他の立体（たとえば、車両の形状をした立体）で近似し、クラスタのさらに細かい属性（たとえば、下面の幅と上面の幅、左側の高さと右側の高さなど）を算出して記憶することもできる。また、最小の直方体で近似するのは、すべての投影された点を含むがそれより大きい（または小さい）直方体で近似すると、近似クラスタが正確に物体の大きさおよび位置を表さなくなるからである。
【００４５】
次に、図１のクラスタ結合部３６は、近似クラスタが複数ある場合、クラスタ記憶部４８に記憶された近似クラスタに関する情報に基づいて、任意の数のクラスタを結合する。この実施例では、ある近似クラスタと他の近似クラスタとの距離、水平位置および垂直位置の差がしきい値以下ならば、この２つの近似クラスタを結合する。これは、近似クラスタに近い場所にある他の近似クラスタは、同じ対象物を表す可能性が高いからである。
【００４６】
しきい値は、車両からの距離に応じて異なる値を設定するのが好ましい。この実施形態では、距離および位置の差を求める２つの近似クラスタの距離に応じて、しきい値を設定する。２つの近似クラスタの距離は、それぞれの近似クラスタに含まれるウィンドウ数と、それらウィンドウの計測距離とに基づいて算出する。たとえば、２つの近似クラスタＣ１およびＣ２があり、近似クラスタＣ１およびＣ２の距離をそれぞれｄ１およびｄ２とし、それぞれの近似クラスタＣ１およびＣ２に含まれるウィンドウ数をｗ１およびｗ２とすると、以下の式（３）に基づいて２つの近似クラスタの距離を算出することができる。ここで、近似クラスタの距離ｄ１およびｄ２は、それぞれのクラスタに含まれるウィンドウの計測距離を平均した値を用いる。
【００４７】
【数２】
２つの近似クラスタの距離＝ (ｄ１×ｗ１＋ｄ２×ｗ２）／（ｗ１＋ｗ２）
．．．式（３）
【００４８】
別の実施形態では、式（３）のように近似クラスタのウィンドウ数に基づいて加重平均を計算する代わりに、単純にそれぞれの近似クラスタの距離ｄ１およびｄ２を平均した値を、２つの近似クラスタの距離とすることもできる。さらに、近似クラスタＣ１およびＣ２のそれぞれの中心位置における距離を平均した値を、２つの近似クラスタの距離とすることもできる。なお、計測距離と前述のｚ座標で示されるウィンドウの対象物の路面距離とは比例するので、路面距離を用いてもよい。
【００４９】
２つの近似クラスタの距離の差は、上記の近似クラスタの距離ｄ１およびｄ２の差で表される。また、２つの近似クラスタの水平位置および垂直位置の差は、２つの近似クラスタ間の間隔で表される。図９を参照すると、ｘ−ｙ平面から見た２つの近似クラスタＣ１およびＣ２が示されている。近似クラスタＣ１およびＣ２の水平位置の差は、ｘ軸方向の差ｄｘで表され、垂直位置の差は、ｙ軸方向の差ｄｙで表される。水平および垂直位置の差ｄｘおよびｄｙは、クラスタ記憶部４８に記憶された近似クラスタＣ１およびＣ２に関する位置および大きさから算出することができる。
【００５０】
別の実施形態では、近似クラスタ間の間隔を位置の差とする代わりに、たとえば近似クラスタの中心位置の差を用いることもできる。近似クラスタの中心位置は、クラスタが直方体で近似されているので、クラスタ記憶部４８に記憶された近似クラスタに関する情報から容易に求めることができる。
【００５１】
しきい値は、上記の式（３）を用いて計算された２つの近似クラスタの距離に基づいて、たとえば、距離の差については以下の表１のように、水平位置および垂直位置の差については以下の表２のように設定することができる。
【００５２】
【表１】

【００５３】
【表２】

【００５４】
表１において、２つの近似クラスタの距離が大きくなるほど距離の差のしきい値が大きくなっているのは、自車両からの距離が遠くなるほど計測距離の誤差が大きくなるためである。表２において、２つの近似クラスタの距離が大きくなるほど水平および垂直位置の差のしきい値が小さくなっているのは、たとえば他の車両が自車両から近い距離に存在するような場合には、コントラストが低いために計測距離を算出することのできないウィンドウが多く発生し、クラスタとクラスタとの間の間隔が広くなることがあるからである。
【００５５】
こうして、距離、水平位置および垂直位置の差がいずれもしきい値以下ならば近似クラスタを結合し、１つの結合クラスタとする。図４を参照すると、２つのクラスタが存在し、これらの近似クラスタの距離および位置の差がしきい値以下ならば、２つのクラスタを結合することができる。
【００５６】
なお、クラスタの結合条件に、近似クラスタの大きさ（幅および高さ）を加えることもできる。たとえば、検出すべき物体が他の車両である場合には、結合されたクラスタの幅および高さが通常の車両の幅および高さより大きくならない場合に、クラスタを結合することができる。
【００５７】
さらに、これらの条件に加え、前回認識された物体の情報（物体記憶部３９に記憶されている）を用いて、クラスタの結合条件とすることができる。この場合には、前回認識された物体の位置と大きさから、物体に対する相対速度（同じく、物体記憶部３９に記憶されている）を用いて、今回の物体の位置と大きさを推定する。推定された物体との距離の差がしきい値以下であり、水平および垂直位置において重なりを持つ近似クラスタを選択する。選択されたクラスタが複数ある場合には、推定された物体の位置および大きさに最も近い値の位置および大きさを持つよう、選択されたクラスタのうちの１または複数のクラスタを結合する。
【００５８】
その後、クラスタ結合部３６は、結合されたクラスタ（以下、クラスタ群という）に含まれるクラスタの３次元情報に基づいて、クラスタをすべて含む最小の直方体を定めてクラスタ群を直方体で近似する。新たに定められた近似クラスタ群の位置、大きさ、距離などの情報を求め、クラスタ記憶部４８に記憶する。クラスタ結合部３６は、近似クラスタ群をそれぞれ物体候補に指定する。結合されなかった近似クラスタは、単独で物体候補に指定される。
【００５９】
図１の物体判定部３７は、抽出された物体候補の高さまたは厚みに基づいて、クラスタの対象物が物体かどうか判断する。物体候補である近似クラスタまたは近似クラスタ群の高さおよび厚みがクラスタ記憶部４８に記憶されているので、物体判定部３７はこれらの値を読み出し、物体候補のうち、上面の推定路面からの高さが低いもの、および上面と下面との差（厚み）が小さいものを物体ではないと判定して物体候補から除外する。
【００６０】
たとえば、検知対象を他の車両とする場合には、推定路面から物体候補の上面までの高さが９０センチメートル以下であり、かつ上面と下面との差が８０センチメートル以下の物体候補と、上面までの高さが７０センチメートル以下の物体候補とを、物体ではないと判定して物体候補から除外する。高さおよび厚みにこのようなしきい値を設けることにより、たとえば図８に示すように物体候補が路面である場合には、物体候補である近似クラスタの厚みが非常に薄いものとなるため、近似クラスタ８４が物体と判定されることはない。
【００６１】
このように、車両がピッチングなどの影響で傾いて路面が物体候補となり、画像上でこの物体候補が広い領域を占めても、クラスタを３次元情報で表して厚みを算出することにより、クラスタの対象物が薄いということがわかるので、路面を物体と誤って判定することがなくなる。
【００６２】
物体認識部３８は、物体判定部３７により物体と判定された近似クラスタの距離、位置および大きさなどの情報をクラスタ記憶部４８から読み出し、物体を認識する。認識された物体にかかわる情報は、物体記憶部３９に記憶される。物体記憶部３９には、前回認識された物体にかかわる情報も記憶されており、前述したようにクラスタ結合部３６は、この情報を利用してクラスタを結合することができる。さらに、物体認識部３８は、前回認識された物体の距離（前回距離）および今回認識された物体の距離（今回距離）を用い、（今回距離−前回距離）／検出時間間隔、の計算式から物体に対する自車の相対速度を算出し、物体記憶部３９に記憶する。ここで、検出時間間隔は、前回の計測と今回の計測との時間差であり、たとえば１００ミリ秒とすることができる。
【００６３】
車両制御部４５は、物体記憶部３９に記憶された物体の距離、位置および相対速度などの情報、および自車速度検出装置４６やヨーレート検出装置４７などの装置からの情報に基づいて、物体までの距離が適切であるよう自車両を制御する。たとえば、運転者に音声やアラームで警告を発したり、自車のエンジンを制御して強制的に減速させたりなどの制御をすることができる。
【００６４】
図１に示した相関計算部６、距離計算部７、距離記憶部８、ウィンドウ切り出し部１３、路面除去部３１、推定距離記憶部３２、クラスタリング部３３、クラスタ結合部３６、クラスタ記憶部４８、物体判定部３７、物体認識部３８、物体記憶部３９および車両制御部４５は、中央演算処理装置（ＣＰＵ）、制御プログラムおよび制御データを格納する読み出し専用メモリ、ＣＰＵの演算作業領域を提供し様々なデータを一時記憶することができるランダムアクセスメモリ（ＲＡＭ）で構成することができる。距離記憶部８、推定距離記憶部３２、クラスタ記憶部４８および物体記憶部３９は、１つのＲＡＭのそれぞれ異なる記憶領域を使用して実現することができる。また、各種の演算で必要となるデータの一時記憶領域も同じＲＡＭの一部分を使用して実現することができる。
【００６５】
また、この発明の物体判定装置をエンジンの電子制御ユニット（ＥＣＵ）、ブレーキ制御ＥＣＵその他のＥＣＵとＬＡＮ接続して物体判定装置からの出力を車両の全体的な制御に利用することができる。
【００６６】
【発明の効果】
請求項１の発明によると、計測された距離値に基づいてクラスタリングされたウィンドウのクラスタを３次元情報で表し、クラスタの高さまたは厚みに基づいて物体を判定するので、自車両の挙動による相対的な実際の路面の変動があっても物体を正確に判定することができる。
【００６７】
請求項２の発明によると、同一の物体を含む可能性が高いクラスタを結合して物体かどうか判定するので、より正確に物体の判定を行うことができる。
【００６８】
請求項３の発明によると、予め決められた路面までの推定距離と実際に計測された距離とに基づき対象物が路面と判断されたウィンドウについては、その後の物体判定処理を行う必要がなくなるので、より効率よく物体判定を行うことができる。
【図面の簡単な説明】
【図１】この発明の一実施例の全体的な構成を示すブロック図。
【図２】三角計測法による距離の計測原理を説明するための図。
【図３】この発明による、（ａ）撮像された画像、（ｂ）距離および道路領域判定のため小領域（ウィンドウ）に分割された画像を示す図。
【図４】この発明によるウィンドウのクラスタリングを示す図。
【図５】この発明によるウィンドウを３次元情報で表す方法を示す図。
【図６】車両が路面に平行に走行している場合の、物体を含まないクラスタを３次元情報で表して直方体で近似する方法を示す図。
【図７】物体を含むクラスタを３次元情報で表して直方体で近似する方法を示す図。
【図８】車両が傾いて走行している場合の、物体を含まないクラスタを３次元情報で表して直方体で近似する方法を示す図。
【図９】この発明による、２つのクラスタの水平および垂直位置の差を示す図。
【符号の説明】
３、３’ 撮像部
７距離計算部
３１路面除去部
３３クラスタリング部
３６クラスタ結合部
３７物体判定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an optical object determination device that detects an object in front using an imaging unit by a camera mounted on a vehicle such as an automobile, and more specifically, uses a plurality of windows in a captured image. The present invention relates to an object determination apparatus that determines whether an object is present.
[0002]
[Prior art]
In recent years, in order to improve the safety of vehicle travel, an apparatus has been proposed that determines the distance and size of an object in front of the host vehicle and appropriately controls the vehicle accordingly.
[0003]
As a method related to a method for determining whether a subject whose distance has been detected is an object or a road area (including characters / white lines on a road surface) using an optical distance measuring device including two light receiving elements, Japanese Patent Laid-Open No. 7-7 Japanese Patent No. 225126 describes a road object determination device that can correctly recognize an object in front of a vehicle. This apparatus includes a stereo camera that captures an image on the road surface of a vehicle, divides an image obtained by the camera into a plurality of windows, and calculates a distance to a subject for each window. An object ahead of the vehicle is recognized by comparing the distance to the subject with a reference distance determined for each row range of the window.
[0004]
Japanese Patent Laid-Open No. 7-083655 discloses a method in which a distance is measured by providing a pair of light receiving elements in the vertical direction, and the area of the measured distance is in the vertical direction, so that road characters rarely reach a plurality of areas. In addition, there is described an apparatus for determining whether or not a three-dimensional object is obtained by utilizing the difference in distance between the areas even when the area extends to a plurality of areas.
[0005]
[Problems to be solved by the invention]
In JP-A-7-225126 and JP-A-7-083655, it is determined whether the subject imaged by the camera is an object or a road area on the assumption that the road surface exists horizontally in front of the host vehicle. Therefore, when the vehicle is leaning due to pitching or rolling or traveling on a slope, it is assumed that the vehicle is in a state parallel to the road surface. There is a case in which there is a deviation from the road surface, and it is impossible to accurately determine whether the measured distance value is a distance value to the road surface, and an object may be erroneously determined.
[0006]
In addition, if the image is divided into very fine windows, even if it is a three-dimensional object, even a character or white line on the road surface, it will span multiple windows, and if the object to be detected is a vehicle Because there is a distance difference between the rear window part and the rear bumper part, and there are variations in the measured distance value, it is not possible to judge whether it is a three-dimensional object by the difference in the distance value between adjacent windows. It was difficult.
[0007]
Accordingly, an object of the present invention is to provide an apparatus that can accurately determine an object in front even if the host vehicle is tilted by pitching or rolling.
[0008]
[Means for Solving the Problems]
In order to solve the above problems, an object determination apparatus according to a first aspect of the present invention is obtained by at least two imaging units arranged at a predetermined interval and the at least two imaging units, and is divided into a plurality of windows. Clustering which determines a cluster by clustering adjacent windows and a difference between distances measured by the measuring unit and a distance measured by the measuring unit within a predetermined range based on the image obtained The cluster is represented by three-dimensional information based on the position of the imaging means, the position of the imaging means, the position of the window constituting the cluster on the image, and the distance to the object on the window measured by the measuring means. A three-dimensional display means and a height or thickness of the cluster represented by the three-dimensional information are calculated, and based on the calculated height or thickness Object of the cluster and a determining object judging means whether an object.
[0009]
According to the present invention, the cluster of windows clustered based on the measured distance value is represented by three-dimensional information, and the object is determined based on the height or thickness of the cluster. Even if there is a change in the road surface, the object can be accurately determined.
[0010]
Further, the invention of claim 2 is the object determination apparatus according to claim 1, further comprising cluster combining means for combining other clusters in the vicinity of the cluster represented by the three-dimensional information. Based on the thickness or thickness, it is determined whether the object of the combined cluster is an object.
[0011]
According to the second aspect of the present invention, since it is determined whether or not it is an object by combining clusters that are likely to include the same object, the object can be determined more accurately.
[0012]
The invention of claim 3 is the object determination apparatus according to

claim

1 or 2, wherein the distance to the object on the window measured by the measuring means, the position of the imaging means, and the image of the window And a means for comparing whether the object on the window is a road surface.
[0013]
According to the invention of claim 3, since it is not necessary to perform subsequent object determination processing for a window in which the object is determined to be a road surface based on a predetermined estimated distance to the road surface and the actually measured distance. Therefore, the object can be determined more efficiently.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Next, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is an overall block diagram of an object determination apparatus according to an embodiment of the present invention. FIG. 2 is a diagram for explaining the principle of distance measurement by the triangulation method used in this embodiment. First, a distance measuring method using a pair of imaging devices will be described with reference to FIG.
[0015]
The line sensor 21 and the lens 23 constituting one of the pair of imaging devices are arranged at a predetermined interval, that is, a base line length B, spaced from the line sensor 22 and the lens 24 constituting the other imaging device in the horizontal direction or the vertical direction. Has been. Line sensors 21 and 22 are typically one-dimensional CCDs and may be an array of linearly arranged photosensors. Considering use at night, it is better to use an imaging device using infrared rays. In this case, an infrared transmissive filter is placed in front of the lenses 23 and 24, the object 20 is irradiated with a constant period using an infrared light source, and the line sensors 21 and 22 detect infrared rays reflected from the object 20. It is good to do.
[0016]
The line sensors 21 and 22 are disposed at the focal lengths f of the lenses 23 and 24, respectively. An image of an object at a distance a from the plane on which the lenses 23 and 24 are located is formed at a position shifted by X1 from the optical axis of the lens 23 in the line sensor 21, and is shifted by X2 from the optical axis of the lens 24 in the line sensor 22. If it is formed at a position, the distance a from the surfaces of the lenses 23 and 24 to the object 20 is obtained by a = B · f / (X1 + X2) according to the principle of the triangulation method.
[0017]
In this embodiment, since the image is digitized, the distance (X1 + X2) is calculated digitally. While shifting one or both of the images obtained by the line sensors 21 and 22, the sum of the absolute values of the differences between the digital values indicating the luminance of the corresponding pixels of both images is obtained, and this is used as the correlation value. The shift amount of the image when the correlation value becomes the minimum value indicates a positional deviation between both images, that is, (X1 + X2). Conceptually, as shown in FIG. 2, the distance that the two images must be moved in order to overlap the two images obtained from the line sensors 21 and 22 is (X1 + X2).
[0018]
Here, for the sake of simplicity, the imaging apparatus has been described as being one-dimensional line sensors 21 and 22, but as described below, in one embodiment of the present invention, a two-dimensional CCD or a two-dimensional photosensor array is used. Used as an imaging device. In this case, when the correlation calculation similar to that described above is performed by relatively shifting the two-dimensional images obtained from the two imaging devices, and the shift amount when the correlation value is minimum is obtained, the shift amount is This corresponds to (X1 + X2).
[0019]
The imaging means 3 in FIG. 1 corresponds to one imaging means comprising the lens 23 and the line sensor 21 in FIG. 2, and the imaging means 3 ′ corresponds to the other imaging means comprising the lens 24 and the line sensor 22 in FIG. To do. In this embodiment, as shown in FIG. 3B, the imaging region is divided into a plurality of windows (small regions) W. ₁₁ , W ₁₂ ,... And the distance is measured for each window, so a two-dimensional image of the entire object is required. For this reason, the imaging means 3, 3 ′ is composed of a two-dimensional CCD array or a two-dimensional photosensor array.
[0020]
FIG. 3A shows an example of an image obtained by imaging another vehicle traveling in front of the host vehicle by the imaging means 3 or 3 ′, and FIG. 3B shows the image of FIG. Conceptually divided into multiple windows. FIG. 3B shows rows in the vertical direction and columns in the horizontal direction and is divided into windows of 10 rows × 15 columns for the sake of simplicity. Each window is numbered, for example W ₁₂ Indicates a window in one row and two columns.
[0021]
The image of the object imaged by the imaging means 3, 3 ′ is converted into digital data by analog / digital converters (A / D converters) 4, 4 ′ and stored in the

image memories

5, 5 ′. By the window cutout unit 13, the window W ₁₁ Are respectively cut out from the

image memories

5 and 5 ′ and sent to the correlation calculation unit 6. When the correlation calculation unit 6 shifts the extracted two images by a predetermined unit and performs the above-described correlation calculation to obtain the shift amount when the correlation value is minimized, the shift amount is (X1 + X2). The correlation calculation unit 6 sends the value (X1 + X2) thus obtained to the distance calculation unit 7.
[0022]
The distance calculation unit 7 uses the above-described equation a = B · f / (X1 + X2) to calculate the window W ₁₁ Distance a to the object a ₁₁ Ask for. The distance a thus determined ₁₁ Is stored in the distance storage unit 8. A similar calculation process is sequentially performed for each window, and the distance a ₁₁ , A ₁₂ Are stored in the distance storage unit 8. Hereinafter, the distance to the object calculated for a certain window is referred to as the measurement distance of that window.
[0023]
Since the resolution of the image data used in the above correlation calculation is determined by the element pitch of the image sensor array, when using a light receiving element with a relatively large pitch, such as a photosensor array, the image data is calculated by interpolation between the pitches. It is preferable to perform a correlation calculation on the image data whose density has been increased in this way.
[0024]
Further, in order to correct a change in characteristics of the image sensor array due to temperature, a temperature sensor can be arranged near the image sensor array, and the distance calculation can be corrected based on temperature information obtained from the temperature sensor.
[0025]
Next, a method for determining an object using the window measurement distance obtained as described above will be described. The road surface removal unit 31 in FIG. 1 compares the estimated distance determined in advance with the distance actually measured as described above for each window, and has a measured distance close to the estimated distance and a measured distance equal to or larger than the estimated distance. The measured distance value for the window is deleted from the distance storage unit 8. The estimated distance refers to the distance to the road surface when the vehicle is in a state parallel to the road surface without tilting, and the road surface at this time is referred to as an estimated road surface. This estimated distance is calculated in advance based on the mounting position, depression angle, base line length, focal length and size of the imaging means 3 and 3 ′ realized by, for example, a CCD array, and the position of the window in the image, and the estimated distance is stored for each window. Stored in the unit 32.
[0026]
If the measured distance is a value close to the estimated distance or a value greater than or equal to the estimated distance, it can be determined that the object of the window is a road surface and not an object, and the road surface removal unit 31 measures the window determined to be a road surface. The distance value is deleted from the distance storage unit 8. Thereby, it is not necessary to proceed with the subsequent object determination process for the window from which the measurement distance value is deleted, and the object determination can be performed for another window more efficiently. Instead of deleting the measured distance value of the window determined to be a road surface from the distance storage unit 8, for example, a flag for identifying that it is determined to be a road surface is used. It can also be stored in the storage unit 8.
[0027]
Alternatively, for example, it may be considered that the vehicle starts traveling on a downhill. Therefore, if the measured distance and the estimated distance are substantially equal, the measured distance value can be deleted. For example, if the difference between the measured distance and the estimated distance is within 0.5 meters, it will be judged as a road surface and the measured distance value will be deleted. If the difference is greater than 0.5 meters, it will be judged as not substantially a road surface. To advance the object determination process.
[0028]
The clustering unit 33 performs clustering based on a measured distance of a window that is not determined to be a road surface by the road surface removing unit 31, that is, a window in which the captured object may be an object. First, the label assigning unit 34 in the clustering unit 33 compares the measured distances of adjacent windows, and if they are approximately equal, assigns the same label to the adjacent windows to define a cluster. The measurement distances of adjacent windows are compared because the objects may be different even if the measurement distance is the same if they are not adjacent.
[0029]
As an example, a window in which the character “60” on the road surface in FIG. The character “60” indicates the window W ₇₅ , W _7B , W _A5 And W _AB An image is captured in a region surrounded by (a hatched region). An example of the distance measured for each of the windows included in the image area is shown in FIG. The unit of the numbers is meters. Here, the window in which the measurement distance is not shown indicates a window in which the distance cannot be calculated because there is no contrast. In FIG. 4A, the measurement distances of adjacent windows are compared, and if they are within a predetermined range (for example, if the difference in measurement distance is within 0.5 meters, they can be within the predetermined range). Assign the same label to the two windows. This process is performed for all windows having a measurement distance.
[0030]
In the example of FIG. ₇₆ Measuring distance 5.8 and W ₇₇ The difference from the measurement distance 6.0 of 0.2 is 0.2, and it is determined that the measurement distances are substantially equal. ₇₆ And W ₇₇ Is given the same label “1”. When such a process is performed on the window adjacent in the left part of the image, the label “1” is assigned to each window as in the left part of FIG. Similarly, in the right part of the image in FIG. ₈₉ Measuring distance 5.5 and W _8A The difference between the measured distance 5.6 and the measured distance 5.6 is 0.1, and it is determined that the measured distances are substantially equal. Where window W ₈₉ And W _8A Since both are not adjacent to the window to which the label “1” is assigned, different labels are assigned. The label does not need to be a number, and for example, an identifiable code such as an alphabetic character may be used.
[0031]
Thus, when a label is given to each of the windows having the measurement distance value, as shown in FIG. 4B, an area 51 clustered with the label “1” and an area 52 clustered with the label “2”. Is determined. This clustered area is called a cluster.
[0032]
Next, the three-dimensional display unit 35 represents the cluster of windows clustered as described above with three-dimensional information. As shown in FIG. 5, the three-dimensional information uses three coordinates of a horizontal position (x), a vertical position (y), and a road surface distance (z) in this example. The x coordinate indicating the horizontal position corresponds to the column direction of the window (see FIG. 3B), the y coordinate indicating the vertical position corresponds to the height direction from the road surface, and the z coordinate indicating the road surface distance is the window. Corresponding to the row direction (see FIG. 3B). The z coordinate indicating the road surface distance is proportional to the measurement distance d. Using these coordinates, the cluster is represented by three-dimensional information, and the position of the cluster in three dimensions is specified.
[0033]
With reference to FIG. 5, a method for representing windows constituting a cluster with three-dimensional information will be described. The origin O indicates the road surface on which the vehicle is located, and the x, y, and z axes are orthogonal to each other at the origin O. The x-axis extends to the left and right when viewed from the vehicle, the y-axis extends perpendicular to the road surface, and the z-axis extends in the traveling direction of the vehicle. The imaging camera 53 is at a height H in the y-axis direction from the origin O. The object 54 has a height h and a width g, and is located at i in the z-axis direction. Among a plurality of windows on the image captured by the imaging camera 53, in a certain window, if the object 54 does not exist, the road surface represented by the point 55 is imaged as an object, and if the object 54 exists, A part of the object 54 represented by 56 is imaged as a target. The estimated distance D is the distance between the imaging camera 53 and the point 55, and is equal to the measurement distance to the point 55 imaged when the object 54 does not exist. The measurement distance d is a distance between the imaging camera 53 and the point 56, and is calculated by the method described above with reference to FIG. When the (x, y, z) coordinate system is used, the position of the imaging camera 53 is represented by (0, H, 0). The position of the point 56 is represented by (g, h, i).
[0034]
Since the estimated distance D for each window and the height H from the estimated road surface of the imaging camera are fixed values, they can be calculated in advance and stored in the estimated distance storage unit 32. As is apparent from FIG. 5, the height h of the object of the window is obtained from the following equation (1), and the road surface distance i of the object is obtained from the equation (2).
[0035]
[Expression 1]

[0036]
In another embodiment, for example, the measurement distance d can be used instead of the z coordinate indicating the road surface distance, and the three-dimensional position of the cluster can be specified by a coordinate system different from the above coordinate system.
[0037]
Next, with reference to FIG. 6 to FIG. 8, three examples of representing a cluster by three-dimensional information, specifying the three-dimensional position of the cluster, and approximating the cluster with a rectangular parallelepiped will be described.
[0038]
FIG. 6 shows an example in which no object is present on the road surface and the vehicle is traveling parallel to the road surface without tilting. FIG. 6A shows a state in which the imaging camera is imaging the road surface ahead as viewed from the side. FIG. 6B shows an example of an estimated distance 65 predetermined for each window and a measured distance 66 measured for each window in the state of FIG. FIG. 6C shows the calculated three-dimensional information for each window. The three-dimensional information was calculated assuming that the height H from the road surface of the imaging camera was 1.3 meters. For the sake of simplicity, in this example, as shown in FIG. 6D, a 3 row × 3 column window that is a part of the imaged image area is used, and these nine windows are one Suppose you want to configure a cluster. In order to identify each window, the windows are numbered W11, W12, as shown in FIG.
[0039]
In the example of FIG. 6, the vehicle travels parallel to the road surface, and no object exists on the road surface. Therefore, the estimated road surface matches the actual road surface, and the estimated distance and the measured distance match. Therefore, the height h of the object in all windows is zero. Each window can be represented by three-dimensional information (x, y, z) from the position of the camera, the position in the image of the window, and the measured distance ((c) of FIG. 6). Here, x1 to x3 indicated by the x-coordinate in FIG. 6C correspond to distances determined in advance for each of the first to third windows shown in FIG. 6D. , Depending on the position of the camera, the number of windows in the image, and the like. For example, the third row of windows can be defined to indicate a 1 meter position to the left from the center of the vehicle.
[0040]
Points P1, P2, and P3 shown in FIG. 6A are points obtained by projecting the respective three-dimensional information of the windows W11, W21, and W31 onto the three dimensions. All nine windows shown in FIG. 6C are projected onto three dimensions to determine points P1 to P9, and a minimum rectangular parallelepiped including all points P1 to P9 is determined. In this example, since the height of the object of the window is zero, the rectangular parallelepiped including all the points P1 to P9 becomes a surface 63 that extends in parallel to the road surface. The surface 63 coincides with the actual road surface 61 as apparent from FIG. In this way, the cluster can be represented by three-dimensional information, and the cluster can be approximated by a rectangular parallelepiped (in this example, a plane).
[0041]
FIG. 7 shows a case where an object 71 exists in front. Since the object 71 exists, the measured distance 76 of the windows W11 to W13 and W21 to W23 is smaller than the corresponding estimated distance 75. Similarly to the example of FIG. 6, the above-described equations (1) and (2) are used to represent each window as three-dimensional information ((c) of FIG. 7). Based on these three-dimensional information, each window is projected onto three dimensions to determine points P1 to P9. The surface 73 is a side view of these connected points. A minimum rectangular parallelepiped 74 including all nine points P1 to P9 is determined, and the cluster is approximated by a rectangular parallelepiped. As is apparent from FIG. 7A, this rectangular parallelepiped represents the size of the object in the imaged portion.
[0042]
FIG. 8 shows a case where there is a deviation between the estimated road surface 82 and the actual road surface 81 from which the distance is measured because the host vehicle is tilted due to the effect of pitching and is not parallel to the actual road surface. Since the actual road surface 81 in FIG. 8 looks like an object when viewed from the imaging camera, each window is represented by three-dimensional information in the same manner as described in FIGS. Can be approximated. Each of the windows is represented by three-dimensional information using the above-described equations (1) and (2) (FIG. 8 (c)), and projected onto three dimensions to determine points P1 to P9. The plane 83 connects these points and is viewed from the side. A minimum rectangular parallelepiped 84 including the projected points P1 to P9 is determined, and the cluster is approximated by a rectangular parallelepiped. As is apparent from the comparison with the rectangular parallelepiped 74 in FIG. 7, even if the vehicle is inclined due to pitching or the like, the vehicle cannot be inclined greatly during normal driving, and since there is actually no object, the thickness of the rectangular parallelepiped is small. It will be very thin.
[0043]
Thus, the three-dimensional information display unit 35 can easily recognize the position and size of the cluster by approximating the cluster with a rectangular parallelepiped (a cluster approximated with a rectangular parallelepiped is referred to as an approximate cluster). Specifically, the attributes of the approximate cluster such as distance, position, height, and thickness are calculated based on the three-dimensional information of the windows constituting the cluster and stored in the cluster storage unit 48. In the example of FIG. 8, the height of the approximate cluster is obtained from the y coordinate of the point P1 (that is, the point having the maximum y coordinate value among the projected points P1 to P9) included in the upper surface 87 of the corresponding rectangular parallelepiped. The approximate cluster thickness has the y coordinate of the point P1 included in the upper surface 87 of the corresponding rectangular parallelepiped and the point P3 included in the lower surface 88 (that is, the minimum y coordinate value among the projected points P1 to P9). It is obtained from the difference between the point) and the y coordinate. Further, the width of the approximate cluster is obtained from the difference between the x coordinate of the point having the maximum x coordinate value and the x coordinate of the point having the minimum x coordinate value among the projected points included in the corresponding rectangular parallelepiped. It is done.
[0044]
The reason why the cluster is approximated by a rectangular parallelepiped is that the distance, position, width and height of the cluster can be easily calculated and the size and position of the object included in the cluster can be accurately recognized. In another embodiment, the cluster is approximated with other solids (eg, a vehicle-shaped solid) and the cluster's finer attributes (eg, bottom and top widths, left and right heights, etc.) ) Can also be calculated and stored. Also, the approximation with the smallest cuboid is that if you approximate it with a cuboid that includes all projected points but is larger (or smaller), the approximate cluster will not accurately represent the size and position of the object. .
[0045]
Next, when there are a plurality of approximate clusters, the cluster combining unit 36 in FIG. 1 combines any number of clusters based on the information about the approximate clusters stored in the cluster storage unit 48. In this embodiment, if the difference between the distance between a certain approximate cluster and another approximate cluster, the difference between the horizontal position and the vertical position is less than the threshold value, the two approximate clusters are combined. This is because other approximate clusters that are close to the approximate cluster are likely to represent the same object.
[0046]
The threshold value is preferably set to a different value depending on the distance from the vehicle. In this embodiment, the threshold value is set according to the distance between two approximate clusters for which the difference between the distance and the position is obtained. The distance between the two approximate clusters is calculated based on the number of windows included in each approximate cluster and the measured distance between the windows. For example, if there are two approximate clusters C1 and C2, the distances between the approximate clusters C1 and C2 are d1 and d2, respectively, and the number of windows included in each approximate cluster C1 and C2 is w1 and w2, the following formula (3 ) Can be used to calculate the distance between two approximate clusters. Here, as the distances d1 and d2 of the approximate clusters, values obtained by averaging the measured distances of the windows included in the respective clusters are used.
[0047]
[Expression 2]
Distance between two approximate clusters = (d1 × w1 + d2 × w2) / (w1 + w2)
. . . Formula (3)
[0048]
In another embodiment, instead of calculating the weighted average based on the number of windows of the approximate clusters as in Equation (3), a value obtained by simply averaging the distances d1 and d2 of each approximate cluster is calculated as two approximate clusters. It can also be a distance. Furthermore, a value obtained by averaging the distances at the center positions of the approximate clusters C1 and C2 can be used as the distance between the two approximate clusters. Since the measured distance is proportional to the road surface distance of the object of the window indicated by the z coordinate, the road surface distance may be used.
[0049]
The difference between the distances of the two approximate clusters is represented by the difference between the distances d1 and d2 of the approximate clusters. Further, the difference between the horizontal position and the vertical position of the two approximate clusters is represented by an interval between the two approximate clusters. Referring to FIG. 9, two approximate clusters C1 and C2 viewed from the xy plane are shown. The difference between the horizontal positions of the approximate clusters C1 and C2 is represented by a difference dx in the x-axis direction, and the difference between the vertical positions is represented by a difference dy in the y-axis direction. The differences dx and dy between the horizontal and vertical positions can be calculated from the positions and sizes related to the approximate clusters C1 and C2 stored in the cluster storage unit 48.
[0050]
In another embodiment, instead of using the interval between the approximate clusters as the position difference, for example, a difference in the center position of the approximate clusters may be used. Since the cluster is approximated by a rectangular parallelepiped, the center position of the approximate cluster can be easily obtained from the information regarding the approximate cluster stored in the cluster storage unit 48.
[0051]
The threshold is based on the distance between the two approximate clusters calculated using the above formula (3). For example, the difference in distance is as shown in Table 1 below for the difference between the horizontal position and the vertical position. Can be set as shown in Table 2 below.
[0052]
[Table 1]

[0053]
[Table 2]

[0054]
In Table 1, the distance difference threshold value increases as the distance between two approximate clusters increases because the error in the measurement distance increases as the distance from the host vehicle increases. In Table 2, the threshold value of the difference between the horizontal and vertical positions decreases as the distance between the two approximate clusters increases. For example, when another vehicle is present at a close distance from the host vehicle, This is because there are many windows in which the measurement distance cannot be calculated due to low contrast, and the interval between clusters may be wide.
[0055]
Thus, if the difference in distance, horizontal position, and vertical position are all equal to or less than the threshold value, the approximate clusters are combined into one combined cluster. Referring to FIG. 4, if there are two clusters and the difference in distance and position between these approximate clusters is less than or equal to the threshold value, the two clusters can be combined.
[0056]
Note that the size (width and height) of the approximate cluster can also be added to the cluster connection condition. For example, if the object to be detected is another vehicle, the clusters can be combined if the combined cluster width and height do not exceed the normal vehicle width and height.
[0057]
Furthermore, in addition to these conditions, information on the object recognized last time (stored in the object storage unit 39) can be used as a cluster connection condition. In this case, the position and size of the current object are estimated from the position and size of the previously recognized object using the relative speed with respect to the object (also stored in the object storage unit 39). An approximate cluster is selected in which the difference in distance from the estimated object is less than or equal to the threshold and overlaps in the horizontal and vertical positions. When there are a plurality of selected clusters, one or more of the selected clusters are combined so as to have a position and size closest to the estimated position and size of the object.
[0058]
Thereafter, the cluster combining unit 36 determines the minimum rectangular parallelepiped including all the clusters based on the three-dimensional information of the clusters included in the combined cluster (hereinafter referred to as cluster group), and approximates the cluster group with the rectangular parallelepiped. Information such as the position, size, and distance of the newly determined approximate cluster group is obtained and stored in the cluster storage unit 48. The cluster combining unit 36 designates each approximate cluster group as an object candidate. Approximate clusters that have not been combined are independently designated as object candidates.
[0059]
The object determination unit 37 in FIG. 1 determines whether the target object of the cluster is an object based on the height or thickness of the extracted object candidate. Since the height and thickness of the approximate cluster or approximate cluster group that is the object candidate are stored in the cluster storage unit 48, the object determination unit 37 reads these values, and among the object candidates, the height from the estimated road surface of the upper surface is read. If the difference between the upper surface and the lower surface (thickness) is small, it is determined that the object is not an object and is excluded from the object candidates.
[0060]
For example, when the detection target is another vehicle, an object candidate whose height from the estimated road surface to the upper surface of the object candidate is 90 centimeters or less and whose difference between the upper surface and the lower surface is 80 centimeters or less, Object candidates whose height to the upper surface is 70 centimeters or less are determined not to be objects and are excluded from the object candidates. By providing such threshold values for the height and thickness, for example, when the object candidate is a road surface as shown in FIG. 8, the approximate cluster that is the object candidate becomes very thin. The cluster 84 is not determined to be an object.
[0061]
In this way, even if the vehicle leans due to the influence of pitching or the like and the road surface becomes an object candidate, and the object candidate occupies a wide area on the image, the cluster is represented by the three-dimensional information to calculate the thickness. Since it can be seen that the object is thin, the road surface is not erroneously determined as an object.
[0062]
The object recognition unit 38 reads information such as the distance, position, and size of the approximate cluster determined as an object by the object determination unit 37 from the cluster storage unit 48 and recognizes the object. Information relating to the recognized object is stored in the object storage unit 39. The object storage unit 39 also stores information related to the previously recognized object. As described above, the cluster combining unit 36 can combine clusters using this information. Further, the object recognizing unit 38 uses the distance of the object recognized last time (previous distance) and the distance of the object recognized this time (current distance) from the calculation formula of (current distance−previous distance) / detection time interval. The relative speed of the own vehicle with respect to the object is calculated and stored in the object storage unit 39. Here, the detection time interval is a time difference between the previous measurement and the current measurement, and can be set to, for example, 100 milliseconds.
[0063]
The vehicle control unit 45 detects the object based on information such as the distance, position, and relative speed of the object stored in the object storage unit 39 and information from the vehicle speed detection device 46 and the yaw rate detection device 47. The own vehicle is controlled so that the distance is appropriate. For example, it is possible to perform control such as issuing a warning to the driver by voice or alarm, or forcibly decelerating by controlling the engine of the own vehicle.
[0064]
Correlation calculation unit 6, distance calculation unit 7, distance storage unit 8, window cutout unit 13, road surface removal unit 31, estimated distance storage unit 32, clustering unit 33, cluster combination unit 36, cluster storage unit 48, The object determination unit 37, the object recognition unit 38, the object storage unit 39, and the vehicle control unit 45 provide a central processing unit (CPU), a read-only memory for storing control programs and control data, and a calculation work area for the CPU. Random access memory (RAM) capable of temporarily storing various data. The distance storage unit 8, the estimated distance storage unit 32, the cluster storage unit 48, and the object storage unit 39 can be realized by using different storage areas in one RAM. Also, a temporary storage area for data required for various calculations can be realized by using a part of the same RAM.
[0065]
Further, the object determination device of the present invention can be LAN-connected to an engine electronic control unit (ECU), a brake control ECU and other ECUs, and the output from the object determination device can be used for overall control of the vehicle.
[0066]
【The invention's effect】
According to the first aspect of the present invention, the cluster of windows clustered based on the measured distance value is represented by three-dimensional information, and the object is determined based on the height or thickness of the cluster. The object can be accurately determined even if there is a real change in the road surface.
[0067]
According to the second aspect of the present invention, since it is determined whether or not it is an object by combining clusters that are likely to include the same object, the object can be determined more accurately.
[0068]
According to the invention of claim 3, since it is not necessary to perform subsequent object determination processing for a window in which the object is determined to be a road surface based on a predetermined estimated distance to the road surface and the actually measured distance. Therefore, the object can be determined more efficiently.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of an embodiment of the present invention.
FIG. 2 is a diagram for explaining the principle of distance measurement by a triangulation method.
FIG. 3 is a diagram showing (a) a captured image, (b) an image divided into small areas (windows) for distance and road area determination according to the present invention.
FIG. 4 is a view showing window clustering according to the present invention;
FIG. 5 is a diagram showing a method of representing a window with three-dimensional information according to the present invention.
FIG. 6 is a diagram illustrating a method of representing a cluster not including an object with three-dimensional information and approximating it with a rectangular parallelepiped when the vehicle is traveling parallel to a road surface.
FIG. 7 is a diagram showing a method of representing a cluster including an object with three-dimensional information and approximating it with a rectangular parallelepiped.
FIG. 8 is a diagram illustrating a method of representing a cluster not including an object with three-dimensional information and approximating it with a rectangular parallelepiped when the vehicle is traveling at an angle.
FIG. 9 is a diagram showing a difference between horizontal and vertical positions of two clusters according to the present invention.
[Explanation of symbols]
3, 3 'imaging unit
7 Distance calculator
31 Road surface removal section
33 Clustering unit
36 Cluster junction
37 Object determination unit

Claims

At least two imaging means arranged at a predetermined interval;
Measuring means for measuring a distance to an object for each window based on an image obtained by the at least two imaging means and divided into a plurality of windows;
A difference in distance measured by the measuring means is within a predetermined range, and clustering means for determining a cluster by clustering adjacent windows;
For each of the windows constituting the cluster, the object of the window is based on the position of the imaging means, the position of the window on the image, and the distance to the object on the window measured by the measuring means . Three-dimensional display means for representing the position of the three-dimensional information,
The position represented by the three-dimensional information is projected as a point on a three-dimensional coordinate system with the road surface where the vehicle is located as the origin and the direction perpendicular to the road surface as the y-axis, and the positions of all the windows constituting the cluster are projected. A cluster approximation means for approximating the cluster by a rectangular parallelepiped by defining a minimum rectangular parallelepiped so as to include the projected point;
Cluster combining means for combining other clusters in the vicinity of the cluster approximated by the rectangular parallelepiped;
A coupled cluster approximation means for approximating the coupled cluster by a rectangular parallelepiped by defining a minimum rectangular solid including the coupled cluster;
Object determining means for determining whether the object of the combined cluster is an object based on the height and thickness of the rectangular parallelepiped approximating the combined cluster by the combined cluster approximating means, wherein the height is The thickness is expressed by the difference between the y coordinate value of the point included in the upper surface of the rectangular parallelepiped and the y coordinate value of the point included in the lower surface of the rectangular parallelepiped. Represented by an object determination means;
An object determination device comprising:

The distance to the object on the window measured by the measuring means is compared with the distance to the road surface determined based on the position of the imaging means and the position of the window on the image. The object determination apparatus according to claim 1, further comprising means for determining whether the road surface.