JP4118452B2

JP4118452B2 - 物体認識装置

Info

Publication number: JP4118452B2
Application number: JP16956899A
Authority: JP
Inventors: 守道西垣; 雅和坂
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-06-16
Filing date: 1999-06-16
Publication date: 2008-07-16
Anticipated expiration: 2019-06-16
Also published as: US6731777B1; JP2000357233A; DE10029866B4; DE10029866A1

Description

【０００１】
【発明の属する技術分野】
この発明は、自動車などの車両に搭載されたカメラによる撮像手段を用いて、前方の物体を検出する光学式の物体認識装置に関し、より具体的には、撮像された画像における複数のウィンドウを用いて物体を認識する物体認識装置に関する。
【０００２】
【従来の技術】
近年、車両走行の安全性を向上させるため、自車両の前方にある物体の距離や大きさを判断し、これに応じて車両を適切に制御する装置が提案されている。
【０００３】
２つの受光素子からなる光学式距離計測装置を使用し、距離検出された被写体が物体か道路領域（路面上の文字／白線を含む）かを判断する手法に関連するものとして、特開平９−７９８２１号公報には、計算エリアごとに距離を算出し、この距離値に基づき近接する計算エリアをブロック化して、障害物が存在する領域を認識する装置が提案されている。このブロック化では、距離が未測定の計算エリアも含めてブロック化される。
【０００４】
【発明が解決しようとする課題】
特開平９−７９８２１号公報のものでは、隣接している計算エリアから算出される距離値が近い場合にブロック化を行うため、画像領域に複数の障害物が隣接して存在している場合には、これら複数の障害物をブロック化して１つの物体と誤認する場合があった。また、ブロック化する範囲を一定としているため、１つの障害物が複数の障害物であると誤って認識する場合があった。
【０００５】
そこでこの発明は、過去の物体の情報を利用して、画像領域に複数存在する物体を別々に正確に認識することのできる装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明の物体認識装置は、所定の間隔をおいて配置された少なくとも２つの撮像手段と、前記少なくとも２つの撮像手段で得られ、複数のウィンドウに分割された画像に基づいて、ウィンドウごとに対象物までの距離を計測する計測手段と、前記計測手段により計測された距離の差が所定範囲内にある、隣接するウィンドウをクラスタリングしてクラスタを定めるクラスタリング手段と、前回認識された物体の位置および該物体に対する相対速度に基づいて、今回の該物体の位置を推定する物体推定手段と、前記推定された物体との距離の差が所定範囲内にあり、該推定された物体と重なりを持つクラスタを選択するクラスタ選択手段と、前記選択されたクラスタのうちの１つまたは複数のクラスタから構成される結合クラスタであって、前記推定された物体の属性に最も近い属性を持つ結合クラスタを物体として認識する物体認識手段とを備える。
【０００７】
この発明によると、前回認識された物体に関する情報を使用して物体を認識するので、複数の物体を１つの物体または１つの物体を複数の物体として誤認することなく、正確に物体を認識することができる。
【０００８】
また、請求項２の発明は、請求項１の物体認識装置において、予め決められた検知すべき物体の属性を格納する検知物体記憶手段を備え、前記クラスタ選択手段において選択されなかったクラスタのうちの１つまたは複数のクラスタから構成される結合クラスタの属性を、前記検知すべき物体の属性と比較し、属性の差が最小値となる検知すべき物体を、前記結合クラスタに対応する物体として認識する。
【０００９】
請求項２の発明によると、予め決められた検知すべき物体の属性と比較して物体を認識するので、今回新たに画像上に現れた複数の物体についても、それぞれを正確に認識することができる。
【００１０】
【発明の実施の形態】
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施例の物体認識装置の全体的なブロック図である。図２は、この実施例で用いる三角計測法による距離の計測原理を説明する図である。まず図２を参照して１対の撮像装置を用いた距離の測定方法を説明する。
【００１１】
一対の撮像装置の一方を構成するラインセンサ２１およびレンズ２３は、他方の撮像装置を構成するラインセンサ２２およびレンズ２４と所定の間隔すなわち基線長Ｂだけ左右方向または上下方向に間隔をおいて配置されている。ラインセンサ２１および２２は、典型的には１次元のＣＣＤであり、直線的に配列されたフォトセンサのアレイであってもよい。夜間の使用を考慮すると赤外線を用いた撮像装置にするのがよい。この場合、レンズ２３、２４の前に赤外線透過性のフィルタを置き、赤外線の光源を用いて一定の周期で対象物２０を照射し、対象物２０から反射する赤外線をラインセンサ２１、２２が感知するようにするのがよい。
【００１２】
ラインセンサ２１、２２は、それぞれレンズ２３、２４の焦点距離ｆに配置されている。レンズ２３、２４のある平面から距離ａにある対象物の像が、ラインセンサ２１ではレンズ２３の光軸からＸ１ずれた位置に形成され、ラインセンサ２２ではレンズ２４の光軸からＸ２だけずれた位置に形成されるとすると、レンズ２３、２４の面から対象物２０までの距離ａは、三角計測法の原理により、ａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）で求められる。
【００１３】
この実施例では画像はデジタル化されるので、距離（Ｘ１＋Ｘ２）は、ディジタル的に算出される。ラインセンサ２１および２２で得られる画像の片方または両方をシフトさせながら両画像のそれぞれ対応する画素の輝度を示すディジタル値の差の絶対値の総和を求め、これを相関値とする。相関値が最小値になるときの画像のシフト量が両画像の間の位置ずれ、すなわち（Ｘ１＋Ｘ２）を示す。観念的には図２に示すようにラインセンサ２１および２２から得られる２つの画像を重なり合わせるために２つの画像を相対的に移動させねばならない距離が（Ｘ１＋Ｘ２）である。
【００１４】
ここでは、簡単のため撮像装置が１次元のラインセンサ２１、２２であるものとして説明したが、以下に述べるようにこの発明の一実施例では２次元のＣＣＤまたは２次元のフォトセンサ・アレイを撮像装置として使用する。この場合、２つの撮像装置から得られる２次元の画像を相対的にシフトさせて上述したのと同様の相関計算を行い、相関値が最小となるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）に相当する。
【００１５】
図１の撮像手段３は、図２のレンズ２３およびラインセンサ２１からなる一方の撮像手段に対応し、撮像手段３’は、図２のレンズ２４およびラインセンサ２２からなる他方の撮像手段に対応する。この実施例では、図３の（ｂ）に示すように撮像領域を複数のウィンドウ（小領域）Ｗ₁₁、Ｗ₁₂、・・・に分割し、ウィンドウごとに距離の計測を行うので、対象物全体の２次元の画像が必要になる。このため撮像手段３、３’は、２次元のＣＣＤアレイまたは２次元のフォトセンサ・アレイで構成される。
【００１６】
図３の（ａ）は、撮像手段３または３’により自車両の前方を走行する他車両を撮像した画像の例を示し、図３の（ｂ）は、図３の（ａ）の画像を概念的に複数のウィンドウに分割したものを示す。図３の（ｂ）は、縦方向に行および横方向に列をとり、簡単のため１０行×１５列のウィンドウに分割して示す。それぞれのウィンドウには番号が付されており、例えばＷ₁₂は、１行２列にあるウィンドウを示す。
【００１７】
撮像手段３、３’で撮像された対象物の画像はアナログ・デジタル変換器（Ａ／Ｄ変換器）４、４’でデジタルデータに変換され、画像メモリ５、５’に格納される。ウィンドウ切り出し部９によって、ウィンドウＷ₁₁に対応する画像部分が画像メモリ５および５’からそれぞれ切り出されて相関計算部６に送られる。相関計算部６は、切り出された２つの画像を所定の単位ずつシフトさせて前述した相関計算を行い相関値が最小になるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）である。相関計算部６は、こうして求めた（Ｘ１＋Ｘ２）の値を距離計算部７に送る。
【００１８】
距離計算部７は、前述したａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）の式を用いて、ウィンドウＷ₁₁にある対象物までの距離ａ₁₁を求める。こうして求められた距離ａ₁₁は、距離記憶部８に記憶される。同様の計算処理がそれぞれのウィンドウについて順次実行され、距離ａ₁₁、ａ₁₂、・・・が距離記憶部８に記憶される。以下、あるウィンドウについて計算された対象物までの距離を、そのウィンドウの計測距離という。
【００１９】
上の相関計算で用いる画像データは、撮像素子アレイの素子のピッチによって分解能が定まるので、フォトセンサ・アレイなど比較的ピッチの大きい受光素子を用いるときは、ピッチ間の補間計算を行って画像データの密度を高める処理を行い、こうして密度を高められた画像データについて相関計算を行うのが好ましい。
【００２０】
また、温度による撮像素子アレイの特性変化を補正するため、温度センサを撮像素子アレイ付近に配置し、温度センサから得られる温度情報に基づいて距離計算を補正するようにすることもできる。
【００２１】
次に、以上のようにして算出された計測距離に基づいてウィンドウをクラスタリングする方法について説明する。クラスタリング部３３は、それぞれのウィンドウの計測距離に基づいて、ウィンドウのクラスタリングを行う。最初に、クラスタリング部３３におけるラベル付与部３４が、隣接するウィンドウの計測距離を比較し、ほぼ等しければ、その隣接するウィンドウに同一のラベルを付与する。ラベル付与部３４は、計測距離をもつすべてのウィンドウにラベルを付与し、同じラベルを持つウィンドウは、１つのクラスタを構成する。隣接するウィンドウの計測距離を比較するのは、隣接していなければ、計測距離が同じでも物体が異なる場合があるからである。
【００２２】
例として、図３の（ｂ）の路面上の文字「６０」が撮像されているウィンドウについて説明する。「６０」の文字は、ウィンドウＷ₇₅、Ｗ_7B、Ｗ_A5およびＷ_ABに囲まれた領域（斜線がほどこされた領域）に撮像されている。この画像領域に含まれるウィンドウのそれぞれについて計測された距離の例を、図４の（ａ）に示す。数字の単位はメートルである。ここで、計測距離が示されていないウィンドウは、コントラストがなかったために距離が計算できなかったウィンドウを示す。図４の（ａ）において、隣接するウィンドウの計測距離を比較し、所定範囲内ならば（たとえば、計測距離の差が０．５メートル以内ならば所定範囲内とすることができる）、その隣接する２つのウィンドウに同じラベルを付与する。この処理を、計測距離をもつすべてのウィンドウについて行う。
【００２３】
たとえば、ウィンドウＷ₇₆の計測距離５．８と、Ｗ₇₇の計測距離６．０との差は０．２であるので、それぞれのウィンドウにラベル「１」を付与する。同様の処理を画像の左側部分で隣接するウィンドウについて行うと、図４の（ｂ）の左側部分のウィンドウのそれぞれにラベル「１」が付与される。また、図４の（ａ）の画像の右側部分では、たとえばウィンドウＷ₈₉の計測距離５．５とＷ_8Aの計測距離５．６との差が０．１であるので、それぞれのウィンドウにラベル「２」を付与する。ここで、ウィンドウＷ₈₉およびＷ_8Aの両方とも、ラベル「１」が付与されたウィンドウとは隣接していないので、異なるラベルを付与する。なお、ラベルは数字である必要はなく、例えばアルファベット文字など識別できる符号を用いてもよい。
【００２４】
こうして、計測距離値をもつウィンドウのそれぞれにラベルを付与すると、図４の（ｂ）に示されるように、ラベル「１」でクラスタリングされた領域５１と、ラベル「２」でクラスタリングされた領域５２とが定められる。このクラスタリングされた領域をクラスタと呼ぶ。
【００２５】
次に、３次元表示部３５は、上記のようにクラスタリングされたウィンドウのクラスタを３次元情報で表す。図５に示すように、３次元情報は、この例では水平位置（ｘ）、垂直位置（ｙ）および路面距離（ｚ）の３座標を使用する。水平位置を示すｘ座標はウィンドウの列方向（図３の（ｂ）を参照）に対応し、垂直位置を示すｙ座標は路面からの高さ方向に対応し、路面距離を示すｚ座標はウィンドウの行方向（図３の（ｂ）を参照）に対応する。また、路面距離を示すｚ座標は計測距離ｄに比例する。
【００２６】
図５の（ａ）を参照して、クラスタを構成するウィンドウを３次元情報で表す方法を説明する。原点Ｏは車両が位置する路面を示し、ｘ、ｙおよびｚ軸は原点Ｏで互いに直交する。ｘ軸は車両から見て左右に伸びており、ｙ軸は路面に垂直に伸びており、ｚ軸は車両の進行方向に伸びている。撮像カメラ５３は、原点Ｏからｙ軸方向の高さＨのところにある。物体５４は、高さｈおよび幅ｇを持ち、ｚ軸方向にｉ進んだ所にある。
【００２７】
撮像カメラ５３で撮像された画像上の複数のウィンドウのうち、あるウィンドウには、物体５４が存在しなければ点５５で表される路面が対象物として撮像され、物体５４が存在すれば、点５６で表される物体５４の一部が対象物として撮像される。推定距離Ｄは、撮像カメラ５３と点５５との間の距離であり、物体５４が存在しない場合に撮像された点５５までの計測距離に等しい。計測距離ｄは、撮像カメラ５３と点５６との間の距離であり、図２を参照して前述した方法により計算される。（ｘ，ｙ，ｚ）座標系を使用すると、撮像カメラ５３の位置は（０，Ｈ，０）で表され、点５６の位置は（ｇ，ｈ，ｉ）で表される。
【００２８】
ウィンドウごとの推定距離Ｄおよび撮像カメラの推定路面からの高さＨは固定値であるので、予め計算して記憶しておくことができる。図５の（ａ）から明らかなように、ウィンドウの対象物の高さｈは以下の式（１）から、対象物の路面距離ｉは式（２）から求められる。
【００２９】
【数１】

【００３０】
図５の（ａ）のｘ軸方向の車両からの水平距離は、撮像カメラの位置、画像におけるウィンドウ数などに応じてウィンドウの列ごとに予め決められる。たとえば、ウィンドウの３列目は、車両の中心から左に１メートルの位置を示すというように定めることができる。したがって、点５６が撮像されているウィンドウの画像上の位置に基づいて、点５６のｘ座標値（この例ではｇであり、対象物の幅の値に等しい）を求めることができる。こうして、クラスタを構成するウィンドウのそれぞれを、ｘ、ｙおよびｚ座標で表すことができる。
【００３１】
別の実施形態では、たとえば路面距離を示すｚ座標の代わりに計測距離ｄを使用することもでき、上記の座標系とは異なる座標系を使用してウィンドウを表すこともできる。
【００３２】
こうして、３次元情報表示部３５は、クラスタを構成するそれぞれのウィンドウを３次元情報で表して３次元上に点として投影し、クラスタの中心位置、幅および大きさを求めることができる。あるクラスタについて３次元上に投影されたすべての点を含む最小の直方体を定め、クラスタを直方体で近似するのが好ましい。これにより、クラスタの中心位置、幅および高さ（厚み）を容易に求めることができ、クラスタに含まれる対象物の大きさおよび位置を正確に認識することができる。
【００３３】
上記のｘ，ｙ，ｚ座標系を使用すると、直方体で近似されたクラスタの幅は、投影された点のうち最大のｘ座標値から最小のｘ座標値引いた値であり、クラスタの厚みは、投影された点のうち最大のｙ座標値から最小のｙ座標値を引いた値である。さらに、クラスタの中心位置は、ｘ、ｙおよびｚ座標のそれぞれについて、最大値から最小値を引いて２分の１した値で表される。こうして算出されたクラスタの中心位置の距離、水平位置および垂直位置と、クラスタの幅および高さ（このようなクラスタに関するそれぞれの情報を、クラスタの属性という）は、クラスタ記憶部４８に記憶される。
【００３４】
図５の（ｂ）は、図５の（ａ）の原点Ｏに位置する車両が物体５４の方へ移動し（移動した原点が、原点Ｏ’で表される）、物体５４に対する車両の相対距離がｒだけ短くなった場合を示す。図５の（ａ）と同様に物体５４の一部である点５６の位置を座標を用いて特定する。物体の水平位置が変化しないとすると、物体の垂直位置は変わらないので（物体の高さは不変である）、変化するのはｚ座標のみである。したがって、点５６の位置は、（ｇ，ｈ，ｉ−ｒ）で表される。
【００３５】
図１に戻り、クラスタ群決定部３６は、物体認識の処理が行われたことを示す処理済みフラグがたっていないクラスタをクラスタ記憶部４８から抽出し、クラスタの属性に基づいて、任意の数のクラスタから構成されるクラスタ群を定める。クラスタリング部３３によりクラスタリングされた直後は、すべてのクラスタに処理済みフラグがたっていないので、すべてのクラスタが抽出される。
【００３６】
この実施例では、クラスタ群決定部３６は、あるクラスタと他のクラスタの距離、水平位置および垂直位置の差を算出し、これらの差がいずれもしきい値以下ならば、これらのクラスタは同じクラスタ群に含まれると判断する。この処理を、抽出されたクラスタのすべてについて行い、クラスタ群を決定する。複数のクラスタが近い場所に現れているならば、これらのクラスタは同じ対象物を表す可能性が高いからである。
【００３７】
しきい値は、車両からの距離に応じて異なる値を設定するのが好ましい。この実施形態では、距離および位置の差を求める２つのクラスタの距離に応じて、しきい値を設定する。２つのクラスタの距離は、それぞれのクラスタに含まれるウィンドウ数と、それらウィンドウの計測距離とに基づいて算出する。たとえば、２つのクラスタＣ１およびＣ２があり、クラスタＣ１およびＣ２の距離をそれぞれｄ１およびｄ２とし、それぞれのクラスタＣ１およびＣ２に含まれるウィンドウ数をｗ１およびｗ２とすると、以下の式（３）に基づいて２つのクラスタの距離を算出することができる。ここで、クラスタの距離ｄ１およびｄ２は、それぞれのクラスタに含まれるウィンドウの計測距離を平均した値を用いる。
【００３８】
【数２】
２つのクラスタの距離＝ (ｄ１×ｗ１＋ｄ２×ｗ２）／（ｗ１＋ｗ２）．．．式（３）
【００３９】
別の実施形態では、式（３）のようにクラスタのウィンドウ数に基づいて加重平均を計算する代わりに、単純にそれぞれのクラスタの距離ｄ１およびｄ２を平均した値を、２つのクラスタの距離とすることもできる。さらに、クラスタＣ１およびＣ２のそれぞれの中心位置における距離を平均した値を、２つのクラスタの距離とすることもできる。なお、計測距離と前述のｚ座標で示されるウィンドウの対象物の路面距離とは比例するので、路面距離を用いてもよい。
【００４０】
２つのクラスタの水平位置および垂直位置の差ｄｘおよびｄｙは、２つのクラスタ間の間隔で表され、距離の差ｄｚは、それぞれのクラスタの距離（上記ではｄ１およびｄ２）の差で表される。例として、図６の（ａ）は、ｘ−ｙ平面から見た複数のクラスタを示し、図６の（ｂ）は、ｘ−ｚ平面から見た、図６の（ａ）と同じクラスタを示す。クラスタＣ４およびＣ６の水平位置の差は、ｘ軸方向のｄｘで表され、垂直位置の差は、ｙ軸方向のｄｙで表される。また、クラスタＣ４およびＣ６の距離をそれぞれｄ４およびｄ６とすると、距離の差はｚ軸方向のｄｚで表される。なお、水平および垂直位置の差は、クラスタ間の間隔の代わりに、たとえばクラスタの中心位置の差を用いることもできる。
【００４１】
しきい値は、上記の式（３）を用いて計算された２つのクラスタの距離に基づいて、たとえば、距離の差については以下の表１のように、水平位置および垂直位置の差については以下の表２のように設定することができる。
【００４２】
【表１】

【００４３】
【表２】

【００４４】
表１において、２つのクラスタの距離が大きくなるほど距離の差のしきい値が大きくなっているのは、自車両からの距離が遠くなるほど計測距離の誤差が大きくなるためである。表２において、２つのクラスタの距離が大きくなるほど水平および垂直位置の差のしきい値が小さくなっているのは、たとえば他の車両が自車両から近い距離に存在するような場合には、コントラストが低いために計測距離を算出することのできないウィンドウが多く発生し、クラスタとクラスタとの間の間隔が広くなることがあるからである。
【００４５】
図６の（ａ）および（ｂ）を参照すると、クラスタ群決定部３６は、クラスタＣ１〜Ｃ６から任意のクラスタを２つ選び、距離、水平および垂直位置の差を算出してしきい値と比較し、同じクラスタ群に含めることができるかどうか判断する。たとえば、クラスタＣ１およびＣ２は距離および位置の差がしきい値以下なので同じクラスタ群に含めることができ、クラスタＣ２およびＣ４も距離および位置の差がしきい値以下なので同じクラスタ群に含めることができると判断し、その結果、クラスタＣ１、Ｃ２およびＣ４を同じクラスタ群Ｇ１に含めることができると判断する。
【００４６】
また、クラスタＣ６およびクラスタＣ５は、水平および垂直位置の差はしきい値以下であるが、距離の差がしきい値を超えるため、それぞれ別のクタスタ群に含めると判断する。このようにして、クラスタ群決定部３６は、図６の（ｃ）および（ｄ）に示されるような２つのクラスタ群Ｇ１およびＧ２を決定する。その後、クラスタ群決定部３６は、同じクラスタ群を構成するクラスタに、同じラベルを付与しなおす。
【００４７】
なお、クラスタ群に含めるかどうかの判断に、クラスタの大きさ（幅および高さ）を加えることもできる。たとえば、検出すべき物体が他の車両である場合には、クラスタ群の幅および高さが通常の車両の幅および高さより大きくならない場合に、クラスタを含めると判断することができる。
【００４８】
次に、過去の情報に基づいて物体を推定する方法を説明する。図１の物体推定部４０は、前回認識された物体の位置と、該物体に対する相対速度に基づき、今回得られた画像における物体の位置を推定する。図７を参照して、この実施形態における物体の推定方法について説明する。図７の（ａ）〜（ｃ）は前回の処理を示し、図７の（ｄ）〜（ｆ）は今回の処理を示す。図７の（ａ）には、２台の車両９１および９２が撮像されており、図７の（ｄ）には、図７の（ａ）と同じ車両９１および９２が撮像され、さらに新たに標識９３が撮像されている。
【００４９】
図７の（ｂ）は、図７の（ａ）の画像に基づいてクラスタリング部３３により定められたクラスタＣ１１〜Ｃ１７と、クラスタ群決定部３６により定められたクラスタ群６３および６４を示す。図７の（ｃ）は、クラスタ群６３および６４から認識された物体６５および６６を示し、それぞれ車両９１および車両９２に対応する。物体６５と６６の位置および大きさは、前回の処理で物体記憶部３９に記憶されている。
【００５０】
物体推定部４０は、前回認識された物体６５および６６の位置と相対速度を物体記憶部３９から読み出し、物体６５および６６の今回の位置を算出する。算出は、（前回の物体の位置＋相対速度×検出間隔時間）という計算式を使用して行うことができる。この例では、物体６５に対する相対速度をゼロとし、物体６６に対する相対速度を時速−１０キロメートルとし（この例では、物体の速度に対して自車両の速度が大きい場合の相対速度を「負」で表す）、検出間隔時間を１００ミリ秒とする。前回と今回の物体６５に対する相対距離は変化せず、物体６６に対する相対距離は約０．３メートルだけ短くなる。
【００５１】
したがって、図５の（ｂ）を参照して説明したように、前回の物体６５の位置（物体の中心座標で表すとする）を（x1，y1，z1）、物体６６の位置を（x2，y2，x2）とし、それぞれの座標値をメートルで示すと、物体６５の今回の位置は（x1，y1，z1）、物体６６の今回の位置は（x2，y2，z2−0.3）と推定することができる。ここで、推定される物体は前回と同じ水平位置にあるとする。なお、座標系や原点のとりかたに応じて、物体に対して自車両の速度が大きい（または小さい）場合の相対速度「正」または「負」で表すことができ、上記と異なる式を用いて物体の位置を算出することもできる。
【００５２】
さらに、時間が経過しても物体の大きさは変わらないので、物体推定部４０は、物体６５および６６の幅および高さを物体記憶部３９から読み出し、それぞれの今回の位置（x1，y1，z1）および（x2，y2，z2−0.3）において、物体６５および６６を３次元上に再構成することができ、推定された物体の画像上におけるウィンドウの位置を求めることができる。図７の（ｅ）は、上記のように物体６５および６６を推定した物体７５および７６を、画像上の四角で囲まれた領域で示す。
【００５３】
物体推定部４０は、推定した物体（以下、推定物体という）７５および７６の属性（距離、水平位置、垂直位置、幅および高さなどの物体に関する情報）を、推定物体記憶部４９に記憶する。なお、物体推定部４０による処理は、前述したクラスタリング部３３およびクラスタ群決定部３６による処理と並行して行うのが好ましい。
【００５４】
相対速度は時間によりしばしば変化するので、推定物体の位置を範囲で特定することができる。たとえば、ある相対速度で算出された推定物体の位置を、（x，y，z）の１点で特定する代わりに、たとえば（x−1，y−1，z−1）〜（x＋1，y＋1，z＋1）のように範囲で特定することもできる。または、ある相対速度ｓキロメートル／時で算出される相対距離で位置を特定する代わりに、相対速度（s−５）〜（s＋５）キロメートルで算出される範囲の相対距離で位置を特定することもできる。このように、物体の位置を範囲で特定することにより、相対速度がある程度変化した場合にも、より正確に物体の位置を推定することができる。
【００５５】
図１に戻り、クラスタ選択部４１は、最も近い距離にあるクラスタを含むクラスタ群を選ぶ。次に、選択されたクラスタ群を構成するクラスタと距離の差がしきい値以下であって、水平および垂直位置で重なりを持つ推定物体のうち、最も近い距離にある推定物体を選択する。その後、クラスタ選択部４１は、選択された推定物体と重なりを持つクラスタを、選択されたクラスタ群からすべて選択する。
【００５６】
ここで、選択したクラスタ群を構成するいずれのクラスタも、推定物体との距離の差がしきい値を満たさず推定物体と重なりを持たない場合、すなわち選択すべき推定物体が無い場合には、そのクラスタ群に含まれるすべてのクラスタを選択し、処理は物体候補抽出部４２に進む。
【００５７】
また、クラスタ選択部４１は、すべてのクラスタが処理された後になお推定物体が残っている場合には、この推定物体はすでに画像領域に現れなくなった物体と判断し、推定記憶部４９から削除することができる。
【００５８】
近い距離にあるクラスタ群および推定物体から処理するのは、近い距離にあるクラスタほど物体かどうか優先して判断する必要があり、また、対応する推定物体を見つけやすいからである。
【００５９】
クラスタおよび推定物体のそれぞれの距離は、それぞれの中心位置における距離を用いることができる。または、クラスタの距離は、クラスタを構成するウィンドウの計測距離の平均した値を用いることもできる。距離の差のしきい値は、前述した表１の値を用いることもでき、または新たに異なる値のしきい値を用いてもよい。
【００６０】
重なりの判断は、比較するクラスタと推定物体をｘ−ｙ平面に投影することにより、簡単に判断することができる。たとえば、水平方向の重なりは、クラスタ群の最大および最小のｘ座標と、推定物体の最大および最小のｘ座標とを比較することにより判断することができる。なお、水平および垂直位置に重なりがあればよく、推定物体にクラスタ全体が含まれる必要はない。
【００６１】
図７の例で説明すると、図７の（ｄ）に示される車両９１と９２および標識９３は、実際に路面上のほぼ同じ距離に存在しているとする。図７の（ｅ）には、クラスタリング部３３が図７の（ｄ）の画像に基づいて定めたクラスタＣ２１〜Ｃ３１と、クラスタ群決定部３６により定められ、クラスタＣ２１〜Ｃ３１から構成される１つのクラスタ群７２が示される。
【００６２】
クラスタ選択部４１は、最も近い距離にあるクラスタを含むクラスタ群を選択するが、この例ではクラスタ群が１つなので、クラスタ群７２が選択される。次に、クラスタ群７２を構成するクラスタの距離および位置をクラスタ記憶部４８から読み出し、推定物体７５および７６の距離および位置を推定物体記憶部４９から読み出す。クラスタ群７２を構成するクラスタとの距離の差がしきい値以下で、水平および垂直位置で重なりを持つ推定物体は２つある（推定物体７５および７６）。推定物体７５が７６より近い距離にあるとすると、推定物体７５が選択される。次に、クラスタ群７２を構成するクラスタのうち、推定物体７５と重なりを持つクラスタＣ２２〜Ｃ２６を選択する。こうして、推定物体に対応するクラスタがまとまりをもって選択される。
【００６３】
物体候補抽出部４２は、クラスタ選択部４１で選択されたクラスタからすべての組み合わせを抽出し、それぞれの組み合わせについて結合クラスタを定め、それぞれの結合クラスタを物体候補とする。組み合わせには、クラスタが１つの場合を含む。図９は、図７の（ｅ）の推定物体７５について選択されたクラスタＣ２２〜Ｃ２６のすべての組み合わせを抽出したものである。たとえば、図９の結合クラスタ番号１０には、クラスタＣ２３とＣ２４の組み合わせで結合されたクラスタが示される。ここで、結合クラスタを構成するクラスタをすべて含む最小の直方体を定めて、結合クラスタを直方体で近似するのが好ましい。これにより、結合クラスタの属性（距離、位置、大きさなど）を容易に求めることができる。
【００６４】
物体候補抽出部４２により、物体候補である結合クラスタが抽出された後、対応する推定物体を持つ結合クラスタについては、処理は第１の物体認識部４３に進み、対応する推定物体を持たない結合クラスタについては、処理は第２の物体認識部４４に進む。
【００６５】
第１の物体認識部４３は、物体候補抽出部４２により、対応する推定物体を持ち、少なくとも１つ以上のクラスタから構成される結合クラスタの属性を、推定物体の属性と順次比較し、推定物体の属性に一番近い属性をもつ結合クラスタを物体として認識する。ここで使用する属性は、距離、水平位置、垂直位置、幅および高さであり、属性の比較は以下の式（４）を用いて行われる。式（４）の変数の意味を表３に示す。
【００６６】
【数３】

【００６７】
【表３】

【００６８】
式（４）は、結合クラスタおよび推定物体の中心位置の差と、幅および高さの差とに基づいて、両者の属性の差を関数で表したものである。なお、距離（Ｚ値）は、その距離値に応じて誤差があるので、推定物体の距離Ｚtに比例する値で補正している。
【００６９】
図９の例では、推定物体７５に対応する結合クラスタ１〜３１のすべてについて関数値Ｅ1を算出し、関数値Ｅ1が最小となる結合クラスタを物体として認識する。最小のＥ1を持つ結合クラスタが、推定物体７５の位置および大きさを最も良く表すからである。たとえば、図９に示される結合クラスタ１〜３１の関数値Ｅ1の値が、ｅ01＞ｅ02....＞ｅ07＞ｅ06....＞ｅ17＞e16....＞ｅ26...＞ｅ31（eXXは、式（４）で計算された値とする。なお、一部省略している）の関係を持つとすると、関数値ｅ31に対応するクラスタＣ２２〜Ｃ２６の結合クラスタ３１が物体７８として認識される（図７の（ｆ））。
【００７０】
こうして属性の比較を行うことにより、たとえばあるクラスタが複数の推定物体と重なりをもち、推定物体のほんの一部しか表さない場合には、そのクラスタを含まない結合クラスタが物体として認識され、より正確に物体を認識することができる。
【００７１】
物体として認識されたクラスタＣ２２〜Ｃ２６および対応する推定物体７５は、物体認識の処理が行われたことを識別するため、たとえば処理済みフラグをたててクラスタ記憶部４８および推定物体記憶部４９に記憶される。
【００７２】
クラスタ群決定部３６、クラスタ選択部４１、物体候補抽出部４２、第１の物体認識部４３（または第２の物体認識部４４）による処理は、すべてのクラスタが処理済みとなるまで（この例では、すべてのクラスタに処理済みフラグがたつまで）繰り返される。すなわち、クラスタ群決定部３６が、クラスタ記憶部４８に記憶されたクラスタの処理済みフラグを調べ、処理済みフラグがたっていないクラスタが見つからないとき、繰り返し処理を終える。
【００７３】
または、物体として認識する数に予め上限（たとえば、４個）を定め、認識された物体の数がこの数に達したならば、処理の繰り返しを終えるようにすることもできる。
【００７４】
図８は、図７の（ｆ）に続く処理を示しており、わかりやすくするため、物体と認識されたクラスタＣ２２〜Ｃ２６および対応する推定物体７５を取り除いて示している。クラスタ群決定部３６は、クラスタ記憶部４８に記憶されたクラスタの処理済みフラグを調べ、処理済みフラグがたっていないラスタＣ２１、Ｃ２７〜Ｃ３１を抽出する。さらに、推定物体記憶部４９に記憶された推定物体の処理済みフラグを調べ、処理済みフラグがたっていない推定物体７６を抽出する。
【００７５】
図８の（ａ）から明らかなように、クラスタＣ２１およびクラスタＣ２７〜Ｃ３１は水平位置の差がしきい値を超えるので、クラスタ群決定部３６は、それぞれ異なるクラスタ群７３および７４を新たに定める。このように、新たにクラスタ群を定めることにより、他の推定物体がどのような位置にあっても、クラスタＣ２１とＣ２７〜Ｃ３１が結合されて１つの物体と誤認されることがなくなる。
【００７６】
クラスタ群７３の距離がクラスタ群７４の距離より近い距離にあるとすると、クラスタ選択部４１は、クラスタ群７３を選択する。さらに、クラスタ群７３を構成するクラスタと、距離の差がしきい値以下で水平および垂直位置で重なりを持つ推定物体７６を選択する。クラスタ群７３を構成するクラスタのうち、推定物体７６を重なりを持つクラスタＣ２７〜Ｃ３１を選択する。
【００７７】
物体候補抽出部４２は、クラスタＣ２７〜Ｃ３１のすべての組み合わせを作って結合クラスタを定める。第１の物体認識部４３は、それぞれの結合クラスタの属性を、推定物体７６の属性と比較する。その結果、クラスタＣ２７〜Ｃ３１からなる結合クラスタが、推定物体７６に最も近い属性を持つと判断し、クラスタＣ２７〜Ｃ３１の結合クラスタを物体７９と認識する（図８の（ｂ））。物体と認識されたクラスタＣ２７〜Ｃ３１および対応する推定物体７６は、クラスタ記憶部４８および推定物体記憶部４９に、それぞれ処理済みフラグをたてて記憶される。
【００７８】
次に、クラスタ群決定部３６は、処理済みフラグがたっていないクラスタＣ２１をクラスタ記憶部４８から抽出する。クラスタが１個なので、クラスタＣ２１をクラスタ群７４とする（図８の（ｃ））。この例では、推定物体がすべて処理され、対応する推定物体が存在しないので、クラスタ選択部４１は、クラスタＣ２１を選択し、物体候補抽出部４２に渡す。物体候補抽出部４２は、クラスタ群７４に含まれるクラスタのすべての組み合わせから結合クラスタを定めるが、ここではクラスタＣ２１の１個だけなので、クラスタＣ２１からなる結合クラスタを定める。クラスタＣ２１からなる結合クラスタは、第２の物体認識部４４に渡される。
【００７９】
このように、物体を表すクラスタはまとまって現れると考えられるので、処理の繰り返しはクラスタ群の決定から行うのが好ましい。前述したように、推定物体の距離および位置は相対速度から求めるので、誤差を含むことが多い。クラスタ群を決定せずに、推定物体と重なりを持つクラスタを抽出すると、水平位置が非常に離れているクラスタを結合して物体と誤認することがある。
【００８０】
第２の物体認識部４４は、物体候補抽出部４２から抽出された、対応する推定物体を持たない少なくとも１つ以上のクラスタから構成される結合クラスタの属性と、予め決められた検知すべき物体（以下、検知物体という）の属性とを比較し、属性の差が最小値となる検知物体を、結合クラスタに対応する物体として認識する。なお、しきい値を設けて、属性の差がしきい値以下で、最小値となる検知物体を、対応する物体として認識することもできる。予め決められた検知物体との比較は、すべての結合クラスタについて行われ、検知物体が複数ある場合には、すべての検知物体と比較される。
【００８１】
検知すべき物体の属性は予め決められて検知物体記憶部５０に記憶されている。たとえば、車両を検知するのであれば、いくつかの種類の標準的な車両の属性が記憶されており、標識を検知するのであれば、いくつかの標準的な標識の属性を記憶することができる。この実施例では、比較する属性として幅および高さを使用し、前回の情報が存在しないので距離、水平位置および垂直位置は比較しない。属性の比較は、以下の式（５）を用いる。式（５）の変数の意味を表４に示す。式（５）は、結合クラスタおよび検知物体の幅および高さの差に基づいて、両者の属性の差を関数で表したものである。
【００８２】
【数４】
Ｅ2 ＝｜Ｗc−Ｗt｜＋｜Ｈc−Ｈt｜・・・式（５）
【００８３】
【表４】

【００８４】
図８の（ｃ）の例では、前述したように、物体候補抽出部４２から抽出されたクラスタＣ２１の結合クラスタの属性と、いくつかの検知物体の属性とを比較し、関数値Ｅ2が最小となる検知物体（この例では、標識）を抽出する。こうして、クラスタＣ２１が物体７７として認識される（図８の（ｄ））。
【００８５】
以上のように、過去の物体に関する情報を使用して物体を認識することにより、前方を走行する他の車両が路側物（たとえば、標識）に近接して走行した場合や、隣りのレーンの車両が前方車に接近した場合に、２つの物体を１つの物体と誤認したり、１つの物体を複数の物体と誤認することがなくなる。
【００８６】
なお、第１および第２の物体認識部４３および４４で処理する前に、クラスタの位置および大きさに基づいて、物体かどうか判定するのが好ましい。たとえば、クラスタの高さ方向の厚みが所定値より大きければ物体と判定することができる。さらに、第１および第２の物体認識部４３および４４により物体と認識されずに残ったクラスタについては、物体ではないと判定することができる。
【００８７】
第１および第２の物体認識部４３および４４は、認識された物体の属性を物体記憶部３９に記憶する。物体記憶部３９には、前回認識された物体の属性も記憶されている。さらに、第１および第２の物体認識部４３および４４は、前回認識された物体の距離（前回距離）および今回認識された物体の距離（今回距離）を用い、計算式「（今回距離−前回距離）／検出時間間隔」に基づいて求めた値にフィルターをかけて物体に対する自車の相対速度を算出し、物体記憶部３９に記憶する。検出時間間隔は、前述したように前回の計測と今回の計測との時間差であり、たとえば１００ミリ秒とすることができる。
【００８８】
車両制御部４５は、物体記憶部３９に記憶された物体の距離、位置および相対速度などの情報、および自車速度検出装置４６やヨーレート検出装置４７などの装置からの情報に基づいて、物体までの距離が適切であるよう自車両を制御する。たとえば、運転者に音声やアラームで警告を発したり、自車のエンジンを制御して強制的に減速させたりなどの制御をすることができる。
【００８９】
なお、物体の認識を確実にするため、第１および第２の物体認識部４３および４４により前回認識された物体と今回認識された物体とが同一かどうか判断し、同一物体が連続してある予め決められた回数認識されたときに、車両制御部４５が車両を制御するようにするのが好ましい。
【００９０】
図１に示した相関計算部６、距離計算部７、距離記憶部８、ウィンドウ切り出し部１３、クラスタリング部３３、クラスタ群決定部３６、物体記憶部３９、物体推定部４０、クラスタ選択部４１、第１および第２の物体認識部４３および４４、クラスタ記憶部４８、推定物体記憶部４９、検知物体記憶部５０および車両制御部４５は、中央演算処理装置（ＣＰＵ）、制御プログラムおよび制御データを格納する読み出し専用メモリ、ＣＰＵの演算作業領域を提供し様々なデータを一時記憶することができるランダムアクセスメモリ（ＲＡＭ）で構成することができる。距離記憶部８、クラスタ記憶部４８、推定物体記憶部４９、物体記憶部３９および検知物体記憶部５０は、１つのＲＡＭのそれぞれ異なる記憶領域を使用して実現することができる。また、各種の演算で必要となるデータの一時記憶領域も同じＲＡＭの一部分を使用して実現することができる。
【００９１】
また、この発明の物体判定装置をエンジンの電子制御ユニット（ＥＣＵ）、ブレーキ制御ＥＣＵその他のＥＣＵとＬＡＮ接続して物体判定装置からの出力を車両の全体的な制御に利用することができる。
【００９２】
【発明の効果】
請求項１の発明によると、前回認識された物体に関する情報を使用して物体を認識するので、複数の物体を１つの物体または１つの物体を複数の物体として誤認することなく、正確に物体を認識することができる。
【００９３】
請求項２の発明によると、予め決められた検知すべき物体の属性と比較して物体を認識するので、今回新たに画像上に現れた複数の物体についても、それぞれを正確に認識することができる。
【図面の簡単な説明】
【図１】この発明の一実施例の全体的な構成を示すブロック図。
【図２】三角計測法による距離の計測原理を説明するための図。
【図３】この発明による、（ａ）撮像された画像、（ｂ）距離および道路領域判定のため小領域（ウィンドウ）に分割された画像を示す図。
【図４】この発明による、ウィンドウのクラスタリングを示す図。
【図５】この発明による、（ａ）ウィンドウを３次元情報で表す方法と、（ｂ）車両が移動した場合のウィンドウの３次元情報の変化を示す図。
【図６】この発明によるクラスタ群決定を説明するため、（ａ）ｘ−ｙ平面から見たクラスタ、（ｂ）ｘ−ｚ平面から見たクラスタ、（ｃ）ｘ−ｙ平面から見たクラスタ群、（ｄ）ｘ−ｚ平面から見たクラスタ群を示す図。
【図７】この発明による、前回および今回の撮像された画像((a)および(d))、クラスタ((b)および(e))、認識された物体((c)および(f))を示す図。
【図８】この発明による、図７の今回撮像された画像の残りのクラスタについての物体の認識を示す図。
【図９】この発明による、クラスタの組み合わせを示す表。
【符号の説明】
３、３’ 撮像部７距離計算部３３クラスタリング部
３６クラスタ群決定部４０物体推定部４１クラスタ選択部
４３第１の物体認識部４４第２の物体認識部

Claims

車両に搭載された物体認識装置であって、
前記車両の前方を撮像するよう、所定の間隔をおいて配置された少なくとも２つの撮像手段と、
前記少なくとも２つの撮像手段で得られ、複数のウィンドウに分割された画像に基づいて、ウィンドウごとに対象物までの距離を計測する計測手段と、
前記計測手段により計測された距離の差が所定範囲内にある、隣接するウィンドウをクラスタリングしてクラスタを定めるクラスタリング手段と、
前回認識された物体について該物体の水平方向、垂直方向および距離方向における位置、高さ、および幅を記憶する記憶手段と、
前記前回認識された物体の水平方向、垂直方向および距離方向における位置および該物体に対する相対速度に基づいて、今回の該物体の水平方向、垂直方向および距離方向における位置を推定する物体推定手段と、
前記推定された物体との距離の差が所定範囲内にあり、該推定された物体と重なりを持つクラスタを選択するクラスタ選択手段と、
前記選択されたクラスタのうちの１つまたは複数のクラスタから構成される結合クラスタの水平方向、垂直方向および距離方向の位置、高さ、および幅を含む属性と、前記推定された物体の水平方向、垂直方向および距離方向における位置および該物体について前記記憶手段に記憶された高さおよび幅を含む属性とを比較し、該推定された物体の属性に最も近い属性を持つ結合クラスタを物体として認識する物体認識手段と、
を備える物体認識装置。
予め決められた検知すべき物体の属性を格納する検知物体記憶手段を備え、
前記クラスタ選択手段において選択されなかったクラスタのうちの１つまたは複数のクラスタから構成される結合クラスタの属性を、前記検知すべき物体の属性と比較し、属性の差が最小値となる検知すべき物体を、前記結合クラスタに対応する物体として認識する第２の物体認識手段を備えた請求項１に記載の物体認識装置。