JP5223675B2 - 車両検知装置，車両検知方法並びに車両検知プログラム - Google Patents

Description

本発明は、車載カメラで撮像された画像から周辺車両の有無を検知する車両検知装置，車両検知方法並びに車両検知プログラムに関し、特に、自車両前方および後方における周辺車両の検知を担う車両検知装置，車両検知方法並びに車両検知プログラムに関する。

従来、車載カメラを用いて自車両周辺に存在する車両を検知し、ドライバーにその存在を通知する装置がいくつか開示されている。そして、車載カメラにより撮像された画像から周辺車両を検知する車両検知技術の代表的なアルゴリズムとして、事前に画像形式やベクトル形式などで設定した車両の特徴点を、画像内の様々な部分領域に対して照合し、車両の有無を判定するパターンマッチングを用いた手法が知られている。

しかし、このような手法は、車両の特徴点の形状や大きさが無数に存在するにもかかわらず、画像の全領域に対して照合を行うとなると、照合にかかる計算量が膨大となり、リアルタイムの車両検知が困難であった。

これを鑑みて、画像内において車両を示していると仮定できる仮定領域を、計算量の少ないアルゴリズムを用いて検出し、この仮定領域に対してのみパターンマッチングを適用するという手法の車両検知技術が知られている。

このような車両検知技術において用いられる仮定領域を検出するアルゴリズムとして、画像中から車両の両脇に相当する垂直エッジ対を抽出しこれに基づいて仮定領域を検出するものや、画像中から黒い領域を抽出しその形状に基づいて仮定領域を検出するもの、画像中から縦方向に輝度変化が大きい箇所を抽出し該箇所を包含するように設定した局所領域内における画素値の分散値に基づいて仮定領域を検出するものが挙げられる。

このうち、垂直エッジ対を抽出するアルゴリズムとしては、２本の垂直エッジ線分およびその間に存在する水平エッジ線分グループがそれぞれ車両に係わる基準をどの程度満たすかを検証することによって車両を検知する方法が特許文献１に開示されている。また、２本の垂直エッジの中心位置に対応するハフ空間中の位置に投票を行い、多くの投票が集まった位置付近の部分領域画像をニューラルネットワーク識別器に入力して車両か否かを判定する方法が非特許文献１に開示されている。

黒い領域を抽出するアルゴリズムとしては、モノクロ画像の黒い領域を膨張させた後に２値化を行って黒い領域と白い領域に分割し、ノイズ除去処理後の黒い領域の面積，重心位置，縦横比などに基づいて該黒い領域が車両であるか否かを判定する方法が特許文献２及び３に開示されている。

縦方向に輝度変化が大きい箇所を抽出するアルゴリズムとしては、輝度を示す画素値が縦方向に急激に変化する縦軸座標を検出し、これを含むように設定した部分領域内における画素値の分散値が基準値よりも大きければ該部分領域を車両に対応するものと判定する方法が特許文献４に開示されている。この方法は、部分領域内の分散値に基づくことによって、車両の陰と木の陰などを区別できるようになるという効果があるとしている。

「エッジペア特徴空間射影法を用いた車両検知技術の開発」、ＶｉＥＷ２００５ ビジョン技術の実利用ワークショップ講演予稿集、社団法人精密工学会、ｐ．１６０〜１６５ 特許第３０７２７３０号公報 特開平９‐１６７５１号公報 特開平９‐１２８５４８号公報 特許第３０６９９５２号公報

しかしながら、非特許文献１及び特許文献１に記載された方法は、検知対象車両に対応する画素とその背景領域に対応する画素との間に輝度差があることを想定しており、図１１に示すように、日陰に存在するため輝度値が低い建物１２０１や街路樹の前景に黒色の車両１２０２が存在する場合や、同じ車体色の車両１２０３，１２０４が一部重なって撮像された場合などは、車両と背景との画素間の輝度差が小さくなるため、縦エッジが抽出されない可能性が高いという不都合があった。

また、特許文献２及び３に記載の方法では、街路樹や道路に面した建築物の影などの黒い領域も抽出してしまうため、これらの陰が道路面上に存在すると必要以上の数の部分領域が仮定領域として検出されてしまうという不都合があった。

特許文献５に記載の技術は、上記他の方法に比べ、車両による影と街路樹や道路に面した建築物による影とを判別できることから、より効率的に仮定領域を限定できるものとされるが、部分領域に含まれる画素の輝度分布は、状況によって様々に変化するので仮定領域か否かを判定するための基準値の設定は非常に困難である。また、分散値によって車両による影であるか否かを判定し仮定領域を検出するため、路面とのコントラストが非常に大きい横断歩道などの路面ペイントを含む部分領域を仮定領域として誤検出してしまう不都合があった。

本発明は、上記従来技術の不都合を改善し、車載カメラで撮像された画像内において車両を示していると仮定できる仮定領域を正確に検出し、この仮定領域に対して車両画像であるか否かを判定する車両検知装置及び車両検知方法，車両検知プログラムを提供することを、その目的とする。

上記目的を達成するため、本発明の車両検知装置は、車載カメラで撮像した画像に基づいて周辺の車両の有無を検知する車両検知装置であって、
前記撮像画像の明暗分布を作成する輝度作成手段と、
前記輝度作成手段が作成した画像の明暗分布を解析することで、周辺車両の車両下部の領域に対応する輝度値の上限値を推定し出力する輝度閾値特定手段と、
前記上限値の輝度値をもつ前記車両下部を含む車両仮定領域を決定し、前記車両仮定領域の画像が車両に対応するか否かをパターンマッチング法により判定する車両検知手段と、を有すると共に、
前記輝度閾値特定手段は、前記明暗分布の低輝度側から累積した累積ヒストグラム値が前記明暗分布の作成に用いた総画素数に対して予め設定した割合となる輝度値を前記輝度値の上限値とするものであることを特徴とするものである。

本発明は、ハードウェアとしての車両検知装置として構築したが、これに限られるものではない。本発明は、ソフトウェアとしての車両検知プログラム、或いは車両検知方法として構築してもよいものである。

本発明の車両検知方法は、車載カメラで撮像した画像に基づいて周辺の車両の有無を検知する車両検知方法であって、
前記撮像画像の明暗分布を作成し、
前記画像の明暗分布を解析して、前記明暗分布の低輝度側から累積した累積ヒストグラム値が前記明暗分布の作成に用いた総画素数に対して予め設定した割合となる輝度値を、周辺車両の車両下部の領域に対応する輝度値の上限値として推定してこれを出力し、
前記上限値の輝度値をもつ前記車両下部を含む車両仮定領域を決定し、前記車両仮定領域の画像が車両に対応するか否かをパターンマッチング法により判定する構成として構築する。

本発明の車両検知プログラムは、車載カメラで撮像した画像に基づいて周辺の車両の有無を検知する車両検知装置を構成するコンピュータに、
前記撮像画像の明暗分布を作成する機能と、
前記輝度作成手段が作成した画像の明暗分布を解析して、前記明暗分布の低輝度側から累積した累積ヒストグラム値が前記明暗分布の作成に用いた総画素数に対して予め設定した割合となる輝度値を、周辺車両の車両下部の領域に対応する輝度値の上限値として推定してこれを出力する機能と、
前記上限値の輝度値をもつ前記車両下部を含む車両仮定領域を決定し、前記車両仮定領域の画像が車両に対応するか否かをパターンマッチング法により判定する機能と、を実行させる構成として構築する。

本発明によれば、車両下部の道路面及びタイヤ走行面の照度は、車載カメラによる撮像画像中において街路樹や道路周辺の建物の陰なども含めた他のあらゆる領域よりも低くなることに着目することで、効率よく周辺車両を検知することができる。

以下、本発明の実施形態を図に基づいて説明する。

（実施形態１）
図１は、本発明の実施形態１に係る車両検知装置の構成を示すブロック図である。

本発明の実施形態１に係る車両検知装置は図１に示すように、車載カメラで撮像した撮像画像の明暗分布を作成する輝度作成手段（１２）と、前記輝度作成手段（１２）が作成した画像の明暗分布を解析することで、周辺車両の車両下部の領域に対応する輝度値の上限値を推定し出力する輝度閾値特定手段１３と、前記上限値の輝度値をもつ前記車両下部を含む車両仮定領域を決定し、前記車両仮定領域の画像が車両に対応するか否かをパターンマッチング法により判定する車両検知手段１６とを有している。

図１に示す実施形態では、前記輝度作成手段として、前記画像の明暗分布として前記撮像画像の輝度ヒストグラムを作成する輝度ヒストグラム作成手段１２を用いている。図１において、１は、車載カメラで撮像された画像を入力する画像入力手段１１である。

車両検知手段１６は、低輝度画素抽出手段１４と、車両仮定領域抽出手段１５とを含んでいる。低輝度画素抽出手段１４は、輝度閾値特定手段１３が出力する前記上限値の輝度値をもつ低輝度画素を前記撮像画像中から抽出する。車両仮定領域抽出手段１５は、予め設定した車両下部と車両領域との位置関係に基づいて、前記低輝度画素が車両下部に含まれる前記車両仮定領域を決定する。

図１に示す輝度ヒストグラム作成手段１２は、入力画像の輝度分布を示す輝度ヒストグラムを作成する。入力画像には、輝度を表すグレースケールの画像やカラー画像がある。輝度ヒストグラム作成手段１２は、カラー画像の場合、カラー情報から輝度値を計算し輝度ヒストグラムを作成する、或いは輝度成分の計算を省略して高速化するために輝度値にもっとも寄与する緑成分値を輝度値に代用して輝度ヒストグラムを作成してもよい。

輝度閾値特定手段１３は、検知対象の車両が画像内に最も大きく撮像されたと想定した場合の車両下部の道路面の影部分の画素数を予め設定しておき、この画素数の入力画像の総画素数に対する割合を算出し、この算出された割合と輝度ヒストグラムにおける最低輝度から閾値までの累積画素数の総画素数に対する割合とが等しくなるように前記閾値を算出する。

この輝度閾値特定手段１３における輝度の閾値の推定過程について図２を参照して説明する。図２は、車載カメラで撮像される画像を示す図である。

図２において、車両２０１のタイヤ走行面２０３、及びタイヤ走行面２０３が接する道路面２０２は、車両２０１の下部に位置しており、車両２０１と道路面２０２との間隔２０４は通常数十ｃｍと短い。太陽の直射光２０５は、車両２０１で遮蔽されて、タイヤ走行面２０３及び道路面２０２側への直射光２０１の入射量は極めて制限される。また、周囲物体から反射される間接光２０６も車両２０１で遮蔽され、タイヤ走行面２０３及び道路面２０２側への間接光２０６の入射量もわずかである。したがって、晴天や曇天、雨天などの天候にかかわらず、車両２０１の下部に位置する道路面２０２及びタイヤ走行面２０３の明るさは、直射光２０５及び間接光２０６が直接照射する領域の明るさと比較して暗くなる。入力画像中における車両下部の道路面やタイヤ走行面に対応する画像領域を併せて車両下部領域とすると、カメラパラメータを固定すれば、車両下部領域に対応する画素の輝度値は一定値以下に抑制される。この値を第一の輝度の上限値とする。

車載カメラで撮像した場合、その撮像画像には、入射量の少ない車両下部の道路面２０２及びタイヤ走行面２０３，直接光２０５及び間接光２０６が直接入射する車両２０１外の領域，道路面上の街路樹の陰２０７，自車両の脇の陰２０６などが撮像される。この場合、車載カメラの撮像範囲内における照度は、車両２０１で遮断されて直接光２０５及び間接光２０６の入射量の最も少ない車両下部のタイヤ走行面２０３及び道路面２０２での照度が最も低くなる。

そこで、輝度閾値特定手段１３は、撮像画像中において車両下部（２０２，２０３）の領域の面積が最大貯なる場合の面積値の札続画像サイズに対する割合を事前に計算しておき、撮像画像に対する輝度ヒストグラムを低輝度側から累積した輝度ヒストグラムの割合が前記車両下部領域の面積が最大となる場合の面積割合に等しくなる輝度値を第二の輝度の上限値とし、第一及び第二の輝度の上限値の小さい方を閾値として算出する。複数台の車両が撮像画像に含まれる可能性がある場合は、各車両の車両下部領域を合計した面積の撮像画像サイズに対する割合に基づいて第二の輝度の上限値を求めればよい。

図１に示す低輝度画素抽出手段１４は、入力画像中の各画素の中から輝度閾値特定手段１３により特定された閾値以下の輝度値を示す低輝度画素を抽出し、その位置情報を記憶する。低輝度画素の位置の記憶形式としては、図３（ａ）のような低輝度画素３０１を１とし、それ以外の画素を０とする２値画像を生成してもよいし、図３（ｂ）のように、ｘ，ｙ座標で表わしたリスト形式で記憶してもよい。

車両仮定領域抽出手段１５は、抽出された低輝度画素の位置に基づいて１つもしくは複数の車両仮定領域を抽出する。この車両仮定領域抽出手段１５における車両仮定領域の抽出過程について図４を参照して説明する。

図４に示すように、低輝度画素４０１が低輝度画素抽出手段１４によって抽出された場合、車両仮定領域抽出手段１５は、周辺車両画像と仮定する車両仮定領域４０２を設定する。具体的に説明すると、車両仮定領域抽出手段１５は、矩形状の車両仮定領域４０２を縦方向に４等分し（点線で示す。）、その等分した最下部の範囲領域４０３内に低輝度画素４０１を位置させた車両仮定領域４０２を設定する。

ここで、図４に示す範囲領域４０３の高さは、車両仮定領域４０２の高さに対して１／４としているが、これに限らず、画像中において車両下部領域が車両の高さ方向において占める割合を予め計算しておき、その割合の高さとしてもよい。

また、本第１実施形態では、低輝度画素４０１が範囲領域４０３に一定数以上含まれるように車両仮定領域４０２を設定しているが、これに限らないものである。図４の構成に代えて、図５に示すように、範囲領域４０３を横に４分割したうちの左右端の領域５０１それぞれに低輝度画素が含まれるように車両仮定領域４０２を設定してもよい。これによって、車両仮定領域４０２の設定条件が厳しくなるため、設定される車両仮定領域４０２の画素数を抑えることができる。また、含まれる低輝度画素数に関する基準としては、画像中の位置にかかわらず一定数としてもよいし、車両下部領域の面積が大きくなる傾向にある入力画像下部付近に対しては、入力画像中心付近よりもより多くの低輝度画素が含まれる領域に車両仮定領域を設定するようにしてもよい。

車両仮定領域４０２は、この条件を満たす様々な位置にさまざまな大きさで設定される。但し、入力画像において道路及び車両が図２のように撮像されることが既知の場合は、撮像される車両の大きさは画像の縦方向における位置と関係があるので、この関係に基づいて車両仮定領域４０２の大きさを画像中の位置に対応して設定しておく。すなわち、低輝度画素４０１が入力画像の底辺近くに存在する場合ほど車両仮定領域４０２も大きく設定され、画像中心に近いほど小さく設定される。

図１に示す車両検知手段１６は、抽出された各車両仮定領域４０２の画像と実際の車両画像（テンプレート）とを照合してパターンマッチングを実行し、車両仮定領域４０２の画像が車両であるか否かを判定する。パターンマッチングに用いる学習／識別器としては、非特許文献１に記載されているようなニューラルネットワークを用いてもよいし、他にサポートベクトルマシン，学習ベクトル量子化法，部分空間法などを用いてもよい。また、学習／識別に用いる特徴量としては、輝度画像の画素値を用いてもよいし、ガボールウェーブレット特徴などを用いてもよい。

次に、本第１実施形態に係る車両検知装置を用いて車両を検知する場合について説明する。

まず、画像入力手段１１は、車載カメラで撮像された画像を入力すると（図６：ステップｓ６１）、その入力画像を輝度ヒストグラム作成手段１２に出力する。輝度ヒストグラム作成手段１２は、前記入力画像を入手すると、前記入力画像の輝度ヒストグラムを作成する（図６：ステップｓ６２，輝度ヒストグラム作成工程）。輝度閾値特定手段１３は、輝度ヒストグラム作成手段１２が作成した輝度ヒストグラムに基づいて、車両下部領域に対応する画素を抽出するための輝度の閾値を特定する（図６：ステップｓ６３，輝度閾値特定工程）。

ここで、上述した輝度ヒストグラム作成工程及び輝度閾値特定工程については、その内容をプログラム化し輝度ヒストグラム作成処理及び輝度閾値特定処理としてコンピュータに実行させてもよい。

続いて、低輝度画素抽出手段１４は、入力画像中の各画素の輝度を測定し、閾値以下の輝度を示す低輝度画素を抽出し、その位置情報を記憶する（図６：ステップｓ６４，低輝度画素抽出工程）。車両仮定領域抽出手段１５は、低輝度画素抽出手段１４が抽出した低輝度画素の位置に基づいて、入力画像中に車両仮定領域を設定し抽出する（図６：ステップｓ６５，車両仮定領域抽出工程）。車両仮定領域抽出手段１５は、車両下部のタイヤ走行面２０３及び道路面２０２にそれぞれ対応する低輝度画素の位置に車両仮定領域をそれぞれ設定する。車両検知手段１６は、車両仮定領域抽出手段１５が設定した各車両仮定領域の画像に対してパターンマッチングを実行し、各車両仮定領域の画像が周辺車両画像であるか否かを判定する（図６：ステップｓ６６，車両検知工程）。

車両検知手段１６は、重なりを有する複数の車両仮定領域に対して車両が検知された場合、類似度の極大値に対応する検知結果のみを採用するように抽出結果を統合する処理を行い（図６：ステップｓ６７）、すべての車両仮定領域の画像に対してパターンマッチングを実行し処理を終了する。

ここで、上述した低輝度画素抽出工程及び車両仮定領域抽出工程，車両検知工程については、その内容をプログラム化し低輝度画素抽出処理及び車両仮定領域抽出処理，車両検知処理としてコンピュータに実行させてもよい。

以上のような本第１実施形態によれば、周辺車両下部の影部分画像と仮定できる画素の輝度の上限値を、入力画像の輝度ヒストグラムを解析して特定しているため、上限値である閾値が適応的に設定され、周辺車両下部の影部分と仮定できる低輝度領域を良好に抽出することができる。

（実施形態２）
次に、本発明の実施形態２に係る車両検知装置について説明する。

図７は、本発明の実施形態２に係る車両検知装置の構成を示すブロック図である。

本第２実施形態は図７に示すように、図１に示す第１実施形態の構成に加えて、道路面領域抽出手段７７を備えている。

道路面領域抽出手段７７は、車載カメラで撮像された画像から道路面を示す画像領域である道路面領域を抽出する。道路面領域抽出手段７７による道路面領域の抽出方法としては、文献（「モデルベースの認識手法による道路白線認識」、電子情報通信学会、信学技報ＰＲＭＵ９９−２１１）に示されているように白線検知手法を用いて白線を検知した後、左右の白線に挟まれる領域を道路領域として抽出する方法を用いてもよいし、特許公報（特開２００１−１０１４２０）に開示されているように、白線検出を行わずに道路面を直接検出する方法を用いてもよい。

図７に示す輝度ヒストグラム作成手段７２は、道路面領域抽出手段７８により抽出された道路面領域の輝度分布を示す輝度ヒストグラムを作成する。輝度閾値特定手段７３は、この輝度ヒストグラムに基づいて車両下部領域と仮定する画素の輝度の上限値（閾値）を特定する。すなわち、図１に示した第１実施形態と比較すると、解析する輝度ヒストグラムが道路面領域のみについての輝度分布であるという点で異なる。

このように、作成する輝度ヒストグラムの集計範囲を道路面領域のみに限定することにより、閾値を特定する処理を高速化することができる。また、道路に面した建物の特殊な構造などに起因して車両下部領域の輝度と同程度の輝度値の領域が存在するような場合でも、その領域が道路面領域外にあれば、それらによる影響を受けることなく車両下部領域と仮定する画素の輝度値の上限値（閾値）を特定することが可能となる。

図７に示す低輝度画素抽出手段７４は、道路面領域内の各画素の中から輝度閾値特定手段７３により特定された閾値以下の輝度を示す低輝度画素を抽出し位置を記憶する。

車両仮定領域抽出手段７５は、図１に示す第１実施形態と同様に、低輝度画素の位置に基づいて車両仮定領域を設定し抽出する。車両検知手段７６も、図１に示す第１実施形態と同様に、パターンマッチングを行って車両仮定領域の画像が周辺車両画像であるか否かを判定する。

次に、本発明の実施形態２に係る車両検知装置を用いて車両を検知する場合について説明する。

図８は、本第２実施形態の車両検知装置の処理動作を示すフローチャートである。

まず、画像入力手段７１によって、車載カメラで撮像された画像が入力されると（図８：ステップｓ８１）、道路面領域抽出手段７７は、入力画像中から道路面領域を抽出する（図８：ステップｓ８２，道路面領域抽出工程）。

輝度ヒストグラム作成手段７２は、道路面領域抽出手段７７で抽出した道路面領域の輝度ヒストグラムを作成する（図８：ステップｓ８３，輝度ヒストグラム作成工程）。輝度閾値特定手段７３は、輝度ヒストグラム作成手段７２が作成した輝度ヒストグラムに基づいて、車両下部領域に対応する画素を抽出するための輝度の閾値を特定する（図８：ステップｓ８４，輝度閾値特定工程）。

ここで、上述した道路面領域抽出工程及び輝度ヒストグラム作成工程，輝度閾値特定工程については、その内容をプログラム化し道路面領域抽出処理及び輝度ヒストグラム作成処理，輝度閾値特定処理としてコンピュータに実行させてもよい。

低輝度画素抽出手段７４は、道路面領域抽出手段７７で抽出した道路面領域内の各画素の輝度を測定し、閾値以下の輝度を示す低輝度画素を抽出し位置を記憶する（図８：ステップｓ８５，低輝度画素抽出工程）。

車両仮定領域抽出手段７５は、低輝度画素抽出手段７４が抽出した低輝度画素の位置に基づいて、車両仮定領域を様々な位置に設定して抽出する（図８：ステップｓ８６，車両仮定領域抽出工程）。車両検知手段７６は、車両仮定領域抽出手段７５が抽出した各車両仮定領域の画像に対してパターンマッチングを行って、各車両仮定領域の画像が周辺車両画像であるか否かを判定する（図８：ステップｓ８７，車両検知工程）。車両検知手段７６は、重なりを有する複数の車両仮定領域に対して車両が検知された場合、類似度の極大値に対応する検知結果のみを採用するように抽出結果を統合する処理を行い（図８：ステップｓ８８）、すべての車両仮定領域に対してパターンマッチングを行い、処理を終了する。

ここで、上述した低輝度画素抽出工程，車両仮定領域抽出工程及び車両検知工程については、その内容をプログラム化し低輝度画素抽出処理，車両仮定領域抽出処理及び車両検知処理としてコンピュータに実行させてもよい。

以上のような第２実施形態によれば、撮像画像内における道路面の画像領域に対してのみ車両検知処理を行うので、撮像画像全体に対して検知処理を行うのに比べて処理時間が軽減される。また、道路面領域内には、車両以外の車両に似た物体が撮像されることが少ないことから誤検知率も軽減される。

（実施形態３）
次に、本発明の実施形態３に係る車両検知装置を図９に基づいて説明する。

以上の実施形態では、車両仮定領域抽出手段は、低輝度画素抽出手段がらの情報に基づいて車両仮定領域を決定していたが、これに限られるものではない。車両仮定領域抽出手段は、撮像画像中から周辺車両に対する可能性がある部分領域を車両仮定領域として抽出し、その検証を別工程で行うようにしてもよいものである。この例を実施形態３として説明する。

本第３実施形態は図９に示すように、車載カメラで撮像された画像を入力する画像入力手段９１と、入力画像の輝度ヒストグラムを作成する輝度ヒストグラム作成手段９３と、この輝度ヒストグラムを解析して車両下部領域と仮定する画素の輝度の上限値（閾値）を特定する輝度閾値特定手段９４と、前記上限値の輝度値をもつ前記車両下部を含む車両仮定領域（２０２，２０３）を決定し、前記車両仮定領域の画像が車両に対するか否かをパターンマッチング法により判定する車両検知手段９５を有している。

車両検知手段９５は、低輝度画素抽出手段９６と、車両仮定領域抽出手段９２と、検証手段９７とを含んでいる。なお、低輝度画ぞ抽出手段９６は、図１に示す低輝度画素抽出手段１４と同様の構成になっている。

車両仮定領域抽出手段９２は、車載カメラによる撮像画像中から周辺車両に対応する可能性がある部分領域を前記車両仮定領域として抽出する。具体的には、車両仮定領域抽出手段９２は、入力画像全体に対してパターンマッチングを行って車両画像であると判定された部分領域を抽出してもよいし、撮像手段に車載ステレオカメラを用いて、得られたステレオ画像から距離情報を算出し、距離情報の形状が車両と類似している領域を抽出してもよい。また、ミリ波センサやレーザレーダセンサを用いて、得られる位置情報と撮像画像中の位置を対応づけておき、ミリ波センサやレーザレーダセンサで障害物が存在する位置を検出し、入力画像中のその位置に対応する部分領域を抽出してもよい。

図９に示す輝度閾値特定手段９４は、図１に示す第１実施形態と同様に、入力画像の輝度ヒストグラムを解析して車両下部領域と仮定する画素の輝度の上限値（閾値）を算出する。

検証手段９７は、車両仮定領域抽出手段９２により抽出された車両仮定領域の下部に、閾値以下の輝度値を示す低輝度画素が、予め定めた画素数以上含まれているか否かを測定し、含まれている場合に車両仮定領域が周辺車両画像であると判定する。これにより、車両仮定領域が周辺車両画像であるか否かの最終判定が実行される。

次に、本発明の実施形態３に係る車両検知装置を用いて、車両検知を行う場合について説明する。

図１０は、本第３実施形態の車両検知装置の処理動作を示すフローチャートである。

まず、画像入力手段９１によって、車載カメラで撮像された画像が入力されると（図１０：ステップｓ１０１）、車両仮定領域抽出手段９２は、周辺車両画像の可能性がある部分領域を車両仮定領域として抽出する（図１０：ステップｓ１０２，車両仮定領域抽出工程）。

輝度ヒストグラム作成手段９３は、図１に示す第１実施形態と同様に、入力画像の輝度ヒストグラムを作成する（図１０：ステップｓ１０３，輝度ヒストグラム作成工程）、輝度閾値特定手段９４は、輝度ヒストグラム作成手段９３が作成した輝度ヒストグラムを解析して、車両下部領域に対応する画素の輝度の上限値（閾値）を特定する（図１０：ステップｓ１０４，輝度閾値特定工程）。

検証手段９７は、車両仮定領域抽出手段９２と低輝度画素抽出手段９６とからの出力データを受けて、車両仮定領域抽出手段９２により抽出された車両仮定領域の下部に、閾値以下の輝度を示す低輝度画素が、予め定めた画素数以上含まれているか否かを測定し、車両仮定領域の画像が周辺車両画像であるか否かの最終判定結果を出力する。

車両検知手段９５は、検証手段９７から出力されるデータに基づいて、検証手段９７が検証した車両仮定領域の画像が車両に対応する否かをパターンマッチング法により判定する（図１０：ステップｓ１０５，車両検知工程）。すべての車両仮定領域に対して低輝度画素の有無を測定し処理を終了する。

ここで、上述した車両仮定領域抽出工程，輝度ヒストグラム作成工程，輝度閾値特定工程及び車両検知工程については、その内容をプログラム化し車両仮定領域抽出処理，輝度ヒストグラム作成処理，輝度閾値特定処理及び車両検知処理としてコンピュータに実行させてもよい。

以上のような第３実施形態によれば、車両仮定領域抽出手段９２が、しばしば車両に類似した形状の画像領域、例えば、路上に置かれたコンテナ状の物体や四角い窓枠などの画像を車両仮定領域として誤検出しても、これらの物体の下部は、太陽の直接光および周囲物体からの間接光が入射しない構造ではなく、検出画像に低輝度画素が含まれることはないので、検出画像に低輝度画素領域が含まれていないことを測定することで車両仮定領域が誤りであることを判定することができる。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は２００６年８月１８日に出願された日本出願特願２００６−２２３５９７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明の実施形態１に係る車両検知装置の構成を示すブロック図である。 図１に示す実施形態における車載カメラによる撮像画像の一例を示す図である。 図１に示す実施形態において抽出された低輝度画素の位置の記憶形式を示す図である。 図１に示す実施形態において設定される車両仮定領域の一例を示す図である。 図１に示す実施形態において設定される車両仮定領域の別の例を示す図である。 図１に示す実施形態の車両検知装置の動作を示すフローチャートである。 本発明の実施形態２に係る車両検知装置の構成を示すブロック図である。 図７に示す実施形態の車両検知装置の動作を示すフローチャートである。 本発明の実施形態３に係る車両検知装置の構成を示すブロック図である。 図９に示す実施形態の車両検知装置の動作を示すフローチャートである。 一般的な車載カメラによる撮像画像の一例を示す図である。

符号の説明

１１，７１，９１ 画像入力手段
１２，７２，９３ 輝度ヒストグラム作成手段
１３，７３，９４ 輝度閾値特定手段
１４，７４ 低輝度画素抽出手段
１５，７５ 車両仮定領域抽出手段
１６，７６ 車両検知手段
７７ 道路面領域抽出手段
９２ 車両仮定領域抽出手段
９５ 車両検知手段

Claims (18)

1. 車載カメラで撮像した画像に基づいて周辺の車両の有無を検知する車両検知装置であって、
   前記撮像画像の明暗分布を作成する輝度作成手段と、
   前記輝度作成手段が作成した画像の明暗分布を解析することで、周辺車両の車両下部の領域に対応する輝度値の上限値を推定し出力する輝度閾値特定手段と、
   前記上限値の輝度値をもつ前記車両下部を含む車両仮定領域を決定し、前記車両仮定領域の画像が車両に対応するか否かをパターンマッチング法により判定する車両検知手段と、
   を有すると共に、
   前記輝度閾値特定手段は、前記明暗分布の低輝度側から累積した累積ヒストグラム値が前記明暗分布の作成に用いた総画素数に対して予め設定した割合となる輝度値を前記輝度値の上限値とするものである
   ことを特徴とする車両検知装置。
2. 前記輝度作成手段は、前記画像の明暗分布として前記撮像画像の輝度ヒストグラムを作成するものである、請求項１に記載の車両検知装置。
3. 前記車両検知手段は、低輝度画素抽出手段と、車両仮定領域抽出手段とを含み、
   前記低輝度画素抽出手段は、前記輝度閾値特定手段が出力する前記上限値の輝度値をもつ低輝度画素を前記撮像画像中から抽出するものであり、
   前記車両仮定領域抽出手段は、予め設定した車両下部と車両領域との位置関係に基づいて、前記低輝度画素が車両下部に含まれる前記車両仮定領域を決定するものである、請求項１に記載の車両検知装置。
4. 前記車両検知手段は、低輝度画素抽出手段と、車両仮定領域抽出手段と、検証手段と、を含み、
   前記低輝度画素抽出手段は、前記輝度閾値特定手段が出力する前記上限値の輝度値をもつ低輝度画素を前記撮像画像中から抽出するものであり、
   前記車両仮定領域抽出手段は、前記撮像画像中から周辺車両に対応する可能性がある部分領域を前記車両仮定領域として抽出するものであり、
   前記検証手段は、前記低輝度画素抽出手段が出力する前記上限値の輝度値に基づいて、前記車両仮定領域抽出手段が抽出した前記車両仮定領域に、前記低輝度画素が含まれるか否かを検証するものである、請求項１に記載の車両検知装置。
5. 道路面領域抽出手段を含み、
   前記道路面領域抽出手段は、前記撮像画像中から道路領域を抽出するものであり、
   前記輝度閾値特定手段は、前記道路面領域抽出手段が抽出した前記道路領域内において前記輝度作成手段が作成した画像の明暗分布を解析することで、周辺車両の車両下部の領域に対応する輝度値の上限値を推定し出力するものである、請求項１に記載の車両検知装置。
6. 前記輝度閾値特定手段は、検知対象の周辺車両が前記撮像画像中に最も大きく撮像される場合における車両下部領域として判定される画素数と、前記明暗分布の作成に用いた総画素数との比に基づいて前記割合を決定するものである、請求項１に記載の車両検知装置。
7. 車載カメラで撮像した画像に基づいて周辺の車両の有無を検知する車両検知方法であって、
   前記撮像画像の明暗分布を作成し、
   前記画像の明暗分布を解析して、前記明暗分布の低輝度側から累積した累積ヒストグラム値が前記明暗分布の作成に用いた総画素数に対して予め設定した割合となる輝度値を、周辺車両の車両下部の領域に対応する輝度値の上限値として推定してこれを出力し、
   前記上限値の輝度値をもつ前記車両下部を含む車両仮定領域を決定し、前記車両仮定領域の画像が車両に対応するか否かをパターンマッチング法により判定することを特徴とする車両検知方法。
8. 前記画像の明暗分布として前記撮像画像の輝度ヒストグラムを作成する、請求項７に記載の車両検知方法。
9. 前記上限値の輝度値をもつ低輝度画素を前記撮像画像中から抽出し、
   予め設定した車両下部と車両領域との位置関係に基づいて、前記低輝度画素が車両下部に含まれる前記車両仮定領域を決定する、請求項７に記載の車両検知方法。
10. 前記上限値の輝度値をもつ低輝度画素を前記撮像画像中から抽出し、
    前記撮像画像中から周辺車両に対応する可能性がある部分領域を前記車両仮定領域として抽出し、
    前記上限値の輝度値に基づいて、前記車両仮定領域に、前記低輝度画素が含まれるか否かを検証する、請求項７に記載の車両検知方法。
11. 前記撮像画像中から道路領域を抽出し、
    前記抽出した前記道路領域内において前記輝度作成手段が作成した画像の明暗分布を解析することで、周辺車両の車両下部の領域に対応する輝度値の上限値を推定し出力する、請求項７に記載の車両検知方法。
    。
12. 検知対象の周辺車両が前記撮像画像中に最も大きく撮像される場合における車両下部領域として判定される画素数と、前記明暗分布の作成に用いた総画素数との比に基づいて前記割合を決定する、請求項７に記載の車両検知方法。
13. 車載カメラで撮像した画像に基づいて周辺の車両の有無を検知する車両検知装置を構成するコンピュータに、
    前記撮像画像の明暗分布を作成する機能と、
    前記輝度作成手段が作成した画像の明暗分布を解析して、前記明暗分布の低輝度側から累積した累積ヒストグラム値が前記明暗分布の作成に用いた総画素数に対して予め設定した割合となる輝度値を、周辺車両の車両下部の領域に対応する輝度値の上限値として推定してこれを出力する機能と、
    前記上限値の輝度値をもつ前記車両下部を含む車両仮定領域を決定し、前記車両仮定領域の画像が車両に対応するか否かをパターンマッチング法により判定する機能と、を実行させることを特徴とする車両検知プログラム。
14. 前記コンピュータに、
    前記画像の明暗分布として前記撮像画像の輝度ヒストグラムを作成させる、請求項１３に記載の車両検知プログラム。
15. 前記コンピュータに、
    前記上限値の輝度値をもつ低輝度画素を前記撮像画像中から抽出する機能と、
    予め設定した車両下部と車両領域との位置関係に基づいて、前記低輝度画素が車両下部に含まれる前記車両仮定領域を決定する機能とを実行させる、請求項１３に記載の車両検知プログラム。
16. 前記コンピュータに、
    前記輝度閾値特定手段が出力する前記上限値の輝度値をもつ低輝度画素を前記撮像画像中から抽出する機能と、
    前記撮像画像中から周辺車両に対応する可能性がある部分領域を前記車両仮定領域として抽出する機能と、
    前記低輝度画素抽出手段が出力する前記上限値の輝度値に基づいて、前記車両仮定領域抽出手段が抽出した前記車両仮定領域に、前記低輝度画素が含まれるか否かを検証する機能とを実行させる、請求項１３に記載の車両検知プログラム。
17. 前記コンピュータに、
    前記撮像画像中から道路領域を抽出する機能と、
    前記道路領域内において前記画像の明暗分布を解析することで、周辺車両の車両下部の領域に対応する輝度値の上限値を推定し出力する機能を実行させる、請求項１３に記載の車両検知プログラム。
18. 前記コンピュータに、
    検知対象の周辺車両が前記撮像画像中に最も大きく撮像される場合における車両下部領域として判定される画素数と、前記明暗分布の作成に用いた総画素数との比に基づいて前記割合を決定する機能を実行させる、請求項１３に記載の車両検知プログラム。

Images