JP3764086B2 - 車両用情報提供装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば車両の周辺に存在する物体を検出して表示する車両用情報提供装置に関する。
【０００２】
【従来の技術】
従来、歩行者等の走行路上の障害物を車両の運転者に通知するために、車両の前方に搭載された１つあるいは複数の赤外線カメラの画像を、運転席から目視可能な位置に表示し、運転者の前方視界を補助するものがある。運転者に表示される画像は、例えば自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙやフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）、更には自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙ等の画像表示装置に表示される。
また、このように車両の周辺の環境を赤外線カメラによって撮影し、運転者に表示する装置としては、例えば特開平１１−３２８３６４号公報に示すようなものが知られている。この装置では、皮膚が露出している検出対象者の頭部の温度が他の部分の温度より高く、比較的赤外線カメラの画像として捉えやすいことを利用して、まず検出対象者の頭部位置を判別し、判別した頭部位置の情報に基づいて検出対象者の身体に相当する領域を決定する。これにより、例えば歩行者の頭部のみならず身体全体を運転者に表示して注意を促すことができる。
【０００３】
【発明が解決しようとする課題】
しかし、上述のような従来の装置では、検出対象者を正面から撮影している場合、顔面の皮膚は他の部分と比較して赤外線放射量が多いため、検出対象者の頭部位置を判別しやすく、そこから身体全体の領域を決定することが容易にできるものの、後ろから検出対象者を撮影したような場合等では、顔面以外の部分が抜き出されることがあり、頭部位置を判別することが難しかった。
また、直射日光にさらされて温度が上昇している部分や、風を受けて温度が下降している部分等、検出対象者の人体部位の温度は、その状態や環境によっても変化するため、撮影された画像から必ずしも温度の高低によって頭部位置を判別できるとは限らず、頭部位置として認識した部分から決定した身体に相当する領域が、実際の検出対象者が存在する領域とは異なる可能性があった。
【０００４】
本発明は、上記課題に鑑みてなされたもので、赤外線カメラにより撮影された画像の特徴から、人物の存在範囲を決定して表示する車両用情報提供装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係わる車両用情報提供装置は、赤外線カメラにより撮影された画像を表示する車両用情報提供装置であって、前記画像を多値化処理することにより検出された物体の存在領域を抽出領域（例えば実施の形態の第１検出エリア５１）として設定する抽出領域設定手段（例えば実施の形態のステップＳ１〜ステップＳ１８）と、前記抽出領域の周辺に探索領域（例えば実施の形態の探索エリア５４〜５８）を設定する探索領域設定手段（例えば実施の形態のステップＳ２１〜ステップＳ２４）と、前記探索領域内の輝度変化を探索し、輝度変化がある領域を前記抽出領域と共に同一物体として強調表示する物体認識手段（例えば実施の形態のステップＳ２５〜ステップＳ３７）とを備えたことを特徴とする。
以上の構成を備えた車両用情報提供装置は、抽出領域設定手段が設定した抽出領域を基準にして探索領域を設定し、抽出領域の周囲に輝度変化のある領域を探索することで、抽出領域に捉えられた物体と同一の物体を捉えているであろう領域を、抽出領域と共に強調表示することができるようになる。
【０００６】
請求項２の発明に係わる車両用情報提供装置は、請求項１に記載の車両用情報提供装置において、２つの赤外線カメラと、前記２つの赤外線カメラにより撮影された画像の視差を求める視差算出手段（例えば実施の形態のステップＳ３４）とを備え、前記物体認識手段が、輝度変化があると共に、前記抽出領域と視差が同一の領域を同一物体として強調表示することを特徴とする。
以上の構成を備えた車両用情報提供装置は、輝度変化があると共に抽出領域と視差が同一の領域を、抽出領域に捉えられた物体と同一の物体を捉えているであろう領域として認識し、抽出領域と共に強調表示することができるようになる。
【０００７】
請求項３の発明に係わる車両用情報提供装置は、請求項１、または請求項２に記載の車両用情報提供装置において、前記抽出領域の上下に隣接して設定された前記探索領域（例えば実施の形態の探索エリア５２、５３）が前記画像の範囲を越える場合に、前記物体認識手段が、輝度変化の探索を中止することを特徴とする。
以上の構成を備えた車両用情報提供装置は、探索領域設定手段が抽出領域の上下に探索領域を設定すると画像の領域を越えてしまう場合、物体認識手段が、抽出領域に物体の大部分が捉えられていると判断して物体の探索を行わずに抽出領域のみ強調表示を行う。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の車両用情報提供装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の車両用情報提供装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【０００９】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１０】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１１】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対象な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１２】
次に、本実施の形態の動作について図面を参照して説明する。
図３は、本実施の形態の車両用情報提供装置の画像処理ユニット１における処理手順を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１３】
次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。
【００１４】
図５（ａ）は、これを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１５】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、図５（ｂ）に示すように、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１、２を付加する。この処理により、例えば図４（ｂ）に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００１６】
対象物の抽出が完了したら、次に、図５（ｃ）に示すように、抽出した対象物の重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
ここで、面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出する。また、重心Ｇの座標は、面積Ｓをｘ方向に２等分する線のｘ座標と、ｙ方向に２等分する線のｙ座標として算出する。更に、縦横比ＡＳＰＥＣＴは、図５（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出する。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１７】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図６（ａ）に示すように時刻ｋで対象物Ａ、Ｂを抽出した場合、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと、対象物Ａ、Ｂとの同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物Ａ、Ｂと対象物Ｃ、Ｄとは同一であると判定し、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
【００１８】
１）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ（＝Ｃ，Ｄ）の画像上での重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜Δｘ｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜Δｙであること。ただし、Δｘ、Δｙは、それぞれｘ方向及びｙ方向の画像上の移動量の許容値である。
２）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝Ｃ，Ｄ）の画像上での面積をＳｊ（ｋ＋１）としたとき、Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳであること。ただし、ΔＳは面積変化の許容値である。
３）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝Ｃ，Ｄ）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴであること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。
【００１９】
例えば、図６（ａ）と（ｂ）とを対比すると、各対象物は画像上での大きさが大きくなっているが、対象物Ａと対象物Ｃとが上記同一性判定条件を満たし、対象物Ｂと対象物Ｄとが上記同一性判定条件を満たすので、対象物Ｃ、Ｄはそれぞれ対象物Ａ、Ｂと認識される。このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、図７に示すように自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２０】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１０より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、図８（ａ）に示すように右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００２１】
次に、左画像中から探索画像に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、図８（ｂ）に示すように、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａ（図８（ｂ）に破線で示す）を探索領域として設定する。
【数１】

ここで、ＩＲ（ｍ，ｎ）は、図９に示す探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域Ｒ３内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。
【００２２】
ステップＳ１２の処理により、図１０に示すように探索画像Ｒ１と、この対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と、画像中心線ＬＣＴＲとの距離ｄＲ（画素数）及び対応画像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、下記式（２）に適用して、自車両１０と、対象物との距離ｚを算出する（ステップＳ１３）。
【数２】

ここで、Ｂは基線長、赤外線カメラ２Ｒの撮像素子の中心位置と、赤外線カメラ２Ｌの撮像素子の中心位置との水平方向の距離（両赤外線カメラの光軸の間隔）、Ｆは赤外線カメラ２Ｒ、２Ｌのレンズの焦点距離、ｐは赤外線カメラ２Ｒ、２Ｌの撮像素子内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量である。
【００２３】
ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び式（２）により算出した距離ｚを下記式（３）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【数３】

ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、赤外線カメラ２Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００２４】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。
回頭角補正は、図７に示すように、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、図１１に示すようにΔｘだけｘ方向にずれるので、これを補正する処理である。具体的には、下記式（４）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納する。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【数４】

【００２５】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個の実空間位置データ（例えばＮ＝１０程度）、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める（ステップＳ１６）。
具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、下記式（５）で表される直線を求める。
【数５】

ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ、Ｙａｖ、及びＺａｖは、それぞれ実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値、及びＺ座標の平均値である。
なお、式（５）は媒介変数ｕを消去すれば下記式（５ａ）のようになる。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ・・・（５ａ）
【００２６】
また、例えばＰ（０），Ｐ（１），Ｐ（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正後の時系列データを示す場合、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ＝（Ｘａｖ，Ｙａｖ，Ｚａｖ）を通り、各データ点からの距離の２乗の平均値が最小となるような直線として求められる。
ここで、各データ点の座標を示すＰに付した（）内の数値はその値が増加するほど過去のデータであることを示す。例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。
【００２７】
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正する。具体的には、前記式（５ａ）にＺ座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、すなわち下記式（６）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【数６】

【００２８】
式（６）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１７）。
【００２９】
警報判定処理（ステップＳ１７）は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、侵入衝突判定処理のいずれかにより、自車両１０と検出した対象物との衝突の可能性を判定する処理である。以下、図１２に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる動物２０がいる場合を例に取って説明する。
【００３０】
＜衝突判定処理＞
まず、画像処理ユニット１は、動物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近したことにより、下記式（７）を用いてＺ方向の相対速度Ｖｓを算出し、衝突判定処理を行う。衝突判定処理は、下記式（８）及び（９）が成立するとき、衝突の可能性があると判定する処理である。
Ｖｓ＝（Ｚｖ（Ｎ−１）−Ｚｖ（０））／ΔＴ ・・・（７）
Ｚｖ（０）／Ｖｓ≦Ｔ ・・・（８）
｜Ｙｖ（０）｜≦Ｈ ・・・（９）
ここで、Ｚｖ（０）は最新の距離検出値（ｖは近似直線ＬＭＶによる補正後のデータであることを示すために付しているが、Ｚ座標は補正前と同一の値である）であり、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離検出値である。またＴは、余裕時間であり、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、Ｔは例えば２〜５秒程度に設定される。またＨは、Ｙ方向、すなわち高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００３１】
＜接近判定領域内か否かの判定処理＞
ここでは、対象物が接近判定領域内に存在するか否かを判定する。例えば、図１３は、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０で示し、更に領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域ＡＲ１、ＡＲ２、ＡＲ３を、警報判定領域としている。
ここで、領域ＡＲ１は、自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域、換言すれば自車両１０の車幅方向中心部の軸の両側に（α／２＋β）の幅を有する領域であって、対象物がそのまま存在し続ければ衝突の可能性がきわめて高いので、接近判定領域と呼ぶ。領域ＡＲ２、ＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域であり、この領域内にある対象物については、後述する侵入衝突判定を行うので、侵入判定領域と呼ぶ。なおこれらの領域は、前記式（９）に示したようにＹ方向には、所定高さＨを有する。
【００３２】
＜侵入衝突判定処理＞
侵入衝突判定処理は、具体的には、画像上での最新のｘ座標であるｘｃ（０）（文字ｃは前述したように画像の中心位置を実空間原点Ｏに一致させる補正を行った座標であることを示すために付している）と、時間ΔＴ前のｘ座標であるｘｃ（Ｎ−１）との差が下記式（１０）を満たすか否かを判別し、満たす場合に衝突の可能性が高いと判定する。
【数７】

なお、図１２に示すように、自車両１０の進行方向に対してほぼ９０°の方向から進行してくる動物２０がいた場合、Ｘｖ（Ｎー１）／Ｚｖ（Ｎ−１）＝Ｘｖ（０）／Ｚｒ（０）であるとき、換言すれば動物の速度Ｖｐと相対速度Ｖｓの比Ｖｐ／Ｖｓ＝Ｘｒ（Ｎー１）／Ｚｒ（Ｎ−１）であるとき、自車両１０から動物２０を見る方位角θｄは一定となり、衝突の可能性が高い。式（１０）は、この可能性を自車両１０の車幅αを考慮して判定するものである。
【００３３】
警報判定処理（ステップＳ１７）において衝突判定処理、接近判定領域内か否かの判定処理、侵入衝突判定処理のいずれにおいても、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、警報判定処理（ステップＳ１７）において衝突判定処理、接近判定領域内か否かの判定処理、侵入衝突判定処理のいずれかにより、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報出力判定処理へ進む。
【００３４】
ステップＳ１８では、以下のようにして警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１８）。
警報出力判定処理は、まずブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別する。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００３５】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１９の処理へ進み（ステップＳ１８のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ３を介して音声による警報を発する（ステップＳ１９）とともに、画像表示装置７に、例えば赤外線カメラ２Ｒにより得られるグレースケール画像を表示し、接近してくる対象物に強調表示枠を設定することで、自車両１０の運転者に対して、対象物を強調映像として表示する（ステップＳ２０）。
なお、所定閾値ＧＴＨは、下記式（１１）のように定める。これは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【数８】

【００３６】
次に、図１４と図１８に示すフローチャート、及び図１５から図１７に示す図面を参照して、図３に示したフローチャートのステップＳ２０における強調映像出力処理について説明する。
（第１の実施例）
図１４は、第１の実施例による強調映像出力処理の全体動作を示すフローチャートである。
図１４において、まず、画像処理ユニット１は２値化及び相関演算によって検出された対象物のエリア（以下、「第１検出エリア」という）の大きさを基準として、第１検出エリアの上下方向の領域を第１検出エリアの大きさと同一の大きさに分割して複数のエリアを設定し、これを探索エリアとする（ステップＳ２１）。
また、第１検出エリアの上下方向の領域を分割して複数の探索エリアを設定するにあたっては、分割した探索エリアが基準画像（右画像）の領域内にあるか否かの判定を行い（ステップＳ２２）、探索エリアが基準画像からはみ出るまでステップＳ２１へ戻り、領域のエリア分割（探索エリアの設定）を繰り返す（ステップＳ２２のＹＥＳ）。
【００３７】
一方、探索エリアが基準画像からはみ出たら（ステップＳ２２のＮＯ）、基準画像内の分割されたエリア数を計数する（ステップＳ２３）。
そして、基準画像領域内にあるエリアの数が１個より多いか否かを判定する（ステップＳ２４）。
ステップＳ２４において、基準画像領域内にあるエリアの数が１個の場合（エリアの数が基準画像領域内にある第１検出エリア１個とその上下に基準画像領域をはみ出す探索エリア２個の合計３個の場合）（ステップＳ２４のＮＯ）、第１検出エリアを強調表示エリアに設定する（ステップＳ２５）。
図１５は、対象物３０が人間であると共に基準画像領域５０内にあるエリアの数が１個の場合の画像例を示す。図１５（ａ）は、第１検出エリア５１に対象物３０の全身が捉えられている場合で、対象物３０のエリアサイズと距離により判断できる。一方、図１５（ｂ）は、対象物３０の身体の一部が第１検出エリア５１に捉えられている場合である。どちらの場合も、基準画像領域５０内にある第１検出エリア５１とその上下に基準画像領域５０からはみ出す探索エリア５２、５３が設定され、合計３個のエリアから構成されている。
【００３８】
また、ステップＳ２４において、基準画像領域内にあるエリアの数が１個より多い場合（ステップＳ２４のＹＥＳ）、第１検出エリア５１を含む列を基準として探索エリア設定を行うために、列を区別するためのレジスタｊをリセット（ｊ＝０）する（ステップＳ２６）。
そして、探索エリア内の画像に輝度変化が認められるか否か、レジスタｊにより指定された列の中の探索エリアを探索エリア毎に縦方向に判定し、画像に輝度変化が認められる探索エリアにはフラグを設定する輝度変化探索処理を行う（ステップＳ２７）。なお、輝度変化探索処理の詳細は後述する。
図１６（ａ）は、対象物３０が人間であると共に基準画像領域５０内にあるエリアの数が１個より多い場合の画像例を示す。例えば、図１６（ａ）は、第１検出エリア５１とその上下方向に存在し基準画像領域５０からはみ出す探索エリア５４、５５、更には基準画像領域５０内に存在する複数の探索エリア５６の合計Ｍ個のエリアからなる列を構成している。また、この列を基準とするために、この列を「ｊ＝０」の列とする。
【００３９】
次に、レジスタｊにより指定された列の中の探索エリア内の画像に、輝度変化が認められることを示すフラグがあるか否かを判定する（ステップＳ２８）。
ステップＳ２８において、指定された列の中の探索エリア内の画像に、輝度変化が認められることを示すフラグがある場合（ステップＳ２８のＹＥＳ）、ｊを１つ増やす（ｊ＝ｊ＋１）ことで今探索した隣の列を指定し（ステップＳ２９）、ステップＳ２７へ戻り、新しい列に対する輝度変化探索処理を行う（ステップＳ２７）。
また、ステップＳ２８において、指定された列の中の探索エリア内の画像に、輝度変化が認められることを示すフラグがない場合（ステップＳ２８のＮＯ）、ｊをリセット（ｊ＝０）し（ステップＳ３０）、ｊを１つ減らす（ｊ＝ｊ−１）ことで、上述の探索とは反対側の列を指定する（ステップＳ３１）。
そして、上述のステップＳ２７と同様に、輝度変化探索処理を行う（ステップＳ３２）。
【００４０】
次に、上述のステップＳ２８と同様に、レジスタｊにより指定された列の中の探索エリア内の画像に、輝度変化が認められることを示すフラグがあるか否かを判定する（ステップＳ３３）。
ステップＳ３３において、指定された列の中の探索エリア内の画像に、輝度変化が認められることを示すフラグがある場合（ステップＳ３３のＹＥＳ）、ステップＳ３１へ戻り、ｊを１つ減らす（ｊ＝ｊ−１）ことで今探索した隣の列を指定し、ステップＳ３２において新しい列に対する輝度変化探索処理を行う（ステップＳ３２）。
図１６（ｂ）は、ｊ＝２まで探索して輝度変化の認められる探索エリアが存在しなかったため、ｊ＝０に対して反対側のｊ＝−１を探索する場合を示した図である。
【００４１】
また、ステップＳ３３において、指定された列の中の探索エリア内の画像に、輝度変化が認められることを示すフラグがない場合（ステップＳ３３のＮＯ）、基準画像領域５０内の探索が終了したと判断して、次に、フラグが設定された探索エリアに対する視差計算を行う（ステップＳ３４）。
そして、第１検出エリア５１と視差が異なる（自車両１０からの距離が異なる）探索エリアのフラグを解除する（ステップＳ３５）。
また、視差の異なる探索エリアを排除したら、第１検出エリア５１及びフラグの設定された探索エリアを包含するように強調表示出力を行う（ステップＳ３６）。
なお、ステップＳ２５において設定された強調表示出力、及びステップＳ３６において設定された強調表示出力は、画像表示装置７へ出力され（ステップＳ３７）、強調表示出力処理は終了する。
図１７（ａ）は、図１６（ａ）、（ｂ）を基に、第１検出エリア５１及び輝度変化の認められる探索エリアを内包する強調表示枠５９を設定した状態を表す。また、画像表示装置７に出力される際には、図１７（ｂ）に示すように、対象物形状が認識しやすい対象物全てを内包する強調表示枠５９が、表示されるグレースケール画像上に設定されることになる。
【００４２】
次に、図１８に示すフローチャートを用いて、輝度変化探索処理について説明する。
輝度変化探索処理は、探索エリア内の画像に輝度変化が認められるか否かを、レジスタｊにより指定された列の中の探索エリア毎に判定し、画像に輝度変化が認められる探索エリアにはフラグを設定する処理であって、指定された列に対して列内の探索エリアを行の方向（縦方向）に探索する。
まず、行の方向に探索を行うために、行を区別するためのレジスタｉをリセット（ｉ＝１）する（ステップＳ４１）。
次に、レジスタｉにより指定された行の探索エリアについて、探索エリアのグレースケール画像に輝度変化が認められるか否かを探索する（ステップＳ４２）。
そして、指定された探索エリアのグレースケール画像の輝度変化が大きいか否かを判定し（ステップＳ４３）、輝度変化が大きい場合（ステップＳ４３のＹＥＳ）、該当する探索エリアにフラグを設定する（ステップＳ４４）。
【００４３】
輝度変化の大きい探索エリアにフラグが設定されたら、次の行の探索を行うためにｉを１つ増やす（ｉ＝ｉ＋１）ことで今探索した次の行を指定する（ステップＳ４５）
また、指定された探索エリアのグレースケール画像の輝度変化が大きくない場合（ステップＳ４３のＮＯ）、何もせずにステップＳ４５へ進む。
なお、図１６（ａ）、（ｂ）に示すように、各列の第１検出エリア５１と探索エリアの合計数はＭ個であるので、レジスタｉの値を判定し（ステップＳ４６）、輝度変化探索処理はｉの値がＭより大きくなるまで、ステップＳ４２へ戻り、上述の処理を繰り返す（ステップＳ４６のＮＯ）。
従って、図１４に示すフローチャートのステップＳ２４において、基準画像領域５０内にあるエリアの数が１個より多い場合（ステップＳ２４のＹＥＳ）は、基準画像領域５０からはみ出した各列内の探索エリア（ｊ＝０の列では探索エリア５４、５５）についても輝度変化探索処理が実行される。
また、ステップＳ４６において、ｉの値がＭより大きくなったら（ｉ＞Ｍ）（ステップＳ４６のＹＥＳ）、輝度変化探索処理を終了する。
【００４４】
次に、図１９（ａ）、（ｂ）、図２０に示す図面を参照し、強調映像出力処理について、特にエリアの分割方法及び探索方法における別の実施例を説明する。（第２の実施例）
図１９（ａ）は、強調映像出力処理の第２の実施例について説明した図である。第１の実施例が列方向へ探索エリアを拡張する場合に、上下方向にＭ個含まれている探索エリア全てを対象にして列方向の拡張を行うのに対して、第２の実施例では、左右ｊ＝±１より外の列に対しては、フラグの設定された探索エリアが存在する行のエリアのみ拡張して探索を行う。図１９（ａ）では、ｊ＝１、またはｊ＝−１において輝度変化が認められたｉ＝２、３、４の探索エリア５７についてのみ、ｊ＝２、またはｊ＝−２の列において輝度変化探索処理が行われる。
【００４５】
具体的には、下記のように探索エリアをＡ（ｉ、ｊ）と表現し、輝度変化ありを○、輝度変化なしを×で表現する場合、
A( 1,-1):×、A( 1, 0):×、A( 1, 1):× → エリア拡大無し
A( 2,-1):×、A( 2, 0):○、A( 2, 1):× → エリア拡大無し
A( 3,-1):○、A( 3, 0):○、A( 3, 1):○ → エリア拡大有り
A( 4,-1):○、A( 4, 0):○、A( 4, 1):○ → エリア拡大有り
A( 5,-1):○、A( 5, 0):○、A( 5, 1):○ → エリア拡大有り
A( 6,-1):×、A( 6, 0):×、A( 6, 1):× → エリア拡大無し
・
・
・
A( M,-1):×、A( M, 0):×、A( M, 1):× → エリア拡大無し
のように輝度変化処理が行われる。
これにより、１つ前の列において輝度変化が認められなかった行では、その外側も輝度変化が認められる可能性が少ないので、無駄な輝度変化探索処理を省くことで、画像処理ユニット１の処理負荷が軽減される。
【００４６】
（第３の実施例）
図１９（ｂ）は、強調映像出力処理の第３の実施例について説明した図である。第３の実施例では、第１検出エリア５１の大きさを基準に、探索エリアを横方向に広げたエリアを設定し、列方向へ探索エリアを拡張する場合は、第１検出エリア５１と同じ列において輝度変化の認められた行を対象に行う。図１９（ｂ）では、第１検出エリア５１の大きさを基準に、探索エリアを横方向に広げたエリアをｊ＝０として示し、ｊ＝１、またはｊ＝−１の列においては、ｊ＝０のエリアにおいて輝度変化の認められたｉ＝１からｉ＝６の探索エリア５８を対象に輝度変化探索処理が行われる。
これにより、輝度変化の有無により輝度変化探索処理の対象の行を決定する処理を、列方向の拡張を行うたびに判定する処理が不要となるため、更に画像処理ユニット１の処理負荷が軽減される。
【００４７】
（第４の実施例）
図２０は、強調映像出力処理の第４の実施例について説明した図である。第４の実施例では、第１検出エリア５１の大きさに係わらず、所定の大きさの探索エリアによって基準画像領域５０を分割し、輝度変化探索処理を行う。
図２０では、第１検出エリア５１より大きめの探索エリアによって、輝度変化探索処理が実行される。
但し、これにより、第１検出エリア５１の大きさに係わらず基準画像領域５０内の輝度変化探索処理を実行できるので、画像処理ユニット１の処理負荷が大幅に軽減されるものの、探索エリアの大きさと対象物３０の大きさとの差が大きい場合は、検出精度の低下や検出速度の低下を招く場合があることを考慮する必要がある。
【００４８】
なお、更に上述の第１から第４の実施例に付け加えるならば、探索エリアを拡張する場合に、２台の赤外線カメラ２Ｒ、２Ｌの画像同士の視差計算を先に行い、同一の視差を持つ探索エリアの部分のみ拡張するようにしても良い。
また、同じ物体であっても所定値以上の輝度変化がない部分もあるので、この部分を上下に包含するように広げても良い。
また、第１検出エリア５１と視差の異なるエリアのフラグを解除して区別することで、対象物が重なっている場合でも、対象物を区別して抽出することができる。例えば、車両等の後ろに対象物が存在する場合の隠蔽を検出した場合、探索エリア内には輝度変化があると共に、該探索エリアは第１検出エリア５１とは異なる視差値を有し、このような視差値を有する探索エリアが複数個存在する。そこで視差値よりエリアの距離が求まり、人物が車両等の物体の後ろに存在すると考えられる場合は、隠蔽されているエリアを除いた部分を強調表示するようにしても良い。
【００４９】
次に、探索エリアの分割例について、その他の分割例を図面を参照して説明する。
図２１（ａ）は、上述の第１から第４の実施例において説明した対象物３０の頭部と同様に、対象物３０の腹部を検出した第１検出エリア５１に基づいて設定された中間サイズの探索エリアによる基準画像の分割例である。
図２１（ｂ）は、対象物３０の手の先部分を検出した第１検出エリア５１に基づいて設定された小さいサイズの探索エリアによる基準画像の分割例である。
図２２は、対象物３０の両肩から胸部を検出した第１検出エリア５１に基づいて設定された横に大きいサイズの探索エリアによる基準画像の分割例である。図２２に示すように、第１検出エリア５１の横方向のサイズが大きい場合には、画像の視差から求められる対象物との距離によって、探索エリアの横方向サイズを調整するようにしても良い。
【００５０】
なお、上述した実施の形態では、自車両の前方を監視する例を示したが、自車両の後方など、いずれの方向を監視するようにしてもよい。
また、上述した実施の形態では、赤外線カメラ２Ｒ、２Ｌを用意し、視差により対象物との距離も同一物体を抽出するための判断材料として利用したが、赤外線カメラは１台でも良く、この場合、同一物体を抽出するための判断材料から対象物までの距離は除外するものとする。
【００５１】
また、本実施の形態では、画像処理ユニット１が、抽出領域設定手段と、探索領域設定手段と、物体認識手段と、視差算出手段とを含んでいる。より具体的には、図３のＳ１〜Ｓ１８が抽出領域設定手段に相当し、図１４のＳ２１〜Ｓ２４が探索領域設定手段に相当し、図１４のＳ２５〜Ｓ３７が物体認識手段に相当する。更に、図１４のＳ３４が視差算出手段に相当する。
【００５２】
以上説明したように、本実施の形態の車両用情報提供装置は、最初の検出された第１検出エリア５１を基準にして、その周囲に探索エリアを設定し、探索エリア内の画像に輝度変化が認められ、かつ２台の赤外線カメラを用いる場合は、第１検出エリア５１と同じ視差を持つ探索エリアを第１検出エリア５１と同一物体の画像と判定することで、確実に対象物全体を捉えた画像エリアを抽出することができる。
従って、従来は人間の身体部位の中で一番表面温度が高いであろう頭部が抽出されたとして処理を行うために、直射日光にさらされて温度が上昇している部分や、風を受けて温度が下降している部分等、検出対象者の人体部位の温度の変化によって発生する誤検出が問題とされていたが、これにより身体のどの部分が最初に検出されても、必ず対象物の全体（検出対象者の全身）を捉えることができるようになるという効果が得られる。
【００５３】
【発明の効果】
以上の如く、請求項１に記載の車両用情報提供装置によれば、抽出領域設定手段が設定した抽出領域を基準にして探索領域を設定し、抽出領域の周囲に輝度変化のある領域を探索することで、抽出領域に捉えられた物体と同一の物体を捉えているであろう領域を、抽出領域と共に強調表示することができるようになる。従って、抽出領域の大きさに基づいて探索領域を設定すると、対象物の大きさに比例する抽出領域の大きさによって、探索領域の大きさが対象物に対して適切に設定されるので、画像領域内を探索領域により探索して物体全体を検出する検出速度が向上するという効果が得られる。
【００５４】
請求項２に記載の車両用情報提供装置によれば、輝度変化があると共に抽出領域と視差が同一の領域を、抽出領域に捉えられた物体と同一の物体を捉えているであろう領域として認識し、抽出領域と共に強調表示することができるようになる。
従って、複数の物体が重なるような状態にあっても、２台のカメラの画像の視差（物体までの距離）が同じ領域を選択することによって、複数の物体を分離して表示できるという効果が得られる。
【００５５】
請求項３に記載の車両用情報提供装置によれば、探索領域設定手段が抽出領域の上下に探索領域を設定すると画像の領域を越えてしまう場合、物体認識手段が、抽出領域に物体の大部分が捉えられていると判断して物体の探索を行わずに抽出領域のみ強調表示を行う。
従って、抽出領域に物体の大部分が捉えられていると判断して物体の探索を中止することで、不要な計算の実行を回避することができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態の車両用情報提供装置の構成を示すブロック図である。
【図２】 車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】 同実施の形態の車両用情報提供装置の全体動作を示すフローチャートである。
【図４】 赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】 ランレングスデータへの変換処理及びラベリングを示す図である。
【図６】 対象物の時刻間追跡を示す図である。
【図７】 対象物画像の回頭角補正を示す図である。
【図８】 右画像中の探索画像と、左画像に設定する探索領域を示す図である。
【図９】 探索領域を対象とした相関演算処理を示す図である。
【図１０】 対象物の距離算出における対象物視差の算出方法を示す図である。
【図１１】 車両の回頭により発生する画像上の対象物位置のずれを示す図である。
【図１２】 衝突が発生しやすい場合を示す図である。
【図１３】 車両前方の領域区分を示す図である。
【図１４】 同実施の形態の第１の実施例による強調映像出力処理動作を示すフローチャートである。
【図１５】 同実施の形態の画像内エリア分割結果の一例を示す図面である。
【図１６】 同実施の形態の第１の実施例による画像内の領域探索手順を示す図面である。
【図１７】 同実施の形態の第１の実施例による画像内の領域探索手順を示す図面である。
【図１８】 同実施の形態の車両用情報提供装置の輝度変化探索処理動作を示すフローチャートである。
【図１９】 同実施の形態の第２、第３の実施例による画像内の領域探索手順を示す図面である。
【図２０】 同実施の形態の第４の実施例による画像内の領域探索手順を示す図面である。
【図２１】 同実施の形態の画像内エリア分割結果の一例を示す図面である。
【図２２】 同実施の形態の画像内エリア分割結果の一例を示す図面である。
【符号の説明】
１ 画像処理ユニット
２Ｒ、２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ１〜Ｓ１８ 抽出領域設定手段
Ｓ２１〜Ｓ２４ 探索領域設定手段
Ｓ２５〜Ｓ３７ 物体認識手段
Ｓ３４ 視差算出手段

Claims (3)

1. 赤外線カメラにより撮影された画像を表示する車両用情報提供装置であって、
   前記画像を多値化処理することにより検出された物体の存在領域を抽出領域として設定する抽出領域設定手段と、
   前記抽出領域の周辺に探索領域を設定する探索領域設定手段と、
   前記探索領域内の輝度変化を探索し、輝度変化がある領域を前記抽出領域と共に同一物体として強調表示する物体認識手段と
   を備えたことを特徴とする車両用情報提供装置。
2. ２つの赤外線カメラと、
   前記２つの赤外線カメラにより撮影された画像の視差を求める視差算出手段とを備え、
   前記物体認識手段が、輝度変化があると共に、前記抽出領域と視差が同一の領域を同一物体として強調表示する
   ことを特徴とする請求項１に記載の車両用情報提供装置。
3. 前記抽出領域の上下に隣接して設定された前記探索領域が前記画像の範囲を越える場合に、
   前記物体認識手段が、輝度変化の探索を中止する
   ことを特徴とする請求項１、または請求項２に記載の車両用情報提供装置。

Images