JP3939626B2 - 車両周辺監視装置 - Google Patents
車両周辺監視装置 Download PDFInfo
- Publication number
- JP3939626B2 JP3939626B2 JP2002297220A JP2002297220A JP3939626B2 JP 3939626 B2 JP3939626 B2 JP 3939626B2 JP 2002297220 A JP2002297220 A JP 2002297220A JP 2002297220 A JP2002297220 A JP 2002297220A JP 3939626 B2 JP3939626 B2 JP 3939626B2
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- image
- vehicle
- binarized
- weather
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、赤外線カメラにより撮影された画像の２値化処理により、対象物抽出を行う車両周辺監視装置に関する。
【０００２】
【従来の技術】
従来の車両周辺監視装置は、例えば赤外線カメラ等の撮像手段により捉えられた自車両周辺の画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を自車両の運転者に提供する。この装置では、左右一組のステレオカメラが撮影した自車両周辺の画像において温度が高い部分を対象物とすると共に、対象物の視差を求めることにより該対象物までの距離を算出し、これらの対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな対象物を検出して警報を出力する（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００１−６０９６号公報
【０００４】
【発明が解決しようとする課題】
ところで、従来の装置のように、形状判定のみで歩行者の抽出を行った場合、赤外線画像上での歩行者は、着帽、着衣の影響や、歩行者自身の存在環境によって、その２値化形状は不定形であったり、また、一般的に車両走行時には、前方路面の形状の変化や、車両のピッチングの影響があり、歩行者も子供から大人まで本来とは異なる身長で検出されるため、対象物の画面での重心座標が距離に対して固定化できず、歩行者のみを安定して抽出できない可能性がある。
【０００５】
そのため、従来からグレースケール画像上から対象物の実空間での大きさを算出すると共に、２値化対象物が存在する位置関係により歩行者らしき対象物のみを抽出する手法や、２値化対象物から道路構造物や車両を抽出し、歩行者以外の対象物として警報対象物から除外する手法が提案されているものの、車両が降雨の中を走行している場合（雨天時）、対象物も降雨の影響を受けて赤外線の放射量に変化が発生するため、歩行者のみを安定して抽出できない可能性があるという問題があった。
【０００６】
すなわち、一般環境において看板や壁、電柱等、自らは発熱せずに外部より与えられた熱のみを蓄熱する蓄熱体は降雨により温度が低下するために赤外線画像上には出現しなくなり（赤外線カメラでは検出されなくなり）、自動販売機などの自ら発熱する発熱体は、赤外線カメラで検出されるものの、赤外線放射部分は減少（限りなく無いに等しい）し、正確な形状の判定が困難になる傾向がある。また、人間も露出している部分（頭等）は検出されるが、衣服で覆われている部分は、衣服の濡れによって赤外線カメラでは検出されなくなる。このように、雨天時とそれ以外の時では、同一地点であっても車両周囲の状況が変化し、赤外線カメラで検出されたグレースケール画像上での全ての対象物の形状が変化するため、従来の手法では歩行者のみを安定して抽出できない可能性があった。
更に、雨天時は、カメラレンズ表面に降雨が付着するため、画像上の対象物形状が不明瞭になる傾向にあり、更に対象物の形状判定を困難にするという問題があった。
【０００７】
本発明は、上記課題に鑑みてなされたもので、カメラにより撮影された画像から抽出される不定形な２値化対象物を的確に判定し、安定した歩行者の抽出を行う車両周辺監視装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る車両周辺監視装置は、２つの赤外線カメラにより撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置であって、前記車両の周囲の天候を検知する天候検知手段（例えば実施の形態のステップＳ４１−１）と、前記赤外線画像から赤外線を発する対象物を抽出する対象物抽出手段（例えば実施の形態のステップＳ１〜ステップＳ１３）と、前記対象物抽出手段により抽出された対象物から、自らは発熱せずに外部より与えられた熱のみを蓄熱する蓄熱体を抽出する蓄熱体抽出手段（例えば実施の形態のステップＳ４５、Ｓ４６、Ｓ４７、Ｓ５２、Ｓ５３、Ｓ５３−１、Ｓ６０、Ｓ６１、Ｓ６２）と、前記天候検知手段により前記車両の周囲の天候が雨天であると判断された場合には、前記対象物の中から歩行者を認識し、それ以外の場合には、前記蓄熱体抽出手段により抽出された前記蓄熱体を除く前記対象物の中から歩行者を認識する歩行者認識手段（例えば実施の形態のステップＳ４８〜ステップＳ５０、ステップＳ５４〜ステップＳ５９、ステップＳ６３〜ステップＳ８０）とを備えたことを特徴とする。
【０００９】
以上の構成を備えた車両周辺監視装置は、天候検知手段により車両の周囲の天候が雨天であると判断された場合には、対象物抽出手段により抽出した対象物が放射する赤外線量が減少するので、歩行者認識手段は、抽出された対象物の中から直接歩行者を認識する。一方、車両の周囲の天候がそれ以外であると判断された場合には、対象物抽出手段により抽出した対象物が放射する赤外線量によって、自らは発熱せずに外部より与えられた熱のみを蓄熱する蓄熱体を抽出する蓄熱体と歩行者のように自ら熱を発する発熱体との差異が、対象物画像の輝度分散に現れるので、蓄熱体抽出手段により対象物から蓄熱体を抽出し、歩行者認識手段は、蓄熱体を除く対象物の中から歩行者を認識することで、車両周囲の状況に応じて適切な歩行者認識を行うことができる。
【００１０】
請求項２の発明に係る車両周辺監視装置は、請求項１に記載の車両周辺監視装置において、前記歩行者認識手段が、前記対象物の形状を判定する形状判定手段（例えば実施の形態のＳ５９、Ｓ７３）を含み、前記天候検知手段により前記車両の周囲の天候が雨天であると判断された場合には、前記形状判定手段を停止することを特徴とする。
以上の構成を備えた車両周辺監視装置は、天候検知手段により車両の周囲の天候が雨天であると判断された場合には、形状判定処理を停止することで、カメラレンズ表面に降雨が付着するために不明瞭になった画像上の対象物形状が、歩行者認識手段において誤判定されることを防止することができる。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の車両周辺監視装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の車両周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等を検出し、衝突の可能性が高いと判断したときに警報を発する。
【００１２】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１３】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１４】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対象な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１５】
次に、本実施の形態の動作について図面を参照して説明する。
図３は、本実施の形態の車両周辺監視装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１６】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００１７】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００１８】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する（１を減算する）必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１９】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００２０】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２１】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１１より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００２２】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００２３】
ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差量Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。
次に、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００２４】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００２５】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００２６】
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる（ステップＳ１６）。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００２７】
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１７）。なお、警報判定処理については、詳細を後述する。
ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報出力判定処理へ進む。
【００２８】
ステップＳ１８では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１８）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００２９】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１９の処理へ進み（ステップＳ１８のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ１９）とともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２０）。
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【００３０】
以上が、本実施の形態の車両周辺監視装置の画像処理ユニット１における対象物検出・警報動作であるが、次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳しく説明する。
図５は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。以下、図６に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。
【００３１】
図５において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ３１）。衝突判定処理は、図６において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００３２】
次に、ステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がある場合（ステップＳ３１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ３２）。接近判定領域内か否かの判定処理は、図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００３３】
更に、ステップＳ３２において、対象物が接近判定領域内に存在しない場合（ステップＳ３２のＮＯ）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ３３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。
【００３４】
一方、ステップＳ３２において、対象物が接近判定領域内に存在している場合（ステップＳ３２のＹＥＳ）、画像処理ユニット１は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ステップＳ３４）。なお、歩行者判定処理については、詳細を後述する。
また、ステップＳ３４において、対象物は歩行者の可能性があると判定された場合（ステップＳ３４のＹＥＳ）、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ステップＳ３５）。人工構造物判定処理は、対象物画像に、例えば以下に示すような歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、警報の対象から除外する処理である。
（１）対象物の画像に直線エッジを示す部分が含まれる場合。
（２）対象物の画像の角が直角である場合。
（３）対象物の画像に同じ形状のものが複数含まれている場合。
（４）対象物の画像が予め登録された人口構造物の形状と一致する場合。
【００３５】
従って、上述のステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がある場合（ステップＳ３３のＹＥＳ）、及びステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合（ステップＳ３５のＮＯ）、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がある（警報の対象である）と判定し（ステップＳ３６）、図３に示すステップＳ１７のＹＥＳとしてステップＳ１８へ進み、警報出力判定処理（ステップＳ１８）を行う。
【００３６】
一方、上述のステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がない場合（ステップＳ３１のＮＯ）、あるいはステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がない場合（ステップＳ３３のＮＯ）、あるいはステップＳ３４において、対象物は歩行者の可能性がないと判定された場合（ステップＳ３４のＮＯ）、更にはステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物であった場合（ステップＳ３５のＹＥＳ）のいずれかであった場合は、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がない（警報の対象ではない）と判定し（ステップＳ３７）、図３に示すステップＳ１７のＮＯとしてステップＳ１へ戻り、歩行者等の対象物検出・警報動作を繰り返す。
【００３７】
次に、図８から図１３に示すフローチャートを参照して、図５に示したフローチャートのステップＳ３４における歩行者判定処理について更に詳しく説明する。図８から図１３は、本実施の形態の歩行者判定処理動作を示すフローチャートである。
図８において、まず、画像処理ユニット１は、図３に示したフローチャートのステップＳ８において算出された２値化対象物の重心Ｇ（ｘｃ、ｙｃ）（図１４に示す２値化対象物の重心Ｇ１００）、面積Ｓ（図１４に示す２値化対象物面積Ｓ１０１）、更に対象物の外接四角形の縦横比ＡＳＰＥＣＴ、及びステップＳ１３において算出された自車両１０と対象物との距離ｚに加えて、図１４に示す２値化対象物の外接四角形の高さｈｂと幅ｗｂ、及び外接四角形重心座標（ｘｂ、ｙｂ）（図１４に示す外接四角形重心１０２）の値を利用して、実空間での２値化対象物の形状の特徴を示す２値化対象物形状特徴量を算出する（ステップＳ４１）。なお、求める２値化対象物形状特徴量は、カメラの基線長Ｄ［ｍ］、カメラ焦点距離ｆ［ｍ］、画素ピッチｐ［ｍ／ｐｉｘｅｌ］、及び左右映像の相関演算によって算出される視差量Δｄ［ｐｉｘｅｌ］を用いて算出する。
【００３８】
具体的には、外接四角形と対象物面積の比率Ｒａｔｅは、
Ｒａｔｅ＝Ｓ／（ｈｂ×ｗｂ） ・・・（１）
外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐは、
Ａｓｐ＝ｈｂ／ｗｂ ・・・（２）
自車両１０と対象物との距離ｚは、
ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ・・・（３）
と表されるので、
実空間における２値化対象物の幅ΔＷｂや高さΔＨｂは、
ΔＷｂ＝ｗｂ×ｚ×ｐ／ｆ
ΔＨｂ＝ｈｂ×ｚ×ｐ／ｆ ・・・（４）
【００３９】
２値化対象物の重心座標（Ｘｃ，Ｙｃ，Ｚｃ）は、
Ｘｃ＝ｘｃ×ｚ×ｐ／ｆ
Ｙｃ＝ｙｃ×ｚ×ｐ／ｆ
Ｚｃ＝ｚ ・・・（５）
対象物外接四角形重心座標（Ｘｂ，Ｙｂ，Ｚｂ）は、
Ｘｂ＝ｘｂ×ｚ×ｐ／ｆ
Ｙｂ＝ｙｂ×ｚ×ｐ／ｆ
Ｚｂ＝ｚ ・・・（６）
２値化対象物の上端位置座標（Ｘｔ，Ｙｔ，Ｚｔ）は、
Ｘｔ＝ｘｂ×ｚ×ｐ／ｆ
Ｙｔ＝ｙｂ×ｚ×ｐ／ｆ−ΔＨｂ／２
Ｚｔ＝ｚ ・・・（７）
で算出することができる。
【００４０】
また、２値化対象物形状特徴量を算出したら、次に自車両１０の周囲の天候を検知する天候検知処理を行う（ステップＳ４１−１）。
天候検知処理は、例えば赤外線カメラ２Ｒにより得られたグレースケール画像の輝度ヒストグラムを求め、該輝度ヒストグラムに基づいて自車両１０の周囲の天候を判断する処理であって、特に、自車両１０の周囲の天候が雨天であるか否かを判断する処理である。具体的には、例えば図１７（ａ）に示すような晴天時のグレースケール画像と、図１７（ｂ）に示すような雨天時のグレースケール画像とでは、降雨による温度低下により対象物の放射する赤外線量に差が出てくるため、それぞれの輝度ヒストグラムを求めると、図１８に示すような結果が得られる。
【００４１】
図１８は、雨天時のグレースケール画像の輝度ヒストグラムと、晴天時のグレースケール画像の輝度ヒストグラムとを比較したグラフであって、図１８に示すように、雨天時は、例えば晴天時等それ以外の場合に比べ、画像全体の輝度ヒストグラムの標準偏差σが小さくなる（２σの間隔が狭くなる）傾向にある。そこで、画像全体の輝度ヒストグラムの標準偏差σが閾値ＴＨ２４未満である場合に、自車両１０の周囲の天候を雨天と判定する。
【００４２】
なお、自車両１０の周囲の天候が雨天であるか否かの判断は、上述のようなグレースケール画像の輝度ヒストグラムによらず、自車両１０に搭載された降雨を検知するための雨滴センサからの信号や、ウィンドウガラスの雨滴を拭うためのワイパーの作動を制御する信号（例えばワイパーのＯＮ／ＯＦＦ信号等）に基づいて判断しても良い。
【００４３】
そして、ステップＳ４１−１において、自車両１０の周囲の天候を判断できたら、自車両１０の周囲の天候が雨天か否かを判定する（ステップＳ４１−２）。もし、ステップＳ４１−２において、自車両１０の周囲の天候が雨天ではなかった場合（ステップＳ４１−２のＮＯ）、次に、図３に示したフローチャートのステップＳ３において取得されたグレースケール画像を用いて、ステップＳ７において抽出された２値化対象物を含むグレースケール画像上の対象物の高さを求める（ステップＳ４２）。
【００４４】
グレースケール画像上の対象物の高さの求め方は、所定の大きさのマスク領域を、２値化対象物外接四角形の上端から複数個並べてグレースケール画像上に設定し、マスク領域内の輝度変化が大きく（対象物と背景画像とが含まれている）、かつ左右の画像間のマスク領域の相関度が高い（マスク領域内に２つ以上の対象物が存在しない）と共に、更に２値化対象物と同距離（同視差）であるマスク領域を包含する領域をグレースケール対象物の領域として抽出する。
そして、画像上でのグレースケール対象物の領域の高さＨｅｉｇｈｔ（ｐｉｘｅｌ）を算出し、（８）式によりグレースケール対象物の高さΔＨｇを算出する。
ΔＨｇ＝ｚ×Ｈｅｉｇｈｔ×ｐ／ｆ ・・・（８）
【００４５】
また、図１５に示すように、画像上でのグレースケール対象物の領域をＡＲＥＡ０とし、その中にマスク領域ＡＲＥＡ１、ＡＲＥＡ２、ＡＲＥＡ３を設定し、各マスクの輝度平均値と、輝度変化（分散）を算出する（ステップＳ４３）。ここで、ＡＲＥＡ１の輝度平均値をＡｖｅ＿Ａ１、ＡＲＥＡ２の輝度分散をＶａｒ＿Ａ２、ＡＲＥＡ３の輝度分散をＶａｒ＿Ａ３とする。なお、以下の処理において、ＡＲＥＡ１は対象物の頭の存在判定に、ＡＲＥＡ２は対象物の胴体の存在判定に、更にＡＲＥＡ３は頭部から下半身にかけての形状変化の存在判定にそれぞれ使用する。また、ＡＲＥＡ３は、例えば壁のような自らは発熱せずに外部より与えられた熱のみを蓄熱する蓄熱体であって、単調な輝度変化を示す対象物の一部が２値化処理により抽出された場合、これを歩行者と識別するためにも用いる。なお、図１５はカメラで捉えられた歩行者を模式的に表したもので、斜線の領域が２値化で捉えられた対象物の部位であり、点線で囲まれた領域が２値化では捉えられていないが、グレースケール画像で背景に対して物体の存在が確認できる対象物の部位を表す。また、図１５に示した各部の寸法は、実空間での各部の寸法の一例である。
【００４６】
そして、マスク領域ＡＲＥＡ１、ＡＲＥＡ２、ＡＲＥＡ３の設定が完了したら、以下に示す２値化対象物の形状による歩行者判定及びグレースケール画像の各マスク領域の輝度分散を利用した歩行者判定を実行する。
まず、画像処理ユニット１は、２値化対象物の高さ、幅、存在高さ、輝度平均値、輝度分散について、歩行者として適当な範囲内の値か否かを判定する。
具体的には、歩行者を対象とするため、２値化対象物の幅ΔＷｂが閾値ＴＨ１以上ＴＨ２以下（歩行者の幅として適当な値）か否かを判定する（ステップＳ４４）。
【００４７】
また、ステップＳ４１−２において、自車両１０の周囲の天候が雨天であった場合（ステップＳ４１−２のＹＥＳ）、ステップＳ４２やステップＳ４３におけるグレースケール画像上の対象物の高さ算出やマスク領域ＡＲＥＡ１、ＡＲＥＡ２、ＡＲＥＡ３の設定を行わず、ステップＳ４４へ進み、歩行者を対象とするため、２値化対象物の幅ΔＷｂが閾値ＴＨ１以上ＴＨ２以下か否かを判定する（ステップＳ４４）。
【００４８】
また、ステップＳ４４において、２値化対象物の幅ΔＷｂが閾値ＴＨ１以上ＴＨ２以下であった場合（ステップＳ４４のＹＥＳ）、自車両１０の周囲の天候が雨天か否かを判定する（ステップＳ４４−１）。
そして、ステップＳ４４−１において、自車両１０の周囲の天候が雨天ではなかった場合（ステップＳ４４−１のＮＯ）、２値化対象物の高さΔＨｂが閾値ＴＨ３（歩行者の高さとして適当な値）未満で、かつグレースケール対象物の高さΔＨｇが閾値ＴＨ４（歩行者の高さとして適当な値）未満か否かを判定する（ステップＳ４５）。
【００４９】
一方、ステップＳ４４−１において、自車両１０の周囲の天候が雨天であった場合（ステップＳ４４−１のＹＥＳ）、２値化対象物の高さΔＨｂが閾値ＴＨ３（歩行者の高さとして適当な値）未満か否かを判定する（ステップＳ４５−１）。
そして、ステップＳ４５において、２値化対象物の高さΔＨｂが閾値ＴＨ３未満で、かつグレースケール対象物の高さΔＨｇが閾値ＴＨ４未満であった場合（ステップＳ４５のＹＥＳ）、あるいはステップＳ４５−１において、２値化対象物の高さΔＨｂが閾値ＴＨ３未満であった場合（ステップＳ４５−１のＹＥＳ）、路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ５（歩行者の高さとして適当な値）未満か否かを判定する（ステップＳ４６）。
【００５０】
また、ステップＳ４６において、路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ５未満であった場合（ステップＳ４６のＹＥＳ）、自車両１０の周囲の天候が雨天か否かを判定する（ステップＳ４６−１）。
そして、ステップＳ４６−１において、自車両１０の周囲の天候が雨天ではなかった場合（ステップＳ４６−１のＮＯ）、マスク領域ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３が閾値ＴＨ６より大きいか否かを判定する（ステップＳ４７）。この処理を、図１６の対象物が歩行者の一部あるいは全体である場合や壁の場合のマスク領域ＡＲＥＡ３の輝度分散を示した図を用いて説明する。
【００５１】
具体的には、マスク領域ＡＲＥＡ３の領域幅を２値化対象物幅とすることで、図１６（ａ）に示すように、歩行者の頭部のみが２値化処理により抽出された場合は、下半身部位との輝度差が生じる。また、図１６（ｂ）に示すように、少なくとも歩行者の上半身、または全身が２値化処理により抽出された場合には、背景領域（画像）との輝度差が生じる。一方、図１６（ｃ）に示すように、壁のように対象物全体の温度差が少ない対象物の場合、２値化抽出部位とそうでない部位の輝度差は少なく、また、対象物はＡＲＥＡ３のように直線部位で構成されている。このため、ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３は、歩行者の場合には高い値、壁のような対象物の場合には低い値を示す。
従って、ステップＳ４７では、マスク領域ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３が閾値ＴＨ６より大きいか否かを判定することで、対象物が歩行者であるか否かを判定する。
【００５２】
更に、ステップＳ４７において、マスク領域ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３が閾値ＴＨ６より大きかった場合（ステップＳ４７のＹＥＳ）、対象物形状の時間変化による歩行者判定を行う。
具体的には、歩行者の２値化対象物を対象とするため、２値化対象物形状が時間的に大きく変化することはないと考えられる。このため、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅの最大値Ｍａｘ＿Ｒａｔｅと最小値Ｍｉｎ＿Ｒａｔｅの差分が閾値ＴＨ７未満であるか否かを判定する（ステップＳ４８）。
【００５３】
また、ステップＳ４６−１において、自車両１０の周囲の天候が雨天であった場合（ステップＳ４６−１のＹＥＳ）、ステップＳ４７におけるマスク領域ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３の判定は行わず、ステップＳ４８へ進み、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅの最大値Ｍａｘ＿Ｒａｔｅと最小値Ｍｉｎ＿Ｒａｔｅの差分が閾値ＴＨ７未満であるか否かを判定する（ステップＳ４８）。
【００５４】
一方、ステップＳ４４において、２値化対象物の幅ΔＷｂが閾値ＴＨ１未満か、またはＴＨ２より大きかった場合（ステップＳ４４のＮＯ）、あるいはステップＳ４５において、２値化対象物の高さΔＨｂが閾値ＴＨ３以上か、またはグレースケール対象物の高さΔＨｇが閾値ＴＨ４以上であった場合（ステップＳ４５のＮＯ）、あるいはステップＳ４５−１において、２値化対象物の高さΔＨｂが閾値ＴＨ３以上であった場合（ステップＳ４５−１のＮＯ）、あるいはステップＳ４６において、路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ５以上であった場合（ステップＳ４６のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ４９）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００５５】
同様に、ステップＳ４７において、マスク領域ＡＲＥＡ３の輝度分散が閾値ＴＨ６以下であった場合（ステップＳ４７のＮＯ）、更にはステップＳ４８において、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅの最大値Ｍａｘ＿Ｒａｔｅと最小値Ｍｉｎ＿Ｒａｔｅの差分（Ｍａｘ＿Ｒａｔｅ−Ｍｉｎ＿Ｒａｔｅ）が閾値ＴＨ７以上であった場合（ステップＳ４８のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ４９）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００５６】
また、ステップＳ４８において、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅの最大値Ｍａｘ＿Ｒａｔｅと最小値Ｍｉｎ＿Ｒａｔｅの差分が閾値ＴＨ７未満であった場合（ステップＳ４８のＹＥＳ）、次に、画像処理ユニット１は、更に詳細に抽出された対象物の形状毎の歩行者判定を行う。
具体的には、まず、路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ８（歩行者の上半身と下半身を区別できる高さとして適当な値）より大きいか否かを判定する（ステップＳ５０）。
ステップＳ５０において、路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ８以下であった場合（ステップＳ５０のＮＯ）、図９のステップＳ５１へ進み、歩行者の下半身であるか、座った歩行者として、２値化対象物の幅ΔＷｂが閾値ＴＨ９（歩行者の胴体幅として適当な値）以下か否かを判定する（ステップＳ５１）。
【００５７】
図９は、２値化処理によって下半身が抽出されたか、座っている歩行者を識別するための処理手順が示されており、ステップＳ５１において、２値化対象物の幅ΔＷｂが閾値ＴＨ９以下であった場合（ステップＳ５１のＹＥＳ）、自車両１０の周囲の天候が雨天か否かを判定する（ステップＳ５１−１）。
そして、（ステップＳ５１−１）において、自車両１０の周囲の天候が雨天ではなかった場合（ステップＳ５１−１のＮＯ）、対象物が座った歩行者であるか否かを判定するために、グレースケール対象物の高さΔＨｇが閾値ＴＨ１０（歩行者の高さとして適当な値）未満か否かを判定する（ステップＳ５２）。
【００５８】
ステップＳ５２において、グレースケール対象物の高さΔＨｇが閾値ＴＨ１０以上であった場合（ステップＳ５２のＮＯ）、この対象物が歩行者の胴体または、下半身に相当すると仮定し、上部に頭部が存在するか否かの判定のため、図１５に示す上部のマスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１が閾値ＴＨ１１より大きいか否かを判定する（ステップＳ５３）。
ステップＳ５３において、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１が閾値ＴＨ１１より大きかった場合（ステップＳ５３のＹＥＳ）、更に胴体部位は衣服の影響により熱を発散しにくい場合が有るため、グレースケール画像上で輝度パタンがある対象物として、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２が閾値ＴＨ１８より大きいか否かを判定する（ステップＳ５３−１）。
【００５９】
そして、ステップＳ５３−１において、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２が閾値ＴＨ１８より大きかった場合（ステップＳ５３−１のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ５４）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
また、（ステップＳ５１−１）において、自車両１０の周囲の天候が雨天であった場合（ステップＳ５１−１のＹＥＳ）、ステップＳ５２からステップＳ５３−１におけるマスク領域の判定は行わず、ステップＳ５４へ進み、検出された対象物は歩行者であると判定して（ステップＳ５４）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
【００６０】
一方、ステップＳ５１において、２値化対象物の幅ΔＷｂが閾値ＴＨ９より大きかった場合（ステップＳ５１のＮＯ）、またはステップＳ５３において、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１が閾値ＴＨ１１以下であった場合（ステップＳ５３のＮＯ）、更にはステップＳ５３−１において、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２が閾値ＴＨ１８以下であった場合（ステップＳ５３−１のＮＯ）のいずれかであった場合、検出された対象物は歩行者ではないと判定して（ステップＳ５５）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００６１】
また、ステップＳ５２において、グレースケール対象物の高さΔＨｇが閾値ＴＨ１０未満であった場合（ステップＳ５２のＹＥＳ）、この対象物は座った歩行者であるとみなし、２値化対象物の路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ１２（座った歩行者と立っている歩行者を区別できる高さとして適当な値）より大きいか否かを判定する（ステップＳ５６）。
ステップＳ５６において、２値化対象物の路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ１２よりも大きかった場合（ステップＳ５６のＹＥＳ）、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが、閾値ＴＨ１３以上ＴＨ１４以下（歩行者として適当な値）か否かを判定する（ステップＳ５７）。
【００６２】
ステップＳ５７において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ１３以上ＴＨ１４以下であった場合（ステップＳ５７のＹＥＳ）、（９）式で表される外接四角形重心１０２と２値化対象物の重心Ｇ１００との実空間での距離Ｄｉｓ＿ｃが閾値ＴＨ１５（歩行者として適当な値）未満か否かを判定する（ステップＳ５８）。
Ｄｉｓ＿ｃ＝ＳＱＲＴ（（Ｘｂ−Ｘｃ）２＋（Ｙｂ−Ｙｃ）２） ・・・（９）
ステップＳ５８において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満であった場合（ステップＳ５８のＹＥＳ）、例えばΔＷｂが１．０ｍ以下で、ΔＨｇが１．０ｍ未満の対象物には歩行者以外の対象物、具体的には車輌の前部などが含まれるため、２値化対象物の上部マスク領域ＡＲＥＡ１において、予め登録した頭部パタンと相関度が高い部位が存在するか否かを判定する（ステップＳ５９）。
【００６３】
ステップＳ５９において、２値化対象物の上部マスク領域ＡＲＥＡ１に予め登録した頭部パタンと相関度が高い部位が存在する場合（ステップＳ５９のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ５４）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
【００６４】
一方、ステップＳ５６において、２値化対象物の路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ１２以下であった場合（ステップＳ５６のＮＯ）、あるいはステップＳ５７において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ１３未満、あるいはＴＨ１４より大きかった場合（ステップＳ５７のＮＯ）、あるいはステップＳ５８において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５以上であった場合（ステップＳ５８のＮＯ）、更にはステップＳ５９において、２値化対象物の上部マスク領域ＡＲＥＡ１に予め登録した頭部パタンと相関度が高い部位が存在しない場合（ステップＳ５９のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ５５）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００６５】
また、図９のステップＳ５０において、路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ８（歩行者の上半身と下半身を区別できる高さとして適当な値）より大きかった場合（ステップＳ５０のＹＥＳ）、図１０のステップＳ５０−１へ進み、自車両１０の周囲の天候が雨天か否かを判定する（ステップＳ５０−１）。
そして、（ステップＳ５０−１）において、自車両１０の周囲の天候が雨天ではなかった場合（ステップＳ５０−１のＮＯ）、対象物が空中に浮いている物体（例えば、カーブミラーのような対象物）か否かを判定するために、グレースケール対象物の高さΔＨｇが閾値ＴＨ１６（上述の閾値ＴＨ８と同じ値）より大きいか否かを判定する（ステップＳ６０）。
【００６６】
図１０は、２値化処理によって頭部や上半身が抽出された歩行者を識別するための処理手順が示されており、ステップＳ６０において、グレースケール対象物の高さΔＨｇが閾値ＴＨ１６より大きかった場合（ステップＳ６０のＹＥＳ）、対象物は空中に浮いている物体ではないので、次に、対象物領域（ＡＲＥＡ０）の上端部位に頭部が存在するか、あるいは胴体部位が存在するかを判定する。具体的には、まず頭部は露出しているため、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１が閾値ＴＨ１７より大きいか否かを判定する（ステップＳ６１）。
【００６７】
ステップＳ６１において、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１が閾値ＴＨ１７より大きかった場合（ステップＳ６１のＹＥＳ）、胴体部位は衣服の影響により熱を発散しにくい場合が有るため、グレースケール画像上で輝度パタンがある対象物として、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２が閾値ＴＨ１８より大きいか否かを判定する（ステップＳ６２）。
また、ステップＳ６２において、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２が閾値ＴＨ１８より大きかった場合（ステップＳ６２のＹＥＳ）、まず頭部、あるいは上半身が２値化処理により抽出された歩行者を判定するために、２値化対象物の幅ΔＷｂが閾値ＴＨ１９（歩行者の頭部、あるいは上半身を区別できる幅として適当な値）以下か否かを判定する（ステップＳ６３）。
【００６８】
また、（ステップＳ５０−１）において、自車両１０の周囲の天候が雨天であった場合（ステップＳ５０−１のＹＥＳ）、ステップＳ６０からステップＳ６２におけるマスク領域の判定は行わず、ステップＳ６３へ進み、頭部、あるいは上半身が２値化処理により抽出された歩行者を判定するために、２値化対象物の幅ΔＷｂが閾値ＴＨ１９（歩行者の頭部、あるいは上半身を区別できる幅として適当な値）以下か否かを判定する（ステップＳ６３）。
【００６９】
次に、ステップＳ６３において、２値化対象物の幅ΔＷｂが閾値ＴＨ１９より大きかった場合（ステップＳ６３のＮＯ）、少なくとも歩行者の上半身、または全身が２値化処理により抽出された歩行者を判定するために、２値化対象物の幅ΔＷｂが閾値ＴＨ９（歩行者の胴体幅として適当な値）以下か否かを判定する（ステップＳ６４）。
更に、ステップＳ６４において、２値化対象物の幅ΔＷｂが閾値ＴＨ９より大きかった場合（ステップＳ６４のＮＯ）、複数の歩行者が並列歩行を行っているか否かを判定するために、２値化対象物の幅ΔＷｂが閾値ＴＨ２（歩行者の胴体幅として適当な値）以下か否かを判定する（ステップＳ６５）。
【００７０】
また、以上の判定では、ステップＳ６０において、グレースケール対象物の高さΔＨｇが閾値ＴＨ１６以下であった場合（ステップＳ６０のＮＯ）、あるいはステップＳ６１において、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１が閾値ＴＨ１７以下であった場合（ステップＳ６１のＮＯ）、あるいはステップＳ６２において、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２が閾値ＴＨ１８以下であった場合（ステップＳ６２のＮＯ）、更にはステップＳ６５において、２値化対象物の幅ΔＷｂが閾値ＴＨ２より大きかった場合（ステップＳ６５のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ６６）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００７１】
一方、ステップＳ６３において、２値化対象物の幅ΔＷｂが閾値ＴＨ１９以下であった場合（ステップＳ６３のＹＥＳ）、対象物は、頭部あるいは上半身が２値化処理により抽出された歩行者であるとして、図１１のステップＳ６７へ進み、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが、閾値ＴＨ２０以上ＴＨ２１以下（歩行者の頭部や上半身として適当な値）か否かを判定する（ステップＳ６７）。
【００７２】
図１１は、２値化処理によって頭部や上半身が抽出された歩行者を識別するための処理手順が示されており、ステップＳ６７において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ２０以上ＴＨ２１以下であった場合（ステップＳ６７のＹＥＳ）、前述の外接四角形重心１０２と２値化対象物の重心Ｇ１００との実空間での距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満か否かを判定する（ステップＳ６８）。
ステップＳ６８において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満であった場合（ステップＳ６８のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ６９）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
【００７３】
一方、ステップＳ６７において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ２０未満か、またはＴＨ２１より大きかった場合（ステップＳ６７のＮＯ）、あるいはステップＳ６８において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５以上であった場合（ステップＳ６８のＮＯ）、検出された対象物は歩行者ではないと判定して（ステップＳ７０）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００７４】
また、図１０のステップＳ６４において、２値化対象物の幅ΔＷｂが閾値ＴＨ９以下であった場合（ステップＳ６４のＹＥＳ）、対象物は少なくとも歩行者の上半身、または全身が２値化処理により抽出された歩行者であるとして、図１２のステップＳ７１へ進み、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが、閾値ＴＨ１３以上ＴＨ２１以下（歩行者の上半身や全身として適当な値）か否かを判定する（ステップＳ７１）。
【００７５】
図１２は、２値化処理によって上半身や全身が抽出された歩行者を識別するための処理手順が示されており、ステップＳ７１において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ１３以上ＴＨ２１以下であった場合（ステップＳ７１のＹＥＳ）、前述の外接四角形重心１０２と２値化対象物の重心Ｇ１００との実空間での距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満か否かを判定する（ステップＳ７２）。
【００７６】
ステップＳ７２において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満であった場合（ステップＳ７２のＹＥＳ）、自車両１０の周囲の天候が雨天か否かを判定する（ステップＳ７２−１）。
そして、（ステップＳ７２−１）において、自車両１０の周囲の天候が雨天ではなかった場合（ステップＳ７２−１のＮＯ）、対象物には、歩行者以外の対象物、例えば、車輌の前部などが含まれるため、２値化対象物の上部マスク領域ＡＲＥＡ１において、予め登録した頭部パタンと相関度が高い部位が存在するか否かを判定する（ステップＳ７３）。
【００７７】
ステップＳ７３において、２値化対象物の上部マスク領域ＡＲＥＡ１に予め登録した頭部パタンと相関度が高い部位が存在する場合（ステップＳ７３のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ７４）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
また、（ステップＳ７２−１）において、自車両１０の周囲の天候が雨天であった場合（ステップＳ７２−１のＹＥＳ）、ステップＳ７３におけるマスク領域の判定は行わず、ステップＳ７４へ進み、検出された対象物は歩行者であると判定して（ステップＳ７４）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
【００７８】
一方、ステップＳ７１において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ１３未満か、または以上ＴＨ２１より大きかった場合（ステップＳ７１のＮＯ）、あるいはステップＳ７２において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５以上であった場合（ステップＳ７２のＮＯ）、更にはステップＳ７３において、２値化対象物の上部マスク領域ＡＲＥＡ１に予め登録した頭部パタンと相関度が高い部位が存在しない場合（ステップＳ７３のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ７５）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００７９】
また、図１０のステップＳ６５において、２値化対象物の幅ΔＷｂが閾値ＴＨ２以下であった場合（ステップＳ６５のＹＥＳ）、対象物は複数の歩行者が並列歩行を行っているので、対象物の外接四角形内には背景領域が多く含まれていると判断し、図１３のステップＳ７６へ進み、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅが閾値ＴＨ２２未満か否かを判定する（ステップＳ７６）。
【００８０】
図１３は、対象物が複数の歩行者が並列歩行を行っている場合の処理手順が示されており、ステップＳ７６において、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅが閾値ＴＨ２２未満であった場合（ステップＳ７６のＹＥＳ）、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが、閾値ＴＨ２３以上ＴＨ１４以下（歩行者の並列歩行を判断するのに適当な値）か否かを判定する（ステップＳ７７）。
【００８１】
ステップＳ７７において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ２３以上ＴＨ１４以下であった場合（ステップＳ７７のＹＥＳ）、前述の外接四角形重心１０２と２値化対象物の重心Ｇ１００との実空間での距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満か否かを判定する（ステップＳ７８）。
ステップＳ７８において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満であった場合（ステップＳ７８のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ７９）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
【００８２】
一方、ステップＳ７６において、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅが閾値ＴＨ２２以上であった場合（ステップＳ７６のＮＯ）、あるいはステップＳ７７において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ２３未満か、またはＴＨ１４より大きかった場合（ステップＳ７７のＮＯ）、更にはステップＳ７８において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５以上であった場合（ステップＳ７８のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ８０）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００８３】
なお、本実施の形態では、画像処理ユニット１が、天候検知手段と、対象物抽出手段と、蓄熱体抽出手段と、歩行者認識手段と、形状判定手段とを含んでいる。より具体的には、図８のＳ４１−１が天候検知手段に相当し、図３のＳ１〜Ｓ１３が対象物抽出手段に相当し、図８のＳ４５、Ｓ４６、Ｓ４７、図９のＳ５２、Ｓ５３、Ｓ５３−１、図１０のＳ６０、Ｓ６１、Ｓ６２が蓄熱体抽出手段に相当する。
【００８４】
また、図８のＳ４８、Ｓ４９、図９のＳ５０、Ｓ５４〜Ｓ５９、図１０のＳ６３〜Ｓ６６、図１１のＳ６７〜Ｓ７０、図１２のＳ７１〜Ｓ７５、図１３のＳ７６〜Ｓ８０が歩行者認識手段に相当する。そして、特に、図９のＳ５９と図１２のＳ７３が形状判定手段に相当する。
【００８５】
以上説明したように、本実施の形態の車両周辺監視装置は、赤外線カメラにより撮影された画像のグレースケール画像から歩行者等の対象物を２値化処理によって抽出した後、自車両１０の周囲の天候が雨天ではなかった場合は、グレースケール画像の輝度変化により、グレースケール画像から２値化対象物を包含する範囲のグレースケール対象物を抽出し、更にグレースケール対象物の領域に複数の探索領域を設定して、探索領域の形状や探索領域の輝度分散に基づいて該探索領域中の歩行者を認識する。
また、自車両１０の周囲の天候が雨天であった場合は、２値化対象物の存在条件についてのみ判定し、画像中の２値化対象物の高さや大きさ等から２値化画像中の歩行者を認識する。
【００８６】
これにより、自車両１０の周囲の天候が雨天ではなかった場合は、例えば対象物の画像の幅が歩行者として不自然な場合や、対象物の画像の高さが歩行者として不自然な場合、これらの物体を対象物の画像から除去すると共に、これらを満たす歩行者の特徴として、輝度分散が高く頭部に相当する部分があるか、あるいは輝度分散が高く胴部に相当する部分があるか、更には壁等の輝度分散の低いものではないか等の判定を行い、対象物の画像から輝度分散が歩行者を撮影した画像と異なる物体の画像を除去し、歩行者の検出精度を向上させることができるという効果が得られる。
【００８７】
また、自車両１０の周囲の天候が雨天であった場合は、対象物が放射する赤外線量が減少するので、輝度分散による判定は行わず、例えば対象物の画像の幅が歩行者として不自然な場合や、対象物の画像の高さが歩行者として不自然な場合にこれらの物体を対象物の画像から除去することのみを行い、輝度分散を用いた判定による歩行者の誤検出を防止し、歩行者の検出精度を維持することができるという効果が得られる。
【００８８】
【発明の効果】
以上の如く、請求項１に記載の車両周辺監視装置によれば、天候検知手段により車両の周囲の天候が雨天であると判断された場合には、歩行者認識手段は、直接抽出された対象物の中から歩行者を認識する。一方、車両の周囲の天候がそれ以外であると判断された場合には、蓄熱体抽出手段により対象物から蓄熱体を抽出し、歩行者認識手段は、蓄熱体を除く対象物の中から歩行者を認識することで、車両周囲の状況に応じて適切な歩行者認識を行うことができる。
従って、車両の周囲の天候が雨天でなかった場合には、例えば太陽からの日差しを受けた壁のように、歩行者と同等の熱（赤外線）を発するような物体を、その輝度分散の特徴に基づいて対象物の中から除去し、歩行者の検出精度を向上させることができるという効果が得られる。また、車両の周囲の天候が雨天であった場合には、輝度分散に基づいた判定は行わず、逆に輝度分散を用いた判定による歩行者の誤検出を防止し、歩行者の検出精度を維持することができるという効果が得られる。
【００８９】
請求項２に記載の車両周辺監視装置によれば、天候検知手段により車両の周囲の天候が雨天であると判断された場合には、形状判定処理を停止することで、画像上の対象物形状が歩行者認識手段において誤判定されることを防止することができる。
従って、車両の周囲の天候が雨天であった場合に、対象物の形状判定による歩行者の誤検出を防止し、歩行者の検出精度を維持することができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態の車両周辺監視装置の構成を示すブロック図である。
【図２】 車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】 同実施の形態の車両周辺監視装置の対象物検出・警報動作を示すフローチャートである。
【図４】 赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】 同実施の形態の警報判定処理動作を示すフローチャートである。
【図６】 衝突が発生しやすい場合を示す図である。
【図７】 車両前方の領域区分を示す図である。
【図８】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図９】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図１０】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図１１】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図１２】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図１３】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図１４】 同実施の形態の２値化対象物形状特徴量について示す図である。
【図１５】 同実施の形態のマスク領域設定について示す図である。
【図１６】 対象物が歩行者の一部あるいは全体である場合や、壁の場合のマスク領域ＡＲＥＡ３の輝度分散を示した図である。
【図１７】 同実施の形態の車両周辺監視装置における晴天時のグレースケール画像と、雨天時のグレースケール画像とを示す図である。
【図１８】 同実施の形態の車両周辺監視装置における雨天時のグレースケール画像の輝度ヒストグラムと、晴天時のグレースケール画像の輝度ヒストグラムとを比較したグラフである。
【符号の説明】
１ 画像処理ユニット
２Ｒ、２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ１〜Ｓ１３ 対象物抽出手段
Ｓ４１−１ 天候検知手段
Ｓ４５、Ｓ４６、Ｓ４７、Ｓ５２、Ｓ５３、Ｓ５３−１、Ｓ６０、Ｓ６１、Ｓ６２ 蓄熱体抽出手段
Ｓ４８〜Ｓ５０、Ｓ５４〜Ｓ５９、Ｓ６３〜Ｓ８０ 歩行者認識手段
Ｓ５９、Ｓ７３ 形状判定手段
【発明の属する技術分野】
この発明は、赤外線カメラにより撮影された画像の２値化処理により、対象物抽出を行う車両周辺監視装置に関する。
【０００２】
【従来の技術】
従来の車両周辺監視装置は、例えば赤外線カメラ等の撮像手段により捉えられた自車両周辺の画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を自車両の運転者に提供する。この装置では、左右一組のステレオカメラが撮影した自車両周辺の画像において温度が高い部分を対象物とすると共に、対象物の視差を求めることにより該対象物までの距離を算出し、これらの対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな対象物を検出して警報を出力する（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００１−６０９６号公報
【０００４】
【発明が解決しようとする課題】
ところで、従来の装置のように、形状判定のみで歩行者の抽出を行った場合、赤外線画像上での歩行者は、着帽、着衣の影響や、歩行者自身の存在環境によって、その２値化形状は不定形であったり、また、一般的に車両走行時には、前方路面の形状の変化や、車両のピッチングの影響があり、歩行者も子供から大人まで本来とは異なる身長で検出されるため、対象物の画面での重心座標が距離に対して固定化できず、歩行者のみを安定して抽出できない可能性がある。
【０００５】
そのため、従来からグレースケール画像上から対象物の実空間での大きさを算出すると共に、２値化対象物が存在する位置関係により歩行者らしき対象物のみを抽出する手法や、２値化対象物から道路構造物や車両を抽出し、歩行者以外の対象物として警報対象物から除外する手法が提案されているものの、車両が降雨の中を走行している場合（雨天時）、対象物も降雨の影響を受けて赤外線の放射量に変化が発生するため、歩行者のみを安定して抽出できない可能性があるという問題があった。
【０００６】
すなわち、一般環境において看板や壁、電柱等、自らは発熱せずに外部より与えられた熱のみを蓄熱する蓄熱体は降雨により温度が低下するために赤外線画像上には出現しなくなり（赤外線カメラでは検出されなくなり）、自動販売機などの自ら発熱する発熱体は、赤外線カメラで検出されるものの、赤外線放射部分は減少（限りなく無いに等しい）し、正確な形状の判定が困難になる傾向がある。また、人間も露出している部分（頭等）は検出されるが、衣服で覆われている部分は、衣服の濡れによって赤外線カメラでは検出されなくなる。このように、雨天時とそれ以外の時では、同一地点であっても車両周囲の状況が変化し、赤外線カメラで検出されたグレースケール画像上での全ての対象物の形状が変化するため、従来の手法では歩行者のみを安定して抽出できない可能性があった。
更に、雨天時は、カメラレンズ表面に降雨が付着するため、画像上の対象物形状が不明瞭になる傾向にあり、更に対象物の形状判定を困難にするという問題があった。
【０００７】
本発明は、上記課題に鑑みてなされたもので、カメラにより撮影された画像から抽出される不定形な２値化対象物を的確に判定し、安定した歩行者の抽出を行う車両周辺監視装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る車両周辺監視装置は、２つの赤外線カメラにより撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置であって、前記車両の周囲の天候を検知する天候検知手段（例えば実施の形態のステップＳ４１−１）と、前記赤外線画像から赤外線を発する対象物を抽出する対象物抽出手段（例えば実施の形態のステップＳ１〜ステップＳ１３）と、前記対象物抽出手段により抽出された対象物から、自らは発熱せずに外部より与えられた熱のみを蓄熱する蓄熱体を抽出する蓄熱体抽出手段（例えば実施の形態のステップＳ４５、Ｓ４６、Ｓ４７、Ｓ５２、Ｓ５３、Ｓ５３−１、Ｓ６０、Ｓ６１、Ｓ６２）と、前記天候検知手段により前記車両の周囲の天候が雨天であると判断された場合には、前記対象物の中から歩行者を認識し、それ以外の場合には、前記蓄熱体抽出手段により抽出された前記蓄熱体を除く前記対象物の中から歩行者を認識する歩行者認識手段（例えば実施の形態のステップＳ４８〜ステップＳ５０、ステップＳ５４〜ステップＳ５９、ステップＳ６３〜ステップＳ８０）とを備えたことを特徴とする。
【０００９】
以上の構成を備えた車両周辺監視装置は、天候検知手段により車両の周囲の天候が雨天であると判断された場合には、対象物抽出手段により抽出した対象物が放射する赤外線量が減少するので、歩行者認識手段は、抽出された対象物の中から直接歩行者を認識する。一方、車両の周囲の天候がそれ以外であると判断された場合には、対象物抽出手段により抽出した対象物が放射する赤外線量によって、自らは発熱せずに外部より与えられた熱のみを蓄熱する蓄熱体を抽出する蓄熱体と歩行者のように自ら熱を発する発熱体との差異が、対象物画像の輝度分散に現れるので、蓄熱体抽出手段により対象物から蓄熱体を抽出し、歩行者認識手段は、蓄熱体を除く対象物の中から歩行者を認識することで、車両周囲の状況に応じて適切な歩行者認識を行うことができる。
【００１０】
請求項２の発明に係る車両周辺監視装置は、請求項１に記載の車両周辺監視装置において、前記歩行者認識手段が、前記対象物の形状を判定する形状判定手段（例えば実施の形態のＳ５９、Ｓ７３）を含み、前記天候検知手段により前記車両の周囲の天候が雨天であると判断された場合には、前記形状判定手段を停止することを特徴とする。
以上の構成を備えた車両周辺監視装置は、天候検知手段により車両の周囲の天候が雨天であると判断された場合には、形状判定処理を停止することで、カメラレンズ表面に降雨が付着するために不明瞭になった画像上の対象物形状が、歩行者認識手段において誤判定されることを防止することができる。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の車両周辺監視装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の車両周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等を検出し、衝突の可能性が高いと判断したときに警報を発する。
【００１２】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１３】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１４】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対象な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１５】
次に、本実施の形態の動作について図面を参照して説明する。
図３は、本実施の形態の車両周辺監視装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１６】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００１７】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００１８】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する（１を減算する）必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１９】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００２０】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２１】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１１より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００２２】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００２３】
ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差量Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。
次に、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００２４】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００２５】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００２６】
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる（ステップＳ１６）。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００２７】
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１７）。なお、警報判定処理については、詳細を後述する。
ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報出力判定処理へ進む。
【００２８】
ステップＳ１８では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１８）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００２９】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１９の処理へ進み（ステップＳ１８のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ１９）とともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２０）。
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【００３０】
以上が、本実施の形態の車両周辺監視装置の画像処理ユニット１における対象物検出・警報動作であるが、次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳しく説明する。
図５は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。以下、図６に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。
【００３１】
図５において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ３１）。衝突判定処理は、図６において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００３２】
次に、ステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がある場合（ステップＳ３１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ３２）。接近判定領域内か否かの判定処理は、図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００３３】
更に、ステップＳ３２において、対象物が接近判定領域内に存在しない場合（ステップＳ３２のＮＯ）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ３３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。
【００３４】
一方、ステップＳ３２において、対象物が接近判定領域内に存在している場合（ステップＳ３２のＹＥＳ）、画像処理ユニット１は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ステップＳ３４）。なお、歩行者判定処理については、詳細を後述する。
また、ステップＳ３４において、対象物は歩行者の可能性があると判定された場合（ステップＳ３４のＹＥＳ）、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ステップＳ３５）。人工構造物判定処理は、対象物画像に、例えば以下に示すような歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、警報の対象から除外する処理である。
（１）対象物の画像に直線エッジを示す部分が含まれる場合。
（２）対象物の画像の角が直角である場合。
（３）対象物の画像に同じ形状のものが複数含まれている場合。
（４）対象物の画像が予め登録された人口構造物の形状と一致する場合。
【００３５】
従って、上述のステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がある場合（ステップＳ３３のＹＥＳ）、及びステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合（ステップＳ３５のＮＯ）、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がある（警報の対象である）と判定し（ステップＳ３６）、図３に示すステップＳ１７のＹＥＳとしてステップＳ１８へ進み、警報出力判定処理（ステップＳ１８）を行う。
【００３６】
一方、上述のステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がない場合（ステップＳ３１のＮＯ）、あるいはステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がない場合（ステップＳ３３のＮＯ）、あるいはステップＳ３４において、対象物は歩行者の可能性がないと判定された場合（ステップＳ３４のＮＯ）、更にはステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物であった場合（ステップＳ３５のＹＥＳ）のいずれかであった場合は、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がない（警報の対象ではない）と判定し（ステップＳ３７）、図３に示すステップＳ１７のＮＯとしてステップＳ１へ戻り、歩行者等の対象物検出・警報動作を繰り返す。
【００３７】
次に、図８から図１３に示すフローチャートを参照して、図５に示したフローチャートのステップＳ３４における歩行者判定処理について更に詳しく説明する。図８から図１３は、本実施の形態の歩行者判定処理動作を示すフローチャートである。
図８において、まず、画像処理ユニット１は、図３に示したフローチャートのステップＳ８において算出された２値化対象物の重心Ｇ（ｘｃ、ｙｃ）（図１４に示す２値化対象物の重心Ｇ１００）、面積Ｓ（図１４に示す２値化対象物面積Ｓ１０１）、更に対象物の外接四角形の縦横比ＡＳＰＥＣＴ、及びステップＳ１３において算出された自車両１０と対象物との距離ｚに加えて、図１４に示す２値化対象物の外接四角形の高さｈｂと幅ｗｂ、及び外接四角形重心座標（ｘｂ、ｙｂ）（図１４に示す外接四角形重心１０２）の値を利用して、実空間での２値化対象物の形状の特徴を示す２値化対象物形状特徴量を算出する（ステップＳ４１）。なお、求める２値化対象物形状特徴量は、カメラの基線長Ｄ［ｍ］、カメラ焦点距離ｆ［ｍ］、画素ピッチｐ［ｍ／ｐｉｘｅｌ］、及び左右映像の相関演算によって算出される視差量Δｄ［ｐｉｘｅｌ］を用いて算出する。
【００３８】
具体的には、外接四角形と対象物面積の比率Ｒａｔｅは、
Ｒａｔｅ＝Ｓ／（ｈｂ×ｗｂ） ・・・（１）
外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐは、
Ａｓｐ＝ｈｂ／ｗｂ ・・・（２）
自車両１０と対象物との距離ｚは、
ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ・・・（３）
と表されるので、
実空間における２値化対象物の幅ΔＷｂや高さΔＨｂは、
ΔＷｂ＝ｗｂ×ｚ×ｐ／ｆ
ΔＨｂ＝ｈｂ×ｚ×ｐ／ｆ ・・・（４）
【００３９】
２値化対象物の重心座標（Ｘｃ，Ｙｃ，Ｚｃ）は、
Ｘｃ＝ｘｃ×ｚ×ｐ／ｆ
Ｙｃ＝ｙｃ×ｚ×ｐ／ｆ
Ｚｃ＝ｚ ・・・（５）
対象物外接四角形重心座標（Ｘｂ，Ｙｂ，Ｚｂ）は、
Ｘｂ＝ｘｂ×ｚ×ｐ／ｆ
Ｙｂ＝ｙｂ×ｚ×ｐ／ｆ
Ｚｂ＝ｚ ・・・（６）
２値化対象物の上端位置座標（Ｘｔ，Ｙｔ，Ｚｔ）は、
Ｘｔ＝ｘｂ×ｚ×ｐ／ｆ
Ｙｔ＝ｙｂ×ｚ×ｐ／ｆ−ΔＨｂ／２
Ｚｔ＝ｚ ・・・（７）
で算出することができる。
【００４０】
また、２値化対象物形状特徴量を算出したら、次に自車両１０の周囲の天候を検知する天候検知処理を行う（ステップＳ４１−１）。
天候検知処理は、例えば赤外線カメラ２Ｒにより得られたグレースケール画像の輝度ヒストグラムを求め、該輝度ヒストグラムに基づいて自車両１０の周囲の天候を判断する処理であって、特に、自車両１０の周囲の天候が雨天であるか否かを判断する処理である。具体的には、例えば図１７（ａ）に示すような晴天時のグレースケール画像と、図１７（ｂ）に示すような雨天時のグレースケール画像とでは、降雨による温度低下により対象物の放射する赤外線量に差が出てくるため、それぞれの輝度ヒストグラムを求めると、図１８に示すような結果が得られる。
【００４１】
図１８は、雨天時のグレースケール画像の輝度ヒストグラムと、晴天時のグレースケール画像の輝度ヒストグラムとを比較したグラフであって、図１８に示すように、雨天時は、例えば晴天時等それ以外の場合に比べ、画像全体の輝度ヒストグラムの標準偏差σが小さくなる（２σの間隔が狭くなる）傾向にある。そこで、画像全体の輝度ヒストグラムの標準偏差σが閾値ＴＨ２４未満である場合に、自車両１０の周囲の天候を雨天と判定する。
【００４２】
なお、自車両１０の周囲の天候が雨天であるか否かの判断は、上述のようなグレースケール画像の輝度ヒストグラムによらず、自車両１０に搭載された降雨を検知するための雨滴センサからの信号や、ウィンドウガラスの雨滴を拭うためのワイパーの作動を制御する信号（例えばワイパーのＯＮ／ＯＦＦ信号等）に基づいて判断しても良い。
【００４３】
そして、ステップＳ４１−１において、自車両１０の周囲の天候を判断できたら、自車両１０の周囲の天候が雨天か否かを判定する（ステップＳ４１−２）。もし、ステップＳ４１−２において、自車両１０の周囲の天候が雨天ではなかった場合（ステップＳ４１−２のＮＯ）、次に、図３に示したフローチャートのステップＳ３において取得されたグレースケール画像を用いて、ステップＳ７において抽出された２値化対象物を含むグレースケール画像上の対象物の高さを求める（ステップＳ４２）。
【００４４】
グレースケール画像上の対象物の高さの求め方は、所定の大きさのマスク領域を、２値化対象物外接四角形の上端から複数個並べてグレースケール画像上に設定し、マスク領域内の輝度変化が大きく（対象物と背景画像とが含まれている）、かつ左右の画像間のマスク領域の相関度が高い（マスク領域内に２つ以上の対象物が存在しない）と共に、更に２値化対象物と同距離（同視差）であるマスク領域を包含する領域をグレースケール対象物の領域として抽出する。
そして、画像上でのグレースケール対象物の領域の高さＨｅｉｇｈｔ（ｐｉｘｅｌ）を算出し、（８）式によりグレースケール対象物の高さΔＨｇを算出する。
ΔＨｇ＝ｚ×Ｈｅｉｇｈｔ×ｐ／ｆ ・・・（８）
【００４５】
また、図１５に示すように、画像上でのグレースケール対象物の領域をＡＲＥＡ０とし、その中にマスク領域ＡＲＥＡ１、ＡＲＥＡ２、ＡＲＥＡ３を設定し、各マスクの輝度平均値と、輝度変化（分散）を算出する（ステップＳ４３）。ここで、ＡＲＥＡ１の輝度平均値をＡｖｅ＿Ａ１、ＡＲＥＡ２の輝度分散をＶａｒ＿Ａ２、ＡＲＥＡ３の輝度分散をＶａｒ＿Ａ３とする。なお、以下の処理において、ＡＲＥＡ１は対象物の頭の存在判定に、ＡＲＥＡ２は対象物の胴体の存在判定に、更にＡＲＥＡ３は頭部から下半身にかけての形状変化の存在判定にそれぞれ使用する。また、ＡＲＥＡ３は、例えば壁のような自らは発熱せずに外部より与えられた熱のみを蓄熱する蓄熱体であって、単調な輝度変化を示す対象物の一部が２値化処理により抽出された場合、これを歩行者と識別するためにも用いる。なお、図１５はカメラで捉えられた歩行者を模式的に表したもので、斜線の領域が２値化で捉えられた対象物の部位であり、点線で囲まれた領域が２値化では捉えられていないが、グレースケール画像で背景に対して物体の存在が確認できる対象物の部位を表す。また、図１５に示した各部の寸法は、実空間での各部の寸法の一例である。
【００４６】
そして、マスク領域ＡＲＥＡ１、ＡＲＥＡ２、ＡＲＥＡ３の設定が完了したら、以下に示す２値化対象物の形状による歩行者判定及びグレースケール画像の各マスク領域の輝度分散を利用した歩行者判定を実行する。
まず、画像処理ユニット１は、２値化対象物の高さ、幅、存在高さ、輝度平均値、輝度分散について、歩行者として適当な範囲内の値か否かを判定する。
具体的には、歩行者を対象とするため、２値化対象物の幅ΔＷｂが閾値ＴＨ１以上ＴＨ２以下（歩行者の幅として適当な値）か否かを判定する（ステップＳ４４）。
【００４７】
また、ステップＳ４１−２において、自車両１０の周囲の天候が雨天であった場合（ステップＳ４１−２のＹＥＳ）、ステップＳ４２やステップＳ４３におけるグレースケール画像上の対象物の高さ算出やマスク領域ＡＲＥＡ１、ＡＲＥＡ２、ＡＲＥＡ３の設定を行わず、ステップＳ４４へ進み、歩行者を対象とするため、２値化対象物の幅ΔＷｂが閾値ＴＨ１以上ＴＨ２以下か否かを判定する（ステップＳ４４）。
【００４８】
また、ステップＳ４４において、２値化対象物の幅ΔＷｂが閾値ＴＨ１以上ＴＨ２以下であった場合（ステップＳ４４のＹＥＳ）、自車両１０の周囲の天候が雨天か否かを判定する（ステップＳ４４−１）。
そして、ステップＳ４４−１において、自車両１０の周囲の天候が雨天ではなかった場合（ステップＳ４４−１のＮＯ）、２値化対象物の高さΔＨｂが閾値ＴＨ３（歩行者の高さとして適当な値）未満で、かつグレースケール対象物の高さΔＨｇが閾値ＴＨ４（歩行者の高さとして適当な値）未満か否かを判定する（ステップＳ４５）。
【００４９】
一方、ステップＳ４４−１において、自車両１０の周囲の天候が雨天であった場合（ステップＳ４４−１のＹＥＳ）、２値化対象物の高さΔＨｂが閾値ＴＨ３（歩行者の高さとして適当な値）未満か否かを判定する（ステップＳ４５−１）。
そして、ステップＳ４５において、２値化対象物の高さΔＨｂが閾値ＴＨ３未満で、かつグレースケール対象物の高さΔＨｇが閾値ＴＨ４未満であった場合（ステップＳ４５のＹＥＳ）、あるいはステップＳ４５−１において、２値化対象物の高さΔＨｂが閾値ＴＨ３未満であった場合（ステップＳ４５−１のＹＥＳ）、路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ５（歩行者の高さとして適当な値）未満か否かを判定する（ステップＳ４６）。
【００５０】
また、ステップＳ４６において、路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ５未満であった場合（ステップＳ４６のＹＥＳ）、自車両１０の周囲の天候が雨天か否かを判定する（ステップＳ４６−１）。
そして、ステップＳ４６−１において、自車両１０の周囲の天候が雨天ではなかった場合（ステップＳ４６−１のＮＯ）、マスク領域ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３が閾値ＴＨ６より大きいか否かを判定する（ステップＳ４７）。この処理を、図１６の対象物が歩行者の一部あるいは全体である場合や壁の場合のマスク領域ＡＲＥＡ３の輝度分散を示した図を用いて説明する。
【００５１】
具体的には、マスク領域ＡＲＥＡ３の領域幅を２値化対象物幅とすることで、図１６（ａ）に示すように、歩行者の頭部のみが２値化処理により抽出された場合は、下半身部位との輝度差が生じる。また、図１６（ｂ）に示すように、少なくとも歩行者の上半身、または全身が２値化処理により抽出された場合には、背景領域（画像）との輝度差が生じる。一方、図１６（ｃ）に示すように、壁のように対象物全体の温度差が少ない対象物の場合、２値化抽出部位とそうでない部位の輝度差は少なく、また、対象物はＡＲＥＡ３のように直線部位で構成されている。このため、ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３は、歩行者の場合には高い値、壁のような対象物の場合には低い値を示す。
従って、ステップＳ４７では、マスク領域ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３が閾値ＴＨ６より大きいか否かを判定することで、対象物が歩行者であるか否かを判定する。
【００５２】
更に、ステップＳ４７において、マスク領域ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３が閾値ＴＨ６より大きかった場合（ステップＳ４７のＹＥＳ）、対象物形状の時間変化による歩行者判定を行う。
具体的には、歩行者の２値化対象物を対象とするため、２値化対象物形状が時間的に大きく変化することはないと考えられる。このため、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅの最大値Ｍａｘ＿Ｒａｔｅと最小値Ｍｉｎ＿Ｒａｔｅの差分が閾値ＴＨ７未満であるか否かを判定する（ステップＳ４８）。
【００５３】
また、ステップＳ４６−１において、自車両１０の周囲の天候が雨天であった場合（ステップＳ４６−１のＹＥＳ）、ステップＳ４７におけるマスク領域ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３の判定は行わず、ステップＳ４８へ進み、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅの最大値Ｍａｘ＿Ｒａｔｅと最小値Ｍｉｎ＿Ｒａｔｅの差分が閾値ＴＨ７未満であるか否かを判定する（ステップＳ４８）。
【００５４】
一方、ステップＳ４４において、２値化対象物の幅ΔＷｂが閾値ＴＨ１未満か、またはＴＨ２より大きかった場合（ステップＳ４４のＮＯ）、あるいはステップＳ４５において、２値化対象物の高さΔＨｂが閾値ＴＨ３以上か、またはグレースケール対象物の高さΔＨｇが閾値ＴＨ４以上であった場合（ステップＳ４５のＮＯ）、あるいはステップＳ４５−１において、２値化対象物の高さΔＨｂが閾値ＴＨ３以上であった場合（ステップＳ４５−１のＮＯ）、あるいはステップＳ４６において、路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ５以上であった場合（ステップＳ４６のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ４９）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００５５】
同様に、ステップＳ４７において、マスク領域ＡＲＥＡ３の輝度分散が閾値ＴＨ６以下であった場合（ステップＳ４７のＮＯ）、更にはステップＳ４８において、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅの最大値Ｍａｘ＿Ｒａｔｅと最小値Ｍｉｎ＿Ｒａｔｅの差分（Ｍａｘ＿Ｒａｔｅ−Ｍｉｎ＿Ｒａｔｅ）が閾値ＴＨ７以上であった場合（ステップＳ４８のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ４９）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００５６】
また、ステップＳ４８において、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅの最大値Ｍａｘ＿Ｒａｔｅと最小値Ｍｉｎ＿Ｒａｔｅの差分が閾値ＴＨ７未満であった場合（ステップＳ４８のＹＥＳ）、次に、画像処理ユニット１は、更に詳細に抽出された対象物の形状毎の歩行者判定を行う。
具体的には、まず、路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ８（歩行者の上半身と下半身を区別できる高さとして適当な値）より大きいか否かを判定する（ステップＳ５０）。
ステップＳ５０において、路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ８以下であった場合（ステップＳ５０のＮＯ）、図９のステップＳ５１へ進み、歩行者の下半身であるか、座った歩行者として、２値化対象物の幅ΔＷｂが閾値ＴＨ９（歩行者の胴体幅として適当な値）以下か否かを判定する（ステップＳ５１）。
【００５７】
図９は、２値化処理によって下半身が抽出されたか、座っている歩行者を識別するための処理手順が示されており、ステップＳ５１において、２値化対象物の幅ΔＷｂが閾値ＴＨ９以下であった場合（ステップＳ５１のＹＥＳ）、自車両１０の周囲の天候が雨天か否かを判定する（ステップＳ５１−１）。
そして、（ステップＳ５１−１）において、自車両１０の周囲の天候が雨天ではなかった場合（ステップＳ５１−１のＮＯ）、対象物が座った歩行者であるか否かを判定するために、グレースケール対象物の高さΔＨｇが閾値ＴＨ１０（歩行者の高さとして適当な値）未満か否かを判定する（ステップＳ５２）。
【００５８】
ステップＳ５２において、グレースケール対象物の高さΔＨｇが閾値ＴＨ１０以上であった場合（ステップＳ５２のＮＯ）、この対象物が歩行者の胴体または、下半身に相当すると仮定し、上部に頭部が存在するか否かの判定のため、図１５に示す上部のマスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１が閾値ＴＨ１１より大きいか否かを判定する（ステップＳ５３）。
ステップＳ５３において、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１が閾値ＴＨ１１より大きかった場合（ステップＳ５３のＹＥＳ）、更に胴体部位は衣服の影響により熱を発散しにくい場合が有るため、グレースケール画像上で輝度パタンがある対象物として、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２が閾値ＴＨ１８より大きいか否かを判定する（ステップＳ５３−１）。
【００５９】
そして、ステップＳ５３−１において、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２が閾値ＴＨ１８より大きかった場合（ステップＳ５３−１のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ５４）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
また、（ステップＳ５１−１）において、自車両１０の周囲の天候が雨天であった場合（ステップＳ５１−１のＹＥＳ）、ステップＳ５２からステップＳ５３−１におけるマスク領域の判定は行わず、ステップＳ５４へ進み、検出された対象物は歩行者であると判定して（ステップＳ５４）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
【００６０】
一方、ステップＳ５１において、２値化対象物の幅ΔＷｂが閾値ＴＨ９より大きかった場合（ステップＳ５１のＮＯ）、またはステップＳ５３において、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１が閾値ＴＨ１１以下であった場合（ステップＳ５３のＮＯ）、更にはステップＳ５３−１において、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２が閾値ＴＨ１８以下であった場合（ステップＳ５３−１のＮＯ）のいずれかであった場合、検出された対象物は歩行者ではないと判定して（ステップＳ５５）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００６１】
また、ステップＳ５２において、グレースケール対象物の高さΔＨｇが閾値ＴＨ１０未満であった場合（ステップＳ５２のＹＥＳ）、この対象物は座った歩行者であるとみなし、２値化対象物の路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ１２（座った歩行者と立っている歩行者を区別できる高さとして適当な値）より大きいか否かを判定する（ステップＳ５６）。
ステップＳ５６において、２値化対象物の路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ１２よりも大きかった場合（ステップＳ５６のＹＥＳ）、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが、閾値ＴＨ１３以上ＴＨ１４以下（歩行者として適当な値）か否かを判定する（ステップＳ５７）。
【００６２】
ステップＳ５７において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ１３以上ＴＨ１４以下であった場合（ステップＳ５７のＹＥＳ）、（９）式で表される外接四角形重心１０２と２値化対象物の重心Ｇ１００との実空間での距離Ｄｉｓ＿ｃが閾値ＴＨ１５（歩行者として適当な値）未満か否かを判定する（ステップＳ５８）。
Ｄｉｓ＿ｃ＝ＳＱＲＴ（（Ｘｂ−Ｘｃ）２＋（Ｙｂ−Ｙｃ）２） ・・・（９）
ステップＳ５８において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満であった場合（ステップＳ５８のＹＥＳ）、例えばΔＷｂが１．０ｍ以下で、ΔＨｇが１．０ｍ未満の対象物には歩行者以外の対象物、具体的には車輌の前部などが含まれるため、２値化対象物の上部マスク領域ＡＲＥＡ１において、予め登録した頭部パタンと相関度が高い部位が存在するか否かを判定する（ステップＳ５９）。
【００６３】
ステップＳ５９において、２値化対象物の上部マスク領域ＡＲＥＡ１に予め登録した頭部パタンと相関度が高い部位が存在する場合（ステップＳ５９のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ５４）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
【００６４】
一方、ステップＳ５６において、２値化対象物の路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ１２以下であった場合（ステップＳ５６のＮＯ）、あるいはステップＳ５７において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ１３未満、あるいはＴＨ１４より大きかった場合（ステップＳ５７のＮＯ）、あるいはステップＳ５８において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５以上であった場合（ステップＳ５８のＮＯ）、更にはステップＳ５９において、２値化対象物の上部マスク領域ＡＲＥＡ１に予め登録した頭部パタンと相関度が高い部位が存在しない場合（ステップＳ５９のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ５５）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００６５】
また、図９のステップＳ５０において、路面からの対象物の上端高さ位置Ｙｔが閾値ＴＨ８（歩行者の上半身と下半身を区別できる高さとして適当な値）より大きかった場合（ステップＳ５０のＹＥＳ）、図１０のステップＳ５０−１へ進み、自車両１０の周囲の天候が雨天か否かを判定する（ステップＳ５０−１）。
そして、（ステップＳ５０−１）において、自車両１０の周囲の天候が雨天ではなかった場合（ステップＳ５０−１のＮＯ）、対象物が空中に浮いている物体（例えば、カーブミラーのような対象物）か否かを判定するために、グレースケール対象物の高さΔＨｇが閾値ＴＨ１６（上述の閾値ＴＨ８と同じ値）より大きいか否かを判定する（ステップＳ６０）。
【００６６】
図１０は、２値化処理によって頭部や上半身が抽出された歩行者を識別するための処理手順が示されており、ステップＳ６０において、グレースケール対象物の高さΔＨｇが閾値ＴＨ１６より大きかった場合（ステップＳ６０のＹＥＳ）、対象物は空中に浮いている物体ではないので、次に、対象物領域（ＡＲＥＡ０）の上端部位に頭部が存在するか、あるいは胴体部位が存在するかを判定する。具体的には、まず頭部は露出しているため、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１が閾値ＴＨ１７より大きいか否かを判定する（ステップＳ６１）。
【００６７】
ステップＳ６１において、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１が閾値ＴＨ１７より大きかった場合（ステップＳ６１のＹＥＳ）、胴体部位は衣服の影響により熱を発散しにくい場合が有るため、グレースケール画像上で輝度パタンがある対象物として、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２が閾値ＴＨ１８より大きいか否かを判定する（ステップＳ６２）。
また、ステップＳ６２において、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２が閾値ＴＨ１８より大きかった場合（ステップＳ６２のＹＥＳ）、まず頭部、あるいは上半身が２値化処理により抽出された歩行者を判定するために、２値化対象物の幅ΔＷｂが閾値ＴＨ１９（歩行者の頭部、あるいは上半身を区別できる幅として適当な値）以下か否かを判定する（ステップＳ６３）。
【００６８】
また、（ステップＳ５０−１）において、自車両１０の周囲の天候が雨天であった場合（ステップＳ５０−１のＹＥＳ）、ステップＳ６０からステップＳ６２におけるマスク領域の判定は行わず、ステップＳ６３へ進み、頭部、あるいは上半身が２値化処理により抽出された歩行者を判定するために、２値化対象物の幅ΔＷｂが閾値ＴＨ１９（歩行者の頭部、あるいは上半身を区別できる幅として適当な値）以下か否かを判定する（ステップＳ６３）。
【００６９】
次に、ステップＳ６３において、２値化対象物の幅ΔＷｂが閾値ＴＨ１９より大きかった場合（ステップＳ６３のＮＯ）、少なくとも歩行者の上半身、または全身が２値化処理により抽出された歩行者を判定するために、２値化対象物の幅ΔＷｂが閾値ＴＨ９（歩行者の胴体幅として適当な値）以下か否かを判定する（ステップＳ６４）。
更に、ステップＳ６４において、２値化対象物の幅ΔＷｂが閾値ＴＨ９より大きかった場合（ステップＳ６４のＮＯ）、複数の歩行者が並列歩行を行っているか否かを判定するために、２値化対象物の幅ΔＷｂが閾値ＴＨ２（歩行者の胴体幅として適当な値）以下か否かを判定する（ステップＳ６５）。
【００７０】
また、以上の判定では、ステップＳ６０において、グレースケール対象物の高さΔＨｇが閾値ＴＨ１６以下であった場合（ステップＳ６０のＮＯ）、あるいはステップＳ６１において、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１が閾値ＴＨ１７以下であった場合（ステップＳ６１のＮＯ）、あるいはステップＳ６２において、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２が閾値ＴＨ１８以下であった場合（ステップＳ６２のＮＯ）、更にはステップＳ６５において、２値化対象物の幅ΔＷｂが閾値ＴＨ２より大きかった場合（ステップＳ６５のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ６６）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００７１】
一方、ステップＳ６３において、２値化対象物の幅ΔＷｂが閾値ＴＨ１９以下であった場合（ステップＳ６３のＹＥＳ）、対象物は、頭部あるいは上半身が２値化処理により抽出された歩行者であるとして、図１１のステップＳ６７へ進み、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが、閾値ＴＨ２０以上ＴＨ２１以下（歩行者の頭部や上半身として適当な値）か否かを判定する（ステップＳ６７）。
【００７２】
図１１は、２値化処理によって頭部や上半身が抽出された歩行者を識別するための処理手順が示されており、ステップＳ６７において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ２０以上ＴＨ２１以下であった場合（ステップＳ６７のＹＥＳ）、前述の外接四角形重心１０２と２値化対象物の重心Ｇ１００との実空間での距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満か否かを判定する（ステップＳ６８）。
ステップＳ６８において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満であった場合（ステップＳ６８のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ６９）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
【００７３】
一方、ステップＳ６７において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ２０未満か、またはＴＨ２１より大きかった場合（ステップＳ６７のＮＯ）、あるいはステップＳ６８において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５以上であった場合（ステップＳ６８のＮＯ）、検出された対象物は歩行者ではないと判定して（ステップＳ７０）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００７４】
また、図１０のステップＳ６４において、２値化対象物の幅ΔＷｂが閾値ＴＨ９以下であった場合（ステップＳ６４のＹＥＳ）、対象物は少なくとも歩行者の上半身、または全身が２値化処理により抽出された歩行者であるとして、図１２のステップＳ７１へ進み、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが、閾値ＴＨ１３以上ＴＨ２１以下（歩行者の上半身や全身として適当な値）か否かを判定する（ステップＳ７１）。
【００７５】
図１２は、２値化処理によって上半身や全身が抽出された歩行者を識別するための処理手順が示されており、ステップＳ７１において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ１３以上ＴＨ２１以下であった場合（ステップＳ７１のＹＥＳ）、前述の外接四角形重心１０２と２値化対象物の重心Ｇ１００との実空間での距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満か否かを判定する（ステップＳ７２）。
【００７６】
ステップＳ７２において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満であった場合（ステップＳ７２のＹＥＳ）、自車両１０の周囲の天候が雨天か否かを判定する（ステップＳ７２−１）。
そして、（ステップＳ７２−１）において、自車両１０の周囲の天候が雨天ではなかった場合（ステップＳ７２−１のＮＯ）、対象物には、歩行者以外の対象物、例えば、車輌の前部などが含まれるため、２値化対象物の上部マスク領域ＡＲＥＡ１において、予め登録した頭部パタンと相関度が高い部位が存在するか否かを判定する（ステップＳ７３）。
【００７７】
ステップＳ７３において、２値化対象物の上部マスク領域ＡＲＥＡ１に予め登録した頭部パタンと相関度が高い部位が存在する場合（ステップＳ７３のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ７４）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
また、（ステップＳ７２−１）において、自車両１０の周囲の天候が雨天であった場合（ステップＳ７２−１のＹＥＳ）、ステップＳ７３におけるマスク領域の判定は行わず、ステップＳ７４へ進み、検出された対象物は歩行者であると判定して（ステップＳ７４）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
【００７８】
一方、ステップＳ７１において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ１３未満か、または以上ＴＨ２１より大きかった場合（ステップＳ７１のＮＯ）、あるいはステップＳ７２において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５以上であった場合（ステップＳ７２のＮＯ）、更にはステップＳ７３において、２値化対象物の上部マスク領域ＡＲＥＡ１に予め登録した頭部パタンと相関度が高い部位が存在しない場合（ステップＳ７３のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ７５）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００７９】
また、図１０のステップＳ６５において、２値化対象物の幅ΔＷｂが閾値ＴＨ２以下であった場合（ステップＳ６５のＹＥＳ）、対象物は複数の歩行者が並列歩行を行っているので、対象物の外接四角形内には背景領域が多く含まれていると判断し、図１３のステップＳ７６へ進み、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅが閾値ＴＨ２２未満か否かを判定する（ステップＳ７６）。
【００８０】
図１３は、対象物が複数の歩行者が並列歩行を行っている場合の処理手順が示されており、ステップＳ７６において、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅが閾値ＴＨ２２未満であった場合（ステップＳ７６のＹＥＳ）、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが、閾値ＴＨ２３以上ＴＨ１４以下（歩行者の並列歩行を判断するのに適当な値）か否かを判定する（ステップＳ７７）。
【００８１】
ステップＳ７７において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ２３以上ＴＨ１４以下であった場合（ステップＳ７７のＹＥＳ）、前述の外接四角形重心１０２と２値化対象物の重心Ｇ１００との実空間での距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満か否かを判定する（ステップＳ７８）。
ステップＳ７８において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５未満であった場合（ステップＳ７８のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ７９）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。
【００８２】
一方、ステップＳ７６において、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅが閾値ＴＨ２２以上であった場合（ステップＳ７６のＮＯ）、あるいはステップＳ７７において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが閾値ＴＨ２３未満か、またはＴＨ１４より大きかった場合（ステップＳ７７のＮＯ）、更にはステップＳ７８において、距離Ｄｉｓ＿ｃが閾値ＴＨ１５以上であった場合（ステップＳ７８のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ８０）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００８３】
なお、本実施の形態では、画像処理ユニット１が、天候検知手段と、対象物抽出手段と、蓄熱体抽出手段と、歩行者認識手段と、形状判定手段とを含んでいる。より具体的には、図８のＳ４１−１が天候検知手段に相当し、図３のＳ１〜Ｓ１３が対象物抽出手段に相当し、図８のＳ４５、Ｓ４６、Ｓ４７、図９のＳ５２、Ｓ５３、Ｓ５３−１、図１０のＳ６０、Ｓ６１、Ｓ６２が蓄熱体抽出手段に相当する。
【００８４】
また、図８のＳ４８、Ｓ４９、図９のＳ５０、Ｓ５４〜Ｓ５９、図１０のＳ６３〜Ｓ６６、図１１のＳ６７〜Ｓ７０、図１２のＳ７１〜Ｓ７５、図１３のＳ７６〜Ｓ８０が歩行者認識手段に相当する。そして、特に、図９のＳ５９と図１２のＳ７３が形状判定手段に相当する。
【００８５】
以上説明したように、本実施の形態の車両周辺監視装置は、赤外線カメラにより撮影された画像のグレースケール画像から歩行者等の対象物を２値化処理によって抽出した後、自車両１０の周囲の天候が雨天ではなかった場合は、グレースケール画像の輝度変化により、グレースケール画像から２値化対象物を包含する範囲のグレースケール対象物を抽出し、更にグレースケール対象物の領域に複数の探索領域を設定して、探索領域の形状や探索領域の輝度分散に基づいて該探索領域中の歩行者を認識する。
また、自車両１０の周囲の天候が雨天であった場合は、２値化対象物の存在条件についてのみ判定し、画像中の２値化対象物の高さや大きさ等から２値化画像中の歩行者を認識する。
【００８６】
これにより、自車両１０の周囲の天候が雨天ではなかった場合は、例えば対象物の画像の幅が歩行者として不自然な場合や、対象物の画像の高さが歩行者として不自然な場合、これらの物体を対象物の画像から除去すると共に、これらを満たす歩行者の特徴として、輝度分散が高く頭部に相当する部分があるか、あるいは輝度分散が高く胴部に相当する部分があるか、更には壁等の輝度分散の低いものではないか等の判定を行い、対象物の画像から輝度分散が歩行者を撮影した画像と異なる物体の画像を除去し、歩行者の検出精度を向上させることができるという効果が得られる。
【００８７】
また、自車両１０の周囲の天候が雨天であった場合は、対象物が放射する赤外線量が減少するので、輝度分散による判定は行わず、例えば対象物の画像の幅が歩行者として不自然な場合や、対象物の画像の高さが歩行者として不自然な場合にこれらの物体を対象物の画像から除去することのみを行い、輝度分散を用いた判定による歩行者の誤検出を防止し、歩行者の検出精度を維持することができるという効果が得られる。
【００８８】
【発明の効果】
以上の如く、請求項１に記載の車両周辺監視装置によれば、天候検知手段により車両の周囲の天候が雨天であると判断された場合には、歩行者認識手段は、直接抽出された対象物の中から歩行者を認識する。一方、車両の周囲の天候がそれ以外であると判断された場合には、蓄熱体抽出手段により対象物から蓄熱体を抽出し、歩行者認識手段は、蓄熱体を除く対象物の中から歩行者を認識することで、車両周囲の状況に応じて適切な歩行者認識を行うことができる。
従って、車両の周囲の天候が雨天でなかった場合には、例えば太陽からの日差しを受けた壁のように、歩行者と同等の熱（赤外線）を発するような物体を、その輝度分散の特徴に基づいて対象物の中から除去し、歩行者の検出精度を向上させることができるという効果が得られる。また、車両の周囲の天候が雨天であった場合には、輝度分散に基づいた判定は行わず、逆に輝度分散を用いた判定による歩行者の誤検出を防止し、歩行者の検出精度を維持することができるという効果が得られる。
【００８９】
請求項２に記載の車両周辺監視装置によれば、天候検知手段により車両の周囲の天候が雨天であると判断された場合には、形状判定処理を停止することで、画像上の対象物形状が歩行者認識手段において誤判定されることを防止することができる。
従って、車両の周囲の天候が雨天であった場合に、対象物の形状判定による歩行者の誤検出を防止し、歩行者の検出精度を維持することができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態の車両周辺監視装置の構成を示すブロック図である。
【図２】 車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】 同実施の形態の車両周辺監視装置の対象物検出・警報動作を示すフローチャートである。
【図４】 赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】 同実施の形態の警報判定処理動作を示すフローチャートである。
【図６】 衝突が発生しやすい場合を示す図である。
【図７】 車両前方の領域区分を示す図である。
【図８】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図９】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図１０】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図１１】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図１２】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図１３】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図１４】 同実施の形態の２値化対象物形状特徴量について示す図である。
【図１５】 同実施の形態のマスク領域設定について示す図である。
【図１６】 対象物が歩行者の一部あるいは全体である場合や、壁の場合のマスク領域ＡＲＥＡ３の輝度分散を示した図である。
【図１７】 同実施の形態の車両周辺監視装置における晴天時のグレースケール画像と、雨天時のグレースケール画像とを示す図である。
【図１８】 同実施の形態の車両周辺監視装置における雨天時のグレースケール画像の輝度ヒストグラムと、晴天時のグレースケール画像の輝度ヒストグラムとを比較したグラフである。
【符号の説明】
１ 画像処理ユニット
２Ｒ、２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ１〜Ｓ１３ 対象物抽出手段
Ｓ４１−１ 天候検知手段
Ｓ４５、Ｓ４６、Ｓ４７、Ｓ５２、Ｓ５３、Ｓ５３−１、Ｓ６０、Ｓ６１、Ｓ６２ 蓄熱体抽出手段
Ｓ４８〜Ｓ５０、Ｓ５４〜Ｓ５９、Ｓ６３〜Ｓ８０ 歩行者認識手段
Ｓ５９、Ｓ７３ 形状判定手段
Claims (2)
- ２つの赤外線カメラにより撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置であって、
前記車両の周囲の天候を検知する天候検知手段と、
前記赤外線画像から赤外線を発する対象物を抽出する対象物抽出手段と、
前記対象物抽出手段により抽出された対象物から、自らは発熱せずに外部より与えられた熱のみを蓄熱する蓄熱体を抽出する蓄熱体抽出手段と、
前記天候検知手段により前記車両の周囲の天候が雨天であると判断された場合には、前記対象物の中から歩行者を認識し、それ以外の場合には、前記蓄熱体抽出手段により抽出された前記蓄熱体を除く前記対象物の中から歩行者を認識する歩行者認識手段とを備えたことを特徴とする車両周辺監視装置。 - 前記歩行者認識手段が、
前記対象物の形状を判定する形状判定手段を含み、
前記天候検知手段により前記車両の周囲の天候が雨天であると判断された場合には、前記形状判定手段を停止することを特徴とする請求項１に記載の車両周辺監視装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002297220A JP3939626B2 (ja) | 2002-10-10 | 2002-10-10 | 車両周辺監視装置 |
| DE10301468A DE10301468B4 (de) | 2002-01-18 | 2003-01-16 | Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs |
| US10/346,517 US7130448B2 (en) | 2002-01-18 | 2003-01-17 | Device for monitoring around a vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002297220A JP3939626B2 (ja) | 2002-10-10 | 2002-10-10 | 車両周辺監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004135034A JP2004135034A (ja) | 2004-04-30 |
| JP3939626B2 true JP3939626B2 (ja) | 2007-07-04 |
Family
ID=32286974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002297220A Expired - Fee Related JP3939626B2 (ja) | 2002-01-18 | 2002-10-10 | 車両周辺監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3939626B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006046935A (ja) * | 2004-07-30 | 2006-02-16 | Matsushita Electric Ind Co Ltd | 測距光学装置、測距方法、測距システム、車載用撮像装置および車載用運転支援装置 |
| JP4710437B2 (ja) * | 2005-07-01 | 2011-06-29 | トヨタ自動車株式会社 | 対象物探索装置 |
| JP2009184450A (ja) * | 2008-02-05 | 2009-08-20 | Toyota Central R&D Labs Inc | 光照射装置 |
| JP5173991B2 (ja) * | 2009-11-18 | 2013-04-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
| KR102099265B1 (ko) * | 2017-11-27 | 2020-05-15 | 고려대학교 산학협력단 | 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10148681A (ja) * | 1996-11-15 | 1998-06-02 | Mitsuba Corp | 雨滴検出方法 |
| JP4103179B2 (ja) * | 1998-06-30 | 2008-06-18 | マツダ株式会社 | 環境認識装置 |
| JP4060159B2 (ja) * | 2002-01-18 | 2008-03-12 | 本田技研工業株式会社 | 車両周辺監視装置 |
-
2002
- 2002-10-10 JP JP2002297220A patent/JP3939626B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004135034A (ja) | 2004-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4060159B2 (ja) | 車両周辺監視装置 | |
| JP3987048B2 (ja) | 車両周辺監視装置 | |
| JP3987013B2 (ja) | 車両周辺監視装置 | |
| JP4104867B2 (ja) | ナイトビジョンシステム | |
| US20030138133A1 (en) | Device for monitoring around a vehicle | |
| JP3934119B2 (ja) | 車両周辺監視装置 | |
| JP4612635B2 (ja) | 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出 | |
| JP4203512B2 (ja) | 車両周辺監視装置 | |
| JP3987057B2 (ja) | 車両周辺監視装置 | |
| JP3764086B2 (ja) | 車両用情報提供装置 | |
| Fang et al. | Comparison between infrared-image-based and visible-image-based approaches for pedestrian detection | |
| JP4470067B2 (ja) | 対象物種別判定装置、車両 | |
| US8144195B2 (en) | Vehicle zone monitoring apparatus | |
| JP2010097541A (ja) | 車両の周辺監視装置 | |
| CN106096512A (zh) | 利用深度摄像头对车辆或行人进行识别的检测装置及方法 | |
| JP4534700B2 (ja) | 人物検出装置及び方法 | |
| JP3839329B2 (ja) | ナイトビジョンシステム | |
| JP3939626B2 (ja) | 車両周辺監視装置 | |
| JP4647648B2 (ja) | 車両周辺監視装置 | |
| JP3898157B2 (ja) | 赤外線画像認識装置 | |
| JP3844750B2 (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
| JP4567072B2 (ja) | 車両周辺監視装置 | |
| JP4871941B2 (ja) | 車両周辺監視装置 | |
| JP4283266B2 (ja) | 車両周辺監視装置 | |
| JP2006185432A (ja) | 車両周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070320 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070328 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |