JP5430633B2 - 車両周辺監視装置 - Google Patents

Description

この発明は、車両に搭載された赤外線カメラ等により撮像した画像を用いて、前記車両の周辺を監視する車両周辺監視装置に関し、特に夜間や暗所等での走行時に適用して好適な車両周辺監視装置に関する。

従来から、特許文献１に示すように、赤外線カメラにより捉えられた自車両周辺の画像（グレースケール画像とその２値化画像）から、自車両との接触の可能性がある歩行者等の対象物を検知し、検知した対象物を自車両の運転者に提供する車両周辺監視装置が知られている。

特許文献１に係る車両周辺監視装置では、左右一組の赤外線カメラ（ステレオカメラ）が撮像した自車両周辺の画像において温度が高い部分を前記対象物として検知すると共に、左右画像中の対象物の視差を求めることにより当該対象物までの距離を算出し、当該対象物の移動方向や当該対象物の位置から、自車両の走行に影響を与えそうな（接触の可能性のある）歩行者等の対象物を検出して警報を出力する（特許文献１の［００１４］、［００１８］）。

しかしながら、左右一組の赤外線カメラを用いる車両周辺監視装置は、比較的高価であり、高級車の一部に採用されているのが実状である。

コストを低減するために、特許文献２に係る車両周辺監視装置では、車両に搭載された単一の赤外線カメラを用いて、所定時間間隔で車両周辺の対象物を少なくとも２回（２フレーム）撮像する。前回の画像の大きさ（サイズ）に比較して今回の撮像画像における対象物の画像の大きさ（サイズ）の変化は、対象物と車両周辺監視装置搭載車両との相対速度が高いほど大きくなる。そして、車両の前方に存在する対象物は、当該対象物と車両との相対速度が高いほど、車両への到達時間が短くなる。このように、単一の赤外線カメラであっても所定時間間隔での同一の対象物の画像部分の大きさの変化率から、車両への到達時間、いわゆるＴＴＣ（Ｔｉｍｅ Ｔｏ Ｃｏｎｔａｃｔ ｏｒ Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ：接触余裕時間）を推定することで車両の周辺を監視することができる（特許文献２の［０００６］、［０００７］、［００６１］、［００６６］）。

特開２００３−２８４０５７号公報 特許第４２６７６５７号公報

ところで、電柱等に取り付けられている、道路の曲線などで見通しを助けるためのカーブミラーは、車両の運転者から正対して見た場合、略円形状に見え、歩行者の頭部形状に類似した形状を呈する。

この場合、上述のステレオカメラであれば、両カメラの視差に基づき前記カーブミラーの大きさを瞬時に（画像の撮影毎に）算出できることから、前記カーブミラーの大きさが前記歩行者の頭部よりも大きいという事実を考慮して、カーブミラーを歩行者と誤検知（誤認識）することを瞬時に回避することができる。

しかしながら、単一のカメラである場合には、前記したように、距離算出に所定時間を必要とするためステレオカメラ程の距離精度を確保することが難しい。従って、単一のカメラを用いる車両周辺監視装置では、前記カーブミラーを前記歩行者と誤検知する可能性がステレオカメラより高く、改善の余地がある。

この発明は、このような課題を考慮してなされたものであって、単一の撮像装置で撮像した場合であっても、カーブミラーを歩行者と誤検知する可能性を軽減することができる車両周辺監視装置を提供することを目的とする。

この発明に係る車両周辺監視装置は、車両に搭載された撮像装置により撮像した画像を用いて前記車両の周辺を監視する車両周辺監視装置において、監視対象物と誤検知する可能性を有するカーブミラーであるか否かを判定するカーブミラー判定部を備え、前記カーブミラー判定部は、前記画像から略円形の物体又は略四角形の物体をカーブミラー可能性物体として抽出するカーブミラー可能性物体抽出部と、抽出された前記カーブミラー可能性物体の近傍に支柱形状の物体の有無を検知する支柱形状物体検知部と、を有し、抽出された前記カーブミラー可能性物体の近傍に前記支柱形状の物体が検知された場合、前記カーブミラー可能性物体を前記カーブミラーであると決定することを特徴とする。

この発明によれば、車両に搭載された撮像装置により撮像した画像から検知された略円形又は略四角形のカーブミラー可能性物体の近傍に支柱形状の物体が検知された場合には、前記カーブミラー可能性物体が前記支柱形状の物体に取り付けられたカーブミラーであると決定するので、たとえ、単一の撮像装置で撮像した場合であっても、カーブミラー可能性物体を監視対象物としての歩行者（の頭部）等と誤検知する可能性を軽減することができる。

この場合、前記カーブミラー判定部は、さらに、幅比較判定部を備え、抽出された前記カーブミラー可能性物体の幅が、検知された前記支柱形状の物体の幅よりも大きい場合、前記カーブミラー可能性物体を前記カーブミラーであると決定するようにしてもよい。歩行者の頭部幅は、当該歩行者の胴体部幅と同等以下の幅であるという事実から、抽出された前記カーブミラー可能性物体の幅が、検知された前記支柱形状の物体の幅よりも大きい場合、前記カーブミラー可能性物体を前記カーブミラーであるとより確実に決定することができる。

また、前記カーブミラー判定部は、さらに、縦横比変化判定部を備え、前記車両の移動に伴う、前記撮像装置と、抽出された前記カーブミラー可能性物体との相対角度の変化に伴って、抽出された前記カーブミラー可能性物体の縦横比が変化した場合に、前記カーブミラー可能性物体を前記カーブミラーであると決定するようにしてもよい。前記カーブミラーは偏平形を有し、歩行者の頭部は、概ね円柱形であるという事実から、前記車両の移動に伴う、前記撮像装置と、抽出された前記カーブミラー可能性物体との相対角度の変化に伴って、抽出された前記カーブミラー可能性物体の縦横比が変化した場合に、前記カーブミラー可能性物体を前記カーブミラーであるとより確実に決定することができる。

前記カーブミラー判定部は、さらに相対位置変化判定部を備え、前記車両の移動に伴う、前記撮像装置と、抽出された前記カーブミラー可能性物体との相対角度の変化に伴って、抽出された前記カーブミラー可能性物体と検知された前記支柱形状の物体との間の距離が変化した場合に、前記カーブミラー可能性物体を前記カーブミラーであると決定するようにしてもよい。歩行者の頭部と胴体部との間の距離は、前記車両の移動に伴う、前記撮像装置と、抽出された前記歩行者との相対角度の変化があっても、変化量が少ないという知見を考慮し、前記車両の移動に伴う、前記撮像装置と、抽出された前記カーブミラー可能性物体との相対角度の変化に伴って、抽出された前記カーブミラー可能性物体と検知された前記支柱形状の物体との間の距離が変化した場合に、前記カーブミラー可能性物体を前記カーブミラーであるより確実に決定することができる。

この発明によれば、車両に搭載された撮像装置により撮像した画像から検知された略円形又は略四角形のカーブミラー可能性物体の近傍に支柱形状の物体が検知された場合には、前記カーブミラー可能性物体が前記支柱形状の物体に取り付けられたカーブミラーと決定するので、たとえ、単一の撮像装置で撮像した場合であっても、カーブミラー可能性物体を監視対象物と誤検知する可能性を軽減することができる。

この発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。 図１に示す車両周辺監視装置が搭載された車両の模式図である。 車両周辺監視装置の画像処理ユニットによる動作を説明するフローチャートである。 カーブミラー判定処理を説明する詳細なフローチャートである。 縦長対象物探索処理に参照される説明図である。 幅比較処理に参照される説明図である。 大きさ規則変化判定処理及び相対位置変化判定処理に参照される説明図である。 大きさ規則変化判定処理の説明に供される特性図である。 図９Ａは、相対間隔の変化特性図、図９Ｂは、相対間隔の説明図である。 歩行者検知処理に供される歩行者の画像の模式図である。 変形例に係る車両周辺監視装置が搭載された車両の模式図である。

以下、この発明の実施形態について図面を参照して説明する。

図１は、この発明の一実施形態に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示す車両周辺監視装置１０が搭載された車両（自車両ともいう。）１２の模式図である。

図１及び図２において、車両周辺監視装置１０は、該車両周辺監視装置１０を制御する画像処理ユニット１４と、この画像処理ユニット１４に接続される単一（単眼）の赤外線カメラ１６（撮像装置）と、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者によるブレーキペダルの操作量（ブレーキ操作量）Ｂｒを検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、音声で警報等を発するためのスピーカ２４と、赤外線カメラ１６により撮影された画像を表示し、接触の危険性が高い歩行者等の対象物（移動対象物、監視対象物）を車両１２の運転者に認識させるためのＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）２６ａ等を含む画像表示装置２６と、を備える。

画像表示装置２６としては、ＨＵＤ（ヘッドアップディスプレイ）２６ａに限らず、車両１２に搭載されたナビゲーションシステムの地図等を表示するディスプレイや、メータユニット内等に設けられた燃費等を表示するディスプレイ（マルチインフォメーションディスプレイ）を利用することができる。

画像処理ユニット１４は、車両１２の周辺の赤外線画像と車両の走行状態を示す信号（ここでは、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）とから、車両前方の歩行者等の監視対象物を検出し、当該監視対象物との接触の可能性が高いと判断したときにスピーカ２４から警報（例えば、ピッ、ピッ、…となる音）を発するとともに、ＨＵＤ２６ａ上にグレースケール表示される撮像画像の中の監視対象物を、黄色や赤色等の目立つ色枠で囲って強調表示する。このようにして、運転者の注意を喚起する。

ここで、画像処理ユニット１４は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路等の入力回路と、デジタル化した画像信号を記憶する画像メモリ（記憶部１４ｍ）と、各種演算処理を行うＣＰＵ（中央処理装置）１４ｃと、ＣＰＵ１４ｃが演算途中のデータを記憶するために使用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＣＰＵ１４ｃが実行するプログラムやテーブル、マップ及びテンプレート｛歩行者（人体）形状テンプレート：右向き、左向き、正面（背面）向き、カーブミラー形状テンプレート等｝を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部１４ｍと、クロック（時計部）及びタイマ（計時部）と、スピーカ２４の駆動信号と画像表示装置２６の表示信号などを出力する出力回路等を備えており、赤外線カメラ１６、ヨーレートセンサ２２、車速センサ１８、及びブレーキセンサ２０の各出力信号は、デジタル信号に変換されてＣＰＵ１４ｃに入力されるように構成されている。

画像処理ユニット１４のＣＰＵ１４ｃは、これらデジタル信号を取り込み、テーブル、マップ、及びテンプレート等を参照しながらプログラムを実行することで、各種機能手段（機能部ともいう。）として機能し、スピーカ２４及び画像表示装置２６に駆動信号（音声信号や表示信号）を送出する。これらの機能は、ハードウエアにより実現することもできる。

この実施形態において、画像処理ユニット１４は、それぞれ詳細を後述する歩行者検知処理部１０２、カーブミラー判定部１０４、接触可能性判定部１０６、及び注意喚起出力生成判定部１０８等の前記機能部を有する。ここで、カーブミラー判定部１０４は、カーブミラー可能性物体抽出部１０４ａ、支柱形状物体検知部１０４ｂ、幅比較判定部１０４ｃ、縦横比変化判定部１０４ｄ、相対位置変化判定部１０４ｅ等を備える。

なお、画像処理ユニット１４は、基本的には、赤外線カメラ１６により取得した画像と、記憶部１４ｍに記憶されている人体形状、動物形状、車両形状、及び電柱を含む支柱等の人工構造物形状等の模式的なテンプレートと比較して物体を認識する物体認識処理（物体検知処理）プログラムを実行する。

図２に示すように、赤外線カメラ１６は、車両１２の前部バンパー部に、車両１２の車幅方向中心部に、光軸が車軸と平行に配置されており、撮像対象（物体）の温度が高いほど、その出力信号（撮像信号）レベルが高くなる（輝度が増加する）特性を有している。

また、ＨＵＤ２６ａは、車両１２のフロントウインドシールド上、運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

ここで、画像処理ユニット１４は、赤外線カメラ１６から出力されるアナログの映像信号を、数十ｍｓ、例えば、１秒／３０フレーム［ｍｓ］のフレームクロック間隔・周期毎にデジタルデータに変換して記憶部１４ｍ（画像メモリ）に取り込み、記憶部１４ｍに取り込んだ車両前方の画像に対して各種演算処理を行う上述した機能を有する。

歩行者検知処理部１０２は、記憶部１４ｍに取り込んだ車両前方の前記画像から歩行者等の監視対象物の画像部分を抽出する。注意喚起出力生成判定部１０８は、前記フレームクロック間隔・周期（所定時間間隔）をもって撮像された画像間における同一の監視対象物の画像部分の大きさの変化率Ｒａｔｅを算出し、さらに前記変化率Ｒａｔｅを用いて監視対象物が車両１２に到達するまでの時間Ｔを推定するとともに、監視対象物の実空間における位置を算出し、監視対象物の実空間における移動ベクトルを算出する。

監視対象物が車両１２に到達するまでの時間（接触余裕時間ともいう。）ＴＴＣ、換言すれば、車両１２が監視対象物に接触するまでの時間ＴＴＣは、前記変化率Ｒａｔｅ（画像から求める。）と、所定時間間隔である撮像間隔（フレームクロック周期）ｄＴ（既知）とから、公知の要領にて、例えば、特許文献２に示されるように、次の（１）式により求めることができる。
ＴＴＣ＝ｄＴ×Ｒａｔｅ／（１−Ｒａｔｅ） …（１）

なお、変化率Ｒａｔｅは、監視対象物の前回の撮像時の画像中の監視対象物の幅又は長さＷ０（それぞれ画素数で記憶しておけばよい。）と、今回の撮像時の画像中の同一監視対象物の幅又は長さＷ１（画素数）との比（Ｒａｔｅ＝Ｗ０／Ｗ１）で求めることができる。

また、監視対象物までの距離Ｚは、特許文献２に示されるように、次の（２）式により求めることができる。なお、（２）式において、Ｖｓは、より正確には、監視対象物と車両１２間の相対速度とされる。監視対象物が停止している場合には、相対速度は、車速Ｖｓに等しい。
Ｚ＝Ｒａｔｅ×Ｖｓ×ｄＴ／（１−Ｒａｔｅ） …（２）

さらに、注意喚起出力生成判定部１０８は、算出した前記接触余裕時間ＴＴＣと、所定時間間隔をもって撮像された前記画像間における同一の監視対象物の画像部分の位置変化量Δｘ（水平方向），Δｙ（垂直方向）を算出し、算出した位置変化量（移動ベクトル）Δｘ，Δｙと、に基づいて監視対象物と車両１２との接触可能性を判定する。

カーブミラー判定部１０４は、記憶部１４ｍに取り込んだ車両前方の前記画像から抽出された監視対象物の画像部分において、後述するように、歩行者（の頭部）であるかカーブミラーであるかを判別することで、カーブミラーである場合には、監視対象物から除外する処理を行う。

基本的には以上にように構成され、かつ動作するこの実施形態に係る車両周辺監視装置１０の詳細な動作について、図３のフローチャートを参照しながら説明する。

まず、ステップＳ１において、画像処理ユニット１４は、車速センサ１８により検出される車速Ｖｓ等から車両１２の走行状態（走行中か停車中）を判定し、停車中（ステップＳ１：ＮＯ）である場合には、処理を停止する。

走行中（ステップＳ１：ＹＥＳ）である場合、ステップＳ２において、画像処理ユニット１４は、赤外線カメラ１６によりフレーム毎に撮像された車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、Ａ／Ｄ変換し、グレースケール画像を画像メモリ（記憶部１４ｍ）に格納するとともに、格納したグレースケール画像の２値化処理、すなわち、輝度閾値より明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする２値化画像への変換処理を行い、変換した２値化画像も前記フレームに対応させてフレーム毎に記憶部１４ｍに格納する。この２値化処理では、閾値の選び方によるが、人体では頭部、肩、胴体、及び２本の脚等からなる塊（人体対象物候補）が、「１」の塊（集合体）として検出される。また、電柱等の支柱に取り付けられているカーブミラーでは、ミラー本体と支柱とが、「１」の塊（集合体）として検出される。

この場合、ステップＳ３にて、画像処理ユニット１４は、フレーム（画像）毎の２値化画像の「１」（白）をｘ方向（水平方向）の走査ライン毎にランレングスデータに変換し、ｙ方向（垂直方向）に重なる部分のあるラインを１つの対象物とみなし、当該対象物にそれぞれラベルを付け、対象物候補とするラベリング処理を行う。この場合、頭部候補を備える人体候補（歩行者候補、監視対象物）と、ミラー本体候補を備えるカーブミラー候補（監視不要物）にラベルが付けられる。

次いで、ステップＳ４にて、カーブミラー判定部１０４は、ラベルが付けられた対象物候補（頭部候補を備える人体候補とミラー本体候補を備えるカーブミラー候補）からカーブミラー候補を対象物（接触可能性のある対象物）から外すためのカーブミラー判定処理を行う。

図４は、ステップＳ４のカーブミラー判定処理の詳細フローチャートを示している。

まず、ステップＳ４ａの縦横比判定処理が、カーブミラー可能性物体抽出部１０４ａで実施される。

カーブミラー可能性物体抽出部１０４ａは、それぞれラベルが付けられた頭部候補を備える人体候補とミラー本体候補を備えるカーブミラー候補中、円形状、楕円形状あるいは四角形状を呈する前記頭部候補及び前記ミラー本体候補のどちらもカーブミラー可能性物体として抽出し、抽出したカーブミラー可能性物体を構成する前記頭部候補及び前記ミラー本体候補のそれぞれにつき、縦の長さ（Ｈ）と横の長さ（Ｗ）の比Ｈ／Ｗが、人体の頭部と推定する下記の（３）式の条件｛横の長さＷに対する縦の長さＨの比が、１／２以上〜２の間の値｝に当てはまるか否かを判定する。
１／２≦Ｈ／Ｗ≦２ …（３）

（３）式の条件に当てはまらない対象物候補は、前記頭部候補ではなく前記ミラー本体候補を備えるカーブミラー候補であるとして、以降の処理対象から除外する。

次いで、ステップＳ４ｂの縦長対象物探索処理が、支柱形状物体検知部１０４ｂで実施される。

この場合、支柱形状物体検知部１０４ｂは、ステップＳ４ａの処理で残された（除外されなかった）対象物候補（頭部候補を備える人体候補とミラー本体候補を備えるカーブミラー候補）のグレースケール画像等を参照し、例えば、図５に示すように、大きさが縦（高さ）Ｈ、横（幅）Ｗの対象物候補（この対象物候補は、上記した頭部候補あるいはミラー本体候補）３０の上下に、大きさが、例えば、縦が対象物候補３０の縦Ｈと同じ長さＨ、横が対象物候補３０の幅Ｗの３倍の長さ（幅）Ｗ×３の面積を有する上部マスク領域３２ｕと下部マスク領域３２ｄを設定する。

一般に、電柱に設置されているカーブミラーの場合には、対象物候補３０に接する上部マスク領域３２ｕ内と下部マスク領域３２ｄ内に縦長対象物である支柱形状の物体が存在し、かつ上部マスク領域３２ｕ内で抽出される支柱形状の物体の特徴と下部マスク領域３２ｄ内で抽出される支柱形状の物体の特徴が類似するはずである。

ここで、特徴は、例えば、垂直エッジや輝度プロファイルであり、支柱形状物体検知部１０４ｂによる類似判定は、例えば、上部マスク領域３２ｕ内と下部マスク領域３２ｄ内で算出された垂直エッジ幅ｈｗｃｕ、ｈｗｃｄの差分が閾値Δｔｈ以内であるか否か（|ｈｗｃｕ−ｈｗｃｄ|≦Δｔｈ）、又は輝度プロファイル幅の差分が閾値以内であるか否かにより行う。

ステップＳ４ｂにて、対象物候補３０の上下に縦長対象物３４ｕ、３４ｄ（縦長対象物３４又は支柱形状の物体３４ともいう。）が検知された場合、カーブミラー判定部１０４は、図５に示す対象物候補３０、すなわちミラー本体候補は、電柱に設置されているカーブミラー候補であると決定して、以降の処理対象から除外する。

次に、ステップＳ４ｃの幅比較処理が、幅比較判定部１０４ｃで実施される。この場合、幅比較判定部１０４ｃは、ステップＳ４ｂにて下部マスク領域３２ｄで抽出された垂直エッジ幅ｈｗｃｄ（縦長対象物３４ｄの幅Ｗ１という。）と、対象物候補３０の高さＨ（又は幅Ｗ）とを比較し対象物候補３０の高さＨ（又は幅Ｗ）が、縦長対象物３４ｄの幅Ｗ１より大きい場合（Ｈ＞Ｗ１＝ｈｗｃｄ）には、対象物候補３０は、人体候補ではなく、カーブミラー候補であるとみなして以降の処理対象から除外する。一般に、ミラー本体の高さＨ（又は幅Ｗ）は、ミラー本体を取り付ける支柱（ポール）や電柱の幅（太さ）よりも大きく、人体では、胴体部の幅が頭部の高さや幅より大きいので、人体候補ではなく、カーブミラー候補であるとして、以降の処理対象から除外する。

なお、このステップＳ４ｃの判定は、図６に示すように、例えば、車両１２がＴ字路３６に向かって走行中である状況（シチュエーション）に適用して好適である。この場合、車両１２は、カーブミラー３７を構成する支柱３８（電柱も含む）に設置されたミラー本体４０の正面に向かって走行することとなり、この走行中に取得される赤外線カメラ１６の撮像画像において、カーブミラー３７を構成する支柱３８とミラー本体４０の位置関係の変化が小さい。このため、対象物候補３０の高さＨ（又は幅Ｗ）と、縦長対象物３４ｄの幅Ｗ１を比較することによりカーブミラー３７であるか否かを判定することができる。幅比較判定部１０４ｃは、例えば、Ｈ＞Ｗ１＝ｈｗｃｄのとき、カーブミラー３７であると決定することができる。

次に、ステップＳ４ｄの大きさ規則変化判定処理が、縦横比（アスペクト比）変化判定部１０４ｄで実施される。このステップＳ４ｄの判定は、図７に示すように、車両１２がＬ字路４２に向かって走行中である場合には、車両１２は、支柱３８に設置されたミラー本体４０を備えるカーブミラー３７の側面に向かって走行することに留意している。

この場合、図８の特性４４から分かるように、赤外線カメラ１６での撮像画像では、Ｌ字路４２の遠方（過去時点）では、対象物候補３０がミラー本体４０（理解の便宜のために、例えば円形状であるとする。）である場合には、縦長楕円形状に見えているので、縦横比Ｈ／Ｗは、Ｈ／Ｗ＞＞１となっていて、接近（現在地点）するに従って、赤外線カメラ１６とカーブミラー可能性物体（対象物候補３０）との相対角度θ（図７参照）が大きくなるので、ミラー本体４０（対象物候補３０）の縦横比Ｈ／Ｗは、真円に対応する値１に近づくパターンになる。よって、縦横比Ｈ／Ｗが特性４４を有する場合に、対象物候補３０を、ミラー本体４０を備えるカーブミラー３７であると決定して、以降の処理から除外する。なお、対象物候補３０が頭部候補であれば、人体の頭部は球形状、あるいは円柱形状で近似できるので、車両１２が図７の矢印に示す方向に走行しても、その縦横比Ｈ／Ｗの変化は少ない。

次に、ステップＳ４ｅの相対位置変化判定処理が、相対位置変化判定部１０４ｅで実施される。このステップＳ４ｅの判定は、ステップＳ４ｃの判定と同様、車両１２は、図７に示したように、支柱３８に設置されたミラー本体４０を備えるカーブミラー３７の側面に向かって走行することに留意している。

この場合、赤外線カメラ１６での撮像画像では、図９Ｂに示すように、Ｌ字路４２の遠方（過去時点）では、縦長楕円形状に見えている対象物候補（頭部候補あるいはミラー本体候補）３０の中心と、縦長対象物３４の軸心との間の相対間隔（相対幅）ＲＷは、狭い間隔になっているが、接近（現在時点）するに従い、対象物候補３０の中心と、縦長対象物３４の軸心との間の相対間隔ＲＷが広い間隔になってくる。図９Ａは、相対間隔ＲＷの特性４６を示している。

なお、人体では、頭部の中心（円柱の軸心）と胴体部の軸心との間の間隔がそれほどには変化しないので、対象物候補３０の中心と縦長対象物３４の軸心との間の相対間隔ＲＷの変化が大きい場合には、カーブミラー候補であるとして、以降の処理対象から除外することができる。

このようにして、ステップＳ４ａ〜Ｓ４ｅからなるステップＳ４のカーブミラー判定処理を終了した後、図３のステップＳ５にて、電柱あるいは支柱に設置されたミラー本体を備えるカーブミラーとみなした対象物候補３０は、歩行者候補（人体候補）ではないとしてみなして、以降の処理対象から除外されることとなる（ステップＳ５：ＹＥＳ）。

次いで、ステップＳ６にて、ステップＳ５までの処理によりカーブミラー候補が除外された残りの画像部分（対象物候補３０からカーブミラーが除外された残りの対象物候補３０）を対象として、歩行者検知処理部１０２は、監視対象物としての歩行者を検知する歩行者検知処理を公知の要領にて実施する。

歩行者検知処理部１０２は、ステップＳ３でラベルが付けられた図１０に示す頭部５４を備える人体候補（歩行者候補ともいう。）６２の外接四角形５２より若干大きいマスク領域５３（図１０中、一点鎖線で囲んだ領域）に対してマスク領域５３内の画素の上側から下側にかつ左側から右側に対して画素値を走査しながら探索していき、暗い領域の「０」画素が連続して続いた場合、その走査部分が画像中の歩行者候補６２（頭部５４と胴体部６０と脚部５９とから構成される。）と路面５１との境界と判定し、対象物の下端ＯＢｂｍとする。

また、そのステップＳ６にて、歩行者検知処理部１０２は、対象物の下端ＯＢｂｍから逆に上側にマスク領域５３内の画像に対して左側から右側に画素毎に走査しながら探索していき、垂直方向で輝度の水平エッジの変化区間（２値化画像では、「１」と「０」の対が概ね連続する区間）を検出した場合、その変化区間の走査部分が人体候補６２と背景との境界のエッジである対象物の上端ＯＢｔｍとする。

次いで、ステップＳ７にて、接触可能性判定部１０６により、ステップＳ６で検知した歩行者候補６２と自車両１２との接触可能性について判定する。

すなわち、上述したように、接触可能性は、歩行者候補６２に対する、上述した（１）式の各接触余裕時間ＴＴＣと歩行者候補６２の各移動ベクトルとを考慮し（距離Ｚも考慮してもよい。）、さらに、ブレーキセンサ２０、車速センサ１８、及びヨーレートセンサ２２の各出力であるブレーキ操作量Ｂｒ、車速Ｖｓ、ヨーレートＹｒと、に基づき、車両１２が歩行者候補６２に接触する可能性があるかどうかを判定し、接触する可能性があると判定した場合（ステップＳ７：ＹＥＳ）には、ステップＳ８において、注意喚起出力生成判定部１０８は、注意喚起出力を生成し、運転者の注意を喚起する（運転者に情報を提供する）。具体的には、グレースケール画像中の歩行者を目立つ色の枠等により強調表示してＨＵＤ２６ａに表示するとともに、スピーカ２４を通じて警報を発生し、車両１２の運転者に注意を喚起する。

ここでは、注意喚起出力生成判定部１０８はＨＵＤ２６ａの表示上で、歩行者候補６２を、赤色又は黄色等の上述した目立つ色の枠で囲んで注意喚起を促す出力を生成する。

［実施形態の概要］
以上説明したように、上述した実施形態に係る車両周辺監視装置１０は、車両１２に搭載された単一の赤外線カメラ１６により撮像した画像からカーブミラー３７を除外し、注意喚起出力が必要な監視対象物である歩行者等（動物も含む。）を検知する。

この場合、車両周辺監視装置１０は、監視対象物としての歩行者であると誤検知する可能性を有するカーブミラー３７であるか否かを判定するカーブミラー判定部１０４を備える。

カーブミラー判定部１０４は、前記画像から略円形の物体又は略四角形の物体をカーブミラー可能性物体、すなわち人体の頭部候補及びミラー本体候補として抽出するカーブミラー可能性物体抽出部１０４ａと、抽出された前記カーブミラー可能性物体の近傍に支柱形状の物体（上記実施形態では、縦長対象物３４）の有無を検知する支柱形状物体検知部１０４ｂと、を有し、抽出された前記カーブミラー可能性物体の近傍に前記支柱形状の物体が検知された場合、前記カーブミラー可能性物体を前記カーブミラーであると決定する。

すなわち、車両１２に搭載された単一の赤外線カメラ１６により撮像した画像から検知された略円形又は略四角形のカーブミラー可能性物体の近傍に支柱形状の物体が検知された場合には、前記カーブミラー可能性物体が前記支柱形状の物体に取り付けられたカーブミラー３７であると決定するので、たとえ、単一の赤外線カメラ１６で撮像した場合であっても、カーブミラー可能性物体を歩行者（の頭部）と誤検知する可能性を軽減することができる。

なお、支柱形状の物体が電柱である場合には、電柱幅が頭部幅相当であるという知見に基づき、算出された電柱幅とミラー本体幅を比較することによりカーブミラー３７を精度よく認識することもできる。画像だけで認識できるので、距離精度の良し悪しによらずに簡単にカーブミラー３７を認識することができる。

この場合、カーブミラー判定部１０４は、さらに、幅比較判定部１０４ｃを備え、抽出された前記カーブミラー可能性物体（対象物候補３０）の幅Ｗが、検知された前記支柱形状の物体（縦長対象物３４）の幅Ｗ１（図５参照）よりも大きい場合、前記カーブミラー可能性物体（対象物候補３０）を前記カーブミラー３７（ミラー本体４０）であると決定するようにしてもよい。歩行者の頭部幅ｈｗｍ（図１０参照）は、当該歩行者の胴体部幅Ｗｍ（図１０参照）と同等以下の幅であるという事実から、抽出された前記カーブミラー可能性物体（対象物候補３０）の幅Ｗが、検知された前記支柱形状の物体（縦長対象物３４）の幅Ｗ１よりも大きい場合、前記カーブミラー可能性物体（対象物候補３０）をカーブミラー３７（ミラー本体４０）であるとより確実に決定することができる。

また、カーブミラー判定部１０４は、さらに、縦横比変化判定部１０４ｄを備え、車両１２の移動に伴う、赤外線カメラ１６と、抽出された前記カーブミラー可能性物体（対象物候補３０）との相対角度θ（図７参照）の変化に伴って、抽出された前記カーブミラー可能性物体（対象物候補３０）の縦横比Ｈ／Ｗが図８の特性４４で示したように変化した場合に、前記カーブミラー可能性物体（対象物候補３０）をカーブミラー３７（ミラー本体４０）であると決定するようにしてもよい。カーブミラー３７（ミラー本体４０）は偏平形を有し、歩行者の頭部５４は、概ね円柱形（高さｈｈｍ×直径ｈｗｍ：図１０参照）であるという事実から、車両１２の移動に伴う、赤外線カメラ１６と、抽出された前記カーブミラー可能性物体（対象物候補３０）との相対角度θの変化に伴って、抽出された前記カーブミラー可能性物体（対象物候補３０）の縦横比Ｈ／Ｗが変化した場合に、前記カーブミラー可能性物体（対象物候補３０）をカーブミラー３７（ミラー本体４０）であるとより確実に決定することができる。

カーブミラー判定部１０４は、さらに相対位置変化判定部１０４ｅを備え、車両１２の移動に伴う、赤外線カメラ１６と、抽出された前記カーブミラー可能性物体（対象物候補３０）との相対角度θの変化に伴って、抽出された前記カーブミラー可能性物体（対象物候補３０）と検知された前記支柱形状の物体（縦長対象物３４）との間の距離である相対間隔ＲＷが図９Ａの特性４６に示すように変化した場合に、前記カーブミラー可能性物体（対象物候補３０）をカーブミラー３７であると決定するようにしてもよい。歩行者の頭部５４の垂直方向の軸線と胴体部６０の垂直方向の軸線との間の距離は、車両１２の移動に伴う、赤外線カメラ１６と、抽出された前記歩行者との相対角度θの変化があっても、変化量が少ないという知見を考慮し、車両１２の移動に伴う、赤外線カメラ１６と、抽出された前記カーブミラー可能性物体（対象物候補３０）との相対角度θの変化に伴って、抽出された前記カーブミラー可能性物体（対象物候補３０）と検知された前記支柱形状の物体（縦長対象物３４）との間の距離である相対間隔ＲＷが変化した場合に、前記カーブミラー可能性物体（対象物候補３０）をカーブミラー３７であるとより確実に決定することができる。

このように上述した実施形態に係る車両周辺監視装置１０によれば、車両１２に搭載された赤外線カメラ１６により撮像した画像から検知された略円形又は略四角形のカーブミラー可能性物体（対象物候補３０）の近傍に支柱形状物体（縦長対象物３４）が検知された場合には、前記カーブミラー可能性物体（対象物候補３０）が前記支柱形状の物体（縦長対象物３４）に取り付けられたミラー本体４０と決定するので、たとえ、単一の赤外線カメラ１６で撮像した場合であっても、カーブミラー可能性物体（対象物候補３０）を歩行者（の頭部）と誤検知する可能性を軽減することができる。

なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。

例えば、図１１に示すように、車両１２Ａに搭載された左右一組の赤外線カメラ１６Ｒ、１６Ｌを備える車両周辺監視装置を用いてもよい。いわゆるステレオカメラとしての赤外線カメラ１６Ｒ、１６Ｌは、車両１２Ａの前部バンパー部に、車両１２Ａの車幅方向中心部に対して略対称な位置に配置されており、２つの赤外線カメラ１６Ｒ、１６Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。この左右一組の赤外線カメラ１６Ｒ、１６Ｌを備える車両周辺監視装置では、公知のように、左右一組の赤外線カメラ１６Ｒ、１６Ｌにより撮像した自車両周辺の画像において温度が高い部分を対象物にするとともに、左右画像中の同一対象物の視差等を用いて三角測量の原理により前記対象物までの距離を算出し、前記対象物の移動方向（移動ベクトル）や前記対象物の位置から、車両（自車両）１２Ａの走行に影響を与えそうな対象物（接触の可能性のある対象物）を検出して注意喚起出力を出力する。

また、赤外線カメラを用いることなく、通常の可視領域を撮像する一般的なデジタルビデオカメラ（撮像装置）を実施形態と同様に単一のカメラあるいはステレオカメラとして用いるようにすることもできる。

さらにまた、車両１２、１２Ａがナビゲーション装置を搭載している場合には、車両周辺監視装置１０（の画像処理ユニット１４）が前記ナビゲーション装置と協調動作ができるように構成し、前記ナビゲーション装置から得られる自車位置情報、地図情報及び施設情報等の情報に基づき、車両（自車両）１２、１２ＡがＴ字路３６に向かって走行中である状況下（図６）やＬ字路４２に向かって走行中である状況下（図７）であることを把握したとき、あるいはそのような状況下であることを前記ナビゲーション装置から受領したとき、画像処理ユニット１４は、幅比較判定部１０４ｃによる幅比較処理や、縦横比変化判定部１０４ｄによる縦横比変化判定処理及び相対位置変化判定部１０４ｅによる相対間隔変化判定処理の発動（開始）を選択して促すようにしてもよい。

１０…車両周辺監視装置 １２、１２Ａ…車両
１４…画像処理ユニット １４ｃ…ＣＰＵ
１４ｍ…記憶部 １６、１６Ｒ、１６Ｌ…赤外線カメラ
１０２…歩行者検知処理部 １０４…カーブミラー判定部
１０６…接触可能性判定部 １０８…注意喚起出力生成判定部

Claims (5)

1. 車両に搭載された撮像装置により撮像した画像を用いて前記車両の周辺を監視する車両周辺監視装置において、
   監視対象物と誤検知する可能性を有するカーブミラーであるか否かを判定するカーブミラー判定部を備え、
   前記カーブミラー判定部は、
   前記画像から略円形の物体又は略四角形の物体をカーブミラー可能性物体として抽出するカーブミラー可能性物体抽出部と、
   抽出された前記カーブミラー可能性物体の近傍に支柱形状の物体の有無を検知する支柱形状物体検知部と、
   抽出された前記カーブミラー可能性物体の近傍に前記支柱形状の物体が検知された場合に、前記車両の移動に伴う、前記撮像装置と、抽出された前記カーブミラー可能性物体との相対角度の変化に伴って、抽出された前記カーブミラー可能性物体の縦横比が変化したとき、前記カーブミラー可能性物体を前記カーブミラーであると決定する縦横比変化判定部と、
   を有することを特徴とする車両周辺監視装置。
2. 車両に搭載された撮像装置により撮像した画像を用いて前記車両の周辺を監視する車両周辺監視装置において、
   監視対象物と誤検知する可能性を有するカーブミラーであるか否かを判定するカーブミラー判定部を備え、
   前記カーブミラー判定部は、
   前記画像から略円形の物体又は略四角形の物体をカーブミラー可能性物体として抽出するカーブミラー可能性物体抽出部と、
   抽出された前記カーブミラー可能性物体の近傍に支柱形状の物体の有無を検知する支柱形状物体検知部と、
   抽出された前記カーブミラー可能性物体の近傍に前記支柱形状の物体が検知された場合に、前記車両の移動に伴う、前記撮像装置と、抽出された前記カーブミラー可能性物体との相対角度の変化に伴って、抽出された前記カーブミラー可能性物体と検知された前記支柱形状の物体との間の距離が変化したとき、前記カーブミラー可能性物体を前記カーブミラーであると決定する相対位置変化判定部と、
   を有することを特徴とする車両周辺監視装置。
3. 車両に搭載された撮像装置により撮像した画像を用いて前記車両の周辺を監視する車両周辺監視装置において、
   監視対象物と誤検知する可能性を有するカーブミラーであるか否かを判定するカーブミラー判定部を備え、
   前記カーブミラー判定部は、
   前記画像から略円形の物体又は略四角形の物体をカーブミラー可能性物体として抽出するカーブミラー可能性物体抽出部と、
   抽出された前記カーブミラー可能性物体の近傍に支柱形状の物体の有無を検知する支柱形状物体検知部と、を有し、
   抽出された前記カーブミラー可能性物体の上下に前記支柱形状の物体が検知された場合、前記カーブミラー可能性物体を前記カーブミラーであると決定する
   ことを特徴とする車両周辺監視装置。
4. 請求項３に記載の車両周辺監視装置において、
   前記カーブミラー判定部は、
   抽出された前記カーブミラー可能性物体の上下に幅の差分が閾値以内である前記支柱形状の物体が検知された場合、前記カーブミラー可能性物体を前記カーブミラーであると決定する
   ことを特徴とする車両周辺監視装置。
5. 請求項１〜４のいずれか１項に記載の車両周辺監視装置において、
   前記カーブミラー判定部は、
   抽出された前記カーブミラー可能性物体の幅が、検知された前記支柱形状の物体の幅よりも大きい場合、前記カーブミラー可能性物体を前記カーブミラーであると決定する幅比較判定部をさらに備える
   ことを特徴とする車両周辺監視装置。

Images