JP5898001B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車両に搭載されたカメラにより車両周辺に存在する対象物を監視する車両周辺監視装置に関する。

従来より、車両の周辺情報（レーダ、車々間通信、路車間通信、ＧＰＳ等により取得される）と、車両の走行状況（ヨーレートセンサ、車輪速センサ、加速度センサ等により取得される）と、運転者による車両の操作情報（アクセルセンサ、ブレーキセンサ、操舵センサ等により取得される）とに基づいて、周辺情報の危険情報をディスプレイに表示する装置が提案されている（例えば、特許文献１参照）。

特許文献１に記載された発明においては、相対的に危険度の低い危険情報の表示を停止して、ディスプレイに同時に表示する危険情報の最大表示数を制限している。

特開２００９−１５１５６６号公報

特許文献１に記載された装置においては、危険情報が多い場合には危険度の低い情報が表示されない状況になる。しかしながら、例えば、車載カメラによる撮像画像から、歩行者等の監視対象物を検知して、ディスプレイに表示する車両周辺監視装置を使用する場合に、運転者が、歩道を歩いていて危険度が低いと判断される歩行者の存在についても、車両周辺監視装置による報知がなされることを希望する場合がある。

本発明は、かかる背景に鑑みてなされたものであり、対象物について想定される危険度に応じて、運転者にとって適切な報知表示を行うことができる車両周辺監視装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、
車両に搭載されたカメラによる撮像画像から、車両周辺に存在する対象物を検知する対象物検知部と、
前記対象物検知部により検知された対象物の存在位置が、前記車両の周辺に設定された監視領域内であるか否かを判断する対象物位置認識部と、
表示器と、
前記監視領域内に存在する対象物を含む複数の対象物が検知されているときは、検知されている対象物の位置を示す対象物位置表示部を、前記監視領域内に存在する対象物を優先して、表示個数を所定の表示上限数以下に制限して前記表示器に表示し、前記監視領域外に存在する対象物のみが検知されているときには、前記表示上限数よりも多い表示個数を許容して、前記対象物位置表示部を前記表示器に表示する表示制御部と
を備えたことを特徴とする（第１発明）。

第１発明によれば、前記表示制御部は、前記監視領域内に存在する対象物を含む複数の対象物が検知されているときに、前記監視領域内に存在する対象物を優先して、前記表示器に表示する前記対象物位置表示部の個数を前記表示上限数以下に制限する。そして、これにより、前記車両の周辺に複数の対象物が存在するときに、多数の前記対象物位置表示部の表示により運転者の注意が散漫になることを抑制して、前記監視領域内に存在して前記車両と接触する可能性が高い対象物（危険度が高いと想定される対象物）に対する運転者の認識を容易にすることができる。また、前記監視領域外にのみ対象物が存在するときには、前記表示制御部は、前記表示上限数よりも多い表示個数を許容して、前記対象物位置表示部を前記表示器に表示することにより、前記車両から離れた対象物（危険度が低いと想定される対象物）に対する運転者の認識を補助することができる。

また、第１発明において、
前記カメラによる時系列の撮像画像から、対象物の移動ベクトルを算出する移動ベクトル算出部を備え、
前記表示制御部は、移動ベクトルにより前記車両と接触する可能性が低いと想定される対象物については、前記対象物位置表示部を表示しないことを特徴とする（第２発明）。

第２発明によれば、移動ベクトルにより前記車両と接触する可能性が低いと想定される対象物を、前記対象物位置表示部を表示する対象から外すことによって、運転者の前記表示器の視認による対象物の認識負担を軽減することができる。

また、請求項１又は請求項２において、
前記カメラは前記車両の前方を撮像し、
前記車両の進行方向の道路形状を認識して、前記車両の進路を予測する車両進路予測部を備え、
前記表示制御部は、前記車両の予測進路上に存在しないために、前記車両と接触する可能性が低いと想定される対象物については、前記対象物位置表示部を表示しないことを特徴とする（第３発明）。

第３発明によれば、前記車両の予測進路上に存在しないために、前記車両と接触する可能性が低いと想定される対象物を、前記対象物位置表示部の表示の対象外とすることによって、運転者の前記表示器の視認による対象物の認識負担を軽減することができる。

また、第１発明から第３発明のうちのいずれかにおいて、
対象物が歩行者であるか否かを識別する物体種別判定部と、
前記車両が走行中の道路の歩道を認識する歩道認識部とを備え、
前記表示制御部は、対象物が歩道上に存在する歩行者であるときには、前記対象物位置表示部を表示しないことを特徴とする（第４発明）。

第４発明によれば、歩道上に存在する歩行者であるために、前記車両と接触する可能性が低いと想定される対象物を、前記対象物位置表示部の表示の対象外とすることによって、運転者の前記表示器の視認による対象物の認識負担を軽減することができる。

また、第１発明から第４発明のうちのいずれかにおいて、
前記車両の走行速度を検出する車速センサを備え、
前記表示制御部は、前記車両の走行速度に応じて、前記表示上限数を多く設定することを特徴とする（第５発明）。

第５発明によれば、前記車両の走行速度に応じて、例えば前記車両の走行速度が低く、運転者による前記表示器の視認に余裕があるときには、前記表示上限数を多く設定して、前記表示器に表示させる前記対象物位置表示部の個数を増やすことにより、運転者による対象物の認識をさらに補助することができる。

車両周辺監視装置の構成及び車両周辺監視装置の監視領域の説明図。 車両周辺監視装置の構成図。 注意喚起処理のフローチャート。 監視領域内にのみ歩行者が存在する場合の警報画面及び警報ブザーの説明図。 監視領域外にのみ歩行者が存在する場合の警報画面及び警報ブザーの説明図。 監視領域内と監視領域外に歩行者が存在する場合の警報画面及び警報ブザーの説明図。 車両の予測進路から外れた場所に歩行者が存在する場合の警報判断の説明図。 歩道上に歩行者が存在する場合の警報判断の説明図。

本発明の車両周辺監視装置の実施形態の一例について、図１〜図８を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置２は、車両１に搭載されたコントローラ１０と、表示器４２ａ（後述するナビゲーション装置４２の表示器）とを備えて構成されている。

車両周辺監視装置は、左カメラ２１及び右カメラ２２（ステレオカメラ）による撮像画像に基づいて、車両１の前方の周辺に存在する対象物（歩行者、動物、他車両等）を認識する。

車両周辺監視装置は、車両１と車両１の前方に存在する対象物間の距離を所定の制御周期毎に検出して、対象物の位置（車両１からの相対位置）を追跡する。そして、対象物が車両１と接触するおそれがあるときに、車両周辺監視装置２は、表示器４２ａに警報表示を行うと共にスピーカ４１から警報音を出力する注意喚起処理を行って、車両１の運転者に対象物に対する注意を促す。

車両周辺監視装置は、左カメラ２１及び右カメラ２２の撮像範囲ＡＲ０内の、車両１の進行方向に設定したＺ軸のＺ１よりも近い領域に設定されて、車両１の車幅方向に設定したＸ軸方向に車両１の幅αに左右の余裕βを加えた幅を持つ接近判定領域ＡＲ１内にある対象物（図１ではＰ１を例示）を認識したときに、注意喚起処理を行う。

また、車両周辺監視装置は、接近判定領域ＡＲ１の左右に設定された進入判定領域ＡＲ２，ＡＲ３内に存在する対象物（図１ではＰ２，Ｐ３を例示）が、接近判定領域ＡＲ１内に進入する可能性があるときにも、注意喚起処理を行う。なお、以下では、接近判定領域ＡＲ１及び進入判定領域ＡＲ２，ＡＲ３を合わせた領域を、適宜、監視領域という。

左カメラ２１及び右カメラ２２は、撮像対象の温度が高いほど輝度が高くなる赤外線カメラである。左カメラ２１及び右カメラ２２は、車両１の横方向（車幅方向，Ｘ軸方向）の中心軸（Ｚ軸）に対してほぼ対称な位置に配置されている。そして、左カメラ２１と右カメラ２２は、光軸が互いに平行となり、路面からの高さが等しくなるように固定されている。

次に、図２を参照して、車両周辺監視装置のコントローラ１０には、左カメラ２１及び右カメラ２２の映像信号が入力される。また、コントローラ１０には、車両１に搭載されたヨーレートセンサ３１、車速センサ３２、ブレーキセンサ３３の各検出信号が入力される。

また、コントローラ１０から出力される制御信号により、スピーカ４１の出力とナビゲーション装置４２の表示器４２ａの表示が制御される。ナビゲーション装置４２は、ＧＰＳ（Global Positioning System）衛星から受信した測位情報と、ＨＤＤやＤＶＤ等の記憶媒体に記憶された地図情報及び施設情報のデータベースとに基づいて、運転者が目的地として設定した施設への経路を探索し、探索した経路を表示器４２ａに表示する。

コントローラ１０は、図示しないＣＰＵ，メモリ，インターフェース回路等により構成された電子回路ユニットであり、メモリに保持された車両周辺監視用のプログラムを実行することによって、左カメラ２１及び右カメラ２２から出力される映像信号をデジタル信号に変換し、左カメラ２１及び右カメラ２２による撮像画像のデータとして画像メモリ（図示しない）に保持する撮像画像取得部１１、撮像画像から歩行者等の対象物の画像部分を検知する対象物検知部１２、左カメラ２１及び右カメラ２２の視差に基づいて車両１から対象物までの距離を算出する距離算出部１３、車両１からの距離に基づいて車両１からの対象物の相対位置を認識する対象物位置認識部１４、対象物の移動ベクトルを算出する移動ベクトル算出部１５、対象物の種別を検出する物体種別判定部１６、ナビゲーション装置４２からの情報等に基づいて、車両１の進路を予測する車両進路予測部１７、歩道を認識する歩道認識部１８、及び、表示器４２ａの表示内容を制御する表示制御部１９として機能する。

次に、図３に示したフローチャートに従って、車両周辺監視装置のコントローラ１０による車両１の前方に存在する対象物に対する注意喚起処理について説明する。コントローラ１０は、所定の制御サイクル毎に図３のフローチャートを実行して、車両１の前方に存在する対象物を認識し、必要に応じて運転者に対する注意喚起を行う。

図３のＳＴＥＰ１は撮像画像取得部１１による処理である。撮像画像取得部１１は、左カメラ２１及び右カメラ２２から出力される映像信号をデジタル信号に変換し、左カメラ２１及び右カメラ２２の撮像画像（グレースケール画像）として画像メモリに保持する。

続くＳＴＥＰ２は対象物検知部１２による処理である。対象物検知部１２は、右カメラ２２の撮像画像を基準画像とし、そのグレースケール画像の各画素について、輝度が所定の閾値以上である画素を「１」（白）とし、輝度が閾値よりも小さい画素を「０」（黒）とする２値化処理を行って２値画像を取得する。そして、対象物検知部１２は、２値画像中の白の各領域のランレングスデータを算出し、ラベリング処理等を行って対象物の画像部分（探索画像）を抽出する。

続くＳＴＥＰ３は距離算出部１３による処理である。距離算出部１３は、左カメラ２１の撮像画像から、探索画像に対応する画像（対応画像）を抽出する。そして、探索画像と対応画像の視差から、車両１と対象物間の距離を算出する。

次のＳＴＥＰ４は対象物位置認識部１４による処理である。対象物位置認識部１４は、車両１と対象部間の距離に基づいて、撮像画像における対象物の画像部分の位置（カメラ座標）を、実空間位置（実空間座標）に変換することによって、実空間における対象物の位置を認識する。なお、ＳＴＥＰ３における車両１と対象物間の距離の算出処理と、ＳＴＥＰ４における対象物位置の認識処理は、例えば、特開２００３−２８４０５７号公報に記載された手法を用いて行う。

続くＳＴＥＰ５は移動ベクトル算出部１５による処理である。移動ベクトル算出部１５は、時系列の撮像画像により、同一の対象物についての前回の撮像時の実空間位置と今回の撮像時の実空間位置から、対象物と車両１との相対移動ベクトルに対応する近似曲線を求める。なお、過去の複数の時点における対象物の実空間位置を用いて、相対移動ベクトルを求めるようにしてもよい。近似曲線の算出についても、前掲の特開２００３−２８４０５７号公報に記載された手法を用いて行うことができる。

次のＳＴＥＰ６は車両進路予測部１７による処理である。車両進路予測部１７は、撮像画像から認識される車両１の前方の道路形状、ナビゲーション装置４２から出力される車両１の前方の道路地図情報等に基づいて、車両１の進路を予測する。

続くＳＴＥＰ７は歩道認識部１８による処理である。歩道認識部１８は、左カメラ２１又は右カメラ２２の撮像画像に対して、直線抽出、エッジ抽出等の処理を行って歩道の画像部分を認識する。

また、ＳＴＥＰ８は物体種別判定部１６による処理である。物体種別判定部１６は、対象物の種別が歩行者であるか否かを、対象物の画像部分の高さ、幅、存在高さ、輝度平均値、輝度分散等に基づいて判定する。より具体的には、前掲の特開２００３−２８４０５７号公報に記載された手法等を用いて、歩行者であるか否かを判定することができる。

次のＳＴＥＰ９〜ＳＴＥＰ１０、及びＳＴＥＰ２０は、表示制御部１９による処理である。表示制御部１９は、物体種別判定部１６により歩行者と判定された対象物について、運転者に対する注意喚起処理を行う。表示制御部１９は、ＳＴＥＰ９で、警報領域内に歩行者が存在し、且つ、検出された歩行者が表示上限数（例えば３に設定される）以上であるかという条件が成立しているか否かを判断する。

なお、表示上限数を、車速センサ３２により検出される車両１の走行速度に応じて変更してよい。例えば、車両１の走行速度が低いほど表示上限数を増加させ、車両１が停止しているときには、表示上限数を設定せずに、歩行者と判定された全ての対象物の画像部分について後述する検知枠を表示するようにしてもよい。

ここで、警報領域内に歩行者が存在する場合とは、図１を参照して、接近判定領域ＡＲ１内に歩行者が存在するか、或いは進入判定領域ＡＲ２，３から接近判定領域ＡＲ１に向かって進んでいる歩行者（移動ベクトルにより判断される）が存在している場合である。

そして、ＳＴＥＰ９の条件が成立していないとき（ＳＴＥＰ９のＮＯ）はＳＴＥＰ１０に進み、表示制御部１９は、図４（ｂ），図５（ｂ）に示したように、左カメラ２１又は右カメラ２２の撮像画像（グレースケール画像）に、検知された全ての歩行者の画像部分について、画像部分を囲む検知枠（本発明の対象物位置表示部に相当する）を重畳して、表示器４２ａに表示する。

なお、図５（ａ）に示したように警報領域内に歩行者が存在しない場合に、表示上限数よりも多く設定された制限個数以下に絞って、検知された歩行者の画像部分に検知枠を表示するようにしてもよい。また、本発明の対象物位置表示部としては、検知枠の他に、歩行者を示すアイコン（例えば、歩行者の擬似画像）等を採用してもよい。

図４（ｂ）は、図４（ａ)に示したように、接近判定領域ＡＲ１内に存在する歩行者Ｐ５の画像部分５０と、進入判定領域ＡＲ２から接近判定領域ＡＲ１に進んでいる歩行者Ｐ４の画像部分５１が検知された場合の表示器４２ａの表示画面Ｉｍ１を示している。

図４（ｂ）の表示画面Ｉｍ１において、表示制御部１９は、歩行者の画像部分５０の周囲に検知枠５０ａを表示すると共に、歩行者の画像部分５１の周囲に検知枠５１ａを表示する。また、表示制御部１９は、スピーカ４１から警報ブザー音を出力して、車両１に歩行者Ｐ４，Ｐ５が接近していることを運転者に報知する。

一方、図５（ｂ）は、図５（ａ）に示したように、接近判定領域ＡＲ１及び進入判定領域ＡＲ２，ＡＲ３の外側に存在する歩行者Ｐ６の画像部分５３と、進入判定領域ＡＲ３内を車両の進行方向（Ｚ軸方向）と平行に進んでいて、車両１と接触する可能性が低い歩行者Ｐ７の画像部分５２が検知された場合の、表示器４２ａの表示画面Ｉｍ２を示している。

図５（ｂ）の表示画面Ｉｍ２において、表示制御部１９は、歩行者の画像部分５２の周囲に検知枠５２ａを表示すると共に、歩行者の画像部分５３の周囲に検知枠５３ａを表示する。また、この場合は、注意喚起の緊急性が図４（ａ）の場合よりも低いので、表示制御部１９は、スピーカ４１からの警報ブザー音の出力は行わない。

また、ＳＴＥＰ９の条件が成立している場合はＳＴＥＰ２０に分岐し、表示制御部１９は、検知枠の表示個数を表示上限数以下に制限する。制限の仕方としては、接近判定領域ＡＲ１又は進入判定領域ＡＲ２，ＡＲ３内に存在する歩行者を、これらの領域の外側に存在する歩行者よりも優先して、対応する画像部分に検知枠を表示する。また、接近判定領域ＡＲ１又は進入判定領域ＡＲ２，ＡＲ３内に存在する歩行者同士、及び、これらの判定領域の外側に存在する歩行者同士については、車両１からの距離が短い方を優先して、対応する画像部分に検知枠を表示する。

図６（ａ），図６（ｂ）は、接近判定領域ＡＲ１内に、二人の歩行者Ｐ８，Ｐ９が存在し、判定領域外に二人の歩行者Ｐ１１，Ｐ１２が存在し、進入判定領域ＡＲ３内に車両１の進行方向と平行に進む一人の歩行者Ｐ１０が存在する状況を示している。

この場合には、接近判定領域ＡＲ１内の歩行者Ｐ８，Ｐ９が、他の歩行者Ｐ１０，Ｐ１１，Ｐ１２よりも優先される。また、Ｐ１０，Ｐ１１，Ｐ１２については、車両１からの距離が近い方から順に、Ｐ１０がＰ１１，Ｐ１２よりも優先され、Ｐ１２がＰ１１よりも優先される。

そのため、図６（ｂ）に示したように、表示制御部１９は、検知枠を表示する歩行者の画像部分として、Ｐ９の画像部分５４とＰ８の画像部分５５とＰ１０の画像部分５６を選択する。

そして、表示制御部１９は、Ｐ９の画像部分５４について検知枠５４ａを表示し、Ｐ８の画像部分５５について検知枠５５ａを表示し、Ｐ１０の画像部分５６について検知枠５６ａを表示する。また、接近判定領域ＡＲ１内に歩行者Ｐ８，Ｐ９が存在しているので、表示制御部１９は、スピーカ４１からブザー音を出力する。

このように、警報対象の歩行者が存在し、且つ、検知された歩行者の数が表示上限数を超えているときに、表示器４２ａに表示する検知枠の数を表示上限数以下に制限することによって、運転者が表示器４２ａを視認したときに警報対象の歩行者に対する検知枠の認識を容易にすることができる。そのため、運転者に対する注意喚起の効果が高まることが期待できる。

また、図５（ａ），図５（ｂ）に示したように、歩行者が監視領域外にのみ存在するときには、車両１と接触する可能性が低い歩行者についても、検知枠による警報表示がなされるので、運転者による歩行者の認識を補助することができる。この場合、車両１の運転者以外の同乗者も、ナビゲーション装置４２の表示器４２ａを視認して、車両１の周辺に存在する歩行者を確認することができるため、同乗者による運転者の補助も期待することができる。

次に、図７を参照して、表示制御部１９は、車両進路予測部１７に予測された車両１の進路Ｄｒについて、Ｐ１３で示したように、検知された歩行者の存在位置が進路Ｄｒから外れているとき（予測進路上に存在していないとき）には、接近判定領域ＡＲ１内に存在している場合、或いは進入判定領域ＡＲ２，ＡＲ３から接近判定領域ＡＲ１に向かって進んでいる場合であっても、警報の対象から除外する。

また、図８を参照して、表示制御部１９は、Ｐ１４に示したように、検知された歩行者が歩道認識部１８により認識された歩道６０に存在しているときには、接近判定領域ＡＲ１内に存在している場合、或いは進入判定領域ＡＲ２，ＡＲ３から接近判定領域ＡＲ１に向かって進んでいる場合であっても、警報の対象から除外する。

なお、車速センサ３２により検出される車両１の走行速度に応じて、走行速度が該所定速度を越える高速走行時における警報領域を、走行速度が所定速度以下の低速走行時における警報領域よりも狭くしてもよい。

また、ナビゲーション装置４２からの地図情報により、車両１の走行エリアを認識し、車両１が都市部を走行している時と、車両１が郊外を走行している時とで、警報領域の広狭を切替えるようにしてもよい。

また、対象物が動物（例えば、鹿等の大型の野生動物）であることを識別したときには、警報領域の外部に存在する段階から、注意喚起を行うようにしてもよい。

なお、本実施形態では、左カメラ２１及び右カメラ２２（ステレオカメラ）を備えた構成を示したが、１台のカメラ（単眼カメラ）を備えて、時系列画像間での同一対象物の画像部分の大きさの変化率等により、自車両と対象物の距離を検出する構成を採用してもよい。

また、本実施形態では、赤外線カメラ２１，２２を用いたが、可視光カメラを用いた構成においても、本発明の適用が可能である。

１…車両、１０…コントローラ、１１…撮像画像取得部、１２…対象物検知部、１３…距離算出部、１４…対象物位置認識部、１５…移動ベクトル算出部、１６…物体種別判定部、１７…車両進路予測部、１８…歩道認識部、１９…表示制御部、４２…ナビゲーション装置、４２ａ…表示器。

Claims (5)

1. 車両に搭載されたカメラによる撮像画像から、車両周辺に存在する対象物を検知する対象物検知部と、
   前記対象物検知部により検知された対象物の存在位置が、前記車両の周辺に設定された監視領域内であるか否かを判断する対象物位置認識部と、
   表示器と、
   前記監視領域内に存在する対象物を含む複数の対象物が検知されているときは、検知されている対象物の位置を示す対象物位置表示部を、前記監視領域内に存在する対象物を優先して、表示個数を所定の表示上限数以下に制限して前記表示器に表示し、前記監視領域外に存在する対象物のみが検知されているときには、前記表示上限数よりも多い表示個数を許容して、前記対象物位置表示部を前記表示器に表示する表示制御部と
   を備えたことを特徴とする車両周辺監視装置。
2. 請求項１に記載の車両周辺監視装置において、
   前記カメラによる時系列の撮像画像から、対象物の移動ベクトルを算出する移動ベクトル算出部を備え、
   前記表示制御部は、移動ベクトルにより前記車両と接触する可能性が低いと想定される対象物については、前記対象物位置表示部を表示しないことを特徴とする車両周辺監視装置。
3. 請求項１又は請求項２に記載の車両周辺監視装置において、
   前記カメラは前記車両の前方を撮像し、
   前記車両の進行方向の道路形状を認識して、前記車両の進路を予測する車両進路予測部を備え、
   前記表示制御部は、前記車両の予測進路上に存在しないために、前記車両と接触する可能性が低いと想定される対象物については、前記対象物位置表示部を表示しないことを特徴とする車両周辺監視装置。
4. 請求項１から請求項３のうちのいずれか１項に記載の車両周辺監視装置において、
   対象物が歩行者であるか否かを識別する物体種別判定部と、
   前記車両が走行中の道路の歩道を認識する歩道認識部とを備え、
   前記表示制御部は、対象物が歩道上に存在する歩行者であるときには、前記対象物位置表示部を表示しないことを特徴とする車両周辺監視装置。
5. 請求項１から請求項４のうちのいずれか１項に記載の車両周辺監視装置において、
   前記車両の走行速度を検出する車速センサを備え、
   前記表示制御部は、前記車両の走行速度に応じて、前記表示上限数を多く設定することを特徴とする車両周辺監視装置。

Images