JP6253175B2 - 車両の外部環境認識装置 - Google Patents

Description

本発明は、車外を撮像した画像から外部環境を認識する車両の外部環境認識装置に関する。

近年、自動車等の車両においては、カメラで撮像した画像から外部環境を認識して障害物や先行車等の物体を検出し、障害物に対する警報制御を行うシステムや先行車に対して追従制御や警報制御を行うシステムが開発され、実用化されている。

このようなシステムにおいては、画像認識による障害物や先行車等の物体検出は、計算量が多く負荷の大きい処理となるが、実用上はさらに、カメラ制御、雨天や夜間等の性能が出せない場面でシステムを停止させるための条件判定、オンラインでのキャリブレーション処理等が必要となり、計算リソースの効率的な使用が重要となる。

このため、例えば、特許文献１には、車載カメラ装置において、「撮像動作モード」、「撮像スタンバイモード」、「撮像停止モード」の３つのモードを備え、車両の周囲環境や走行状態に応じてモードを切り換える技術が開示されている。

また、特許文献２には、車載画像認識システムにおいて、連続して撮像を行うカメラに対して、第１の画像を元に次に撮像する第２画像のためにカメラを制御し、第２画像で認識を行う技術が開示されている。

特開２０００−２０７６９６号公報 特開２０１１−０８５９７９号公報

しかしながら、特許文献１の技術は、運転支援として画像表を行ってドライバに提示することを主としている。このため、撮像動作モードでもカメラ制御を行っており、認識処理を行う場合、処理リソースを効率的に使用することは困難である。

また、特許文献２の技術は、次に撮像する第２画像のための第１画像でのカメラ制御となり、極めて短い時間間隔でカメラ制御を行っている。このため、画像認識に要する時間軸でみると、認識処理とカメラ制御とを同時に行うこととかわりなく、処理リソースを効率的に使用しているとは言えない。

本発明は上記事情に鑑みてなされたもので、車外を撮像した画像から外部環境を認識して物体を検出する際に、処理リソースを効率的に使用することのできる車両の外部環境認識装置を提供することを目的としている。

本発明による車両の外部環境認識装置は、自車両の周囲環境をカメラで撮像した画像を処理して物体を検出する物体検出部と、前記物体検出部に対して排他的に動作し、前記カメラで撮像した画像に基づいて設定した露光時間と、車両走行時に検出した前記カメラの位置ずれを補正するキャリブレーション処理とを含む情報を、前記物体検出部の前記カメラによる物体検出に係る制御情報として設定する制御情報設定部と、前記物体検出部と前記制御情報設定部の出力に応じて前記自車両と前記物体との衝突可能性を判定して警報発令と衝突回避の制御介入を指示する警報・回避制御判定部と、画像情報及び車両情報に基づいて前記物体検出部と前記制御情報設定部と前記警報・回避制御判定部とを切り換える状況を判定し、前記状況の判定結果に応じて前記物体検出部と前記制御情報設定部と前記警報・回避制御判定部の動作状態を選択的に遷移させる状況判定部とを備え、前記制御情報設定部は、前記物体検出部と前記警報・回避制御判定部とが停止状態した状態で、前記画像の露光時間を調整するとともに前記カメラの位置ずれを補正する前記キャリブレーション処理を実行して前記制御情報を設定する。

本発明によれば、車外を撮像した画像から外部環境を認識して物体を検出する際に、処理リソースを効率的に使用することができる。

衝突防止システムの構成図 シーンの遷移を示す説明図 入力画像例を示す説明図 状況判定処理のフローチャート 条件Ａの判定処理を示すフローチャート 条件Ｂの判定処理を示すフローチャート 条件Ｃの判定処理を示すフローチャート 条件Ｄの判定処理を示すフローチャート 条件Ｅの判定処理を示すフローチャート 条件Ｆの判定処理を示すフローチャート

以下、図面を参照して本発明の実施の形態を説明する。
本発明の外部環境認識装置は、例えば自動車等の車両の衝突防止システムの一部として構成され、車外の環境を撮像した画像を処理して障害となる物体を認識し、認識した物体と自車両との衝突可能性を判断する。本実施の形態においては、交差点等の交差路における他車両等の移動物体と自車両との出会い頭の衝突を防止する衝突防止システムに適用した例について説明する。

具体的には、図１に示す衝突防止システム１は、交差点等の交差路で側方（左右方向）から自車両に接近する他車両等の移動物体（接近物）を検出し、検出した接近物が自車両位置に到達する時間を予測して自車両と接近物との衝突の可能性を判断する。そして。衝突の可能性がある場合に、ドライバに対する警報発令やブレーキ制御等の車両制御の介入を指示する。

自車両に接近する移動物体は、本実施の形態においては、自車両の外界の環境を認識するデバイスとして、単眼の広画角のカメラ（例えば、画角１８０°の魚眼カメラ）２を用いて検出する。衝突防止システム１は、このカメラ２と、カメラ２で撮像した画像を処理して自車両と接近物との出会い頭の衝突を判定する単一のコンピュータ或いはワーク接続される複数のコンピュータとによって構成されている。

また、自車両と接近物との出会い頭の衝突判定は、接近物が自車両位置に達するまでの横方向からの予測時間（横方向衝突予測時間）ＴＴＣＲと、接近物が自車両位置に達するまでの進行方向からの予測時間（進行方向衝突予測時間）ＴＴＣとを用いて判定する。すなわち、横方向衝突予測時間ＴＴＣＲは、接近物が自車両を横切るまでの時間であり、自車両と衝突する場合以外にも、自車両の前を横切る（接近物が先に通り過ぎる）、自車両の後を横切る（自車両が先に通過する）場合も含むため、進行方向の予測時間ＴＴＣを加えることにより、衝突判定の精度を上げて不要な警報や制御介入を回避する。

このような事故防止システムでは、計算量の多い物体認識及び衝突判定の処理に加え、カメラ２の制御、雨天や夜間等の性能が確保できない状況でシステムを停止させるための判定（ＨＡＬＴ判定）、オンラインでのキャリブレーション処理等も実行しなけれならない。このため、衝突防止システム１は、計算リソースを効率的に使用可能とするように構成されている。

すなわち、衝突防止システム１は、自車両の周囲環境を撮像した画像を処理して物体を検出する物体検出部１０、自車両と物体との衝突可能性を判定してドライバに対する警報発令や衝突回避のブレーキ制御等の制御介入を指示する警報・回避制御判定部２０、物体検出部１０の物体検出に係る制御情報を設定する制御情報設定部３０、画像情報及び車両情報に基づいて各部の動作を切り換える状況を判定し、その判定結果に応じて物体検出部１０と制御情報設定部３０との動作状態を選択的に遷移させる状況判定部４０を備えている。

物体検出部１０は、カメラ２からの画像を入力処理する画像入力部１１、画像認識により物体を検出すると共に位置や速度を算出する認識処理部１２とを有して構成されている。また、制御情報設定部３０は、本実施の形態においては、カメラ２の露光時間（シャッタ速度）を調整する露光時間調整部３１、ＨＡＬＴ判定を行うＨＡＬＴ判定部３２、カメラパラメータ等を用いてオンラインキャリブレーション処理を行うオンラインキャリブレーション部３３、本システムの対象となる交差点を検出する交差点検出部３４を備えて構成されている。

このような機能構成を有する衝突防止システム１においては、状況判定部４０で走行状態及び外部環境により制御対象とするシーンを切り分けて、実行すべき処理を選択するようにしている。これにより、不必要な処理を行うことなく計算リソースの効率化を可能とし、また、必要なシーンのみで警報・制御介入が行われることで、不必要な警報・制御介入を抑制することができ、ドライバに違和感を与えることがない。

本実施の形態においては、各シーンは、図２に示すようなＳ１，Ｓ２，Ｓ３の３つのシーンに切り分けられ、各シーンに対応して、以下に示すように、物体検出部１０及び警報・回避制御判定部２０の動作と、物体検出部１０のみの動作と、制御情報設定部３０のみの動作とを排他的に切り換える。各シーンに対してシステムが行う処理は、以下に示す処理となる。尚、以下では、各シーンＳ１−Ｓ３の遷移は、システムの制御状態の遷移を意味するものとする。

Ｓ１：交差点で警報・制御介入等が必要なシーン
画像入力部１１及び認識処理部１２による物体検出
警報・回避制御判定部２０による警報・回避制御介入の判定

Ｓ２：交差点での警報・制御介入が不必要なシーン
画像入力部１１及び認識処理部１２による物体検出

Ｓ３：Ｓ１，Ｓ２以外のシーン
露光時間調整部３１によるカメラ２の露光時間調整（シャッタ速度制御）
ＨＡＬＴ判定部３２によるＨＡＬＴ判定
オンラインキャリブレーション部３３によるキャリブレーション処理
交差点検出部３４による交差点の検出

これらのシーンＳ１〜Ｓ３の間の遷移は、後述する複数の条件を調べることによって判定される。ここでは、先ず、各シーンにおける各部の処理について説明し、次に、シーン間の遷移について説明する。

先ず、本システムの基本機能であるシーンＳ１，Ｓ２における処理は、画像入力部１１でカメラ２から図３に示すような広画角の画像Ｇ（魚眼レンズによる１８０度画像）を入力し、認識処理部１２で、カメラ画像から自車両に接近する移動物体（接近物）及びその位置を検出して自車両に対する接近物を認識し、接近物の横方向衝突予測時間ＴＴＣＲ及び進行方向衝突予測時間ＴＴＣを算出する。尚、後述するように、シーンＳ１，Ｓ２での処理では、カメラ２のシャッタ速度は変更せず、シーンＳ３で設定されたシャッタ速度で撮像した時系列画像を用いて処理を行う。

例えば、カメラ画像Ｇのフレーム間での画像上の動き（オプティカルフロー）を求め、このオプティカルフローから自車両に接近する移動物体を検出する。具体的には、画像上の動き情報（オプティカルフロー）を主として、この動き情報に基づいて画像上から接近物の領域を切り出し、追跡を行う。例えば、図３に示すような入力画像Ｇのサイズを６４０×６０ピクセルとするとき、８×８ピクセルのブロック毎に、時間的に連続するフレーム間でのオプティカルフローをブロックマッチング等によって求め、画像中心方向への動き（自車両に向かう動き）を調べる。

そして、画像中心方向へ動いているブロックすなわち自車両に向かって動いているブロックを纏めて接近物領域として切り出し、この接近物領域の時系列的な追跡を行う。図３の例では、他車両ＣＲｏを含む矩形の領域ＡＲが画像中心方向に動いている接近物として検出される。

次に、画像座標上の接近物領域の位置を、自車両を原点として横方向の距離をＸ、進行方向の距離をＺとする実空間座標上の位置に変換する。この画像上の位置から実空間上の位置への変換は、予め作成してある距離変換テーブルを用いて行い、テーブル参照により接近物領域の画像座標（ｉ，ｊ）から距離Ｘ,Ｚのそれぞれを求める。距離変換テーブルの参照に際しては、先ず、接近物領域において自車両に一番近い接地点Ｐｏを求める。具体的には、画像左半分では、接近物領域の右下、右半分では接近物領域の右下に接地点Ｐｏを設定する。

図３の例では、矩形状に囲われた領域ＡＲの左下の点が接地点Ｐｏとなる。次に、距離変換テーブルで接地点Ｐｏの位置を参照する。距離変換テーブルは、カメラの設置位置や角度から画像上の各画素がどの距離（Ｘ,Ｚ）に対応するかを表すテーブルである。本実施の形態におけるカメラ２は立体射影方式の魚眼カメラであるため、立体射影カメラモデルと地表面への射影モデルとを合わせたモデルを用いて予めテーブルを作成しておく。その際、カメラパラメータは、実カメラ画像からキャリブレーションにより設定する。

更に、接近物のオプティカルフローの変化量又はトラッキングによる位置微分により自車両に対する接近物の横方向相対速度Ｖｘを求め、この横方向相対速度Ｖｘと距離Ｘとを用いて、以下の（１）式により横方向衝突予測時間ＴＴＣＲを算出する。同様に、接近物のオプティカルフロー変化量又はトラッキングによる位置微分により自車両に対する接近物の進行方向相対速度Ｖｚを求め、この進行方向相対速度Ｖｚと距離Ｚとを用いて、以下の（２）式によりて進行方向衝突予測時間ＴＴＣを算出する。
ＴＴＣＲ＝Ｘ/Ｖｘ …（１）
ＴＴＣ ＝Ｚ/Ｖｚ …（２）

以上の処理はシーンＳ１，Ｓ２の双方で実行される処理であるが、カメラ２の露光調整（シャッタ速度制御）は実施せず、異なるシャッタ速度でのフロー計算による誤検出を防止することができる。すなわち、シャッタ速度が認識処理動作中に変更されると、オプティカルフロー算出時に使用する２枚の画像で明るさが異なってしまい、そのため２枚の画像から同一のパターンを検出するマッチングを誤ることがあり、オプティカルフローの精度が悪化する。そのため、シーンＳ１，Ｓ２における認識処理動作中は、シャッタ速度を一定として、ミスマッチングを防止する。

シーンＳ１では、警報・回避制御判定部２０にて、横方向衝突予測時間ＴＴＣＲ及び進行方向衝突予測時間ＴＴＣを用いて自車両と接近物との衝突が判定される。自車両と接近物との衝突は、例えば、横方向衝突予測時間ＴＴＣＲ、進行方向衝突予測時間ＴＴＣが所定の範囲に入ったときに衝突発生と判定される。衝突と判定された場合には、警報・回避制御判定部２０は、ドライバに対する警報発令や衝突回避のブレーキ制御等の制御介入を指示する。

一方、シーンＳ２では、認識処理は行うが警報・回避制御の判定は行わない。シーン２で認識処理だけを行う理由としては、認識処理は時系列での処理を行っており、交差点で警報・制御介入等が必要なシーンになったときに警報・回避制御の遅れを発生させないためであり、事前に認識処理だけは行っておく。尚、このとき、上述したように、シャッタ速度は変更せずに一定としておき、異なるシャッタ速度でのフロー計算による誤検出を防止する。

次に、シーンＳ３における処理について説明する。シーン３は、主として交差点以外を走行している場合、具体的には後述する複数の遷移条件の何れかが満足されない場合に遷移するシーンである。このシーン３では、認識処理、警報・回避制御判定処理は実行せず、露光時間調整部３１による露光時間調整処理、ＨＡＬＴ判定部３２によるＨＡＬＴ判定処理、オンラインキャリブレーション部３３によるオンラインキャリブレーション処理、交差点検出部３４による交差点検出処理を実行する。

露光時間調整部３１は、本実施の形態においては、主としてカメラ２のシャッタ速度をを入力画像に基づいて決定することで、撮像画像の露光時間を最適に設定する。例えば、オートアイリス下で画像の各領域毎に適正シャッタ速度を格納したマップを用いて、撮像した画像の各領域の輝度平均値をパラメータとして得られる領域毎のマップ値を総計してシャッタ速度を決定する。尚、この露光時間の調整に際しては、他にカメラ２のゲイン調整やホワイトバランス等の調整を行っても良い。

ＨＡＬＴ判定部３２は、雨天・夜間等の悪環境やカメラ２のレンズへの汚れの付着といった認識処理で充分な精度を出せない状況を検出する。例えば、撮像画像から物体の動きと、それを隠す部分とを検出することにより、部分的な汚れを検出したり、画像中の最大輝度及び最大コントラストを定期的に設定値と比較することで、徐々に付着する汚れを検出する。これらの状況を検出した場合には、警報や回避制御を行わない、またシステム処理自体を停止させる等の対応を行うとともに、システムが動作しない状態であることをメータに表示する等してドライバへ提示する。

オンラインキャリブレーション部３３は、走行時のカメラ２の位置ずれ等の検出を行い、カメラキャリブレーションにより位置ずれによる影響を補正する。例えば、撮像画像中の車線区画線を利用してカメラ２の光軸を進行方向と一致させるように調整する等してキャリブレーションを行う。本システムは、カメラ２の設置位置及び角度から移動物体の距離を算出しているため、特に、カメラ２の角度のずれを検出してキャリブレーションを行う。

交差点検出部３４は、本システムで対象となる交差点をカメラ画像から検出する。例えば、交差点手前に接地されている「止まれ」の標識・路面表示を認識して交差点を検出する。標識の文字列は、各文字毎に予め登録しておいた文字とのテンプレートマッチングを行うことで認識することができる。

以上のシーンＳ３において、上述の制御情報設定部３０の処理のみを行うのは、上述の処理に加えて認識処理や警報・回避制御判定処理を行うと、計算量が増大し、一定の処理周期でのシステム動作を実現するためには計算コストがかかりすぎるからである。逆に、シーンＳ１，Ｓ２で、上述の処理を行わないのも、同様の理由である。

次に、シーンＳ１−Ｓ３の間の遷移判定について説明する。シーンＳ１−Ｓ３の間の遷移判定は、本実施の形態においては、以下に示すように、条件Ａ（車速）、条件Ｂ（走行時間）、条件Ｃ（走行距離）、条件Ｄ（変速位置）、条件Ｅ（交差点検出結果）、条件Ｆ（ドライバのブレーキ操作）の６つの条件で判定される。

（Ａ）車速
システムを動作させたい範囲は、低速での交差点進入〜通過時である。従って、自車両の車速を、遷移条件の一つとする。

（Ｂ）走行時間
交差点通過後に警報・回避制御が行われることを防止するための条件であり、走行時間が一定以内の場合を条件とする。

（Ｃ）走行距離
条件Ｂと同様の目的で、走行距離による判定を行う。

（Ｄ）変速位置
変速位置により、ドライバの走行（前進）の意思があるか否かを判断できるため、変速位置も条件とする。

（Ｅ）交差点検出結果
シーンＳ３にて取得した画像を用いて交差点の検出処理を行い、その結果をシーン遷移の条件に加える。

（Ｆ）ドライバのブレーキ操作
ブレーキ操作は、ドライバが危険を認知していると考えられる。このため、ブレーキ操作の有無を遷移条件の一つに加える。

状況判定部４０は、図４のフローチャートに示す状況判定処理を実行し、ステップＳ１１で画像を入力し、ステップＳ１２で車両情報を入力すると、ステップＳ１３−Ｓ１８で条件Ａ−Ｆを判定し、ステップＳ１９で何れの条件を満足するかに応じてシーンを遷移させる処理を行う。

この状況判定処理におけるステップＳ１３ーＳ１８の各条件の判定は、詳細には、それぞれ、図５−図１０のフローチャートで示す判定処理によって個別に判定される。各判定処理は、フラグによる条件判定を示す処理であり、フラグがセットされているとき、条件を満たしているものとする。次に、各条件の判定処理について説明する。

図５の車速に関する条件Ａの判定処理では、最初のステップＳ１３−１において、前回（１フレーム前）の車速Ｖ(ｎ-1)が閾値Ｈ１（例えば、Ｈ１＝１５ｋｍ／ｈ）以下で、且つ現在（現フレーム）の車速Ｖ(n)が閾値Ｈ１以上の条件が成立するか否かを調べる。そして、ステップＳ１３−１の条件が成立しない場合には、ステップＳ１３−３へジャンプし、条件が成立する場合、ステップＳ１３−２でフラグＦＡをクリア（ＦＡ＝０）した後、ステップＳ１３−３へ進む。

ステップＳ１３−３では、現在の車速Ｖ(n)が閾値Ｈ２（例えば、Ｈ２＝５ｋｍ／ｈ）以下か否かを調べる。その結果、Ｖ(n)≦Ｈ２の場合、ステップＳ１３−４でフラグＦＡをセット（ＦＡ＝１）して本処理を抜け、Ｖ(n)≦Ｈ２の場合、そのまま本処理を抜ける。フラグＦＡの値は、フレーム間で連続して車速が閾値Ｈ１以上になるまで（ステップＳ１３−１）、現在の値が維持され、ヒステリシスを持たせてハンチングを防止する。

次に、図６の走行時間に関する条件Ｂの判定処理では、最初のステップＳ１４−１で各フレームで走行時間を処理周期時間分だけカウントアップし、ステップＳ１４−２で現在の車速Ｖ(n)が閾値Ｈ２以下か否かを調べる。そして、Ｖ(n)＞Ｈ２の場合、ステップＳ１４−４へジャンプし、Ｖ(n)≦Ｈ２の場合、ステップＳ１４−３で走行時間を０にリセットした後、ステップＳ１４−４へ進む。

ステップＳ１４−４では、走行時間が閾値Ｈ３（例えば、Ｈ３＝６０ｓｅｃ）以下か否かを調べる。走行時間が閾値Ｈ３以下の場合、ステップＳ１４−５でフラグＦＢをセット（ＦＢ＝１）して本処理を抜け、閾値Ｈ３以下でない場合には、ステップＳ１４−６でフラグＦＢをクリア（ＦＢ＝０）して本処理を抜ける。

次に、図７の走行距離に関する条件Ｃの判定処理では、ステップＳ１５−１で、各フレームで、そのフレームでの走行距離を車速×処理周期時間で求めて累積し、走行距離をカウントアップする。次いで、ステップＳ１５−２で、現在の車速Ｖ(n)が閾値Ｈ２以下か否かを調べ、Ｖ(n)＞Ｈ２の場合、ステップＳ１５−４へジャンプし、Ｖ(n)≦Ｈ２の場合、ステップＳ１５−３で走行距離を０にリセットした後、ステップＳ１５−４へ進む。

ステップＳ１５−４では、走行距離が閾値Ｈ４（例えば、Ｈ３＝２０ｍ）以下か否かを調べる。走行距離が閾値Ｈ４以下の場合、ステップＳ１５−５でフラグＦＣをセット（ＦＣ＝１）して本処理を抜け、閾値Ｈ４以下でない場合には、ステップＳ１５−６でフラグＦＣをクリア（ＦＣ＝０）して本処理を抜ける。

次に、図８の変速位置に関する条件Ｄの判定処理では、ステップＳ１６−１で、変速位置が"Ｐ（パーキング）"、又は"Ｒ（後退）"となっているか否かを調べる。変速位置が"Ｐ"又は"Ｒ"となっている場合には、ステップＳ１６−２でフラグＦＤをセット（ＦＤ＝１）して本処理を抜け、それ以外では、ステップＳ１６−３でフラグＦＤをクリア（ＦＤ＝０）して本処理を抜ける。

次に、図９の交差点検出結果に関する条件Ｅの判定処理では、ステップＳ１７−１でシーン３での取得画像による交差点検出結果を参照して交差点が検出されているか否かを調べる。その結果、交差点が検出されている場合には、ステップＳ１７−２でフラグＦＥをセット（ＦＥ＝１）して本処理を抜け、交差点が検出されていない場合には、ステップＳ１７−３でフラグＦＥをクリア（ＦＥ＝０）して本処理を抜ける。

この場合、フラグＦＥが０→１になったとき、フレームでの走行距離を０にクリアし、各フレームでそのフレームでの走行距離を累積する。また、フラグＦＥが１であっても（交差点が検出されていても）、走行距離が閾値Ｈ４以上になった場合には、フラグＦＥを０にクリアする。

次に、図１０のブレーキ操作に関する条件Ｆの判定処理では、ステップＳ１８−１でブレーキランプスイッチがＯＮしているか否かを調べる。ブレーキランプスイッチがＯＮになっている場合には、ステップＳ１８−２でフラグＦＦをセット（ＦＦ＝１）して本処理を抜け、ブレーキランプスイッチがＯＦＦの場合、ステップＳ１８−３でフラグＦＦをクリア（ＦＦ＝０）して本処理を抜ける。

以上のフラグＦＡ，ＦＢ，ＦＣ，ＦＤ，ＦＥ，ＦＦの値は、状況判定処理のステップＳ１９で参照され、条件Ａ−Ｆの判定結果に応じてシーンＳ１−Ｓ３を遷移させる処理が行われる。シーンＳ１−Ｓ３の遷移条件は、以下の通りである。

Ｓ１→Ｓ３：シーンＳ１で条件Ａ−Ｄの何れかを満足しないとき、シーンＳ３に遷移
（ＦＡ，ＦＢ，ＦＣ，ＦＤの何れかが０）

Ｓ３→Ｓ１：シーンＳ３で条件Ａ−Ｄを全て満足するか若しくは条件Ｅを満足し、
且つ条件Ｆを満足しないとき、シーンＳ１に遷移
（ＦＡ＝ＦＢ＝ＦＣ＝ＦＤ＝１又はＦＥ＝１、且つＦＦ＝０）

Ｓ１→Ｓ２：シーンＳ１で条件Ａ−Ｄを全て満足するか若しくは条件Ｅを満足し、
且つ条件Ｆを満足するとき、シーンＳ２に遷移
（ＦＡ＝ＦＢ＝ＦＣ＝ＦＤ＝ＦＦ＝１、又はＦＤ＝ＦＦ＝１）

Ｓ２→Ｓ１：シーンＳ２で条件Ａ−Ｄを全て満足するか若しくは条件Ｅを満足し、
且つ条件Ｆを満足しないとき、シーンＳ１に遷移
（ＦＡ＝ＦＢ＝ＦＣ＝ＦＤ＝１又はＦＥ＝１、且つＦＦ＝０）

Ｓ２→Ｓ３：シーンＳ２で条件Ａ−Ｄの何れかを満足しないとき、シーンＳ３に遷移
（ＦＡ，ＦＢ，ＦＣ，ＦＤの何れかが０）

Ｓ３→Ｓ２：シーンＳ３で条件Ａ−Ｄを全て満足するか若しくは条件Ｅを満足し、
且つ条件Ｆを満足するとき、シーンＳ２に遷移
（ＦＡ＝ＦＢ＝ＦＣ＝ＦＤ＝ＦＦ＝１、又はＦＤ＝ＦＦ＝１）

このように本実施の形態においては、車外を撮像した画像から外部環境を認識する際に、走行状態及び外部環境により制御対象とするシーンを切り分けて実行すべき処理を選択するようにしているため、不必要な処理を行うことなく、処理リソースを効率的に使用することができる、
しかも、画像認識によって物体を検出する処理に対して、物体検出に係る制御情報としての露光時間を調整する処理を、物体検出を停止した状態で排他的に実行し、物体検出処理を実行するときには、先に調整した一定の露光時間で物体検出を行うため、処理リソースを効率的に使用できるばかりでなく、異なる露光時間の画像に起因する誤認識を防止することができ、認識精度の向上に寄与することができる。

１ 衝突防止システム
１０ 物体検出部
１１ 画像入力部
１２ 認識処理部
２０ 警報・回避制御判定部
３０ 制御情報設定部
３１ 露光時間調整部
４０ 状況判定部

Claims (3)

1. 自車両の周囲環境をカメラで撮像した画像を処理して物体を検出する物体検出部と、
   前記物体検出部に対して排他的に動作し、前記カメラで撮像した画像に基づいて設定した露光時間と、車両走行時に検出した前記カメラの位置ずれを補正するキャリブレーション処理とを含む情報を、前記物体検出部の前記カメラによる物体検出に係る制御情報として設定する制御情報設定部と、
   前記物体検出部と前記制御情報設定部の出力に応じて前記自車両と前記物体との衝突可能性を判定して警報発令と衝突回避の制御介入を指示する警報・回避制御判定部と、
   画像情報及び車両情報に基づいて前記物体検出部と前記制御情報設定部と前記警報・回避制御判定部とを切り換える状況を判定し、前記状況の判定結果に応じて前記物体検出部と前記制御情報設定部と前記警報・回避制御判定部の動作状態を選択的に遷移させる状況判定部と
   を備え、
   前記制御情報設定部は、前記物体検出部と前記警報・回避制御判定部とが停止状態した状態で、前記画像の露光時間を調整するとともに前記カメラの位置ずれを補正する前記キャリブレーション処理を実行して前記制御情報を設定することを特徴とする車両の外部環境認識装置。
2. 前記物体検出部は、前記制御情報設定部が停止した状態で、前記制御情報設定部によって調整された一定の露光時間で物体検出を行うことを特徴とする請求項１記載の車両の外部環境認識装置。
3. 前記状況判定部は、前記画像情報及び前記車両情報に基づく複数の条件を組み合わせた遷移条件を判定して前記物体検出部と前記制御情報設定部と前記警報・回避制御判定部の動作状態を選択的に遷移させることを特徴とする請求項１又は２記載の車両の外部環境認識装置。

Images