JP4486997B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車載の撮像装置を通じて得られた画像を用いて、この車両の周辺を監視する装置に関する。

車両に搭載されているカメラにより異なる２つの時刻において撮像された画像に基づき、歩行者等の対象物の実空間位置を測定し、当該測定結果に基づいて車両と対象物との接触可能性の高低を判定する技術が提案されている（特許文献１参照）。車両が移動することにより車両に対する対象物の相対位置が変化するため、撮像画像における対象物のサイズが変化することを利用して、この対象物の実空間位置が測定されている。
特開２００７−２１３５６１号公報

しかし、対象物が動いている場合、車両に対するこの対象物の相対位置に加えて、この対象物の形状または姿勢の変化が画像における対象物のサイズに影響するため、距離測定精度が低下する可能性がある。

そこで、本発明は、対象物が動いている場合でもこの対象物の位置を高精度で測定することができる装置を提供することを解決課題とする。

前記課題を解決するための本発明の車両周辺監視装置は、車両に搭載されている一の撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する装置であって、前記画像において対象物が存在する領域を対象物領域として設定するとともに、前記対象物の形状に基づき、形状パターンマッチングによって、前記対象物の種類を判定し、前記対象物の種類に基づき、前記対象物のうち動きが比較的少ない部分が存在する領域として、前記対象物領域に対する配置が当該対象物の種類に応じて定められている前記対象物領域の一部の領域を局所領域として設定する第１処理要素と、異なる時刻の前記画像における前記局所領域のサイズの変化率を算出し、前記局所領域のサイズの変化率に基づいて前記車両から前記対象物までの距離を測定する第２処理要素とを備えていることを特徴とする。

本発明の車両周辺監視装置によれば、対象物のうち動きが少ない部分が存在する画像領域、すなわち、対象物の動きによるサイズの変動が最小限に抑制されている局所領域の異なる時刻間でのサイズの変化率を基礎とすることにより、車両から対象物までの距離または対象物の位置が高精度で測定されうる。また、対象物の種類の相違に応じてその動きが比較的少ない部分が相違することに鑑みて、対象物の動きによるサイズの変動が最小限に抑制されている局所領域のサイズの変化率を基礎とすることにより、さまざまな種類の対象物の車両からの距離または位置が高精度で測定されうる。なお、撮像装置を通じて得られた画像とは、撮像画像そのもののほか、撮像画像に画像処理が施されることにより得られる画像を包含する概念である。

前記第１処理要素が前記対象物の形状に基づき、形状パターンマッチングによって、前記対象物の種類が歩行者に該当するか否かを判定し、前記対象物の種類が歩行者に該当すると判定したことを要件として前記対象物領域の上部を前記局所領域として設定することが好ましい。さらに、前記第１処理要素が前記対象物領域の上端に上端が一致し、かつ、前記対象物領域の幅に同等の高さを有する領域を前記局所領域として設定することが好ましい。

当該構成の車両周辺監視装置によれば、対象物としての歩行者の上半身は下半身と比較して動きが少ないことに鑑みて、歩行者の動きによるサイズの変動が最小限に抑制されている局所領域のサイズの変化率を基礎とすることにより、対象物である歩行者の車両からの距離または位置が高精度で測定されうる。

前記第１処理要素が先時刻における前記局所領域が拡大されることにより得られる拡大局所領域と、前記先時刻よりも後の後時刻における前記局所領域との相関度を評価し、前記第２処理要素が、前記相関度が最高となったときの前記先時刻における前記局所領域の拡大率を前記局所領域のサイズの変化率として算出することが好ましい。

当該構成の車両周辺監視装置によれば、先時刻における局所領域（以下、適宜「先局所領域」という。）が拡大されて得られた拡大局所領域と、先時刻よりも後の後時刻における局所領域（以下、適宜「後局所領域」という。）との相関度が最高になったときの当該拡大率が対象物領域のサイズの変化率として算出される。後局所領域との相関度が最高になったときの拡大局所領域は、先局所領域の後時刻における予測または推測未来像に相当する。そして、前記のように対象物のうち比較的動きが少ない部分が存在する局所領域のサイズの変化率を基礎とすることにより、対象物が動いている場合でも車両から対象物までの距離または位置が高精度で測定されうる。

本発明の車両周辺監視装置の実施形態について図面を用いて説明する。

図１に示されている車両（四輪自動車）１には、車両周辺監視装置１０と、単一の赤外線カメラ（撮像装置）１１が搭載されている。なお、赤外線カメラ１１に代えて可視光等、他の波長領域に感度が調節されたカメラが撮像装置として採用されてもよい。図１に示されているように原点Ｏが車両１の前側に位置し、Ｘ軸、Ｙ軸およびＺ軸のそれぞれが車両１の左右方向、上下方向および前後方向のそれぞれに延びるように実空間座標系が定義されている。赤外線カメラ１１は車両１の前方を撮像するために、車両１の前側に取り付けられている。

また、図２に示されているように車両１には、車両１のヨーレート、速度およびブレーキの状態のそれぞれに応じた信号を出力するヨーレートセンサ１３、速度センサ１４およびブレーキセンサ１５等の種々のセンサが搭載されている。さらに、図２に示されているように車両１には音声出力装置１６および画像出力装置１７が搭載されている。画像出力装置１７としては、車両１のフロントウィンドウに画像を表示するＨＵＤ（ヘッドアップディスプレイ）のほか、車両１の走行状況を示す表示計またはナビゲーション装置を構成するディスプレイ装置等が採用されてもよい。

車両周辺監視装置１０は赤外線カメラ１１を通じて得られた画像を用いて車両１の周辺を監視する装置である。車両周辺監視装置１０はコンピュータ（ＣＰＵ，ＲＯＭ，ＲＡＭならびにＩ／Ｏ回路およびＡ／Ｄ変換回路等の電子回路等により構成されている。）により構成されている。車両周辺監視装置１０には、赤外線カメラ１１、ヨーレートセンサ１３、車速センサ１４およびブレーキセンサ１５等から出力されたアナログ信号がＡ／Ｄ変換回路を介してデジタル化されて入力される。

当該入力データに基づき、メモリに格納されている「車両周辺監視プログラム」にしたがって、人間や他車両などの対象物の存在を認識する処理、車両１と認識した対象物との接触可能性の高低を判定する処理、および、この判定結果に応じて音声を音声出力装置１６に出力させたり、画像を画像出力装置１７に出力させたりする処理が当該コンピュータにより実行される。

なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車載コンピュータに配信または放送され、そのＲＡＭ等の記憶装置に格納されてもよい。車両周辺監視装置１０は位置のＥＣＵにより構成されていてもよいが、分散制御システムを構成する複数のＥＣＵにより構成されていてもよい。

車両周辺監視装置１０は図２に示されているように第１処理要素１１０と、第２処理要素１２０とを備えている。第１処理要素１１０は赤外線カメラ１１を通じて得られた車両１の周辺状況を表わす画像において対象物が存在する領域を対象物領域として設定する。第１処理要素１１０は対象物のうち動きが比較的少ない部分が存在する対象物領域の一部の領域を局所領域として設定する。第２処理要素１２０は局所領域のサイズの変化率を算出し、局所領域のサイズの変化率に基づいて車両１から対象物までの距離を測定する。

前記構成の車両１および車両周辺監視装置１０の機能について説明する。まず、第１処理要素１１０が赤外線カメラ１１を通じて得られた画像に基づき、対象物領域を設定する。具体的には、赤外線カメラ１１の出力信号である赤外線画像がＡ／Ｄ変換されることによりグレースケール画像が取得される（図３／Ｓ００２）。

また、グレースケール画像が２値化処理されることにより２値化画像が取得される（図３／Ｓ００４）。２値化処理は、グレースケール画像を構成する各画素をその輝度が閾値以上であるか否かに応じて「１」（白）および「０」（黒）に区分する処理である。グレースケール画像および２値化画像はそれぞれ別の画像メモリに記憶される。

さらに、２値化画像の高輝度領域を構成する「１」に区分されたまとまった画素群が、画像の縦方向（ｙ方向）に１画素分の幅を有して横方向（ｘ方向）延在するラインに分類され、各ラインがその位置（画像における２次元位置）の座標と長さ（画素数）とからなるランレングスデータに変換される（図３／Ｓ００６）。

そして、このランレングスデータにより表されるラインのうち、画像縦方向に重なりを有するライン群のそれぞれにラベル（識別子）が付され（図３／Ｓ００８）、当該ライン群が対象物として検出される（図３／Ｓ０１０）。これにより、図４（ａ）に示されているように２値化画像において斜線で示されているような対象物（２値化対象物）が検出される。対象物には人間（歩行者）などの生物のほか、他車両などの人口構造物も含まれる。なお、同一物体の複数の局所部分が対象物として認識される場合もある。

また、第１処理要素１１０により、対象物の追跡処理、すなわち、演算処理周期ごとに検出された対象物が同一であるか否かを判定する処理が実行される（図３／Ｓ０１２）。たとえば、特開２００１−６０９６号公報に記載されている手法にしたがって時刻ｋ−１およびｋのそれぞれの２値化画像において検出された対象物の形状やサイズ、グレースケール画像における輝度分布の相関性などに基づいて実行されうる。そして、これら対象物が同一であると判定された場合、時刻ｋにおける対象物のラベルが時刻ｋ−１における対象物のラベルと同じラベルに変更される。

さらに、第１処理要素１１０により、２値化画像における対象物の重心位置および外接四角形の配置態様に基づき、グレースケール画像において対象物を表わす領域が「対象物領域」として設定される（図３／Ｓ０１４）。具体的には、まず、現在時刻ｋにおける車両１の周辺状況を表わすグレースケール画像において、対象物を基準として配置された複数のマスクが設定される。これにより、たとえば図４（ａ）に斜線で示されているように対象物の上下方向に並んで配置された複数の矩形状のマスクａ_i+（ｉ＝１，２，‥）およびａ_j-（ｊ＝１，２，‥）が設定される。当該複数のマスクは、対象物の重心または中心を通り、画像において上下方向に延びる基準ライン（一点鎖線）の上に中心位置を有するように配置されている。

また、過去時刻ｋ−１における車両１の周辺状況を表わすグレースケール画像において当該複数のマスクａ_i+およびａ_j-のそれぞれとの相関度が閾値以上となるマスクが探索される。これにより、たとえば図４（ｂ）に示されているような過去画像において、現在画像における複数のマスクa_i+およびa_j-との相関度が閾値以上のマスクａ_i+およびａ_j-が探索される。

そして、対象物と、当該複数のマスクのうち、時刻ｋ−１および時刻ｋにおける対象物（または基準ライン）との位置関係が同一またはほぼ同一の連続するマスクとを含む領域が各時刻における対象物領域として設定される。これにより、たとえば図４（ｂ）に示されているように対象物およびその下方に連続して配置されたマスクａ_1-〜ａ_4-とを包含する、二重枠で囲まれている矩形状の領域が時刻ｋ−１における対象物領域Ａ（ｋ−１）として設定される。

また、第１処理要素１１０により対象物の種類が判定される（図３／Ｓ０１６）。具体的には、対象物領域Ａ（ｋ）に含まれる対象物の形状と、記憶装置に格納されている形状パターンとのマッチングにより、対象物の種類が判定される。これにより、たとえば対象物の種類が「歩行者」およびその他の区分のうちいずれに分類されるかが判定される。

対象物領域Ａ（ｋ）の一部の領域（後述する局所領域Ｂ（ｋ）とは異なる。）に含まれる対象物の形状に基づいて対象物の種類が判定されてもよい。これにより、たとえば対象物領域Ａ（ｋ）の下部領域に、左右一対の上下方向に伸びるライン状の対象物（高輝度領域）が存在すると判定されたことを要件として、当該対象物の種類が歩行者（正確には歩行者の両脚）であることが判定される。

さらに、第１処理要素１１０により対象物の種類に基づき、局所領域Ｂ（ｋ）が設定される（図３／Ｓ０１８）。具体的には、対象物のうち動きが比較的少ない部分が存在する対象物領域Ａ（ｋ）の一部の領域が局所領域Ｂ（ｋ）として設定される。これにより、たとえば対象物の種類が「歩行者」である場合、図５上段および下段に示されているように歩行者のうち動きが比較的少ない上半身が存在する対象物領域Ａ（ｋ）の上部領域が局所領域Ｂ（ｋ）として設定される。具体的には、局所領域Ｂ（ｋ）は、その上端が対象物領域Ａ（ｋ）の上端に一致し、かつ、高さＨが対象物領域Ａ（ｋ）の幅Ｗに略同等の略正方形状になるように設定される。

なお、「歩行者」のほか、鹿等の「大型動物」等、対象物の動きに応じて形状または姿勢の変化量が比較的大きくなる部分と、当該変化量が比較的小さくなる部分との両方が併存するようなさまざまな種類に対象物が分類され、各種類に固有の局所領域Ｂ（ｋ）が設定されてもよい。また、対象物の種類の判定が省略され、記憶装置に格納されている対象物領域Ａ(k)に対する局所領域Ｂ（ｋ）の配置方法が読み出され、当該配置方法にしたがって局所領域Ｂ（ｋ）が設定されてもよい。

また、第２処理要素１２０により、局所領域Ｂ（ｋ）のサイズ（対象物領域の縦幅、横幅または面積により表わされる。）の変化率Ｒａｔｅ（ｋ）が算出される（図３／Ｓ０２０）。具体的には、まず時刻ｋ−１（先時刻または過去時刻）における対象物領域（第１対象物領域）Ｂ（ｋ−１）が拡大されることによって得られた拡大対象物領域ＥＢが得られる。これにより、たとえば図５上段に示されている先局所領域Ｂ（ｋ−１）が複数の比率γ₁、‥、γ_i、‥、γ_n（１＜γ₁＜‥＜γ_i＜‥＜γ_n）のそれぞれで拡大され、図５中段に示されている拡大局所領域ＥＢ（γ₁）、‥、ＥＢ（γ_i）、‥、ＥＢ（γ_n）が得られる。

なお、先局所領域Ｂ（ｋ−１）は、その上端が対象物領域Ａ（ｋ−１）の上端に一致し、かつ、高さＨ’が対象物領域Ａ（ｋ−１）の幅Ｗ’に略同等の略正方形状になるように設定されている。また、複数の拡大局所領域ＥＢのそれぞれと、時刻ｋ（後時刻または現在時刻）における局所領域（後局所領域）Ｂ（ｋ）との相関度が評価され、後局所領域Ｂ（ｋ）との相関度が最高になる拡大局所領域ＥＢの先局所領域Ｂ（ｋ−１）からの拡大率が局所領域Ｂ（ｋ）のサイズの変化率Ｒａｔｅ（ｋ）として算出される。これにより、たとえば図５中段に示されている拡大局所領域ＥＢ（γ₁）、‥、ＥＢ（γ_i）、‥、ＥＢ（γ_n）のそれぞれのうち、図５下段に示されている後局所領域Ｂ（ｋ）との相関度が最高になる拡大局所領域ＥＢ（γ_i）の当該拡大率γ_iが局所領域Ｂ（ｋ）のサイズの変化率Ｒａｔｅ（ｋ）（＞１）として算出される。

また、後局所領域Ｂ（ｋ）が複数の比率で縮小されることにより複数の縮小局所領域が得られ、当該複数の縮小局所領域のうち先局所領域Ｂ（ｋ−１）との相関度が最高になる縮小局所領域の後局所領域Ｂ（ｋ）からの縮小率の逆数が局所領域Ｂ（ｋ）のサイズの変化率Ｒａｔｅ（ｋ）（＞１）として算出されてもよい。

さらに、ヨーレートセンサ１３および速度センサ１４のそれぞれの出力に基づき、車両１の速度およびヨーレートが測定され、ヨーレートの測定値が積分されることにより、車両１の回頭角（方位角）が算出される（図３／Ｓ０２２）。また、変化率Ｒａｔｅ（ｋ）に加え、車両１の速度ｖ（ｋ）および指定期間ΔＴに基づき、車両１の速度ｖ（ｋ）と比較して対象物の速度が無視できる程度に小さいとみなして、式（１）にしたがって車両１から対象物までの距離Ｚ（ｋ）が測定される（図３／Ｓ０２４）。

Ｚ（ｋ）＝Ｒａｔｅ（ｋ）ｖ（ｋ）Δｔ／（１−Ｒａｔｅ（ｋ））‥（１）

また、車両周辺監視装置１０により、車両１から対象物までの距離Ｚ（ｋ）に基づき、この対象物の実空間位置Ｐ（ｋ）＝（Ｘ（ｋ），Ｙ（ｋ），Ｚ（ｋ）として算定される（図３／Ｓ０２６）。具体的には、車両１から各対象物までの補正後の距離Ｚ（ｋ）と、赤外線カメラ１１の焦点距離ｆと、撮像画像における対象物に対応した領域の画像座標ｘ（ｋ）およびｙ（ｋ）とに基づき、式（２）にしたがって実空間座標系におけるＸ座標Ｘ（ｋ）およびＹ座標Ｙ（ｋ）が算定される。 撮像画像の中心、右方向および下方向のそれぞれが、画像座標系における原点ｏ、＋ｘ方向および＋ｙ方向として定義されている。

また、ヨーレートセンサ１５の出力に基づいて測定される回頭角に基づき、各対象物の実空間位置（Ｘ（ｋ），Ｙ（ｋ），Ｚ（ｋ））が回頭角補正される。

Ｘ（ｋ）＝ｘ（ｋ）・Ｚ（ｋ）／ｆ，
Ｙ（ｋ）＝ｙ（ｋ）・Ｚ（ｋ）／ｆ ‥（２）

また、異なる時刻における各対象物の実空間位置Ｐ（ｋ）に基づき、たとえば特開２００１−６０９６号公報に記載された衝突可能性の判定手法にしたがって、車両１と各対象物との接触可能性の高低または有無が判定される（図３／Ｓ０２８）。

そして、車両１と対象物との接触可能性が高いと判定された場合（図３／Ｓ０２８‥ＹＥＳ）、「第１制御処理」が実行される（図３／Ｓ０３０）。具体的には、当該接触可能性の判定結果に応じた音声および画像（当該対象物を強調表示するためのフレームなど）のそれぞれが音声出力装置１６および画像出力装置１７のそれぞれを通じて出力される。なお、当該音声および画像のうち一方のみが出力されてもよい。

また、車両１のステアリング装置、ブレーキ装置およびアクセル装置のうち一部または全部がアクチュエータにより操作され、車両１の走行挙動が操作される場合、音声および画像出力に加えてまたは代えて車両挙動が制御される。具体的には、車両１との接触可能性が高いと判定された対象物との接触を回避するように、または、回避が容易になるように車両１のステアリング装置、ブレーキ装置およびアクセル装置のうち一部または全部の動作が車両制御ユニット（図示略）により制御されてもよい。

たとえば、運転者によるアクセルペダルの必要踏力が、対象物との接触を回避する必要がない通常の場合よりも大きくなるようにアクセル装置を制御して加速しにくくする。また、車両１と対象物との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行いうるようにする。さらに、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両１の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、対象物との接触を避けるための車両１の運転が容易になる。また、ブレーキセンサ１５の出力に基づいて運転者による車両１のブレーキが操作されていないことが確認されたこと、または、速度センサ１４または加速度センサ（図示略）の出力に基づいて車両１の減速度が閾値以下であることが確認されたことを要件として「第１制御処理」が実行されてもよい。

一方、車両１と対象物との接触可能性が低いと判定された場合（図３／Ｓ０２８‥ＮＯ）、「第２制御処理」が実行される（図３／Ｓ０３２）。具体的には、当該接触可能性の判定結果に応じた音声および画像のそれぞれが、第１制御処理とは異なる形態で音声出力装置１６および画像出力装置１７のそれぞれを通じて出力される。また、第１制御処理よりも弱い力によって車両挙動が制御される。なお、「第２制御処理」は省略されてもよい。

前記機能を発揮する車両周辺監視装置１０によれば、対象物領域Ａ（ｋ）の一部領域としての局所領域Ｂ（ｋ）のサイズの変化率Ｒａｔｅ（ｋ）が算出される（図３／Ｓ０２０参照）。具体的には、先時刻ｋ−１における局所領域（先局所領域）Ｂ（ｋ−１）が拡大されて得られた拡大局所領域ＥＢ（γ_i）と、先時刻ｋよりも後の後時刻ｋ−１における局所領域（後局所領域）Ｂ（ｋ）との相関度が最高になったときの当該拡大率が局所領域Ｂ（ｋ）のサイズの変化率Ｒａｔｅ（ｋ）として算出される（図５参照）。

後局所領域Ｂ（ｋ）との相関度が最高になったときの拡大局所領域ＥＢ（γ_i）は、先局所領域Ｂ（ｋ−１）の後時刻ｋにおける予測または推測未来像に相当する。また、局所領域Ｂ（ｋ）は対象物のうち動きが少ない部分が存在する画像領域、すなわち、対象物の動きによるサイズの変動が最小限に抑制されている画像領域である。このため、画像における対象物の姿勢または形状が変化するように動いている同一対象物のサイズの変化率Ｒａｔｅ（ｋ）が高精度で算出される。

そして、当該変化率Ｒａｔｅ（ｋ）を基礎とすることにより、対象物が動いている場合でも車両１から対象物までの距離Ｚ（ｋ）または位置Ｐ（ｋ）が高精度で測定されうる（図３／Ｓ０２４，Ｓ０２６，図５参照）。

また、対象物の種類の相違に応じてその動きが比較的少ない部分が相違することに鑑みて、対象物の動きによるサイズの変動が最小限に抑制されている局所領域Ｂ（ｋ）のサイズの変化率を基礎とすることにより、歩行者等、さまざまな種類の対象物の車両１からの距離または位置が高精度で測定されうる（図３／Ｓ０１６，Ｓ０１８参照）。特に、対象物としての歩行者の上半身は下半身と比較して動きが少ないことに鑑みて、歩行者の動きによるサイズの変動が最小限に抑制されている局所領域Ｂ（ｋ）のサイズの変化率を基礎とすることにより、対象物である歩行者の車両１からの距離Ｚ（ｋ）または位置Ｐ（ｋ）が高精度で測定されうる。

本発明の車両の構成説明図。 本発明の車両周辺監視装置の構成説明図。 本発明の車両周辺監視装置の機能を示すフローチャート。 対象物領域の設定方法に関する説明図。 局所領域のサイズの変化率の算出方法に関する説明図。

１‥車両、１０‥車両周辺監視装置、１１‥赤外線カメラ（撮像装置）。

Claims (4)

1. 車両に搭載されている一の撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する装置であって、
   前記画像において対象物が存在する領域を対象物領域として設定するとともに、前記対象物の形状に基づき、形状パターンマッチングによって、前記対象物の種類を判定し、前記対象物の種類に基づき、前記対象物のうち動きが比較的少ない部分が存在する領域として、前記対象物領域に対する配置が当該対象物の種類に応じて定められている前記対象物領域の一部の領域を局所領域として設定する第１処理要素と、
   異なる時刻の前記画像における前記局所領域のサイズの変化率を算出し、前記局所領域のサイズの変化率に基づいて前記車両から前記対象物までの距離を測定する第２処理要素とを備えていることを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記第１処理要素が前記対象物の形状に基づき、形状パターンマッチングによって、前記対象物の種類が歩行者に該当するか否かを判定し、前記対象物の種類が歩行者に該当すると判定したことを要件として前記対象物領域の上部を前記局所領域として設定することを特徴とする車両周辺監視装置。
3. 請求項２記載の車両周辺監視装置において、
   前記第１処理要素が前記対象物領域の上端に上端が一致し、かつ、前記対象物領域の幅に同等の高さを有する領域を前記局所領域として設定することを特徴とする車両周辺監視装置。
4. 請求項１記載の車両周辺監視装置において、
   前記第１処理要素が先時刻における前記局所領域が拡大されることにより得られる拡大局所領域と、前記先時刻よりも後の後時刻における前記局所領域との相関度を評価し、
   前記第２処理要素が、前記相関度が最高となったときの前記先時刻における前記局所領域の拡大率を前記局所領域のサイズの変化率として算出することを特徴とする車両周辺監視装置。

Images