JP4600760B2

JP4600760B2 - 障害物検出装置

Info

Publication number: JP4600760B2
Application number: JP2005186843A
Authority: JP
Inventors: 俊明柿並
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2005-06-27
Filing date: 2005-06-27
Publication date: 2010-12-15
Anticipated expiration: 2025-06-27
Also published as: WO2007000868A1; US20100045448A1; US7894631B2; EP1927962B1; JP2007004697A; EP1927962A4; EP1927962A1

Description

本発明は、車両の周辺の画像と、車両の周辺に存在する障害物までの距離とに基づいて、障害物を検出する障害物検出装置に関する。

車両の周辺に存在する障害物の検出に際して、画像情報と距離情報とは、双方大切である。即ち、画像情報は運転者の視覚を介して障害物の存在を報知する場合に明確な情報となり得、距離情報は障害物が車両にとって障害と成り得る位置に存在するか否かの判断に有用である。車両の周辺の画像は、車両に搭載されたカメラにより撮影される。撮影された周辺画像は、ほぼそのままの状態で車内の表示装置に表示されたり、種々の画像認識に用いられたりする。車両の周辺に存在する障害物までの距離を、画像処理によって演算することも可能である。この場合には、カメラにより撮影された画像から、画像情報と距離情報とを得ることができる。

下記に示す特許文献１には、視点が異なる２つの画面を用いて、障害物（物体）までの垂線距離を求める技術が示されている。この技術において、視点が異なる第１画像面と第２画像面とは、所定間隔をあけて平行に左右配置された２台のカメラによって作り出される。次に、それぞれの画像面における対応する物体画像部分のずれ量を算定する。そして、このずれ量から三角測量の原理を用いて、左右のカメラを結ぶ直線から物体までの垂線距離を求める。
この物体認識技術では、ステレオ画像が得られるように左右のカメラを正確に位置合わせして配置しなければならない。左右のカメラの位置ずれはそのまま物体の位置座標演算の誤差を導く。この物体認識装置を自動車などに搭載する際には、自動車におけるカメラ配置の自由度はそれほど高くないことから、このカメラ取り付け精度の厳密性は厳しい条件となる。

上記のような事情にも鑑みて、車両の周辺に存在する障害物までの距離を測定するために、超音波を利用したソナーなどの距離センサがしばしば用いられる。下記に示す特許文献２には、カメラとソナーとを搭載して表示ディスプレイに表示する画像を適切に切り替える技術が記載されている。これによると、車両の始動直後においては、車両前側方の画像と、車両直前直下の画像との双方を対等に表示ディスプレイに表示する。その後、ソナーによって車両の前方に近接して存在する障害物の存在が検出されると、車両直前直下の画像を車両前側方の画像に比べて強調して表示する。障害物が検出されない場合には、逆に車両前側方の画像を車両直前直下の画像に比べて強調して表示する。
この技術によれば、ソナーにより得られた距離情報は障害物が車両にとって障害と成り得る位置に存在するか否かの判断に用いられ、障害物の存在を画像情報により運転者へ良好に報知することができる。しかし、この技術において、距離情報は、ソナーの検知領域内に障害物が存在するか否かの分解能の低い情報である。従って、障害物の形状を正確に知り得ないか、知り得ても画像処理の演算負荷は大きいものとなる。

これに対し、下記に示す特許文献３には、超音波センサなどの距離測定手段と、電子カメラなどの画像取得手段とが分担して駐車可能空間を認識する駐車スペース地図作成装置の技術が示されている。この技術では、画像取得手段で取得した画像に基づいて、画像の奥行きを代表する特徴部が抽出される。そして、抽出された特徴部までの距離が、取得された画像上での位置と、距離測定手段の測定結果とにより算出される。これにより、車両が駐車可能な駐車スペースを矩形状に認識し（特許文献３第５図参照）、駐車スペース地図を作成する。

特開平５−１１４０９９号公報（第１６〜２０段落、第３〜５図）特開２００４−１４２５５７号公報（第５〜７段落、第１〜３図）特開２００２−１７０１０３号公報（第３〜１２段落、第２９段落、第１〜３図、第５図）

上述したように、特許文献３に記載の技術は、距離計測手段により計測された測定結果と、画像処理とを併用している。従って、画像処理を用いて距離を演算する場合に比べ、距離測定に要する時間を短縮し、車両を走行させながら信頼性の高い駐車スペース地図を高速度で作成できる。しかし、駐車スペースは、矩形状に示され、障害物はその形状までを考慮して高精度で検出されているとはいえない。

本願発明は、上記課題に鑑みてなされたもので、車両の周辺の画像と、車両の周辺に存在する障害物までの距離とに基づいて、少ない演算量で、高精度且つ高信頼性で障害物を検出する障害物検出装置を提供することを目的とする。

上記目的を達成するための本発明に係る障害物検出装置は、車両の周辺の画像と前記車両の周辺に存在する障害物までの距離とに基づいて、前記障害物を検出するものであって、以下の特徴構成を備える。
即ち、前記車両の移動に伴って、この移動方向に直交する方向に存在する前記障害物までの距離を測定する距離測定手段と、前記車両の移動に応じて、前記障害物を画角内に含む周辺画像を取得する画像入力手段と、前記車両の移動状態を検出し、移動に伴って遷移する自車位置を逐次特定する自車位置特定手段と、前記距離と前記自車位置とに基づいて、水平面に直交すると共に前記障害物の前記車両の移動方向に沿う面を第一平面として設定する第一平面設定手段と、前記距離と前記自車位置とに基づいて、前記車両の移動方向における前記第一平面の面端部を推定する面端部推定手段と、前記周辺画像において前記面端部を含む領域を画像認識領域として設定する画像認識領域設定手段と、前記画像認識領域における前記障害物の形状特徴を前記周辺画像より画像認識する画像認識手段と、前記第一平面と前記画像認識手段の認識結果とに基づいて、前記障害物を立体的に認識する立体形状認識手段と、を備える。

この特徴構成によれば、距離測定手段と画像入力手段との双方から得られた情報に基づいて、少ない演算量で、高精度且つ高信頼性で障害物を検出する障害物検出装置を提供することができる。距離測定手段によって得られた情報は、自車位置特定手段によって特定された自車位置と合わせて、第一平面を設定するために用いられる。また、詳細な画像認識を行う周辺画像中の画像認識領域を設定するためにも用いられる。画像認識手段は、画像認識領域において障害物の形状特徴を画像認識する。つまり、全ての周辺画像を対象として画像認識を行うことなく、障害物の形状特徴を認識する。従って、画像認識に掛かる演算量を少なくすることができる。そして、第一平面と、画像認識手段の認識結果とに基づいて、障害物を立体的に認識する。障害物が安定的に存在する部分では、主として距離計測手段によって測定された距離情報を用いて得られた第一平面によって、障害物の存在が検出できる。そして、障害物の端部（第一平面の面端部）では、画像認識により障害物の形状特徴が高精度に検出できる。その結果、少ない演算量で、高精度且つ高信頼性で障害物を立体的に検出する障害物検出装置を提供することができる。

ここで、前記画像認識手段が、前記画像認識領域において前記障害物の形状特徴を画像認識することにより、前記水平面及び前記第一平面に直交する第二平面を構築し、前記立体形状認識手段が、前記第一平面及び前記第二平面とに基づいて、前記障害物を立体的に認識すると好適である。

上記、構成によれば、設定された画像認識領域において、障害物の形状特徴を画像認識することにより、第二平面が精度良く構築される。そして、障害物は、第一平面と第二平面とに基づいて、矩形状の立体として精度良く認識される。矩形状の認識結果は、運転支援装置や駐車支援装置など、他の関連する装置において使用する場合に扱い易い情報である。上記特許文献３と同じように矩形状に障害物を検出しているが、本構成では障害物の端部（第一平面の面端部）の位置は、障害物の形状情報に基づいて正確に画像認識されている。従って、認識結果は特許文献３に比べ、高信頼性の情報として用いることができる。

また、前記画像認識手段が、前記画像認識領域において前記障害物の形状特徴を画像認識することにより、前記障害物の曲面形状を認識し、前記立体形状認識手段が、前記第一平面及び前記曲面形状とに基づいて、前記障害物を立体的に認識すると好適である。

上記、構成によれば、設定された画像認識領域において、障害物の曲面形状が認識される。そして、障害物は、第一平面と曲面形状とに基づいて、立体的に精度良く認識される。この認識結果を、運転支援装置や駐車支援装置など、他の関連する装置において使用する場合、高信頼性の情報として用いることができる。障害物が安定的に存在する部分では、第一平面によって障害物の存在が検出でき、障害物の端部では、障害物の曲面形状が高精度に検出できる。曲面形状の認識は、通常演算負荷が大きい。しかし、全ての周辺画像に対して、詳細な画像認識処理を行うことなく、必要な画像認識領域でのみ曲面形状を認識するので、少ない演算量で済む。その結果、少ない演算量で、高精度且つ高信頼性で障害物を立体的に検出する障害物検出装置を提供することができる。

また、前記車両の移動方向に沿って連続して推定された２つの前記面端部は、以下のように認識されると好適である。
即ち、前記画像認識手段は、一方の前記面端部を含む前記画像認識領域において前記障害物の形状特徴を画像認識することにより、前記水平面及び前記第一平面に直交する第二平面を構築すると共に、他方の前記面端部を含む前記画像認識領域において前記障害物の形状特徴を画像認識することにより、前記障害物の曲面形状を認識する。前記立体形状認識手段は、前記第一平面と前記第二平面と前記曲面形状とに基づいて、前記障害物を立体的に認識する。

障害物と車両（自車両）との、位置関係によって障害物の端部（面端部）がどのように認識されると好ましいかが、異なる場合がある。これは、得られた障害物の検出結果を、どのように利用するかによって異なる。つまり、表示装置に障害物の存在を表示する、駐車可能な場所を検出する、駐車運転を支援する、など検出結果をどのように利用するかによって異なる。そこで、障害物の検出結果を利用する目的が明らかな場合は、その利用目的に合致するように障害物の端部を認識すると好ましい。例えば、車両（自車両）の移動方向に沿う方向における自車両と障害物との距離（縦方向距離）を把握したい場合には、第二平面を基準とする。対象が曲面ではなく平面となるので、簡易な線形計算により縦方向距離を計算することができる。また、車両（自車両）が運転操作によって近づいていく可能性のある障害物の端部に対しては、その曲面形状を明確にしておく。そうすると、自車両と障害物との接触の可能性等を精度良く演算することができる。上記特徴によれば、面端部に応じて画像認識方法を異ならせるので、このように目的に合わせて最適化をすることができる。

前記障害物が前記車両の移動方向に沿って２つ存在した場合、連続して推定された第一障害物の前記面端部と第二障害物の前記面端部とは、以下のように認識されると好適である。
即ち、前記画像認識手段は、一方の前記面端部を含む前記画像認識領域において前記障害物の形状特徴を画像認識することにより、前記水平面及び前記第一平面に直交する第二平面を構築すると共に、他方の前記面端部を含む前記画像認識領域において前記障害物の形状特徴を画像認識することにより、前記障害物の曲面形状を認識する。前記立体形状認識手段は、前記第一平面と前記第二平面と前記曲面形状とに基づいて、前記第一障害物と前記第二障害物とこれら２つの障害物に挟まれた空間とを立体的に認識する。

本発明に係る障害物検出装置によって、複数の障害物に挟まれた空間を含めて認識したい場合がある。上述した特許文献３のように障害物と障害物とに挟まれた駐車スペースを検出する用途などがその一例である。このとき、障害物の近傍を移動して通りすぎた車両（自車両）から遠い側にある障害物（例えば第一障害物）の面端部に対しては、第二平面を構築する。そうすると、距離測定手段で測定する横方向とは直交する、即ち、車両（自車両）の移動方向に沿う縦方向距離が把握し易くなる。つまり計算対象が曲面ではなく平面であるので、簡易な線形計算により縦方向距離を計算することができる。一方、車両（自車両）に近い側にある障害物（例えば第二障害物）の面端部に対しては、曲面形状を認識する。そうすると、車両（自車両）が運転操作によって近づいた場合に、自車両と障害物とが接触する可能性等を精度良く演算することができる。そして、曲面形状が認識できれば、この曲面形状に接し、第一平面に直交する第二平面も容易に計算できる。従って、第一障害物の面端部において構築された第二平面と、第二障害物の面端部において計算された第二平面とに挟まれた空間を立体的に認識することができる。また、この空間の端部の少なくとも１つは、面形状が認識されているので、特許文献３のように単なる矩形状に空間を認識するのに対して、精度の良い認識を実現することができる。

また、前記距離測定手段が前記車両の側面に側方を向いて備えられ、前記画像入力手段が前記車両の前方及び後方の少なくとも一方を向いて備えられると共に、前記画像入力手段は取得する前記周辺画像を一時的に記憶する一時記憶手段を有し、前記画像認識手段は前記一時記憶手段に記憶された前記周辺画像より前記形状特徴を画像認識するものであってもよい。

本発明に係る障害物検出装置では、距離計測手段によって計測された距離情報を利用して、画像認識手段が画像認識を行う画像認識領域が定められる。画像入力手段に一時記憶手段を設けると、距離計測手段による計測結果が得られる時点と、画像認識領域を含む周辺画像が得られる時点とにずれが生じても、このずれを調整することができる。つまり、距離情報が得られる前に自車両が画像認識領域を含む周辺画像を画角内に収める位置を通り過ぎていても、周辺画像が一時記憶手段に記憶されている。従って、距離情報に基づいて記憶された周辺画像から画像認識領域の形状特徴を良好に画像認識することができる。

また、前記距離測定手段が前記車両が移動する方向において前記画像入力手段に先行すると共に前記車両の側面に側方に向けて備えられ、前記画像入力手段が、前記車両が移動する方向において後方に向けて備えられると好適である。

この構成によれば、距離計測手段は車両（自車両）が移動する方向において画像入力手段に先行して備えられる。従って、先に距離計測手段によって計測された距離情報を利用して、画像認識手段が画像認識を行う画像認識領域を定めることができる。つまり、距離情報が得られる前に自車両が画像認識領域を含む周辺画像を画角内に収める位置を通り過ぎることがない。従って、一時記憶手段などの記憶手段を設けることなく、良好に形状特徴の画像認識を行うことができる。記憶手段を備えない分、装置の構成を簡潔にすることができる。

好適な一実施形態として、車両の前方部の両側方に側方に向けた距離計測手段を備え、車両の後方部に後方視界を有する広角の画像入力手段を備えるとよい。車両の前進時に障害物を認識する場合には、一時記憶手段を設けなくとも、良好に障害物を検出できる。尚、距離計測手段及び画像入力手段の構成が同様であって、車両の後退時にも障害物を検出したい場合には、一時記憶手段を設けるとよい。一時記憶手段を設けた場合には、距離計測手段及び画像入力手段の設置場所や車両の進行方向に対する依存度を低くすることができる。以下、図面を利用して本発明に係る障害物検出装置の好適な実施形態の数々について説明する。

〔システム構成〕
図１は、本発明に係る障害物検出装置の構成を模式的に示すブロック図である。本発明に係る障害物検出装置は、車両の周辺の画像と、車両の周辺に存在し障害物となる物体までの距離とに基づいて、車両の周辺に存在する障害物を検出するものである。図１に示すように、画像入力手段２としてのカメラ２Ａと、距離測定手段としての距離センサ３と、自車位置特定手段４と、第一平面設定手段５と、面端部推定手段６と、画像認識領域設定手段７と、画像認識手段８と、立体形状認識手段９とが備えられている。ＥＣＵ（Electronic Control Unit）１は、本発明の障害物検出装置の中核を為すもので、図１に示すように上記種々の手段の多数が含まれる。ＥＣＵ１は、好適には、マイクロコンピュータやＤＳＰ（Digital Signal Processor）などの論理回路群により構成される。良く知られているように、このようなマイクロコンピュータなどは、プログラムによって多くの異なる演算が可能である。従って、上記各手段は、ハードウェア的に明確に区別できるものには限定されない。各手段は、それぞれの機能を分担するのであれば充分である。

画像入力手段２としてのカメラ２Ａは、本実施形態においては車両の後方に備えられ、後方を広角撮影するいわゆるバックカメラである。カメラ２Ａは、少なくとも障害物を含む車両の周辺画像を取得する。
距離測定手段としての距離センサ３は、例えば車両の側方に向けて設置されたポイントセンサである。レーザを利用したシングルービームセンサや超音波を利用したソナー等がその一例である。距離センサ３は、後述するように、車両の移動に伴って、この移動方向に直交する方向に存在する障害物までの距離を測定する。測定された距離は距離情報として、後述する種々の処理に用いられる。

自車位置特定手段４は、図１に示すように移動状態検出手段４Ａと、自車位置演算手段４Ｂとを備えている。移動状態検出手段４Ａは、車両の前後左右の四輪（ＦＲ、ＦＬ、ＲＲ、ＲＬ）に備えられた車輪速センサ４１や、舵角センサ４２から構成される。車輪速センサ４１は、車輪の回転数や回転方向を検出する。操舵センサ４２は、ステアリングの回転角度より、車両の舵角を検出する。尚、各車輪に対して測定された回転センサ４１の回転数の差により、車両の舵角を演算してもよい。自車位置特定手段４は、移動状態検出手段４Ａにより車両の移動状態を検出し、移動に伴って遷移する自車位置を自車位置演算手段４Ｂにより基準座標上において特定する。基準座標とは、ワールド座標（world coordinates）ともいい、画像処理系においてカメラや対象物に対して共通に定められた座標のことを指す。尚、他の実施形態として、単位時間ごとに自車がどの方向にどれだけ動いたかを、逐次特定する方法によって自車位置を特定してもよい。

第一平面設定手段５は、距離情報と自車位置とに基づいて、障害物の車両（自車両）の移動方向に沿う面を、基準座標上において水平面に直交する平面である第一平面として設定する。面端部推定手段６は、上記第一平面の水平面に平行する方向の面端部を推定する。画像認識領域設定手段７は、上記周辺画像において上記面端部を含む画像領域を画像認識領域として設定する。画像認識手段８は、カメラ２Ａにより撮影された周辺画像より上記画像認識領域における障害物としての物体の形状特徴を上記周辺画像より認識する。立体形状認識手段９は、第一平面と画像認識手段８の認識結果とに基づいて、物体を立体的に認識する。これら各手段の詳細については後述する。

〔原理〕
本発明の障害物検出装置は、車両に搭載された距離センサ３から得られる距離情報と、カメラ２Ａとから得られる画像情報とを両者の長所を有効に利用して、少ない演算負荷で良好に障害物を立体的に認識しようとするものである。
一般にソナーのような距離センサ３は、正対して面している対象物までの距離の検出精度に優れている。しかし、距離センサ３の発するビーム径は遠方に行くほど広がるため、対象物の端部の正確な検出には適していない。一方、カメラ２Ａにより撮影される画像は、二次元的であるため、対象物までの距離の検出には適していない。複数のカメラを利用してステレオ画像を得て画像処理するなどの方法があるが、演算負荷が重く、距離センサ３の比ではない。しかし、対象物の端部など、画像のコントラストの大きい部分では、二次元画像を用いて形状や輪郭の正確な検出ができる。この点においては、画像処理が優れている。このように、距離センサ３とカメラ２Ａとは、相補的な関係を有している。本発明は、両者の長所を有効に利用するものである。
以下、本発明に係る障害物検出装置を、車両（以下、適宜「自車両」と称する。）が、障害物として他の車両（以下、適宜「駐車車両」と称する。）を立体的に検出する場合を例として本発明の基本原理を説明する。

図２は、車両２０の移動に伴って障害物としての駐車車両３０までの距離、及び駐車車両３０を含む車両２０の周辺画像を取得する例を示す説明図である。車両２０の両側面の前部には、側方を向いて距離測定手段としての距離センサ３が備えられている。図２においては、駐車車両３０が存在する側の距離センサ３のみを図示している。車両２０の後部には、後方を向いて、即ち、後方を広角で視界に収める画像入力手段２としてのカメラ２Ａが備えられている。距離センサ３は、矢印で示す移動方向Ｍへの車両２０の移動に伴って、駐車車両３０までの距離を測定する。即ち、図２（ａ）に示す位置（position 2a）から、図２（ｄ）に示す位置（position 2d）への移動に伴って、駐車車両３０の車両２０の移動方向に沿う面への距離情報Ｓを検出する（図３参照）。

図２（ａ）の状態（position 2a）において、図３に示す駐車車両３０の後端のコーナー部Ｃ２が距離センサ３によって概略検出される。車両２０が移動方向Ｍに進行し、図２（ｃ）の状態（position 2c）に達すると、図３に示す駐車車両３０の後端のコーナー部Ｃ２がカメラ２Ａによって高精度に検出される。また、図２（ｂ）の状態（position 2b）において、図３に示す駐車車両３０の前端のコーナー部Ｃ１が距離センサ３によって概略検出される。車両２０が移動方向Ｍに進行し、図２（ｄ）の状態（position 2d）に達すると、図３に示す駐車車両３０の前端のコーナー部Ｃ１がカメラ２Ａによって高精度に検出される。

距離情報Ｓは、車両２０の移動に伴って図３に示す如く検出される。移動する車両２０の位置は、自車位置特定手段４により基準座標上に特定される。そして、第一平面設定手段５は、距離情報Ｓ（検出された距離）と、自車位置とに基づいて、駐車車両３０の車両２０の移動方向に沿う面を、図４に示すように第一平面ＬＮ（縦平面：longitudinal plane）として設定する。第一平面ＬＮは、基準座標上において水平面に直交する平面である。第一平面ＬＮの車両２０の移動方向の両端を面端部（コーナー部）Ｃと称する。また、図４に示すように、駐車車両３０の前端部側の面端部Ｃには、水平面及び第一平面ＬＮに直交する第二平面ＬＴ０（横平面：lateral plane）が構築される。この第二平面ＬＴ０は、仮の横平面である。後述するように画像認識手段８による画像認識処理を経て、正確な第二平面ＬＴが再構築される。

図２に基づいて説明したように、カメラ２Ａは、距離センサ３による駐車車両３０の検出に遅れて、その視野に駐車３０を含むようになる。図５に示す駐車車両３０のコーナー部Ｃは、距離センサ３による駐車車両３０の検出に遅れて、カメラ２Ａによって撮影される。カメラ２Ａによって撮影された周辺画像において、上記コーナー部Ｃが画像認識領域として設定される。そして、この画像認識領域における駐車車両３０の形状特徴が、画像認識手段８において周辺画像より画像認識される。つまり、カメラ２Ａにより撮影された周辺画像を利用して、駐車車両３０のコーナー部Ｃが高精度に検出される。

この高精度の検出とは、例えば図６に示すように駐車車両３０の後端のコーナー部Ｃ２において曲面形状ＳＳ（surface shape）が画像認識されることや、駐車車両３０の前端のコーナー部Ｃ１において第二平面ＬＴが再構築されることである。もちろん、曲面形状ＳＳと第二平面ＬＴとが、図６と逆のコーナー部Ｃにおいて画像認識や再構築されてもよい。また、両方のコーナー部Ｃにおいて共に曲面形状ＳＳが認識されたり、第二平面ＬＴが再構築されたりしてもよい。詳細は、後述するが、駐車車両３０の前端のコーナー部Ｃ１においては、形状特徴としてのフロントプロファイル（front profile）に基づいて画像認識処理が施され、第二平面ＬＴが再構築される。従って、上述した仮の第二平面ＬＴ０に比べて正確に駐車車両３０の前端部に接する平面が構築されている。同じく詳細は後述するが、コーナー部Ｃ２においては、形状特徴としてのオクルージョンプロファイル（occlusion profile）に基づいて画像認識処理が施され、曲面形状ＳＳが認識される。そして、第一平面ＬＮと、第二平面ＬＴと、曲面形状ＳＳとに基づいて、立体形状認識手段９において駐車車両３０が立体的に認識される。

〔距離情報及び画像情報の取得の別態様〕
画像入力手段２及び距離測定手段３によって周辺画像及び距離情報の取得する態様は図２に示したものに限定されるものではない。図７はその別態様を示す説明図である。車両２０の両側面の前部には、側方を向いて距離測定手段としての距離センサ３が備えられている。車両２０の前部には、前方を向いて画像入力手段２としてのカメラ２Ａが備えられている。距離センサ３は、矢印で示す移動方向Ｍへの車両２０の移動に伴って、駐車車両３０までの距離を測定する。即ち、図７（ａ）に示す位置（position 7a）から、図７（c）に示す位置（position 7c）への移動に伴って、駐車車両３０の車両２０の移動方向に沿う面への距離情報Ｓを検出する。図７においては、カメラ２Ａが車両２０の移動方向側に設置されているので、図２に示した態様と異なり、距離センサ３による検出に先立って、カメラ２Ａにより周辺画像が取得される。

図８は、別態様の他の例を示す説明図である。車両２０の両側面の前部には、側方を向いて距離測定手段としての距離センサ３が備えられている。車両２０の前部及び後部には、前方及び後方を向いて画像入力手段２としてのカメラ２Ａが備えられている。距離センサ３は、矢印で示す移動方向Ｍへの車両２０の移動に伴って、駐車車両３０までの距離を測定する。即ち、図８（ａ）に示す位置（position 8a）から、図８（ｄ）に示す位置（position 8d）への移動に伴って、駐車車両３０の車両２０の移動方向に沿う面への距離情報Ｓを検出する。図８においては、カメラ２Ａが車両２０の移動方向側とその反対側との２箇所に設置されている。従って、距離センサ３による検出に先立って移動方向側のカメラ２Ａにより周辺画像が取得されると共に、距離センサ３による検出を追って移動方向とは反対側のカメラ２Ａにより周辺画像が取得される。

図７及び図８に示した態様では、図２に示した態様と異なり、距離センサ３による検出に先立って、カメラ２Ａにより周辺画像が取得される場合がある。上述したように、本発明の基本原理は、距離センサ３により概略検出を行い、概略検出されたコーナー部Ｃ（面端部）に対して、カメラ２Ａにより取得した周辺画像を用いて画像認識を行うものである。そこで、図９に示すように、画像入力手段２に一時記憶手段２Ｂを備え、カメラ２Ａにより撮影した画像を一時的に記憶するようにしている。距離センサ３によるコーナー部Ｃの検出に先立って、カメラ２Ａにより周辺画像が取得されても、検出後に一時記憶手段２Ｂから周辺画像を取得して、コーナー部Ｃの画像認識を良好に行うことができる。

尚、図示は省略するが距離センサ３と同様の方向に向けて、距離センサ３による障害物の検出位置を含む画角を有するカメラ２Ａを、車両２０の側面に設けてもよい。

〔実施例〕
以下、本発明を図１０に示すように障害物としての２台の駐車車両３０Ａと、３０Ｂとの横を車両２０が通過し、両駐車車両３０と、その間の空間とを検出する場合を例に詳細に説明する。尚、この例の検出結果は、縦列駐車（parallel parking）を支援する場合に役立てることができるものである。

縦列駐車を支援する場合に有用な情報は、図１１に示すように、駐車車両３０Ａ及び３０Ｂの側面の位置を示す第一平面ＬＮ（縦平面：longitudinal plane）と、車両２０に近い側の駐車車両３０Ｂのコーナー部ＣＢの曲面形状（surface shape）ＳＳと、車両２０に遠い側の駐車車両３０Ａの前端部の位置を示す第二平面ＬＴ（横平面：lateral plane）と、駐車空間（parking space）ＰＳの大きさと、車両２０から駐車空間ＰＳまでの縦方向距離（overtaking distance）ＯＤと、車両２０から第一平面ＬＮまでの横方向距離（side distance）ＳＤと、である。
これらのうち、駐車空間ＰＳは、第二平面ＬＴと、曲面形状ＳＳ（第二平面ＬＴ１）とにより容易に求めることができる。縦方向距離ＯＤ、横方向距離ＳＤは、第一平面ＬＮと曲面形状ＳＳ（第二平面ＬＴ１）とにより容易に求めることができる。従って、本発明の障害物検出装置にとっての重要なタスクは、第一平面ＬＮと、曲面形状ＳＳと、第二平面ＬＴとを検出することにある。例えば、図１２に示すように、第一平面ＬＮと、曲面形状ＳＳと、第二平面ＬＴとが検出できれば、これをカメラ２Ａの画像に重畳して運転者に示すことによっても、良好に運転支援を行うことができる。

第一平面ＬＮは、図３及び図４に基づいて説明したように、距離センサ３により得られる距離情報Ｓによって容易に得ることができる。従って、曲面形状ＳＳの画像認識と、画像認識による第二平面ＬＴの再構築とが重要タスクとなる。図１１に示すように、第二平面ＬＴを再構築するためには、駐車車両３０Ａのコーナー部ＣＡにおいて、形状特徴としてのフロントプロファイル（front profile）ＦＰを画像認識する必要がある。曲面形状ＳＳを認識するためには、駐車車両３０Ｂのコーナー部ＣＢにおいて、形状特徴としてのオクルージョンプロファイル（occlusion profile）ＯＰを画像認識する必要がある。以下、フロントプロファイルとオクルージョンプロファイルとの画像認識について説明する。

〔フロントプロファイル〕
図１３は、フロントプロファイルを計算する方法を示す説明図である。車両２０は図１０に示したように、移動方向Ｍに向かって進行し、駐車車両３０Ａの横を通り過ぎている。車両２０の後部には後方に向けてカメラ２Ａが設置されている。駐車車両３０Ａのコーナー部ＣＡは、車両２０が、境界点ＢＰを通過すると、カメラ２Ａの視界に含まれるようになる。そして、車両２０の進行と共に遠ざかっていく。コーナー部ＣＡは、その概略位置が既に距離センサ３によって検出されている。従って、境界点ＢＰを過ぎてからの周辺画像を用いてフロントプロファイルを計算（画像認識）することができる。

図１４は、フロントプロファイルを計算するための一つの代表的な手法であるエピポーラ幾何を説明する説明図である。図中において、２つの直方体は並進運動するカメラの２つの視点から撮影された同一のものである。並進運動とは、カメラに回転成分がなく、カメラの属性が移動の前後で等しいことをいう。図中ｍ、ｍ’は、異なる２つの画像上において直方体の同一の点を表す画像点である。図１４では、ｍ１〜ｍ３の３点に対応するｍ’１〜ｍ’３の３点を示している。各ｍと各ｍ’とを結ぶ線ｌ１〜ｌ３は、エピポーラ線（epipolar line）ｌである。３本のエピポーラ線ｌは一点で交わり、これがエピポール（epipole）ｅとなる。この性質は自己エピポーラ（auto epipolar）と呼ばれる。この性質を利用し、エピポーラ幾何より得られる対応点ｍ、ｍ’から三次元座標を計算することにより対象物の三次元情報を得ることができる。その説明は、例えば、佐藤淳「コンピュータビジョン −視覚の幾何学−」コロナ社、１９９９年５月７日初版第８０−１０３頁に詳しいので、説明を省略する。

図１５は、駐車車両３０Ａに対して、エピポーラ幾何を適用した例である。短時間での移動距離であれば、車両２０の操舵などによってカメラ２Ａに回転要素が加わっていたとしても、近似的に並進運動とみなすことができる。そこで、カメラ２Ａにより撮影された周辺画像において、エピポール線ｌを走査線ｓｌに当てはめる。そして、走査線ｓｌの上の対応点をマッチング（scan-line matching）することにより、三次元情報を得る。三次元情報とは、点や区切り、矩形などである。これらの情報を組み合わせて、第二平面ＬＴを再構築する。尚、必ずしもエピポーラ幾何を利用する必要はなく、図１６に示すように垂直な走査線ｓｌにより、３次元情報を得てもよい。

〔オクルージョンプロファイル〕
図１７は、オクルージョンプロファイルを計算するための一つの代表的な手法である遮蔽輪郭（occlusion contour）ＯＣによる曲面形状認識を説明する説明図である。上記「コンピュータビジョン −視覚の幾何学−」にも紹介されているように、曲面に対してエピポーラ幾何を適用することは可能であるが、演算負荷は大きい。もちろん、ＥＣＵ１の演算能力が充分な場合などではエピポーラ幾何を適用してもよい。本実施形態においては、必ずしもエピポーラ幾何の適用は必要ではないことを明らかにすべく、他の方法について下記に説明する。

まず始めに周辺画像から二次元の遮蔽輪郭ＯＣが抽出される。周辺画像中の遷移部分（transitions）が検出され、駐車車両３０Ｂと背景との遷移領域に対応する部分の遮蔽輪郭ＯＣが検出される。図１８に示すように、コーナー部ＣＢは曲面であるため、カメラ２Ａからの光線Ｒは、画像ごとに駐車車両３０Ｂの複数の点で遮蔽される。つまり、２次元オクルージョンプロファイル上で、コーナー部ＣＢを示す点は複数の点の集合である。三次元オクルージョンプロファイルは、曲面形状であるので、コーナー部ＣＢを示す点はそれぞれ異なる。三次元のコーナー部ＣＢを示す点は、周辺画像内の二次元の遮蔽輪郭ＯＣ上に存在する最も外側の点に対応する。駐車車両３０Ｂのコーナー部ＣＢに接する三次元の光線Ｒの数に応じて、コーナー部ＣＢを示す点も複数ある。オクルージョンプロファイルは、図１９に示すように、全ての光線Ｒの包絡線（envelope）Ｅとして計算される。

図２０に示すように、複数存在する点としてのコーナー部ＣＢは、全ての光線Ｒに接する、つまり全ての光線Ｒに対する共接円（osculating circle）ＥＣによって近似することができる。共接円ＥＣは、第一平面ＬＮと、第一平面ＬＮに直交する第二平面ＬＴ１とに接する円となる。共接円ＥＣと、第一平面ＬＮと、第二平面ＬＴとを、第一平面ＬＮ及び第二平面との接点で結んで一つの曲線を描くと、輪郭形状ＣＳとなる。これを３次元的に考えれば、曲面形状ＳＳとなる。

フロントプロファイルやオクルージョンプロファイルの計算には走査線ｓｌ上のトランジションの抽出が必要である。これを、仮に周辺画像の全体で処理すれば、演算量は膨大である。しかし、距離センサ３を利用することによりフロントプロファイルやオクルージョンプロファイルが出現する画像領域を絞り込むことが可能となる。そして、この画像領域において三次元情報を容易に得ることができる。図２１に示すように、距離センサ３が障害物（駐車車両３０）に面して通過中であれば、距離センサ３からの距離情報Ｓは滑らかに推移する（符号Ｐの領域）。また、距離センサ３が障害物から離れた位置にあり、そこには例えば障害物が存在しないのであれば距離センサ３からの距離情報Ｓはオーバーフローする（符号Ｂの領域）。従って、何れも、それぞれの領域において距離情報Ｓは滑らかである。しかし、これら２つの領域の間の領域Ｉは急激な変化をしている。この領域Ｉは、ほぼ駐車車両３０の前または後ろのコーナー部Ｃの位置に相当する。周辺画像中における駐車車両３０のコーナー部Ｃの位置は、画像認識領域設定手段７により設定される。つまり、オクルージョンプロファイルやフロントプロファイルなどの形状特徴を認識するための注目領域（ROI：region of interest）として設定することができる。本発明によれば、注目領域に相当する周辺画像のみを用いて画像処理を行うので、演算負荷が軽減される。

以上、縦列駐車を例示して本発明の実施形態を詳細に説明したが、もちろん車庫入れ駐車（angle parking）にも適用することができる。また、障害物は駐車車両に限らず、狭路に於ける壁面や、狭路上の壁面に隣接する電柱など、種々のものを対象とすることができる。

以上説明したように、車両の周辺の画像と、車両の周辺に存在する障害物までの距離とに基づいて、少ない演算量で、高精度且つ高信頼性で障害物を検出する障害物検出装置を提供することができる。

本発明に係る障害物検出装置の構成を模式的に示すブロック図車両の移動に伴って駐車車両までの距離、及び周辺画像を取得する例を示す説明図第一平面を設定する例、及び面端部を推定する例を示す説明図駐車車両と、第一平面及び第二平面との関係の一例を示す斜視図面端部における画像認識領域の例を示す斜視図画像認識領域における画像認識により認識される駐車車両の曲面形状及び、構築される第二平面の例を示す斜視図車両の移動に伴って駐車車両までの距離、及び周辺画像を取得する他の例１を示す説明図車両の移動に伴って駐車車両までの距離、及び周辺画像を取得する他の例２を示す説明図本発明に係る障害物検出装置の他の構成を模式的に示すブロック図本発明を縦列駐車に適用する場合に、車両の移動に伴って駐車車両までの距離、及び周辺画像を取得する他を示す説明図本発明を縦列駐車に適用する場合の障害物検出装置の検出結果の相互関係を平面的に示す説明図本発明を縦列駐車に適用する場合の障害物検出装置の検出結果を立体的に示す斜視図第二平面を再構築するための形状特徴（フロントプロファイル）を認識する方法を示す説明図エピポーラ幾何を用いてフロントプロファイルを演算する原理を示す説明図エピポーラ線を走査線としてフロントプロファイルを演算する例を示す説明図垂直走査線を用いてフロントプロファイルを演算する例を示す説明図周辺画像上における駐車車両の遮蔽輪郭を示す説明図移動する車両と遮蔽輪郭との関係を示す説明図カメラから遮蔽輪郭上の点への光線と、その包絡線とを示す説明図図１９に示す包絡線を共接円によって近似する説明図障害物の存在状態に対する距離測定手段の測定結果の特性と、画像処理との関係を示す説明図

符号の説明

２画像入力手段
２Ａ：カメラ、２Ｂ：記憶手段
３距離センサ（距離測定手段）
４自車位置特定手段
５第一平面設定手段
６面端部推定手段
７画像認識領域設定手段
８画像認識手段
９立体形状認識手段

Claims

車両の周辺の画像と、前記車両の周辺に存在する障害物までの距離とに基づいて、前記障害物を検出する障害物検出装置であって、
前記車両の移動に伴って、この移動方向に直交する方向に存在する前記障害物までの距離を測定する距離測定手段と、
前記車両の移動に応じて、前記障害物を画角内に含む周辺画像を取得する画像入力手段と、
前記車両の移動状態を検出し、移動に伴って遷移する自車位置を逐次特定する自車位置特定手段と、
前記距離と前記自車位置とに基づいて、水平面に直交すると共に前記障害物の前記車両の移動方向に沿う面を、第一平面として設定する第一平面設定手段と、
前記距離と前記自車位置とに基づいて、前記車両の移動方向における前記第一平面の面端部を推定する面端部推定手段と、
前記周辺画像において前記面端部を含む領域を画像認識領域として設定する画像認識領域設定手段と、
前記画像認識領域における前記障害物の形状特徴を前記周辺画像より画像認識する画像認識手段と、
前記第一平面と前記画像認識手段の認識結果とに基づいて、前記障害物を立体的に認識する立体形状認識手段と、を備える障害物検出装置。
前記画像認識手段は、前記画像認識領域において前記障害物の形状特徴を画像認識することにより、前記水平面及び前記第一平面に直交する第二平面を構築し、前記立体形状認識手段は、前記第一平面及び前記第二平面とに基づいて、前記障害物を立体的に認識する請求項１に記載の障害物検出装置。
前記画像認識手段は、前記画像認識領域において前記障害物の形状特徴を画像認識することにより、前記障害物の曲面形状を認識し、前記立体形状認識手段は、前記第一平面及び前記曲面形状とに基づいて、前記障害物を立体的に認識する請求項１に記載の障害物検出装置。
前記車両の移動方向に沿って連続して推定された２つの前記面端部に対して、
前記画像認識手段は、一方の前記面端部を含む前記画像認識領域において前記障害物の形状特徴を画像認識することにより、前記水平面及び前記第一平面に直交する第二平面を構築すると共に、他方の前記面端部を含む前記画像認識領域において前記障害物の形状特徴を画像認識することにより、前記障害物の曲面形状を認識し、
前記立体形状認識手段は、前記第一平面と前記第二平面と前記曲面形状とに基づいて、前記障害物を立体的に認識する請求項１に記載の障害物検出装置。
前記障害物が前記車両の移動方向に沿って２つ存在した場合、連続して推定された第一障害物の前記面端部と第二障害物の前記面端部とに対して、
前記画像認識手段は、一方の前記面端部を含む前記画像認識領域において前記障害物の形状特徴を画像認識することにより、前記水平面及び前記第一平面に直交する第二平面を構築すると共に、他方の前記面端部を含む前記画像認識領域において前記障害物の形状特徴を画像認識することにより、前記障害物の曲面形状を認識し、
前記立体形状認識手段は、前記第一平面と前記第二平面と前記曲面形状とに基づいて、前記第一障害物と前記第二障害物とこれら２つの障害物に挟まれた空間とを立体的に認識する請求項１に記載の障害物検出装置。
前記距離測定手段が前記車両の側面に側方を向いて備えられ、前記画像入力手段が前記車両の前方及び後方の少なくとも一方を向いて備えられると共に、前記画像入力手段は取得する前記周辺画像を一時的に記憶する一時記憶手段を有し、前記画像認識手段は前記一時記憶手段に記憶された前記周辺画像より前記形状特徴を画像認識する請求項１〜５の何れか一項に記載の障害物検出装置。
前記距離測定手段は、前記車両が移動する方向において前記画像入力手段に先行すると共に前記車両の側面に側方に向けて備えられ、前記画像入力手段は、前記車両が移動する方向において後方に向けて備えられる請求項１〜５の何れか一項に記載の障害物検出装置。