JP6132808B2 - 認識装置 - Google Patents

Description

本発明は、撮像部により得られる画像に基づいて画像認識処理を行う認識装置に関する。

従来、このような認識装置として、撮像部により得られる画像データで構成される画像中のエッジを抽出して道路の領域や先行車両の有無等を認識する手段を備えたものが知られている（例えば、特許文献１参照）。先行車両の有無等の認識結果は、認識装置が搭載された自車と先行車両との間の車間距離や、自車に対する先行車両の横方向の位置の差を求めるために用いられる。

特許文献１の認識装置では、撮像部により得られる画像から抽出されるエッジに基づいて道路の領域が判定される。また、道路の領域を示す境界線における凹部として、先行車両が存在し得る区域が特定される。

さらに、その区域において抽出される水平エッジの多寡に基づいて、その区域における先行車両の有無が判定される。先行車両が存在すると判定された場合には、同様の先行車両の認識処理が行われ、その結果に基づいて道路の領域が補正される。

特開平１−２８１６００号公報

しかしながら、特許文献１の認識装置によれば、先行車両の有無の判定に際し、水平エッジの多寡、すなわち先行車両の後部に存在するバンパや窓枠などにより多くの水平エッジが抽出されるか否かにより判定が行われる。

このため、隣接車線に先行車両が存在し、自車に対して先行車両の位置が横方向にずれているような場合には、その先行車両の後部しか認識されず、その先行車両の側面は認識されない。したがって、道路の領域を先行車両の領域で補正しても、道路の正確な領域を得ることはできない。

本発明の目的は、かかる従来技術の課題に鑑み、撮像部により得られる画像において横方向にずれた位置を走行する車両の領域を正確に認識できる認識装置を提供することにある。

本発明の認識装置は、撮像部と、前記撮像部により得られる画像において車両の後部の領域を認識する車両後部認識部、及び前記車両後部認識部により後部の領域が認識された車両について、該後部よりも消失点側に垂直エッジが存在するか否かを判定するエッジ有無判定部を含み、前記エッジ有無判定部により垂直エッジが存在すると判定された車両の領域を、該車両の後部から該垂直エッジに至る領域として認識する車両領域認識部とを備えることを特徴とする。

本発明において、画像中の車両の後部よりも消失点側に位置する垂直エッジは、画像に占める車両の領域の内側の先端部に該当する蓋然性が高い。このため、その垂直エッジから車両の後部に到る領域は、車両が占める領域に対応する可能性が高い。

したがって、上記の車両としての他車両が、認識装置を搭載した自車両に対して横方向にずれた位置を走行している場合でも、他車両の領域を、垂直エッジから他車両の後部に及ぶものとして、高い精度で認識することができる。

本発明において、前記エッジ有無判定部は、前記撮像部の光軸に対する横方向の変位量が所定値以上である前記車両についてのみ、前記垂直エッジが存在するか否かの判定を行ってもよい。

これによれば、エッジ有無判定部は、車両後部認識部により後部の領域が認識された車両のうち、撮像部の光軸に対して横方向に離れている車両のみを対象として判定を行えばよいので、エッジ有無判定部における処理の負荷を低減させることができる。

本発明において、前記エッジ有無判定部による判定は、前記後部の幅に基づいて定められる領域を対象として行われてもよい。

これによれば、判定の対象領域を、車両後部の幅に基づいて適切に定めることにより、車両の先端部に対応する垂直エッジが存在する蓋然性が高い領域に定めることができる。したがって、エッジ有無判定部は、正確かつ迅速に判定を行うことができる。

本発明において、前記エッジ有無判定部による判定は、前記撮像部の光軸に対する横方向の変位量に基づいて定められる領域を対象として行われてもよい。

これによれば、判定の対象領域を、撮像部の光軸に対する車両の横方向の変位量に基づいて適切に定めることにより、車両の先端部に対応する垂直エッジが存在する蓋然性が高い領域に定めることができる。したがって、エッジ有無判定部は、正確かつ迅速に判定を行うことができる。

本発明において、前記車両領域認識部により認識される車両の領域は、前記エッジ有無判定部により存在すると判定された垂直エッジと該車両の後部における左右の垂直エッジのうちの消失点側に位置するものとの下端同士を結ぶライン、又は該ラインに沿った所定範囲内で検出される斜めエッジと、該後部の下端縁のエッジとで画定されてもよい。これによれば、車両の領域をより正確に認識することができる。

本発明において、前記車両領域認識部により認識される車両の領域の上の領域は、認識の対象外として扱われてもよい。これによれば、車両の上の領域を認識処理の対象としなくてもよいので、認識装置の処理負荷を低減させることができる。

本発明において、前記車両認識部により認識される車両の領域を除いた領域を対象として車線を認識する車線認識部を備えてもよい。これによれば、車線の認識が、車両よりも手前の領域で行われるので、車線認識部における車線の誤検知や処理負荷を低減させることができる。

本発明の一実施形態に係る認識装置の構成を示すブロック図である。 図１の認識装置の車両領域認識部に入力される撮影画像の一例を示す図である。 図１の認識装置の車両領域認識部及び道路領域抽出部により行われる処理を示すフローチャートである。 図３の処理により得られる道路境界線を示す図である。

以下、図面を用いて本発明の実施形態を説明する。図１に示すように、実施形態の認識装置１は、それが搭載された自車両の前方を撮影する撮像部としての車載カメラ２と、車載カメラ２により得られる撮影画像に基づいて認識処理を行う認識処理部３とを備える。認識処理部３は、コンピュータとプログラム、又はこれらと同等な論理回路、又は画像認識に適したプロセッサを用いて構成される。

認識処理部３は、撮影画像に基づいて車載カメラ２の姿勢を推定する姿勢推定部４と、その姿勢に基づいて地平線の存在する領域を算出する地平線算出部５と、撮影画像からエッジを抽出するエッジ抽出部６と、撮影画像に基づいて車両を認識する車両認識部７と、認識された車両の境界部分を検出する車両領域認識部８と、地平線算出部５及び車両領域認識部８の処理結果に基づいて車線を認識する車線認識部９とを備える。

姿勢推定部４が推定する車載カメラ２の姿勢を示す指標としては、移動ベクトルやピッチ角、パン角、ロール角が該当する。車両認識部７は、例えば、予め検知対象となる車両の画像テンプレートを用意し、そのテンプレートとの一致性を判定して車両を認識し、車両認識枠を設定する。

車両領域認識部８は、車両認識部７により認識された車両の後部の領域を認識する車両後部認識部１０と、その後部の領域が認識された車両について、該後部よりも消失点側に垂直エッジが存在するか否かを判定するエッジ有無判定部１１とを備える。

車線認識部９は、地平線算出部５及び車両領域認識部８の処理結果に基づいて道路が存在する領域を抽出する道路領域抽出部１２と、抽出された領域から車線の候補となる点群を抽出する車線候補点抽出部１３と、抽出された点群から最終的に車線となる点群を絞り込み、線分として繋げることにより車線を検出する車線検出部１４とを備える。

車線認識部９による車線の認識結果は、自車両の車両制御部１５において、走行車線からの逸脱を回避する制御等を行ったり、自車両の警告表示制御部１６において、走行車線からの逸脱を警告する表示を行ったりするのに役立てられる。

図２は、車両認識部７から車両領域認識部８に入力される撮影画像の一例を示す。この撮影画像１７上には、地平線算出部５により算出された地平線１８と、車両認識部７により認識された前走車両１９の車両認識枠２０と、エッジ抽出部６が抽出した水平エッジ２１、２１ａ及び垂直エッジ２２、２２ａ〜２２ｃが表示されている。

かかる撮影画像１７に基づいて、車両領域認識部８及び道路領域抽出部１２による図３の処理が行われる。車両領域認識部８により、図３中のステップＳ１〜Ｓ１０の処理が行われ、道路領域抽出部１２により、ステップＳ１１及びＳ１２の処理が行われる。

すなわち、処理を開始すると、車両領域認識部８は、まず、ステップＳ１において、撮影画像１７上の任意の前走車両１９の車両認識枠２０を選択する。車両認識部７による一般的な画像処理で車両を認識する手法によれば、前走車両１９の周辺領域も含めて認識されるので、認識した前走車両１９の正確な境界線は算出できない場合が多い。

そこで、車両領域認識部８は、ステップＳ２〜Ｓ９において、選択した車両認識枠２０中のエッジを抽出することにより、前走車両１９の正確な境界線を算出する。

まず、車両後部認識部１０により、前走車両１９の後部を認識する（ステップＳ２、Ｓ３）。すなわち、ステップＳ２において、エッジ抽出部６により抽出されたエッジのうちの、選択された車両認識枠２０の中に存在する水平エッジを抽出する。そして、抽出した水平エッジ群から、各エッジを構成する点の輝度勾配や線分の長さ、各エッジと周辺のエッジとの位置関係や輝度勾配の方向の対応関係等に基づき、前走車両１９の後部下端の水平エッジを抽出する。これにより、図２に示すような水平エッジ２１又は２１ａが抽出される。

次に、ステップＳ３において、エッジ抽出部６により抽出されたエッジのうちの選択した車両認識枠２０の中に存在する垂直エッジを抽出し、その垂直エッジ群から、各エッジを構成する点の輝度勾配や線分の長さ、輝度勾配の方向の対応関係等に基づき、前走車両１９の後部の左右端の垂直エッジを抽出する。これにより、図２に示すような垂直エッジ２２、又は２２ａ、２２ｂが抽出され、前走車両１９の後部が認識される。

次に、車両領域認識部８は、ステップＳ４において、認識装置１を搭載した自車両のヨーレートが所定値以上か否かを判定する。所定値以上であると判定した場合には、選択した車両認識枠２０に対する処理を終了してステップＳ１０に進む。

自車両のヨーレートが所定値未満であると判定した場合には、ステップＳ５において、ステップＳ２及びＳ３で抽出した前走車両１９の下端エッジ２１又は２１ａ、及び左右端の垂直エッジ２２、又は２２ａ及び２２ｂ、並びに姿勢推定部４が算出した車載カメラ２の姿勢に基づき、前走車両１９の３次元位置を算出する。

次に、ステップＳ６において、車載カメラ２の光軸に対する前走車両１９の横方向の変位量が所定以上であるか否かを判定する。すなわち、車載カメラ２を搭載した自車両と前走車両１９の横方向の位置の差である横オフセット量が所定値以上か否かを判定する。所定値以上でないと判定した場合には、選択中の車両認識枠２０についての処理を中止してステップＳ１０に進む。

ステップＳ６において横オフセット量が所定値以上であると判定した場合には、図２中の右側の前走車両１９のように、撮影画像１７上でその側面が多く見えている可能性が高い。一般的に、テンプレートマッチングを用いて前走車両を認識する場合は、車両の背面に対する一致性を判断するため、車両認識枠２０は基本的に車両の背面が検出された場合に設定される。

そこで、車両領域認識部８は、次に、エッジ有無判定部１１により、前走車両１９の後部よりも消失点側に垂直エッジが存在するか否かを判定する（ステップＳ７、Ｓ８）。この垂直エッジは、前走車両１９の側面の境界線である蓋然性が高い。

すなわち、まず、ステップＳ７において、車両先端に対応する垂直エッジの抽出を試みる。この抽出の試行は、図２中の右側の前走車両１９の場合について考えると、その横方向の位置に基づいて、左右端の垂直エッジ２２ａ又は２２ｂのいずれの側に車両先端に対応する先端エッジが存在するかを仮定し、先端エッジが存在すると仮定した側の垂直エッジ２２ａから消失点（無限遠点）２３の方向に向かって垂直エッジを探索することにより行われる。

このとき、車載カメラ２の姿勢と左右端の垂直エッジ２２ａ及び２２ｂの位置とから算出される前走車両１９の幅から予想される前走車両１９の先端位置の座標と、探索した垂直エッジとの位置関係や、左右端の垂直エッジ２２ａ及び２２ｂと探索した垂直エッジとの輝度勾配方向の対応関係等を考慮して、車両先端の垂直エッジが抽出される。

そして、ステップＳ８において、車両先端の垂直エッジが抽出できたか否かを判定する。抽出できなかった場合には、ステップＳ１０に進む。一方、図２に示すような車両先端の垂直エッジ２２ｃが抽出できた場合には、車両領域認識部８は、ステップＳ９において、車両先端の垂直エッジ２２ｃと、垂直エッジ２２ａ及び２２ｂのうちの消失点２３側に位置する垂直エッジ２２ａとを結ぶ車両側面の斜めエッジ２４ｄを抽出する。斜めエッジ２４ｄは、消失点２３側に位置する垂直エッジ２２ａと垂直エッジ２２ｃとの下端同士を結ぶラインに沿った所定範囲内で検出される。斜めエッジ２４ｄの抽出後、ステップＳ１０に進む。

ステップＳ１０では、未選択の車両認識枠２０があるか否かを判定する。未選択のものがあると判定した場合にはステップＳ１に戻り、その車両認識枠２０について同様の処理を開始する。未選択のものが無いと判定した場合には、車線認識部９の道路領域抽出部１２により、図４に示すような道路が存在する画像領域である道路領域２５を抽出する（ステップＳ１１、Ｓ１２）。

すなわち、まず、ステップＳ１１において、地平線算出部５により算出した地平線１８と、車両境界エッジ、すなわち上記のステップＳ２、Ｓ３、Ｓ７、Ｓ９の処理で抽出した前走車両１９の下端の水平エッジ２１、２１ａ、左右端の垂直エッジ２２、２２ａ、２２ｂ、先端の垂直エッジ２２ｃ及び斜めエッジ２４ｄを結合し、道路との境界線２６を算出する。そして、ステップＳ１２において、算出した境界線２６よりも手前側の領域を、道路領域２５として選択する。これにより、図３の道路領域抽出処理が終了する。

この後、選択された道路領域２５のみを対象として車線候補点抽出部１３や車線検出部１４による処理を実行することにより、前走車両１９の境界エッジを車線候補として誤検出する確率を下げることができる。また、高精度の車線検出が可能となる認識装置１を提供することができる。

以上のように、本実施形態によれば、前走車両１９の領域が、車両の後部よりも消失点側に位置する垂直エッジから該後部に及ぶものとして認識されるので、前走車両１９の領域を正確に認識することができる。これにより、道路領域２５を正確に認識することができる。したがって、道路上のレーンマークを検出する場合でも、前走車両１９の境界エッジと誤認することなく検出を行うことができる。

また、前走車両１９の領域を正確に認識できるので、この認識結果に基づいて、前方の障害物や走行車線を検出し、検出した障害物に対する衝突回避制御を行ったり、検出した走行車線からの逸脱を回避したりする車両制御部１５による制御を、より正確に行うことができる。

また、エッジ有無判定部１１は、自車両に対し、横オフセット量が所定以上である前走車両１９についてのみ、その先端の垂直エッジ２２ｃが存在するか否かを判定するので、エッジ有無判定部１１における処理の負荷を低減させることができる。

また、エッジ有無判定部は、前走車両１９の後部の幅又は前走車両１９の自車両に対する横オフセット量に基づいて定められる領域を対象として先端エッジの有無の判定を行うので、正確かつ迅速に判定を行うことができる。

また、図２の右側の前走車両１９の場合のように、その後部の領域を画定する垂直エッジ２２ａ及び２２ｂと、前走車両１９の先端の領域を画定する垂直エッジ２２ｃと、斜めエッジ２２ｄと、該後部の下端縁の水平エッジ２１ａとで前走車両１９の領域が確定されるので、前走車両１９の領域を正確に画定し、それに基づいて行われる処理も正確に行うことができる。

以上、本発明の実施形態について説明したが、本発明はこれに限定されない。例えば、上述の斜めエッジ２４ｄに代えて、垂直エッジ２２ａ及び２２ｂのうちの消失点側に位置するものと車両先端の垂直エッジ２２ｃの下端同士を結ぶラインで車両領域の下端縁を画定してもよい。また、図２の認識装置１は、車両に搭載されるものでなくてもよい。

また、図２では、横方向に離れた前走車両１９については、車両認識枠２０が先端を含む形で設定されているが、車両認識枠２０の設定方法は、これに限られない。例えば、横方向に離れた前走車両１９については、その先端部は含まず、後端部のみを含む車両認識枠２０を設定してもよい。この場合、図３の処理では、ステップＳ６で横オフセット量が所定値以上であると判定されたとき、横オフセット量に応じて車両認識枠２０を拡大し、車両先端の垂直エッジ２２ｃを抽出することができる。

１…認識装置、２…車載カメラ（撮像部）、８…車両領域認識部、１０…車両後部認識部、１１…エッジ有無判定部、１７…撮影画像（画像）、１９…前走車両（車両）、２１ａ…水平エッジ、２２ａ、２２ｂ、２２ｃ…垂直エッジ、２３…消失点、２４ｄ…斜めエッジ。

Claims (7)

1. 撮像部と、
   前記撮像部により得られる画像において車両の後部の領域を認識する車両後部認識部、及び前記車両後部認識部により後部の領域が認識された車両について、該後部よりも消失点側に垂直エッジが存在するか否かを判定するエッジ有無判定部を含み、前記エッジ有無判定部により垂直エッジが存在すると判定された車両の領域を、該車両の後部から該垂直エッジに至る領域として認識する車両領域認識部とを備えることを特徴とする認識装置。
2. 前記エッジ有無判定部は、前記撮像部の光軸に対する横方向の変位量が所定値以上である車両についてのみ、前記垂直エッジが存在するか否かの判定を行うことを特徴とする請求項１に記載の認識装置。
3. 前記エッジ有無判定部による判定は、前記後部の幅に基づいて定められる領域を対象として行われることを特徴とする請求項１又は２に記載の認識装置。
4. 前記エッジ有無判定部による判定は、前記撮像部の光軸に対する横方向の変位量に基づいて定められる領域を対象として行われることを特徴とする請求項１〜３のいずれか１項に記載の認識装置。
5. 前記車両領域認識部により認識される車両の領域は、前記エッジ有無判定部により存在すると判定された垂直エッジと該車両の後部における左右の垂直エッジのうちの消失点側に位置するものとの下端同士を結ぶライン、又は該ラインに沿った所定範囲内で検出される斜めエッジと、該後部の下端縁の水平エッジとで画定されることを特徴とする請求項１〜４のいずれか１項に記載の認識装置。
6. 前記車両領域認識部により認識される車両の領域の上の領域は、認識の対象外として扱われることを特徴とする請求項１〜５のいずれか１項に記載の認識装置。
7. 前記車両認識部により認識される車両の領域を除いた領域を対象として車線を認識する車線認識部を備えることを特徴とする請求項６に記載の認識装置。