JP4744537B2 - 走行レーン検出装置 - Google Patents

Description

本発明は、車両が走行中のレーンを検出するために用いる走行レーン検出装置に関する。

従来から、自動車等の車両に搭載される走行レーン検出装置において、道路に敷設された白線等のレーンマークを画像処理により認識し、この認識結果を用いて、車両が走行レーンを逸脱している場合にドライバーに警告を行ったり車両のステアリング制御を行ったりする手法が提案されている。

レーンマークの認識は、一般的にレーンマークと路面との輝度差を用いて行われる。車両から撮像した画像では、レーンマークと路面の輝度差は大きく、この輝度差が大きい部分をエッジと呼ぶ。エッジはレーンマークと路面との境界、すなわちレーンマークの輪郭に相当する。エッジ強度は、隣接画素間で輝度差が大きいほど強くなる。そこで、輝度変化分を取り出す微分フィルタを用いて所定の閾値以上の部分を撮像画像から抽出することで、レーンマークのエッジ部分を取り出すことができる。このエッジ検出閾値は、高すぎるとレーンマークのエッジ部分を抽出することができず、低すぎると影の境界線や路面の汚れなどレーンマークと関係のない部分が多数抽出され誤認識の原因となるため、適切に設定することが重要である。レーンマークを正確に認識するためには、レーンマークのエッジ部分が安定して抽出でき、かつノイズとなるエッジは除外できるエッジ検出閾値を設定することが望ましい。

但し、レーンマークの種類は、白線をはじめ、黄線、また地域によっては道路鋲のみということがあり、路面により異なる。さらに、同じ路面であっても、天候や時間帯、路面の状態によってレーンマークのエッジの強度が変化する。このため、エッジ検出閾値は固定するのではなく、路面やその状況に応じて可変にしたほうが良い。

特開平４−１５２４０６号公報によると、車両から撮像した画像全体の輝度の平均値と最大値とに基づいて、エッジ検出閾値を設定する手法が開示されている。この手法により、画像の状況によって閾値を変更することができるため、より安定したレーンマーク認識が可能となる。

また、例えば、車両の左側のレーンマークが白線で右側のレーンマークが黄線の路線をモノクロカメラで撮像した場合、一般に白線の方が黄線と比較して路面との輝度差が大きくエッジ強度が強いため、単一の閾値では左右のレーンマークのエッジ部分を過不足無く抽出することは難しい。これは、最適なエッジ検出閾値が左右で異なるためであり、左右のレーンマークに応じたエッジ検出閾値を設定することが望ましい。

特開平６−３４１８２１号公報によると、車両から撮像した画像を左右に分割し、エッジ検出閾値やレーンマーク抽出処理などをそれぞれ独立に設ける手法が開示されている。この手法により、車両の左右でレーンマークの種類が異なる場合にもそれぞれに適切なエッジ検出閾値を設定することができる。また、例えば左側が道路鋲で右側が白線というようにレーンマークの種別が異なる場合は、エッジ検出閾値のみに限らず検出方法そのものを左右で変えることもできる。

ところが、単純に２つに分割した画像で左右のレーンマークを検出していると、車線変更時等で車両がレーンマークを跨ぐときには、図５に示したように２つの画像１０３、１０５の間や境界上にレーンマーク１０８が位置する場合もある。このような場合には、レーンマーク１０８を安定して検出できない可能性が出てくる。これは、レーンマークが左右の画像から同時に外れてしまい、レーンマークを見失うことになるからである。一度レーンマークを見失うと、再度正しく検出するまでには時間がかかり、この間は走行レーンの検出結果による車両制御が不能になってしまう。

そこで、単純に画像を２つに分割するのではなく、図６（ａ）のように台形ウィンドウ２０１を設定したり、図６（ｂ）のようにレーンマークの周辺のみに小矩形ウィンドウ２０２を複数用意したりして、これらのウィンドウ内でレーンマークを検出する方法もある。これらの手法はどちらも車両のレーンマーク跨ぎに対応できる。しかし、最初に検出したレーンマーク候補位置に追従してウィンドウが動くため、一度レーンマーク以外のノイズ部分を誤検出すると、しばらくそのノイズ領域をレーンマークとして誤検出し続けることがある。また、ウィンドウの形状が矩形ではなく複雑だったり個数が多かったりすることから、並列処理による高速化を図ることは難しい。

特開平４−１５２４０６号公報 特開平６−３４１８２１号公報

本発明は、車両がレーンマークを跨ぐ場合であっても、単純な処理で安定して正確にレーンマークを検出することのできる走行レーン検出装置を提供することを目的とする。

上記の目的を達成するために、本発明の走行レーン検出装置は、路面の画像を取得するために車両に搭載された撮像部と、前記画像を処理して路面上のレーンマークを検出する画像処理部とを備え、以下のような特徴を有する。

前記画像処理部は、前記車両が前記レーンマークを跨いでいるかどうかを判定し、前記車両が前記レーンマークを跨いでいない場合には、前記車両の前方路面の左右あるいは後方路面の左右のレーンマークを検出するための第１のウィンドウと第２のウィンドウとを前記画像に設定して、それぞれのウィンドウ内の画像を処理してレーンマークを検出する。前記車両がレーンマークを跨いでいる場合には、跨いでいるレーンマークを含む第３のウィンドウを前記画像に設定して、前記第３のウィンドウ内の画像を処理してレーンマークを検出する。

また、前記画像処理部は、前記画像の上部中央位置に消失点を設定し、前記車両が前記レーンマークを跨いでいない場合には、前記消失点の下側に左右に分けて前記第１、第２のウィンドウを設定する。前記車両が前記レーンマークを跨いでいる場合には、前記第１、第２のウィンドウに代わって、跨ぎ中のレーンマークを画像の前記消失点下側の左右方向の中央における垂直中心線付近に位置させ、かつ車両の前方路面の左右あるいは後方路面の左右を撮像した画像を統合した前記第３のウィンドウを設定することを特徴とする。

また、前記画像処理部は、前記画像の上部中央位置に消失点を設定し、前記車両が前記レーンマークを跨いでいない場合には、前記消失点の下側に左右に分けて前記第１、第２のウィンドウを設定する。前記車両が前記レーンマークを跨いでいる場合には、前記第１、第２のウィンドウと共に、跨ぎ中のレーンマークを前記消失点下側の画像の左右方向の中央における垂直中心線付近に位置させる前記第３のウィンドウを設定することを特徴とする。

さらに、前記画像処理部は、検出されるレーンマークを直線と仮定し、この直線と画像中の垂直線とのなす角度が所定角度以下になった場合に、前記レーンマークを跨いでいると判定することを特徴とする。

本発明による走行レーン検出装置は、車両がレーンマークを跨ぐ場合であっても安定してレーンマークの検出が可能であり、誤検出が少なくなる。また、ウィンドウ設定が単純なので画像処理の高速化も期待できる。

図１は、本発明の実施例である走行レーン検出装置の構成例を示した機能ブロック図である。本発明による走行レーン検出装置は、大別して撮像部４０１と画像処理部４０２とから構成される。撮像部４０１は、ＣＣＤイメージセンサ（以下ＣＣＤと称する）４０３及びＡＤコンバータ４０４を有する。画像処理部４０２は、ビデオ入力部４０５、ＦＲＯＭ（不揮発性メモリ）４０６、ＣＰＵ４０７、ＲＡＭ４０８、及びＣＡＮ（Control Area Network）４０９を有する。撮像部４０１は、ＣＣＤ４０３にレーンマークが撮像されるよう、車両前方あるいは後方の路面を捕らえられる位置に設置される。撮像画像には、後述するように１つまたは複数のウィンドウが設定され、画像処理によりレーンマークの検出処理が行われる。

図２は、本実施例の走行レーン検出装置における処理フローチャートである。各ステップは、あらかじめＦＲＯＭ４０６に保存されているプログラムに従い、ＣＰＵ４０７によって実行される。各ステップでの処理を、図１の機能ブロック図に示した構成要素における信号の流れとともに簡単に説明する。

ステップＳ１で、走行している車両から撮像した画像を取り込む。撮像部４０１では、撮像画像すなわちＣＣＤ４０３で感光されたアナログ映像信号を、ＡＤコンバータ４０４でデジタル化して画像処理部４０２に転送する。転送されたデジタル映像信号は、ビデオ入力部４０５で受け取り、バス４１０を経由してＲＡＭ４０８に蓄えられる。

ステップＳ２からステップＳ９までの処理は、走行レーン検出のための画像処理である。ステップＳ２では、前記車両がレーンマークを跨いでいるかどうかを判定する。

レーンマークを跨ぎ中でない場合、撮像画像に左右２つのウィンドウを設定し、それぞれのウィンドウで左または右のレーンマークの位置を推定する。左レーンに対しては、ステップＳ３、ステップＳ４を実行し、右レーンに対しては、ステップＳ５、ステップＳ６を実行する。このように、レーンマーク位置は左右独立に推定される。

また、ステップＳ２でレーンマークを跨ぎ中の場合は、ステップＳ７、ステップＳ８でレーンマークを跨いでいる時特有の処理を実行し、跨いでいるレーンマーク（跨ぎレーンマーク）の位置を推定する。このレーンマーク位置の推定については、後述する。

最後にステップＳ９で、推定されたレーンマークの位置から走行レーンの位置を推定する。走行レーンの検出結果は、ＣＡＮ４０９を経由して車両内の各種制御装置に送られ、ドライバーへの警告や車両のステアリング制御、カーナビによる車線案内などに利用される。ステップＳ９が終了すると、ステップＳ１に戻り、引き続き次の撮像画像に対して走行レーンの検出を行う。

ここからは、ステップＳ２からステップＳ９までの、判定や画像処理の詳細について説明する。

ステップＳ２において、車両がレーンマークを跨いでいるかどうかの判定には、直近の走行レーン検出結果におけるレーンマークの位置を利用する。ステップＳ１からステップＳ９までの画像処理は、例えば１００ms周期で繰り返し行うため、直近の結果を利用できる。プログラム開始直後で初めて判定する場合は、レーンマークを跨ぎ中ではないとする。レーンマークを跨いでいるかどうかの判定方法は、一例として次のような方法を採用することができる。レーンマークを直線と仮定し、画像上で垂直の線とレーンマークとのなす角が所定の角度、例えば２０度以下になった場合は、レーンマークを跨ぎ中であると判断する。

まず、ステップＳ２において、車両がレーンマークを跨ぎ中でないと判定された場合について説明する。この場合は、上述したように撮像画像に左右２つのウィンドウを設定する。この左右２つのウィンドウは、図３に示したように、消失点１０１を通る垂直線１０２で車両からの撮像画像を左右２つに分ける。消失点とは、自車両の左右にあるレーンマークが交差する無限遠点のことであり、その位置は、車両に設置された撮像部４０１（カメラ）の高さや俯角などから基準となる位置があらかじめ決められており、レーンマーク検出結果により適宜更新されるようになっている。

このように撮像画像を左右に分割するウィンドウを設定すると、曲率の大きなカーブ路を走行している場合を除き、左右のレーンマークも図３のように左右に分割できる。左レーンマーク１０４は、画像内左側に設定した左矩形ウィンドウ１０３内で、右レーンマーク１０６は、画像内右側に設定した右矩形ウィンドウ１０５内で検出することができる。レーンマーク１０４及び１０６が消失点１０１よりも上にあることはないため、矩形ウィンドウ１０３、１０５は、図３のように消失点１０１を上限とすることができ、処理にかかる時間を短縮できる。ほとんどの場合、左矩形ウィンドウ１０３と右矩形ウィンドウ１０５の中にレーンマークが存在するため、このような簡単なウィンドウ設定でレーンマークを検出することができる。

レーンマーク検出の方法については多くの手法が提案されており、本発明の走行レーン検出装置でもそれらを利用することができる。本実施例では、一例として、特許第４０１６７３５号に記載されている手法を用いるものとした。これは、画像処理によりエッジ点を検出し、エッジ点の位置と角度情報を基にノイズを除去してレーンマーク位置を推定する方法である。レーンマークが、直線と道路鋲のどちらの場合であっても対応できる。また、レーンマークの直線推定には、ハフ変換を使用している。

ステップＳ３、Ｓ５では、左右それぞれのレーンマークのエッジ点を検出し、ステップＳ４、Ｓ６では、検出したエッジ点から左右それぞれのレーンマーク位置を推定する。本発明では、左右２つのウィンドウを設けていることから、エッジ検出閾値はもちろんのことレーンマーク検出手法自体を別々に設定することができ、左右でタイプの異なるレーンマークにも対応できるようになっている。

ステップＳ９では、走行レーンに対する自車両の位置ずれ量Ｓを求めて、自車両の走行レーンを推定する。走行開始時の走行レーンと、走行開始から現在までの間に得られたＳとに基づき、現在走行中のレーンの推定が可能である。このような位置ずれ量Ｓの算出方法としては、特許第４０１６７３５号公報に記載されているものがあり、本実施例でもこの既存の方法を利用することが可能である。

一方、ステップＳ２でレーンマークを跨ぎ中と判定された場合、跨いでいるレーンマーク（跨ぎレーンマーク）を検出する処理であるステップＳ７、Ｓ８が実行される。レーンマークを跨ぎ中の場合、図４に示すように、跨いでいるレーンマーク１０８は画像の左右方向中央部に撮像され、この跨いでいるレーンマーク１０８の位置検出が重要となる。このため、ステップＳ７では、ウィンドウを図３のように消失点で左右に分けるのではなく、図４（ａ）のようにウィンドウを１つに統合し、第３のウィンドウ１０７として設定する。第３のウィンドウ１０７も、レーンマーク１０４、１０６及び１０８が消失点１０１よりも上にあることはないため、消失点１０１を上限とすることができ、処理にかかる時間を短縮できる。

第３のウィンドウ１０７を設定することで、レーンマーク１０８は、跨いでいる場合でもウィンドウから外れることがなくなる。そして、レーンマークを跨ぎ中の場合には、ステップＳ７、Ｓ８で跨ぎ中特有の処理を行って跨いでいるレーンマーク１０８のエッジ検出と位置の推定を行い、ステップＳ９で自車両の走行レーンを推定する。

具体的には、ステップＳ７で、ステップＳ３やＳ５と同様の手法により、設定した第３のウィンドウ１０７中のレーンマーク１０８のエッジ点を検出する。ステップＳ８では、ステップＳ４やＳ６と同様に、第３のウィンドウ１０７中で検出した前記エッジ点からレーンマーク１０８の位置を推定する。ステップＳ９では、前述したように、走行レーンに対する自車両の位置ずれ量Ｓを求めて、自車両の走行レーンを推定する。レーンマークを跨ぎ中の場合であっても、走行開始時の走行レーンと、走行開始から現在までの間に得られたＳとに基づき、現在走行中のレーンの推定が可能である。但し、この場合は、隣接する２つのレーンが走行レーンとして推定されることになる。

第３のウィンドウ１０７を設定する方法には、左矩形ウィンドウ１０３と右矩形ウィンドウ１０５のうち、跨いでいるレーンマーク１０８が存在していた方の矩形ウィンドウを用いて第３のウィンドウ１０７とする方法や、左矩形ウィンドウ１０３と右矩形ウィンドウ１０５とは別に、新たなウィンドウを作成して第３のウィンドウ１０７とする方法がある。また、エッジ検出の閾値やエッジ検出手法などは、左矩形ウィンドウ１０３や右矩形ウィンドウ１０５と同じでもよいし、同じでなくてもよい。

また、跨いでいるレーンマーク１０８の左右にあるレーンマークを検出するために、図４（ｂ）のように３つのウィンドウを設定してもよい。この場合、左側の左矩形ウィンドウ１０３で左レーンマーク１０４を、右側の右矩形ウィンドウ１０５で右レーンマーク１０６を、中央の第３のウィンドウ１０７で跨いでいるレーンマーク１０８を検出する。検出方法は、上述のレーンマークの検出処理と同様である。

本発明の構成を示す機能ブロック図。 本発明の処理を示すフローチャート。 本発明における、車両がレーンマークを跨ぎ中でない場合のウィンドウ設定方法を説明する図。 本発明における、車両がレーンマークを跨ぎ中の場合のウィンドウ設定方法を説明する図。 ２つに分割した画像の間にレーンマークが位置した場合の図。 従来方式におけるウィンドウの設定方法を説明する図。

符号の説明

１０１…消失点、１０２…垂直線、１０３…左矩形ウィンドウ、１０４…左レーンマーク、１０５…右矩形ウィンドウ、１０６…右レーンマーク、１０７…第３のウィンドウ、１０８…跨いでいるレーンマーク、２０１…台形ウィンドウ、２０２…小矩形ウィンドウ、４０１…撮像部、４０２…画像処理部、４０３…ＣＣＤ（Charge Coupled Device）イメージセンサ、４０４…ＡＤコンバータ、４０５…ビデオ入力部、４０６…ＦＲＯＭ（不揮発性メモリ）、４０７…ＣＰＵ（Central Processing Unit）、４０８…ＲＡＭ（Random Access Memory）、４０９…ＣＡＮ（Control Area Network）、４１０…バス。

Claims (2)

1. 路面の画像を取得するために車両に搭載された撮像部と、前記画像を処理して路面上のレーンマークを検出する画像処理部とを備え、
   前記画像処理部は、
   前記画像の上部中央位置に消失点を設定し、
   前記車両が前記レーンマークを跨いでいるかどうかを判定し、
   前記車両が前記レーンマークを跨いでいない場合には、前記車両の前方路面の左右あるいは後方路面の左右のレーンマークを検出するための第１のウィンドウと第２のウィンドウを、前記消失点の下側に左右に分けて、前記画像に設定して、それぞれのウィンドウ内の画像を処理してレーンマークを検出し、
   前記車両が前記レーンマークを跨いでいる場合には、前記第１、第２のウィンドウに分けるのではなく、これらのウィンドウを１つに統合した第３のウィンドウを前記画像に設定して、前記第３のウィンドウ内の画像を処理してレーンマークを検出する、
   ことを特徴とする走行レーン検出装置。
2. 請求項１記載の走行レーン検出装置において、
   前記画像処理部は、検出されるレーンマークを直線と仮定し、この直線と画像中の垂直線とのなす角度が所定角度以下になった場合に、前記レーンマークを跨いでいると判定する走行レーン検出装置。

Images