JP4637618B2 - 車線認識装置 - Google Patents

Description

本発明は、車両に搭載された視覚センサーから一定時間間隔で取込まれる入力画像から車線を認識する、特に、点列状の車線境界線等を認識する用途に用いて好適な、車線認識装置に関する。

車両に搭載された視覚センサーにより路面上に描かれた車線境界線や埋設されたレーンマーカーを認識し、自車両の位置や方向を検知する装置が知られている。例えば、画像処理における前処理量を減らすために、入力画像のエッジの抽出を行う白線用前処理部と、走行レーンの白線を認識する白線認識部と、入力画像を時系列平滑化した後にエッジを抽出する前処理部と、前方車両の認識を行う前方車両認識部とを備えた前方車両認識装置がある(例えば特許文献１参照)。

また、直前における時刻の出力をある割合(α)で入力に混ぜて時系列平滑処理を行い（τ（ｉ）=αｘ（ｉ）+（１−α）τ（ｉ−１）、但し、τは出力、Ｘは入力、ｉは時刻）、車線を検出する、車線検出のためのハフ変換手法も知られている（例えば、非特許文献１参照)。
特開平９−２５９２８７号公報 J.McDonald, J.Frants and R.Shorten. Application of the Hough Transform to Lane Detection in Motorway Driving Scenarios. Proceedings of the Irish Signals and Systems Conference,2001.

上記した特許文献１に開示された技術によれば、時系列平滑処理を直線検出の前に行っているが、正確な平滑化処理の方法については開示されておらず、また、破線対策として手前の白線検出結果から奥の白線検出に重み付けを行っている。したがって、点列状の車線境界線についての検出は不可能であると考えられる。
また、非特許文献１においても点列状の車線境界線の検出についての開示はなく、仮にできたとしても検出性能が低く、ＣＰＵの処理負荷が大きいものと考えられる。

本発明は上記事情に鑑みてなされたものであり、点列状の車線境界線も含む車線境界線検出を可能とし、計算量が少なく、かつ、高い検出性能を持つ、車線認識装置を提供することを目的とする。

上記した課題を解決するために本発明は、車両に搭載された視覚センサーから一定時間間隔で取込まれる時系列入力画像から車線を認識する車線認識装置であって、前記取込まれる時系列入力画像から抽出される特徴画像に基づき、点列状の車線境界線が時間の経過とともに直線的軌跡を描くよう平滑特徴画像を生成する時系列平滑化処理部と、前記平滑特徴画像中、各画素位置での特徴値勾配を推定により求め勾配画像を生成する勾配画像生成部と、前記勾配画像のハフ変換を行い前記平滑特徴画像中のエッジを検出するハフ変換部とを具備することを特徴とする。

また、本発明において、前記時系列画像を路面を近似する平面座標系に、センサーの光学モデルに従い投影して前記時系列平滑化処理部へ供給する路面投影画像変換部とを具備することを特徴とする。

また、本発明において、前記路面投影画像の各画素位置における周辺画素に基づき、前記車線境界線らしさを特徴値で示す前記特徴画像を抽出して前記時系列平滑化処理部へ供給する特徴画像抽出部とを具備することを特徴とする。

また、本発明において、前記時系列平滑化処理部は、ある時刻における前記抽出される特徴画像を、直前の時刻における平滑特徴画像に所定の割合で加算して更新し、時系列的に平滑化された平滑化特徴画像を得ることを特徴とする。

また、本発明において、前記時系列平滑化処理部は、更に、空間周波数応答性を持つ所定の演算式を加算して補正し、前記時間の経過とともに直線的軌跡を描く点列状の車線境界線を抽出することを特徴とする。

本発明によれば、取込まれる時系列入力画像から抽出される特徴画像に基づき、時間の経過とともに直線的軌跡を描く点列状の車線境界線を抽出することにより、ある時点では直線として検出されないが、時間の経過とともに顕著な直線的軌跡を描く点列状の車線境界線も正確に検出できる。
また、ある時刻における平滑特徴画像について、各画素値と前記抽出される特徴画像の対応画素の画素値を所定の割合で加算して更新し、時系列的に平滑化された平滑特徴画像を得ることで、トンネル進入時等に一時的に検出不能になった車線境界位置を、存在可能性を示す画素値として記憶するため、検出不能になる頻度や時間を減少させる効果も合わせ持つ。

更に、入力画像は、遠景での解像度を確保するため、近景が必要以上の解像度で表現されることが多く、従って、画像を路面平面座標に変換して処理することにより、入力画像もしくは入力画像に平滑化処理を施した画像にハフ変換等、計算量の大きな処理を加える場合に比べて計算量を少なくでき、このことにより、ＣＰＵの負荷軽減をはかることができる。

図１は、本発明の実施形態に係わる車線認識装置の内部構成を示すブロック図である。本発明の車線認識装置２は、画像入力部２１と、画像記憶部２２と、路面投影画像変換部２３と、特徴画像抽出部２４と、時系列平滑化処理部２５と、平滑特徴画像記憶部２６と、勾配画像生成部２７と、ハフ変換部２８と、車線境界判定部２９で構成される。

画像入力部２１は、車両に搭載されるＣＣＤ（Charge Coupled Device）カメラ等、視覚センサー１によって撮影された画像を時系列的に取り込み、画像記憶部２２へ格納する。また、路面投影画像変換部２３は、画像記憶部２２に格納された時系列画像を、路面を近似する平面座標系にセンサーの光学モデルに従い投影し、時系列平滑化処理部２５へ供給する。
特徴画像抽出部２４は、路面投影画像の各位置における周辺画素に基づき、レーンマーカー等の車線境界線らしさを示す画像値を持つ特徴画像を時系列平滑化処理部２５へ供給する。時系列平滑化処理部２５は、取込まれる時系列入力画像から抽出された特徴画像に基づき、時間の経過とともに直線的軌跡を描く点列状の車線を抽出する。このとき、平滑特徴画像記憶部２６は、最新の平滑特徴画像を保持し、時系列平滑化処理部２５へ逐次提供する。

一方、勾配画像推定部２７は、平滑特徴画像中、各画素位置での特徴値勾配を推定により求め勾配画像を生成してハフ変換部２８へ供給する。ハフ変換部２８は、勾配画像のハフ変換を行い平滑特徴画像中の直線状エッジを検出して車線境界判定部２９へ供給する。車線境界判定部２９は、ハフ画像から車線境界線候補を抽出して車線位置や方向を判定する。
上記した、画像入力部２１、画像記憶部２２、路面投影画像変換部２３、特徴画像抽出部２４、時系列平滑化処理部２５、平滑特徴画像記憶部２６、勾配画像生成部２７、ハフ変換部２８、車線境界判定部２９のそれぞれは、専用のＬＳＩで構成されても、あるいはＣＰＵにより実現されてもよい。

図２は、図１に示す本発明の実施形態に係わる動作を説明するために引用したフローチャートである。また、図３〜図７は、本発明の実施形態に係わる各ステップにおいて生成されるそれぞれの画像の一例を示す図である。
以下、図２〜図７を参照しながら図１に示す本発明の実施形態の動作について詳細に説明する。

まず、車線認識装置２は、画像入力部２１を介して視覚センサー１から一定時間間隔で撮影画像を取得する（Ｓ２１)。ここで取得された画像は、時刻と二次元座標から画素値への写像ｍ（ｔ，ｘ，ｙ）として表す。ここでは、ｔは時刻で単位は任意とし、（ｘ，ｙ）は、画像中の位置、すなわち視覚センサー１の視界中の位置を表す。また、画素値は１以上の次元を持つ実数あるいは整数のベクトルであり、通常は、視界中の位置（ｘ，ｙ）での輝度や色などの量を持つ。
時刻ｔで取得した画像は画像記憶部２２に保持される。実際は、全体が同時に保持されなくともよいが、以降、説明の簡単化のため、特に断らない場合各種画像は全体の情報が利用可能と考える。この視覚センサー１から取得した画像を、加工した画像と区別するため以降では入力画像と呼ぶ。図３に入力画像の一例が示されている。

次に、路面投影画像変換部２３は、入力画像中の画素値を、路面を近似する平面の表面を観察した値と仮定し、必要な解像度と範囲で路面平面座標系に画像を変換する（Ｓ２２）。この変換を施すことなく、以降の処理について遠景と近景で処理パラメーターを変化させるなどの処理を施すことでも同等の結果を得ることができる。但し、それらの処理による処理量増大が上記した座標変換を行うための処理量を上回る場合には路面投影画像変換部２３による座標変換を施したほうがよい。
路面投影画像の座標系のとり方は、例えば、ｘ軸は路面平面でカメラ光軸に垂直な方向にとり、ｙ軸は路面平面の光軸方向にとり、原点をカメラ焦点から下ろした垂線と路面平面の交点とする。図４に路面平面画像の一例が示されている。

そして、特徴画像抽出部２４は、路面投影画像の各位置で、その周辺の画素値を入力とし、白線などのレーンマーカーが存在する可能性が高いときに、実数値あるいは整数値を出力するフィルターを適用する（Ｓ２３）。そのようなフィルターとしては、コンボリューションフィルター、パターン相関フィルター、トップハットフィルター、大領域の中央値と小領域の中央値の差を算出するフィルター、ニューラルネットなどの例がある。
上記したフィルターの各画素位置（ｘ，ｙ）での出力値を表す写像ｆ（ｔ，ｘ，ｙ）を、以降では特徴画像と呼び、ある時刻ｔと画素位置（ｘ，ｙ）に対するｆ（ｔ，ｘ，ｙ）の値を特徴値と呼ぶ。図５に特徴画像例が示されている。

一方、時系列平滑化処理部２５、ここでは、時系列画像フィルターを使用することとし、時刻ｔと時刻ｔ+１の平滑特徴画像Ｒを以下の漸化式（１）で定義する。但し、Ｒ（０，ｘ，ｙ）=ｆ（０，ｘ，ｙ）とする。
Ｒ（ｔ＋１、ｘ、ｙ）＝αβｆ（ｔ、ｘ、ｙ）＋α（１−β）Ｒ（ｔ、ｘ、ｙ）＋γｆ（ｔ、ｘ、ｙ−１）＋σｆ（ｔ、ｘ、y−２）＋εＲ（ｔ、ｘ、ｙ−１）＋λＲ（ｔ、ｘ、ｙ−２） … （１）
ここで、Ｒの更新は、ｙの増加方向に沿って逐次行なう。これにより第３項以降の和が空間周波数応答性を持つようにできる。また、係数βは範囲を[０、１]の実数にとり、破線状の車線境界マーカーが車両速度に対応して適当な軌跡を描くように決定する。一方、係数α、γ、σ、ε、λはＩＩＲバンドパスフィルターの係数計算方法に従って、検出したい点列周期ω（ピクセル／サイクル）およびパスバンド幅μ（サイクル／ピクセル）から計算される。ここで、ωおよびμは車線規格に依存し通常の装置動作中に変化しないため、上式のβ以外の係数は定数として実装できる。

なお、βは区間[０、１]内の実数をとる。係数αを考えない場合、第１項と第２項は、時系列平滑フィルターを成す。このときのインパルス応答の長さはβの値で変えることができ、速度センサーやヨーセンサーからの入力を基にβの値を状況に応じて制御することもできる。ここで、係数α、γ、σ、ε、λは例えば、次式のように計算する。以降の数式で記号＊は明示的な乗算を表し、それ以外の混乱の恐れのない乗算記号は省略する。
具体的な算出方法は、まず、二つの定数Ｐ、Ｋを前述のω、μから求める。
Ｐ＝１−３μ
Ｋ＝１−（２Ｐ）＊ｃｏｓ（２π／ω）＋Ｒ＊Ｒ
このＰ、Ｋを用いて、各係数を次のように求める。
α＝１−Ｋ
γ＝２（Ｋ−Ｐ）＊ｃｏｓ（２π／ω）
σ＝Ｐ＊Ｐ−Ｋ
ε＝２Ｐ＊ｃｏｓ（２π／ω）
λ＝−Ｐ＊Ｐ

前記の漸化式は、第１項と第２項のもつ時系列平滑効果により、破線状や点列状の境界線の軌跡を出力する効果をもつ。また、進行方向から大きく外れた直線状模様の信号を弱める作用もある。それに第３項以降を加えることによる空間バンドパス効果により、一定間隔で配置された点列状境界線の信号を強めることができ、弱くなりがちな点列状境界の軌跡出力を強め、より確実に車線境界線を検出することができる。

次に、勾配画像生成部２７は、特徴画像ｆ中、各画素位置での特徴勾配（Ｇｘ，Ｇｙ）を推定により求め（Ｓ２５）、勾配画像Ｇ（ｔ，ｘ，ｙ）とする。例えば、勾配の推定は以下の演算式（２）（３）を実行することにより求めることができる。
Ｇｘ＝Σ［｛ｆ（ｔ，ｘ＋ｈ，ｙ）−ｆ（ｔ，ｘ−ｈ，ｙ）｝／（２ｈ）］…（２）
ｈ＝１，２，３について加算。
Ｇｙ＝Σ［｛ｆ（ｔ，ｘ，ｙ＋ｖ）−ｆ（ｔ，ｘ，ｙ−ｖ）｝／（２ｖ）］…（３)
ｖ＝１，２，３について加算。

続いて、ハフ画像変換部２８によるハフ画像変換処理が実行される。具体的に、特徴画像中のエッジを検出するために、勾配画像の直線ハフ変換を実行する（Ｓ２６）。エッジは、特徴値勾配の高い画素が直線状に並ぶ個所である。したがって、勾配の大きさが一定以上の画素Ｇ（ｔ，ｘ，ｙ）に対して、勾配の方向θ＝ａｔａｎ（Ｇｙ／Ｇｘ）を求め、θを法線とし点（ｘ，ｙ）を通る直線を考え、原点からこの直線への距離ρ＝ｘ＊ｃｏｓ（θ）＋ｙ＊ｓｉｎ（θ）を求める。
同一直線状に並び、直線法線と勾配方向が一致する画素は同じ（ρ，θ）を持つ。そこで、各（ρ，θ）が表す直線を構成する可能性のある画素の出現数を数えて頻度とすれば、頻度の高い（ρ，θ）が勾配画像中でのより顕著な直線に対応している。

上記した頻度を算出するために、ρおよびθのとりうる値の範囲を適当に離散化し、（ｔ，ρ，θ）から頻度への写像Ｈ（ｔ，ρ，θ）を表す表をメモリ上に作成し、上記により求めた（ρ，θ）と対応する画素数を数えるようにすればよい。このとき、画素値勾配の誤差を考慮し、特徴画像の各画素について勾配の方向θをある幅まで変化させてρを求める。以降この写像Ｈ（ｔ，ρ，θ）をハフ推定画像と呼ぶ。図７にハフ推定画像の一例が示されている。

最後に車線境界検出部２９による車線境界判定処理が実行される（Ｓ２７）。ここでは、ハフ推定値画像中、推定頻度値の高い（ρ，θ）を車線境界線候補とする。この境界線候補から境界線に関する知識などから尤もらしいものを選び車線位置・方向を判定する。車線境界判定処理については本発明の趣旨からはずれるため、これ以上の詳細な説明は省略する。

以上説明のように本発明は、車線認識装置２が、視覚センサー１を介して取込まれる時系列入力画像から抽出される特徴画像に基づき、時間の経過とともに直線的軌跡を描く点列状の車線を抽出するものであり、このことにより、ある時点では直線として検出されないが、時間の経過とともに顕著な直線的軌跡を描くレーンマーカー等の車線境界線を正確に検出することができる。
また、ある時刻における平滑特徴画像について、各画素位置と前記抽出される特徴画像の対応画素の画素値を所定の割合で加算して更新し、時系列的に平滑化された平滑特徴画像を得ることで、トンネル進入時などに、一時的に検出不能になった車線境界線の位置を存在可能性分布として記憶するため、検出不能になる頻度や時間を減少させる効果も合わせ持つ。

更に、入力画像は、遠景での解像度を確保するため、近景が必要以上の解像度で表現されることが多く、従って、画像を路面平面座標に変換して処理することにより、入力画像もしくは入力画像に平滑化処理を施した画像にハフ変換等、計算量の大きな処理を加える場合に比べて計算量を少なくでき、このことにより、ＣＰＵの負荷軽減をはかることができる。

本発明の実施形態に係わる車線認識装置の内部構成を示すブロック図である。 本発明の実施形態に係わる車線認識装置の動作を説明するために引用したフローチャートである。 本発明の実施形態の動作における各ステップにおいて生成される画像の一例を示す図である。 本発明の実施形態の動作における各ステップにおいて生成される画像の一例を示す図である。 本発明の実施形態の動作における各ステップにおいて生成される画像の一例を示す図である。 本発明の実施形態の動作における各ステップにおいて生成される画像の一例を示す図である。 本発明の実施形態の動作における各ステップにおいて生成される画像の一例を示す図である。

符号の説明

１…視覚センサー、２…車線認識装置、２１…画像入力部、２２…画像記憶部、２３…路面投影画像変換部、２４…特徴画像抽出部、２５…時系列平滑化処理部、２６…平滑特徴画像記憶部、２７…勾配画像生成部、２８…ハフ変換部、２９…車線境界判定部

Claims (4)

1. 車両に搭載された視覚センサーから一定時間間隔で取込まれる時系列入力画像から車線を認識する車線認識装置であって、
   前記取込まれる時系列入力画像から抽出される特徴画像に基づき、点列状の車線境界線
   が時間の経過とともに直線的軌跡を描くよう平滑特徴画像を生成する時系列平滑化処理部
   と、
   前記平滑特徴画像中、各画素位置での特徴値勾配を推定により求め勾配画像を生成する
   勾配画像生成部と、
   前記勾配画像のハフ変換を行い前記平滑特徴画像中のエッジを検出するハフ変換部と、
   を具備し、
   前記時系列平滑化処理部は、画素毎にある時刻の直前における前記平滑特徴画像の画素値と、前記ある時刻の直前における前記特徴画像の当該画素の画素値とを所定の割合で加算し、更に、空間周波数応答性を持つ所定の演算式により算出される値を加算して更新することにより、前記ある時刻における前記平滑特徴画像を生成することを特徴とする車線認識装置。
2. 前記時系列画像を路面を近似する平面座標系に、センサーの光学モデルに従い投影して
   前記時系列平滑化処理部へ供給する路面投影画像変換部と、
   を具備することを特徴とする請求項１に記載の車線認識装置。
3. 前記所定の演算式は、画素毎に前記ある時刻の直前における前記特徴画像の各画素から所定の画素間隔分離れた画素の値に基づく値と、前記ある時刻の直前における前記平滑特徴画像の各画素から所定の画素間隔分離れた画素の値に基づく値とを加算することを示す式であることを特徴とする請求項１または請求項２に記載の車線認識装置。
4. 前記路面投影画像の各画素位置における周辺画素に基づき、前記車線境界線らしさを特
   徴値で示す前記特徴画像を抽出して前記時系列平滑化処理部へ供給する特徴画像抽出部を具備することを特徴とする請求項１から請求項３のいずれか１項に記載の車線認識装置。

Images