JP6259238B2 - 車両用白線認識装置 - Google Patents

Description

本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。

近年、自動車分野において、エレクトロニクスの発展に伴い、様々な運転支援システムが開発されている。この種の運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線の認識が行われ、この白線に基づいて自車走行レーンの推定等が行われる。

すなわち、画像を用いた白線認識では、例えば、撮像画像上に設定された検索領域に対し、水平方向に延在する複数の検索ライン毎に、車幅方向内側から外側に向けて輝度変化を調べることにより、輝度が暗から明へと所定以上変化するエッジ点が検出される。そして、検出したエッジ点群を最小二乗法等を用いて二次曲線等で近似することにより、白線が認識される。

ところで、実際の道路上の白線には、単一の車線区画線で構成される白線（一重白線）の他に、車線区画線の内側に視線誘導線等の補助区画線が併設された二重白線が存在する。このような二重白線を認識する場合、道路上の路肩付近に多く存在する汚れ、水たまり、或いは、草むら等の影響を回避するため、車幅方向内側に存在する補助区画線のエッジ点群を用いて白線を曲線近似等することが望ましい。その一方で、二重白線の認識を補助区画線のエッジ点群に基づいて行った場合、道路上の白線が二重白線から一重白線へと切り替わる地点（二重白線出口）、或いは、一重白線から二重白線へと切り替わる地点（二重白線入口）において、エッジ点群が車幅方向外側、或いは、車幅方向内側へとシフトする。そして、このようにエッジ点群が変動してエッジ点群の連続性が一時的に損なわれた場合、白線近似線に一時的な乱れが生じ、警報制御や操舵制御等を用いた車線逸脱防止機能に影響を及ぼす虞がある。

これに対処し、例えば、特許文献１には、車線候補点の点群（エッジ点群）に基づき最小二乗法から車線推定式のパラメータ係数を求め、今回の演算時を基準として設定時間幅前におけるパラメータ係数の点列から設定時間進み後の予測パラメータを設定する白線認識において、二重白線の出入口を検出した場合には、上述の設定時間幅を長く設定することで白線近似線の急激な変動を抑制する技術が開示されている。

特開２０１２−５８９８４号公報

しかしながら、上述の特許文献１に開示され技術では、例えば、二重白線の入口とカーブの出入口とが略同じタイミングで道路上に現出した場合等に過去データ（過去のパラメータ係数等）の影響を強く受けるため、カーブ形状を応答性よく認識することが困難となり、車線逸脱防止機能等の制御性が低下する虞がある。

本発明は上記事情に鑑みてなされたもので、二重白線の入口においても認識精度を低下させることなく道路形状を応答性よく認識することができる車両用白線認識装置を提供することを目的とする。

本発明の一態様による車両用白線認識装置は、自車走行路の前方を撮像した画像上の左右の各白線検出領域内で水平方向に延在する複数の検索ライン毎に車幅内側から外側方向の輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点が存在する場合に、最初のエッジ点を第１のエッジ点、次のエッジ点を第２のエッジ点として順次検出するエッジ点検出手段と、同一の前記検索ライン上において前記第１，第２のエッジ点が対をなして検出されているとき、前記第１，第２のエッジ点の間隔に基づいて白線が二重白線である場合における車線区画線と補助区画線とのオフセット量を算出するオフセット量算出手段と、前記第１，第２のエッジ点の点群に基づいて自車走行路を区画する白線が単一の車線区画線からなる一重白線であるか、或いは、前記車線区画線の内側に補助区画線が併設された二重白線であるかを判定する白線状態判定手段と、前記白線状態判定手段で白線が一重白線であると判定されているとき、前記第１のエッジ点の点群に基づいてハフ直線を演算し、当該ハフ直線に基づいて定めた白線候補点抽出領域内の前記エッジ点を白線候補点として抽出する白線候補点抽出手段と、前フレーム以前に抽出した前記白線候補点の座標と自車の移動量とに基づいて自車後方の設定距離内における後方白線候補点を推定する後方白線候補点推定手段と、前記白線候補点及び前記後方白線候補点の点群に基づいて白線を近似する白線近似手段と、前記白線状態判定手段で白線が一重白線から二重白線へと切り替わったことを判定したとき、前記後方白線候補点を車幅方向内側に前記オフセット量にてシフトさせる候補点シフト手段と、を備えたものである。

本発明の車両用白線認識装置によれば、二重白線の入口においても認識精度を低下させることなく道路形状を応答性よく認識することができる。

車両用運転支援装置の概略構成図 白線認識ルーチンを示すフローチャート（その１） 白線認識ルーチンを示すフローチャート（その２） 白線認識ルーチンを示すフローチャート（その３） 白線認識ルーチンを示すフローチャート（その４） 二重白線入口の画像から検出されるエッジ点群の一例を示す模式図 実空間上に座標変換された二重白線入口のエッジ点群の一例を示す説明図 二重白線出口の画像から検出されるエッジ点群の一例を示す模式図 実空間上に座標変換された二重白線出口のエッジ点群の一例を示す説明図 検索ライン上における輝度の変化の一例を示す説明図 前回の代表位置を今回の代表位置に移動させる際の座標変換の説明図 自車両の移動に伴うエッジ点の推定位置を示す説明図 実空間上に座標変換されたエッジ点群と後方白線候補点の一例を示す説明図 ハフ変換の演算方法を示す説明図 ハフ空間を示す説明図 （ａ）はハフ直線及び白線候補点抽出領域の一例を示す説明図であり（ｂ）は抽出された白線候補点の一例を示す説明図 （ａ）は二重白線入口と判定される直前の白線候補点抽出領域よりも内側のエッジ点の一例を示す説明図であり（ｂ）は二重白線入口と判定されたときの白線候補点の一例を示す説明図 （ａ）は二重白線入口と判定されたときの白線候補点と後方白線候補点との関係の一例を示す説明図であり（ｂ）は車幅方向内側にシフトされる後方白線候補点の一例を示す説明図 白線候補点及び後方白線候補点から認識された白線近似曲線及び白線検索領域の一例を示す説明図 （ａ）は第１，第２のエッジ点のペアに基づいて抽出された白線候補点の一例を示す説明図であり（ｂ）は区画線間隔に基づいて抽出された白線候補点の一例を示す説明図 （ａ）は二重白線出口と判定されたときの白線候補点と後方白線候補点との関係の一例を示す説明図であり（ｂ）は二重白線出口と判定されたとき車幅方向外側にシフトされる白線候補点及び後方白線候補点の一例を示す説明図 二重白線出口と判定された後の設定フレームにおいて車幅方向外側にシフトされる白線候補点及び後方白線候補点の一例を示す説明図

以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２乃至図５は白線認識ルーチンを示すフローチャート、図６は二重白線入口の画像から検出されるエッジ点群の一例を示す模式図、図７は実空間上に座標変換された二重白線入口のエッジ点群の一例を示す説明図、図８は二重白線出口の画像から検出されるエッジ点群の一例を示す模式図、図９は実空間上に座標変換された二重白線出口のエッジ点群の一例を示す説明図、図１０は検索ライン上における輝度の変化の一例を示す説明図、図１１は前回の代表位置を今回の代表位置に移動させる際の座標変換の説明図、図１２は自車両の移動に伴うエッジ点の推定位置を示す説明図、図１３は実空間上に座標変換されたエッジ点群と後方白線候補点の一例を示す説明図、図１４はハフ変換の演算方法を示す説明図、図１５はハフ空間を示す説明図、図１６（ａ）はハフ直線及び白線候補点抽出領域の一例を示す説明図であり（ｂ）は抽出された白線候補点の一例を示す説明図、図１７（ａ）は二重白線入口と判定される直前の白線候補点抽出領域よりも内側のエッジ点の一例を示す説明図であり（ｂ）は二重白線入口と判定されたときの白線候補点の一例を示す説明図、図１８（ａ）は二重白線入口と判定されたときの白線候補点と後方白線候補点との関係の一例を示す説明図であり（ｂ）は車幅方向内側にシフトされる後方白線候補点の一例を示す説明図、図１９は白線候補点及び後方白線候補点から認識された白線近似曲線及び白線検索領域の一例を示す説明図、図２０（ａ）は第１，第２のエッジ点のペアに基づいて抽出された白線候補点の一例を示す説明図であり（ｂ）は区画線間隔に基づいて抽出された白線候補点の一例を示す説明図、図２１（ａ）は二重白線出口と判定されたときの白線候補点と後方白線候補点との関係の一例を示す説明図であり（ｂ）は二重白線出口と判定されたとき車幅方向外側にシフトされる白線候補点及び後方白線候補点の一例を示す説明図、図２２は二重白線出口と判定された後の設定フレームにおいて車幅方向外側にシフトされる白線候補点及び後方白線候補点の一例を示す説明図である。

図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。

また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各種機能のＯＮ−ＯＦＦ切替等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダルの踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。

ステレオカメラ３は、ステレオ画像光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。

ステレオ画像認識装置４は、先ず、基準画像を４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して周知のグルーピング処理を行い、予め記憶していた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。

ここで、本実施形態において認識対象となる白線とは、例えば、単一の車線区画線で構成される白線（一重白線）や車線区画線の内側に補助区画線が併設される白線（二重白線）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、さらに、黄色線等を含む。また、本実施形態の白線認識においては、道路上に実在する白線が二重白線であっても、左右それぞれ単一の近似線で近似して認識するものとする。

この白線認識に際し、ステレオ画像認識装置４は、例えば、図６，８に示すように、画像上に左右の白線検出領域Ａ（Ａｌ，Ａｒ）を設定し、各検出領域内で水平方向に延在する複数の検索ラインＬ毎に、車幅方向内側から外側に向けて輝度変化を調べる。そして、ステレオ画像認識装置４は、各白線検出領域Ａ内の各検索ラインＬ上において、輝度が暗から明に所定以上変化するエッジ点が存在する場合には、最初のエッジ点を第１のエッジ点Ｐ１として検出するとともに、次のエッジ点を第２のエッジ点Ｐ２として順次検出する。

また、ステレオ画像認識装置４は、同一検索ラインＬ上に対をなして検出されている第１，第２のエッジ点Ｐ１，Ｐ２に基づいて、第１のエッジ点Ｐ１に対する第２のエッジ点Ｐ２のオフセット量Ｗ_12（Ｗ_12ｌ，Ｗ_12r）を算出する。

また、ステレオ画像認識装置４は、検出した第１，第２のエッジ点Ｐ１，Ｐ２の点群に基づいて自車走行路を区画する白線が一重白線であるか或いは二重白線であるかを判定する。

そして、白線が一重白線であると判定した場合、ステレオ画像認識装置４は、第１のエッジ点Ｐ１の点群に基づいてハフ直線Ｈ（Ｈｌ，Ｈｒ）を演算し、このハフ直線Ｈに基づいて定めた白線候補点抽出領域Ａｄ（Ａｄｌ，Ａｄｒ）内に存在する第１，第２のエッジ点Ｐ１，Ｐ２を白線候補点Ｐｓとして抽出する。

一方、白線が二重白線であると判定した場合、ステレオ画像認識装置４は、検出された第１のエッジ点Ｐ１の点群から、補助区画線を規定する白線候補点Ｐｓを抽出する。すなわち、ステレオ画像認識装置４は、基本的には、第２のエッジ点Ｐ２が検出されている検索ラインＬ上の第１のエッジ点Ｐ１（すなわち、同一検索ラインＬ上で第２のエッジ点Ｐ２と対をなして検出されている第１のエッジ点Ｐ１）を白線候補点Ｐｓとして抽出する。さらに、ステレオ画像認識装置４は、第２のエッジ点Ｐ２が検出されている検索ラインＬ上のエッジ点Ｐに基づいて左右の車線区画線の間隔（車線区画線幅Ｗ_out）を算出する。そして、ステレオ画像認識装置４は、第２のエッジ点Ｐ２が検出されていない検索ラインＬ上において左右対をなして存在する第１のエッジ点Ｐ１の間隔（エッジ点間隔Ｗ_P1）を求め、エッジ点間隔Ｗ_P1が車線区画線幅Ｗ_outと設定誤差範囲内で一致するとき、当該第１のエッジ点Ｐ１を白線候補点Ｐｓとして抽出して車幅方向内側にオフセット量Ｗ_12にてシフトさせる。

また、ステレオ画像認識装置４は、前フレーム以前に抽出した白線候補点Ｐｓの座標と自車の移動量とに基づいて自車後方の設定距離（例えば、２０〜３０［ｍ］）内における後方白線候補点Ｐｓ_preを推定する。

そして、ステレオ画像認識装置４は、抽出した白線候補点Ｐｓ及び推定した後方白線候補点Ｐｓ_preの点群に基づいて白線を近似する。

ここで、白線が一重白線であると判定されている場合において、ステレオ画像認識装置４は、現フレームにおいて抽出した白線候補点Ｐｓの数Ｎ１_nと、１フレーム前において白線候補点抽出領域Ａｄよりも車幅方向内側に存在するエッジ点Ｐの数Ｎ０_n-1との差が予め設定された閾値Ｎｔｈ以上となったとき、白線が一重白線から二重白線へと切り替わったこと（すなわち、自車両１が二重白線の入口に差し掛かったこと）を判定する。なお、この一重白線から二重白線への切り替わりの判定には、さらに、ハフ直線Ｈの状態等を判定条件として加えることも可能である。そして、一重白線から二重白線への切り替わりを判定すると、ステレオ画像認識装置４は、後方白線候補点Ｐｓ_preを車幅方向内側にオフセット量Ｗ_12にてシフトさせる。

一方、白線が二重白線であると判定されている場合において、ステレオ画像認識装置４は、現在抽出されている白線候補点Ｐｓのうち、オフセット量Ｗ_12にてオフセットさせた白線候補点Ｐｓの占める割合が設定閾値Ｒｔｈ以上となったとき、白線が二重白線から一重白線へと切り替わったことを判定する。そして、二重白線から一重白線への切り替わりを判定すると、ステレオ画像認識装置４は、白線候補点Ｐｓ及び後方白線候補点Ｐｓ_preを車幅方向外側にオフセット量Ｗ_12にてシフトさせる。なお、これら白線候補点Ｐｓ及び後方白線候補点Ｐｓ_preのシフトは、設定フレーム数かけて段階的に行われることが望ましい。

このように、本実施形態において、ステレオ画像認識装置４は、エッジ点検出手段、オフセット量算出手段、白線状態判定手段、白線候補点抽出手段、後方白線候補点推定手段、白線近似手段、候補点シフト手段、及び、車線区画線幅算出手段としての各機能を実現する。

制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されるとともに、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。

そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した車両等の立体物を読み込み、自車走行路上に追従対象となる先行車が走行しているか否かを識別する。

その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。

一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５はアクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。

また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線の近似線）に基づいて警報判定ラインを設定するとともに、自車走行路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。

次に、ステレオ画像認識装置４で実行される白線認識について、図２乃至図５に示す白線認識ルーチンのフローチャートに従って具体的に説明する。このルーチンは、設定時間毎に繰り返し実行されるものであり、ルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、ステレオカメラ３で撮像された画像（例えば、基準画像）からエッジ点Ｐを検出する。すなわち、ステレオ画像認識装置４は、画像上に設定された白線検出領域Ａ（Ａｌ，Ａｒ）内の検索ラインＬ（図６，８参照）毎に車幅方向内側から外側に向けて輝度の変化を調べ、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となるエッジ点Ｐを検索する（図１０参照）。そして、ステレオ画像認識装置４は、白線検出領域Ａ内に単一のエッジ点Ｐが存在する場合には、当該エッジ点Ｐを第１のエッジ点Ｐ１として検出する。或いは、白線検出領域Ａ内に２以上のエッジ点Ｐが存在する場合には、例えば、最初のエッジ点Ｐを第１のエッジ点Ｐ１、次のエッジ点Ｐを第２のエッジ点Ｐ２として検出する。さらに、ステレオ画像認識装置４は、検出した各エッジ点Ｐ１，Ｐ２に距離画像上の距離情報を付与することにより、各エッジ点Ｐ１，Ｐ２の座標を実空間上の座標に変換する（図７，９参照）。なお、本実施形態において、画像上に設定される白線検出領域Ａは、後述するステップＳ１１５、或いは、ステップＳ１３３の処理において設定さえるものである。

続くステップＳ１０２において、ステレオ画像認識装置４は、左右の各白線検出領域Ａｌ，Ａｒにおいて、同一検索ラインＬ上に対をなして存在するエッジ点Ｐ１，Ｐ２を抽出し、例えば、これらエッジ点Ｐ１，Ｐ２の各間隔の平均値をオフセット量Ｗ_12（Ｗ_12l，Ｗ_12r）として算出する。

続くステップＳ１０３において、ステレオ画像認識装置４は、前フレーム以前に抽出された白線候補点Ｐｓの座標と自車両１の移動量とに基づいて後方白線候補点Ｐｓ_preを推定する。ここで、自車両１の移動量は、例えば、自車速Ｖとヨー角θ（ヨーレート（ｄθ／ｄｔ）から計算される角度）を用いて求めることが可能である。例えば、図１１に示すように、フレームレートをΔｔとすると、自車両が１フレームでＸ軸方向及びＺ軸方向に移動する移動量Δｘ，Δｚは、以下の（１）式及び（２）式により求められる。
Δｘ＝Ｖ・Δｔ・ｓｉｎθ …（１）
Δｚ＝Ｖ・Δｔ・ｃｏｓθ …（２）
従って、例えば、図１２に示すように、前フレームで検出された白線候補点Ｐｓ_oldの座標を（ｘold，ｚold）とし、当該白線候補点が現フレームにおいて移動したと推定される白線候補点（後方白線候補点）Ｐｓ_preの座標（ｘpre，ｚpre）は、以下の（３）式及び（４）式により求められる。すなわち、座標（ｘpre，ｚpre）は、座標（ｘold，ｚold）に対して車両移動量Δｘ，Δｚを減算した後、現在のフレームにおける車両固定座標系（Ｘ’，Ｚ’）への座標変換を行うことで求められる。
ｘpre＝（Ｘold・Δｘ）・ｃｏｓθ−（ｚold−Δｚ）・ｓｉｎθ …（３）
ｚpre＝（ｘold・Δｘ）・ｓｉｎθ＋（ｚold−Δｚ）・ｃｏｓθ …（４）
これにより、例えば、図１３に示すように、自車後方の設定距離内における後方白線候補点Ｐｓ_preが推定される。

ステップＳ１０３からステップＳ１０４に進むと、ステレオ画像認識装置４は、注目する白線（右側白線、或いは、左側白線）の状態として、白線状態が二重白線であると判定されているか否かを調べるとともに、後述する単一白線移行フラグＦが「１」にセットされているか否かを調べる。ここで、本実施形態において、ステップＳ１０４以降の処理は、例えば、左右の白線に対して個別に行われるものである。なお、以下の説明においては、図１６乃至図２２に、左側白線に対する処理について例示しながら説明する。

そして、ステップＳ１０４において、白線状態が二重白線でないと判定されており且つ単一白線移行フラグＦが「０」にクリアされていると判定されている場合、ステレオ画像認識装置４は、ステップＳ１０５に進み、第１のエッジ点Ｐ１の点群を用いたハフ直線Ｈの演算を行う。すなわち、ステレオ画像認識装置４は、例えば、図１４に示すように、点群を構成する各第１のエッジ点Ｐ１それぞれに対し、第１のエッジ点Ｐ１を通る直線ｈの傾きを０°から１８０°まで所定の角度Δθ毎に変化させ、以下の（５）式に基づいて各θにおける原点Ｏから直線ｈまでの距離（垂線の長さ）ρを求める。

ρ＝ｘ・ｃｏｓθ＋ｚ・ｓｉｎθ …（５）
そして、ステレオ画像認識装置４は、各点Ｐ１について求めた各θとρの関係を、例えば、図１５に示すハフ平面（θ，ρ）上の該当箇所に度数として投票（投影）する。さらに、ステレオ画像認識装置４は、ハフ平面（θ，ρ）上の度数が最も大きくなるθとρの組み合わせを抽出し、当該θとρを用いて（５）式で規定される直線（ハフ直線Ｈ）を求める。

ステップＳ１０５からステップＳ１０６に進むと、ステレオ画像認識装置４は、演算したハフ直線Ｈを基準とする所定幅の白線候補点抽出領域Ａｄを設定する（図１６（ａ）参照）。ここで、この白線候補点抽出領域Ａｄは、例えば、ハフ直線Ｈの両側に一般的な車線区画線幅を付加した領域によって構成されている。

ステップＳ１０６からステップＳ１０７に進むと、ステレオ画像認識装置４は、白線候補点抽出領域Ａｄ内に存在する第１，第２のエッジ点Ｐ１，Ｐ２を白線候補点Ｐｓとして抽出し（図１６（ｂ）参照）、続くステップＳ１０８において、白線候補点Ｐｓの数Ｎ１（以下、白線候補点数Ｎ１と称す）を算出する。

また、ステップＳ１０８からステップＳ１０９に進むと、ステレオ画像認識装置４は、白線候補点抽出領域Ａｄよりも車幅方向内側に存在するエッジ点Ｐの数Ｎ０（以下、内側エッジ点数Ｎ０と称す）を算出した後、ステップＳ１１０に進む。

ここで、ステップＳ１１０からステップＳ１１２までの処理は一重白線から二重白線への移行を判定するためのものであり、ステップＳ１０９からステップＳ１１０に進むと、ステレオ画像認識装置４は、現フレームにおいて算出された白線候補点数Ｎ１_nと前フレームにおいて算出された内側エッジ点数Ｎ０_n-1との差が予め設定された閾値Ｎｔｈ以上であるか否かを調べる。

すなわち、例えば、図１７（ａ）に示すように、二重白線への切り替わり（二重白線の入口）が判定される直前においては、補助区画線上に分布する第１のエッジ点Ｐ１の数よりも車線区画線上に分布する第１のエッジ点Ｐ１の数が多いため、ハフ直線Ｈは車線区画線に沿って設定される。このとき、基本的には、補助区画線上に分布する第１のエッジ点Ｐ１の数が内側エッジ点数Ｎ０として算出される。一方、図１７（ｂ）に示すように、二重白線への切り替わり（二重白線の入口）が判定されるタイミングにおいては、補助区画線上に分布する第１のエッジ点Ｐ１の数と車線区画線上に分布する第１のエッジ点Ｐ１の数とが逆転するため、ハフ直線Ｈは補助区画線に沿って設定される。このとき、基本的には、補助区画線上に分布する第１のエッジ点Ｐ１の数が白線候補点数Ｎ１として算出される。そして、このタイミングで算出された白線候補点数Ｎ１は、前フレームで算出された内側エッジ点数Ｎ０よりも所定数以上多くなっていることが一般的である。

そこで、ステップＳ１１０において、白線候補点数Ｎ１_nと内側エッジ点数Ｎ０_n-1との差が閾値Ｎｔｈよりも小さいと判定した場合、ステレオ画像認識装置４は、白線状態が一重白線から二重白線へと切り替わっている可能性が低いと判断し、ステップＳ１１５に進む。

一方、ステップＳ１１０において、白線候補点数Ｎ１_nと内側エッジ点数Ｎ０_n-1との差が閾値Ｎｔｈ以上であると判定した場合（例えば、図１７（ａ），（ｂ）参照））、ステレオ画像認識装置４は、白線状態が一重白線から二重白線へと切り替わっている可能性が高いと判断し、ステップＳ１１１に進む。

ステップＳ１１０からステップＳ１１１に進むと、ステレオ画像認識装置４は、自車前方距離ｚ１及びｚ２における、前フレームでのハフ直線ＨのＸ座標と現フレームでのハフ直線ＨのＸ座標との差（すなわち、車幅方向への移動量）ΔＸ（ｚ１），ΔＸ（ｚ２）が予め設定された閾値ΔＸｔｈ内にあるか否かを調べる。

すなわち、上述のように、白線状態が一重白線から二重白線へと切り替わるタイミングにおいては、ハフ直線Ｈが車線区画線に沿った状態から補助区画線に沿った状態へと略平行移動することが想定される。この場合、ハフ直線Ｈのフレーム間における車幅方向への移動量は、所定範囲内（例えば、車線区画線と補助区画線との間隔に補助区画線の幅を加えた程度の範囲内）に止まることが一般的である。

そこで、ステップＳ１１１において、ハフ直線Ｈの車幅方向への各移動量ΔＸ（ｚ１），ΔＸ（ｚ２）が閾値ΔＸｔｈ内にないと判定した場合、ステレオ画像認識装置４は、ハフ直線Ｈが車線区画線側から補助区画線側へのシフト以外の他の要因（例えば、ノイズ等の影響）によって移動した可能性が高いと判断し、ステップＳ１１５に進む。

一方、ステップＳ１１１において、ハフ直線Ｈの車幅方向への移動量ΔＸ（ｚ１），ΔＸ（ｚ２）が閾値ΔＸｔｈ内にあると判定した場合、ステレオ画像認識装置４は、ステップＳ１１２に進み、自車前方距離ｚ１及びｚ２におけるハフ直線Ｈの車幅方向への移動量Δｘ（ｚ１）とΔｘ（ｚ２）との差の絶対値が、予め設定された閾値Ｘｔｈ以下であるか否かを調べる。

すなわち、上述のように、白線状態が一重白線から二重白線へと切り替わるタイミングにおいては、ハフ直線Ｈが車線区画線に沿った状態から補助区画線に沿った状態へと略平行移動することが想定される。この場合、移動量Δｘ（ｚ１）とΔｘ（ｚ２）との差は極めて小さな値となることが一般的である。

そこで、ステップＳ１１２において、ハフ直線Ｈの車幅方向への移動量ΔＸ（ｚ１），ΔＸ（ｚ２）の差の絶対値が閾値ΔＸｔｈ内にないと判定した場合、ステレオ画像認識装置４は、ハフ直線Ｈが車線区画線側から補助区画線側へのシフト以外の他の要因（例えば、ノイズ等の影響）によって移動した可能性が高いと判断し、ステップＳ１１５に進む。

一方、ステップＳ１１２において、ハフ直線Ｈの車幅方向への移動量ΔＸ（ｚ１），ΔＸ（ｚ２）の差の絶対値が閾値ΔＸｔｈ内にあると判定した場合、ステレオ画像認識装置４は、ステップＳ１１３に進み、白線状態が一重白線から二重白線へと移行したことを判定する。

そして、ステップＳ１１４に進むと、ステレオ画像認識装置４は、ステップＳ１０３で推定した後方白線候補点Ｐｓ_preを、ステップＳ１０２で算出したオフセット量Ｗ_12にて車幅方向内側にシフトさせた後（図１８（ａ），（ｂ）参照）、ステップＳ１１５に進む。

ステップＳ１１０、ステップＳ１１１、ステップＳ１１２、或いは、ステップＳ１１４からステップＳ１１５に進むと、ステレオ画像認識装置４は、白線候補点Ｐｓと後方白線候補点Ｐｓ_preとの点群に基づき、最小二乗法を用いて白線近似線（白線近似式：Ｘ＝ＡＺ²＋ＢＺ＋Ｃ）を算出し（図１９参照）、さらに、この白線近似線の左右両側に予め設定された幅ΔＥを有する白線検出領域Ａを設定した後、ルーチンを抜ける。

また、ステップＳ１０４において、白線状態が二重白線であると判定されている場合、或いは、単一白線移行フラグＦが「１」にセットされていると判定されている場合、ステレオ画像認識装置４は、ステップＳ１１６に進み、同一検索ラインＬ上に第１，第２のエッジ点Ｐ１，Ｐ２が検出されている検索ラインを抽出する。

そして、ステップＳ１１７に進むと、ステレオ画像認識装置４は、ステップＳ１１６で抽出した検索ラインＬ上に存在する第１のエッジ点Ｐ１を白線候補点Ｐｓとして抽出する。

さらに、ステップＳ１１７からステップＳ１１８に進むと、ステレオ画像認識装置４は、ステップＳ１１６で抽出した検索ラインＬ上のエッジ点Ｐに基づいて左右の車線区画線の間隔（車線区画線幅Ｗ_out）を算出する。この車線区画線幅Ｗ_outは、例えば、抽出した検索ラインＬ上において左右対をなして存在する第１のエッジ点Ｐ１の間隔の平均値（エッジ点間隔Ｗ_P1）を求め、このエッジ点間隔Ｗ_P1に、ステップＳ１０２で算出した左右のオフセット量Ｗ_12を加算することにより算出することが可能である。或いは、車線区画線幅Ｗ_outは、例えば、抽出した検索ラインＬ上において左右対をなして存在する第２のエッジ点Ｐ１の間隔の平均値（エッジ点間隔Ｗ_P2）を求め、このエッジ点間隔Ｗ_P2をそのまま車線区画線幅Ｗ_outとして設定することも可能である。

ステップＳ１１８からステップＳ１１９に進むと、ステレオ画像認識装置４は、ステップＳ１１６において抽出されなかった第１のエッジ点Ｐ１のみの検索ラインＬのうち、後述のステップＳ１２０〜ステップＳ１２３の処理に関して未処理の検索ラインＬが存在するか否かを調べる。

そして、ステップＳ１１９において、第１のエッジ点Ｐ１のみの未処理検索ラインＬが存在しないと判定した場合、ステレオ画像認識装置４は、ステップＳ１２４に進む。

一方、ステップＳ１１９において、第１のエッジ点Ｐ１のみの未処理検索ラインＬが存在すると判定した場合、ステレオ画像認識装置４は、ステップＳ１２０に進み、新たな未処理検索ラインＬを選択する。

続くステップＳ１２１において、ステレオ画像認識装置４は、ステップＳ１２０で選択した未処理検索ラインＬ上に左右対をなして存在する第１のエッジ点Ｐ１の間隔（エッジ点間隔Ｗ_P1）を算出する。

そして、ステップＳ１２１からステップＳ１２２に進むと、ステレオ画像認識装置４は、ステップＳ１２１で算出したエッジ点間隔Ｗ_P1がステップＳ１１８で算出した車線区画線幅Ｗ_outに対して所定誤差２αの範囲内で一致するか否か（すなわち、Ｗ_out−α≦Ｗ_P1≦Ｗ_out＋αであるか否か）を調べる。

そして、ステップＳ１２２において、エッジ点間隔Ｗ_P1が車線区画線幅Ｗ_outに対して所定誤差範囲内で一致しないと判定した場合、ステレオ画像認識装置４は、そのまま、ステップＳ１１９に戻る。

一方、ステップＳ１２２において、エッジ点間隔Ｗ_P1が車線区画線Ｗ_outに対して所定誤差範囲内で一致すると判定した場合（図２０（ａ）参照）、ステレオ画像認識装置４は、ステップＳ１２３に進み、第１のエッジ点Ｐ１を白線候補点Ｐｓとして抽出するとともに、抽出した白線候補点ＰｓをステップＳ１０２で算出したオフセット量Ｗ_12にて車幅方向内側にシフトさせた後、ステップＳ１１９に戻る。

ステップＳ１１９からステップＳ１２４に進むと、ステレオ画像認識装置４は、白線認識制御を二重白線に対するものから単一白線に対するものへと移行中であることを示す単一白線移行フラグＦが「１」にセットされているか否かを調べる。

そして、ステップＳ１２４において、単一白線移行フラグＦが「１」にセットされていると判定した場合、ステレオ画像認識装置４は、ステップＳ１２８に進む。

一方、ステップＳ１２４において、単一白線移行フラグＦが「１」にセットされていないと判定した場合（すなわち、単一白線移行フラグＦが「０」にクリアされていると判定した場合）、ステレオ画像認識装置４は、ステップＳ１２５に進み、ステップＳ１１９乃至ステップＳ１２３の処理において車幅方向内側にシフトさせた白線候補点Ｐｓの数が、現在抽出されている白線候補点Ｐｓの総数に対して設定割合以上であるか否かを調べる。

そして、ステップＳ１２５において、車幅方向内側にシフトさせた白線候補点Ｐｓの数が設定割合未満であると判定すると、ステレオ画像認識装置４は、ステップＳ１３３に進む。

一方、ステップＳ１２５において、車幅方向内側にシフトさせた白線候補点Ｐｓの数が設定割合以上であると判定した場合、ステレオ画像認識装置４は、白線状態が二重白線から単一白線へと切り替わったことを判定してステップＳ１２５に進み、単一白線移行フラグＦを「１」にセットする。

そして、ステップＳ１２６からステップＳ１２７に進むと、ステレオ画像認識装置４は、ステップＳ１０２で算出したオフセット量Ｗ_12を予め設定された移行フレーム数Ｃ１で除算することによって１フレーム当たりのシフト量ΔＷを算出するとともに、単一白線移行フラグＦをセットしてからの経過時間（フレーム数）を示すカウンタＣを「０」にクリアした後、ステップＳ１２８に進む。

そして、ステップＳ１２４、或いは、ステップＳ１２７からステップＳ１２８に進むと、ステレオ画像認識装置４は、カウンタＣをインクリメント（Ｃ←Ｃ＋１）した後、ステップＳ１２９に進み、白線候補点Ｐｓを車幅方向外側にシフト量（ΔＷ×Ｃ）にてシフトさせ（図２１（ｂ）、図２２参照）、さらに、続くステップＳ１３０において、後方白線候補点Ｐｓ_preを車幅方向外側にシフト量ΔＷにてシフトさせる（図２１（ｂ）、図２２参照）。

そして、ステップＳ１３０からステップＳ１３１に進むと、ステレオ画像認識装置４は、カウンタＣが移行フレーム数Ｃ１に達しているか否かを調べ、移行フレーム数に達していないと判定した場合には、ステップＳ１３３に進む。

一方、ステップＳ１３１において、カウンタＣが移行フレーム数Ｃ１に達していると判定した場合、ステレオ画像認識装置４は、ステップＳ１３２に進み、単一白線移行フラグＦを「０」にクリアした後、ステップＳ１３３に進む。

そして、ステップＳ１２５、ステップＳ１３１、或いは、ステップＳ１３２からステップＳ１３３に進むと、ステレオ画像認識装置４は、白線候補点Ｐｓと後方白線候補点Ｐｓ_preとの点群に基づき、最小二乗法を用いて白線近似線（白線近似式：Ｘ＝ＡＺ²＋ＢＺ＋Ｃ）を算出し（図１９参照）、さらに、この白線近似線の左右両側に予め設定された幅ΔＥを有する白線検出領域Ａを設定した後、ルーチンを抜ける。

このような実施形態によれば、現フレームで検出したエッジ点（第１，第２のエッジ点Ｐ１，Ｐ２）から白線候補点Ｐｓの点群を抽出するのみならず、前フレーム以前に抽出した白線候補点Ｐｓ_oldの座標と自車の移動量（Δｘ，Δｚ）とに基づいて自車の後方に存在する後方白線候補点Ｐｓ_preを推定し、これら白線候補点Ｐｓ及び後方白線候補点Ｐｓ_preの点群に基づいて白線近似を行うことにより、万が一、ノイズ等が白線候補点Ｐｓとして誤って抽出された場合にも、当該ノイズ等に大きく影響を受けることなく、自車走行路を区画する白線を安定的に精度よく認識することができる。

その上で、第１，第２のエッジ点Ｐ１，Ｐ２の点群に基づいて自車走行路を区画する白線が単一の車線区画線からなる一重白線であるか、或いは、車線区画線の内側に補助区画線が併設された二重白線であるかを判定し、白線が二重白線であると判定されているとき、エッジ点群から補助区画線を規定する白線候補点を抽出し、白線が二重白線から一重白線へと切り替わったことを判定した場合には、同一検索ライン上に対をなして検出されている第１，第２のエッジ点Ｐ１，Ｐ２に基づいて算出したオフセット量Ｗ_12にて白線候補点Ｐｓ及び後方白線候補点Ｐｓ_preを車幅方向外側にシフトさせることにより、二重白線の出口においても認識精度を低下させることなく道路形状を応答性よく認識することができる。すなわち、白線候補点Ｐｓ及び後方白線候補点Ｐｓ_preを車幅方向外側にシフトさせることにより、白線が二重白線から一重白線へと切り替わる過渡時においても、白線候補点Ｐｓ及び後方各線候補点Ｐｓ_preの連続性を確保することができ、認識精度を低下させることなく道路形状を応答性よく認識することができる。

また、白線が一重白線であると判定されているとき、第１のエッジ点Ｐ１の点群に基づいてハフ直線Ｈを演算し、当該ハフ直線Ｈに基づいて定めた白線候補点抽出領域Ａｄ内のエッジ点Ｐ１，Ｐ２を白線候補点Ｐｓとして抽出し、白線が一重白線から二重白線へと切り替わったことを判定した場合には、同一検索ライン上に対をなして検出されている第１，第２のエッジ点Ｐ１，Ｐ２に基づいて算出したオフセット量Ｗ_12にて後方白線候補点Ｐｓ_preを車幅方向内側にシフトさせることにより、二重白線の入口においても認識精度を低下させることなく道路形状を応答性よく認識することができる。すなわち、後方白線候補点Ｐｓ_preを車幅方向内側にシフトさせることにより、白線が一重白線から二重白線へと切り替わる過渡時においても、白線候補点Ｐｓ及び後方白線候補点Ｐｓ_preの連続性を確保することができ、認識精度を低下させることなく道路形状を応答性よく認識することができる。

なお、本発明は、以上説明した実施形態に限定されることなく、種々の変形や変更が可能であり、それらも本発明の技術的範囲内である。

１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（エッジ点検出手段、オフセット量算出手段、白線状態判定手段、白線候補点抽出手段、後方白線候補点推定手段、白線近似手段、候補点シフト手段、車線区画線幅算出手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ

Claims (3)

1. 自車走行路の前方を撮像した画像上の左右の各白線検出領域内で水平方向に延在する複数の検索ライン毎に車幅内側から外側方向の輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点が存在する場合に、最初のエッジ点を第１のエッジ点、次のエッジ点を第２のエッジ点として順次検出するエッジ点検出手段と、
   同一の前記検索ライン上において前記第１，第２のエッジ点が対をなして検出されているとき、前記第１，第２のエッジ点の間隔に基づいて白線が二重白線である場合における車線区画線と補助区画線とのオフセット量を算出するオフセット量算出手段と、
   前記第１，第２のエッジ点の点群に基づいて自車走行路を区画する白線が単一の車線区画線からなる一重白線であるか、或いは、前記車線区画線の内側に補助区画線が併設された二重白線であるかを判定する白線状態判定手段と、
   前記白線状態判定手段で白線が一重白線であると判定されているとき、前記第１のエッジ点の点群に基づいてハフ直線を演算し、当該ハフ直線に基づいて定めた白線候補点抽出領域内の前記エッジ点を白線候補点として抽出する白線候補点抽出手段と、
   前フレーム以前に抽出した前記白線候補点の座標と自車の移動量とに基づいて自車後方の設定距離内における後方白線候補点を推定する後方白線候補点推定手段と、
   前記白線候補点及び前記後方白線候補点の点群に基づいて白線を近似する白線近似手段と、
   前記白線状態判定手段で白線が一重白線から二重白線へと切り替わったことを判定したとき、前記後方白線候補点を車幅方向内側に前記オフセット量にてシフトさせる候補点シフト手段と、を備えたことを特徴とする車両用白線認識装置。
2. 前記白線状態判定手段は、現フレームにおいて抽出した前記白線候補点の数と、１フレーム前において前記白線候補点抽出領域よりも車幅方向内側に存在する前記エッジ点の数との差が予め設定した閾値以上であるとき、白線が一重白線から二重白線へと切り替わったことを判定することを特徴とする請求項１に記載の車両用白線認識装置。
3. 前記白線状態判定手段は、現フレームにおいて抽出した前記白線候補点の数と１フレーム前において前記白線候補点抽出領域よりも車幅方向内側に存在する前記エッジ点の数との差が予め設定した閾値以上であり、且つ、自車前方に設定した２つの観察距離において前記ハフ直線のフレーム間での車幅方向への移動量の差が予め設定した閾値以下であるとき、白線が一重白線から二重白線へと切り替わったことを判定することを特徴とする請求項１に記載の車両用白線認識装置。

Images