JP3736346B2

JP3736346B2 - 車線検出装置

Info

Publication number: JP3736346B2
Application number: JP2000395096A
Authority: JP
Inventors: 正文辻
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2000-12-26
Filing date: 2000-12-26
Publication date: 2006-01-18
Anticipated expiration: 2020-12-26
Also published as: EP1221642A2; EP1221642B1; JP2002197469A; DE60117348D1; DE60117348T2; US6868168B2; EP1221642A3; US20020081001A1

Description

【０００１】
【発明の属する技術分野】
本発明は、車載カメラなどを用いて路面に描かれた車線（白線や黄線）を検出し、その形状や位置などの情報を出力する車線検出装置に関する。
【０００２】
【従来の技術】
車両の走行中において、走行車線内における自車位置を検出することは、自動走行技術などには不可欠であるが、画像処理を用いた自律走行車両の白線検出装置として、例えば特開平５−３１４３９６号に開示されたものが知られている。これは、ノイズの影響をなるべく抑制しつつ、白線の検出精度の向上を図り、さらに、可能な限り処理時間を短縮できる白線検出装置の提供を目的としたものであり、その特徴とするところは、走行中に路面に描かれた白線を撮像し、撮像された画像を複数の検索領域（以下、ウィンドともいう。）で分割処理し、総合的に白線を認識することにある。ここで撮像される画像は、図５のような、遠方で交差する２本の直線Ｌ，Ｒであり、その画像が出現すると予想される場所に、複数のウィンドウｒ１，ｌ１，ｒ２，ｌ２，…が設定される。なお、ｌ，ｒは左右を意味し、そのウィンドの設定方法は左右同じであるので、以下では右のウィンドｒ１，ｒ２，…の設定方法についてのみ説明する。
【０００３】
まず、ウィンドｒ１が、右下に初期ウィンドとして所定の大きさで設定される。この初期ウィンドは、大きく設定されるので確実に白線を捉えることができる。そして、この領域内において、平滑化演算、２値化演算、ソーベル演算等の画像処理が行われて徴分画像が求められる。
【０００４】
この徴分画像は、強度の変化点を強調するので、白線が左右のエッジペアとして得られる。これらのエッジペアの座標は、徴分画像上を水平方向に急峻な強度変化を探査することによって得られ、さらにこの複数のエッジペアの中心点を取ることにより、白線の代表点が求められる。そして、この延長線上に次回のウィンド（例えばｒ２）の中心が来るように設定し、同じ操作を数回繰り返す。この繰り返しにより、最終的にエッジペアの中心点からなる点列を白線と認識する。
【０００５】
この白線検出装置では、２回目（ｒ２）以降に行われるウィンドの設定操作においては、前回設定したウィンドの上辺に、次に設定されるウィンドの下辺が接するように操作される。そして、次に設定されるウィンドの位置は、基本的には前回設定したウィンド内に位置する白線の延長線上の、白線が存在する部分を含むエリアを設定するようにしている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した白線検出装置では、図６に示す２つ目のウィンドＬＢを設定するに際し、２つ目のウィンドＬＢと１つ目のウィンドＬＡの領域が接するように設定するが、２つ目のウィンドＬＢ内に白線が検出されなかった場合にあっては、３つ目のウィンドＬＣを設定するための基準となる（ｘ，ｙ）座標を、その前に検出された白線を延長し、その延長線と検出できなかったウィンドの上辺との交点座標に基づいてウィンドを設定する。このため、こうした非検出点が存在した場合には、内挿または外挿する補間計算が必要となり、しかも同図に示すような曲線路では、基準となる座標にズレが生じるため、曲線路における検出精度の低下の要因となっていた。
【０００７】
本発明は、このような従来の問題点に鑑み、検出領域の設定時に一部の情報を共有化して、非検出領域については、検出された検出領域の情報を活用することにより、検出精度の低下抑制と処理時間の短縮を両立した車線検出装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
（１）上記課題を解決するため、本発明によれば、車両に搭載され自車両の所定領域を撮像手段と、道路の形状を道路モデルとして記憶する道路形状記憶手段と、前記所定領域の座標系を画像上の座標系に変換して座標値を求める座標変換手段と、前記撮像手段により撮像した画像上に、自車両の走行路の車線を検出するための領域を設定する車線検出領域設定手段と、前記車線検出領域設定手段により設定された検出領域内で直線成分を検出することで車線を検出し、その検出結果として少なくとも一つの車線候補点の画像座標値を出力する車線候補点検出手段と、前記車線候補点検出手段で抽出した車線候補点の座標値と、前記道路形状記憶手段に記憶されている道路モデルの、前記座標変換手段により変換した画像座標値とを比較して、道路形状を表すパラメータ（曲率、勾配など）と前記撮像手段の姿勢を表すパラメータ（基準位置からの偏位、高さ、ヨー角、ピッチ角、ロール角など）のうち、少なくとも基準位置からの偏位と曲率の変化成分を算出する変化量算出手段と、前記変化量算出手段で算出された変化量から、前記道路形状記憶手段に記憶されている道路モデルや座標変換手段その他の各パラメータを更新するパラメータ更新手段と、少なくとも基準位置からの偏位を車両制御側に出力する出力信号選択手段とを備え、さらに、前記車線検出領域設定手段は、前記検出領域の上辺または下辺の何れか一方に相当する位置に設定した第一の点の座標値（ｘ，ｙ）と少なくとも前記第一の点とは異なる位置に設定した第二の点の座標値（ｘ，ｙ）とに基づいて、直線成分を検出し、検出領域の上辺または下辺の何れか一方に相当する点を車線候補点として出力する車線検出装置が提供される。
特に限定されないが、車線候補点検出手段は、各検出領域内で車線候補点検出処理を行った結果、出力する座標値に対する位置に車線候補点が検出できなかった場合には、一つ前の検出領域で重なっている部分の画像座標値での結果に基づいてその検出領域の検出結果として出力することがより好ましい。
【０００９】
この車線検出装置では、車線検出領域の一部を重ねて設定するので、車線情報を共用化することができ、その結果、連続した検出領域で車線候補点を容易に検出することができる。
【００１０】
（２）上記発明においては特に限定されないが、車線候補点検出手段は、前記第二の点のｘ座標値を隣接した前記検出領域に設定された第一の点のｘ座標値と一致させることがより好ましい。
【００１１】
削除
【００１２】
（３）上記発明においては特に限定されないが、車線検出領域設定手段は、左右の各検出領域の設定時に各々１ライン分重ねるようにすることがより好ましい。
【００１３】
この車線検出装置では、検出領域の重ねる領域を最小限にすることで、同じ走査量で広い範囲を検出領域とすることができる。
【００１４】
削除
【００１５】
この車線検出装置では、検出領域内で車線候補点が検出できなかった場合には、重なっている他の検出領域の座標値を、そのままこの検出領域の検出結果として用いることができるので、情報欠落時の補間計算が不要となり、かつ曲線路では一般的な内挿または外挿よりも精度の高い車線検出が可能となる。
【００１６】
なお、曲線路における補間精度については，たとえば水平画角が約２８度、垂直画角が約２０度のカメラを用いて、画像サイズが２５６画素×２２０画素で、消失点の座標（ｘ，ｙ）が約（１２８，７３）になるように設定して処理した場合、曲率半径が２２０ｍの曲線路では、たとえば左側の車線については、図６に示すように、約３０ｍ遠方では領域ＬＢの検出点であるＬｂ点の座標を求める際に，Ｌａ点とＬｃ点を用いた内挿（図において▲点）で約５０ｍｍ、Ｌａ点と領域ＬＡでの傾きを用いた外挿（図において■点）で約１６０ｍｍの誤差が生じる。右側の車線についてもほとんど同じである。こうした誤差は曲率半径が小さくなるほど大きくなる。
【００１７】
【発明の効果】
本発明によれば、車線検出領域の一部を重ねて設定するので、車線情報を共用化することができ、その結果、連続した検出領域で車線候補点を容易に検出することができる。
【００１８】
また、検出領域内で車線候補点が検出できなかった場合には、重なっている他の検出領域の座標値を、そのままこの検出領域の検出結果として用いることができるので、情報欠落時の補間計算が不要となり、かつ曲線路では一般的な内挿または外挿よりも精度の高い車線検出が可能となる。
【００１９】
(削除)
【００２０】
（削除）
【００２１】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
図１（Ａ）（Ｂ）は本発明の車線検出装置の実施形態を示すブロック図、図２は本発明に係る撮像手段の取付位置を示す平面図及び側面図、図３は本発明の実施形態の動作を説明するためのフローチャート、図４は本発明に係る消失点、車線モデル及び車線候補点検出領域を示す図である。
【００２２】
本例の車線検出装置は、図１（Ａ）に示すようにカメラ１、画像処理装置２、マイクロコンピュータ３、メモリ４及びセンサ５から構成され、外部装置として、車両制御装置６、警報装置７及びディスプレイ８が接続される。
【００２３】
図２に示すように、カメラ１は車幅方向中央の、車室内のフロントウィンド上部に、レンズの光軸と車両中心線とのパン角αが０、チルト角βがβとなるように取り付けられ、車両前方の道路風景を撮像する。
【００２４】
画像処理装置２は、カメラ１により撮像された画像を処理して道路上の白線を検出する。
【００２５】
マイクロコンピュータ３は、道路形状と車両挙動を示す複数のパラメータを用いて道路白線の形状を数式化モデルで表し、道路白線の検出結果と道路モデルとが一致するようにパラメータを更新することにより、道路白線を検出して道路形状を認識する。さらに、左右の白線を結んで得られる消失点の位置を、道路に対する車両のヨー角とピッチ角とに基づいて補正する。
【００２６】
メモリ４は、道路モデルのパラメータなどを記憶する記憶装置であり、センサ５は、車両の挙動を表す車速や操舵角などを検出する装置である。また、車両制御装置６は、出力結果に基づいてステアリング、アクセル、ブレーキなどの制御を実行するものである。さらに、警報装置７は、出力信号に基づいて車線逸脱などの警報を発する装置である。ディスプレイ８は、検出結果の道路形状などを表示するための表示装置である。
【００２７】
なお、図１（Ｂ）は本例の車線検出装置を機能的に表現したものであり、これと同図（Ａ）に示すハードウェアとして表現したものとを対比させると、カメラ１及び画像処理装置２が撮像手段２１、メモリ４が道路形状記憶手段２７、マイクロコンピュータ３が座標変換手段２２、車線検出領域設定手段２３、車線候補点検出手段２４、変化量算出手段２５、パラメータ更新手段２６及び出力信号選択手段２８に相当する。
【００２８】
次に処理手順を説明する。
まずステップ１において、道路形状や車両挙動を表すパラメータ（以下、単に道路パラメータとも言う。）を初期設定する。ここで、図４に示すような画面座標系ｘ−ｙ上において、白線モデル１２を道路パラメータを用いて次のように数式で表す。
【００２９】
【数１】
ｘ＝（ａ＋ｉｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ …（１）
上記（１）式において、ａ乃至ｅは道路パラメータであり、路面からのカメラの高さを一定とすると、それぞれの道路パラメータを次のような道路および白線の形状または車両挙動を表す。
【００３０】
すなわち、ａは走行車線内の自車両の横偏位、ｂは道路の曲率、ｃは自車両（カメラ１の光軸）の道路に対するヨー角、ｄは自車両（カメラ１の光軸）の道路に対するピッチ角、ｅは道路の車線幅をそれぞれ表す。また、ｃは自車両とカメラ１との取付角度のうちパン角αを含んだものであり、ｄは自車両とカメラ１との取付角度のうちチルト角βを含んだものである。
【００３１】
ちなみに、初期状態においては道路および白線の形状や車両挙動が不明であるから、各道路パラメータには、たとえば中央値に相当する値を初期値として設定する。すなわち、車線内の横偏位（位置）ａには車線中央を設定し、車線に対するヨー角ｃにはパン角αを設定する。また、車線に対するピッチ角ｄには停止状態のピッチ角αを設定し、車線幅ｅには道路構造令に示される高速道路の車線幅を設定する。
【００３２】
なお、センサ５で検出される車両の挙動を示す値に基づいて道路パラメータを初期設定しても良い。たとえば、初期状態においてステアリングが右または左に転舵されているような場合には、操舵角に応じた曲率の道路を走行していると判断してパラメータｂに操舵角に応じた値を設定しても良い。
【００３３】
ステップ２では、図４に示すように白線候補点を検出するための検出領域１１の初期設定を行う。初期状態においては、道路パラメータに初期値を設定した白線モデルと、実際の画面上の道路白線との間には大きな開きがあると予想されるので、できる限り大きな領域を設定することが望ましい。図４に示す例では、左右の白線９に６個ずつ、計１２個の白線候補点検出領域を設定している。
【００３４】
なお、前回の処理までに道路白線が既に検出されている場合には、実際の道路白線と白線モデルとの差は小さいと考えられるので、なるべく小さな領域を設定する方が白線以外のものを誤検出する可能性が低くなり、しかも処理速度も短縮できるので好ましい。
【００３５】
次のステップ３では、カメラ１により撮像され、画像処理装置２で処理された画像を入力する。そして、ステップ４において、入力した道路画像上に白線候補点の検出領域を設定する。このとき、ステップ２で設定した白線候補点検出領域と、ステップ１または後述するステップ１２およびステップ１４並びにステップ１５で算出した道路パラメータによる白線モデルとに基づいて、前回の処理で求めた白線モデルが領域の中心になるように、白線候補点検出領域を設定する。
【００３６】
なお、過去の白線モデルの変化の様子から、白線モデルの変化方向にオフセットした位置に白線候補点検出領域を設定するようにしても良い。
【００３７】
特に本例では、各白線候補点検出領域の始点のｙ座標を、一つ前の検出領域の終点のｙ座標と一致させるために、各白線候補点検出領域のｙ座標を１ライン重ねて設定する。
【００３８】
ステップ５では、上記のように設定された白線候補点検出領域において白線候補点の検出を行う。この白線候補点の検出は、まず入力画像をソーベルフィルタなどを通すことで微分画像を生成する。
【００３９】
次に、白線候補点検出領域の上底の一点と下底の一点とを結んでできる全ての線分に対し、その線分上の画素の濃度が所定値以上の画素の数を計測する。さらに全ての線分の中で濃度が所定値以上の画素が最も多い線分を検出直線とし、その線分の始点（画像中において白線候補点検出領域の上底の１点）の座標値を白線候補点の出力値とする。
【００４０】
このとき、検出された直線上の所定値以上の濃度の画素数が、白線候補点検出領域の長さに対する所定の割合よりも少ない場合には白線候補点が検出されなかったものとみなす。たとえば、白線候補点検出領域の長さが１５画素で、所定値以上の濃度の画素が１／２以上（すなわち８画素以上）検出されたら、白線候補点が検出されたとする白線候補点検出領域においては、所定値以上の濃度の画素数が最も多い線分上における画素数が７画素以下の場合は、その白線候補点検出領域において白線候補点が検出されなかったものとみなす。一方、９画素の場合は白線候補点が検出されたものとし、その線分の始点（画像中において白線候補点検出領域の上底の１点）の座標値を検出結果とし、そのときの終点（画像中において白線候補点検出領域の下底の１点）の座標を記憶する。
【００４１】
以上の処理を順次遠方から近場へ向けて、全ての白線候補点検出領域について実行する。このとき、白線候補点の検出の有無を判断するための、白線候補点検出領域の長さに対する上記所定の割合は、全ての白線候補点検出領域に対して同一の値としても良いし、或いは白線候補点検出領域毎に設定しても良い。また、上記濃度の所定値も、全ての白線候補点検出領域に対して同一の値としても良いし、或いは白線候補点検出領域毎に設定しても良い。
【００４２】
本例では、このような処理で白線候補点が検出できなかった場合には、一つ前の白線候補点検出領域における終点の検出結果を、検出できなかったその領域の始点座標として出力する。
【００４３】
なお、本例では、白線候補点の出力結果として白線候補点検出領域における上底の座標を用いるとともに、白線候補点検出領域の処理の順序を遠方から近場に向けて行っているが、本発明はこれに限定されることはなく、たとえば白線候補点の出力結果として検出領域の下底の座標を用いても良いし、また検出領域の処理順序は近場から遠方へ行っても良い。
【００４４】
ステップ６では、全ての白線候補点検出領域で検出した白線候補点の点数が所定値以上かどうかを確認し、所定値より少なければ白線候補点検出領域内に道路白線が含まれていなかったと判断し、ステップ２へ戻って白線候補点検出領域を初期設定する。一方、白線候補点が所定値以上検出された場合にはステップ７へ進む。
【００４５】
ステップ７では、検出した白線候補点と前回の処理で求められた白線モデル上の点とのズレ量を各点毎に算出する。
【００４６】
次のステップ８では、各点のズレ量に基づいて道路パラメータの変動量Δａ〜Δｅを算出する。この変動量の算出方法は、たとえば特開平８−５３８８号公報に開示された方法などを用いることができる。
【００４７】
ステップ９では、算出された道路パラメータの変動量Δａ〜Δｅにより道路パラメータａ〜ｅを補正する。たとえば、上述した（１）式に示す白線モデルの場合には、次式により道路パラメータａ〜ｅを補正する。
【００４８】
【数２】
ａ＝ａ＋Δａ，ｂ＝ｂ＋Δｂ，ｃ＝ｃ＋Δｃ，ｄ＝ｄ＋Δｄ，ｅ＝ｅ＋Δｅ
次のステップ１０では、道路パラメータの中で道路形状を表すパラメータが正常であるかどうかを確認し、正常でない場合にはステップ１４へ進んで道路形状を表すパラメータを初期化する。既述した（１）式で表される白線モデルにあっては、パラメータｂが道路曲率、パラメータｅが車線幅をそれぞれ反映する。したがって、パラメータｂから推定される道路曲率が、センサ５による車両挙動検出値から判断して、現在走行している道路ではあり得ない曲率になった場合にはパラメータｂを初期化する。同様に、パラメータｅから推定される車線幅が、センサ５による車両挙動検出値から判断して、現在走行している道路ではあり得ない車線幅になった場合にはパラメータｅを初期化する。
【００４９】
道路形状を表すパラメータが正常である場合は、ステップ１１へ進み、今度は車両挙動を表すパラメータが正常であるかどうかを確認し、正常でない場合にはステップ１５へ進んで車両挙動を表すパラメータを初期化する。既述した（１）式で表される白線モデルにあっては、パラメータａが車線内の横偏位、パラメータｃが路面に対するヨー角、パラメータｄが路面に対するピッチ角をそれぞれ反映する。したがって、パラメータａから推定される横偏位が、道路曲率の推定値あるいはセンサ５による車両挙動検出値から判断して、現在走行している道路ではあり得ない横偏位になった場合にはパラメータａを初期化する。同様に、パラメータｃから推定されるヨー角が、道路曲率の推定値あるいはセンサ５による車両挙動検出値から判断して、現在走行している道路ではあり得ない角度になった場合にはパラメータｃを初期化する。また、パラメータｄから推定されるピッチ角が、センサ５による車両挙動検出値から判断して、現在走行している道路ではあり得ない角度になった場合にはパラメータｄを初期化する。
【００５０】
車両挙動を表すパラメータが正常である場合は、ステップ１２へ進み、ステップ９にて補正した道路パラメータａ〜ｅを新たな白線モデルの道路パラメータとしてメモリ４に記憶する。
【００５１】
次のステップ１３では、新しい道路パラメータにより道路形状を推定し、車両制御装置６、警報装置７、ディスプレイ８に出力する。
【００５２】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【図１】本発明の車線検出装置の実施形態を示すブロック図である。
【図２】本発明に係る撮像手段の取付位置を示す平面図及び側面図である。
【図３】本発明の実施形態の動作を説明するためのフローチャートである。
【図４】本発明に係る消失点、車線モデル及び車線候補点検出領域を示す図である。
【図５】従来の白線の確定方法を説明するための図である。
【図６】従来法による曲線路でのズレ量を説明するための図である。
【符号の説明】
１…カメラ（撮像手段）
２…画像処理装置（撮像手段）
３…マイクロコンピュータ（座標変換手段、車線検出領域設定手段、車線候補点検出手段、変化量算出手段、パラメータ更新手段及び出力信号選択手段）
４…メモリ（道路形状記憶手段）
５…センサ

Claims

車両に搭載され自車両の所定領域を撮像する撮像手段と、
道路の形状を道路モデルとして記憶する道路形状記憶手段と、
前記所定領域の座標系を画像上の座標系に変換して座標値を求める座標変換手段と、
前記撮像手段により撮像した画像上に、自車両の走行路の車線を検出するための複数の検出領域を設定する車線検出領域設定手段と、
前記車線検出領域設定手段により設定された検出領域内で直線成分を検出することで車線を検出し、その検出結果として少なくとも一つの車線候補点の画像座標値を出力する車線候補点検出手段と、
前記車線候補点検出手段で抽出した車線候補点の座標値と、前記道路形状記憶手段に記憶されている道路モデルの、前記座標変換手段により変換した画像座標値とを比較して、道路形状を表すパラメータと前記撮像手段の姿勢を表すパラメータのうち、少なくとも基準位置からの偏位と曲率の変化成分を算出する変化量算出手段と、
前記変化量算出手段で算出された変化量から、前記道路形状記憶手段に記憶されている道路モデルや前記座標変換手段その他の各パラメータを更新するパラメータ更新手段と、
少なくとも基準位置からの偏位を車両制御側に出力する出力信号選択手段と、を有する車線検出装置において、
前記車線検出領域設定手段は、前記検出領域の一部分が上下に隣接した検出領域の一部分と重なるように設定し、
前記車線候補点検出手段は、前記検出領域の上辺または下辺の何れか一方に相当する位置に設定した第一の点の座標値と少なくとも前記第一の点とは異なる位置に設定した第二の点の座標値とに基づいて、直線成分を検出し、検出領域の上辺または下辺の何れか一方に相当する点を車線候補点として出力し、当該車線候補点検出手段は、各検出領域内で車線候補点検出処理を行った結果、出力する座標値に対応する位置に車線候補点が検出できなかった場合には、一つ前の検出領域と重なっている部分の画像座標値における検出結果に基づいて、その検出領域の検出結果を出力する車線検出装置。
車両に搭載され自車両の所定領域を撮像する撮像手段と、
道路の形状を道路モデルとして記憶する道路形状記憶手段と、
前記所定領域の座標系を画像上の座標系に変換して座標値を求める座標変換手段と、
前記撮像手段により撮像した画像上に、自車両の走行路の車線を検出するための複数の検出領域を設定する車線検出領域設定手段と、
前記車線検出領域設定手段により設定された検出領域内で直線成分を検出することで車線を検出し、その検出結果として少なくとも一つの車線候補点の画像座標値を出力する車線候補点検出手段と、
前記車線候補点検出手段で抽出した車線候補点の座標値と、前記道路形状記憶手段に記憶されている道路モデルの、前記座標変換手段により変換した画像座標値とを比較して、道路形状を表すパラメータと前記撮像手段の姿勢を表すパラメータのうち、少なくとも基準位置からの偏位と曲率の変化成分を算出する変化量算出手段と、
前記変化量算出手段で算出された変化量から、前記道路形状記憶手段に記憶されている道路モデルや前記座標変換手段その他の各パラメータを更新するパラメータ更新手段と、
少なくとも基準位置からの偏位を車両制御側に出力する出力信号選択手段と、を有する車線検出装置において、
前記車線検出領域設定手段は、前記検出領域の一部分が上下に隣接した検出領域の一部分と重なるように設定し、
前記車線候補点検出手段は、前記検出領域の上辺または下辺の何れか一方に相当する位置に設定した第一の点の座標値と少なくとも前記第一の点とは異なる位置に設定した第二の点の座標値とに基づいて、直線成分を検出し、検出領域の上辺または下辺の何れか一方に相当する点を車線候補点として出力し、当該前記車線候補点検出手段は、前記第二の点のｘ座標値を隣接した前記検出領域に設定された第一の点のｘ座標値と一致させる車線検出装置。
前記車線検出領域設定手段は、左右の各検出領域を設定する際にそれぞれ１ライン分だけ重ねる請求項１または２記載の車線検出装置。