Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5363920B2 - 車両用白線認識装置 - Google Patents
[go: Go Back, main page]

JP5363920B2 - 車両用白線認識装置 - Google Patents

車両用白線認識装置 Download PDF

Info

Publication number
JP5363920B2
JP5363920B2 JP2009200570A JP2009200570A JP5363920B2 JP 5363920 B2 JP5363920 B2 JP 5363920B2 JP 2009200570 A JP2009200570 A JP 2009200570A JP 2009200570 A JP2009200570 A JP 2009200570A JP 5363920 B2 JP5363920 B2 JP 5363920B2
Authority
JP
Japan
Prior art keywords
point
white line
point group
vehicle
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009200570A
Other languages
English (en)
Other versions
JP2011053808A (ja
Inventor
悠一郎 田村
徹 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK filed Critical Fuji Jukogyo KK
Priority to JP2009200570A priority Critical patent/JP5363920B2/ja
Priority to US12/858,044 priority patent/US8477997B2/en
Priority to DE102010035812.6A priority patent/DE102010035812B4/de
Publication of JP2011053808A publication Critical patent/JP2011053808A/ja
Application granted granted Critical
Publication of JP5363920B2 publication Critical patent/JP5363920B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線の認識が行われ、この白線に基づいて自車走行レーンの推定等が行われる。
このような白線認識を行うための技術として、例えば、特許文献1には、輝度が暗から明に変化する各エッジ点(正エッジ点)と、輝度が明から暗に変化する各エッジ点(負エッジ点)とを路面画像中から検出し、これら正負の各エッジ点についてそれぞれハフ変換を行い、正負間で対応するハフ空間を探索することにより、例えば、実線状の車線区画線と破線状の視線誘導線とが併存する多重白線(二重白線等)のような複雑な形状の白線が表示された走行路においても白線認識を実現する技術が開示されている。
特開平11−85999号公報
ところで、二重白線等を構成する内側の視線誘導線等の中には、例えば、菱形のマークが所定間隔毎に破線状に連なって形成されたものがある。このような特殊な二重白線等を認識する場合、視線誘導線(菱形のマーク)について検出される各エッジ点は、その延在方向とは異なる方向に不連続に配列されることとなる。従って、二重白線等の白線認識において、単に内側の視線誘導線等のエッジ点についてハフ変換を行っただけの処理では、得られる直線が実際の車線の延在方向とは異なってしまう虞がある。
その一方で、特許文献1に開示された技術のように、二重白線等の白線認識において、内外の各白線(視線誘導線及び車線区画線等)について正エッジ点及び負エッジ点をそれぞれ検出することにより、特殊な視線誘導線を有する二重白線等についても、車線区画線側のエッジ点等に基づいて適正な方向に延在する直線を得られる可能性がある。しかしながら、二重白線等の認識に際し、複数の白線のそれぞれに対してエッジ点検出等を行うことは、演算負荷等を過剰に増大させる虞がある。
本発明は上記事情に鑑みてなされたもので、エッジ検出等の演算処理を複雑化させることなく、多重白線等に対しても安定した認識結果を得ることができる車両用白線認識装置を提供することを目的とする。
本発明は、自車走行環境を撮像した画像上の水平方向に設定した複数の検索ライン上での輝度変化に基づいて前記検索ライン毎に1組の白線開始点及び白線終了点を検出する白線境界点検出手段と、前記検索ライン毎に検出された前記白線開始点と前記白線終了点との中間点を算出する中間点算出手段と、前記白線開始点からなる点群或いは前記白線終了点からなる点群の少なくとも何れか一方と、前記中間点からなる点群のうち、予め設定された条件に基づいて判定されるばらつきが最も小さい点群を選定する点群選定手段と、前記選定した点群に基づいて白線を演算する白線演算手段とを備えたことを特徴とする。
本発明の車両用白線認識装置によれば、エッジ検出等の演算処理を複雑化させることなく、多重白線等に対しても安定した認識結果を得ることができる。
車両用運転支援装置の概略構成図 白線認識ルーチンを示すフローチャート 白線開始点及び白線終了点での輝度及び輝度の微分値の推移の一例を示す図表 (a)は車外環境の撮像画像の一例を模式的に示す説明図であり(b)は(a)の画像から検出される白線開始点及び白線終了点を示す説明図であり(c)は(b)から算出される中間点を示す説明図 (a)は車外環境の撮像画像の一例を模式的に示す説明図であり(b)は(a)の画像から検出される白線開始点及び白線終了点を示す説明図であり(c)は(b)から算出される中間点を示す説明図 ハフ変換の演算方法を示す説明図 ハフ空間を示す説明図 点群選定方法の変形例を示す説明図
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図1は車両用運転支援装置の概略構成図、図2は白線認識ルーチンを示すフローチャート、図3は白線開始点及び白線終了点での輝度及び輝度の微分値の推移の一例を示す図表、図4(a)は車外環境の撮像画像の一例を模式的に示す説明図であり(b)は(a)の画像から検出される白線開始点及び白線終了点を示す説明図であり(c)は(b)から算出される中間点を示す説明図、図5(a)は車外環境の撮像画像の一例を模式的に示す説明図であり(b)は(a)の画像から検出される白線開始点及び白線終了点を示す説明図であり(c)は(b)から算出される中間点を示す説明図、図6はハフ変換の演算方法を示す説明図、図7ハフ空間を示す説明図、図8は点群選定方向の変形例を示す説明図である。
図1において、符号1は自動車等の車両(自車両)であり、この車両1には運転支援装置2が搭載されている。この運転支援装置2は、例えば、ステレオカメラ3、ステレオ画像認識装置4、制御ユニット5等を有して要部が構成されている。
また、自車両1には、自車速Vを検出する車速センサ11、ヨーレートγを検出するヨーレートセンサ12、運転支援制御の各機能のON−OFF切換等を行うメインスイッチ13、ステアリングホイールに連結するステアリング軸に対設されて舵角θstを検出する舵角センサ14、ドライバによるアクセルペダル踏込量(アクセル開度)θaccを検出するアクセル開度センサ15等が設けられている。
ステレオカメラ3は、ステレオ光学系として例えば電荷結合素子(CCD)等の固体撮像素子を用いた1組のCCDカメラで構成されている。これら左右のCCDカメラは、それぞれ車室内の天井前方に一定の間隔を持ってい取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置4に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像(例えば、右側の画像)を基準画像と称し、他方の画像(例えば、左側の画像)を比較画像と称する。
ステレオ画像認識装置4は、先ず、基準画像を例えば4×4画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置4は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジとして抽出するとともに、抽出した画素(エッジ)に距離情報を付与することで、距離情報を備えたエッジの分布画像(距離画像)を生成する。そして、ステレオ画像認識装置4は、生成した距離画像に基づいて、自車前方の白線、側壁、立体物等を認識し、認識した各データに、それぞれ異なるIDを割り当て、これらをID毎にフレーム間で連続して監視する。
ここで、本実施形態において、白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線が併設された多重線(二重線等)のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、さらに、黄色線等をも含む。また、本実施形態の白線認識においては、道路上に実在の白線が二重白線等であっても、左右それぞれ単一の直線或いは曲線等で近似して認識するものとする。
このような白線の認識に際し、ステレオ画像認識装置4は、画像上に設定された白線検出領域内において、水平方向(車幅方向)に設定した複数の検索ラインL上で輝度が所定以上変化するエッジの検出を行うことで、検索ライン毎に1組の白線開始点Ps及び白線終了点Peを検出する。すなわち、ステレオ画像認識装置4は、例えば、基準画像上に設定された左右の各白線検出領域内において、各検索ラインL上で車幅方向内側から外側に向けて各画素の輝度値の変化を調べることにより、エッジ点を検出する。そして、ステレオ画像認識装置4は、検出したエッジ点に基づいて、検索ラインL毎に左右各1組の白線開始点Ps及び白線終了点Peを検出する。また、ステレオ画像認識装置4は、検索ラインL毎に検出された白線開始点Psと白線終了点Peとの中間点Pmを算出する。さらに、ステレオ画像認識装置4は、白線開始点Psからなる点群と、中間点Pmからなる点群のうち、予め設定された条件に基づいて判定されるばらつきが小さい点群を選定し、選定した点群に基づいて白線を演算する。
このように、本実施形態において、ステレオ画像認識装置4は、白線認識装置としての機能を有し、白線境界点検出手段、中間点算出手段、点群選定手段、及び、白線演算手段としての各機能を実現する。
制御ユニット5には、ステレオ画像認識装置4で認識された自車両1前方の走行環境情報が入力される。さらに、制御ユニット5には、自車両1の走行情報として、車速センサ11からの車速V、ヨーレートセンサ12からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ13からの操作信号、舵角センサ14からの舵角θst、アクセル開度センサ15からのアクセル開度θacc等が入力される。
そして、例えば、ドライバによるメインスイッチ13の操作を通じて、運転支援制御の機能の1つであるACC(Adaptive Cruise Control)機能の実行が指示されると、制御ユニット5は、ステレオ画像認識装置4で認識した先行車方向を読み込み、自車走行路上に、追従対象の先行車が走行しているか否かを識別する。
その結果、追従対象の先行車が検出されない場合は、スロットル弁16の開閉制御(エンジンの出力制御)を通じて、ドライバが設定したセット車速に自車両1の車速Vを維持させる定速走行制御を実行する。
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット5は、基本的にはスロットル弁16の開閉制御(エンジンの出力制御)を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁16の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット5は、アクティブブースタ17からの出力液圧の制御(ブレーキの自動介入制御)を併用し、車間距離を目標車間距離に収束させる。
また、ドライバによるメインスイッチ13の操作を通じて、運転支援制御の機能の1つである車線逸脱防止機能の実行が指示されると、制御ユニット5は、例えば、自車走行レーンを規定する左右の白線に基づいて警報判定用ラインを設定するとともに、自車両1の車速Vとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット5は、例えば、自車前方の設定距離(例えば、10〜16[m])内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両1が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
次に、上述のステレオ画像認識装置4による白線認識について、図2に示す白線認識ルーチンのフローチャートに従って説明する。
このルーチンがスタートすると、ステレオ画像認識装置4は、先ず、ステップS101において、白線開始点Psの検出を行う。すなわち、ステレオ画像認識装置4は、例えば、基準画像上に設定された左右の各白線検出領域内において、画像中心線(或いは、舵角θst等から推定される自車進行方向)を基準とする車幅方向内側から外側に向けて、各検索ラインL上でのエッジ検出を行い、白線開始点Psを示すエッジ点の探索を行う。具体的には、ステレオ画像認識装置4は、例えば、図3に示すように、車幅方向内側から外側への検索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点(エッジ点)を白線開始点Psとして検出する。ここで、演算を簡素化するため、ステレオ画像認識装置4は、各検索ラインL上の車幅方向内側から車幅方向外側への探索において、前述の要件に基づいて最初に検出したエッジ点(すなわち、前述の要件に基づいて最も車幅方向内側で検出したエッジ点)のみを白線開始点Psとして検出する。
このような検索により、例えば、認識対象となる白線が二重白線であって、且つ、内側に位置する白線(視線誘導線)が菱形のマークで構成されている場合(図4(a)参照)、自車両の左右両側でそれぞれ認識される各白線開始点Psは、主として内側の視線誘導線に基づくものとなり、白線の延在方向に対して不連続に配列される(図4(b)参照)。一方、例えば、認識対象となる白線が二重線であって、且つ、内側に位置する白線(視線誘導線)が破線状に形成されている場合(図5(a)参照)、自車両の左右両側でそれぞれ認識される各白線開始点Psは、主として内側の視線誘導線に基づくものとなり、そのほとんどが白線の延在方向に対して連続的に配列される(図5(b)参照)。
続くステップS102において、ステレオ画像認識装置4は、白線終了点Peの検出を行う。すなわち、ステレオ画像認識装置4は、例えば、基準画像上に設定された左右の各白線検出領域内において、画像中心線(或いは、舵角θst等から推定される自車進行方向)を基準として車幅方向内側から外側に向けて、各検索ラインL上でのエッジ検出を行い、白線終了点Peを示すエッジ点の探索を行う。具体的には、例えば、図3に示すように、車幅方向内側から外側への検索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値がマイナス側の設定閾値以下となる点(エッジ点)を白線終了点Peとして検出する。ここで、演算を簡素化するため、ステレオ画像認識装置4は、各検索ラインL上の車幅方向内側から車幅方向外側への探索において、前述の要件に基づいて最初に検出したエッジ点(すなわち、前述の要件に基づいて最も車幅方向内側で検出したエッジ点)のみを白線終了点Peとして検出する。
このような検索により、例えば、認識対象となる白線が二重白線であって、且つ、内側に位置する白線(視線誘導線)が菱形のマークで構成されている場合(図4(a)参照)、自車両の左右両側でそれぞれ認識される各白線終了点Peは、主として内側の視線誘導線に基づくものとなり、白線の延在方向に対して不連続に配列される(図4(b)参照)。一方、例えば、認識対象となる白線が二重線であって、且つ、内側に位置する白線(視線誘導線)が破線状に形成されている場合(図5(a)参照)、自車両の左右両側でそれぞれ認識される各白線終了点Peは、主として内側の視線誘導線に基づくものとなり、そのほとんどが白線の延在方向に対して連続的に配列される。但し、図5(a)に示す例では、解像度等に起因して、画像上、内外の白線が遠方で結合されている。このため、所定距離以遠での白線終了点Peは、外側の白線(車線区画線)に基づくものとなり、自車近傍のものよりも相対的に車幅方向外側に所定量シフトした位置で、白線の延在方向に対して連続的に配列される(図5(b)参照)。
なお、本実施形態において、上述のステップS101及びステップS102で検出される各白線開始点Ps及び各白線終了点Peには、距離画像上で対応する距離情報がそれぞれ付与される。或いは、上述の白線開始点Ps及び白線終了点Peの検出を基準画像に代えて距離画像上で行うことで、各点Ps,Peの距離情報を直接的に取得することも可能である。
続くステップS103において、ステレオ画像認識装置4は、検索ラインL毎に検出された各対をなす白線開始点Psと白線終了点Peの中間点Pmを算出する。すなわち、ステレオ画像認識装置4は、白線開始点Psから白線終了点Peまでの画素数(及び、距離情報)に基づいて各検索ラインL上における白線幅を算出し、これの白線幅が1/2となる点を中間点Pmとして出力する。
この場合、図4(a)で示した二重白線においては、白線開始点Ps及び白線終了点Peのほとんどが内側の視線誘導線に基づいて検出されたものであるため、算出される各中間点Pmは、そのほとんどが白線の延在方向に対して連続的に配列される(図4(c)参照)。一方、図5(a)で示した二重白線においては、白線開始点Psのほとんどが内側の視線誘導線に基づいて検出されているものの、白線終了点Peの一部が外側の白線(車線区画線)に基づいて検出されたものであるため、算出される各中間点Pmは、特に、自車近傍と遠方とで不連続に配列される(図5(c)参照)。
続くステップS104において、ステレオ画像認識装置4は、例えば、白線開始点Psからなる点群と、中間点Pmからなる点群についての評価を行い、予め設定された条件に基づいて判定されるばらつきが小さい点群を選定する。すなわち、本実施形態において、ステレオ画像認識装置4は、ハフ変換を用いて各点群を表す近似式(例えば、直線近似式)を演算し、演算した近似式に対応する各点の誤差が小さい点群を白線演算対象の点群として選定する。
各白線開始点Ps或いは各中間点Pmを点Pと略称して具体的に説明すると、ステレオ画像認識装置4は、例えば、図6に示すように、点群を構成する各点Pそれぞれに対し、点P(x,y)を通る直線hの傾きθを0°から180°まで所定の角度Δθ毎変化させ、以下の(1)式に基づいて、各θにおける原点Oから直線hまでの距離(垂線の長さ)ρを求める。
ρ=x・cosθ+y・sinθ … (1)
そして、ステレオ画像認識装置4は、各点Pについて求めた各θとρの関係を、例えば、図7に示すハフ平面(θ,ρ)上の該当箇所に度数として投票(投影)する。さらに、ステレオ画像認識装置4は、ハフ平面(θ,ρ)上の度数が最も大きくなるθとρの組み合わせを抽出し、当該θとρを用いて(1)式で規定される直線(ハフ直線H)を点群の近似式として設定する。
そして、ステレオ画像認識装置4は、近似式(ハフ直線H)に対する各点Pの誤差の平均値を算出し、算出した誤差の平均値が小さい方の点群を白線演算対象の点群として選定する。
このような処理により、例えば、図4(a)に示す二重白線においては、左右の各白線検出領域において共に、中間点Pmからなる点群が白線演算対象の点群として選定される。一方、例えば、図5(a)に示す二重白線においては、左右の各白線検出領域において共に、白線開始点Psからなる点群が白線演算対象の点群として選定される。
ここで、点群の選定処理を簡素化するため、例えば、各点群に対応するハフ平面(θ,ρ)上の度数の最大値(ピーク)同士を比較し、大きなピークを有する点群を白線演算対象の点群として選定することの可能である。
続くステップS105において、ステレオ画像認識装置4は、ステップS104で選定した点群に基づいて白線を演算する。すなわち、本実施形態において、例えば、白線演算対象の点群として白線開始点Psからなる点群が選定されている場合、ステレオ画像認識装置4は、当該点群に基づくハフ直線Hをそのまま、自車走行レーンを区画する白線として設定する。一方、例えば、白線演算対象の点群として中間点Pmが選定されている場合、ステレオ画像認識装置4は、当該点群に基づくハフ直線Hを白線開始点Psから白線終了点Peまでの距離の半値分だけ車幅方向内側にシフトさせた直線を、自車走行レーンを区画する白線として設定する。
このような実施形態によれば、画像上の左右の各白線検出領域内において、水平方向に設定した複数の検索ラインL上での輝度変化に基づいて検索ラインL毎に各1組の白線開始点Ps及び白線終了点Peを検出すると共に、これら各対をなす白線開始点Psと白線終了点Peとの中間点を算出し、白線開始点Psからなる点群と中間点Pmからなる点群とのうち、予め設定された条件に基づいて判定されるばらつきが最も小さい点群を白線演算対象の点群として選定して当該選定した点群に基づいて白線を演算することにより、エッジ検出等の演算処理を複雑化させることなく、多重白線等に対しても安定した認識結果を得ることができる。
すなわち、実際のエッジ検出に基づいて得られた白線開始点Psによる点群と、白線開始点Psと白線終了点Peとの中間点Pmによる点群とのうち最も好適な点群を選定して白線を演算することにより、例えば、図4(a)に示すように、内側の白線(視線誘導線等)が菱形のマーク等で構成される特殊な二重白線等については勿論のこと、例えば、図5(a)に示すように、画像上において内外の白線が遠方で結合されているような二重白線等に対しても好適な白線認識を実現することができる。
この場合において、ハフ変換を用いて近似したハフ直線に基づいて各点群のばらつきを評価することにより、白線演算に最も好適な点群を精度良く選定することができる。
ここで、上述の実施形態において、ステップS104での点群選定方法は、ハフ直線を用いたものに限定されるものではなく、例えば、点群を構成する各点の前後間での各車幅方向の変位状態に基づいて、各点群のばらつきを評価することも可能である。
この場合、例えば、図8に示すように、注目する点P(j)の2行前(2行自車側)と1行前(1行自車側)の各検索ラインL上の点P(j−2)、P(j−1)の画像上でのX座標(車幅方向)変化量E(j−1)と、1行前の点P(j−1)と注目する点P(j)とのX座標変化量E(j)とを比較する。そして、これら変化量E(j−1)と変化量E(j)の符号が異なるとき、該当する変化量E(j)を抽出し、点群の偏差として積算し、その後、点郡の数で除すことで偏差の平均値を得る。このような演算によって得られた各点群の偏差の平均値を比較し、偏差の平均値が最も小さい点群をばらつきが小さい点群として選定することが可能である。これにより、上述のようにハフ変換を用いた処理に比べ、点群選定時の演算負荷を飛躍的に軽減することが可能となる。
また、例えば、各点群を表す近似式を最小二乗法を用いてそれぞれ演算し、分散値が小さい点群、或いは、相関係数が大きな点群を、ばらつきが最も小さい点群として選定することも可能である。この場合、例えば、最小二乗法を用いて各点群をそれぞれ二次式(y=a・x+b・x+c)で近似し、画像上或いは実空間上において分散値が小さい点群、或いは、相関係数が高い点群をばらつきが小さい点群として選定することが可能である。これにより、上述のようにハフ変換を用いた処理に比べ、点群選定時の演算負荷を飛躍的に軽減することが可能となる。
なお、上述の実施形態においては、白線開始点Psからなる点群と中間点Pmからなる点群のうち、ばらつきが小さい点群を白線演算対象として選定する一例について説明したが、本発明はこれに限定されるものではなく、白線演算対象として選定可能な点群として、白線開始点Psからなる点群或いは白線終了点Peからなる点群の少なくとも何れか一方と、中間点Pmからなる点群の組み合わせを設定することが可能である。すなわち、例えば、白線演算対象として選定可能な点群として、白線開始点Psからなる点群、白線終了点Peからなる点群、及び、中間点Pmからなる点群を設定し、これらのうち最もばらつきが小さい点群を白線演算対象として選定してもよい。或いは、白線演算対象として選定可能な点群として、白線終了点Peからなる点群、及び、中間点Pmからなる点群を設定し、これらのうちばらつきが小さい点群を白線演算対象として選定してもよい。
また、上述の実施形態においては、ステレオ撮像された一対の画像に基づいて白線認識を行う場合の一例について説明したが、本発明はこれに限定されるものではなく、単眼のカメラ等で撮像された画像に基づいて白線認識を行っても良いことは勿論である。
1 … 車両(自車両)
2 … 運転支援装置
3 … ステレオカメラ
4 … ステレオ画像認識装置(白線境界点検出手段、中間点算出手段、点群選定手段、白線演算手段)
5 … 制御ユニット
E … 座標変化量
H … ハフ直線
L … 検索ライン
Pe … 白線終了点
Pm … 中間点
Ps … 白線開始点

Claims (5)

  1. 自車走行環境を撮像した画像上の水平方向に設定した複数の検索ライン上での輝度変化に基づいて前記検索ライン毎に1組の白線開始点及び白線終了点を検出する白線境界点検出手段と、
    前記検索ライン毎に検出された前記白線開始点と前記白線終了点との中間点を算出する中間点算出手段と、
    前記白線開始点からなる点群或いは前記白線終了点からなる点群の少なくとも何れか一方と、前記中間点からなる点群のうち、予め設定された条件に基づいて判定されるばらつきが最も小さい点群を選定する点群選定手段と、
    前記選定した点群に基づいて白線を演算する白線演算手段とを備えたことを特徴とする車両用白線認識装置。
  2. 前記点群選定手段は、前記各点群を表す近似式をハフ変換を用いてそれぞれ演算し、対応する前記近似式に対して各点の誤差が最も小さい点群を、ばらつきが最も小さい点群として選定することを特徴とする請求項1記載の車両用白線認識装置。
  3. 前記点群選定手段は、前記各点群を表す近似式をハフ変換を用いてそれぞれ演算し、当該演算におけるハフ平面上での度数のピークを前記点群間で比較し、最も大きなピークを有する点群を、ばらつきが最も小さい点群として選定することを特徴とする請求項1記載の車両用白線認識装置。
  4. 前記点群選定手段は、前記点群を構成する各点の前後間での各車幅方向の変位状態に基づいて、ばらつきが最も小さい点群を選定することを特徴とする請求項1記載の車両用白線認識装置。
  5. 前記点群選定手段は、前記各点群を表す近似式を最小二乗法を用いてそれぞれ演算し、分散値が小さい点群、或いは、相関係数が大きな点群を、ばらつきが最も小さい点群として選定することを特徴とする請求項1記載の車両用白線認識装置。
JP2009200570A 2009-08-31 2009-08-31 車両用白線認識装置 Active JP5363920B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009200570A JP5363920B2 (ja) 2009-08-31 2009-08-31 車両用白線認識装置
US12/858,044 US8477997B2 (en) 2009-08-31 2010-08-17 White road line recognition device for vehicle
DE102010035812.6A DE102010035812B4 (de) 2009-08-31 2010-08-30 Strassenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009200570A JP5363920B2 (ja) 2009-08-31 2009-08-31 車両用白線認識装置

Publications (2)

Publication Number Publication Date
JP2011053808A JP2011053808A (ja) 2011-03-17
JP5363920B2 true JP5363920B2 (ja) 2013-12-11

Family

ID=43525363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009200570A Active JP5363920B2 (ja) 2009-08-31 2009-08-31 車両用白線認識装置

Country Status (3)

Country Link
US (1) US8477997B2 (ja)
JP (1) JP5363920B2 (ja)
DE (1) DE102010035812B4 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9098751B2 (en) * 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
JP5895955B2 (ja) 2014-02-07 2016-03-30 トヨタ自動車株式会社 車線境界線検出装置
JP6331629B2 (ja) * 2014-04-15 2018-05-30 日産自動車株式会社 車線認識装置
JP6331628B2 (ja) * 2014-04-15 2018-05-30 日産自動車株式会社 車線認識装置
KR101573764B1 (ko) * 2014-07-28 2015-12-02 현대모비스 주식회사 차량의 주행 차로 인식 시스템 및 방법
CN107710278A (zh) * 2015-06-18 2018-02-16 日本电气方案创新株式会社 图像处理设备,图像处理方法和计算机可读记录介质
JP7077967B2 (ja) * 2019-01-10 2022-05-31 株式会社Soken 走行車線推定装置、走行車線推定方法、及び制御プログラム
KR102751271B1 (ko) * 2019-01-21 2025-01-10 현대자동차주식회사 차선 인식 장치 및 그 방법
US11113824B2 (en) * 2019-04-30 2021-09-07 Aptiv Technologies Limited Heading angle estimation for object tracking
US11891067B2 (en) * 2019-12-11 2024-02-06 Electronics And Telecommunications Research Institute Vehicle control apparatus and operating method thereof

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319135A (en) * 1989-08-25 1994-06-07 Warner-Lambert Company Process for cyclic amino acid anticonvulsant compounds
JP3405776B2 (ja) * 1993-09-22 2003-05-12 コニカ株式会社 切り抜き画像の輪郭線探索装置
JP3175509B2 (ja) * 1994-12-13 2001-06-11 トヨタ自動車株式会社 道路白線検出装置
JPH0995194A (ja) * 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
DE69736764T2 (de) 1996-08-28 2007-01-25 Matsushita Electric Industrial Co., Ltd., Kadoma Lokales Positionierungsgerät und Verfahren dafür
JPH1160999A (ja) 1997-08-22 1999-03-05 Kubota Corp 鋳鉄管外面用粉体塗料
JPH1172337A (ja) * 1997-08-28 1999-03-16 Mitsubishi Motors Corp 走行レーン認識装置
JP3429167B2 (ja) 1997-09-13 2003-07-22 本田技研工業株式会社 車両用白線検出装置
JP3603836B2 (ja) * 2001-11-20 2004-12-22 日産自動車株式会社 道路白線認識装置
JP4016735B2 (ja) * 2001-11-30 2007-12-05 株式会社日立製作所 レーンマーク認識方法
JP2004310522A (ja) * 2003-04-08 2004-11-04 Toyota Motor Corp 車両用画像処理装置
JP4107587B2 (ja) * 2003-12-17 2008-06-25 三菱電機株式会社 車線認識画像処理装置
JP4616046B2 (ja) 2005-03-22 2011-01-19 本田技研工業株式会社 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両
JP4603421B2 (ja) 2005-05-27 2010-12-22 本田技研工業株式会社 車両、画像処理システム、画像処理方法、及び画像処理プログラム
JP4591395B2 (ja) * 2006-03-31 2010-12-01 アイシン・エィ・ダブリュ株式会社 ナビゲーションシステム
US8131098B2 (en) * 2007-07-06 2012-03-06 Panasonic Corporation Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit

Also Published As

Publication number Publication date
US20110052080A1 (en) 2011-03-03
DE102010035812B4 (de) 2022-11-24
US8477997B2 (en) 2013-07-02
JP2011053808A (ja) 2011-03-17
DE102010035812A1 (de) 2011-03-03

Similar Documents

Publication Publication Date Title
JP5363921B2 (ja) 車両用白線認識装置
JP5363920B2 (ja) 車両用白線認識装置
JP7614774B2 (ja) 車両の運転支援装置
JP5603687B2 (ja) 車両用白線認識装置
US20150116462A1 (en) Vehicle Control System
CN110576849A (zh) 车辆的行驶控制装置
US10268204B2 (en) Cross traffic detection using cameras
JP2004310522A (ja) 車両用画像処理装置
JP5538098B2 (ja) 車両用白線認識装置
JP7007856B2 (ja) 車両用白線認識装置
JP5444130B2 (ja) 車両用白線認識装置
JP6322024B2 (ja) 車外監視装置
JP5452518B2 (ja) 車両用白線認識装置
US11769337B2 (en) Traffic signal recognition method and traffic signal recognition device
US20250178638A1 (en) Vehicle Control Device and Vehicle Control System
JP5568029B2 (ja) 車両用白線認識装置
JP6259239B2 (ja) 車両用白線認識装置
JP6598304B2 (ja) 車両の走行制御装置
JP6259238B2 (ja) 車両用白線認識装置
JP6082293B2 (ja) 車両用白線認識装置
JP6014534B2 (ja) 車両用白線認識装置
JP6879881B2 (ja) 車両用白線認識装置
JP7827600B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP7776391B2 (ja) 車両用検出装置
US11887382B2 (en) Lane-line recognizing apparatus for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130906

R150 Certificate of patent or registration of utility model

Ref document number: 5363920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250