JP5016073B2 - 白線認識装置 - Google Patents
白線認識装置 Download PDFInfo
- Publication number
- JP5016073B2 JP5016073B2 JP2010028913A JP2010028913A JP5016073B2 JP 5016073 B2 JP5016073 B2 JP 5016073B2 JP 2010028913 A JP2010028913 A JP 2010028913A JP 2010028913 A JP2010028913 A JP 2010028913A JP 5016073 B2 JP5016073 B2 JP 5016073B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- white line
- road
- value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
第1の発明に係る白線認識装置は、自車両の前方の道路を含む領域の画像を撮影し、その画像における道路の領域の輝度を検出し、その道路の領域の輝度と閾値との対比結果に基づき、画像における道路の白線を認識する。
2.第2の発明
第2の発明に係る白線認識装置は、自車両の前方の道路を含む領域の画像を撮影し、その画像における道路の領域の輝度を検出し、その道路の領域の輝度と閾値との対比結果に基づき、画像における道路の白線を認識する。
前記値Bは、例えば、空/道路の輝度比が値B以下であれば、その画像データが雪道において撮影されたと判断できる値とすることができる。この場合、雪道において画像を撮影したとき、それ以外のときより、閾値が大きくなる。雪道で撮影した画像では、雪で白線が隠れて轍等を誤認識しやすくなるが、閾値を大きくすることにより、そのような誤認識を防止することができる。
3.第3の発明
第3の発明に係る白線認識装置は、自車両の前方の道路を含む領域の画像を撮影し、その画像における道路の領域の輝度を検出し、その道路の領域の輝度と閾値との対比結果に基づき、画像における道路の白線を認識する。
1.第1の実施形態
(1)白線認識装置1の構成
白線認識装置1の構成を図1のブロック図に基づき説明する。白線認識装置1は、車両に搭載される。なお、以下では、白線認識装置1が搭載される車両を自車両とする。白線認識装置1は、カメラ(撮影手段)3、電源装置5、画像ECU7及び警報装置9を備える。
上記画像ECU7は、マイクロコンピュータ等によって構成されるものであり、例えば、CPU、ROM、RAM、I/O、及びこれらを接続するバス(いずれも図示略)等を備えている。画像ECU7は、カメラ3から入力する画像データに基づき、画像の明るさが所定範囲に収まるように、カメラ3のシャッタースピード、フレームレート、デジタル信号のゲイン等を制御する。また、画像ECU7は、カメラ3から入力する画像データを用いて、後述する白線認識処理を実行する。
(2)白線認識装置1が実行する白線認識処理
図2のフローチャート及び図3〜図9の説明図に基づき、白線認識装置1(特に画像ECU7)が実行する白線認識処理を説明する。図2に示す白線認識処理は、自車両のイグニッションスイッチがONにされると開始される。
(i)空の輝度の算出
画像データにおいて、空に対応する領域(画像データのうち、上方の領域)の輝度を画素ごとに取得する。そして、空に対応する領域の中で、最も輝度が高い画素の輝度を、空の輝度とする。
(ii)道路の輝度の算出
画像データにおいて、自車両の前方の道路に対応する領域(以下、道路対応領域とする)の輝度を画素ごとに取得する。道路対応領域は、例えば、図3に示す画像データにおいて、長方形の枠で囲まれた領域である。そして、その道路対応領域の全画素を、輝度が高い順に並べる。そして、輝度の順位が、最高から所定の順位までの画素を除外する。これらの画素は、白線、ノイズ等により、道路(白線を除く部分)の実際の輝度より高い輝度となっている可能性があるためである。よって、除外されずに残った画素は、道路のうち、白線やノイズを除く部分の画素である。道路対応領域の画素のうち、除外されずに残った画素の輝度についての平均値を算出し、これを道路(白線を除く部分)の輝度とする。
(iii) 空/道路の輝度比の算出
前記(ii)で算出した道路の輝度に対する、前記(i)で算出した空の輝度の比率を、空/道路の輝度比とする。
図4(a)、(c)に示すように、画像データの道路対応領域において、水平方向の走査線を設定する。そして、その走査線上に位置する各画素の輝度を取得する。図4(b)に、図4(a)の画像データにおける、走査線上に位置する画素の輝度を示す。また、図4(d)に、図4(c)の画像データにおける、走査線上に位置する画素の輝度を示す。なお、図4(b)、(d)の横軸は水平方向の位置であり、縦軸は輝度である。
ステップ80では、前記ステップ70で抽出した白線輝度情報に基づき、エッジ閾値を再設定する。エッジ閾値は、例えば、以下のように再設定することができる。
(i) 画像ECU7が、白線輝度情報とエッジ閾値との対応マップを予め記憶している。前記ステップ70で抽出した白線輝度情報をその対応マップにあてはめると、エッジ閾値が定まる。対応マップでは、白線輝度情報の輝度が高いほど、対応するエッジ閾値が高くなる。また、対応マップでは、白線のエッジを漏れなく抽出でき、且つノイズを拾い難くなるように、白線輝度情報に応じて、エッジ閾値を設定している。
(ii) 画像ECU7が、白線輝度情報とエッジ閾値の目標値との対応マップを予め記憶している。前記ステップ70で抽出した白線輝度情報をその対応マップにあてはめると、エッジ閾値の目標値が算出される。算出されたエッジ閾値の目標値と、その時点でのエッジ閾値とを比較し、エッジ閾値の目標値の方が大きい場合は、その時点でのエッジ閾値に所定の値Δ(>0)を加え、これを新たなエッジ閾値として再設定する。一方、エッジ閾値の目標値の方が小さい場合は、その時点でのエッジ閾値から所定の値Δを差引き、これを新たなエッジ閾値として再設定する。
前記ステップ20で算出した空/道路の輝度比と、値A、値B(<A)とを対比する。ここで、空/道路の輝度比が値B以下の範囲は、雪道において画像データを取得した場合(例えば図6に示すような画像データを取得した場合)に対応する。また、空/道路の輝度比が値A以上の範囲は、逆光において画像データを取得した場合(例えば図7に示すような画像データを取得した場合)に対応する。
前記ステップ30で算出した道路の輝度分布が値X以下の場合は、図9に示すように、前記ステップ80で設定したエッジ閾値からδ(δ>0)を差し引く修正を行う。また、前記ステップ30で算出した道路の輝度分布が値Xを越え、値Y未満の場合は、前記ステップ80で設定したエッジ閾値を修正しない。また、前記ステップ30で算出した道路の輝度分布が値Y以上の場合は、前記ステップ80で設定したエッジ閾値にγ(γ>0)を加える修正を行う。
(3)白線認識装置1が奏する効果
(効果1)白線認識装置1は、白線における輝度(白線輝度情報)に基づき、エッジ閾値を再設定する。そのため、道路の状態、光(太陽光、照明)の向きや角度、天候等によらず、白線を正確に認識することができる。
(効果2) 白線認識装置1は、空/道路の輝度比が大きいとき(逆光において画像データを取得したとき)は、エッジ閾値が小さくなるように修正する。逆光のときは、路面反射により白線のコントラストが下がるため、そのままでは白線を認識し難くなってしまうが、エッジ閾値を小さくすることにより、白線の認識が容易になる。
(効果3) 白線認識装置1は、道路の輝度分布が小さいときは、エッジ閾値が小さくなるように修正する。そのことにより、白線のエッジの抽出漏れが少なくなる。また、道路の輝度分布が小さいので、エッジ閾値が小さくても、白線でないものを白線と誤認識してしまうことは生じにくい。
2.第2の実施形態
本実施形態の白線認識装置1における構成は前記第1の実施形態と同じである。本実施形態の白線認識装置1が実行する白線認識処理は、前記第1の実施形態と一部相違する。以下では、その相違点を中心に説明し、同様の部分の説明は省略乃至簡略化する。
図10のステップ110〜130は前記第1の実施形態におけるステップ10〜30と同じである。
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
また、前記第1の実施形態におけるステップ100の処理において、輝度分布の大きさに関する基準を3段階以上設け、輝度を小刻みに修正してもよい。また、輝度分布の大きさが大きくなるほど、エッジ閾値が徐々に大きくなるようにしてもよい。
9・・・警報装置
Claims (6)
- 自車両の前方の道路及び空を含む領域の画像を撮影する撮影手段と、
前記画像における道路の領域の輝度を検出する輝度検出手段と、
前記輝度検出手段で検出した輝度と閾値との対比結果に基づき、前記画像における道路の白線を認識する白線認識手段と、
前記白線認識手段により認識された白線内における輝度に基づき、前記閾値を再設定する閾値再設定手段と、
前記画像における道路の輝度に対する空の輝度の輝度比を算出する輝度比算出手段と、
前記輝度比が所定の値A以上の場合は、前記輝度比が前記値A未満の場合よりも、前記閾値を小さくする第1の閾値修正手段と、
を備えることを特徴とする白線認識装置。 - 前記第1の閾値修正手段は、前記輝度比が、前記値Aよりも小さい値B以下の場合は、前記輝度比が前記値Bを超える場合よりも、前記閾値を大きくすることを特徴とする請求項1記載の白線認識装置。
- 前記画像における道路の輝度分布の大きさを算出する輝度分布算出手段と、
前記輝度分布が所定の値以上の場合は、前記輝度分布が前記所定の値未満の場合よりも、前記閾値を大きくする第2の閾値修正手段と、
を備えることを特徴とする請求項1又は2に記載の白線認識装置。 - 自車両の前方の道路及び空を含む領域の画像を撮影する撮影手段と、
前記画像における道路の領域の輝度を検出する輝度検出手段と、
前記輝度検出手段で検出した輝度と閾値との対比結果に基づき、前記画像における道路の白線を認識する白線認識手段と、
前記画像における道路の輝度に対する空の輝度の輝度比を算出する輝度比算出手段と、
前記輝度比が所定の値A以上の場合は、前記輝度比が前記値A未満の場合よりも、前記閾値を小さくする第1の閾値修正手段と、
を備えることを特徴とする白線認識装置。 - 前記第1の閾値修正手段は、前記輝度比が、前記値Aよりも小さい値B以下の場合は、前記輝度比が前記値Bを超える場合よりも、前記閾値を大きくすることを特徴とする請求項4記載の白線認識装置。
- 自車両の前方の道路を含む領域の画像を撮影する撮影手段と、
前記画像における道路の領域の輝度を検出する輝度検出手段と、
前記輝度検出手段で検出した輝度と閾値との対比結果に基づき、前記画像における道路の白線を認識する白線認識手段と、
前記画像における道路の輝度分布の大きさを算出する輝度分布算出手段と、
前記輝度分布が所定の値以上の場合は、前記輝度分布が前記所定の値未満の場合よりも、前記閾値を大きくする第2の閾値修正手段と、
を備えることを特徴とする白線認識装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010028913A JP5016073B2 (ja) | 2010-02-12 | 2010-02-12 | 白線認識装置 |
| US12/931,766 US8548200B2 (en) | 2010-02-12 | 2011-02-10 | Lane-marker recognition system with improved recognition-performance |
| DE102011004006A DE102011004006A1 (de) | 2010-02-12 | 2011-02-11 | Spurmarkierungserkennungssystem mit verbessertem Erkennungsverhalten |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010028913A JP5016073B2 (ja) | 2010-02-12 | 2010-02-12 | 白線認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011165050A JP2011165050A (ja) | 2011-08-25 |
| JP5016073B2 true JP5016073B2 (ja) | 2012-09-05 |
Family
ID=44369691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010028913A Expired - Fee Related JP5016073B2 (ja) | 2010-02-12 | 2010-02-12 | 白線認識装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8548200B2 (ja) |
| JP (1) | JP5016073B2 (ja) |
| DE (1) | DE102011004006A1 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5220787B2 (ja) * | 2010-03-08 | 2013-06-26 | 株式会社日本自動車部品総合研究所 | 車載白線認識装置 |
| DE102011056051A1 (de) | 2011-12-05 | 2013-06-06 | Conti Temic Microelectronic Gmbh | Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen |
| DE102011087797A1 (de) * | 2011-12-06 | 2013-06-06 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Lokalisation einer vordefinierten Parkposition |
| US20130253753A1 (en) * | 2012-03-23 | 2013-09-26 | Google Inc. | Detecting lane markings |
| US8755967B1 (en) * | 2012-03-23 | 2014-06-17 | Google Inc. | Estimating road lane geometry using lane marker observations |
| DE112013004267T5 (de) * | 2012-08-30 | 2015-06-25 | Honda Motor Co., Ltd. | Fahrbahnmarkierungserkennungsvorrichtung |
| CN102862574B (zh) * | 2012-09-21 | 2015-08-19 | 上海永畅信息科技有限公司 | 基于智能手机实现车辆主动安全的方法 |
| US9063548B1 (en) | 2012-12-19 | 2015-06-23 | Google Inc. | Use of previous detections for lane marker detection |
| US9081385B1 (en) * | 2012-12-21 | 2015-07-14 | Google Inc. | Lane boundary detection using images |
| KR101517181B1 (ko) * | 2014-02-28 | 2015-05-04 | 주식회사 코아로직 | 차선 이탈 경보 시스템 및 방법 |
| JP6141787B2 (ja) * | 2014-04-01 | 2017-06-07 | 本田技研工業株式会社 | レーンマーク認識装置 |
| JP6348758B2 (ja) * | 2014-04-15 | 2018-06-27 | 本田技研工業株式会社 | 画像処理装置 |
| US9684370B2 (en) * | 2014-05-07 | 2017-06-20 | Microsoft Technology Licensing, Llc | Reducing camera interference using image analysis |
| CN104091166B (zh) * | 2014-07-07 | 2017-05-03 | 大连理工大学 | 一种车道线边缘提取的动态阈值方法 |
| JP6140658B2 (ja) * | 2014-08-20 | 2017-05-31 | 株式会社Soken | 走行区画線認識装置、走行区画線認識プログラム |
| JP6189815B2 (ja) * | 2014-10-29 | 2017-08-30 | 株式会社Soken | 走行区画線認識システム |
| JP6389119B2 (ja) * | 2014-12-25 | 2018-09-12 | 株式会社デンソー | 車線境界線認識装置 |
| JP6525853B2 (ja) * | 2015-11-02 | 2019-06-05 | アルパイン株式会社 | 電子装置、白線検出プログラムおよび白線検出方法 |
| IT201600132670A1 (it) | 2016-12-30 | 2018-06-30 | St Microelectronics Srl | Procedimento per generare un avvertimento di abbandono corsia in un veicolo, relativo sistema e prodotto informatico |
| JP7002729B2 (ja) * | 2017-07-31 | 2022-01-20 | 株式会社アイシン | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム |
| JP2019152927A (ja) * | 2018-02-28 | 2019-09-12 | 株式会社エクォス・リサーチ | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び、画像認識プログラム |
| JP6971177B2 (ja) * | 2018-03-09 | 2021-11-24 | フォルシアクラリオン・エレクトロニクス株式会社 | 区画線認識装置 |
| CN110874910B (zh) * | 2018-08-31 | 2021-03-23 | 杭州海康威视数字技术股份有限公司 | 路面报警方法、装置、电子设备及可读存储介质 |
| CN109558829B (zh) * | 2018-11-26 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种变道检测方法及装置、计算机装置及可读存储介质 |
| CN114882127B (zh) * | 2022-05-19 | 2023-05-12 | 北京奥乘智能技术有限公司 | 图像处理方法、装置、存储介质和计算设备 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05327000A (ja) | 1992-05-20 | 1993-12-10 | Fujitsu Ltd | 赤外線検知素子の製造方法 |
| JP2861638B2 (ja) * | 1992-06-16 | 1999-02-24 | 松下電器産業株式会社 | 走行レーン検出装置 |
| JPH09288737A (ja) * | 1996-04-22 | 1997-11-04 | Mitsubishi Electric Corp | 車載用画像処理装置 |
| JP3780922B2 (ja) * | 2001-11-30 | 2006-05-31 | 日産自動車株式会社 | 道路白線認識装置 |
| JP3857129B2 (ja) | 2001-12-26 | 2006-12-13 | 株式会社タイテック | 移動体検出方法及び移動体検出装置 |
| JP4314979B2 (ja) | 2003-11-25 | 2009-08-19 | 株式会社デンソー | 白線検出装置 |
| JP2005346197A (ja) | 2004-05-31 | 2005-12-15 | Toyota Motor Corp | 車線境界線の検出方法及び装置、並びに車線保持制御方法及び装置 |
| JP2007189432A (ja) | 2006-01-12 | 2007-07-26 | Nissan Motor Co Ltd | 車両用撮像装置 |
| JP5012396B2 (ja) | 2007-10-16 | 2012-08-29 | 日産自動車株式会社 | 白線検出装置、駐停車支援装置および白線検出方法 |
| JP2010028913A (ja) | 2008-07-16 | 2010-02-04 | Shikoku Electric Power Co Inc | 電動車両の充電システム |
-
2010
- 2010-02-12 JP JP2010028913A patent/JP5016073B2/ja not_active Expired - Fee Related
-
2011
- 2011-02-10 US US12/931,766 patent/US8548200B2/en not_active Expired - Fee Related
- 2011-02-11 DE DE102011004006A patent/DE102011004006A1/de not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| US8548200B2 (en) | 2013-10-01 |
| JP2011165050A (ja) | 2011-08-25 |
| US20110200258A1 (en) | 2011-08-18 |
| DE102011004006A1 (de) | 2012-03-22 |
| DE102011004006A8 (de) | 2012-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5016073B2 (ja) | 白線認識装置 | |
| EP2927060B1 (en) | On-vehicle image processing device | |
| US9424462B2 (en) | Object detection device and object detection method | |
| US9536155B2 (en) | Marking line detection system and marking line detection method of a distant road surface area | |
| JP4414369B2 (ja) | 車両及び路面標示認識装置 | |
| WO2007111220A1 (ja) | 道路区画線検出装置 | |
| US6925206B2 (en) | White line detection apparatus and white line detection method | |
| JP5950196B2 (ja) | 撮像装置、並びに、これを用いる画像解析装置及び移動装置 | |
| WO2013135033A1 (zh) | 基于图像分析的隧道变形在线监测系统及其应用 | |
| JP5321497B2 (ja) | 白線認識装置 | |
| EP2770478B1 (en) | Image processing unit, imaging device, and vehicle control system and program | |
| CN105303524A (zh) | 图像去雾设备和方法 | |
| JP6701327B2 (ja) | グレア検出方法及び装置 | |
| US8050456B2 (en) | Vehicle and road sign recognition device | |
| JP5805619B2 (ja) | 境界線認識装置 | |
| JP2010286995A (ja) | 車両用画像処理システム | |
| JP2016111585A (ja) | 画像処理装置、システム、画像処理方法、およびプログラム | |
| KR102629639B1 (ko) | 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법 | |
| JP2007189432A (ja) | 車両用撮像装置 | |
| JP4956841B2 (ja) | 車両用画像処理装置、車両、及び車両用画像処理プログラム | |
| KR102681321B1 (ko) | 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법 | |
| JP4876277B2 (ja) | 車両用画像処理装置、車両、及び車両用画像処理プログラム | |
| JP5023363B2 (ja) | 車両走行支援装置、車両、車両走行支援プログラム | |
| JP2017156965A (ja) | 道路領域検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110801 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120607 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5016073 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |