JP6935977B2 - レーンマーク検出装置 - Google Patents

Description

本発明は、レーンマーク（白線）を検出する装置に関し、特に、カメラ画像から検出されたレーンマーク情報が使用できるか否かを判断する方法に関する。

レーンマークの検出は、通常、車両に搭載されたカメラにより撮像された画像データを解析することにより行われる。例えば、特許文献１のレーンマーク検出装置は、複数周期のレーンマークの平均検出率を用いて、この値が、一定値以下になったときにレーンマークの検出を中止し、一定値以上になったときに検出を再開している。また、特許文献２の走行区間線認識装置は、カメラ画像の乱雑値(道路画像に雪や砂利、水たまり等の乱雑要因)が閾値を超えたとき、車線認識処理を停止している。

特開２００９−２０５６０８号公報 特開２０１６−０４６５５６号公報

特許文献１のレーンマーク検出装置は、レーンマークの平均検出率を用い、これが一定値以下になったときに、検出の中止を行うものであり、この方法は、カメラで撮影されたレーンマークの状態を反映するものではない。例えば、カメラのレンズに雨滴や水滴が付きたとき、レーンマークの一部が映ってなくても、レーンマークとして検出されれば、レーンマーク検出の中止の判断に影響を与えない。本来であれば、正確なレーンマークの状態がカメラにより取り込めていないので、レーンマーク検出の中止を行うことが望ましい。

図１は、雨滴がついた画像が取り込まれたときのレーンマークの検出率の遷移を示すグラフであり、縦軸が検出率、横軸が時間である。検出率が２５％未満のとき、レーンマーク情報の使用を不可（検出の中止）と判断し、その後、検出率が５０％以上になったとき、レーンマーク情報の使用可（検出の再開）と判断するものとする。この検出率は、例えば、８秒間の平均で算出されたものである。

区間（１）で、雨滴の影響でレーンマークが検出することができず、その検出率が下がるが、検出率が２５％以上あるため、レーンマークの検出が継続される。その後、区間（２）で、レーンマークの片側が検出され、検出率が上昇する。区間（３）で、再び、レーンマークを検出することができなくなり、検出率が２５％未満になった時点で、レーンマーク検出が中止される。本来であれば、レーンマークを検出することができなくなった区間（１）の時点でレーンマークの検出を中止することが望ましいが、その後に検出率が増加してしまうと、レーンマーク検出の中止を正確に判断することが難しくなる。

本発明は、このような従来の課題を解決するものであり、実際のレーンマークの状況を考慮してレーンマーク情報の使用可否を判断することができるレーンマーク検出装置を提供することを目的とする。

本発明に係る白線検出装置は、自車が走行する道路を撮像し、撮像した画像データを出力する撮像手段と、前記画像データに基づき白線候補に関する情報を抽出する抽出手段と、前記白線候補に関する情報の信頼度を算出する算出手段と、前記白線候補に関する情報に基づき白線を検出し、検出された白線に関する白線情報を出力する検出手段と、前記信頼度に基づき前記検出手段により検出された白線情報の使用可否を判断する判断手段とを有する。

好ましくは前記白線候補に関する情報は、前記画像データを一定方向にスキャンしたときに輝度が閾値以上である線分を複数含み、前記算出手段は、複数の線分の信頼度を算出する。好ましくは前記算出手段は、線分の数、線分の開始位置、線分の直線らしさ、線分のコントラスト、線分の幅、線分の幅の変動の少なくとも１つの評価値に基づき信頼度を算出する。好ましくは前記算出手段は、一定期間内に算出された複数の信頼度の平均を算出し、前記判断手段は、前記信頼度の平均に基づき前記白線情報の使用可否を判断する。好ましくは前記判断手段は、前記信頼度が第１の閾値以下になったとき、前記白線情報を使用不可と判断し、前記白線情報が使用不可となった後に前記信頼度が前記第１の閾値よりも大きい第２の閾値になったとき、前記白線情報が使用可と判断する。好ましくは前記判断手段は、前記白線情報の使用可否を出力する。

本発明によれば、画像データに基づき抽出された白線候補に関する情報の信頼度を算出し、当該信頼度に基づき白線情報の使用可否を判断するようにしたので、実際の白線の状況を反映した白線情報の使用可否の判断が可能になり、その結果、白線検出の精度を高めることができる。例えば、カメラに雨滴等が付着していれば、画像データから取り込まれた白線の一部が欠損したり、不鮮明になり、白線候補に関する情報の信頼度が低下し、白線情報の使用可否の判断に影響を及ぼす。

従来のレーンマーク検出装置の課題を説明するグラフである。 本発明の実施例に係るレーンマーク検出装置の構成を示すブロック図である。 本発明の実施例に係るレーンマーク候補抽出手段の構成および処理を示す図である。 本発明の実施例に係る水平ラインの取得の構成および動作を説明する図である。 本発明の実施例に係る水平ラインのグルーピングの構成および動作を説明する図である。 本発明の実施例に係る線分の抽出の構成および動作を説明する図である。 本発明の実施例に係るコントラストの算出方法を説明する図である。 本発明の実施例に係るレーンマーク候補の情報の格納例を示す図である。 本発明の実施例に係るレーンマーク情報の格納例を示す図である。 本発明の実施例に係るレーンマーク検出装置が起動されるときの処理フローを示す図である。 本発明の実施例に係るレーンマーク情報使用可否判断の処理フローを示す図である。 本発明の実施例に係るレーンマーク情報使用可否判断の処理フローを示す図である。 本発明の実施例に係るレーンマーク情報使用可否判断の判断結果の格納例である。 本発明の実施例に係るレーンマーク候補の各指標と評価値との関係を説明したテーブルである。 本発明の実施例に係るレーンマーク検出装置の効果を説明するグラフである。 本実施例に係るレーンマーク検出機能を含む電子装置を示すブロック図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。好ましい実施定用では、本発明に係るレーンマーク検出装置は、カメラ等の撮像装置を備え、撮像された画像データを解析することでレーンマーク（白線）を検出する機能を有する。本発明のレーンマーク検出装置は、それ単独で実施されてもよいし、ナビゲーション装置などの他の機能を有する電子装置と連携して実施されてもよい。例えば、レーンマーク検出装置は、運転アシスト機能、オーディオ・ビデオデータを再生する機能、テレビ・ラジオ放送を受信する機能、アプリケーションソフトウエアを実行する機能などを備えた装置と連携することが可能である。

好ましい態様では、レーンマーク検出装置は、カメラで撮像された画像データから抽出されたレーンマーク情報の使用可否の判断に、レーンマーク信頼度またはレーンマーク信頼度の平均を用いる。レーンマーク信頼度の平均は、レーンマーク検出率に、レーンマークの確からしさを加味したものである。レーンマークの確からしさは、レーンマークとしての特徴を備えているかを数値（例えば、０〜最大１００００の範囲）で表すものである。

次に、本発明の実施例について説明する。図２は、本発明の実施例に係るレーンマーク（白線）検出装置の構成を示すブロック図である。本実施例のレーンマーク検出装置１０は、同図に示すように、カメラなどの撮像装置により撮像された画像データを入力する画像入力手段１と、入力された画像データからレーンマーク候補を抽出するレーンマーク候補抽出手段２と、抽出されたレーンマーク候補とレーンマークの推定位置から次のレーンマークを検出してレーンマーク情報を出力するレーンマーク検出手段３と、出力されたレーンマーク情報に基づき次のレーンマーク位置を推定するレーンマーク位置推定手段４と、レーンマーク候補に関する情報の信頼度に基づきレーンマーク検出手段３から出力されたレーンマーク情報の使用の可否を判断するレーンマーク情報使用可否判断手段５とを含んで構成される。レーンマーク検出手段３は、レーンマーク情報をレーンマーク位置推定手段４へ出力するとともに、レーンマーク情報を必要とする例えば運転支援機能部等へ出力する。また、レーンマーク情報使用可否判断手段５は、レーンマーク検出手段３から出力されたレーンマーク情報の使用可否を、例えば運転支援機能部等へ出力する。

画像入力手段１は、車両に搭載され、自車が走行する道路を撮像するためのカメラを含む。カメラが魚眼レンズのような広角レンズを有する場合、画像入力手段１は、撮像された画像データの歪を補正する機能を有する。

次に、レーンマーク候補抽出手段２は、画像入力手段１から出力された画像データからレーンマーク候補を抽出する。図３に、レーンマーク候補抽出手段２の構成および処理フローを示す。

輝度画像の取得２１は、画像入力手段１が取り込んだ画像データからグレースケールの輝度画像データを取り出す。水平ラインの取得２２は、図４に示すように、輝度画像データを水平方向（Ｘ方向）にスキャンし、輝度が閾値以上で、かつ一定間隔続く水平部分をラインとして取り出す。これをスキャン範囲について行う。

水平ラインのグルーピング２３は、取り出した水平ラインに対して、Ｘ方向で重なった水平ラインをグルーピングする。例えば、図５に示すように、Ｘ方向で重複している複数の水平レインを、グループ１、グループ２、グループ３のようにグルーピングする。

線分の抽出２４は、各グループの水平ラインを３次元座標の路面（Ｚ＝０）に投影して、そのラインの中点から、最小２乗法でレーンマーク候補となる線分の直線式Ｙ＝ａＸ＋ｂ（Ｚ＝０）の傾きａとＹ切片ｂを算出する。原点は、車の中央位置であり、Ｘ軸上前方がプラス、Ｙ軸上左側がプラス、右側がマイナスである。このとき、算出した直線の式で、傾きａ、Ｙ切片ｂの値がある範囲内ならば複数グループを１つにまとめる。例えば、図６でグループ２とグループ３を１つにまとめ、水平ラインの情報から再度算出し、その結果、Ｙ＝ａ２’Ｘ＋ｂ２’が得られる。

ライン幅の算出は次のように行う。水平ラインの左右端について、中点と同様に、最小２乗法で直線を引く。水平ラインの中点に対して、この中点を通り、直線Ｙ＝ａＸ＋ｂに直交する直線を引き、左右端に引いた直線との交点を算出し、左右端間の距離を求める。これを各水平ラインの中点について行い、各中点での左右端間の距離を求める。次に、これらの距離の平均値からラインの幅を算出する。

信頼度の算出２５は、抽出した線分に対して信頼度を算出する。信頼度は、次の６つの指標から算出する。各指標は、０〜１００の範囲の値である。
１．水平ライン数：
線分を構成する水平ライン数を用いて、評価値を次のように算出する。
・水平ライン数≧５０のとき、１００
・水平ライン数＜５０のとき、５０＋水平ライン数
例えば、図６で、グループ１の線分は、水平ライン数が１０であるため、評価値は、５０＋１０＝６０となる。

２．線分の開始位置：
線分の開始位置までの距離を用いて、評価値を次のように算出する。
なお、開始位置の距離は、図６のＹ軸に最も近い水平ラインの中点とＹ軸の距離である。
図６のグループ１の線分では、６１が開始位置の距離に該当する。
・開始位置の距離≦１．０ｍのとき、１００
・１．０ｍ＜開始位置の距離＜７．０ｍのとき、(７．０−開始位置の距離)×５０／（７．０−１．０）＋５０
・７．０ｍ≦開始位置の距離のとき、５０
例えば、開始位置の距離が、２．５ｍのときは、（７．０−２．５）×５０/６．０ ＋５０＝８７．５であり、小数点以下を切り捨てて、８７となる。

３．直線らしさ：
線分の式Ｙ＝ａＸ＋ｂと各水平ラインの中点と距離(ｍ)を算出して、次のように、各中点の評価値を算出する。
・中点の評価値＝１００−中点との距離×１０００
但し、中点の評価値＜０のとき、０
各水平ラインの中点の評価値を求めたら、これらの平均値を算出する。直線らしさの評価値は、次の式で算出する。
・ｌｏｇ_ｅ(中点評価値の平均＋１７．０６２５)／２．８３６９−１．０)×１４７．３１
これは、中点の評価値の平均の値０から１００を、０から１００の自然対数に置き換えたものである。

４．コントラスト：
図７に、図４の片側の水平ラインを示す。図７を用いて、コントラストの算出について説明する。各水平ラインの左右両側について、次の輝度差を算出する。
・水平ラインの中点の輝度値−水平ラインから２ピクセル外側から水平ラインの１／２分のピクセルの輝度平均
これら左右両側の平均値を求め、これを水平ラインのコントラストとする。
次に、全ての水平ラインのコントラストの平均値を求める。
コントラストの評価値は、この平均を用いて次のように算出する。
・全ての水平ラインのコントラスト平均＞５０のとき、１００
・全ての水平ラインのコントラスト平均≦５０のとき、全ての水平ラインのコントラスト平均×２０／５０＋８０

５．ライン幅：
線分の抽出２４で算出したライン幅がレーンマークの幅の適正範囲に入っているかどうかを評価値として表す。次のように、評価値を算出する。
・０≦ライン幅＜０．１０ｍのとき、２０×ライン幅／０．１０＋８０
・０．１０ｍ≦ライン幅＜０．５０ｍのとき、１００
・０．５０ｍ≦ライン幅＜１．３０ｍのとき、２５×（１．３０−ライン幅）／（１．３０−０．５０）＋７５
・１．３０ｍ≦ライン幅のとき、６０

６．ライン幅の変動：
先ず、水平ラインのライン幅の変動の評価値を次のように算出する。ここで水平ラインの距離は、線分の抽出２４で算出した水平ラインの左右端間の距離である。
・水平ラインのライン幅の変動＝１００００−|ライン幅−水平ラインの距離|×１００００／ライン幅
但し、水平ラインのライン幅の変動＜０のとき、０とする。
これを全ての水平ラインに対して算出する。ライン幅の変動は、次のように算出する。
・全ての水平ラインのライン幅変動の平均／１００
図１３に、１〜６指標と評価値との関係を説明したテーブルを示す。

信頼度は、これらの指標から次のように算出する。
・(水平ライン数×線分の開始位置×直線らしさ×コントラスト×ライン幅×ライン幅の変動)／（１００×１００×１００×１００）
各指標の値は０から１００の範囲の値であり、信頼度の値は、０から１００００の範囲の値を取る。
例えば、水平ラインの評価値が６０、線分の開始位置の評価値が８７、直線らしさの評価値が９０、コントラストの評価値が１００、ライン幅の評価値が１００、ライン幅の変動が９０のとき、信頼度は、（６０×８７×９０×１００×１００×９０）／（１００×１００×１００×１００）＝４２２８となる。

各線分について信頼度を算出したら、レーンマーク候補抽出手段２の処理は終了する。このとき、各線分がレーンマーク候補となり、図８に示す変数candidate[i], i=0, 1,…, numCandidates-1に、それらの情報を格納する。抽出したレーンマーク候補数は、変数numCandidatesに格納し、各レーンマーク候補の情報は、candidate[i]に格納する。レーンマーク候補の情報candidate[i]は、線分の直線式Ｙ＝ａＸ＋ｂの係数ａ、ｂをcandidate[i].a、candidate[i].bに格納する。また、レーンマーク幅となりライン幅をcandidate[i].widthに算出した信頼度をcandidate[i].confidenceに格納する。

次に、レーンマーク検出手段３について説明する。レーンマーク検出手段３は、レーンマーク候補抽出手段２から出力された図８に示すレーンマーク候補の情報とレーンマーク位置推定手段４から出力されるレーンマークの推定位置からレーンマークを検出してレーンマーク情報として出力する。このようなレーンマークの検出は、例えば、特開２０１３−１８６６６０号公報に記載されている。

検出したレーンマークは、図９に示すレーンマーク情報に格納される。左側レーンマークはleftLMに、右側レーンマークはrightLMに格納される。これらは、最大で過去１０回分の検出結果を格納することができる。

laneMark[i]は、検出したレーンマーク情報を格納する。線分の直線式Ｙ＝ａＸ＋ｂの係数ａ、ｂ、レーンマーク幅width、信頼度confidenceを格納する。
最新のレーンマーク情報の格納位置をuseNoで示す。レーマーク情報なしのときは、useNoに−１を設定する。レーンマーク検出装置を起動したときは、leftLM、rightLMともレーンマーク情報なしuseNo＝−１となる。レーンマーク情報ありで、レーンマーク候補candidate[i], i=0, 1,…, numCandidates-1に該当するレーンマーク情報が検出できなかった場合は、laneMark[i]にレーンマーク推定手段での推定した線分の係数ａ、ｂを格納し、レーンマーク幅widthに1つ前に格納したレーンマーク情報のレーンマーク幅を格納し、信頼度confidenceは０を格納する。格納されているレーンマーク情報の信頼度laneMark[i].confidenceが全て０のときは、レーンマーク情報なしを設定する。

レーンマーク情報を追加するとき、満杯の場合には、１番古いデータを削除して追加する。ここでは、特に記載していないがlaneMark[i], i = 0, 1, …, 9はリングバッファとして管理される。

次に、レーンマーク位置推定手段４について説明する。レーンマーク位置推定手段４は、例えば、特開２０１３−１８６６６０号公報に示すように、検出したレーンマークの線分データと過去のレーンマークの線分データから、レーンマークの次の線分データを推定する。

次に、レーンマーク情報使用可否判断手段５について説明する。レーンマーク情報使用可否判断手段５の処理を図１０、図１１、図１２を用いて説明する。図１２は、レーンマーク情報使用可否判断手段５で使用する情報mngConfを格納する。mngConf.stateは、使用可否判断結果を格納する。−１のとき不定、０のとき使用不可、１のとき使用可を示す。mngConf.data[i], i=0, 1, …, 89は、レーンマーク検出手段３で検出したレーンマークの信頼度を格納するエリアである。最大９０個格納できる。９０個は、例えば、１秒間に１５の画像を処理する場合、６秒分のデータに該当する。mngConf.curPosは、最後に信頼度を格納した位置（最新の信頼度の格納位置）を示す。mngConf.numUsedsは、格納した信頼度のデータ数を示す。

図１０は、レーンマーク検出装置を起動したときに実行される処理フローである。格納した信頼度のデータ数mngConf.numUsedsを０に設定し（５０１）、最後に信頼度を格納した位置mngConf.curPosを、まだ格納していないので−１に設定し（５０２）、使用可否判断結果mngConf.stateを不定−１に（５０３）設定する。

図１１は、レーンマーク情報使用可否判断手段５の処理を示すフローチャートである。先ず、左レーンマーク情報がレーンマーク情報あり／なしを判断する（５１０）。左レーンマーク情報がない場合は、変数confidenceに０を設定する（５１１）。ある場合は、最新のレーンマーク情報の格納位置から信頼度を取得してconfidenceに設定する（５１２）。同様に、右レーンマーク情報についてもレーンマーク情報あり／なしを判断し（５１３）、ある場合には、最新のレーンマーク情報の格納位置から信頼度を取得してconfidenceに加算する（５１４）。

次に、変数confidenceを２で割り、左右レーンマーク情報の最新の信頼度の平均を求める（５１５）。信頼度のデータを格納する位置mngConf.curPosに１加算して、それをエリア数９０で割った余りをmngConf.curPosに設定する（５１６）。これは、mngConf.data[mngConf.curPos]をリングバッファとして使うために行う。

格納位置を求めたらその位置に、左右レーンマークの信頼度の平均confidenceを格納する（５１７）。格納した信頼度のデータ数mngConf.numUsedsが今回のデータも含めて９０個以上か判断する（５１８）。９０個未満ならば、格納した信頼度のデータ数mngConf.numUsedsを１加算し（５１９）、使用可否判断結果 mngConf.stateに不定−１を設定して終了する（５２０）。信頼度のデータが９０個取得できるまでは、不定としている。９０個以上ならば、格納した９０個の信頼度データの平均値を求め、変数averageに設定する（５２１）。使用可否判断結果mngConf.stateが使用可の状態か否かを判断する（５２２）。使用可の状態のときは、信頼度データの平均値averageが２０００未満か否かを判断し（５２３）、２０００未満のときは使用不可にする（５２４）。使用可でないときは、使用不可の状態か否かを判断し（５２５）、使用不可の状態のときは、信頼度データの平均値averageが４０００以上か否かを判断する（５２６）。４０００以上のときは、使用可の状態に戻ったことを示すために、使用可否判断結果mngConf.stateを使用可に設定する（５２７）。

次に、本実施例の効果について説明する。図１４（Ａ）は、従来のレーンマーク検出率によるレーンマーク情報の使用可否判断を示し（図１に示したグラフと同じである）、図１４（Ｂ）は、本実施例によるレーンマーク候補（線分）の信頼度を反映したレーンマーク情報の使用可否判断を示している。本実施例では、線分の信頼度の平均が２０００未満のときレーンマーク情報を使用不可と判断し、その後、信頼度の平均が４０００以上になったときレーンマーク情報を使用可と判断する。その結果、本実施例の場合、雨滴によってレーンマークの一部を検出することができなくなった区間（１）で、レーンマーク情報の使用不可を判断することが可能になり、実際の状況を反映したレーンマーク情報の使用可否を判断することができる。

図１５は、本実施例に係るレーンマーク検出機能を含む電子装置の構成を示すブロック図である。電子装置１００は、車両の周辺を撮像する撮像部１１０と、ユーザーからの指示を受け取る入力部１２０と、音声や映像等を出力する出力部１３０と、種々のデータ等を格納する記憶部１４０と、各部を制御する制御部１５０とを含む。制御部１５０は、例えば、ＲＯＭ／ＲＡＭ、マイクロコントローラ、マイクロプロセッサ等を含み、記憶部１４０に格納されたアプリケーションソフトウエアやプログラム等を実行し、レーンマーク検出機能の他に、ナビゲーション機能、運転アシスト機能、オーディオ・ビデオデータを再生する機能等を提供することができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１：画像入力手段 ２：レーンマーク候補抽出手段
３：レーンマーク検出手段 ４：レーンマーク位置推定手段
５：レーンマーク情報使用可否判断手段

Claims (6)

1. 自車が走行する道路を撮像し、撮像した画像データを出力する撮像手段と、
   前記画像データに基づき白線候補に関する情報を抽出する抽出手段と、
   前記白線候補に関する情報の信頼度を算出する算出手段と、
   前記白線候補に関する情報に基づき白線を検出し、検出された白線に関する白線情報を出力する検出手段と、
   前記信頼度に基づき前記検出手段により検出された白線情報の使用可否を判断する判断手段とを有し、
   前記算出手段は、前記抽出手段から出力される前記白線候補に関する情報を順次蓄積し、前記白線候補に関する情報が一定期間蓄積されたときまたは前記白線候補に関する情報が一定数に到達したとき、蓄積された前記白線候補に関する情報の各々の信頼度の平均を算出し、
   前記判断手段は、前記信頼度の平均に基づき前記白線情報の使用可否を判断する、白線検出装置。
2. 前記算出手段は、線分の数、線分の開始位置、線分の直線らしさ、線分のコントラスト、線分の幅および線分の幅の変動の６つの指標の評価値を用いて信頼度を算出する、請求項１に記載の白線検出装置。
3. 前記線分の数が多いほど評価値が高く、前記線分の開始位置までの距離が小さいほど評価値が高く、前記線分の直線らしさのばらつきが少ないほど評価値が高く、前記線分のコントラストが高いほど評価値が高く、前記線分の幅が基準の範囲内であれば評価値が高く、前記線分の幅の変動が少ないほど評価値が高く、
   前記算出手段は、予め用意された数式から前記６つの指標の評価値に応じた信頼度を算出し、前記６つの指標の評価値が高いほど前記信頼度が高い、請求項２に記載の白線検出装置。
4. 前記白線候補に関する情報は、前記画像データを一定方向にスキャンしたときに輝度が閾値以上である線分を複数含み、前記算出手段は、複数の線分の信頼度を算出する、請求項１ないし３いずれか１つに記載の白線検出装置。
5. 前記判断手段は、前記信頼度が第１の閾値以下になったとき、前記白線情報を使用不可と判断し、前記白線情報が使用不可となった後に前記信頼度が前記第１の閾値よりも大きい第２の閾値になったとき、前記白線情報が使用可と判断する、請求項１ないし４いずれか１つに記載の白線検出装置。
6. 前記判断手段は、前記白線情報の使用可否を出力する、請求項１に記載の白線検出装置。

Images