JP4270183B2 - 白線検出装置 - Google Patents

Description

本発明は、道路に引かれた白線を検出する白線検出装置に関するものである。

従来、道路に引かれた白線を検出する白線検出装置としては、特開２００４−２４０６３６号公報に記載されるように、車両から撮影した路面の画像に基づいて走行レーンに引かれた白線を検出する装置であって、車両の前方などを撮像した画像に対しエッジ処理を行ってエッジ部を検出し、そのエッジ部から白線候補点を抽出し、その白線候補点の数又は分布を参照してノイズ除去を行って、道路上の白線を検出するものが知られている。この装置は、撮像した画像のみを用いて処理量の増加を抑えながら、白線を高精度に検出しようとするものである。
特開２００４−２４０６３６号公報

しかしながら、このような白線検出装置にあっては、道路の路面上に建物などの影がある場合、その影のある部分の白線検出が困難となり、白線の検出精度が低下するという問題点がある。すなわち、路面上に影があると、その影の部分では画像の輝度値が全体的に低くなり、エッジ点を検出することが困難となる。また、影の部分でのエッジ点を検出しようとすると、影の部分以外の部分でのノイズが増加することとなり、白線の検出精度が低下してしまう。

そこで本発明は、道路に影がある場合において白線の検出精度の低下を抑制できる白線検出装置を提供することを目的とする。

すなわち、本発明に係る白線検出装置は、道路を撮影した画像に基づいて前記道路に引かれた白線を検出する白線検出装置において、前記画像内において影領域を設定する影領域設定手段と、前記画像内における前記白線を検出するものであって、前記影領域においては前記影領域以外の領域と比べて前記白線が検出されやすいようにして前記白線検出を行う白線検出手段とを備え、前記影領域設定手段は、太陽の位置に応じて前記画像内における影が延びる方向を推定し、前記画像から抽出したエッジ線の方向が前記影が延びる方向に一致する場合にそのエッジ線を影候補線とし、その影候補線に基づいて前記影領域を設定する。ここで、白線とは、白色の線のみならず黄色等の白色でない線も含み、例えば車道外側線、車道中央線、車線境界線が該当する。

また本発明に係る白線検出装置において、前記白線検出手段は、前記影領域における画像のコントラストを増大化して前記白線が検出されやすいようにすることが好ましい。また本発明に係る白線検出装置において、前記白線検出手段は、前記影領域において白線検出のためのしきい値を下げることにより前記白線が検出されやすいようにすることが好ましい。また本発明に係る白線検出装置において、前記白線検出手段は、前記影領域においてエッジに係る重みを大きくして前記白線が検出されやすいようにすることが好ましい。

これらの発明によれば、画像内において影領域を検出し、その影領域においてはそれ以外の領域と比べて白線が検出されやすいように白線検出が行われる。このように影領域を他の領域と異なる検出を行うことにより、影領域において白線が検出されやすくなる。従って、道路に影がある場合において白線の検出精度の低下を抑制することができる。そして、太陽の位置に応じて画像内における影が延びる方向を推定して影領域を設定することにより、不適正な影領域の設定を防止し、適切な白線検出が行える。

また本発明に係る白線検出装置において、前記白線検出手段は、道路左右に引かれた白線のうち一方を検出した場合に、その一方の白線の検出結果に基づいて他方の白線の位置と角度の少なくとも一方を推定して白線検出を行うことが好ましい。

この発明によれば、道路左右の白線のうち一方を検出した場合にその一方の白線の検出結果に基づいて他方の白線の位置と角度の少なくとも一方を推定して白線検出を行うことより、他方の白線の位置範囲、角度範囲を絞り込むことができる。このため、白線を精度よく検出することができる。また、白線の検出ための画像処理量を低減することができ、迅速に白線検出が行える。

また本発明に係る白線検出装置において、前記影領域設定手段は、前記画像上に設定される白線の推定線と前記画像から抽出した水平エッジ線と交差する場合に、交差する水平エッジ線を影候補線として選択し、その影候補線に基づいて前記影領域の設定を行うことが好ましい。

この発明によれば、画像上に設定される白線の推定線と画像から抽出した水平エッジ線と交差する場合にその交差する水平エッジ線を影候補線として選択しその影候補線に基づいて影領域の設定を行うことにより、不適切な影領域の設定を防止し、適切な白線検出が行える。

また本発明に係る白線検出装置において、前記白線検出手段は、前記影候補線のエッジ点を消去した後に、前記白線の検出を行うことが好ましい。

この発明によれば、影候補線のエッジ点を消去した後に白線の検出を行うことにより、白線のエッジ点以外のエッジ点が消去されるため、白線の検出精度の向上が図れる。

また本発明に係る白線検出装置において、太陽の位置が所定の位置関係にある場合には、前記影領域の設定を行わないことが好ましい。また本発明に係る白線検出装置において、車両が市街地を走行中でない場合には、前記影領域の設定を行わないことが好ましい。また本発明に係る白線検出装置において、日照のない天候である場合には、前記影領域の設定を行わないことが好ましい。

これらの発明によれば、無駄な影領域の設定を行わないことにより、白線検出に要する処理量の低減が図れ、迅速な白線検出が行える。

本発明によれば、道路に影がある場合において白線の検出精度の低下を抑制することができる。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は本発明の実施形態に係る白線検出装置の構成概要図である。

図１に示すように、本実施形態に係る白線検出装置１は、道路を撮影した画像に基づいて道路に引かれる白線を検出する装置であり、例えば車両５に搭載されて用いられる。ここで、白線とは、白色又はそれに類する色の道路区画線を意味し、例えば車道外側線、車道中央線、車線境界線が該当する。また、白色に類する色には、白色の線のように線表示可能な色が該当し、例えば黄色が該当する。

白線検出装置１には、撮像部２が設けられている。撮像部２は、車両の周囲を撮像する撮像手段として機能するものであり、例えば車両５の前方を撮影するように設置される。この撮像部２としては、例えばＣＣＤカメラ、Ｃ−ＭＯＳカメラなどが用いられる。

撮像部２は、ＥＣＵ（Electronic Control Unit）３に接続されている。ＥＣＵ３は、装置全体の制御を行うものであり、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成されている。ＥＣＵ３は、撮像部２から撮像画像を入力して画像処理し、道路に引かれた白線の検出を行うものである。

次に本実施形態に係る白線検出装置１の動作について説明する。

図２、３は、本実施形態に係る白線検出装置１の動作を示すフローチャートである。この図２、３における一連の制御処理は、例えばＥＣＵ３により所定の周期で繰り返し実行される。

まず、図２のＳ１０に示すように、画像読み込み処理が行われる。画像読み込み処理は、撮像部２で撮像した画像をＥＣＵ３に読み込む処理である。図４に示すように、読み込んだ画像３１は、車両５の前方の道路２０を撮像したものである。道路２０の車線の左右には、白線２１ａ、２１ｂが引かれている。道路２０には、建物などの影２２が延びている。 なお、ＥＣＵ３に読み込んだ画像がアナログ画像である場合には、Ａ／Ｄ変換によりデジタル画像に変換される。

そして、Ｓ１２に移行し、エッジ検出処理が行われる。エッジ検出処理は、画像のエッジ部を検出する処理である。例えば、撮像した画像がエッジ処理され、画像における明暗の変化が所定のしきい値より大きい場合に、その箇所がエッジ部として検出される。図５に示すように、エッジ画像３２において、一方の白線２１ｂはエッジ部として検出されるが、影２２に被われる白線２１ａの部分はほとんどエッジ部として検出されていない。また、影２２の外縁部がエッジ部として検出されている。

そして、図２のＳ１４に移行し、ノイズ除去処理が行われる。ノイズ除去処理は、エッジ部のノイズを除去する処理である。例えば、所定以下の弱いエッジ部がノイズとして除去され、強いエッジ部のみが残るように処理される。そして、Ｓ１６に移行し、白線検出処理が行われる。白線検出処理は、ノイズ除去画像に基づいて白線検出を行う処理である。例えば、ノイズ除去画像のエッジ部について連続する線分を抽出し、その抽出結果に基づいて白線の検出を行う。

そして、Ｓ１８に移行し、左右の白線のうち片側のみで白線が検出されたか否かが判断される。左右の白線のうち片側のみで白線が検出されていないと判断された場合、すなわち左右の白線の両側が検出された場合には、制御処理を終了する。一方、Ｓ１８にて、左右の白線のうち片側のみで白線が検出されたと判断された場合には、白線推定処理が行われる（Ｓ２０）。白線推定処理は、白線検出処理により検出された一方の白線情報に基づいて未検出の他方の白線位置を推定する処理である。例えば、車線の中央を中心線とし、検出された白線の位置と線対称の位置が未検出の白線の位置と推定される。なお、この白線推定処理において、白線検出処理により検出された一方の白線情報に基づいて未検出の他方の白線の角度を推定する場合もある。例えば、車線の中央を中心線とし、検出された白線と線対称となる白線の角度が未検出の白線の角度と推定される。

そして、Ｓ２２に移行し、気象条件が成立しているか否かが判断される。気象条件としては、道路に影ができる気象条件が設定される。例えば、天候が晴れであることが気象条件とされる。天候が晴れの場合に気象条件が成立していると判断され、天候が曇り、雨、雪の場合に気象条件が成立していないと判断される。天候が晴れか否かは、図示しない照度計又はレインセンサの検知信号に基づいて判断してもよいし、外部通信による天候情報に基づいて判断してもよい。

また、道路に所定以上の影ができる天候であることを気象条件としてもよい。例えば、図６に示すように、太陽の位置が車両５の前後方向に対し所定の角度範囲内（例えば±１５度以内。図６の斜線部参照。）にある場合には、道路を横切るように影ができにくいため、道路に所定以上の影ができる天候でないと判断され、気象条件が成立しないと判断される。一方、太陽の位置が車両５の前後方向に対し所定の角度範囲内にない場合には、道路を横切るように影ができやすいため、道路に所定以上の影ができる天候であると判断され、気象条件が成立していると判断される。太陽の位置が車両５の前後方向に対し所定の角度範囲内にあるか否かは、例えば、日付を含む時刻情報により演算される太陽の位置情報及びナビゲーションシステムやジャイロなどからの車両進行方向情報に基づいて判断すればよい。

また、図７に示すように、太陽の位置が車両５の上下方向に対し所定の角度範囲内（例えば±３０度以内。図７の斜線部参照。）にある場合には、道路に長い影ができにくいため、道路に所定以上の影ができる天候でないと判断され、気象条件が成立しないと判断される。一方、太陽の位置が車両５の上下方向に対し所定の角度範囲内にない場合には、道路に長い影ができやすいため、道路に所定以上の影ができる天候であると判断され、気象条件が成立していると判断される。太陽の位置が車両５の上下方向に対し所定の角度範囲内にあるか否かは、例えば、日付を含む時刻情報により演算される太陽の位置情報に基づいて判断すればよい。

そして、図２のＳ２２にて気象条件が成立していないと判断された場合には、制御処理を終了する。一方、Ｓ２２にて気象条件が成立していると判断された場合には、水平エッジ検出処理が行われる（Ｓ２４）。水平エッジ処理は、画像の水平方向のエッジ部を検出する処理である。例えば、撮像した画像に対し水平エッジ処理が行われ、画像の水平方向において明暗の変化が所定の輝度値より大きい場合に、その箇所が水平エッジ部として検出される。そして、Ｓ２６に移行し、エッジ値の絞り込み処理が行われる。このエッジ値の絞り込み処理は、予め設定される絞り込みしきい値より小さいエッジ値を有する水平エッジ部を除去する処理である。

そして、図３のＳ２８に移行し、ハフ変換処理が行われる。ハフ変換処理は、ハフ変換を用いて水平エッジの線分検出を行う処理である。この処理により、線分関係にある水平エッジ点が線分として検出される。そして、Ｓ３０に移行し、ハフ変換処理により検出された水平エッジ線分が予め画像内に設定される区分線と交差するか否かが判断される。例えば、図８に示すように、ハフ変換処理された水平エッジ画像３３において、白線が検出されるべき領域に垂直に延びる区分線３４ａ、３４ｂが設定されている。区分線３４ａ、３４ｂは、道路の左右の位置に一つずつ設定されている。Ｓ３０においては、Ｓ１８で白線未検出とされた側の区分線３４ａに水平エッジ線分３５が交差するか否かが判断される。図８では、白線未検出とされた側の区分線３４ａに水平エッジ線分３５が交差している。

Ｓ３０にて水平エッジ線分が画像内に設定される区分線と交差しないと判断された場合には、制御処理を終了する。一方、Ｓ３０にて水平エッジ線分が画像内に設定される区分線と交差していると判断された場合には、影方向の推定処理が行われる（Ｓ３２）。この影方向の推定処理は、太陽の位置に応じて影が延びる方向を推定する処理である。例えば、太陽の位置情報、車両の進行方向情報に基づいて、道路にできる影の延びる方向が推定される。

そして、Ｓ３４に移行し、影候補線の抽出処理が行われる。この影候補線の抽出処理は、水平エッジ画像において、推定された影方向に一致する線分を影候補線として抽出する処理である。例えば、図８の水平エッジ画像３３において、影の方向Ａに一致するエッジ線分３５が影候補線として抽出される。その際、影の方向Ａと一致する場合とは、完全に一致する場合のみならず、ほぼ一致する場合（例えば、影の方向Ａから角度が数度もしくは１０度程度ずれる場合）も含むものである。

そして、Ｓ３６に移行し、影領域の設定処理が行われる。影領域の設定処理は、影候補線に基づいて画像の道路上に影領域を設定する処理である。例えば、影候補線の位置を中心に所定範囲内を影領域として設定される。そして、Ｓ３８に移行し、影領域におけるエッジ検出処理が行われる。このエッジ検出処理は、影領域においてエッジの検出を行う処理である。

このエッジ検出処理では、影領域以外の領域と比べて白線が検出されやすいようにして白線検出が行われる。例えば、白線検出のためのしきい値を下げることにより白線が検出されやすいようにされる。具体的には、Ｓ１２のエッジ検出処理で用いたしきい値よりも小さいしきい値を用いてエッジ検出を行えばよい。これにより、影領域で輝度値の変化の小さい白線を検出することが可能となる。

なお、この影領域のエッジ検出処理において、影領域における画像のコントラストを増大化させて白線が検出されやすいようにしてもよい。例えば、影領域の各画素の輝度値を二倍又はそれ以上とし、エッジ検出を行うことにより、輝度値変化の小さいエッジも検出することができ、白線を検出しやすくすることができる。

また、影領域のエッジ検出処理において、影領域においてエッジに係る重みを大きくして白線が検出されやすいようにしてもよい。例えば、影領域で検出されたエッジについてハフ変換などで線分検出する際に他のものに対して重みを大きくすることにより、影領域で白線が検出されやすくなる。

そして、Ｓ４０に移行し、エッジ点除去処理が行われる。エッジ点除去処理は、影候補線上のエッジ点を除去する処理である。この処理により、道路上の影によってできるエッジ点を除去することができる。そして、Ｓ４２に移行し、ハフ変換処理が行われる。このハフ変換処理は、ハフ変換を用いて影領域のエッジ部の線分検出を行う処理である。その際、Ｓ２０にて推定された白線位置を用いて線分検出することが好ましい。

そして、Ｓ４２に移行し、白線再検出処理が行われる。この白線再検出処理は、影領域にて検出されたエッジ線分を用いて画像全体について白線検出を行う処理である。この白線再検出処理を終えたら一連の制御処理を終了する。

以上のように、本実施形態に係る白線検出装置１によれば、撮像した画像内において影領域を検出し、その影領域においてはそれ以外の領域と比べて白線が検出されやすいように白線検出を行う。このように影領域を他の領域と異なる白線検出を行うことにより、影領域において白線が検出されやすくなる。従って、道路に影がある場合において白線の検出精度の低下を抑制することができる。

また、本実施形態に係る白線検出装置１によれば、道路左右の白線のうち一方を検出した場合にその一方の白線の検出結果に基づいて他方の白線の位置と角度の少なくとも一方を推定して白線検出を行うことより、他方の白線の位置範囲、角度範囲を絞り込むことができる。このため、白線を精度よく検出することができる。また、白線の検出ための画像処理量を低減することができ、迅速に白線検出が行える。

また、本実施形態に係る白線検出装置１によれば、太陽の位置に応じて画像内における影が延びる方向を推定して影領域を設定することにより、不適正な影領域の設定を防止し、適切な白線検出が行える。

また、画像上に設定される白線の推定線と画像から抽出した水平エッジ線と交差する場合にその交差する水平エッジ線を影候補線として選択しその影候補線に基づいて影領域の設定を行うことにより、不適切な影領域の設定を防止し、適切な白線検出が行える。

また、本実施形態に係る白線検出装置１によれば、影候補線のエッジ点を消去した後に白線の検出を行うことにより、白線のエッジ点以外のエッジ点が消去されるため、白線の検出精度の向上が図れる。

また、太陽の位置が所定の位置関係にある場合には影領域の設定を行わないことにより、無駄な影領域の設定を行わないで済み、白線検出に要する処理量の低減が図れ、迅速な白線検出が行える。また、日照のない天候である場合には影領域の設定を行わないことにより、無駄な影領域の設定を行わないで済み、白線検出に要する処理量の低減が図れ、迅速な白線検出が行える。

また、車両が市街地を走行中でない場合に影領域の設定を行わないようにしてもよい。例えば、図２のＳ２２の後に、車両が市街地を走行中であるか否かの判断処理を行い、車両が市街地を走行中である場合にはＳ２４に移行し、車両が市街地を走行中でない場合には制御処理を終了する。市街地を走行中であるか否かの判断は、ナビゲーションシステムの地図情報に基づいて判断すればよい。その際、市街地から所定の距離以内である場合には市街地を走行中として判断してもよい。また、走行する道路に応じて影領域の設定を行わないようにしてもよい。これらの場合、無駄な影領域の設定を行うことを回避でき、白線検出に要する処理量の低減が図れ、迅速な白線検出が行える。

なお、上述した実施形態は本発明に係る白線検出装置の一例を示すものである。本発明に係る白線検出装置は、このようなものに限られるものではなく、各請求項に記載した要旨を変更しないように実施形態に係る白線検出装置を変形し、又は他のものに適用したものであってもよい。

本発明の実施形態に係る白線検出装置の構成概要図である。 図１の白線検出装置における白線検出処理を示すフローチャートである。 図１の白線検出装置における白線検出処理を示すフローチャートである。 図１の白線検出装置における撮像画像の説明図である。 図１の白線検出装置においてエッジ処理した画像の説明図である。 図１の白線検出装置における気象条件判断処理の説明図である。 図１の白線検出装置における気象条件判断処理の説明図である。 図１の白線検出装置において水平エッジ処理した画像の説明図である。

符号の説明

１…白線検出装置、２…撮像部、３…ＥＣＵ、５…車両、２０…道路。

Claims (10)

1. 道路を撮影した画像に基づいて前記道路に引かれた白線を検出する白線検出装置において、
   前記画像内において影領域を設定する影領域設定手段と、
   前記画像内における前記白線を検出するものであって、前記影領域においては前記影領域以外の領域と比べて前記白線が検出されやすいようにして前記白線検出を行う白線検出手段と、
   を備え、
   前記影領域設定手段は、太陽の位置に応じて前記画像内における影が延びる方向を推定し、前記画像から抽出したエッジ線の方向が前記影が延びる方向に一致する場合にそのエッジ線を影候補線とし、その影候補線に基づいて前記影領域を設定すること、
   を特徴とする白線検出装置。
2. 前記影領域設定手段は、前記画像上に設定される白線の推定線と前記画像から抽出した水平エッジ線と交差する場合に、交差する水平エッジ線を影候補線として選択し、その影候補線に基づいて前記影領域の設定を行うこと、
   を特徴とする請求項１に記載の白線検出装置。
3. 前記白線検出手段は、前記影候補線のエッジ点を消去した後に、前記白線の検出を行うことを特徴とする請求項１又は２に記載の白線検出装置。
4. 太陽の位置が所定の位置関係にある場合には、前記影領域の設定を行わないことを特徴とする請求項１〜３のいずれか一項に記載の白線検出装置。
5. 車両が市街地を走行中でない場合には、前記影領域の設定を行わないことを特徴とする請求項１〜４のいずれか一項に記載の白線検出装置。
6. 日照のない天候である場合には、前記影領域の設定を行わないことを特徴とする請求項１〜５のいずれか一項に記載の白線検出装置。
7. 前記白線検出手段は、前記影領域における画像のコントラストを増大化して前記白線が検出されやすいようにすることを特徴とする請求項１に記載の白線検出装置。
8. 前記白線検出手段は、前記影領域において白線検出のためのしきい値を下げることにより前記白線が検出されやすいようにすることを特徴とする請求項１に記載の白線検出装置。
9. 前記白線検出手段は、前記影領域においてエッジに係る重みを大きくして前記白線が検出されやすいようにすることを特徴とする請求項１に記載の白線検出装置。
10. 前記白線検出手段は、道路左右に引かれた白線のうち一方を検出した場合に、その一方の白線の検出結果に基づいて他方の白線の位置と角度の少なくとも一方を推定して白線検出を行うこと、
    を特徴とする請求項１、７〜１０のいずれか一項に記載の白線検出装置。
    

Images