JP4822766B2

JP4822766B2 - 路面標示認識装置及びシステム

Info

Publication number: JP4822766B2
Application number: JP2005237434A
Authority: JP
Inventors: 浄丹治
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2005-08-18
Filing date: 2005-08-18
Publication date: 2011-11-24
Anticipated expiration: 2025-08-18
Also published as: US8184859B2; DE102005063199A1; US20070041614A1; JP2007052645A; DE102005063199B4

Description

本発明は、路面標示の認識技術に関する。

例えば特開平８−２９７０２３号公報には、自車直前の路面の輝度と色の変化を判断し、輝度と色による路面と車線との分離を可能にし、確実に車線の認識が得られるようにした画像処理による走行路面の監視装置が開示されている。具体的には、車両走行方向の前方をカラー撮像する撮像部Ａと、該撮像部Ａで撮像した画像データの処理結果を、元の画像データに重畳して表示する表示部Ｂと、上記画像データによる画面内から、決定されている抽出色条件を満たす画素を抽出する抽出処理回路と、抽出された画素から色データをサンプリングする色サンプリング回路と、サンプリングされた色データに基づいて抽出条件を決定する抽出条件決定部とを設け、抽出された画素に基づいて車線の認識を行うようにし、さらに、抽出条件決定部でサンプリングされた色データに基づいて走行路面の照明条件を判断し、この判断結果によりアイリス機構部と、色変換ゲインが制御されるようにしている。但し、この公報では、横断歩道、停止線などの路面標示を認識する点については開示されていない。また、この公報記載の技術によって路面標示を個別に認識させたとしても、路面標示は単純な形状のものが多いため、誤認識が頻繁に発生する可能性がある。
特開平８−２９７０２３号公報

このように従来技術では、個別に路面標示を認識することができるかもしれないが、誤認識が頻繁に発生したり、または誤認識を低減させるために時間のかかる処理が必要であったりするという問題がある。しかし、車両は走行しているために、１フレームの処理に時間がかかりすぎると、次に処理するフレームの画像との差異が大きくなる。これは、さらなる誤認識や認識もれを招く原因となる。また、路面標示の認識を利用したアプリケーションでは、リアルタイムでの処理が望まれることがほとんどである。

従って、本発明の目的は、時間のかかる処理を用いずに簡単な処理によって路面標示を認識する際に発生する誤認識や認識もれを低減させる技術を提供することである。

本発明に係る路面標示認識方法は、路面の画像データを取得し、画像データ格納部に格納するステップと、画像データ格納部に格納された画像データにおいて第１の路面標示を検出して位置データを記憶装置に格納する第１路面標示検出ステップと、画像データ格納部に格納された画像データにおいて第２の路面標示を検出して位置データを記憶装置に格納する第２路面標示検出ステップと、記憶装置に格納されている位置データに基づき、第１の路面標示及び第２の路面標示について、予め規定されている正常時の相互位置関係が成立しているか判断する位置関係判断ステップと、位置関係判断ステップによる判断結果を用いて、第１の路面標示及び第２の路面標示の検出結果に対する自信度の評価を行うステップとを含む。

例えば交差点進入時の横断歩道と停止線といった路面標示の場合、車両から見れば停止線、横断歩道の順番に配置されていなければならない。また、交差点退出時では停止線は存在せず、横断歩道のみが配置されているはずである。従って、検出結果についてこのような相互位置関係が成立していない場合には、そのいずれか又は両方につき誤検出が発生している可能性がある。従って、このような相互位置関係についての判断結果を基に、自信度の評価（自信度の増減）を行って、最終的に「認識」と取り扱うか否かを決定するようにしてもよい。

また、上で述べた第１路面標示検出ステップが、車速データと記憶装置に格納されている過去の位置データとから第１の路面標示の仮想位置を算出するステップと、記憶装置に格納されている現在の位置データと仮想位置のデータとから第１の路面標示の自信度の評価を行うステップとを含むようにしてもよい。このように検出結果の連続性を用いて判断することにより、誤認識を避けることができる。なお、第２路面標示検出ステップにおいても同様の処理を行う場合もある。

さらに、画像データ格納部に格納された画像データにおいて車線を区切る白線を認識して位置データを記憶装置に格納する白線認識ステップと、記憶装置に格納されている白線の位置データに基づき、画像データの処理範囲を限定するステップとををさらに含むようにしても良い。このようにすれば、処理負荷を下げ、処理の高速化を図ることができるようになる。

また、上で述べた白線認識ステップが、記憶装置に格納されている過去に検出した白線の位置データと現在の位置データとから白線の自信度の評価を行うステップをさらに含むようにしても良い。なお、白線の位置データについては、例えば直線（点及び傾き）として特定するようにすれば、白線を移動させることなく、同様の位置で検出されているかを確認することができる。

本発明に係る方法をコンピュータに実行させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、ネットワークを介してディジタル信号にて頒布される場合もある。なお、処理途中のデータについては、コンピュータのメモリ等の記憶装置に一時保管される。

本発明によれば、時間のかかる処理を用いずに簡単な処理によって路面標示を認識する際に生ずる誤認識や認識もれを低減させることができるようになる。

本発明の一実施の形態に係る路面標示認識装置の機能ブロック図を図１に示す。路面標示認識装置は、例えば車両の前方に向けて設置されたカメラである画像撮影部１と、画像撮影部１が撮影した画像データを格納する画像データ格納部３と、画像データ格納部３に格納されている画像データを用いて白線検出などの処理を実施する白線処理部５と、白線処理部５による処理結果などを格納する白線データ格納部７と、画像データ格納部３と白線データ格納部７と車速データ格納部１１とに格納されたデータを用いて処理を行う路面標示処理部９と、路面標示処理部９による処理結果などが格納される路面標示データ格納部１３とを有する。また、路面標示処理部９は、横断歩道検出などの処理を行う横断歩道処理部９１と、停止線検出などの処理を行う停止線処理部９２と、検出した路面標示間の相互位置関係などを判定する位置関係判定部９３とを含む。

次に、図２乃至図１７を用いて図１に示した路面標示認識装置の処理について説明する。画像撮影部１は、周期的に撮影を行って、撮影した画像データを画像データ格納部３に格納する。以下説明する処理は、画像データを新たに画像データ格納部３に格納する毎に実行される。なお、画像データについては、例えば撮影毎に必要な指標が算出され、当該指標に基づき画像撮影部１は調整される。従って、次に撮影される画像データが、できる限り以下の処理に適切な画質を有するように調整されるものとする。

次に、白線処理部５は、画像データ格納部３に格納された画像データを用いて白線検出処理を実施する（ステップＳ１）。白線検出処理は、例えば図３に示すような画像データが読み出された場合、水平線ｂを特定して当該水平線ｂより上の領域ａを除外して、水平線ｂより下の領域ｃについてのみ実施される。これにより処理負荷を下げることができる。但し水平線ｂを検出できない場合など、画像データ全体を処理対象としても良い。なお、白線検出処理の具体的内容は、輝度差を用いたエッジ検出とラベリングによる検出や、ハフ変換による直線検出、または消失点を利用した検出法などの従来の技術と同一でよい。なお、白線は車両の左右に出現するものとして個別に検出するようにする。

白線検出処理では、例えば、図４（ａ）に示すように左側の白線ｐが検出されると、基準線ｒと白線ｐの交点の座標ｘ1と、基準線ｒ上で座標ｘ1から単位距離ｄだけ離れた位置における、基準線ｒと白線ｐとの距離ｙ1を傾きｙ1として特定する。同様に、図４（ｂ）に示すように右側の白線ｑが検出されると、基準線ｒと白線ｑの交点の座標ｘ2と、基準線ｒ上で座標ｘ2から単位距離ｄだけ離れた位置における、基準線ｒと白線ｑとの距離ｙ2を傾きｙ2として特定する。これらのデータについては、まずメインメモリなどの記憶装置に格納する。

なお、傾きの定義は図４（ａ）及び（ｂ）に示したものに限定されず、基準線ｒから垂直方向に単位距離ｄだけ離れた、基準線ｒと平行な直線と白線ｐ又はｑとの交点から基準線ｒへ垂線を下ろした場合において、当該垂線と基準線ｒとの交点と座標ｘ1又はｘ2との距離を傾きとしてもよい。

次に、白線処理部５は、ステップＳ１で今回白線を検出することができたか判断する（ステップＳ３）。今回白線を検出することができなかった場合には、白線データ格納部７に既検出の白線データが格納されているか判断する（ステップＳ５）。既検出の白線データが存在する場合には、今回白線をロストしたことになるので、白線データ格納部７に格納されている白線に対する自信度をデクリメントする（ステップＳ７）。デクリメントされる値は予め定めた値とする。白線データ格納部７に格納されるデータについては後に詳しく説明する。なお、自信度については下限値が設定されている場合もあり、その場合には下限値以下にはならないようにする。上限値についても同様である。そして端子Ａを介して図７の処理に移行する。一方、白線データ格納部７において既検出の白線データが存在しない場合には、端子Ａを介して図７の処理に移行する。

一方、ステップＳ３で今回白線を検出することができた場合には、既検出の白線データが白線データ格納部７に格納されているか判断する（ステップＳ９）。既検出の白線データが白線データ格納部７に格納されていない場合には、初めて白線を検出したことになるので、検出結果を白線データ格納部７に格納する（ステップＳ１１）。ステップＳ１１の後には、端子Ａを介して図７の処理に移行する。

白線データ格納部７に格納されるデータは、例えば図５に示すようなデータである。上段は左側の白線のデータであり、基準線上の座標ｘ1と傾きｙ1と自信度と認識フラグとを含み、下段は右側の白線データであり、基準線上の座標ｘ2と傾きｙ2と自信度と認識フラグとを含む。なお、認識フラグについてはステップＳ１１ではまだ設定されず、自信度についてはステップＳ１１では初期値が設定される。

一方、既検出の白線データが白線データ格納部７に格納されていると判断された場合には、白線処理部５は、既検出の白線と今回検出した白線との差を算出する（ステップＳ１３）。左右別に、ｘ座標同士の差と傾き（ｙ）同士の差を算出する。例えば差の合計も算出する。差の合計ではなく、予め規定されている他の関数に代入した結果を算出するようにしても良い。また、２つの値を別々に取り扱うようにしても良い。

そして、差が既定値以下であるか判断する（ステップＳ１５）。例えば差の合計値が、当該差の合計値に係る規定値以下であるか、又はｘ座標の差がその規定値以下であるか且つ傾きの差がその規定値以下であるか判断する。例えば、図６に示すように、既検出の左側白線ｔ1と今回検出した左側白線ｔ2とが検出され、比較される場合には、差は規定値以下と判断される。また、既検出の右側白線ｕ1と今回検出した右側白線ｕ2とが検出され、比較される場合には、差は規定値を超えると判断される。

差が規定値を超える場合には、検出結果が誤検出である可能性が高いとして、ｘ座標及び傾きの値を変更することなく、白線に対する自信度をデクリメントする（ステップＳ１７）。デクリメントされる値は予め定められた値とする。そしてステップＳ２３に移行する。一方、差が規定値以下である場合には、今回検出した白線のデータ（ｘ座標値及び傾きｙ）を白線データ格納部７に格納する（ステップＳ１９）。また、白線に対する自信度をインクリメントする（ステップＳ２１）。

次に、白線処理部５は、白線データ格納部７に格納されている、白線に対する自信度が規定値以上であるか判断する（ステップＳ２３）。白線に対する自信度が規定値未満であれば、まだ白線を認識したと判断するには不十分であるから、白線データ格納部７における認識フラグをオフにセットする（ステップＳ２５）。そして端子Ａを介して図７の処理に移行する。一方、白線に対する自信度が規定値以上である場合には、白線データ格納部７における認識フラグをオンにセットする（ステップＳ２７）。そして、白線認識という処理結果を、白線を利用する機能に出力する（ステップＳ２９）。処理は端子Ａを介して図７の処理に移行する。なお、上で述べた処理については左側白線と右側白線とを別々に処理する。

このように白線について検出結果の連続性を用いて検出結果の妥当性を判断して自信度に反映するようにしている。

次に、図７の処理を説明する。路面標示処理部９は、白線データ格納部７における認識フラグがオンになっているかを確認する（ステップＳ３１）。もし、認識フラグがオフである場合には、白線は認識されてはいないということになるので、処理領域を画像データ格納部３に格納されている画像データ全体に設定する（ステップＳ３３）。そしてステップＳ３７に移行する。一方、白線の認識フラグがオンである場合には、処理領域を白線の内側に設定する（ステップＳ３５）。図８（ａ）に示すように左右の白線が両方とも認識されている場合には、両白線と水平線とに囲まれた台形の領域Ｚ1が処理領域となる。また、図８（ｂ）に示すように右側の白線が認識されておらず、左側の白線のみが認識されている場合には、左側の白線と水平線とで囲まれた台形の領域Ｚ2が処理領域となる。当然、左右が逆になる場合もある。

そして、路面標示処理部９の横断歩道処理部９１は、横断歩道処理を実施する（ステップＳ３７）。横断歩道処理については図９乃至図１２を用いて説明する。まず、横断歩道処理部９１は、処理領域に対して横断歩道の検出処理を実施する（ステップＳ５１）。例えば、輝度差を用いたエッジ抽出やラベリング等を行い、横断歩道の構成部分を抽出する。横断歩道は、単調な縞模様であることから、構成部分の間隔が一定であること、構成部分の幅が一定であることなどの検出手法や、パターンマッチングなどの手法を用いても良い。基本的に、従来技術により横断歩道を検出することができるため、ここではこれ以上述べない。なお、横断歩道を構成する個々の白線部分についてのデータを保持しておく必要はない。図１０に示すように、横断歩道の領域Ｍを特定するようにする。この場合、例えば左上の頂点ｍ1の座標と右下の頂点ｍ2の座標とを保持しておけば、横断歩道の領域Ｍを特定することができる。なお、横断歩道は、白線のように常に検出され得るものではなく、存在する地点が限られているため、水平線付近で検出される毎にＩＤを付与して、検出されなくなるまで管理する。

次に、横断歩道処理部９１は、ステップＳ５１で横断歩道が検出できたか判断する（ステップＳ５３）。横断歩道を検出できなければ、路面標示データ格納部１３において、処理に係る画像データのフレーム番号や撮影時刻から所定時間内に格納された横断歩道データ（後述）が存在するか判断することにより、横断歩道を見失ってしまったか判断する（ステップＳ５５）。所定時間は、車速データを用いて算出する。すなわち、現在の車速と、カメラが視認できる限界点までの距離と、今回検出した横断歩道までの距離から、今回検出した横断歩道が何フレーム前（時間）までであればカメラから視認できるかを算出することができる。見失ったわけではない、すなわちまだ横断歩道が検出されていない状態の場合には端子Ｃを介して元の処理に戻る。一方、処理に係る画像データのフレーム番号や撮影時刻から所定時間内に格納された横断歩道データが存在する場合には見失ったことになるので、横断歩道に対する自信度をデクリメントする（ステップＳ５７）。デクリメントされる値は予め定めた値とする。

さらに、横断歩道処理部９１は、所定フレーム（所定の閾値時間）以上横断歩道を検出できないなど、路面標示データ格納部１３に格納されている横断歩道データをクリアする条件を満たしたか判断する（ステップＳ５９）。横断歩道データをクリアする条件を満たしていない場合には端子Ｃを介して元の処理に戻る。一方、横断歩道データをクリアする条件を満たしている場合には、路面標示データ格納部１３において横断歩道データをクリアする（ステップＳ６１）。そして端子Ｃを介して元の処理に戻る。

一方、今回横断歩道を検出できた場合には、路面標示データ格納部１３に既に横断歩道データが格納されていないか判断することにより、既検出の横断歩道が存在するか判断する（ステップＳ６３）。路面標示データ格納部１３にまだ横断歩道データが格納されていない場合には、今回検出した横断歩道の領域のデータを路面標示データ格納部１３に格納する（ステップＳ６５）。路面標示データ格納部１３は、例えば図１１に示すようなデータを格納している。図１１に示すように、横断歩道のＩＤ、撮影時刻、領域の左上の座標（ｘ1，ｙ1）、領域の右下の座標（ｘ2，ｙ2）と、自信度と、認識フラグとが格納される。なお、ＩＤについては新たに付与して当該値を格納し、自信度については初期値が設定される。但し、認識フラグはステップＳ６５では設定されない。その後元の処理に戻る。

既検出の横断歩道が存在している場合には、車速データ格納部１１に格納されている現在の車速を考慮して既検出の横断歩道領域を移動させる（ステップＳ６７）。例えば、路面標示データ格納部１３に格納されている時刻と現時刻との差と現在の車速とから距離を求め、さらに予め設定されている単位距離あたりの画素数（又は座標値）をさらに用いて、既検出の横断歩道領域をどれだけ画像上移動させるかを算出する。そして、既検出の横断歩道領域を画像上の移動距離だけ移動させる。図１２に示すように、既検出の横断歩道領域Ｍ0を車速に従って移動させると、点線で示す領域Ｍ0'まで移動する。図１２においては、ｘ軸が画像の横方向に設定され、ｙ軸が画像の縦方向に設定されているものとする。そして、ｙ軸方向に横断歩道領域を移動させる。

その後、横断歩道処理部９１は、今回検出した横断歩道領域Ｍ1と移動後の横断歩道領域Ｍ0'との位置の差を算出する（ステップＳ６９）。図１２の例では、ｙ軸方向の差ｅを算出する。その後、ステップＳ６９で算出された差ｅが規定値内であるか判断する（ステップＳ７１）。差ｅが規定値を超える場合には、横断歩道領域のデータを格納することなく、路面標示データ格納部１３において横断歩道に対する自信度をデクリメントする（ステップＳ７３）。このように、差ｅが規定値を超えるということは誤検出している可能性があるので、所定の値だけ自信度をデクリメントする。そして元の処理に戻る。

一方、差ｅが規定値内である場合には、路面標示データ格納部１３に、今回検出した横断歩道領域のデータを格納する（ステップＳ７５）。そして、路面標示データ格納部１３において、横断歩道に対する自信度を所定の値だけインクリメントする（ステップＳ７７）。そして元の処理に戻る。

このように検出結果の連続性を用いて検出結果の妥当性を判断して、自信度に反映するようにする。

図７の説明に戻って、次に路面標示処理部９の停止線処理部９２は、停止線処理を実施する（ステップＳ３９）。停止線処理については図１３乃至図１５を用いて説明する。まず、停止線処理部９２は、処理領域に対して停止線の検出処理を実施する（ステップＳ８１）。例えば、輝度差を用いたエッジ抽出やラベリング等を行い、停止線の構成部分を抽出する。停止線は、単調な直線のストライプであることから、直線状に規定値以上の輝度を有する画素の数をカウントするなどの方法、またはパターンマッチングなどの手法を用いても良い。基本的に、従来技術により停止線を検出することができるため、ここではこれ以上述べない。なお、以下の処理を簡単にするため、図１４に示すように、停止線の領域Ｓを特定するようにする。この場合、例えば左上の頂点ｓ1の座標と右下の頂点ｓ2の座標とを保持しておけば、停止線の領域Ｓを特定することができる。なお、停止線は、白線のように常に検出され得るものではなく、存在する地点が限られているため、水平線付近で初めて検出されるとＩＤを付与して、検出されなくなるまで管理する。

次に、停止線処理部９２は、ステップＳ８１で停止線が検出できたかを判断する（ステップＳ８３）。停止線を検出できなければ、路面標示データ格納部１３において、処理に係る画像データのフレーム番号や撮影時刻から所定時間内に格納された停止線データ（後述）が存在するか判断することにより、停止線を見失ってしまったか判断する（ステップＳ８５）。見失ったわけではない、すなわちまだ停止線が検出されていない状態の場合には端子Ｄを介して元の処理に戻る。一方、処理に係る画像データの撮影時刻から所定時間内に格納された停止線データが存在する場合には見失ったことになるので、停止線に対する自信度をデクリメントする（ステップＳ８７）。デクリメントされる値は予め定めた値とする。

さらに、停止線処理部９２は、所定フレーム（所定の閾値時間）以上停止線を検出できないなど、路面標示データ格納部１３に格納されている停止線データをクリアする条件を満たしたか判断する（ステップＳ８９）。停止線データをクリアする条件を満たしていない場合には端子Ｄを介して元の処理に戻る。一方、停止線データをクリアする条件を満たしている場合には、路面標示データ格納部１３において停止線データをクリアする（ステップＳ９１）。そして端子Ｄを介して元の処理に戻る。

一方、今回停止線を検出できた場合には、路面標示データ格納部１３に既に停止線データが格納されていないか判断することにより、既検出の停止線が存在するか判断する（ステップＳ９３）。路面標示データ格納部１３にまだ停止線データが格納されていない場合には、今回検出した停止線の領域のデータを路面標示データ格納部１３に格納する（ステップＳ９５）。路面標示データ格納部１３は、例えば図１５に示すようなデータを格納している。図１５に示すように、停止線のＩＤ、撮影時刻、停止線領域の左上の座標（ｘ1，ｙ1）、領域の右下の座標（ｘ2，ｙ2）と、自信度と、認識フラグとが格納される。なお、ＩＤについては新たに付与して当該値を格納し、自信度については初期値が設定される。但し、認識フラグはステップＳ９５では設定されない。その後元の処理に戻る。

既検出の停止線が存在している場合には、車速データ格納部１１に格納されている現在の車速を考慮して既検出の停止線領域を移動させる（ステップＳ９７）。例えば、路面標示データ格納部１３に格納されている時刻と現時刻との差と現在の車速とから距離を求め、さらに予め設定されている単位距離あたりの画素数（又は座標値）をさらに用いて、既検出の停止線領域をどれだけ画像上移動させるかを算出する。そして、既検出の停止線領域を画像上の移動距離だけ移動させる。図１４に示すように、既検出の横断歩道領域Ｓ0を車速に従って移動させると、点線で示す領域Ｓ0'まで移動する。図１４においては、ｘ軸が画像の横方向に設定され、ｙ軸が画像の縦方向に設定されているものとする。そして、ｙ軸方向に停止線領域を移動させる。

その後、停止線処理部９２は、今回検出した停止線領域Ｓ1と移動後の停止線領域Ｓ0'との位置の差を算出する（ステップＳ９９）。図１４の例では、ｙ軸方向の差ｅを算出する。その後、ステップＳ９９で算出された差ｅが規定値内であるか判断する（ステップＳ１０１）。差ｅが規定値を超える場合には、停止線領域のデータを格納することなく、路面標示データ格納部１３において停止線に対する自信度をデクリメントする（ステップＳ１０３）。このように、差ｅが規定値を超えるということは誤検出している可能性があるので、所定の値だけ自信度をデクリメントする。そして元の処理に戻る。

一方、差ｅが規定値内である場合には、路面標示データ格納部１３に、今回検出した停止線領域のデータを格納する（ステップＳ１０５）。そして、路面標示データ格納部１３において、停止線に対する自信度を所定の値だけインクリメントする（ステップＳ１０７）。そして元の処理に戻る。

このように検出結果の連続性を用いて、検出結果の妥当性を判断し、自信度に反映させるようにしている。

図７の説明に戻って、次に路面標示処理部９は、他の路面標示について処理を行うか判断する（ステップＳ４１）。上では、白線、横断歩道、停止線について処理する例を示しているが、矢印、速度標示など他の路面標示について認識処理を行うようにしても良い。もし、他の路面標示について処理するように設定されていれば、そのための処理を実行する（ステップＳ４３）。一方、他の路面標示について処理を行わない場合には、ステップＳ４５に移行する。

次に、路面標示処理部９の位置関係判定部９３は、位置関係評価処理を実施する（ステップＳ４５）。この処理については図１６及び図１７を用いて説明する。位置関係判定部９３は、予め関係が規定されている路面標示の組が検出されたか判断する（ステップＳ１１１）。予め関係が規定されている路面標示の組は、例えば停止線と横断歩道である。その他の路面標示について関係を規定することも可能であり、２つの路面標示だけではなく３以上の路面表示について関係を規定することも可能である。また、古いデータを用いても意味がないので、同一又は直近の画像データから検出された路面標示、すなわち同一又は近い時刻が路面標示データ格納部１３に登録されている路面標示について判断する。

予め関係が規定されている路面標示のいずれか又は全てが検出されなかった場合には元の処理に戻る。一方、予め関係が規定されている路面標示の組が検出された場合には、関係が規定されている路面標示の位置関係を特定する（ステップＳ１１３）。例えば、横断歩道と停止線が路面標示の組を構成しており、この両方が検出される場合には横断歩道より車両側に停止線が存在する。図１７に示すように、停止線の位置Ｓ3に対して、横断歩道の位置がＭである、すなわち車両から見て横断歩道より奥に停止線が存在する場合には、妥当な位置関係が成立していないと判断する。一方、停止線の位置がＳ4であれば、車両から見て横断歩道の手前に停止線が存在しているので、妥当な位置関係が成立している。なお、水平線に平行にｘ軸が定義されており、車両側に向かってｙ軸の正側が定義されているとすると、停止線のｙ座標の値が横断歩道のｙ座標の値より大きくなっていなければならない。

このように位置関係判定部９３は、路面標示の組における位置関係が妥当であるか判断する（ステップＳ１１５）。もし位置関係が妥当ではないと判断された場合には、路面標示データ格納部１３において、路面標示の組に含まれる全ての路面標示に対する自信度を所定の値だけデクリメントする（ステップＳ１１７）。そして元の処理に戻る。このように検出結果に矛盾が存在する場合には、いずれかが原因であるかを判断することは困難であるから、関係する全て路面標示に対する自信度を下げる。一方、位置関係が妥当であると判断された場合には、路面データ格納部１３において、路面標示の組に含まれる全ての路面標示に対する自信度を所定の値だけインクリメントする（ステップＳ１１９）。そして元の処理に戻る。

以上のような処理を実行することにより、路面標示の相互の位置関係に基づき、自信度を再評価することができるようになる。

図７の説明に戻って、路面標示処理部９は、路面標示データ格納部１３に格納されている各検出対象の自信度を用いて、各検出対象について対応する規定値以上の自信度を有する路面標示を特定し、当該路面標示認識という処理結果を当該認識結果を用いる他の機能に出力する（ステップＳ４７）。また、路面標示データ格納部１３において、規定値以上の自信度を有する路面標示について認識フラグをオンにセットし、規定値未満の自信度を有する路面標示について認識フラグをオフにセットする（ステップＳ４８）。

その後、処理終了かどうか判定して（ステップＳ４９）、処理終了でなければ端子Ｂを介して図２のステップＳ１に戻る。処理終了であれば、処理を終了させる。

以上述べたように、個々の路面標示の検出においては、入力画像データに対してエッジ抽出等で二値化した画像から当該路面標示の特徴量を用いて抽出するといった従来の検出方式を用いることができる。このように検出処理において複雑な処理を行わない分、処理時間は短くなる。車線を区分する白線を認識できた場合には、他の路面標示の検出処理範囲を限定するため、さらに処理速度の向上が見込める。白線の認識についても検出位置の連続性を用いて誤認識を減らすようにしている。さらに、白線以外の路面標示の認識処理においては、検出した路面標示の検出位置の連続性と他の路面標示との位置関係を加味して自信度（信頼度とも呼ぶ）を評価して認識か否かを判断するため、誤認識が少なくなる。

以上本発明の一実施の形態について説明したが、本発明はこれに限定されるものではない。例えば、図１の機能ブロック図は必ずしも実際のプログラムモジュールに限定されるものではない。また、一部の機能についてはハードウエアで実装される場合もある。

また、例えば横断歩道処理と停止線処理については並列実行可能である。そのほか処理結果が変わらない範囲において処理順番の入れ替えや並列実行が可能なステップも存在する。

（付記１）
路面の画像データを取得し、画像データ格納部に格納する手段と、
前記画像データ格納部に格納された画像データにおいて第１の路面標示を検出して位置データを記憶装置に格納する第１路面標示検出手段と、
前記画像データ格納部に格納された画像データにおいて第２の路面標示を検出して位置データを記憶装置に格納する第２路面標示検出手段と、
前記記憶装置に格納されている位置データに基づき、前記第１の路面標示及び前記第２の路面標示について、予め規定されている正常時の相互位置関係が成立しているか判断する位置関係判断手段と、
前記位置関係判断手段による判断結果を用いて、前記第１の路面標示及び前記第２の路面標示の検出結果に対する自信度の評価を行う手段と、
を有する路面標示認識装置。

（付記２）
前記第１路面標示検出手段が、
車速データと前記記憶装置に格納されている過去の位置データとから前記第１の路面標示の仮想位置を算出する手段と、
前記記憶装置に格納されている現在の位置データと前記仮想位置のデータとから前記第１の路面標示の検出結果に対する自信度の評価を行う手段と、
を有する付記１記載の路面標示認識装置。

（付記３）
前記第２路面標示検出手段が、
車速データと前記記憶装置に格納されている過去の位置データとから前記第２の路面標示の仮想位置を算出する手段と、
前記記憶装置に格納されている現在の位置データと前記仮想位置のデータとから前記第２の路面標示の検出結果に対する自信度の評価を行う手段と、
を有する付記１記載の路面標示認識装置。

（付記４）
前記画像データ格納部に格納された画像データにおいて車線を区切る白線を認識して位置データを記憶装置に格納する白線認識手段と、
前記記憶装置に格納されている前記白線の位置データに基づき、前記画像データの処理範囲を限定する手段と、
をさらに有する付記１記載の路面標示認識装置。

（付記５）
前記白線認識手段が、
前記記憶装置に格納されている過去の白線の位置データと現在の位置データとから前記白線の検出結果に対する自信度の評価を行う手段
を有する付記４記載の路面標示認識装置。

（付記６）
路面の画像データを取得し、画像データ格納部に格納するステップと、
前記画像データ格納部に格納された画像データにおいて第１の路面標示を検出して位置データを記憶装置に格納する第１路面標示検出ステップと、
前記画像データ格納部に格納された画像データにおいて第２の路面標示を検出して位置データを記憶装置に格納する第２路面標示検出ステップと、
前記記憶装置に格納されている位置データに基づき、前記第１の路面標示及び前記第２の路面標示について、予め規定されている正常時の相互位置関係が成立しているか判断する位置関係判断ステップと、
前記位置関係判断ステップにおける判断結果を用いて、前記第１の路面標示及び前記第２の路面標示の検出結果に対する自信度の評価を行うステップと、
を含み、コンピュータにより実行される路面標示認識方法。

（付記７）
路面の画像データを取得し、画像データ格納部に格納するステップと、
前記画像データ格納部に格納された画像データにおいて第１の路面標示を検出して位置データを記憶装置に格納する第１路面標示検出ステップと、
前記画像データ格納部に格納された画像データにおいて第２の路面標示を検出して位置データを記憶装置に格納する第２路面標示検出ステップと、
前記記憶装置に格納されている位置データに基づき、前記第１の路面標示及び前記第２の路面標示について、予め規定されている正常時の相互位置関係が成立しているか判断する位置関係判断ステップと、
前記位置関係判断ステップにおける判断結果を用いて、前記第１の路面標示及び前記第２の路面標示の検出結果に対する自信度の評価を行うステップと、
をコンピュータに実行させる路面標示認識プログラム。

本発明の実施の形態の機能ブロック図である。本発明の実施の形態におけるメイン処理フローの第１の部分を示す図である。画像撮影部で撮影された画像データの一例を示す図である。（ａ）は左側白線についてのデータの一例を示す図であり、（ｂ）は右側白線についてのデータの一例を示す図である。白線データ格納部に格納されるデータの一例を示す図である。検出された白線の例を示す図である。本発明の実施の形態におけるメイン処理フローの第２の部分を示す図である。（ａ）及び（ｂ）は白線を認識した場合における以後の処理領域を示す図である。横断歩道処理の処理フローを示す図である。横断歩道の領域を説明するための図である。横断歩道データの一例を示す図である。横断歩道の領域の時間変化を示す図である。停止線処理の処理フローを示す図である。停止線の領域の時間変化を示す図である。停止線データの一例を示す図である。位置関係評価処理の処理フローを示す図である。位置関係の妥当性を説明するための図である。

符号の説明

１画像撮影部３画像データ格納部
５白線処理部７白線データ格納部
９路面標示処理部１１車速データ格納部
１３路面標示データ格納部９１横断歩道処理部
９２停止線処理部９３位置関係判定部

Claims

路面の画像データを取得し、画像データ格納部に格納する手段と、
前記画像データ格納部に格納された画像データにおいて、車線を区切る白線とは異なる第１の路面標示を検出して位置データを記憶装置に格納する第１路面標示検出手段と、
前記画像データ格納部に格納された画像データにおいて、前記車線を区切る白線とは異なる第２の路面標示を検出して位置データを前記記憶装置に格納する第２路面標示検出手段と、
前記記憶装置に格納されている位置データに基づき、前記第１の路面標示及び前記第２の路面標示について、予め規定されている正常時の相互位置関係が成立しているか判断する位置関係判断手段と、
前記位置関係判断手段による判断結果を加味して、前記第１の路面標示及び前記第２の路面標示の検出結果に対する自信度の評価を行う手段と、
を有する路面標示認識装置。
前記第１路面標示検出手段が、
車速データと前記記憶装置に格納されている過去の位置データとから前記第１の路面標示の仮想位置を算出する手段と、
前記記憶装置に格納されている現在の位置データと前記仮想位置のデータとから前記第１の路面標示の検出結果に対する自信度の評価を行う手段と、
を有する請求項１記載の路面標示認識装置。
前記画像データ格納部に格納された画像データにおいて前記車線を区切る白線を認識して当該白線の位置データを前記記憶装置に格納する白線認識手段をさらに有し、
前記第１路面標示検出手段は、前記画像データ格納部に格納された画像データにおいて、前記白線認識手段により認識された白線より画像の中央側に存在する第１の路面標示を検出し、
前記第２路面標示検出手段は、前記画像データ格納部に格納された画像データにおいて、前記白線認識手段により認識された白線より画像の中央側に存在する第２の路面標示を検出する
ことを特徴とする請求項１記載の路面標示認識装置。
前記記憶装置に格納されている前記白線の位置データに基づき、前記画像データの処理範囲を限定する手段
をさらに有する請求項３記載の路面標示認識装置。
前記白線認識手段が、
前記記憶装置に格納されている過去の白線の位置データと現在の位置データとから前記白線の検出結果に対する自信度の評価を行う手段
を有する請求項３記載の路面標示認識装置。
前記相互位置関係が、前記画像データ格納部に格納された画像データにおける上下方向の位置関係である
請求項１記載の路面標示認識装置。
前記予め規定されている正常時の相互位置関係が、予め規定されている路面標示の組毎に予め規定されている相互位置関係である
請求項１記載の路面標示認識装置。
路面の画像データを取得し、画像データ格納部に格納するステップと、
前記画像データ格納部に格納された画像データにおいて、車線を区切る白線とは異なる第１の路面標示を検出して位置データを記憶装置に格納する第１路面標示検出ステップと、
前記画像データ格納部に格納された画像データにおいて、前記車線を区切る白線とは異なる第２の路面標示を検出して位置データを前記記憶装置に格納する第２路面標示検出ステップと、
前記記憶装置に格納されている位置データに基づき、前記第１の路面標示及び前記第２の路面標示について、予め規定されている正常時の相互位置関係が成立しているか判断する位置関係判断ステップと、
前記位置関係判断ステップにおける判断結果を加味して、前記第１の路面標示及び前記第２の路面標示の検出結果に対する自信度の評価を行うステップと、
をコンピュータに実行させる路面標示認識プログラム。