JP5957182B2 - 路面上パターン認識方法および車両用情報記録装置 - Google Patents

Description

本発明は、例えば車載器として車両に搭載されるドライブレコーダやデジタルタコグラフなどに利用可能な路面上パターン認識方法および車両用情報記録装置に関し、特に、道路の路面上に標示されている白線等の線状パターンを認識するための技術に関する。

一般的な道路や高速道路などにおいて、車両は予め決められた走行レーン（車線）の内側を走行する必要がある。通常、各走行レーンの左右側端部には、複数の走行レーンの境界を表す白線や、道路の中央を表すセンターラインや、道路の端部を表す白線などが標示されている。従って、車両を運転する運転者は、白線やセンターラインなどの位置を自分の目で確認しながら、自車の走行位置が現在の走行レーンの範囲をはみ出さないように注意しながら運転することになる。

ところで、最近の車両には、車両の進行方向前方あるいは後方の風景を撮影することが可能な車載カメラが搭載されている場合がある。また、車両に搭載されるドライブレコーダやデジタルタコグラフなどの車載器は、車載カメラの撮影により得られる映像のデータを記録することが可能である。一般的なドライブレコーダは、交通事故等の異常が発生した時にその前後の状況を表す画像等のデータを記録媒体に自動的に記録する。また、デジタルタコグラフは運転の状況を表す様々なデータを定期的にあるいは必要に応じて記録する。

一方、例えば車両の運転者の不注意や体調の不具合などを原因として、道路を走行している車両が走行レーンを逸脱したまま走行を継続したり、左右にふらつきながら蛇行運転を行う可能性が考えられる。従って、走行レーンの逸脱や蛇行運転のような危険な状況が発生している場合には、車載器が運転者に対して自動的に注意を促すことが望まれる。また、例えばタクシー、トラックなどの業務用車両を所有する会社においては、各車両の乗務員の運転状況が危険かどうかを管理者が把握できることが望まれる。

上記の車載カメラの撮影した映像に基づいて、走行レーンの境界を表す白線を認識することにより、白線と自車両との位置関係を把握できるので、自車両の走行レーンからの逸脱や蛇行運転の検出も可能になる。

車載カメラが撮影した画像を処理して白線を認識する技術については、例えば特許文献１及び特許文献２に開示された従来技術が知られている。

特許文献１においては、撮影した画像をエッジ抽出し、エッジ抽出した情報を基に鳥瞰図を生成し、鳥瞰図を基に白線を認識する白線認識アルゴリズムが、例えば段落「００１１」、「００１３」に開示されている。また、特許文献２においては、白線認識アルゴリズムがドライブレコーダに適用される可能性について言及している。

特許第３２８５５７５号公報 特許第４１５３５２２号公報

しかしながら、従来の白線認識アルゴリズムでは、認識のために非常に複雑で高度な処理を必要とするため、ほぼリアルタイムでの認識を可能にするためには画像データ処理のために高性能なハードウェアを搭載しなければならず、車載器が高価な装置になるのは避けられない。また、例えば道路上に存在する物体などのノイズを白線等の目的のパターンとして誤認識する可能性があり、その場合は走行レーン逸脱や蛇行運転の検出にも悪影響が発生する。

本発明は、上述した事情に鑑みてなされたものであり、その目的は、従来よりも単純な処理によって認識を可能にすると共に、誤認識の発生を抑制することが可能な路面上パターン認識方法および車両用情報記録装置を提供することにある。

前述した目的を達成するために、本発明に係る路面上パターン認識方法は、下記（１）〜（７）を特徴としている。
（１） 車両上に設置されたカメラにより連続的にもしくは間欠的に撮影して得られる画像フレームのデータに基づいて路面上に存在する線状パターンを認識する路面上パターン認識方法であって、
画素毎の濃淡を表す階調情報が含まれる画像フレームのグレースケールデータを入力し、
第１の画像フレームの中に第１の処理対象範囲を割り当て、
前記第１の画像フレーム中における前記第１の処理対象範囲の画像データを所定の方向に走査して特定の線状パターンを表す複数のパターンエッジの組み合わせを検出し、
前記線状パターンが１回検出された後で、前記第１の処理対象範囲よりも大きさが小さい第２の処理対象範囲を、検出された前記線状パターンの位置を基準にして決定し、
前記第１の画像フレームとは異なる時点で撮影された第２の画像フレームの中で、前記第２の処理対象範囲の画像データを所定の方向に走査して前記線状パターンを検出し、
前記線状パターンを複数回連続的に検出するまで、新たに撮影された画像フレームごとに、当該新たに撮影された画像フレームの中で、前記第２の処理対象範囲の画像データを所定の方向に走査して前記線状パターンを検出し、
前記第２の画像フレーム中で前記線状パターンを複数回連続的に検出した場合に、該当する線状パターンを有効なパターンとして認識すること。
（２） 上記（１）に記載の路面上パターン認識方法であって、
前記線状パターンの検出を行う前に、入力された画像フレーム中の前記第１の処理対象範囲および第２の処理対象範囲の画像データを画像処理に適した内容に座標変換すること。
（３） 上記（２）に記載の路面上パターン認識方法であって、
前記座標変換によって、路面を上方から見下ろした状態で前記路面に相当する水平面上に見える平面上の画像パターン配置を表す情報を生成すること。
（４） 上記（３）に記載の路面上パターン認識方法であって、
前記座標変換を行う前に、入力された画像から画像中の各パターンの輪郭を表すエッジ情報を抽出し、抽出されたエッジ情報に対して座標変換を実施すること。
（５） 上記（１）に記載の路面上パターン認識方法であって、
前記複数のパターンエッジの組み合わせとして、画像の明るさが急激に増大する状態を表す第１のエッジと、画像の明るさが急激に減少する状態を表す第２のエッジとが所定距離以内で現れる組み合わせを用いること。
（６） 上記（１）に記載の路面上パターン認識方法であって、
前記第２の処理対象範囲の位置を決定する際には、前記第１の画像フレームを撮影してから前記第２の画像フレームを撮影するまでの間の車両の移動に伴うパターンの移動距離を算出し、前記線状パターンを前回検出した位置から前記移動距離だけずれた位置を基準位置として使用すること。
（７） 上記（１）に記載の路面上パターン認識方法であって、
前記カメラからカラーの画像信号を入力し、信号を変換して前記グレースケールデータを画像フレーム毎に生成すること。

上記（１）の構成の路面上パターン認識方法によれば、処理が比較的単純であり誤認識の発生も抑制でき、高性能のハードウェアを搭載することなく処理できる。画像フレーム中の処理対象範囲を限定することにより、処理にかかる所要時間を短縮できる。また、複数のパターンエッジの組み合わせを検出することにより、特定の線状パターンを効率よく認識できる。更に、異なる時点で撮影された複数の画像フレームに対して前記線状パターンの検出を複数回繰り返すことにより、画像中に一時的に現れた何らかのノイズを線状パターンとして誤認識するのを防止できる。また、２回目以降に線状パターンを検出する時には、前回検出した位置を基準として処理対象範囲を決定するので、第２の処理対象範囲の面積を小さくすることができ、処理の負担を軽減できる。
上記（２）の構成の路面上パターン認識方法によれば、パターン認識を実行する前に、前処理として画像の座標変換を行うので、認識処理の負担を軽減することができ、認識処理にかかる所要時間を短縮できる。
上記（３）の構成の路面上パターン認識方法によれば、パターン認識を実行する際に、路面上と同等の水平面におけるパターン配置の画像データが処理対象になるので、処理対象の範囲や位置の計算が容易になる。
上記（４）の構成の路面上パターン認識方法によれば、座標変換対象の画像の情報量を大幅に減らすことができるので、処理の負担を大幅に軽減できる。
上記（５）の構成の路面上パターン認識方法によれば、白線等の線状パターンを容易に検出できる。すなわち、走行レーンの境界を表す白線は、画像フレーム内に一定の幅で縦方向に延びるように現れるので、この画像を横方向（道路の幅方向）に走査すると、白線パターン両端の一方のエッジで明るさが急激に増大し、他方のエッジで明るさが急激に減少する。つまり、前記第１のエッジと第２のエッジとの組み合わせが白線パターンの特徴と一致する。
上記（６）の構成の路面上パターン認識方法によれば、互いに異なるタイミングで撮影された複数フレームの画像を用いて同じ箇所の認識を複数回繰り返すことができ、一時的に発生したノイズの影響を排除できる。
上記（７）の構成の路面上パターン認識方法によれば、カラーカメラを利用して映像を撮影する場合であっても、白線などの線状パターンのエッジ検出処理に適した画像データを処理対象として入力することができる。

前述した目的を達成するために、本発明に係る車両用情報記録装置は、下記（８）を特徴としている。
（８） 車両上に設置されたカメラにより連続的にもしくは間欠的に撮影して得られる画像フレームのデータを含む情報を入力し、前記情報を所定の記録媒体に自動的に記録する機能を有する車両用情報記録装置であって、
前記カメラの出力する画像フレームのデータに基づき、画素毎の濃淡を表す階調情報が含まれる画像フレームのグレースケールデータを入力し、第１の画像フレームの中に第１の処理対象範囲を割り当て、前記第１の画像フレーム中における前記第１の処理対象範囲の画像データを所定の方向に走査して特定の線状パターンを表す複数のパターンエッジの組み合わせを検出し、前記線状パターンが１回検出された後で、前記第１の処理対象範囲よりも大きさが小さい第２の処理対象範囲を、検出された前記線状パターンの位置を基準にして決定し、前記第１の画像フレームとは異なる時点で撮影された第２の画像フレームの中で、前記第２の処理対象範囲の画像データを所定の方向に走査して前記線状パターンを検出し、前記線状パターンを複数回連続的に検出するまで、新たに撮影された画像フレームごとに、当該新たに撮影された画像フレームの中で、前記第２の処理対象範囲の画像データを所定の方向に走査して前記線状パターンを検出し、前記線状パターンを複数回連続的に検出した場合に、該当する線状パターンを有効なパターンとして認識する路面上パターン認識部
を備えたこと。

上記（８）の構成の車両用情報記録装置によれば、路面上パターン認識部が路面上の白線等の線状パターンを認識するので、例えば車両の走行レーンからの逸脱や、蛇行運転などの状況を自動的に検出し、この状態を記録したり警告を発することも可能になる。

本発明の路面上パターン認識方法および車両用情報記録装置によれば、従来よりも単純な処理で必要な線状パターンの認識が可能になり、誤認識の発生も抑制できる。

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

路面上の白線パターンを認識するための処理手順を表すフローチャートである。 車両用情報記録装置のハードウェアの構成例を示すブロック図である。 座標変換後の認識対象画像の例を表す模式図である。 白線パターンと検出されるエッジペアとの関係を表す模式図である。

本発明の路面上パターン認識方法および車両用情報記録装置に関する具体的な実施の形態について各図を参照しながら以下に説明する。

路面上の白線パターンを認識するための処理手順の概要が図１に示されている。また、図１の処理手順を実行する機能を搭載した車両用情報記録装置のハードウェアの構成例が図２に示されている。

なお、図２に示す車両用情報記録装置１００については、車載器として車両に搭載されるドライブレコーダの場合を想定しているが、同様の機能を有するデジタルタコグラフなど他の車載器に本発明を適用することも考えられる。

図２に示す車両用情報記録装置１００には車載カメラ２０が備わっている。この車載カメラ２０は、車両上の所定位置、例えば車室内のフロントウインドシールドガラスの中央付近や、運転席の近傍や、後部窓の近傍などの箇所に撮影方向を車外に向けた状態で固定される。従って、車載カメラ２０はこの車両を運転する運転者の視点から見える車外の風景と同様に、車両の進行方向前方又は後方の風景、つまり自車の車体の一部分や、道路の路面や、道路上の他の車両や歩行者などを連続的にあるいは間欠的に撮影することができる。本実施形態においては、車載カメラ２０としてカラー画像を撮影可能なカメラを用いる場合を想定している。

なお、車載カメラ２０は車両上に固定されているので、この車両が移動しない時には車載カメラ２０が撮影する風景の範囲は変化しないが、車両の移動に伴って風景が変化する。例えば、道路の路面に標示された白線等のパターンが存在する場合には、車両の移動に伴ってこの車両と該当するパターンとの位置関係が変化し、その変化が撮影した映像の変化として現れる。従って、撮影された映像中で白線等のパターンを認識することができれば、このパターンの位置の変化から、走行レーン内における横方向の自車位置の変化や、走行レーンからの逸脱や、蛇行運転などの状況を検出することも可能になる。

図２に示すドライブレコーダ本体１０は、画像処理部（路面上パターン認識部）１１、加速度（Ｇ）センサ１２、主制御部１３、不揮発性記録媒体１４、メモリ（ＳＤＲＡＭ）１５、インタフェース（Ｉ／Ｆ）１６、１７および１８を備えている。

画像処理部１１は、マイクロコンピュータ（ＣＰＵ）を主体とする要素により構成されており、予め用意されているプログラムを実行することにより所定の機能を実現する。すなわち、画像処理部１１は、車載カメラ２０が撮影した映像の信号を処理して必要な画像データを生成したり、画像中の所定のパターンを認識するための処理を行う。例えば、図１に示す処理手順も画像処理部１１によって実行される。

加速度センサ１２は、車両に加わった加速度の大きさを検出することができる。すなわち、交通事故が発生した場合や、急加速、急減速などの異常な状態が発生した時にその状況を検出することができる。

主制御部１３は、マイクロコンピュータ（ＣＰＵ）を主体とする要素により構成されており、予め用意されているプログラムを実行することにより所定の機能を実現する。主制御部１３は、交通事故などの異常な状態が発生した時に、その前後のタイミングにおける画像データなどを自動的に記録する処理を行う。また、主制御部１３は画像処理部１１が認識したパターンに基づいて、自車の走行レーンからの逸脱を検出したり、蛇行運転を検出し、これらの状況を自動的に記録する機能も備えている。

不揮発性記録媒体１４は、ドライブレコーダ本体１０に対して着脱自在なメモリカード（例えばＳＤカードやＣＦカード）や、ハードディスク装置のような記録媒体である。すなわち、不揮発性記録媒体１４はデータの書き込み及び読み込みが自在であり、電源供給が遮断された時でもデータの内容を保持することができる。

メモリ１５は、データの書き込み及び読み込みが自在な記憶回路であり、一時的なデータを保持するために利用される。例えば、一定時間の画像データを保持するバッファメモリとしてメモリ１５を使用することができる。具体的には、車載カメラ２０の撮影により得られた画像データをメモリ１５上に常時記録し、時間的に古くなった画像データを新しい画像データで上書きすることにより、所定時間前から現在までの一定時間の過去の画像データを記憶容量の制約のあるメモリ１５上に保持できる。

車速センサ２１は、車両のトランスミッションの出力軸の回転を検出し、所定量の回転を検出する毎に１つの車速パルスを電気信号として出力する。検出された車速パルスの数を計数することにより、車両の車速や移動量を把握することが可能になる。

画像処理部１１、加速度センサ１２、および車速センサ２１は、それぞれインタフェース１６、１７、および１８を介して主制御部１３と接続されている。インタフェース１６、１７、および１８は、それぞれ画像処理部１１、加速度センサ１２、および車速センサ２１の出力を主制御部１３の処理に適した信号に変換する。

次に、図１に示した処理手順の内容について説明する。
ステップＳ１１では、画像処理部１１が最新の画像フレームの信号を車載カメラ２０の出力から取り込み、グレースケールの信号に変換する。すなわち、車載カメラ２０が出力するカラーの画像信号から、画像認識処理に適したグレースケールの信号、つまり各画素の濃淡（階調）を表す信号を生成する。

例えば、次式を用いることにより、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色のカラー信号から階調を表す輝度Ｙをフレーム中の画素毎に求めることができる。
Ｙ ＝ 0.2126 × Ｒ ＋ 0.7152 × Ｇ ＋ 0.0722 × Ｂ

ステップＳ１２では、ステップＳ１１で入力された画像フレームのグレースケールのデータを処理対象として、エッジ抽出処理を行う。すなわち、フレーム中の各パターンの特徴を表す輪郭部分を抽出するために、所定のフィルタを用いてフレーム上の各位置を順次に走査して結果を出力する。例えば、注目画素とそれに隣接する８個の画素とに対応する３×３画素構成の公知の微分フィルタやｓｏｂｅｌフィルタを用いて画像を処理することにより、エッジ抽出を行うことができる。

ステップＳ１３では、画像処理部１１は目的のパターンを探索する範囲を決定し、この範囲について画像データの座標変換を行う。この例では道路上の走行レーンの車幅方向限界位置を表す白線パターンが認識対象であるので、ステップＳ１３においては探索範囲を次のように決定する。

車幅方向（Ｘ方向）の範囲：基準位置±（Ｗｒ／２）の範囲
進行方向（Ｙ方向）の範囲：基準位置から事前に定めた探索長（Ｙ１）の範囲
Ｗｒ：走行レーン幅（定数）
基準位置：例えば図３のカメラ取り付け位置

また、この探索範囲内に含まれる画像データを座標変換し、例えば図３に示すような処理対象画像データを生成する。車載カメラ２０が出力する映像においては、遠近感の影響が現れるため、各パターンと自車との距離の違いによってパターンの大きさや位置が変化する。従って、白線のように直線的なパターンであっても、パターンの実際の位置や範囲を特定するために比較的面倒な計算を行わなければならない。

そこで、パターン認識を行う前の前処理として、計算が簡単な状態の画像に座標変換する。すなわち、図３に示すように、自車両が走行する道路の路面に相当する水平面上に各パターンを投影した状態の平面図として見えるように、各パターンの各位置の座標を変換する。

図３においては、道路を上方から見た状態と同様に、車幅方向に相当するＸ軸と車両の進行方向を表すＹ軸とでなる平面上に各パターンを投影した状態を表している。従って、図３中に示す各白線パターンＬ１、Ｌ２、Ｌ３については、遠近感の影響が排除されており、実際の白線パターンの形状と同様に、一定幅のパターンとして、互いに平行な配置状態で現れている。

ステップＳ１４では、ステップＳ１３で生成した処理対象画像データ（図３のように配置された内容のパターン輪郭を表すデータ）を対象として、ステップＳ１３で決定した探索範囲内を順番に走査し、特別な白線探索アルゴリズムを実行する。

具体的には、この画像データ上を図３に示すＸ軸方向に沿って、左から右側に向かって走査し、１ラインの走査が終了するとＹ軸方向の位置をずらして再び左から右側に向かって走査し、この処理を繰り返す。

ところで、白線のパターンが存在する箇所の画像データをＸ軸方向に走査する時には、白線パターンの始まりエッジ位置で明るさが急激に増大し、終わりのエッジ位置で明るさが急激に減少する。従って、ステップＳ１２でエッジ抽出処理された結果においては、例えば図４に示すように、白線パターンの始まりエッジ位置で明るさの増大を表すプラス側のエッジ情報（微分値がプラス方向に所定以上変化）が現れ、同じ白線パターンの終わりエッジ位置で明るさの減少を表すマイナス側のエッジ情報（微分値がマイナス方向に所定以上変化）が現れる。

また、一般的に路面に表示されている白線パターンの幅は予め決められた一定値であるので、プラス側のエッジ情報が現れる位置とマイナス側のエッジ情報が現れる位置との間隔（Ｘ方向の距離）もほぼ一定になる。

そこで、ステップＳ１４の白線探索アルゴリズムにおいては、図４に示すように一定の間隔でプラス側のエッジ情報とマイナス側のエッジ情報とが現れた場合に、これらの組み合わせを白線パターンに対応するエッジペアとして認識する。

ステップＳ１５では、ステップＳ１４の探索の結果、白線パターンに対応するエッジペアを検出できたか否かを識別する。検出できなかった場合はステップＳ１１に戻り、検出できた場合は白線パターンの認識精度を上げるために次のステップＳ１６に進む。

ステップＳ１６では、２回目以降の処理における探索範囲を決定する。この場合は既に１回目の処理において白線パターンの候補が存在する位置が判明しているので、ステップＳ１３で決定した探索範囲よりも面積の小さい範囲に限定する。これにより、処理対象のデータ量を減らすことができる。また、ステップＳ１６においては、ステップＳ１４で検出されたエッジペアの位置を基準にして探索範囲を決定する。

具体的には、次のように探索範囲を決定する。
車幅方向（Ｘ方向）の範囲：（Ｘａ−Ｘｍ）〜（Ｘｂ＋Ｘｍ）の範囲
Ｘａ：前回検出したエッジペア始まり位置
Ｘｂ：前回検出したエッジペア終わり位置
Ｘｍ：誤差に相当するＸ方向の余裕分（マージン）
進行方向（Ｙ方向）の範囲：（Ｙａ＋ΔＹ−Ｙｍ）〜（Ｙａ＋ΔＹ＋Ｙｍ）の範囲
Ｙａ：前回検出したエッジペアのＹ方向位置
ΔＹ：前回と今回の画像の違いに相当するＹ方向移動量（車速と処理対象画像フレームの撮影時間差により定まる）
Ｙｍ：誤差に相当するＹ方向の余裕分（マージン）

ステップＳ１７では、探索範囲としてステップＳ１６で決定した内容を採用する以外は、前述のステップＳ１１、Ｓ１２、Ｓ１３と同様の処理を行う。すなわち、新たに撮影された画像フレームを車載カメラ２０から取り込み、グレースケールのデータに変換し、エッジ抽出処理を施し、更に座標変換を行って探索範囲のみについて図３に示すような平面図の処理対象データを生成する。

ステップＳ１８では、ステップＳ１７で生成された処理対象データについて、ステップＳ１６で決定した探索範囲内を、前述のステップＳ１４と同様の白線探索アルゴリズムで探索し、前述のエッジペアの検出を行う。

ステップＳ１９では、ステップＳ１８の探索の結果、白線パターンに対応するエッジペアを検出できたか否かを識別する。検出できなかった場合はステップＳ１１に戻り、検出できた場合は次のステップＳ２０に進む。

ステップＳ２０では、認識した同じ白線パターンについて、所定回数（この例ではＳ１４も含めて３回以上）連続的に認識に成功したか否かを識別する。所定回数未満の場合はステップＳ１６に戻って処理を繰り返し、所定回数以上になった場合はステップＳ２１に進む。

ステップＳ２１では、ステップＳ１４及びＳ１８で検出されたエッジペアに相当するパターンの候補を認識対象の白線パターンとして最終的に認識する。
すなわち、図１に示す例では、道路上の同じ位置で検出された同じ白線パターンについて、ステップＳ１４で１回の認識に成功し、更にステップＳ１８で２回連続的に認識に成功した場合にこれを白線パターンとして確定する。

なお、図示しないが、ステップＳ２１で白線パターンを確定した後、該当する位置の白線パターンを３つの画像フレームで連続的に検出できなくなった場合には、該当する白線パターンが終了したものとみなし、ステップＳ１１から処理をやり直す。

ステップＳ２１で白線パターンが確定した後、この白線パターンのＸ方向の位置をそれ以降に撮影される各画像フレーム中で追跡することにより、走行レーン中の車両の幅方向の位置とその変化を監視することが可能になる。従って、例えば自車両の蛇行運転を検出したり、自車両の走行レーンからの逸脱を検出したり、逸脱が生じる前に逸脱の発生を予測することができ、主制御部１３は検出されたこれらの状況をドライブレコーダの記録動作に反映させたり、リアルタイムで運転者に対して警告することもできる。

なお、上述の実施形態は単なる代表例であり、実際の装置に適用する場合には、例えば次に説明するように様々な変形が考えられる。
１．車外の風景を撮影するカメラについては、メインのカメラ（前述の車載カメラ２０）の他にオプションのカメラを追加することが考えられる。その場合、メインのカメラとオプションのカメラを同時に利用して複数の映像を同時に撮影する。また、メインのカメラでは比較的広い範囲を撮影し、オプションのカメラでは遠方の比較的狭い範囲を撮影する。このようにすれば、自車両から大きく離れた場所の白線パターンについても、比較的容易に認識可能になる。

２．例えばその時の時間帯の区分を検出したり、周囲の明るさを検出したり、撮影した映像の内容を分析することにより、昼夜の違いを区別したり、トンネル内を走行中か否かを識別することが可能になる。その場合、昼夜の違いやトンネル内か否かの状況の違いを白線パターンの認識処理に反映すれば、白線パターンの認識精度を更に改善することが可能である。

３．図２に示す車載カメラ２０、画像処理部１１、及びインタフェース１６については一体化することも考えられる。これにより、装置の構造を単純化してコストを低減したり、装置を小型化することも可能になる。

以上のように、本発明の路面上パターン認識方法および車両用情報記録装置は、例えば車載器として車両に搭載されるドライブレコーダやデジタルタコグラフなどに適用することが想定できる。本発明を適用することにより、装置コストを大幅に上げることなく白線パターンを自動認識する機能を持たせることができるので、危険な状況である車両の走行レーンからの逸脱や蛇行運転などを検出して情報を記録したり警報を出力するために役立てることができる。また、連続する実線の白線パターンだけでなく、点線状の白線パターンも認識可能であり、実線と点線とを区別することも可能になる。

１０ ドライブレコーダ本体
１１ 画像処理部（ＣＰＵ）
１２ 加速度センサ
１３ 主制御部（ＣＰＵ）
１４ 不揮発性記録媒体
１５ メモリ
１６，１７，１８ インタフェース
２０ 車載カメラ
２１ 車速センサ
１００ 車両用情報記録装置
Ｗｒ 走行レーン幅
Ｌ１，Ｌ２，Ｌ３ 白線パターン
Ｙ１ 探索長

Claims (7)

1. 車両上に設置されたカメラにより連続的にもしくは間欠的に撮影して得られる画像フレームのデータに基づいて路面上に存在する線状パターンを認識する路面上パターン認識方法であって、
   画素毎の濃淡を表す階調情報が含まれる画像フレームのグレースケールデータを入力し、
   第１の画像フレームの中に第１の処理対象範囲を割り当て、
   前記第１の画像フレーム中における前記第１の処理対象範囲の画像データを所定の方向に走査して特定の線状パターンを表す複数のパターンエッジの組み合わせを検出し、
   前記線状パターンが１回検出された後で、前記第１の処理対象範囲よりも大きさが小さい第２の処理対象範囲を、検出された前記線状パターンの位置を基準にして決定し、
   前記第１の画像フレームとは異なる時点で撮影された第２の画像フレームの中で、前記第２の処理対象範囲の画像データを所定の方向に走査して前記線状パターンを検出し、
   前記線状パターンを複数回連続的に検出するまで、新たに撮影された画像フレームごとに、当該新たに撮影された画像フレームの中で、前記第２の処理対象範囲の画像データを所定の方向に走査して前記線状パターンを検出し、
   前記線状パターンを複数回連続的に検出した場合に、該当する線状パターンを有効なパターンとして認識することを特徴とする路面上パターン認識方法。
2. 前記線状パターンの検出を行う前に、入力された画像フレーム中の前記第１の処理対象範囲および第２の処理対象範囲の画像データを画像処理に適した内容に座標変換する
   ことを特徴とする請求項１に記載の路面上パターン認識方法。
3. 前記座標変換によって、路面を上方から見下ろした状態で前記路面に相当する水平面上に見える平面上の画像パターン配置を表す情報を生成する
   ことを特徴とする請求項２に記載の路面上パターン認識方法。
4. 前記複数のパターンエッジの組み合わせとして、画像の明るさが急激に増大する状態を表す第１のエッジと、画像の明るさが急激に減少する状態を表す第２のエッジとが所定距離以内で現れる組み合わせを用いる
   ことを特徴とする請求項１に記載の路面上パターン認識方法。
5. 前記第２の処理対象範囲の位置を決定する際には、前記第１の画像フレームを撮影してから前記第２の画像フレームを撮影するまでの間の車両の移動に伴うパターンの移動距離を算出し、前記線状パターンを前回検出した位置から前記移動距離だけずれた位置を基準位置として使用する
   ことを特徴とする請求項１に記載の路面上パターン認識方法。
6. 前記カメラからカラーの画像信号を入力し、信号を変換して前記グレースケールデータを画像フレーム毎に生成する
   ことを特徴とする請求項１に記載の路面上パターン認識方法。
7. 車両上に設置されたカメラにより連続的にもしくは間欠的に撮影して得られる画像フレームのデータを含む情報を入力し、前記情報を所定の記録媒体に自動的に記録する機能を有する車両用情報記録装置であって、
   前記カメラの出力する画像フレームのデータに基づき、画素毎の濃淡を表す階調情報が含まれる画像フレームのグレースケールデータを入力し、第１の画像フレームの中に第１の処理対象範囲を割り当て、前記第１の画像フレーム中における前記第１の処理対象範囲の画像データを所定の方向に走査して特定の線状パターンを表す複数のパターンエッジの組み合わせを検出し、前記線状パターンが１回検出された後で、前記第１の処理対象範囲よりも大きさが小さい第２の処理対象範囲を、検出された前記線状パターンの位置を基準にして決定し、前記第１の画像フレームとは異なる時点で撮影された第２の画像フレームの中で、前記第２の処理対象範囲の画像データを所定の方向に走査して前記線状パターンを検出し、前記線状パターンを複数回連続的に検出するまで、新たに撮影された画像フレームごとに、当該新たに撮影された画像フレームの中で、前記第２の処理対象範囲の画像データを所定の方向に走査して前記線状パターンを検出し、前記線状パターンを複数回連続的に検出した場合に、該当する線状パターンを有効なパターンとして認識する路面上パターン認識部
   を備えたことを特徴とする車両用情報記録装置。

Images