JP3580475B2

JP3580475B2 - 周辺監視装置

Info

Publication number: JP3580475B2
Application number: JP25981798A
Authority: JP
Inventors: 一幸佐々木; 直人石川; 真人中島; 照久今井
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 1998-09-14
Filing date: 1998-09-14
Publication date: 2004-10-20
Anticipated expiration: 2018-09-14
Also published as: US6466684B1; JP2000090243A

Description

【０００１】
【発明の属する技術分野】
本発明は、自動車などの車両等に設置されたビデオカメラ等の撮像手段によって、車両の前方、後方又は後側方を撮像し、撮像された画像を用いて、走行している自車両の前方、後方又は後側方より接近してくる他車両を検知し、運転者に警告を与えるための周辺監視装置に関する。
【０００２】
【従来の技術】
例えば、高速道路などの片側２車線以上の道路を走行中の自動車等の車両の運転者が、異なった車線への移動、すなわち車線の変更を行おうとした場合、その車両（自車両）が変更しようとする隣接車線に、自車両よりも速いスピードにて走行中の別の車両（周囲の他車両）が後側方から追い上げてきた場合などに、前記別の車両の存在を見落としたまま、前記運転者が車線の変更を行った場合、大事故につながる可能性が極めて高い。
【０００３】
また、自車両と同一の車線を、後続して別の車両が走行している場合などにも、後続の他の車両が自車両よりも速いスピード（対地速度）にて急接近してきたような場合には、自車両が急ブレーキをかけるなどすると追突される危険性があり、この意味でも周囲の他車両を確実に認識しておくことが望ましい。
【０００４】
さらには、運転者が居眠りをした場合などで、自車両と同一の車線前方を他の車両が自車両よりも遅いスピード走行していた場合など、前方の車両に追突する危険性があり、やはり周囲の他車両を確実に認識しておくことが望ましい。
【０００５】
特に近年では、乗用車をはじめとして道路上を走行する各種の車両は、その走行速度も加速度も共に強化され、高性能化の傾向にあり、上述の車線の変更や加減速等の際における車両の動きはさらに俊敏なものとなり、その結果、自車両の周囲を走行中の別の車両（周囲の他車両）の存在を、前記運転者が見落とすことに起因した、大事故に発展しかねない危険な状態や、実際の大事故発生の確率がますます高まってきている。
【０００６】
運転者による自車両以外の別の車両（周囲の他車両）の見落としを防ぐためには、先ず、運転者自身が周囲に対してさらに注意を喚起することが必要であることは言うまでもないが、一方で、人間の集中力や認知能力は、前述のような車両性能の向上に対して追随可能な限界値に達しつつあるのも事実であり、実際、そのような限界値の領域における周囲の他車両の存在の見落としなどに起因した事故が増加の傾向にある。
【０００７】
また、特に高速走行となるにしたがって、人間の視覚的な認識能力は急激に低下することが一般的に知られており、車両のさらなる高速走行への対応につれ、上述のような、車線変更時等に発生する周囲の他車両の存在の見落としなどの問題等の、さらなる深刻化が危惧されている。
【０００８】
したがって、上述のような大事故に発展しかねない危険な状態や、実際の大事故の発生を未然に防止するためには、単に運転者による周囲の別の車両への注意の喚起を高めるだけでは不十分であり、自車両の周囲を走行中の別の車両（周囲の他車両）の存在を自動的に正確に且つ確実に認識し、その情報を運転者に明確に伝達して知らせてやることにより、人間の有する有限な認識力を補完してやる必要がある。
【０００９】
従来より、このような危険性の問題を解決するための技術として、特開平６−１０７０９６号公報及び特開平７−５０７６９号公報に記載のものがある。特開平６−１０７０９６号公報にはオプティカルフローの検出を応用した接近車両の検出，及び衝突警報システムについての開示がなされており、特開平７−５０７６９号公報にはオプティカルフローの検出を応用し、自車両に対する後側方からの接近車両を検出し、自車両が進路変更する際に他車両と衝突の危険が有る場合に警報を発するシステムについて開示がなされている。
【００１０】
このような従来の車両用周辺監視装置について、その主要点を図２０及び図２１を参照して説明する。
図２０は、ビデオカメラ１によって得られる後側方の画像の変化を説明するための図であり、（ｂ）は（ａ）に示す自車両を含む状況においてビデオカメラ１が時間ｔで撮像した画像、（ｃ）は時間ｔ＋Δｔで撮像した画像をそれぞれ示す。
【００１１】
今、自車両は平坦な道を直進しているとすると、例えば後方に見える（ａ）に示される道路標識及び建物に注目すると、時間の経過により時間ｔ、時間ｔ＋Δｔにおいて、（ｂ）、（ｃ）に示されるような画像が得られる。この２枚の画像において対応する点を捜しそれらを結ぶと（ｄ）に示されるような速度ベクトルが得られる。これがオプティカルフローである。また、後続車両が接近する場合は図２０（ｄ）で示すオプティカルフローのベクトルの方向は逆になる。
【００１２】
ここでこれらオプティカルフローは、画像内のＦＯＥ（ＦｏｃｕｓｏｆＥｘｐａｎｓｉｏｎ）とよばれる１点から放射状に現れる。ＦＯＥとは、無限遠点又は消失点と呼ばれ、車両が直進している場合画像上において自車両の進行方向の正反対方向を示す１点に対応する。このように、自車両が走行している場合に求められるオプティカルフローは、ＦＯＥから放射状の方向である。ここで後続または隣接車線を走行中の車両から発せられたオプティカルフローは、自車両に対する後続または隣接車両の位置、相対速度からなる情報を含んでおり、オプティカルフローが長く、かつその方向がＦＯＥより発散する場合は危険度が高いと考えられる。
【００１３】
次に、その詳細を図２１を参照して説明する。同図の光学的配置おいて、１１はビデオカメラのレンズ、１２はビデオカメラのイメージプレーン、ｆはレンズ１１からイメージプレーン１２までの距離、Ｐ（Ｘ，Ｙ，Ｚ）は後続車両上の任意の１点、ｐ（ｘ，ｙ）はイメージプレーン１２上の点Ｐに対応する点とすると、３角形の相似の比から
ｘ＝ｆ・Ｘ／Ｚ ……（１）
となる。
【００１４】
この式を変形して、時間微分すると、
Ｘ’＝（Δｘ／Δｔ・Ｚ＋ｘ・Ｚ’）／ｆ ……（２）
となる。また、オプティカルフローのｘ方向成分ｕとは
ｕ＝Δｘ／Δｔ ……（３）
であるので、これを用いて
Ｚ＝（ｆ・Ｘ’−ｘ・Ｚ’）／ｕ ……（４）
となる。
【００１５】
ここで、上記Ｚ’は後続車両ないし隣接車線を走行中の他車両と自車両との相対速度であるから、これをＺ’＝−α ……（５）
とすると、上式（５）は、
Ｚ＝（ｆ・Ｘ’＋ｘα）／ｕ ……（６）
となる。よってオプティカルフローのｘ方向成分（即ちΔｘ／Δｔ＝ｕ）は、
ｕ＝（ｆ・Ｘ’＋ｘα）／Ｚ ……（７）
となる。Ｙについても同様に求まる。
【００１６】
よって上式（７）より、Ｚが小、すなわち後続車両又は隣接車線を走行中の車両までの距離が小である程、又はαが大（相対速度が大）である程、オプティカルフローのｘ成分は大きくなる。これはＹ方向についても同様である。
【００１７】
従って、オプティカルフローは後続車両などとの距離が小な程、また、相対速度が大な程長くなり、これよりオプティカルフローの方向がＦＯＥに対して発散し、その長さが短いときより長いときの方が相対的に後続車両又は隣接車両に対する危険度が大きいと求められる。
【００１８】
以上のような処理を、時間ｔの画像の全ての点において繰り返し行うことにより、画像全体のオプティカルフローを求めることができ、各対象物における危険度が求められる。そして、求められた危険度の大きさに従って警報を鳴らすこと等によって運転者に対し注意を促し、これにより、人間の有する有限な認識力を補完することができ、上述の大事故に発展しかねない危険な状態や、実際の大事故の発生を未然に防止している。
【００１９】
また、従来の技術では、図２２に示す如くに、直線道路にて自車両が走行している車線の白線を検出することで、自車両走行車線とその横の隣接車線領域とを識別し、監視領域を決定することで監視不要なものについての処理時間を省いて処理の高速化を図っている。そして、検出された白線の延長からＦＯＥ点を求め、自車線領域及び隣接車線領域についてそれぞれ前記ＦＯＥ点から放射状にオプティカルフローを求めることで自車両に対する接近車両１０２の検出を行っており、このオプティカルフローの大きさに基づき認識を行うよう構成されているので、後方や隣接車線を走行している他車両１０２に関し、その危険度を自動的に判断でき、且つ、特別な距離計を必要としない利点があり有効である。
【００２０】
【発明が解決しようとする課題】
しかしながら、この先願発明の装置では、基準点としてのＦＯＥから発散する方向のオプティカルフローを取得し、この取得したオプティカルフローに基づき他車両との相対距離及び相対速度を取得している。従って、このＦＯＥが本来の位置と異なる位置に設定された場合には、取得したオプティカルフローも本来のものとは異なるものとなり、他車両を正確に認識することができなくなる。
【００２１】
例えば、図２３に示す如くの曲線道路（カーブしている道路）において、従来と同様に自車両が走行している車線の白線を検出することで、自車両走行車線とその横の隣接車線領域を識別する方法を用いた場合、自車両走行車線を走行している他車両１００は隣接車線を走行して自車両に接近中であると誤検出されてしまう。逆に隣接車線を走行している他車両１０３は、あたかも自車線を走行している車両として誤検出されることになる。
【００２２】
さらに、路面上にゼブラゾーンや速度規制等の模様や文字等がペイントされていた場合、これらペイントからオプティカルフローが発生してしまう。本来、接近車両からのオプティカルフローのみを抽出したいのであるが、これら路面上のペイントからもオプティカルフローが発生してしまうことにより、路面上からのオプティカルフローが接近車両からのものであると誤検出されることになる。
【００２３】
以上述べたように、従来の周辺監視装置では、直線道路あるいは非常に緩やかなカーブ路を対象としている。そのため、急なカーブ路を走行している場合には、自車両走行車線を走行している他車両を、隣接車線を走行しているものとして検出してしまったり、隣接車線を走行している他車両を、自車両走行車線を走行している車両として検出してしまうという問題点があった。
【００２４】
また、検出すべき周辺の他車両ではなく検出不要な物体（壁，標識，路面上のペイントなど）を周辺の他車両（接近車両）として誤検出してしまう等という問題点があった。
【００２５】
本発明は、上記問題に鑑みてなされたもので、比較的急なカーブを走行している場合であっても、自車両が走行する自車線または隣接車線を走行している前方または後続の他車両の自車両への接近を自動的にかつ正確に監視できるようにした周辺監視装置を提供することを課題とするものである。
【００２６】
本発明はまた、路面上のペイントなどの検出不要な物体を周辺の他車両として誤検出してしまうこともないようにした周辺監視装置を提供することを課題とするものである。
【００２７】
【課題を解決するための手段】
上記課題を解決するためなされた請求項１記載の発明は、図１の基本構成図から明らかなように、自車両から前方、後方または後側方を撮像手段２１により撮像して一定時間毎に画像を得、該画像に基づいて自車両の走行している自車線の白線を検出すると共に、該検出した白線に基づいて自車線領域又は隣接車線領域に監視領域を設定し、該設定した監視領域内にある周辺の他車両から発生するオプティカルフローをオプティカルフロー検出手段２３−２により検出し、該検出したオプティカルフローを用いて自車両と周辺の他車両との相対関係を監視する周辺監視装置において、前記画像を複数の小領域に分割する小領域分割手段２３−１１と、前記画像について予め得て記憶してある前記小領域毎の仮想ＦＯＥの座標を用い、前記小領域毎に前記白線の候補となるエッジの抽出を行うエッジ抽出手段２３−１２と、前記エッジ抽出手段により前記小領域毎に抽出された前記エッジに基づいて前記白線を決定する白線決定手段２３−１３と、前記白線決定手段によって決定した前記白線の前記小領域毎の部分を延長して該延長線の交点の座標を求め、該交点座標を前記小領域毎の仮想ＦＯＥの座標として記憶する仮想ＦＯＥ推定手段２３−１４とを備え、該仮想ＦＯＥ推定手段により記憶した前記小領域毎の仮想ＦＯＥの座標を、その後オプティカルフロー検出のために新たに撮像する画像の小領域毎の前記エッジ抽出のために前記エッジ抽出手段により用いるようにし、前記白線決定手段が、前記エッジ抽出手段により抽出した前記白線の候補となるエッジに対して直線近似を行って得られた複数の直線の全ての組み合わせに関し、前記直線の延長線の交点の座標と前記直線の延長線が前記交点においてなす角度とを求め、前記交点座標及び前記交点角度と、前記仮想ＦＯＥ推定手段により時間的に僅かに前の画像から予め得て記憶されている前記仮想ＦＯＥの座標及び前記白線の前記小領域毎の部分の延長線が交点においてなす角度との差をそれぞれ求め、前記座標差及び前記角度差が共に最小となる２本の直線を前記白線の前記小領域の部分として決定することを特徴とする周辺監視装置に存する。
【００２８】
上記請求項１に記載の発明である周辺監視装置においては、小領域分割手段２３−１１により画像を複数の小領域に分割し、予め得て記憶してある小領域毎の仮想ＦＯＥの座標を用い、エッジ抽出手段２３−１２が小領域毎に白線の候補となるエッジの抽出を行う。エッジ抽出手段により小領域毎に抽出されたエッジに基づいて白線決定手段２３−１３が白線を決定する。仮想ＦＯＥ推定手段２３−１４が白線決定手段によって決定した白線の小領域毎の部分を延長して該延長線の交点の座標を求め、該交点座標を小領域毎の仮想ＦＯＥの座標として記憶する。仮想ＦＯＥ推定手段により記憶した小領域毎の仮想ＦＯＥの座標を、その後新たにオプティカルフロー検出のために撮像する画像の小領域毎のエッジ抽出のためにエッジ抽出手段により用いるようにしている。よって、時間間隔が短い画像間における仮想ＦＯＥの移動量は微小であることにより、時間的に新しい画像の対応する小領域毎に白線の候補となるエッジの抽出が行えるようになり、白線の確実な決定を行うことができる。
また、白線決定手段がエッジ抽出手段により抽出した前記白線の候補となるエッジに対して直線近似を行って得られた複数の直線の全ての組み合わせに関し、直線の延長線の交点の座標と直線の延長線が交点においてなす角度とを求め、交点座標及び角度と、仮想ＦＯＥ推定手段により予め得て記憶されている仮想ＦＯＥの座標及び白線の小領域毎の部分の延長線が交点においてなす角度との差をそれぞれ求め、座標差及び角度差が共に最小となる２本の直線を白線の小領域の部分として決定するようにしている。よって、複数の直線から白線らしい左右２本の直線を一度に選び出すことができる。
【００２９】
請求項２記載の発明は、請求項１記載の周辺監視装置において、前記エッジ抽出手段が、前記仮想ＦＯＥの座標を中心として所定の微小角度を有する扇形領域を所定角度づつ移動させ、該移動毎にエッジ抽出を行い、該抽出した前記扇形領域内のエッジ数が所定値以上であるとき、該扇形領域内のエッジを前記白線の候補となるエッジとすることを特徴とする周辺監視装置に存する。
【００３０】
請求項２記載の発明である周辺監視装置においては、エッジ抽出手段が仮想ＦＯＥの座標を中心として所定の微小角度を有する扇形領域を所定角度づつ移動させ、移動毎にエッジ抽出を行い、抽出した扇形領域内のエッジ数が所定値以上であるとき、扇形領域内のエッジを白線の候補となるエッジとするようにしている。よって、実際の白線が存在する方向と大きく異なる方向を持ったエッジはノイズとして除去することができる。
【００３１】
請求項３記載の発明は、請求項１又は２に記載の周辺監視装置において、前記白線決定手段が、前記エッジ抽出手段により抽出した前記白線の候補となるエッジに対して直線近似を行って得られた複数の直線のうち、隣接する前記小領域間において連続性を満たす直線を前記白線として決定することを特徴とする周辺監視装置に存する。
【００３２】
請求項３記載の発明である周辺監視装置においては、白線決定手段がエッジ抽出手段により抽出した白線の候補となるエッジに対して直線近似を行って得られた複数の直線のうち、隣接する小領域間において連続性を満たす直線を白線として決定するようにしている。よって、直線近似によって既に得られている小領域の直線と連続しない直線を白線候補から除去することができる。
【００３５】
請求項４記載の周辺監視装置は、請求項１又は２に記載の周辺監視装置において、前記オプティカルフロー検出手段２３−２は、前記画像を、前記撮像手段の所定の光学配置に基づいて、実空間における路面に平行なｘｚ平面に逆射影変換して路面画像を得、前記一定時間と自車両の速度情報とから相前後する２つの前記画像における自車両の移動距離を算出し、該算出した移動距離分だけ前記路面画像を平行移動し、該平行移動した後の前記路面画像における自車両近傍の白線の角度をそれぞれ算出し、それらの平均角度を求め、前記ｘｚ座標の原点を中心として前記路面画像を前記平均角度だけ回転させ、さらに、該回転した路面画像を射影変換して当該画像より時間的に遅い方の画像を推定した推定画像を得、前記時間的に遅い方の画像と前記推定画像との差分をとって特徴点の抽出を行い、該抽出した特徴点に関して対応点の探索を行って前記オプティカルフローの検出を行うことを特徴とする周辺監視装置に存する。
【００３６】
上記請求項４に記載の発明である周辺監視装置においては、オプティカルフロー検出手段２３−２は、画像を、撮像手段の所定の光学配置に基づいて、実空間における路面に平行なｘｚ平面に逆射影変換して路面画像を得、一定時間と自車両の速度情報とから相前後する２つの画像における自車両の移動距離を算出し、算出した移動距離分だけ路面画像を平行移動し、平行移動後の路面画像における自車両近傍の白線の角度をそれぞれ算出し、それらの平均角度を求め、ｘｚ座標の原点を中心として路面画像を平均角度だけ回転させ、さらに、回転した路面画像を射影変換して当該画像より時間的に遅い方の画像を推定した推定画像を得、時間的に遅い方の画像と推定画像との差分をとって特徴点の抽出を行い、抽出した特徴点に関して対応点の探索を行ってオプティカルフローの検出を行うようにしている。よって、オプティカルフローを検出すべきでない路面上の影や文字、汚れなどが全て消去され、オプティカルフローを検出すべき対象物だけを残して対応点探索を行うことができる。
【００３７】
請求項５記載の発明は、請求項４記載の周辺監視装置において、前記オプティカルフロー検出手段が、前記各小領域に存在する前記特徴点に関する前記対応点の探索を、前記各小領域にそれぞれ対応する前記各仮想ＦＯＥを中心とした放射状の方向に限定することを特徴とする周辺監視装置に存する。
【００３８】
上記請求項５記載の発明である周辺監視装置においては、オプティカルフロー検出手段が、各小領域に存在する特徴点に関する対応点の探索を各小領域にそれぞれ対応する各仮想ＦＯＥを中心とした放射状の方向に限定するようにしている。よって、各小領域における対応点の探索を行う特徴点の数を大幅に減少することができる。
【００３９】
請求項６記載の発明は、請求項１〜５の何れかに記載の周辺監視装置において、前記オプティカルフローの大きさをｌ_i、オプティカルフローの発生数をＮとした場合、前方または後側方視界における危険度Ｄを、

で示されるオプティカルフローの大きさの平均値ｌが、予め設定した値以上になった場合に危険であると判断する危険度評価手段２３−３をさらに備えることを特徴とする周辺監視装置に存する。
【００４０】
上記請求項６記載の発明である周辺監視装置においては、危険度評価手段２３−３が、前方または後側方視界における危険度を示すオプティカルフローの大きさの平均値が予め設定した値以上になった場合に危険であると判断するようにしている。よって、周囲の他車両の種類や色、大きさ、さらには昼夜のように周囲の明るさに依存するオプティカルフローの発生数に左右されることなく、危険度の評価を行うことができる。
【００４１】
請求項７記載の発明は、請求項６記載の周辺監視装置において、前記危険度評価手段がさらに、前記オプティカルフローの発生数が予め設定した値以上になった場合に危険であると判断することを特徴とする周辺監視装置に存する。
【００４２】
請求項７記載の発明である周辺監視装置においては、オプティカルフローの発生数Ｎが予め設定した値以上になった場合に危険度評価手段が危険であると判断するようにしている。よって、自車両と周囲の他車両との相対速度がゼロで、オプティカルフローの大きさがゼロであっても、自車両と前方車両との車間距離が非常に近い場合には危険度が高くなり、周囲の他車両との車間距離が小さい場合には、車種や色、大きさに依らずオプティカルフローの発生数Ｎが多くなることを利用して危険であると判断することができる。
【００４３】
請求項８記載の発明は、請求項６又は７記載の周辺監視装置において、前記危険度評価手段はさらに、特定の前記各小領域について前記危険度の評価を行うことを特徴とする周辺監視装置に存する。
【００４４】
請求項８記載の周辺監視装置においては、特定の各小領域について危険度評価手段が危険度の評価を行うようにしている。よって、危険度を各小領域毎に評価することができる。
【００４７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明を行う。
図２は本発明の周辺監視装置の構成を示したブロック図である。尚、以降、本発明の実施の形態では、周辺監視装置が車両の前方を監視する場合を例にして説明を行う。
【００４８】
図２において、２１は前方景を撮像する撮像手段としてのビデオカメラ、２２はビデオカメラ２１によって得られた画像を入力し、画像処理を行う画像処理装置、２３は画像処理装置２２の画像処理結果から後述の各種演算処理並びに危険度判定処理を行う演算処理装置、２４は警報装置、２５はビデオカメラ２１の移動速度である自車両の速度を検出して演算処理装置２３に通知する速度検出装置である。
【００４９】
図３は本発明の周辺監視装置における動作の概要を示したフローチャートである。
本発明による周辺監視装置は、図３のフローチャートに示す如くに、まず高速道路等を走行した際に取得した、時間的に連続する２枚の画像（時刻ｔ−Δｔでの画像及び時刻ｔでの画像）を計算機により構成された演算処理装置２３内に取り込む（ステップＳ１，Ｓ２）。次に、ある時刻ｔの画像上において、自車両が走行している車線（以下、自車線と呼ぶ）を示す白や黄色で描かれたレーンマーカ（以下、単に白線と呼ぶ）を検出することにより、自車線領域の推定を行う（ステップＳ３）。
【００５０】
そして、時刻ｔの画像とともに時刻ｔ−Δｔの画像を用いることにより、推定された自車線領域内に存在する他車両から発生するオプティカルフローを検出する（ステップＳ４）。その後に、検出されたオプティカルフローから車両前方における危険度を評価し（ステップＳ５）、危険であると判断された場合には、運転者に対して警告を行うための警告信号を警報装置２４に対して出力する（ステップＳ６）というものである。
【００５１】
以上により、演算処理装置２３は、監視領域を設定する自車線領域推定手段としての他、オプティカルフロー検出手段２３−２及び危険度評価手段２３−３として働いている。
【００５２】
以降、本発明におけるそれぞれの処理に関する詳細な説明を行う。
〔自車両前方の動画像の取得〕
図３のステップＳ１及びステップＳ２にて、ビデオカメラ２１，画像処理装置２２を介して演算処理装置２３内に取り込まれた、時間的に連続する２枚の画像、即ち時間的に早い方の時刻ｔ−Δｔでの画像及び時間的に遅い方の時刻ｔでの画像は、図３のステップＳ３にて最初の画像処理である自車線領域の推定が行われる。
【００５３】
本発明では、比較的急なカーブが多く存在する高速道路等を走行している場合にも、正しく自車両前方の監視を行うことができるように、まず自車線領域の推定という処理を行うことにより、監視領域を決定する。
従来の周辺監視装置では、対象を高速道路の中でも直線道路あるいは緩やかなカーブ路としており、比較的急なカーブを想定していない。そのため、直線道路や非常に緩やかなカーブ路を想定し、あらかじめ監視領域を設定してしまっているものや、自車両近傍の白線を直線近似し、その２直線で囲まれる範囲を監視領域としているものが多い。
【００５４】
このため、図２２に示す如くの直線道路を走行している時は問題ないが、図２３に示す如くの、比較的急なカーブ路を走行している時には、検出すべきではない壁や標識あるいは隣接車線を走行している車両が監視領域に入ってしまう場合や、検出すべき自車線を走行中の前方車両が監視領域内に入らないという場合が発生する。
【００５５】
自車線領域推定手段による自車線領域の推定は、まず左右２本の白線の検出を行い、検出された２本の白線で囲まれる範囲を自車線の領域と判断し、これを監視領域とするのが一般的な方法であり、従来の車両用周辺監視装置に多く用いられている。
【００５６】
一般的に、白線は実空間上において遠くに存在するほど、画像平面上においては小さく撮像されることになる。そのため、曲線当てはめを行うためにエッジ情報を用いる場合、遠くに存在する白線ほど、白線のエッジであるという信頼性は低くなる。すなわち、遠くの白線に関しては、白線のエッジであるか、白線以外のエッジであるかという区別が困難になり、エッジ抽出の際のエラーが多くなると考えられる。そして、その後に、エラーを含んだエッジに対して、ある１本の曲線を当てはめることになり、遠くの白線のエラーによって近くの白線に対してさえも正しく曲線を当てはめることができないというような問題点が生じることも考えられる。
【００５７】
このように、比較的急なカーブ路を含むあらゆる道路に対して、画像平面上においてある一本の曲線を厳密に当てはめるということは非常に困難であると思われる。そこで本発明では、処理の簡単化および必要とされる精度などを考慮し、以下のような方法を用いることにする。
【００５８】
〔自車線領域の推定〕
以下、図４のフローチャートを参照しながら自車線領域の推定方法について詳細に説明を行う。図４は本発明の周辺監視装置における自車線領域の推定方法の一例を示したフローチャートである。
【００５９】
図４に示す如くに本発明の周辺監視装置における自車線領域の推定方法は、画像上で路面が存在すると考えられる範囲を小領域への分割するステップＳ３−１と、前の画像について分割された小領域毎に既に求められている仮想ＦＯＥの座標を用い、白線を正確に検出するため白線の候補となるエッジを抽出するステップＳ３−２と、このステップにて抽出された複数のエッジ群の中から、最も白線らしいと思われるエッジ群に対し、小領域毎に直線を当てはめ各小領域における直線を決定するステップＳ３−３と、各小領域の左右２本の直線を延長した交点を仮想ＦＯＥの座標として推定するステップＳ３−４の４つのステップからなる。
【００６０】
以上により、自車線領域推定手段を構成している演算処置装置２３は、小領域分割手段２３−１１、エッジ抽出手段２３−１２、白線決定手段２３−１３、仮想ＦＯＥ推定手段１３−１４として働いている。
【００６１】
先ず、図４のステップＳ３−１の小領域への分割について説明を行う。
本発明のような運転支援システムを目的とした、道路画像における白線検出に関する数多くの出願がなされている。本発明では、路面上の影や文字、汚れ、あるいは白線の隠れや途切れに対して可能な限りロバストに、白線検出することを目的の１つとしている。また、比較的急なカーブ路が多く存在する高速道路なども対象としているために、直線道路だけでなくカーブ路にも対応できるものとなっている。さらに、運転支援システムといった性格上、処理の高速性が非常に重要となるために、個々の処理はできるたで簡単化する必要がある。
【００６２】
したがって、本発明では、図５（ａ）に示すような原画像上で路面が存在すると考えられる範囲を図５（ｂ）に示すように５つの小領域に分割する（ステップＳ３−１）。これは、それぞれの小領域毎に、存在するエッジに対して、例えばＨＯＵＧＨ変換等を用いて直線近似を行うことにより、前記各小領域における左右２本の直線を検出し、そして、検出された２直線で囲まれる領域を自車線領域とすることにするためのものである。ここで、それぞれの小領域を画像上で下から上、すなわち実空間において自車両に近い方から遠い方に向かって、小領域１，…，５と呼ぶ。尚、図５（ｂ）では、画像上で路面が存在すると考えられる範囲を５つの小領域に分割したが、これに限定されるものではない。
【００６３】
次に、図４のステップＳ３−２のエッジ抽出について説明を行う。
このステップＳ３−２は、詳細には後述するステップＳ３−４において推定した前の画像について分割された小領域毎に既に求められている仮想ＦＯＥの座標を用い、白線を正確に検出するため白線の候補となるエッジを抽出するためのものである。ここで、仮想ＦＯＥ１，…，５の位置は、連続する２枚の画像の時間間隔が微小の場合には、２枚の画像間で大きく移動することはない。本発明では、この特徴を用いることにより、路面上の影や文字、汚れ、あるいは白線の隠れや途切れに対してロバストに、自車線を示す左右２本の白線検出を行うが、この特徴を理解し易くするため、ステップＳ３−４における仮想ＦＯＥの推定を先に説明する。
【００６４】
本発明で扱うような車両前方の動画像において、直線道路を走行している場合を想定すると、図６で示すように、実空間上において、カメラに対して相対的に接近してくる全ての物体は、画像平面上においては画像上の固定されたある１点から放射状に広がる方向に移動し、カメラに対して相対的に遠ざかる全ての物体は、同様の点に向かって収束する方向に移動すると考えられる。そして、その画像上のある１点はＦＯＥ（ＦｏｃｕｓＯｆＥｘｐａｎｓｉｏｎ）と呼ばれている。図６は直線道路走行時におけるＦＯＥを示した図である。
【００６５】
しかし、本発明が対象とするような急なカーブ路を走行している場合には、厳密な意味でのＦＯＥは存在しない。したがって、本発明では、図７で示されるように、各小領域１，…，５における左右２本の直線を延長した交点をそれぞれ仮想ＦＯＥ１，…，５とする（ステップＳ３−４）。図７は各小領域毎の仮想ＦＯＥを示した図である。
【００６６】
一般的に、直線道路を走行している場合には、ＦＯＥは動画像上で移動することはない。これに対して、本発明で定義した仮想ＦＯＥは動画像上で移動するが、連続する２枚の画像の時間間隔が微小の場合には、２枚の画像間における仮想ＦＯＥの移動量は微小であるという特徴がある。本発明では、この特徴を用いることにより、路面上の影や文字、汚れ、あるいは白線の隠れや途切れに対してロバストに、自車線を示す左右２本の白線を検出している（後述）。
【００６７】
また、上述のように直線道路を走行している場合には、実空間上において、カメラに対して相対的に接近してくる全ての物体は、動画像上ではＦＯＥから放射状に広がる方向に移動し、カメラに対して相対的に遠ざかる全ての物体は、ＦＯＥに向かって収束する方向に移動する。これに対して、カーブを走行している場合には、厳密な意味でのＦＯＥは存在しないが、各小領域１，…，５に存在する物体は、動画像上でそれぞれ仮想ＦＯＥ１，…，５を中心とした放射状の方向に移動すると考えられる。本発明では、この特徴を用いることにより、カーブ路を走行している場合にも高速かつ精度良くオプティカルフローを検出している（後述）。
【００６８】
上述した仮想ＦＯＥの座標を用い、ステップＳ３−１において分割した各小領域ごとに自車線を示す左右２本の白線を正確に検出するため白線の候補となるエッジを抽出するステップＳ３−２の説明に戻る。
【００６９】
常に、路面の輝度は低くしかも一様であり、白線は路面と比較して輝度が十分に高い、というような理想的な画像であれば、白線を検出することは容易である。しかし、実際の道路画像では、上述のように路面上に影や文字、汚れがあったり、白線が他車両などによって隠れていたり途切れていたりすることが多い。エッジを抽出する段階で、それら白線以外のエッジを全て除去し、白線のエッジだけを正しく選び出すことができれば良いのだが、実際の画像でそれを行うのは非常に困難である。
【００７０】
したがって、本発明では、エッジ抽出の段階で、それが白線のエッジであるか、それ以外のエッジであるかを完全に判断してしまうのではなく、この段階では白線らしいと思われるエッジ群を候補として幾つか抽出しておき、その後に、抽出された候補の中から最も白線らしいと思われる組み合わせを選び出すことにする。
【００７１】
ここでは、白線らしいと思われる複数のエッジ群を抽出する方法について述べる。実際は、５つの小領域全てに関して同様の処理を行うのであるが、ここでは簡単のために小領域３に関してのみ説明する。
【００７２】
ある時刻ｔ＝Ｔにおける画像に関してエッジ抽出を行う場合には、図８（ａ）に示す如くに、時間的に接近している前画像を画像処理することにより既に決定している仮想ＦＯＥ３の座標を中心として、図８（ｂ）に示すように、ある微小な角度を持った扇型の領域を少しずつ回転させていき、それぞれの領域ごとにエッジ抽出を行っていき、領域内のエッジ数があるしきい値以上の場合に、これらを白線候補のエッジ群とする。図８（ｂ）はエッジ抽出の方法を示した図である。
【００７３】
ところで、既述したように、時間間隔が微小の場合、仮想ＦＯＥの位置は大きく変化することはない。したがって、このような処理を行うことにより、実際の白線が存在する方向とは大きく異なる方向を持ったエッジはノイズとして完全に除去されることになる。そして、同時に、実際の白線が存在する方向と同様の方向を持つエッジが仮にあったとしても、図８（ｂ）に示す如くに、白線のエッジとそれ以外のエッジとは分離することが可能となる。
このようにして、白線らしいと思われる複数のエッジ群が抽出される（ステップＳ３−２）。
【００７４】
次に、図４のステップＳ３−３の各小領域における直線の決定について説明を行う。
前記ステップ３−２で抽出された複数のエッジ群の中から、最も白線らしいと思われるエッジ群に対して直線を当てはめることにより、自車線を示す左右２本の白線を検出する。その際、まず、図９で示す如くに、複数のエッジ群に対してＨＯＵＧＨ変換等を用いて直線近似を行う。そして、得られた複数の直線の中から、最も白線らしいと思われるものを２本選び出すわけであるが、その際に、本発明では以下に示す２つの条件を用いることにする。尚、図９はＨＯＵＧＨ変換による直線近似の一例を示した図である。
【００７５】
（１）逐次処理による白線の連結性
本発明では、画像上で路面が存在すると考えられる範囲を５つの小領域に分割し、それぞれの領域ごとに自車線を示す左右２本の直線の検出を行っている。この時、正しく直線が検出されていると仮定すれば、図５に示した如くに、隣接する２つの領域における左右の直線はそれぞれ連結していると考えられる。
【００７６】
本発明では、白線であると思われる直線を決定する際に、このような小領域間の白線の連結性という特徴を用いることにする。その際、一般的に、実空間上で遠くに存在する白線ほど、画像平面上においては小さく撮像される、という特徴も同時に考慮することにする。これは、即ち遠くにいけばいくほど、前記ステップＳ３−２で述べたような処理を行っているにも関わらず、エッジ抽出の段階で白線のエッジとともに白線以外のエッジを抽出してしまっている可能性が高いということである。したがって、抽出されたエッジ群、さらにはそのエッジ群に対してＨＯＵＧＨ変換を行うことによって近似された直線は、小領域１，…，５というように、自車両から遠い領域ほど、白線としての信頼性は低いということが言える。
【００７７】
そこで、本発明では、白線らしい直線を選び出す際に、小領域１，…，５の順に逐次的に直線を決定するようにする。例えば、小領域１，２における左右の２直線が、図１０の実線で示される如くの直線であると既に決定されている場合には、小領域間における左右それぞれの直線の連結性から、小領域３では図１０の点線で示す直線は除去し、太線で示される２本の直線を白線らしいと判断するというものである。尚、図１０は逐次処理による白線の連結性を示した図である。
【００７８】
（２）仮想ＦＯＥの座標および角度θの時間的連続性
本ステップでは、ＨＯＵＧＨ変換により近似された複数の直線の中から、最も白線らしいと思われる左右２本の直線を選び出すわけであるが、その際に、左右それぞれの直線を１本ずつ独立したものとして決定するよりも、左右２本の直線を１つの組み合わせとして決定した方が良い場合が多いと考えられる。そこで、２つ目の条件としては、以下のような特徴を用いる。
【００７９】
上述のように、本発明で定義した仮想ＦＯＥの位置は時間間隔が微小な場合において大きく移動することはないので、図１１に示す如くに、複数の直線の中から全ての組み合わせに関して、左右の２直線を延長した交点の座標（ｘ_１，ｙ_１），（ｘ_２，ｙ_２），（ｘ_３，ｙ_３）を算出し、時間的に接近している前画像における仮想ＦＯＥ３の座標（ｘ，ｙ）との差を算出する。
【００８０】
また、同時に、図１１で示すように、複数の直線の中から全ての組み合わせに関して、左右の２直線のなす角度θ_１，θ_２，θ_３を算出し、時間的に接近している前画像において既に決定された左右２直線のなす角度θとの差も算出する。
【００８１】
以上で求めた、仮想ＦＯＥの座標の差および２直線のなす角度の差の２つの値から、最も白線らしい左右の２本の直線を１つの組み合わせとして決定するというものである。図１１は仮想ＦＯＥの座標および角度θの時間的連続性を示した図である。
【００８２】
このように、本発明では、以上のような２つの条件を用い、それぞれの小領域ごとに、自車線を示す左右２本の直線を決定する（ステップＳ３−３）。そして、全ての小領域１，…，５において求まった左右２直線で囲まれる範囲より、自車線領域の推定がなされる（図３のステップＳ３）。
【００８３】
ところで、この時、求まった２直線そのものを用いて自車線領域とすると、実空間上で前方車両は高さを持っているため、前方車両の上部が自車線領域外になってしまう。したがって、図１２で示す如くに、求まった２直線よりもある幅Ｗだけ外側に広げた範囲を自車線領域と設定する。図１２は道路上における自車線領域を示した図である。
以上のようにして自車線領域の推定がなされる（完了する）。
【００８４】
上述のようにステップＳ３−３において各小領域１，…，５における左右２本の直線が決定したら次にステップＳ３−４に進み、上述したようにを延長した交点をそれぞれ仮想ＦＯＥ１，…，５とする。
【００８５】
尚、既に決定された仮想ＦＯＥが存在しないとき、すなわち、相前後する画像の最初の画像についての処理の際には、既知の方法によってエッジ検出し、この検出したエッジについて処理を行って白線を決定し、この決定した白線に基づいて各小領域毎に仮想ＦＯＥを決定する処理が必要になる。ただし、１度このように仮想ＦＯＥを決定した後は上述したように仮想ＦＯＥを用い、白線の候補となるエッジ検出を簡単にかつ正確に行うことができるようになる。
【００８６】
〔オプティカルフローの検出〕
次に、図３のステップＳ４におけるオプティカルフローの検出について、図１３を参照しながら説明を行う。尚、図１３は本発明の周辺監視装置におけるオプティカルフローの検出方法の一例を示したフローチャートである。
【００８７】
図１３に示す如くに本発明の周辺監視装置におけるオプティカルフローの検出方法は、対応点検索を行う画素、即ちオプティカルフローの検出を行う画素をできるだけ少なくするための処理である特徴点の抽出を行うステップと、対応点検索を行う方向をできるだけ少なくするための処理である対応点検索の方向の限定を行うステップからなる。
【００８８】
オプティカルフローとは、３次元空間におけるカメラと対象物体との相対的な運動によって生じる画像上での動きベクトルを表す。現在提案されているオプティカルフロー検出方法の中で、実用化に近いレベルまで達しているものは、相関法と濃度勾配法である。
【００８９】
ところで、車両前方の動画像は、非常に速い速度で接近してくる背景から発生するオプティカルフローと、さまざまな速度で接近したり遠ざかったりする前方車両から発生するオプティカルフローとが混在し、時間的に複雑に変化するという特徴がある。したがって、濃度勾配法において必要とされる、画像の輝度変化が時間・空間的に滑らかであるという仮定が成立しないため、正確なオプティカルフローを検出することができないと考えられる。即ち、濃度勾配法は、本発明が対象としているような車両前方の動画像に関しては不向きな方法であるといえる。
【００９０】
一方、相関法は、設定した窓の対応点を周辺の領域全方向に関して探索し、相関値の計算を行う必要があるため、計算量が膨大になってしまうという問題点がある。しかし、本発明が対象としているような複雑な画像に関しても、比較的正確にオプティカルフローを求めることが可能であるという利点もある。したがって、本発明ではオプティカルフロー検出の際に相関法を用いる。
【００９１】
上述したように、一般的な相関法においては、ある時刻ｔ＝Ｔの画像に関してオプティカルフローを求める際には、時刻ｔ＝Ｔの画像の全画素について、それぞれの画素が、時刻ｔ＝Ｔ−ΔＴの画像において、どの画素に対応しているかを全方向にわたって探索する必要があるため、計算量が膨大になると同時に誤対応が生じるという問題点がある。即ち、対応点探索の際に、全画素に関して全方向に探索していることにより、計算量が膨大となり誤対応が多くなる原因になっているといえる。
【００９２】
したがって、本発明では、まず対応点探索を行う画素、すなわちオプティカルフローの検出を行う画素をできるだけ少なくすることを考える。この時、対応点探索を行う画素数をただ単に少なくするのではなく、オプティカルフローを検出すべき周辺の他車両だけに関して対応点探索を行い、検出すべきでない自車線外に存在する壁、あるいは路面上の影や文字、汚れに関しては、事前に可能な限り除去し、そのような画素については対応点探索を行わないことにする（図１３の特徴点の抽出を行うステップＳ４−１）。
【００９３】
さらに、対応点探索を行う際に、全方向に関して探索するのではなく、検出すべき周囲の他車両が移動すると思われる方向に関してだけ探索し、明らかに移動しないと思われる不必要な方向に関しては探索を行わないことにする（図１３の対応点検索方向の限定を行うステップＳ４−２）。
【００９４】
本発明では、オプティカルフローを検出する際に、以上の２つの処理（ステップ）を行うことにより、計算量が膨大であると同時に、誤対応が多いという、相関法の問題点を解決することが可能となる。
【００９５】
以下、本発明の周辺監視装置におけるオプティカルフローの検出を行うにあたり、先ず、図１３のステップＳ４−１の特徴点の抽出について説明を行う。
【００９６】
このステップＳ４−１では、画像上から、オプティカルフローを検出すべきでない画素を可能な限り除去し、検出すべき前方車両を構成する画素だけを抽出する処理を行う（抽出する処理について詳しく述べる）。
【００９７】
前記図３のステップＳ３にて推定された自車線領域に基づいて、図１２に示すように、オプティカルフローの検出を行う監視領域を設定することにより、カーブ路を走行している際に、自車線外の壁や先行車両を検出するという問題点は解消されることになる。しかし、設定された監視領域内の全画素に関して、対応点探索を行ったとしても、依然として、処理時間および検出精度の面で問題は残る。そこで、以下のような処理を行う。
【００９８】
一般に、対応点の探索は、特徴的なテクスチャを持つ画素以外に関しては正しく行うことができない。例えば、時刻ΔＴの時間差にて撮像された２枚の画像間にて対応点探索を行う場合について考えてみると、路面のアスファルトのように濃度分布の狭い一様なテクスチャに対して対応点探索を行っても、道路上のあらゆる点が対応点の候補となり、計算量の増加と同時に誤対応の原因となってしまう。したがって、対応点探索を正しく行うためには、特徴的なテクスチャを持つ画素を抽出する必要がある。
【００９９】
特徴的なテクスチャを持つ画素を抽出することを考えた場合、最も簡単な方法としては、画像のエッジを抽出するということが考えられる。しかし、前記時刻ΔＴの時間差にて撮像された画像についてエッジ抽出を行った場合、オプティカルフローを検出すべきではない路面上の文字（「止まれ」などのペイント文字等）もエッジとして抽出されることになり、このような画素に関しても対応点探索を行うことによって計算量が増加する原因となる。
【０１００】
したがって、本発明では、画像上の特徴的なテクスチャを持つ画素の中で、影や文字、汚れなどの検出すべきではない路面上の静止物体を除去した結果、残った画素を特徴点と呼ぶことにし、この特徴点を抽出することにより、この後に行う対応点探索の際の計算量を減らしている。
【０１０１】
処理の詳細について以下に述べる。
ある時刻ｔ＝Ｔの画像における特徴点抽出する際には、図１４で示すような処理を行う。まず、前フレーム（ｔ＝Ｔ−ΔＴ）の画像（ａ）を、図１５のような光学配置に基づいて、次式（８），（９）を用いて実空間における路面に平行なｘｚ平面に逆射影変換することによって（ｂ）のような路面画像を作成する。
ｘ＝ｈ×（−ｆｓｉｎθ＋ｕｃｏｓθ）／（ｖｃｏｓφ−ｆｓｉｎφ ｃｏｓθ−ｕｓｉｎφ ｓｉｎθ） ……（８）
ｚ＝ｈ×（ｆｃｏｓφ ｃｏｓθ＋ｕｃｏｓφ ｓｉｎθ＋ｖｓｉｎφ）／（ｖｃｏｓφ−ｆｓｉｎφ ｃｏｓθ−ｕｓｉｎφ ｓｉｎθ） ……（９）
【０１０２】
そして、速度検出装置２５にて検出記録された自車両の速度情報と、連続する２枚の画像の時間間隔ΔＴとを用いて、フレーム間における自車両の移動距離を算出し、その移動距離分だけ、（ｂ）の路面画像を（ｃ）のように平行移動する。
【０１０３】
ここで、急なカーブ路を走行している場合に、実空間において上から見た場合、すなわちｘｚ平面の概念図を図１６に示す。自車両が図１６（ａ），（ｂ），（ｃ）のような、それぞれの位置に存在する時に、撮像される路面部分は、図の正方形で囲まれる範囲であるとする。そして、ある時刻ｔ＝Ｔ−ΔＴにおいて、図１６（ａ）のような路面が撮像されているとする。これに対して、図１４（ｃ）で示したように、自車両の移動距離分だけ平行移動することによって、図１６（ｂ）で示されるような路面部分が撮像されている状態を推定したことになる。しかし、実際にカーブ路を走行している場合を考えると、運転者は常に車両を直進させているわけではなく、走行しているカーブ路の曲率に合わせて小刻みにハンドル操作をしている。したがって、時刻ｔ＝Ｔにおいて、実際に撮像される路面部分は図１６（ｃ）のようになると考えられる。
【０１０４】
したがって、本発明では、図１４（ｄ）で示すように、平行移動した後の路面画像における自車両近傍白線のｚ軸に対してなす角度θ_Ｌ、θ_Ｒを算出する。そして、それらの平均値θ′を求め、ｘｚ座標の原点を中心として画像を回転させることにより、図１４（ｅ）のような画像を作成する。
【０１０５】
その後に、この画像に対して射影変換を行うことにより、図１４（ｆ）で示すような推定画像が得られる。
この推定画像は、時刻ｔ＝Ｔ−ΔＴにおける原画像を逆射影変換した後に、自車両の移動距離分だけ平行移動しているために、路面と同じ高さに存在し、かつ静止している物体だけが正しく推定されていることになる。したがって、路面の影や文字、汚れなど、オプティカルフローを検出すべきでない物体は正しく推定され、オプティカルフローを検出すべき周囲の他車両は高さを持っているため、誤って推定されていることになる。さらに、回転処理を行っているため、本発明が対象としているような急なカーブ路を走行している場合にも、推定は正しく行われる。
【０１０６】
したがって、図１４（ｇ）のように、時刻ｔ＝Ｔにおける原画像と、時刻ｔ＝Ｔ−ΔＴの原画像から次フレーム（ｔ＝Ｔ）を推定した推定画像との差分をとると、図１４（ｈ）のように、オプティカルフローを検出すべきでない、路面上の影や文字、汚れなどは全て消去され、オプティカルフローを検出すべき周囲の他車両だけが残ることになる。そして、図１４（ｉ）のように、この差分画像のエッジを抽出したものを特徴点画像とする（ステップＳ４−１）。
【０１０７】
そして、以上のような処理によって抽出された特徴点に関してだけ、対応点探索を行うことにする。これにより、自車線を走行している周囲の他車両などの、検出すべき物体に関してだけ対応点探索を行うことが可能となり、全画素に関して対応点探索を行う一般的な発明と比較して、大幅に計算量が減少されると同時に、誤対応を少なくすることができる。
【０１０８】
次に、図１３のステップＳ４−２の対応点探索方向の限定について説明を行う。
前記ステップＳ４−１にて、特徴点を抽出することにより、対応点探索を行う画素数は大幅に減少し、処理時間および検出精度という問題点は、ある程度解消される。しかし、それでも対応点を全方向にわたって探索すると、計算量が増加すると同時に、誤対応が多くなる。
【０１０９】
したがって、検出すべき前方車両が移動すると思われる方向に関してだけ対応点の探索を行い、明らかに移動しないと思われる不必要な方向に関しては探索を行わないことにする。
【０１１０】
直線道路を走行している場合、図１７で示すように、実空間上において、カメラに対して相対的に接近してくる物体に関しては、画像平面上においてはＦＯＥから放射状に広がる方向にオプティカルフローが発生し、カメラに対して相対的に遠ざかる物体に関しては、ＦＯＥに向かって収束する方向にオプティカルフローが発生する。したがって、対応点探索をＦＯＥを中心とした放射状の方向に限定することが可能である。図１７は直線走行時のオプティカルフローの発生方向を示した図である。
【０１１１】
しかし、本発明が対象とするような急なカーブ路を走行している場合には、厳密な意味でのＦＯＥは存在しない。ここで、カーブ路を走行している場合を想定する。例えば、非常に遠くに存在する前方車両が接近してくる時に、発生するオプティカルフローの方向は、図１８（ａ）で示すような方向になる。また、比較的遠くに存在する前方車両が接近してくる時に、発生するオプティカルフローの方向は、図１８（ｂ）で示すような方向になる。そして、非常に近い位置に存在する前方車両が接近してくる時に、発生するオプティカルフローの方向は、図１８（ｃ）で示すような方向になる。すなわち、カーブ路を走行している場合には、直線を走行している場合のようなＦＯＥは存在せず、オプティカルフローは画像上のある１点から発生するわけではないということがわかる。
【０１１２】
したがって、本発明では、図４のステップＳ３−４で定義（推定）した仮想ＦＯＥを用いることにする。仮想ＦＯＥ１，…，５の位置は、図７で示されるように、各小領域１，…，５における左右２本の直線を延長した交点である。尚、図１８はカーブ走行時のオプティカルフローの発生方向を示した図である。
【０１１３】
一般に、実空間上において、運転者は自車線を示す左右２本の直線に対して、自車両が常に平行である状態を保つようにハンドル操作を行っている。したがって、画像平面上では、各小領域内に存在する物体は、その領域における左右２本の直線の交点、すなわち各仮想ＦＯＥを中心とした放射状の方向に移動すると考えられる。
そこで、本発明では、各小領域１，…，５に存在する特徴点に関しては、対応点の探索を、それぞれ各仮想ＦＯＥ１，…，５を中心とした、放射状の方向に限定することにする。すなわち、図１９で示すように、小領域４に特徴点が存在する場合には、仮想ＦＯＥ４を中心とした、放射状の方向に関してだけ対応点探索を行う（ステップＳ４−２）。図１９は対応点検索方向を示した図である。
【０１１４】
このような処理を行うことにより、カーブ路を走行している場合にも、高速かつ精度良くオプティカルフローを検出することが可能になると考えられる。
以上のようにしてオプティカルフローの検出がなされる（完了する）。
尚、実際のオプティカルフロー成分の検出は、従来と同様の方法にて、即ち、従来の車両用周辺監視装置の説明における式（７）等を用いることにより求める。
【０１１５】
〔危険度の評価〕
次に、図３のステップＳ５における危険度の評価について説明を行う。
以上の各処理（ステップ）によって検出されたオプティカルフローから、運転者に警告を与えるための危険度の評価を行う必要がある。
高速道路を走行している際に、一般的に危険であるかないかという評価の基準は、
（１）自車両と前方車両との車間距離が短ければ短いほど危険
（２）自車両と前方車両との相対速度が大きければ大きいほど危険
である、というものである。
【０１１６】
ここで、オプティカルフローの大きさは、もともと実空間上において対象物体がカメラに近ければ近いほど大きく、相対速度が大きければ大きいほど大きくなるという性質を持っている。したがって、個々のオプティカルフローの大きさをｌ_ｉ、オプティカルフローの発生数をＮとした場合、前方視界における危険度Ｄを、

のように、監視領域内のオプティカルフローを単純に足し込むことによって上述の評価基準を満たす危険度の評価値を算出することができる。
【０１１７】
しかし、この方法を用いた場合、オプティカルフローの大きさを全て足し込んでいるために、発生するオプティカルフローの数Ｎに大きく依存している。ここで、このＮは前方を走行している車両の種類や色、大きさによってかなり変化してしまう。また、夜間に走行している場合やトンネルを走行している場合などは、昼間と比較してオプティカルフローの発生数Ｎはかなり少なくなってしまう。したがって、本発明では、危険度Ｄをオプティカルフローの大きさの総和Ｌではなく、

で示されるオプティカルフローの大きさの平均値ｌを危険度の評価に用いることにする。
【０１１８】
しかし、ここでオプティカルフローの検出を用いたことによるもう一つの問題点が考えられる。これは、オプティカルフローの大きさの総和Ｌ、平均値ｌのどちらを用いた場合にも、共通した問題である。即ち、前記時間的に連続する２枚の画像間で、前方車両が全く移動しない場合、つまり、自車両と前方車両との相対速度がゼロの場合には、オプティカルフローの大きさはゼロとなってしまうため、総和Ｌ、平均値ｌはどちらもゼロになってしまう。
【０１１９】
これは、例えば、前記ステップＳ４−１により求まった各特徴点について、ステップＳ４−２にて対応点検索を行いオプティカルフローを求めた結果、オプティカルフローの大きさゼロの位置で最も相関の高い特徴点が見つかった場合、即ち特徴点が移動せず同じ位置に存在し、よって大きさゼロのオプティカルフローを抽出した場合であって、自車両の近くを相対速度ゼロ（自車両と等速度）にて走行している他車両の特徴点からは大きさゼロのオプティカルフローが抽出されるためである。
【０１２０】
ところが、自車両と前方車両（他車両）との相対速度がゼロであっても、自車両と前方車両との車間距離が非常に近い場合には、常識的には危険な状態であると判断される。
【０１２１】
したがって、このような状況にも危険であると評価できるように、本発明では以下に示す値（危険度の評価値）をも同時に用いることにする。ここで、車間距離が大きい場合には、上述のオプティカルフローの大きさの平均値により危険であるかないかを判断することが可能であので、この場合には、相対速度がゼロであって、且つ危険であるほど車間距離が非常に近い場合だけに関して危険であるかどうか否かを判断すれば良い。
【０１２２】
そこで、本発明における前記もう一つの危険度の評価値として、オプティカルフローの発生数を用いることにする。上述したように、オプティカルフローの発生数は、前方車両の種類や色、大きさ、さらには昼夜やトンネルなど走行している時刻や環境などによっても変化してしまうという問題がある。
【０１２３】
しかし、これは通常の状況下では問題となるが、ここで重要なのは相対速度がゼロであって、且つ危険であるほどに車間距離が非常に近い場合についてである。それほど、前方車両との車間距離が小さい場合には、車種や色、大きさに依らずオプティカルフローの発生数は多くなると考えられる。また、夜間に走行している場合やトンネルを走行している時も、前方車両が遠くにいる場合は、非常に暗いためにオプティカルフローの発生数は少なくなるが、前方車両が非常に近くにいる場合には、自車両のヘッドライトによって前方車両の後部が照らされるためオプティカルフローの発生数は多く（危険度が高く）なる。
【０１２４】
したがって、本発明では、通常の状況においてはオプティカルフローの大きさの平均値ｌを用い、その欠点を補う意味で、前方車両との車間距離が非常に近い場合に関しては、大きさゼロのものを含めたオプティカルフローの発生数Ｎを用いることにする。２つの値ｌ，Ｎのどちらかでも、それぞれの予め設定したしきい値以上になった場合に危険であると判断することにする（ステップＳ５）。
【０１２５】
尚、Ｎに基づく危険度の判断は、最も自車両に近い前記小領域より得られるオプティカルフローの発生数のみに基づいて行うようにしても良い。
【０１２６】
〔運転者への警告〕
最後に、図３のステップＳ６における運転者への警告について説明を行う。
運転者に対する警告は、前記ステップＳ５の処理による危険度の評価内容に基づいて行われる。本発明の周辺監視装置の演算処理装置２３は、前記ステップＳ５によって求められた危険度の大きさに従って、警報装置２４を制御し、警報を鳴らすこと等によって運転者に対し注意を促すことができる。これにより、人間の有する有限な認識力を補完し、上述の大事故に発展しかねない危険な状態や、実際の大事故の発生を未然に防止することができる。
【０１２７】
尚、以上の説明において、自車両前方の監視領域を自車両走行領域（車線）として説明したが、（走行）車線が複数存在する場合等には、自車線とそれ以外の領域、または前記監視領域を自車両走行領域（車線）以外の領域（車線）に広げることにより、前方，後方及び後側方における各領域（車線）を走行する他車両の監視を行うことが可能である。
【０１２８】
また、本実施の形態では車両前方の監視について説明を行ったが、後側方を監視する場合においても適用可能であることは言うまでもない。これにより、例えば、高速道路などの片側２車線以上のカーブ路を走行中の自動車等の車両の運転者が、異なった車線への移動（車線の変更）を行おうとした場合、その車両（自車両）が変更しようとする隣接車線に、自車両よりも速いスピードにて走行中の別の車両（周囲の他車両）が後側方から追い上げてきた場合などに、前記別の車両の存在を見落としたまま、前記運転者が車線の変更を行うことで発生しうる大事故を未然に防止することができる。
【０１２９】
さらに、前記図３のステップＳ５の処理における危険度の評価は、特定の前記各小領域について行うようにしても良い。また、前記各小領域毎の危険度を、各小領域毎に、図示しない警告（通知）手段に供給することで運転者に知らせるようにしても良い。また、当然の如く、前記図３における各ステップの処理は、演算処理装置２３によって行われるものである。
【０１３０】
【発明の効果】
以上説明したように、上記請求項１記載の発明によれば、画像を複数の小領域に分割し、予め得て記憶してある小領域毎の仮想ＦＯＥの座標を用い、対応する小領域毎に白線の候補となるエッジの抽出を行い、小領域毎に抽出されたエッジに基づいて白線を決定し、決定した白線の小領域毎の部分を延長して延長線の交点の座標を求め、該交点座標を小領域毎の仮想ＦＯＥの座標として記憶し、記憶した小領域毎の仮想ＦＯＥの座標を、その後オプティカルフロー検出のために新たに撮像する画像の小領域毎のエッジ抽出のために用いるようにしているので、時間間隔が微小な画像間における仮想ＦＯＥの移動量は微小であることにより、時間的に新しい画像の対応する小領域毎に白線の候補となるエッジの抽出が簡単にかつ確実に行え、かつ小領域に対する道路におけるカーブの状態を容易に検出することができるようになって、白線の確実な決定を行うことができ、比較的急なカーブを走行している場合であっても、自車両が走行する自車線または隣接車線を走行している前方または後続の他車両の自車両への接近を自動的にかつ正確に監視でき、しかも、抽出した白線の候補となるエッジに対して直線近似を行って得られた複数の直線の全ての組み合わせに関し、小領域毎の部分の延長線の交点の座標と延長線が交点においてなす角度とを求め、交点座標及び角度と、仮想ＦＯＥの座標及び白線の小領域毎の部分の延長線が交点においてなす角度との差をそれぞれ求め、座標差及び角度差が共に最小となる２本の直線を白線として決定するようにしているので、複数の直線から白線らしい左右２本の直線を一度に選び出すことができ、白線となる直線を確実に検出することのできる周辺監視装置が得られる。
【０１３１】
請求項２記載の発明によれば、仮想ＦＯＥの座標を中心として所定の微小角度を有する扇形領域を所定角度づつ移動させ、移動毎にエッジ抽出を行い、抽出した扇形領域内のエッジ数が所定値以上であるとき、扇形領域内のエッジを白線の候補となるエッジとするようにしているので、実際の白線が存在する方向と大きく異なる方向を持ったエッジはノイズとして除去することができ、白線の候補となるエッジを確実に抽出することのできる周辺監視装置が得られる。
【０１３２】
請求項３記載の発明によれば、抽出した白線の候補となるエッジに対して直線近似を行って得られた複数の直線の内、隣接する小領域間において連続性を満たす直線を白線として決定するようにしているので、直線近似によって既に得られている小領域の直線と連続しない直線を白線候補から除去することができ、白線となる直線を確実に検出することのできる周辺監視装置が得られる。
【０１３４】
請求項４記載の発明によれば、画像を、撮像手段の所定の光学配置に基づいて、実空間における路面に平行なｘｚ平面に逆射影変換して路面画像を得、一定時間と自車両の速度情報とから相前後する２つの画像における自車両の移動距離を算出し、算出した移動距離分だけ路面画像を平行移動し、平行移動後の路面画像における自車両近傍の白線の角度をそれぞれ算出し、それらの平均角度を求め、ｘｚ座標の原点を中心として路面画像を平均角度だけ回転させ、さらに、回転した路面画像を射影変換して当該画像より時間的に遅い方の画像の推定画像を得、時間的に遅い方の画像と推定画像との差分をとって特徴点の抽出を行い、抽出した特徴点に関して対応点の探索を行ってオプティカルフローの検出を行うようにしているので、オプティカルフローを検出すべきでない路面上の影や文字、汚れなどが全て消去され、オプティカルフローを検出すべき対象物だけを残して対応点探索を行うことができ、オプティカルフローを検出する際の計算量を大幅に減少すると同時に、誤対応も少なくなって、より高速にかつ正確にオプティカルフローを検出できる周辺監視装置が得られる。
【０１３５】
請求項５記載の発明によれば、各小領域に存在する特徴点に関する対応点の探索を各小領域にそれぞれ対応する各仮想ＦＯＥを中心とした放射状の方向に限定するようにしているので、各小領域における対応点の探索を行う特徴点の数を大幅に減少することができ、カーブ路を走行している場合にも、高速且つ精度良くオプティカルフローを検出できる周辺監視装置が得られる。
【０１３６】
請求項６記載の発明によれば、前方または後側方視界における危険度を示すオプティカルフローの大きさの平均値が予め設定した値以上になった場合に危険であると判断するようにしているので、周囲の他車両の種類や色、大きさ、さらには昼夜やトンネルなど走行している時刻や環境などによってオプティカルフローの数が大きく変化することに伴う、危険度の検出誤差を大幅に低減することができる周辺監視装置が得られる。
【０１３７】
請求項７記載の発明によれば、オプティカルフローの発生数Ｎが予め設定した値以上になった場合に危険度評価手段が危険であると判断するようにしているので、自車両と周囲の他車両との相対速度がゼロで、オプティカルフローの大きさがゼロであっても、自車両と前方車両との車間距離が非常に近い場合には危険度が高くなり、周囲の他車両との車間距離が小さい場合には、車種や色、大きさに依らずオプティカルフローの発生数が多くなることを利用して危険であると判断することができ、運転者の安全を確保することができる周辺監視装置が得られる。
【０１３８】
請求項８記載の発明によれば、特定の各小領域について危険度の評価を行うようにしているので、危険度を各小領域毎に評価することができ、運転者は自車両の周辺の状況を正確に把握することが可能となり、これにより、より安全に運転を行うことができる周辺監視装置が得られる。
【図面の簡単な説明】
【図１】本発明の周辺監視装置の基本構成図である。
【図２】本発明の周辺監視装置の構成を示したブロック図である。
【図３】本発明の周辺監視装置における動作の概要を示したフローチャートである。
【図４】本発明の周辺監視装置における自車線領域の推定方法の一例を示したフローチャートである。
【図５】原画像を５つの小領域に分割したところを示した図である。
【図６】直線道路走行時におけるＦＯＥを示した図である。
【図７】各小領域毎の仮想ＦＯＥを示した図である。
【図８】エッジ抽出の方法を示した図である。
【図９】ＨＯＵＧＨ変換による直線近似の一例を示した図である。
【図１０】逐次処理による白線の連結性を示した図である。
【図１１】仮想ＦＯＥの座標および角度θの時間的連続性を示した図である。
【図１２】道路上における自車線領域を示した図である。
【図１３】本発明の周辺監視装置におけるオプティカルフローの検出方法の一例を示したフローチャートである。
【図１４】特徴点抽出の方法を説明するための図である。
【図１５】光学配置を示す図である。
【図１６】カーブ走行時における状態を示した概念図である。
【図１７】直線走行時のオプティカルフローの発生方向を示した図である。
【図１８】カーブ走行時のオプティカルフローの発生方向を示した図である。
【図１９】対応点検索方向を示した図である。
【図２０】ビデオカメラ１によって得られる後側景画像の変化を説明するための図である。
【図２１】障害物等の検出の方法を説明するための図である。
【図２２】直線路におけるＦＯＥの位置を示した図である。
【図２３】カーブ路におけるＦＯＥの従来における検出位置を示した図である。
【符号の説明】
２１撮像手段（ビデオカメラ）
２３−１１小領域分割手段（演算処理装置）
２３−１２エッジ抽出手段（演算処理装置）
２３−１３白線決定手段（演算処理装置）
２３−１４仮想ＦＯＥ推定手段
２３−２オプティカルフロー検出手段（演算処理装置）
２３−３危険度評価手段（演算処理装置）

Claims

自車両から前方、後方又は後側方を撮像手段により撮像して一定時間毎に画像を得、該画像に基づいて自車両の走行している自車線の白線を検出すると共に、該検出した白線に基づいて自車線領域又は隣接車線領域に監視領域を設定し、該設定した監視領域内にある周辺の他車両から発生するオプティカルフローをオプティカルフロー検出手段により検出し、該検出したオプティカルフローを用いて自車両と周辺の他車両との相対関係を監視する周辺監視装置において、
前記画像を複数の小領域に分割する小領域分割手段と、
前記画像について予め得て記憶してある前記小領域毎の仮想ＦＯＥの座標を用い、前記小領域毎に前記白線の候補となるエッジの抽出を行うエッジ抽出手段と、
前記エッジ抽出手段により前記小領域毎に抽出された前記エッジに基づいて前記白線を決定する白線決定手段と、
前記白線決定手段によって決定した前記白線の前記小領域毎の部分を延長して該延長線の交点の座標を求め、該交点座標を前記小領域毎の仮想ＦＯＥの座標として記憶する仮想ＦＯＥ推定手段とを備え、
該仮想ＦＯＥ推定手段により記憶した前記小領域毎の仮想ＦＯＥの座標を、その後オプティカルフロー検出のために新たに撮像する画像の小領域毎の前記エッジ抽出のために前記エッジ抽出手段により用いるようにし、
前記白線決定手段は、前記エッジ抽出手段により抽出した前記白線の候補となるエッジに対して直線近似を行って得られた複数の直線の全ての組み合わせに関し、前記直線の延長線の交点の座標と前記直線の延長線が前記交点においてなす角度とを求め、前記交点座標及び前記交点角度と、前記仮想ＦＯＥ推定手段により時間的に僅かに前の画像から予め得て記憶されている前記仮想ＦＯＥの座標及び前記白線の前記小領域毎の部分の延長線が交点においてなす角度との差をそれぞれ求め、前記座標差及び前記角度差が共に最小となる２本の直線を前記白線の前記小領域の部分として決定する
ことを特徴とする周辺監視装置。
前記エッジ抽出手段は、前記仮想ＦＯＥの座標を中心として所定の微小角度を有する扇形領域を所定角度づつ移動させ、該移動毎にエッジ抽出を行い、該抽出した前記扇形領域内のエッジ数が所定値以上であるとき、該扇形領域内のエッジを前記白線の候補となるエッジとする
ことを特徴とする請求項１記載の周辺監視装置。
前記白線決定手段は、前記エッジ抽出手段により抽出した前記白線の候補となるエッジに対して直線近似を行って得られた複数の直線のうち、隣接する前記小領域間において連続性を満たす直線を前記白線として決定する
ことを特徴とする請求項１又は２記載の周辺監視装置。
前記オプティカルフロー検出手段が、前記画像を、前記撮像手段の所定の光学配置に基づいて、実空間における路面に平行なｘｚ平面に逆射影変換して路面画像を得、前記一定時間と自車両の速度情報とから相前後する２つの前記画像における自車両の移動距離を算出し、該算出した移動距離分だけ前記路面画像を平行移動し、該平行移動した後の前記路面画像における自車両近傍の白線の角度をそれぞれ算出し、それらの平均角度を求め、前記ｘｚ座標の原点を中心として前記路面画像を前記平均角度だけ回転させ、さらに、該回転した路面画像を射影変換して当該画像より時間的に遅い方の画像を推定した推定画像を得、前記時間的に遅い方の画像と前記推定画像との差分をとって特徴点の抽出を行い、該抽出した特徴点に関して対応点の探索を行って前記オプティカルフローの検出を行う
ことを特徴とする請求項１又は２記載の周辺監視装置。
前記オプティカルフロー検出手段が、前記各小領域に存在する前記特徴点に関する前記対応点の探索を、前記各小領域にそれぞれ対応する前記各仮想ＦＯＥを中心とした放射状の方向に限定する
ことを特徴とする請求項４記載の周辺監視装置。
前記オプティカルフローの大きさをｌ_i、オプティカルフローの発生数をＮとした場合、前方または後側方視界における危険度Ｄを、

で示されるオプティカルフローの大きさの平均値ｌが予め設定した値以上になった場合に危険であると判断する危険度評価手段をさらに備える
ことを特徴とする請求項１〜５の何れかに記載の周辺監視装置。
前記危険度評価手段はさらに、前記オプティカルフローの発生数Ｎが予め設定した値以上になった場合に危険であると判断する
ことを特徴とする請求項６記載の周辺監視装置。
前記危険度評価手段はさらに、特定の前記各小領域について前記危険度の評価を行う
ことを特徴とする請求項６又は７記載の周辺監視装置。