JP3395634B2 - オプティカルフロー式後方情報検出装置 - Google Patents
オプティカルフロー式後方情報検出装置Info
- Publication number
- JP3395634B2 JP3395634B2 JP06158998A JP6158998A JP3395634B2 JP 3395634 B2 JP3395634 B2 JP 3395634B2 JP 06158998 A JP06158998 A JP 06158998A JP 6158998 A JP6158998 A JP 6158998A JP 3395634 B2 JP3395634 B2 JP 3395634B2
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- vehicle
- optical
- flow
- risk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、カメラ等で撮像さ
れた画像上の移動ベクトル（オプティカルフロー）を用
いて後方（特に、後側方）から接近する車両を検出す
る、オプティカルフロー式後方情報検出装置に関する。 【０００２】 【従来の技術】従来より、カメラ等で撮像された時刻の
異なる２画像中の同一点の移動ベクトルを算出し、算出
した移動ベクトルから接近する移動物体の存在を検出す
る技術が知られており、特に、自動車の分野において、
カメラ等で自車両の後方を撮像して、後側方（例えば、
隣レーンの後方）から接近してくる他車両の存在を検出
するオプティカルフロー式後方情報検出装置が知られて
いる。 【０００３】このオプティカルフロー式後方情報検出装
置は、近年、開発が進められている自動走行制御装置、
即ち、走行中の道路に対する車両の位置姿勢や他車両と
の相対的関係の把握を行ない、これに基づいて自動車の
自動走行制御を行なう装置の要素技術としても有望であ
り、各種のオプティカルフロー式後方情報検出装置が提
案されている。 【０００４】例えば、特開平８−８３３４５号公報に開
示された技術（第１従来技術）は、画像中に大きな占有
面積の移動物体が存在する場合でも、確実に移動物体に
起因するオプティカルフローを抽出し、さらに、抽出し
たオプティカルフローによりその移動物体が接近してい
るものか否かを判定する方法に関する技術である。ま
た、特開平９−１８８６３号公報に開示された技術（第
２従来技術）は、複数のカメラ又は旋回可能なカメラを
そなえることにより、車両後方の監視領域を広げて安全
性を高めようとするものである。 【０００５】 【発明が解決しようとする課題】上述のように、従来よ
りオプティカルフロー式後方情報検出装置について種々
の研究開発が行なわれているが、その多くはオプティカ
ルフローにより物体の移動を把握することを主目的とし
ており、オプティカルフロー自身が如何なる情報を有し
ており、それをどう活用するかについての検討は進んで
いないのが現状である。例えば、上述の第１従来技術で
は、移動物体が接近していると判定された時には、警報
信号を出力するようになっているが、ここでは、オプテ
ィカルフローは単に移動物体が接近しているか否かの判
定基準として利用されているにすぎず、単に移動物体が
接近しているからといって、必ずしも警報を出すべきも
のとは限らない。 【０００６】ところで、隣レーンに車線変更をしようと
する時は、ドライバは、隣レーンの後方から走行してく
る後続車両を確認し、危険かどうか判断してから車線変
更を行なっている。このとき、ドライバは、後続車両と
自車両との車間距離や相対速度を、距離計や速度計で計
測して危険かどうか判断している分けではない。バック
ミラー等を介してドライバ自身の目に映った後続車両の
大きさや動きから、車線変更の危険度を判断しているの
である。 【０００７】このドライバの目に映る後続車両の大きさ
や動きは、オプティカルフローにも反映され、後続車両
が接近してくると、その後続車両に対応したオプティカ
ルフローの発生数も増加し、また、オプティカルフロー
の大きさ（ベクトルの長さ）も大きくなる。したがっ
て、この点に着目すれば、オプティカルフローの変化を
通して、後方から接近する後続車両に対する危険度を判
定することは可能であると考えられる。 【０００８】第２従来技術では、後続車両に対応する発
散方向のオプティカルフローに対して、その大きさに重
み付けをし、重み付けをした値が或るしきい値を越えた
ら危険と判断するようになっている。ところが、この第
２従来技術では、オプティカルフローと危険度とがどの
ように対応しているのか明確でなく、また、如何なる重
み付けをするのかも記載がない。つまり、オプティカル
フローの大きさに重み付けをした値を危険度判定と結び
付ける具体的妥当性に欠けており、また、オプティカル
フローの性質、即ち、撮像角度等の微妙な変化により消
失，発生し、連続的には変化しない点についての考慮は
されていない。 【０００９】さらに、後側方から接近してくる後続車両
は常に１台とは限らず、複数の後続車両が接近してくる
場合がある。この場合、ドライバ自身の視覚に基づく
と、最も自車両に接近している車両や、又は、急接近し
てくる車両等の特定の車両を基準に危険度を判断する。
一方、撮像画像から抽出されるオプティカルフローにも
複数台分のオプティカルフローが含まれており、その中
のどのオプティカルフローを基準に選定するかにより、
危険度の判定精度が変化する。したがって、このような
場合のオプティカルフローの選定も、ドライバ自身が判
断する際の選定基準と合致したものとしたい。 【００１０】本発明は、上述の課題に鑑み創案されたも
ので、オプティカルフローの有する危険度に関する情報
としての有用性に着目し、複数台の接近車両が存在する
場合でも常に安定した危険度判定を行なえるようにし
た、オプティカルフロー式後方情報検出装置を提供する
ことを目的とする。 【００１１】 【課題を解決するための手段】このため、本発明のオプ
ティカルフロー式後方情報検出装置では、撮像手段によ
り所定周期で撮像された自車両後方の複数画像からオプ
ティカルフロー算出手段によりオプティカルフローを算
出して、自車両に接近する物体を検出するが、まず、グ
ループ化処理手段によりオプティカルフローの大きさの
分布に基づいてオプティカルフローをオプティカルフロ
ー群にグループ化し、グループ化された複数のオプティ
カルフロー群の中から判定対象選定手段により危険度判
定対象とするオプティカルフロー群を選定する。そし
て、判定対象選定手段で選定された判定対象オプティカ
ルフロー群に属するオプティカルフローの大きさの平均
値を演算手段で演算し、得られたオプティカルフローの
大きさの平均値に基づき、危険度判定手段により判定対
象オプティカルフロー群に該当する物体の接近の危険度
を判定する。 【００１２】これにより、オプティカルフローの有する
危険度に関する情報が有効活用されるとともに、常に安
定した危険度判定が行なわれる。 【００１３】 【発明の実施の形態】以下、図面により、本発明の実施
の形態について説明すると、図１〜図８は本明の一実施
形態としてのオプティカルフロー式後方情報検出装置
（以下、単に後方情報検出装置という）を示すものであ
る。本後方情報検出装置は、図１に示すように、車両１
の所定の位置（例えばリヤウインドウの上部又は下部）
に自車両後方の道路状況を撮像する撮像手段としてのＣ
ＣＤカメラ２をそなえており、ＣＣＤカメラ２で得られ
た画像情報（アナログ画像信号）は、車両１内部にそな
えられたＥＣＵ１０へ入力されるようになっている。 【００１４】ＥＣＵ１０は、Ａ／Ｄ変換器３，第１フレ
ームメモリ４Ａ，第２フレームメモリ４Ｂ，オプティカ
ルフロー算出手段（ＤＳＰ）５，演算手段６，危険度判
定手段７から構成されており、ＣＣＤカメラ２から入力
されたアナログ画像信号は、まず、Ａ／Ｄ変換器３によ
ってデジタル画像信号へ変換処理されるようになってい
る。 【００１５】そして、Ａ／Ｄ変換器３で処理されたデジ
タル画像信号は、第１フレームメモリ４Ａ，第２フレー
ムメモリ４Ｂに交互に周期的に格納されるようになって
いる。このデジタル画像信号の格納周期は、後述のオプ
ティカルフロー（以下、単にフローとも略す）の算出等
の画像処理能力で決まるが、ここでは、例えば、１０フ
レーム（１フレーム１／３０秒）毎に５フレームの位相
差で各フレームメモリ４Ａ，４Ｂにデジタル画像信号が
入力されるようになっているものとする。 【００１６】オプティカルフロー算出手段５は、各フレ
ームメモリ４Ａ，４Ｂに格納された撮像時間の異なるデ
ジタル画像信号に基づきオプティカルフローを算出する
ようになっている。このオプティカルフロー算出手段５
におけるオプティカルフローの算出処理について説明す
ると、次のようになる。まず、第１フレームメモリ４Ａ
に格納された時間ｔにおける撮像画像（第１フレーム）
から着目画像（画素）を抽出し、続いて、第２フレーム
メモリ４Ｂに格納された時間ｔ＋Δｔ〔Δｔ＝５／３０
秒（５フレーム分）〕における撮像画像（第２フレー
ム）の着目画像（画素）を抽出する。この着目画素の設
定は、一定の閾値以上の画素を選定するようにしてもよ
く、また、撮像画像上において周囲画素の輝度の平均よ
りも特に高輝度の画素を選定するようにしてもよい。 【００１７】ここで、図２（ａ），（ｂ）に示すよう
に、異なる時間において、後方から隣車線（以下、隣レ
ーンという）上を接近してくる後続車両１０１，１０２
を撮像したとする。図２（ａ）に示す画像１００Ａを時
間ｔにおける撮像画像とし、図２（ｂ）に示す画像１０
０Ｂを時間ｔ＋Δｔにおける撮像画像とすると、それぞ
れの画像１００Ａ，１００Ｂから例えば着目画素ＰA1，
ＰA2，ＰA3，ＰA4，ＰB1，ＰB2，ＰB3，ＰB4を抽出す
る。なお、ここでは、説明の便宜上、各画像１００Ａ，
１００Ｂにおける各車両１０１，１０２に対応する着目
画素は各２つとしているが、実際はさらに多くの着目画
素を抽出することになる。 【００１８】そして、それぞれの着目画素ＰA1，ＰA2，
ＰA3，ＰA4，ＰB1，ＰB2，ＰB3，Ｐ B4にウインドウ
ＳA1，ＳA2，ＳA3，ＳA4，ＳB1，ＳB2，ＳB3，ＳB4を設
定し、２画面１００Ａ，１００Ｂ間のウインドウＳA1〜
ＳA4，ＳB1〜ＳB4の同一性を検証して、２画面１００
Ａ，１００Ｂ間の対応する着目画素を求めるようになっ
ているのである。このウインドウの同一性の検証方法と
しては、公知の方法を用いることができ、例えば、特開
平８−８３３４５号公報に記載されているように、相関
法や勾配法により検証することができる。 【００１９】そして、２画面１００Ａ，１００Ｂ間の対
応する着目画素が求められると、これらの着目画素を結
んだベクトルがオプティカルフローとなるのである。こ
こでは、ウインドウはＳA1とＳB1と、ＳA2とＳB2と、Ｓ
A3とＳB3と、ＳA4とＳB4とが同一であるので、着目画素
はＰA1とＰB1と、ＰA2とＰB2と、ＰA3とＰB3と、ＰA4と
ＰB4とが対応しており、それぞれを結ぶことによりオプ
ティカルフローｆ1 ，ｆ2 ，ｆ3 ，ｆ4 が求められる。 【００２０】このようにして、他の対応する着目画素に
ついても対応を検証していくことにより、図２（ｃ）に
示すように、後方を走行する後続車両１０１，１０２に
対応した複数のオプティカルフローが得られるのであ
る。なお、後続車両１０１，１０２以外にも、道路標識
１０３等の周囲風景に対応したオプティカルフローも得
られるが、これらは自車両から相対的に遠ざかるように
（いわゆる無限遠点方向に収束するように）移動してい
るので、後続車両１０１，１０２に対応するオプティカ
ルフローとは、ベクトルの向きが逆となる。そこで、オ
プティカルフロー算出手段５では、ベクトルの向きに閾
値を設け、自車両に接近する方向のオプティカルフロー
のみ算出するようになっている。 【００２１】ところで、ここで得られたオプティカルフ
ローは、実際の車両と後続車両との位置関係に対してど
のように対応しているのか説明すると、図３に示すよう
な幾何学的関係で表すことができる。図３は、水平面内
での幾何学的関係を表したものであるが、隣車線までの
距離をＷ、自車両から後続車両までの距離をＺとし、Ｃ
ＣＤカメラ２の画面上での横方向距離をＸ、ＣＣＤカメ
ラ２の焦点距離をＤとしている。ここで、Ｎフレーム間
（Ｎ／３０秒間）での後続車両の相対移動距離をｄｚ、
ＣＣＤカメラ２の画面上での横方向移動距離をｄｘとす
ると、画面上横方向移動距離ｄｘは、次のように表され
る。 ｄｘ＝Ｗ×Ｄ×（１／（Ｚ−ｄｚ）−１／Ｚ） ・・・・・・・・（１） また、自車両に対する後続車両の相対速度をＶs とする
と、Ｎフレーム間での後続車両の相対移動距離ｄｚは
（Ｖs ／３０）×Ｎとなるので、画面上水平方向移動距
離ｄｘは、次のように表すことができる。 ｄｘ＝Ｗ×Ｄ×（３０／（３０×Ｚ−Ｖs ×Ｎ）−１／Ｚ）・・・・・（２） この画面上水平方向移動距離ｄｘを画素単位であらわし
た、フレームメモリ上の水平移動距離ｄＰx(pixel)は、
ＣＣＤカメラ２の水平有効サイズをＬ１、水平画素数を
ｎ１とすると、次式のように表すことができる。 ｄＰx(pixel)＝ｄｘ×（ｎ１／Ｌ１） ＝Ｗ×Ｄ×（３０／（３０×Ｚ−Ｖs ×Ｎ）−１／Ｚ） ×（ｎ１／Ｌ１） ・・・・・・・・（３） 同様に、フレームメモリ上の垂直移動距離ｄＰy(pixel)
は、ＣＣＤカメラ２の設置高さをＨ、ＣＣＤカメラ２の
垂直有効サイズをＬ２、垂直画素数をｎ２とすると、次
式のように表すことができる。 ｄＰy(pixel)＝Ｈ×Ｄ×（３０／（３０×Ｚ−Ｖs ／Ｎ）−１／Ｚ） ×（ｎ２／Ｌ２） ・・・・・・・・（４） ここで、フレームメモリ上のオプティカルフローの大き
さｄＰａは、水平移動距離ｄＰx(pixel)，垂直移動距離
ｄＰy(pixel)を用いると、 ｄＰa ＝（ｄＰx2＋ｄＰy2）1/2 ・・・・・・・・（５） であらわすことができるので、（３）式，（４）式に示
す水平移動距離ｄＰx(pixel)，垂直移動距離ｄＰy(pixe
l)と相対速度Ｖs ，車間距離Ｚとの関係から、相対速度
Ｖs が大きく、車間距離Ｚが短いほど、オプティカルフ
ローの大きさ（以下、単にフローの大きさという）ｄＰ
ａは大きくなることがわかる。つまり、仮に相対速度Ｖ
s が一定ならば、フローの大きさｄＰａが大きくなるほ
ど、自車両と後続車両との車間距離Ｚが詰まってきてい
ると判定することができる。 【００２２】このフローの大きさｄＰａの算出は、演算
手段６において行なわれ、演算手段６は、後方を走行す
る後続車両に対応する全てのオプティカルフローについ
て、それらの大きさｄＰａを算出し、オプティカルフロ
ーの発生番地（画像上における着目画素の番地）と対応
させるようになっている。ところで、（３）〜（５）式
より、車間距離Ｚ，相対速度Ｖｓが同一ならばオプティ
カルフローの大きさｄＰａも等しいことがわかる。つま
り、後続車両から発生する複数のオプティカルフローに
ついて考えた場合、同一の後続車両から発生するオプテ
ィカルフローであれば、その大きさｄＰａは略等しく、
逆に異なる後続車両から発生するオプティカルフローで
あれば、その大きさｄＰａも異なるといえる。 【００２３】また、この逆も言え、画像上のオプティカ
ルフローの大きさｄＰａが同一であれば、それは同一の
後続車両から発生した可能性が高く、大きさｄＰａの異
なる複数のオプティカルフローが存在していれば、複数
の後続車両が存在していると判断することができる。し
たがって、大きさｄＰａの異なる複数のオプティカルフ
ローが検出された場合、同じ大きさｄＰａのオプティカ
ルフローをグループ化して一つのオプティカルフロー群
とすることにより、オプティカルフロー群の位置と個数
から後続車両の位置と台数を推定することが可能とな
る。 【００２４】本後方情報検出装置では、演算手段６の機
能要素であるグループ化処理手段６Ａにより、上述のオ
プティカルフローのグループ化処理を行なうようになっ
ている。例えば、図２（ｃ）では、後続車両１０１，１
０２に対応するオプティカルフローｆ1 ，ｆ2 ，ｆ3 ，
ｆ4 が存在するが、後続車両１０１に対応するオプティ
カルフローｆ1 ，ｆ2 は大きさが略等しく、また、後続
車両１０１に対応するオプティカルフローｆ3 ，ｆ4 は
大きさが略等しく、そして、オプティカルフローｆ1 ，
ｆ2 とオプティカルフローｆ3 ，ｆ4 とでは大きさは異
なる。 【００２５】そこで、グループ化処理手段６Ａでは、オ
プティカルフローｆ1 ，ｆ2 とこれらと同じ大きさの他
のオプティカルフローとをグループ化してオプティカル
フロー群Ｆ1 として設定し、オプティカルフローｆ3 ，
ｆ4 とこれらと同じ大きさの他のオプティカルフローと
をグループ化してオプティカルフロー群Ｆ2 として設定
するようになっている。 【００２６】なお、グループ化に際しては、グループ化
処理手段６Ａはオプティカルフローの大きさｄＰａのみ
ならず、オプティカルフローの向きや発生番地の位置関
係も考慮に入れるようになっている。例えば、同じ大き
さのオプティカルフローであっても向きが全く異なれば
同一の物体から発生したものではないと判断し、また、
同じ大きさの２つのオプティカルフローの間に、大きさ
の異なるオプティカルフローが存在していれば、２つの
オプティカルフローの間に連続性がないので異なる物体
から発生したオプティカルフローと判断するようになっ
ている。 【００２７】また、グループ化処理手段６Ａで設定した
オプティカルフロー群の数、即ち、推定される後続車両
の台数は、台数表示手段９に入力され、台数表示手段９
によりドライバに対して表示されるようになっている。
例えば、図２（ｃ）の場合では、２つのオプティカルフ
ロー群Ｆ1 ，Ｆ2 が存在するので、台数表示手段９には
２台と表示される。 【００２８】こうしてグループ化処理手段６Ａによるオ
プティカルフローのグループ化が行なわれると、演算手
段６は、さらに、その機能要素である判定対象選定手段
６Ｂにより、グループ化された複数のオプティカルフロ
ー群の中から危険度判定の対象とするべきオプティカル
フロー群を選定するようになっている。判定対象選定手
段６Ｂは、まず、グループ化処理手段６Ａでグループ化
された複数のオプティカルフロー群について、それぞれ
の重心位置、即ち、オプティカルフロー群を構成する複
数のオプティカルフローの水平方向，垂直方向の平均発
生番地を算出するようになっている。 【００２９】そして、各オプティカルフロー群の重心位
置を比較し、垂直方向の重心位置が最も下方にあるオプ
ティカルフロー群を危険度の判定対象に選定するように
なっている。つまり、判定対象選定手段６Ｂは、自車両
に最接近している後続車両を危険度の対象と選定するの
である。例えば、図２（ｃ）の場合では、２つのオプテ
ィカルフロー群Ｆ1 ，Ｆ2 の重心位置Ｏ1 ，Ｏ2 を比較
すると、重心Ｏ2 の方が下方に位置しているので、判定
対象選定手段６Ｂは、オプティカルフロー群Ｆ 2 が自車
両に最接近している後続車両に該当すると判定する。 【００３０】このようにして、自車両に最接近している
後続車両に該当するオプティカルフロー群が危険度判定
対象に選定されると、演算手段６は、選定されたオプテ
ィカルフロー群、図２（ｃ）においてはオプティカルフ
ロー群Ｆ2 を、演算対象のオプティカルフロー群Ｆa と
して設定し、以下の演算処理を行なうようになってい
る。 【００３１】まず、演算手段６は、演算対象として設定
したオプティカルフロー群Ｆa におけるオプティカルフ
ローの総数（以下、単にフローの総数という）Ｍ、即
ち、オプティカルフロー群Ｆa に対応する着目画素の総
数を算出するようになっている。なお、このフローの総
数Ｍは、被検出車両の前面面積をＡ、ＣＣＤカメラ２の
総画素数をＡc 、ＣＣＤカメラ２の水平画角をθ１、Ｃ
ＣＤカメラ２の垂直画角をθ２としたとき、次式のよう
に算出することができる。 Ｍ＝Ａ×Ａc ／（４×ｔａｎ（θ１／２）×ｔａｎ（θ２／２））／Ｚ2 ・・・・・・・・（６） さらに、演算手段６は、先に算出したオプティカルフロ
ー群Ｆa に対応するＭ個のフローの大きさｄＰa の総
和、即ち、オプティカルフロー群Ｆa に対応するオプテ
ィカルフローの総量（以下、単にフローの総量という）
ΣｄＰa を算出するようになっている。そして、算出し
たフローの総数Ｍ、フローの総量ΣｄＰaから、フロー
の大きさｄＰa の平均値ｄＰave.（ｄＰave.＝ΣｄＰa
／Ｍ）を算出するようになっている。 【００３２】こうして演算手段６において演算されたオ
プティカルフロー群Ｆa のフローの大きさの平均値ｄＰ
ave.は、危険度判定手段７において、オプティカルフロ
ー群Ｆa に該当する後続車両１０２の危険度、即ち、自
車両が後続車両１０２の走行する隣車線へ車線変更する
際の危険度を判定する際の基準とされる。つまり、危険
度判定手段７は、フローの大きさの平均値ｄＰave.が所
定値を越えたときには、隣車線への車線変更は危険と判
定して警報表示モニター８を作動させるようになってい
るのである。なお、警報表示モニター８は、フローの大
きさの平均値ｄＰave.に基づく危険度が段階的に示され
るようになっており、危険度が所定値を越えた時には、
警報音や警報表示によってドライバに警告するようにな
っている。 【００３３】ここで、フローの大きさの平均値ｄＰave.
を危険度判定の基準に適用する意義について説明する
と、まず、その前に危険度情報として一般に用いられる
減速度関数について説明する必要がある。通常、２台の
車両が前後に連なって走行する場合の安全走行距離Ｄs
は、先行車両がブレーキをかけた場合を想定して次式の
ように定められている。 Ｄs ＝Ｖr ×Ｔm ＋Ｖr2／２／Ａr −Ｖf2／２／Ａf ・・・・・・・（７） 上式においてＴm は車間時間であり、Ｖf ，Ｖr はそれ
ぞれ自車両（即ち、先行車両）, 後続車両の車速、Ａf
，Ａr はそれぞれ自車両（即ち、先行車両）,後続車両
の減速度を示している。 【００３４】ここで、高速道路での通常走行では、車間
時間Ｔm は１〜２秒、一般的なドライバが踏める最大減
速度は６．０m/s2と言われており、車間時間Ｔm を１．
３秒、自車両の減速度Ａf を６．０m/s2とすると、後続
車両の減速度Ａr は次式で表すことができる。 Ａr ＝（Ｖr2／２）／（Ｄs −１．３×Ｖr ＋Ｖf2／１２）・・・・・（８） 上式は、車速Ｖf で走行中の自車両が、通常考えられる
最大減速度（６．０m/s2）で急減速した時に、一般的な
車間時間１．３秒の安全車間距離Ｄs を保つのに必要
な、車速Ｖr で走行中の後続車に要求される減速度Ａr
に対応しており、この減速度Ａr が一般的に危険度とし
て用いられている減速度関数である。 【００３５】この減速度関数Ａr により表される危険度
は、（８）式からもわかるように、車間距離Ｄs が短い
ほど、また、車両間の速度差（即ち、Ｖr −Ｖf ）が大
きいほど、大きくなっており、実際の走行におけるドラ
イバの感覚にも適合したものである。したがって、この
減速度関数により表される危険度と同様の特性をもった
危険度判定のパラメータを設定することが有意義と考え
られる。 【００３６】ところで、（３）式〜（５）式で表される
フローの大きさｄＰa も、前述のように相対速度Ｖs が
大きいほど、また、車間距離Ｚが短いほど、大きくなっ
ているので、減速度関数Ａr により表される危険度とそ
の特性が一致している。ところが、オプティカルフロー
の算出基準となる画像上の着目画素は、輝度差に基づい
て設定されるため、光の反射具合等により突然消失する
ことがある。このような場合、オプティカルフローも消
失してしまうため、任意の一つのオプティカルフローに
着目しただけでは、連続的にフローの大きさｄＰa の評
価を行ない危険度を判定することはできない。 【００３７】一方、前述のフローの総数Ｍやフローの総
和ΣｄＰa を危険度判定のパラメータとして適用するこ
とも考えられる。しかしながら、フローの総数Ｍは、
（６）式に示すように、車間距離Ｚが短いほど大きくな
る点では、減速度関数Ａr により表される危険度と特性
が一致するが、被検出車両の前面面積Ａの影響を受け、
また、相対速度とは無関係である。このため、フローの
総数Ｍが大きくなったとしても、それが車間距離が短く
なったためなのか、それとも被検出車両が大きいためな
のか区別がつかない。また、実際の走行では、オプティ
カルフローの発生総数は被検出車両の前面面積の他に、
車両の形状や色の影響も受け、さらには、前述のよう
に、オプティカルフローの一つ一つは、光の反射具合等
により消失したり発生したりするため、正確な危険度判
定をすることはできない。 【００３８】同様に、フローの総量ΣｄＰa では、
（３）式〜（６）式から分かるように、相対速度Ｖs が
大きいほど、また、車間距離Ｚが短いほど大きくなる点
では、減速度関数Ａr により表される危険度と一致する
が、被検出車両の前面面積Ａの影響を受ける点ではフロ
ーの総数Ｍと同様であり、相対速度Ｖs ，車間距離Ｚに
基づく正確な危険度判定をすることはできない。 【００３９】これに対し、フローの大きさの平均値ｄＰ
ave.では、フローの総和ΣｄＰa をフローの総数Ｍで除
算することにより、被検出車両の前面面積Ａや車両の形
状や色等の影響は排除される。また、複数のフローの大
きさｄＰa の平均であるため、仮に着目画素の一つが画
面上から消失したとしても、フローの大きさの平均値ｄ
Ｐave.の連続性が失われたり、大きく変化したりするこ
とはない。 【００４０】そして、図４に示すように、フローの大き
さの平均値ｄＰave.の車間距離Ｚに対する特性は、減速
度関数Ａr により表される危険度の特性と一致してい
る。なお、ここでは、フローの大きさの平均値ｄＰave.
を（３）式〜（５）式から算出されるフローの大きさｄ
Ｐa で表しており、（３）式，（４）式における各変数
の値は次の値を用いている。Ｗ：３．５ｍ，Ｈ：１．４
ｍ，Ｄ：０．００１５ｍ，Ｎ：５フレーム，ｎ１：２５
６pixel ，ｎ２：２４０pixel ，Ｌ１：０．００６５４
ｍ，Ｌ２：０．００４８９ｍ，Ｖs ：４０ｋｍ／ｈ。ま
た、減速度関数により表される危険度Ａr の算出にあた
り（８）式における各変数は次の値を用いている。Ｖf
：８０ｋｍ／ｈ，Ｖr ：１２０ｋｍ／ｈ。 【００４１】つまり、フローの大きさの平均値ｄＰave.
を危険度判定の基準とすることにより、減速度関数Ａr
により表される危険度と同様に、車間距離Ｚが短いほ
ど、また、相対速度Ｖs が大きいほど危険度が大きくな
るという、実際の走行におけるドライバの感覚にも適合
した危険度判定を行なうようになっているのである。こ
こで、図５，図６は、実際に車両に本オプティカルフロ
ー式後方情報検出装置を搭載し実験した結果を示すもの
である。 【００４２】まず、図５は、フローの総数Ｍの理論値と
実験値とを比較したものであり、実線は（６）式で示さ
れるフローの総数Ｍの理論値であり、□は相対速度Ｖs
を４０ｋｍ／ｈに設定した場合の実験値、▲は相対速度
Ｖs を５ｋｍ／ｈに設定した場合の実験値である。図５
に示すように、車間距離Ｚが短いほどフローの総数Ｍも
増加傾向にはあるが、理論値にはのっておらず、また、
相対速度Ｖs が小さいほど不安点になっている。したが
って、この実験結果からも、フローの総数Ｍは危険度と
しては不適当であることがわかる。また、実験データに
はないが、フローの総量ΣｄＰa も同様のことが言え
る。 【００４３】一方、図６は、フローの大きさの平均値ｄ
Ｐave.の理論値と実験値とを比較したものであり、実線
は（３）式〜（５）式で示されるフローの大きさｄＰav
e.の理論値である。また、■，△は実験で得られたフロ
ーの大きさの平均値ｄＰave.であり、△は昼間の実験デ
ータを示し、■は夜間の実験データを示している。図６
に示すように、危険度の高い状況、即ち、相対速度が大
きく車間距離が狭い状況でも、フローの大きさの平均値
ｄＰave.は安定して理論値にのっており、フローの大き
さの平均値ｄＰave.を危険度として用いることが可能で
あることが、この実験結果からも確認できる。 【００４４】そして、■で示す夜間の実験データの方
が、△で示す昼間の実験データよりもより理論値にのっ
ていることがわかるが、これは、夜間におけるオプティ
カルフローはそのほとんどがヘッドライトより発生する
ので、コントラストが強く、また、発生範囲が安定して
おり、これにより後続車両のみに基づくフローの大きさ
の平均値ｄＰave.を正確に算出できるからである。した
がって、この実験データより、ドライバにとっては危険
度が大きい夜間ほどより正確な危険度判定を行なうこと
ができるという、フローの大きさの平均値ｄＰave.を危
険度として用いることの有用性が確認される。 【００４５】本発明の一実施形態としてのオプティカル
フロー式後方情報検出装置は上述のように構成されてい
るので、例えば、図７，図８に示すような流れで危険度
判定処理が行なわれる。図７に示すように、まず、ＣＣ
Ｄカメラ２より時間ｔにおいて撮像した後方画像を、Ａ
／Ｄ変換器３でＡ／Ｄ変換して第１フレームメモリ４Ａ
に格納する（ステップＳ１００）。次いで、そのΔｔ時
間〔例えば、５／３０秒（５フレーム分）〕後に撮像し
た後方画像を第２フレームメモリ４Ｂに格納する（ステ
ップＳ２００）。 【００４６】オプティカルフロー算出手段５では、各フ
レームメモリ４Ａ，４Ｂに格納されたそれぞれの画像か
ら輝度差に基づいて着目画素を抽出し、２つの画像間に
おける着目画素の対応を求める（ステップＳ３００）。
そして、対応する着目画素を結んだベクトルとしてのオ
プティカルフローを得る。このとき、ＣＣＤカメラ２で
撮像される画像には、後続車両等の他に道路標識等の周
囲風景も含まれるが、オプティカルフロー算出手段５で
は、２画面間の対応着目画素を結んだベクトルの向きに
閾値を設け、後続車両等の自車両に接近する移動物体に
対応するオプティカルフローのみを算出する（以上、ス
テップＳ４００）。 【００４７】演算手段６では、オプティカルフロー算出
手段５で算出された後続車両に対応するオプティカルフ
ローに基づき危険度、即ち、オプティカルフローの大き
さの平均値ｄＰave.を算出する（ステップＳ５００）。
この危険度（平均値）ｄＰave.の算出は次のように行な
う。図８に示すように、まず、演算手段６では、オプテ
ィカルフロー算出手段５で算出された全オプティカルフ
ローについて、その大きさｄＰa を算出する（ステップ
Ｓ５１０）。そして、演算手段６の機能要素であるグル
ープ化処理手段６Ａでは、オプティカルフローをその大
きさｄＰａの分布に基づき、また、オプティカルフロー
の向きや発生番地の位置関係も考慮に入れてグループ化
する（ステップＳ５２０）。このとき、グループ化によ
り形成された複数のオプティカルフロー群の個数は、台
数表示手段９において、自車両に接近する後続車両の台
数として表示する。次に、判定対象選定手段６Ｂでは、
グループ化処理手段６Ａにおいて形成された複数のオプ
ティカルフロー群のそれぞれについて重心位置を算出
し、重心位置が最下方にあるオプティカルフロー群を危
険度の判定対象に選定する（ステップＳ５３０）。 【００４８】危険度の判定対象となるオプティカルフロ
ー群Ｆa が選定されると、演算手段６では、オプティカ
ルフロー群Ｆa に属するオプティカルフローの総数Ｍを
算出し（ステップＳ５４０）、次に、オプティカルフロ
ー群Ｆa に対応するＭ個のフローの大きさｄＰa の総
和、即ち、フローの総量ΣｄＰa を算出し（ステップＳ
５５０）、算出したフローの総数Ｍ、フローの総量Σｄ
Ｐa から、フローの大きさｄＰa の平均値ｄＰave.（ｄ
Ｐave.＝ΣｄＰa ／Ｍ）を算出して危険度とする（ステ
ップＳ５６０）。 【００４９】危険度判定手段７では、演算手段６におい
て演算された危険度（フローの大きさの平均値ｄＰav
e.）を予め設定した所定値と比較し（ステップＳ６０
０）、危険度が所定値を越えたときには、隣レーンへの
車線変更は危険と判定して警報表示モニター８に警報表
示させる。（ステップＳ７００） このように、本オプティカルフロー式後方情報検出装置
では、複数のオプティカルフローが得られた場合、これ
らのオプティカルフローをその大きさｄＰａの分布に基
づいて関連付けられるオプティカルフロー群にグループ
化するようになっているので、自車両に接近する車両が
複数存在する場合、オプティカルフロー群の数により接
近する後続車両の台数を把握することができるという利
点がある。 【００５０】そして、オプティカルフロー群の位置関係
から自車両に最接近している車両に該当するオプティカ
ルフロー群を特定することができ、このオプティカルフ
ロー群に基づいて危険度を算出することにより、ドライ
バの感覚に合致した危険度判定を行なうことができると
いう利点がある。また、本オプティカルフロー式後方情
報検出装置では、オプティカルフローの大きさｄＰａに
基づき隣レーンへの車線変更時の危険度判定を行なって
いるが、オプティカルフローの大きさｄＰａ自体は、フ
ローの総数Ｍやフローの総量ΣｄＰa のように後続車両
の大きさの影響を受けず、また、オプティカルフローの
大きさｄＰa と減速度関数Ａr による危険度との相対速
度Ｖs ，車間距離Ｚに対する特性は一致しているので、
被検出車両の大きさによらず均一に、かつ、ドライバの
感覚にも適合した危険度判定を行なうことができる。 【００５１】そして、一つのオプティカルフローの大き
さｄＰa を基準とするのではなく、後続車両に対応する
全てのオプティカルフローの大きさの平均値ｄＰave.を
基準として危険度判定を行なっているので、光の反射具
合の変化等によりオプティカルフローが消失したり、ま
た、後続車両の接近によりオプティカルフローが増加し
たような場合でも、それらの影響を受けずに、常に安定
した危険度判定を行なうことが可能である。 【００５２】特に、危険度が高い場面、例えば、後続車
両と自車両との車間距離Ｚが非常に狭くなっており、か
つ相対速度Ｖs が大きいような場合には、危険度に関す
る情報も安定性が強く要求される。このような場合、Ｃ
ＣＤカメラ２上での後続車両の画像も大きくなるので、
平均化処理のサンプルとなる後続車両に対応するオプテ
ィカルフローの総数も増加し、また、相対速度Ｖs が大
きいほどオプティカルフローの大きさｄＰa も大きくな
るので、オプティカルフローの大きさの平均値ｄＰave.
の算出精度も向上し、より安定した危険度判定が可能と
なる。 【００５３】さらに、夜間もドライバにとっては危険度
が大きいが、夜間におけるオプティカルフローはそのほ
とんどがヘッドライトより発生するので、コントラスト
が強く且つ発生範囲が安定している。このため、後続車
両のみに基づくフローの大きさの平均値ｄＰave.を正確
に算出することができ、正確且つ安定した危険度判定が
可能になるという利点もある。 【００５４】なお、本発明は上述した実施形態に限定さ
れるものではなく、本発明の趣旨を逸脱しない範囲で種
々変形して実施することができ、例えば、本実施形態で
は、判定対象選定手段６Ｂによる自車両へ最接近した車
両の選定において、画像上の最下方に位置するオプティ
カルフロー群を最接近車両と選定するようになっている
が、ＣＣＤカメラ２で得られた画像情報から道路上の白
線を抽出し、抽出した白線との位置関係から最接近車両
を特定するようにしてもよい。 【００５５】また、本実施形態のように自車両へ最接近
した車両を危険度の判定対象とするのではなく、次のよ
うにして危険度の判定対象を選定してもよい。つまり、
判定対象選定手段６Ｂにおいて、各オプティカルフロー
群について重心位置を算出するとともに、併せてオプテ
ィカルフロー群の平均ベクトル、即ち、平均の大きさと
方向とを算出する。そして、これらの重心位置，ベクト
ルの大きさ，方向に基づき各オプティカルフロー群の画
面上での移動軌跡を算出し、画面の下端若しくは左端ま
たは右端に最も早く到達すると予想されるオプティカル
フロー群を危険度の判定対象に選定する。 【００５６】このようにして危険度の判定対象とするオ
プティカルフロー群を選定することにより、自車両に最
も早く到達すると予測される車両に基づいた危険度の算
出が可能となり、ドライバの感覚により合致した危険度
判定を行なうことができるようになる。また、夜間にお
いては、得られるオプティカルフローはヘッドライトか
ら発生したもののみであるという特徴から、グループ化
処理手段６Ａにおけるオプティカルフローのグループ化
を次のようにして行なうようにしてもよい。 【００５７】つまり、通常ヘッドライトは車両に２つ設
けられており、ヘッドライト間の距離は車幅を越えるこ
とはない。また、ヘッドライトの大きさも車種によって
大きな差はない。したがって、ヘッドライトの大きさと
２つのヘッドライト間の距離との関係は一定範囲内に収
まると考えられ、同様に、画像上における１つのヘッド
ライトに相当するオプティカルフローの総数と、ヘッド
ライトに相当する２つのオプティカルフロー群間の距離
の関係も一定範囲に収まると考えられる。 【００５８】そこで、夜間においては、まず、１つのヘ
ッドライトに相当するオプティカルフローの塊毎にオプ
ティカルフロー群を設定する。そして、各オプティカル
フロー群に属するオプティカルフローの総数と、オプテ
ィカルフロー群相互間の距離とを上述の一定範囲の関係
に照らし合わせ、対応する２つのオプティカルフロー群
を特定する。特定された対応する２つのオプティカルフ
ロー群は、１台の後続車両に相当するものとしてカップ
リングし、１つのオプティカルフロー群として再設定す
る。 【００５９】このように、ヘッドライトに相当する２つ
のオプティカルフロー群の相関関係に基づき１台の後続
車両に該当するオプティカルフロー群を特定することに
より、異車両間でのオプティカルフローの混同が防止さ
れ、夜間におけるより正確な車両台数の把握が可能にな
るとともに、危険度判定もより正確に行なうことが可能
となるという利点がある。 【００６０】 【発明の効果】以上詳述したように、本発明のオプティ
カルフロー式後方情報検出装置によれば、オプティカル
フローをその大きさの分布に基づいて関連付けられるオ
プティカルフロー群にグループ化するようになっている
ので、自車両に接近する物体が複数存在する場合でも、
得られるオプティカルフローの中から危険度の判定対象
とすべき物体に該当するオプティカルフロー群を選定す
ることができ、選定したオプティカルフロー群について
危険度を判定するので、ドライバの感覚に合致した危険
度判定を行なうことができる。 【００６１】そして、危険度の判定は、選定したオプテ
ィカルフロー群に属するオプティカルフローの大きさの
平均値に基づき行なっているので、光の反射具合の変化
等の撮像状況によるオプティカルフローの消失，発生
や、移動物体の大きさによるオプティカルフローの総数
の大小の影響を受けることなく、後側方から接近してく
る移動物体に対する危険度を均一且つ安定して判定する
ことができる。
れた画像上の移動ベクトル（オプティカルフロー）を用
いて後方（特に、後側方）から接近する車両を検出す
る、オプティカルフロー式後方情報検出装置に関する。 【０００２】 【従来の技術】従来より、カメラ等で撮像された時刻の
異なる２画像中の同一点の移動ベクトルを算出し、算出
した移動ベクトルから接近する移動物体の存在を検出す
る技術が知られており、特に、自動車の分野において、
カメラ等で自車両の後方を撮像して、後側方（例えば、
隣レーンの後方）から接近してくる他車両の存在を検出
するオプティカルフロー式後方情報検出装置が知られて
いる。 【０００３】このオプティカルフロー式後方情報検出装
置は、近年、開発が進められている自動走行制御装置、
即ち、走行中の道路に対する車両の位置姿勢や他車両と
の相対的関係の把握を行ない、これに基づいて自動車の
自動走行制御を行なう装置の要素技術としても有望であ
り、各種のオプティカルフロー式後方情報検出装置が提
案されている。 【０００４】例えば、特開平８−８３３４５号公報に開
示された技術（第１従来技術）は、画像中に大きな占有
面積の移動物体が存在する場合でも、確実に移動物体に
起因するオプティカルフローを抽出し、さらに、抽出し
たオプティカルフローによりその移動物体が接近してい
るものか否かを判定する方法に関する技術である。ま
た、特開平９−１８８６３号公報に開示された技術（第
２従来技術）は、複数のカメラ又は旋回可能なカメラを
そなえることにより、車両後方の監視領域を広げて安全
性を高めようとするものである。 【０００５】 【発明が解決しようとする課題】上述のように、従来よ
りオプティカルフロー式後方情報検出装置について種々
の研究開発が行なわれているが、その多くはオプティカ
ルフローにより物体の移動を把握することを主目的とし
ており、オプティカルフロー自身が如何なる情報を有し
ており、それをどう活用するかについての検討は進んで
いないのが現状である。例えば、上述の第１従来技術で
は、移動物体が接近していると判定された時には、警報
信号を出力するようになっているが、ここでは、オプテ
ィカルフローは単に移動物体が接近しているか否かの判
定基準として利用されているにすぎず、単に移動物体が
接近しているからといって、必ずしも警報を出すべきも
のとは限らない。 【０００６】ところで、隣レーンに車線変更をしようと
する時は、ドライバは、隣レーンの後方から走行してく
る後続車両を確認し、危険かどうか判断してから車線変
更を行なっている。このとき、ドライバは、後続車両と
自車両との車間距離や相対速度を、距離計や速度計で計
測して危険かどうか判断している分けではない。バック
ミラー等を介してドライバ自身の目に映った後続車両の
大きさや動きから、車線変更の危険度を判断しているの
である。 【０００７】このドライバの目に映る後続車両の大きさ
や動きは、オプティカルフローにも反映され、後続車両
が接近してくると、その後続車両に対応したオプティカ
ルフローの発生数も増加し、また、オプティカルフロー
の大きさ（ベクトルの長さ）も大きくなる。したがっ
て、この点に着目すれば、オプティカルフローの変化を
通して、後方から接近する後続車両に対する危険度を判
定することは可能であると考えられる。 【０００８】第２従来技術では、後続車両に対応する発
散方向のオプティカルフローに対して、その大きさに重
み付けをし、重み付けをした値が或るしきい値を越えた
ら危険と判断するようになっている。ところが、この第
２従来技術では、オプティカルフローと危険度とがどの
ように対応しているのか明確でなく、また、如何なる重
み付けをするのかも記載がない。つまり、オプティカル
フローの大きさに重み付けをした値を危険度判定と結び
付ける具体的妥当性に欠けており、また、オプティカル
フローの性質、即ち、撮像角度等の微妙な変化により消
失，発生し、連続的には変化しない点についての考慮は
されていない。 【０００９】さらに、後側方から接近してくる後続車両
は常に１台とは限らず、複数の後続車両が接近してくる
場合がある。この場合、ドライバ自身の視覚に基づく
と、最も自車両に接近している車両や、又は、急接近し
てくる車両等の特定の車両を基準に危険度を判断する。
一方、撮像画像から抽出されるオプティカルフローにも
複数台分のオプティカルフローが含まれており、その中
のどのオプティカルフローを基準に選定するかにより、
危険度の判定精度が変化する。したがって、このような
場合のオプティカルフローの選定も、ドライバ自身が判
断する際の選定基準と合致したものとしたい。 【００１０】本発明は、上述の課題に鑑み創案されたも
ので、オプティカルフローの有する危険度に関する情報
としての有用性に着目し、複数台の接近車両が存在する
場合でも常に安定した危険度判定を行なえるようにし
た、オプティカルフロー式後方情報検出装置を提供する
ことを目的とする。 【００１１】 【課題を解決するための手段】このため、本発明のオプ
ティカルフロー式後方情報検出装置では、撮像手段によ
り所定周期で撮像された自車両後方の複数画像からオプ
ティカルフロー算出手段によりオプティカルフローを算
出して、自車両に接近する物体を検出するが、まず、グ
ループ化処理手段によりオプティカルフローの大きさの
分布に基づいてオプティカルフローをオプティカルフロ
ー群にグループ化し、グループ化された複数のオプティ
カルフロー群の中から判定対象選定手段により危険度判
定対象とするオプティカルフロー群を選定する。そし
て、判定対象選定手段で選定された判定対象オプティカ
ルフロー群に属するオプティカルフローの大きさの平均
値を演算手段で演算し、得られたオプティカルフローの
大きさの平均値に基づき、危険度判定手段により判定対
象オプティカルフロー群に該当する物体の接近の危険度
を判定する。 【００１２】これにより、オプティカルフローの有する
危険度に関する情報が有効活用されるとともに、常に安
定した危険度判定が行なわれる。 【００１３】 【発明の実施の形態】以下、図面により、本発明の実施
の形態について説明すると、図１〜図８は本明の一実施
形態としてのオプティカルフロー式後方情報検出装置
（以下、単に後方情報検出装置という）を示すものであ
る。本後方情報検出装置は、図１に示すように、車両１
の所定の位置（例えばリヤウインドウの上部又は下部）
に自車両後方の道路状況を撮像する撮像手段としてのＣ
ＣＤカメラ２をそなえており、ＣＣＤカメラ２で得られ
た画像情報（アナログ画像信号）は、車両１内部にそな
えられたＥＣＵ１０へ入力されるようになっている。 【００１４】ＥＣＵ１０は、Ａ／Ｄ変換器３，第１フレ
ームメモリ４Ａ，第２フレームメモリ４Ｂ，オプティカ
ルフロー算出手段（ＤＳＰ）５，演算手段６，危険度判
定手段７から構成されており、ＣＣＤカメラ２から入力
されたアナログ画像信号は、まず、Ａ／Ｄ変換器３によ
ってデジタル画像信号へ変換処理されるようになってい
る。 【００１５】そして、Ａ／Ｄ変換器３で処理されたデジ
タル画像信号は、第１フレームメモリ４Ａ，第２フレー
ムメモリ４Ｂに交互に周期的に格納されるようになって
いる。このデジタル画像信号の格納周期は、後述のオプ
ティカルフロー（以下、単にフローとも略す）の算出等
の画像処理能力で決まるが、ここでは、例えば、１０フ
レーム（１フレーム１／３０秒）毎に５フレームの位相
差で各フレームメモリ４Ａ，４Ｂにデジタル画像信号が
入力されるようになっているものとする。 【００１６】オプティカルフロー算出手段５は、各フレ
ームメモリ４Ａ，４Ｂに格納された撮像時間の異なるデ
ジタル画像信号に基づきオプティカルフローを算出する
ようになっている。このオプティカルフロー算出手段５
におけるオプティカルフローの算出処理について説明す
ると、次のようになる。まず、第１フレームメモリ４Ａ
に格納された時間ｔにおける撮像画像（第１フレーム）
から着目画像（画素）を抽出し、続いて、第２フレーム
メモリ４Ｂに格納された時間ｔ＋Δｔ〔Δｔ＝５／３０
秒（５フレーム分）〕における撮像画像（第２フレー
ム）の着目画像（画素）を抽出する。この着目画素の設
定は、一定の閾値以上の画素を選定するようにしてもよ
く、また、撮像画像上において周囲画素の輝度の平均よ
りも特に高輝度の画素を選定するようにしてもよい。 【００１７】ここで、図２（ａ），（ｂ）に示すよう
に、異なる時間において、後方から隣車線（以下、隣レ
ーンという）上を接近してくる後続車両１０１，１０２
を撮像したとする。図２（ａ）に示す画像１００Ａを時
間ｔにおける撮像画像とし、図２（ｂ）に示す画像１０
０Ｂを時間ｔ＋Δｔにおける撮像画像とすると、それぞ
れの画像１００Ａ，１００Ｂから例えば着目画素ＰA1，
ＰA2，ＰA3，ＰA4，ＰB1，ＰB2，ＰB3，ＰB4を抽出す
る。なお、ここでは、説明の便宜上、各画像１００Ａ，
１００Ｂにおける各車両１０１，１０２に対応する着目
画素は各２つとしているが、実際はさらに多くの着目画
素を抽出することになる。 【００１８】そして、それぞれの着目画素ＰA1，ＰA2，
ＰA3，ＰA4，ＰB1，ＰB2，ＰB3，Ｐ B4にウインドウ
ＳA1，ＳA2，ＳA3，ＳA4，ＳB1，ＳB2，ＳB3，ＳB4を設
定し、２画面１００Ａ，１００Ｂ間のウインドウＳA1〜
ＳA4，ＳB1〜ＳB4の同一性を検証して、２画面１００
Ａ，１００Ｂ間の対応する着目画素を求めるようになっ
ているのである。このウインドウの同一性の検証方法と
しては、公知の方法を用いることができ、例えば、特開
平８−８３３４５号公報に記載されているように、相関
法や勾配法により検証することができる。 【００１９】そして、２画面１００Ａ，１００Ｂ間の対
応する着目画素が求められると、これらの着目画素を結
んだベクトルがオプティカルフローとなるのである。こ
こでは、ウインドウはＳA1とＳB1と、ＳA2とＳB2と、Ｓ
A3とＳB3と、ＳA4とＳB4とが同一であるので、着目画素
はＰA1とＰB1と、ＰA2とＰB2と、ＰA3とＰB3と、ＰA4と
ＰB4とが対応しており、それぞれを結ぶことによりオプ
ティカルフローｆ1 ，ｆ2 ，ｆ3 ，ｆ4 が求められる。 【００２０】このようにして、他の対応する着目画素に
ついても対応を検証していくことにより、図２（ｃ）に
示すように、後方を走行する後続車両１０１，１０２に
対応した複数のオプティカルフローが得られるのであ
る。なお、後続車両１０１，１０２以外にも、道路標識
１０３等の周囲風景に対応したオプティカルフローも得
られるが、これらは自車両から相対的に遠ざかるように
（いわゆる無限遠点方向に収束するように）移動してい
るので、後続車両１０１，１０２に対応するオプティカ
ルフローとは、ベクトルの向きが逆となる。そこで、オ
プティカルフロー算出手段５では、ベクトルの向きに閾
値を設け、自車両に接近する方向のオプティカルフロー
のみ算出するようになっている。 【００２１】ところで、ここで得られたオプティカルフ
ローは、実際の車両と後続車両との位置関係に対してど
のように対応しているのか説明すると、図３に示すよう
な幾何学的関係で表すことができる。図３は、水平面内
での幾何学的関係を表したものであるが、隣車線までの
距離をＷ、自車両から後続車両までの距離をＺとし、Ｃ
ＣＤカメラ２の画面上での横方向距離をＸ、ＣＣＤカメ
ラ２の焦点距離をＤとしている。ここで、Ｎフレーム間
（Ｎ／３０秒間）での後続車両の相対移動距離をｄｚ、
ＣＣＤカメラ２の画面上での横方向移動距離をｄｘとす
ると、画面上横方向移動距離ｄｘは、次のように表され
る。 ｄｘ＝Ｗ×Ｄ×（１／（Ｚ−ｄｚ）−１／Ｚ） ・・・・・・・・（１） また、自車両に対する後続車両の相対速度をＶs とする
と、Ｎフレーム間での後続車両の相対移動距離ｄｚは
（Ｖs ／３０）×Ｎとなるので、画面上水平方向移動距
離ｄｘは、次のように表すことができる。 ｄｘ＝Ｗ×Ｄ×（３０／（３０×Ｚ−Ｖs ×Ｎ）−１／Ｚ）・・・・・（２） この画面上水平方向移動距離ｄｘを画素単位であらわし
た、フレームメモリ上の水平移動距離ｄＰx(pixel)は、
ＣＣＤカメラ２の水平有効サイズをＬ１、水平画素数を
ｎ１とすると、次式のように表すことができる。 ｄＰx(pixel)＝ｄｘ×（ｎ１／Ｌ１） ＝Ｗ×Ｄ×（３０／（３０×Ｚ−Ｖs ×Ｎ）−１／Ｚ） ×（ｎ１／Ｌ１） ・・・・・・・・（３） 同様に、フレームメモリ上の垂直移動距離ｄＰy(pixel)
は、ＣＣＤカメラ２の設置高さをＨ、ＣＣＤカメラ２の
垂直有効サイズをＬ２、垂直画素数をｎ２とすると、次
式のように表すことができる。 ｄＰy(pixel)＝Ｈ×Ｄ×（３０／（３０×Ｚ−Ｖs ／Ｎ）−１／Ｚ） ×（ｎ２／Ｌ２） ・・・・・・・・（４） ここで、フレームメモリ上のオプティカルフローの大き
さｄＰａは、水平移動距離ｄＰx(pixel)，垂直移動距離
ｄＰy(pixel)を用いると、 ｄＰa ＝（ｄＰx2＋ｄＰy2）1/2 ・・・・・・・・（５） であらわすことができるので、（３）式，（４）式に示
す水平移動距離ｄＰx(pixel)，垂直移動距離ｄＰy(pixe
l)と相対速度Ｖs ，車間距離Ｚとの関係から、相対速度
Ｖs が大きく、車間距離Ｚが短いほど、オプティカルフ
ローの大きさ（以下、単にフローの大きさという）ｄＰ
ａは大きくなることがわかる。つまり、仮に相対速度Ｖ
s が一定ならば、フローの大きさｄＰａが大きくなるほ
ど、自車両と後続車両との車間距離Ｚが詰まってきてい
ると判定することができる。 【００２２】このフローの大きさｄＰａの算出は、演算
手段６において行なわれ、演算手段６は、後方を走行す
る後続車両に対応する全てのオプティカルフローについ
て、それらの大きさｄＰａを算出し、オプティカルフロ
ーの発生番地（画像上における着目画素の番地）と対応
させるようになっている。ところで、（３）〜（５）式
より、車間距離Ｚ，相対速度Ｖｓが同一ならばオプティ
カルフローの大きさｄＰａも等しいことがわかる。つま
り、後続車両から発生する複数のオプティカルフローに
ついて考えた場合、同一の後続車両から発生するオプテ
ィカルフローであれば、その大きさｄＰａは略等しく、
逆に異なる後続車両から発生するオプティカルフローで
あれば、その大きさｄＰａも異なるといえる。 【００２３】また、この逆も言え、画像上のオプティカ
ルフローの大きさｄＰａが同一であれば、それは同一の
後続車両から発生した可能性が高く、大きさｄＰａの異
なる複数のオプティカルフローが存在していれば、複数
の後続車両が存在していると判断することができる。し
たがって、大きさｄＰａの異なる複数のオプティカルフ
ローが検出された場合、同じ大きさｄＰａのオプティカ
ルフローをグループ化して一つのオプティカルフロー群
とすることにより、オプティカルフロー群の位置と個数
から後続車両の位置と台数を推定することが可能とな
る。 【００２４】本後方情報検出装置では、演算手段６の機
能要素であるグループ化処理手段６Ａにより、上述のオ
プティカルフローのグループ化処理を行なうようになっ
ている。例えば、図２（ｃ）では、後続車両１０１，１
０２に対応するオプティカルフローｆ1 ，ｆ2 ，ｆ3 ，
ｆ4 が存在するが、後続車両１０１に対応するオプティ
カルフローｆ1 ，ｆ2 は大きさが略等しく、また、後続
車両１０１に対応するオプティカルフローｆ3 ，ｆ4 は
大きさが略等しく、そして、オプティカルフローｆ1 ，
ｆ2 とオプティカルフローｆ3 ，ｆ4 とでは大きさは異
なる。 【００２５】そこで、グループ化処理手段６Ａでは、オ
プティカルフローｆ1 ，ｆ2 とこれらと同じ大きさの他
のオプティカルフローとをグループ化してオプティカル
フロー群Ｆ1 として設定し、オプティカルフローｆ3 ，
ｆ4 とこれらと同じ大きさの他のオプティカルフローと
をグループ化してオプティカルフロー群Ｆ2 として設定
するようになっている。 【００２６】なお、グループ化に際しては、グループ化
処理手段６Ａはオプティカルフローの大きさｄＰａのみ
ならず、オプティカルフローの向きや発生番地の位置関
係も考慮に入れるようになっている。例えば、同じ大き
さのオプティカルフローであっても向きが全く異なれば
同一の物体から発生したものではないと判断し、また、
同じ大きさの２つのオプティカルフローの間に、大きさ
の異なるオプティカルフローが存在していれば、２つの
オプティカルフローの間に連続性がないので異なる物体
から発生したオプティカルフローと判断するようになっ
ている。 【００２７】また、グループ化処理手段６Ａで設定した
オプティカルフロー群の数、即ち、推定される後続車両
の台数は、台数表示手段９に入力され、台数表示手段９
によりドライバに対して表示されるようになっている。
例えば、図２（ｃ）の場合では、２つのオプティカルフ
ロー群Ｆ1 ，Ｆ2 が存在するので、台数表示手段９には
２台と表示される。 【００２８】こうしてグループ化処理手段６Ａによるオ
プティカルフローのグループ化が行なわれると、演算手
段６は、さらに、その機能要素である判定対象選定手段
６Ｂにより、グループ化された複数のオプティカルフロ
ー群の中から危険度判定の対象とするべきオプティカル
フロー群を選定するようになっている。判定対象選定手
段６Ｂは、まず、グループ化処理手段６Ａでグループ化
された複数のオプティカルフロー群について、それぞれ
の重心位置、即ち、オプティカルフロー群を構成する複
数のオプティカルフローの水平方向，垂直方向の平均発
生番地を算出するようになっている。 【００２９】そして、各オプティカルフロー群の重心位
置を比較し、垂直方向の重心位置が最も下方にあるオプ
ティカルフロー群を危険度の判定対象に選定するように
なっている。つまり、判定対象選定手段６Ｂは、自車両
に最接近している後続車両を危険度の対象と選定するの
である。例えば、図２（ｃ）の場合では、２つのオプテ
ィカルフロー群Ｆ1 ，Ｆ2 の重心位置Ｏ1 ，Ｏ2 を比較
すると、重心Ｏ2 の方が下方に位置しているので、判定
対象選定手段６Ｂは、オプティカルフロー群Ｆ 2 が自車
両に最接近している後続車両に該当すると判定する。 【００３０】このようにして、自車両に最接近している
後続車両に該当するオプティカルフロー群が危険度判定
対象に選定されると、演算手段６は、選定されたオプテ
ィカルフロー群、図２（ｃ）においてはオプティカルフ
ロー群Ｆ2 を、演算対象のオプティカルフロー群Ｆa と
して設定し、以下の演算処理を行なうようになってい
る。 【００３１】まず、演算手段６は、演算対象として設定
したオプティカルフロー群Ｆa におけるオプティカルフ
ローの総数（以下、単にフローの総数という）Ｍ、即
ち、オプティカルフロー群Ｆa に対応する着目画素の総
数を算出するようになっている。なお、このフローの総
数Ｍは、被検出車両の前面面積をＡ、ＣＣＤカメラ２の
総画素数をＡc 、ＣＣＤカメラ２の水平画角をθ１、Ｃ
ＣＤカメラ２の垂直画角をθ２としたとき、次式のよう
に算出することができる。 Ｍ＝Ａ×Ａc ／（４×ｔａｎ（θ１／２）×ｔａｎ（θ２／２））／Ｚ2 ・・・・・・・・（６） さらに、演算手段６は、先に算出したオプティカルフロ
ー群Ｆa に対応するＭ個のフローの大きさｄＰa の総
和、即ち、オプティカルフロー群Ｆa に対応するオプテ
ィカルフローの総量（以下、単にフローの総量という）
ΣｄＰa を算出するようになっている。そして、算出し
たフローの総数Ｍ、フローの総量ΣｄＰaから、フロー
の大きさｄＰa の平均値ｄＰave.（ｄＰave.＝ΣｄＰa
／Ｍ）を算出するようになっている。 【００３２】こうして演算手段６において演算されたオ
プティカルフロー群Ｆa のフローの大きさの平均値ｄＰ
ave.は、危険度判定手段７において、オプティカルフロ
ー群Ｆa に該当する後続車両１０２の危険度、即ち、自
車両が後続車両１０２の走行する隣車線へ車線変更する
際の危険度を判定する際の基準とされる。つまり、危険
度判定手段７は、フローの大きさの平均値ｄＰave.が所
定値を越えたときには、隣車線への車線変更は危険と判
定して警報表示モニター８を作動させるようになってい
るのである。なお、警報表示モニター８は、フローの大
きさの平均値ｄＰave.に基づく危険度が段階的に示され
るようになっており、危険度が所定値を越えた時には、
警報音や警報表示によってドライバに警告するようにな
っている。 【００３３】ここで、フローの大きさの平均値ｄＰave.
を危険度判定の基準に適用する意義について説明する
と、まず、その前に危険度情報として一般に用いられる
減速度関数について説明する必要がある。通常、２台の
車両が前後に連なって走行する場合の安全走行距離Ｄs
は、先行車両がブレーキをかけた場合を想定して次式の
ように定められている。 Ｄs ＝Ｖr ×Ｔm ＋Ｖr2／２／Ａr −Ｖf2／２／Ａf ・・・・・・・（７） 上式においてＴm は車間時間であり、Ｖf ，Ｖr はそれ
ぞれ自車両（即ち、先行車両）, 後続車両の車速、Ａf
，Ａr はそれぞれ自車両（即ち、先行車両）,後続車両
の減速度を示している。 【００３４】ここで、高速道路での通常走行では、車間
時間Ｔm は１〜２秒、一般的なドライバが踏める最大減
速度は６．０m/s2と言われており、車間時間Ｔm を１．
３秒、自車両の減速度Ａf を６．０m/s2とすると、後続
車両の減速度Ａr は次式で表すことができる。 Ａr ＝（Ｖr2／２）／（Ｄs −１．３×Ｖr ＋Ｖf2／１２）・・・・・（８） 上式は、車速Ｖf で走行中の自車両が、通常考えられる
最大減速度（６．０m/s2）で急減速した時に、一般的な
車間時間１．３秒の安全車間距離Ｄs を保つのに必要
な、車速Ｖr で走行中の後続車に要求される減速度Ａr
に対応しており、この減速度Ａr が一般的に危険度とし
て用いられている減速度関数である。 【００３５】この減速度関数Ａr により表される危険度
は、（８）式からもわかるように、車間距離Ｄs が短い
ほど、また、車両間の速度差（即ち、Ｖr −Ｖf ）が大
きいほど、大きくなっており、実際の走行におけるドラ
イバの感覚にも適合したものである。したがって、この
減速度関数により表される危険度と同様の特性をもった
危険度判定のパラメータを設定することが有意義と考え
られる。 【００３６】ところで、（３）式〜（５）式で表される
フローの大きさｄＰa も、前述のように相対速度Ｖs が
大きいほど、また、車間距離Ｚが短いほど、大きくなっ
ているので、減速度関数Ａr により表される危険度とそ
の特性が一致している。ところが、オプティカルフロー
の算出基準となる画像上の着目画素は、輝度差に基づい
て設定されるため、光の反射具合等により突然消失する
ことがある。このような場合、オプティカルフローも消
失してしまうため、任意の一つのオプティカルフローに
着目しただけでは、連続的にフローの大きさｄＰa の評
価を行ない危険度を判定することはできない。 【００３７】一方、前述のフローの総数Ｍやフローの総
和ΣｄＰa を危険度判定のパラメータとして適用するこ
とも考えられる。しかしながら、フローの総数Ｍは、
（６）式に示すように、車間距離Ｚが短いほど大きくな
る点では、減速度関数Ａr により表される危険度と特性
が一致するが、被検出車両の前面面積Ａの影響を受け、
また、相対速度とは無関係である。このため、フローの
総数Ｍが大きくなったとしても、それが車間距離が短く
なったためなのか、それとも被検出車両が大きいためな
のか区別がつかない。また、実際の走行では、オプティ
カルフローの発生総数は被検出車両の前面面積の他に、
車両の形状や色の影響も受け、さらには、前述のよう
に、オプティカルフローの一つ一つは、光の反射具合等
により消失したり発生したりするため、正確な危険度判
定をすることはできない。 【００３８】同様に、フローの総量ΣｄＰa では、
（３）式〜（６）式から分かるように、相対速度Ｖs が
大きいほど、また、車間距離Ｚが短いほど大きくなる点
では、減速度関数Ａr により表される危険度と一致する
が、被検出車両の前面面積Ａの影響を受ける点ではフロ
ーの総数Ｍと同様であり、相対速度Ｖs ，車間距離Ｚに
基づく正確な危険度判定をすることはできない。 【００３９】これに対し、フローの大きさの平均値ｄＰ
ave.では、フローの総和ΣｄＰa をフローの総数Ｍで除
算することにより、被検出車両の前面面積Ａや車両の形
状や色等の影響は排除される。また、複数のフローの大
きさｄＰa の平均であるため、仮に着目画素の一つが画
面上から消失したとしても、フローの大きさの平均値ｄ
Ｐave.の連続性が失われたり、大きく変化したりするこ
とはない。 【００４０】そして、図４に示すように、フローの大き
さの平均値ｄＰave.の車間距離Ｚに対する特性は、減速
度関数Ａr により表される危険度の特性と一致してい
る。なお、ここでは、フローの大きさの平均値ｄＰave.
を（３）式〜（５）式から算出されるフローの大きさｄ
Ｐa で表しており、（３）式，（４）式における各変数
の値は次の値を用いている。Ｗ：３．５ｍ，Ｈ：１．４
ｍ，Ｄ：０．００１５ｍ，Ｎ：５フレーム，ｎ１：２５
６pixel ，ｎ２：２４０pixel ，Ｌ１：０．００６５４
ｍ，Ｌ２：０．００４８９ｍ，Ｖs ：４０ｋｍ／ｈ。ま
た、減速度関数により表される危険度Ａr の算出にあた
り（８）式における各変数は次の値を用いている。Ｖf
：８０ｋｍ／ｈ，Ｖr ：１２０ｋｍ／ｈ。 【００４１】つまり、フローの大きさの平均値ｄＰave.
を危険度判定の基準とすることにより、減速度関数Ａr
により表される危険度と同様に、車間距離Ｚが短いほ
ど、また、相対速度Ｖs が大きいほど危険度が大きくな
るという、実際の走行におけるドライバの感覚にも適合
した危険度判定を行なうようになっているのである。こ
こで、図５，図６は、実際に車両に本オプティカルフロ
ー式後方情報検出装置を搭載し実験した結果を示すもの
である。 【００４２】まず、図５は、フローの総数Ｍの理論値と
実験値とを比較したものであり、実線は（６）式で示さ
れるフローの総数Ｍの理論値であり、□は相対速度Ｖs
を４０ｋｍ／ｈに設定した場合の実験値、▲は相対速度
Ｖs を５ｋｍ／ｈに設定した場合の実験値である。図５
に示すように、車間距離Ｚが短いほどフローの総数Ｍも
増加傾向にはあるが、理論値にはのっておらず、また、
相対速度Ｖs が小さいほど不安点になっている。したが
って、この実験結果からも、フローの総数Ｍは危険度と
しては不適当であることがわかる。また、実験データに
はないが、フローの総量ΣｄＰa も同様のことが言え
る。 【００４３】一方、図６は、フローの大きさの平均値ｄ
Ｐave.の理論値と実験値とを比較したものであり、実線
は（３）式〜（５）式で示されるフローの大きさｄＰav
e.の理論値である。また、■，△は実験で得られたフロ
ーの大きさの平均値ｄＰave.であり、△は昼間の実験デ
ータを示し、■は夜間の実験データを示している。図６
に示すように、危険度の高い状況、即ち、相対速度が大
きく車間距離が狭い状況でも、フローの大きさの平均値
ｄＰave.は安定して理論値にのっており、フローの大き
さの平均値ｄＰave.を危険度として用いることが可能で
あることが、この実験結果からも確認できる。 【００４４】そして、■で示す夜間の実験データの方
が、△で示す昼間の実験データよりもより理論値にのっ
ていることがわかるが、これは、夜間におけるオプティ
カルフローはそのほとんどがヘッドライトより発生する
ので、コントラストが強く、また、発生範囲が安定して
おり、これにより後続車両のみに基づくフローの大きさ
の平均値ｄＰave.を正確に算出できるからである。した
がって、この実験データより、ドライバにとっては危険
度が大きい夜間ほどより正確な危険度判定を行なうこと
ができるという、フローの大きさの平均値ｄＰave.を危
険度として用いることの有用性が確認される。 【００４５】本発明の一実施形態としてのオプティカル
フロー式後方情報検出装置は上述のように構成されてい
るので、例えば、図７，図８に示すような流れで危険度
判定処理が行なわれる。図７に示すように、まず、ＣＣ
Ｄカメラ２より時間ｔにおいて撮像した後方画像を、Ａ
／Ｄ変換器３でＡ／Ｄ変換して第１フレームメモリ４Ａ
に格納する（ステップＳ１００）。次いで、そのΔｔ時
間〔例えば、５／３０秒（５フレーム分）〕後に撮像し
た後方画像を第２フレームメモリ４Ｂに格納する（ステ
ップＳ２００）。 【００４６】オプティカルフロー算出手段５では、各フ
レームメモリ４Ａ，４Ｂに格納されたそれぞれの画像か
ら輝度差に基づいて着目画素を抽出し、２つの画像間に
おける着目画素の対応を求める（ステップＳ３００）。
そして、対応する着目画素を結んだベクトルとしてのオ
プティカルフローを得る。このとき、ＣＣＤカメラ２で
撮像される画像には、後続車両等の他に道路標識等の周
囲風景も含まれるが、オプティカルフロー算出手段５で
は、２画面間の対応着目画素を結んだベクトルの向きに
閾値を設け、後続車両等の自車両に接近する移動物体に
対応するオプティカルフローのみを算出する（以上、ス
テップＳ４００）。 【００４７】演算手段６では、オプティカルフロー算出
手段５で算出された後続車両に対応するオプティカルフ
ローに基づき危険度、即ち、オプティカルフローの大き
さの平均値ｄＰave.を算出する（ステップＳ５００）。
この危険度（平均値）ｄＰave.の算出は次のように行な
う。図８に示すように、まず、演算手段６では、オプテ
ィカルフロー算出手段５で算出された全オプティカルフ
ローについて、その大きさｄＰa を算出する（ステップ
Ｓ５１０）。そして、演算手段６の機能要素であるグル
ープ化処理手段６Ａでは、オプティカルフローをその大
きさｄＰａの分布に基づき、また、オプティカルフロー
の向きや発生番地の位置関係も考慮に入れてグループ化
する（ステップＳ５２０）。このとき、グループ化によ
り形成された複数のオプティカルフロー群の個数は、台
数表示手段９において、自車両に接近する後続車両の台
数として表示する。次に、判定対象選定手段６Ｂでは、
グループ化処理手段６Ａにおいて形成された複数のオプ
ティカルフロー群のそれぞれについて重心位置を算出
し、重心位置が最下方にあるオプティカルフロー群を危
険度の判定対象に選定する（ステップＳ５３０）。 【００４８】危険度の判定対象となるオプティカルフロ
ー群Ｆa が選定されると、演算手段６では、オプティカ
ルフロー群Ｆa に属するオプティカルフローの総数Ｍを
算出し（ステップＳ５４０）、次に、オプティカルフロ
ー群Ｆa に対応するＭ個のフローの大きさｄＰa の総
和、即ち、フローの総量ΣｄＰa を算出し（ステップＳ
５５０）、算出したフローの総数Ｍ、フローの総量Σｄ
Ｐa から、フローの大きさｄＰa の平均値ｄＰave.（ｄ
Ｐave.＝ΣｄＰa ／Ｍ）を算出して危険度とする（ステ
ップＳ５６０）。 【００４９】危険度判定手段７では、演算手段６におい
て演算された危険度（フローの大きさの平均値ｄＰav
e.）を予め設定した所定値と比較し（ステップＳ６０
０）、危険度が所定値を越えたときには、隣レーンへの
車線変更は危険と判定して警報表示モニター８に警報表
示させる。（ステップＳ７００） このように、本オプティカルフロー式後方情報検出装置
では、複数のオプティカルフローが得られた場合、これ
らのオプティカルフローをその大きさｄＰａの分布に基
づいて関連付けられるオプティカルフロー群にグループ
化するようになっているので、自車両に接近する車両が
複数存在する場合、オプティカルフロー群の数により接
近する後続車両の台数を把握することができるという利
点がある。 【００５０】そして、オプティカルフロー群の位置関係
から自車両に最接近している車両に該当するオプティカ
ルフロー群を特定することができ、このオプティカルフ
ロー群に基づいて危険度を算出することにより、ドライ
バの感覚に合致した危険度判定を行なうことができると
いう利点がある。また、本オプティカルフロー式後方情
報検出装置では、オプティカルフローの大きさｄＰａに
基づき隣レーンへの車線変更時の危険度判定を行なって
いるが、オプティカルフローの大きさｄＰａ自体は、フ
ローの総数Ｍやフローの総量ΣｄＰa のように後続車両
の大きさの影響を受けず、また、オプティカルフローの
大きさｄＰa と減速度関数Ａr による危険度との相対速
度Ｖs ，車間距離Ｚに対する特性は一致しているので、
被検出車両の大きさによらず均一に、かつ、ドライバの
感覚にも適合した危険度判定を行なうことができる。 【００５１】そして、一つのオプティカルフローの大き
さｄＰa を基準とするのではなく、後続車両に対応する
全てのオプティカルフローの大きさの平均値ｄＰave.を
基準として危険度判定を行なっているので、光の反射具
合の変化等によりオプティカルフローが消失したり、ま
た、後続車両の接近によりオプティカルフローが増加し
たような場合でも、それらの影響を受けずに、常に安定
した危険度判定を行なうことが可能である。 【００５２】特に、危険度が高い場面、例えば、後続車
両と自車両との車間距離Ｚが非常に狭くなっており、か
つ相対速度Ｖs が大きいような場合には、危険度に関す
る情報も安定性が強く要求される。このような場合、Ｃ
ＣＤカメラ２上での後続車両の画像も大きくなるので、
平均化処理のサンプルとなる後続車両に対応するオプテ
ィカルフローの総数も増加し、また、相対速度Ｖs が大
きいほどオプティカルフローの大きさｄＰa も大きくな
るので、オプティカルフローの大きさの平均値ｄＰave.
の算出精度も向上し、より安定した危険度判定が可能と
なる。 【００５３】さらに、夜間もドライバにとっては危険度
が大きいが、夜間におけるオプティカルフローはそのほ
とんどがヘッドライトより発生するので、コントラスト
が強く且つ発生範囲が安定している。このため、後続車
両のみに基づくフローの大きさの平均値ｄＰave.を正確
に算出することができ、正確且つ安定した危険度判定が
可能になるという利点もある。 【００５４】なお、本発明は上述した実施形態に限定さ
れるものではなく、本発明の趣旨を逸脱しない範囲で種
々変形して実施することができ、例えば、本実施形態で
は、判定対象選定手段６Ｂによる自車両へ最接近した車
両の選定において、画像上の最下方に位置するオプティ
カルフロー群を最接近車両と選定するようになっている
が、ＣＣＤカメラ２で得られた画像情報から道路上の白
線を抽出し、抽出した白線との位置関係から最接近車両
を特定するようにしてもよい。 【００５５】また、本実施形態のように自車両へ最接近
した車両を危険度の判定対象とするのではなく、次のよ
うにして危険度の判定対象を選定してもよい。つまり、
判定対象選定手段６Ｂにおいて、各オプティカルフロー
群について重心位置を算出するとともに、併せてオプテ
ィカルフロー群の平均ベクトル、即ち、平均の大きさと
方向とを算出する。そして、これらの重心位置，ベクト
ルの大きさ，方向に基づき各オプティカルフロー群の画
面上での移動軌跡を算出し、画面の下端若しくは左端ま
たは右端に最も早く到達すると予想されるオプティカル
フロー群を危険度の判定対象に選定する。 【００５６】このようにして危険度の判定対象とするオ
プティカルフロー群を選定することにより、自車両に最
も早く到達すると予測される車両に基づいた危険度の算
出が可能となり、ドライバの感覚により合致した危険度
判定を行なうことができるようになる。また、夜間にお
いては、得られるオプティカルフローはヘッドライトか
ら発生したもののみであるという特徴から、グループ化
処理手段６Ａにおけるオプティカルフローのグループ化
を次のようにして行なうようにしてもよい。 【００５７】つまり、通常ヘッドライトは車両に２つ設
けられており、ヘッドライト間の距離は車幅を越えるこ
とはない。また、ヘッドライトの大きさも車種によって
大きな差はない。したがって、ヘッドライトの大きさと
２つのヘッドライト間の距離との関係は一定範囲内に収
まると考えられ、同様に、画像上における１つのヘッド
ライトに相当するオプティカルフローの総数と、ヘッド
ライトに相当する２つのオプティカルフロー群間の距離
の関係も一定範囲に収まると考えられる。 【００５８】そこで、夜間においては、まず、１つのヘ
ッドライトに相当するオプティカルフローの塊毎にオプ
ティカルフロー群を設定する。そして、各オプティカル
フロー群に属するオプティカルフローの総数と、オプテ
ィカルフロー群相互間の距離とを上述の一定範囲の関係
に照らし合わせ、対応する２つのオプティカルフロー群
を特定する。特定された対応する２つのオプティカルフ
ロー群は、１台の後続車両に相当するものとしてカップ
リングし、１つのオプティカルフロー群として再設定す
る。 【００５９】このように、ヘッドライトに相当する２つ
のオプティカルフロー群の相関関係に基づき１台の後続
車両に該当するオプティカルフロー群を特定することに
より、異車両間でのオプティカルフローの混同が防止さ
れ、夜間におけるより正確な車両台数の把握が可能にな
るとともに、危険度判定もより正確に行なうことが可能
となるという利点がある。 【００６０】 【発明の効果】以上詳述したように、本発明のオプティ
カルフロー式後方情報検出装置によれば、オプティカル
フローをその大きさの分布に基づいて関連付けられるオ
プティカルフロー群にグループ化するようになっている
ので、自車両に接近する物体が複数存在する場合でも、
得られるオプティカルフローの中から危険度の判定対象
とすべき物体に該当するオプティカルフロー群を選定す
ることができ、選定したオプティカルフロー群について
危険度を判定するので、ドライバの感覚に合致した危険
度判定を行なうことができる。 【００６１】そして、危険度の判定は、選定したオプテ
ィカルフロー群に属するオプティカルフローの大きさの
平均値に基づき行なっているので、光の反射具合の変化
等の撮像状況によるオプティカルフローの消失，発生
や、移動物体の大きさによるオプティカルフローの総数
の大小の影響を受けることなく、後側方から接近してく
る移動物体に対する危険度を均一且つ安定して判定する
ことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置の構成を模式的に示すブロック図
である。 【図２】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置にかかるオプティカルフローの算
出方法について説明するための図であり、（ａ）は時間
ｔにおける撮像画像を示す図、（ｂ）は時間ｔ＋Δｔに
おける撮像画像を示す図、（ｃ）は（ａ），（ｂ）の撮
像画像から得られるオプティカルフローを示す図であ
る。 【図３】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置にかかる実際の自車両及び後続車
両の位置関係とオプティカルフローとの幾何学的な対応
関係を示す図である。 【図４】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置にかかるオプティカルフローの大
きさの平均値と車間距離との関係と、減速度関数による
危険度と車間距離との関係とを一つのグラフ上に表し、
それらの一致性を示す図である。 【図５】オプティカルフローの総数の実験値と理論値と
の対応関係を示す図である。 【図６】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置にかかるオプティカルフローの大
きさの平均値の実験値と理論値との対応関係を示す図で
ある。 【図７】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置の危険度判定処理の全体の流れを
説明するためのフローチャートである。 【図８】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置のオプティカルフローの大きさの
平均値の算出処理の流れを説明するためのフローチャー
トである。 【符号の説明】 ２ ＣＣＤカメラ（撮像手段） ３ Ａ／Ｄ変換器 ４Ａ 第１フレームメモリ ４Ｂ 第２フレームメモリ ５ オプティカルフロー算出手段（ＤＳＰ） ６ 演算手段 ６Ａ グループ化処理手段 ６Ｂ 判定対象選定手段 ７ 危険度判定手段 ８ 警報表示モニター ９ 台数表示手段 １０ ＥＣＵ １００Ａ，１００Ｂ 撮像画像 ＰA1，ＰA2，ＰA3，ＰA4，ＰB1，ＰB2，ＰB3，ＰB4 着
目画素 ＳA1，ＳA2，ＳA3，ＳA4，ＳB1，ＳB2，ＳB3，ＳB4 ウ
インドウ ｆ1 ，ｆ2 ，ｆ3 ，ｆ4 オプティカルフロー
ー式後方情報検出装置の構成を模式的に示すブロック図
である。 【図２】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置にかかるオプティカルフローの算
出方法について説明するための図であり、（ａ）は時間
ｔにおける撮像画像を示す図、（ｂ）は時間ｔ＋Δｔに
おける撮像画像を示す図、（ｃ）は（ａ），（ｂ）の撮
像画像から得られるオプティカルフローを示す図であ
る。 【図３】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置にかかる実際の自車両及び後続車
両の位置関係とオプティカルフローとの幾何学的な対応
関係を示す図である。 【図４】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置にかかるオプティカルフローの大
きさの平均値と車間距離との関係と、減速度関数による
危険度と車間距離との関係とを一つのグラフ上に表し、
それらの一致性を示す図である。 【図５】オプティカルフローの総数の実験値と理論値と
の対応関係を示す図である。 【図６】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置にかかるオプティカルフローの大
きさの平均値の実験値と理論値との対応関係を示す図で
ある。 【図７】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置の危険度判定処理の全体の流れを
説明するためのフローチャートである。 【図８】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置のオプティカルフローの大きさの
平均値の算出処理の流れを説明するためのフローチャー
トである。 【符号の説明】 ２ ＣＣＤカメラ（撮像手段） ３ Ａ／Ｄ変換器 ４Ａ 第１フレームメモリ ４Ｂ 第２フレームメモリ ５ オプティカルフロー算出手段（ＤＳＰ） ６ 演算手段 ６Ａ グループ化処理手段 ６Ｂ 判定対象選定手段 ７ 危険度判定手段 ８ 警報表示モニター ９ 台数表示手段 １０ ＥＣＵ １００Ａ，１００Ｂ 撮像画像 ＰA1，ＰA2，ＰA3，ＰA4，ＰB1，ＰB2，ＰB3，ＰB4 着
目画素 ＳA1，ＳA2，ＳA3，ＳA4，ＳB1，ＳB2，ＳB3，ＳB4 ウ
インドウ ｆ1 ，ｆ2 ，ｆ3 ，ｆ4 オプティカルフロー
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
B60R 21/00
G06T 7/20
G08G 1/16
H04N 7/18
Claims (1)
- (57)【特許請求の範囲】 【請求項１】 自車両後方を所定周期で撮像する撮像手
段と、該撮像手段で得られた複数画像からオプティカル
フローを算出するオプティカルフロー算出手段とをそな
え、該オプティカルフロー算出手段で算出された該オプ
ティカルフローから該自車両に接近する複数の物体を検
出するオプティカルフロー式後方情報検出装置におい
て、 該オプティカルフローの大きさの分布に基づき該オプテ
ィカルフローをオプティカルフロー群にグループ化する
グループ化処理手段と、 該グループ化処理手段でグループ化された複数の該オプ
ティカルフロー群の中から危険度判定対象とするオプテ
ィカルフロー群を選定する判定対象選定手段と、 該判定対象選定手段で選定された該判定対象オプティカ
ルフロー群に属するオプティカルフローの大きさの平均
値を演算する演算手段と、 該演算手段で演算されたオプティカルフローの大きさの
平均値に基づき該判定対象オプティカルフロー群に該当
する物体の接近の危険度を判定する危険度判定手段とを
そなえたことを特徴とする、オプティカルフロー式後方
情報検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06158998A JP3395634B2 (ja) | 1998-03-12 | 1998-03-12 | オプティカルフロー式後方情報検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06158998A JP3395634B2 (ja) | 1998-03-12 | 1998-03-12 | オプティカルフロー式後方情報検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11255051A JPH11255051A (ja) | 1999-09-21 |
| JP3395634B2 true JP3395634B2 (ja) | 2003-04-14 |
Family
ID=13175498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06158998A Expired - Fee Related JP3395634B2 (ja) | 1998-03-12 | 1998-03-12 | オプティカルフロー式後方情報検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3395634B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3905727B2 (ja) | 2001-07-13 | 2007-04-18 | 日産自動車株式会社 | 車両の車線追従制御装置 |
| KR100630088B1 (ko) | 2004-12-28 | 2006-09-27 | 삼성전자주식회사 | 옵티컬 플로우를 이용한 차량 감시 장치 및 방법 |
| JP4289421B2 (ja) * | 2007-05-14 | 2009-07-01 | 株式会社デンソー | 車両制御装置 |
| WO2009005025A1 (ja) * | 2007-07-03 | 2009-01-08 | Konica Minolta Holdings, Inc. | 移動物体検出装置 |
| CN102368352B (zh) * | 2011-10-08 | 2013-10-30 | 中盟智能科技（苏州）有限公司 | 交通信息采集方法及装置 |
| JP6944328B2 (ja) * | 2017-09-29 | 2021-10-06 | 株式会社デンソー | 車両の周辺監視装置と周辺監視方法 |
| CN117141553B (zh) * | 2022-05-24 | 2025-12-02 | 上海泽高电子工程技术股份有限公司 | 一种列车接近预警方法 |
-
1998
- 1998-03-12 JP JP06158998A patent/JP3395634B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11255051A (ja) | 1999-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113998034B (zh) | 骑乘者辅助系统和方法 | |
| US10387733B2 (en) | Processing apparatus, processing system, and processing method | |
| CA2949200C (en) | Processing apparatus, processing system, processing program, and processing method | |
| JP4287532B2 (ja) | 車両用後側方監視装置 | |
| JP3452268B2 (ja) | 車両用後側方監視方法 | |
| CN100552742C (zh) | 安全运动支持装置 | |
| KR101891460B1 (ko) | 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치 | |
| US20150332103A1 (en) | Processing apparatus, computer program product, and processing method | |
| JP2863381B2 (ja) | 車両用監視方法 | |
| JP3747599B2 (ja) | 車両用障害物検出装置 | |
| JP2017005678A (ja) | 車載カメラ・システム並びに画像処理装置 | |
| JP4980970B2 (ja) | 撮像手段の調整装置および物体検出装置 | |
| JPH1139597A (ja) | 車両の衝突防止装置 | |
| US20200118280A1 (en) | Image Processing Device | |
| JP3351340B2 (ja) | オプティカルフロー式後方情報検出装置 | |
| JP3395634B2 (ja) | オプティカルフロー式後方情報検出装置 | |
| US20220299860A1 (en) | Extensiview and adaptive lka for adas and autonomous driving | |
| JPH1114346A (ja) | 車両用障害物検出装置 | |
| JP3464368B2 (ja) | 車両用後側方監視装置 | |
| KR101706682B1 (ko) | 시인성이 향상되는 곡선도로용 영상제공장치 | |
| JP7474370B2 (ja) | 画像処理装置、車両、画像処理方法、画像処理プログラム及びサーバ | |
| KR20160092403A (ko) | 차량 운전 보조 장치 및 차량 운전 보조 장치의 제어 방법 | |
| JP7185571B2 (ja) | 視認方向推定装置、視認方向推定方法、およびプログラム | |
| JP3402023B2 (ja) | 後側方車両報知装置 | |
| WO2025229754A1 (ja) | 車両制御装置および車両制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030107 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090207 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090207 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100207 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110207 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110207 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120207 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120207 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130207 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140207 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |