JP3596339B2 - 車間距離計測装置 - Google Patents
車間距離計測装置 Download PDFInfo
- Publication number
- JP3596339B2 JP3596339B2 JP6839099A JP6839099A JP3596339B2 JP 3596339 B2 JP3596339 B2 JP 3596339B2 JP 6839099 A JP6839099 A JP 6839099A JP 6839099 A JP6839099 A JP 6839099A JP 3596339 B2 JP3596339 B2 JP 3596339B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- vehicle
- edge
- inter
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、追従中の先行車の車間距離および車間距離変化計測の確実性を向上させる技術に関する。
【０００２】
【従来の技術】
従来の車間距離計測装置としては、例えば、特開平８−２７８１２６号公報に記載されたものがある。この装置では、縦に並べたステレオ画像から水平エッジのヒストグラムを抽出し、それらのヒストグラムのピークを、垂直方向をｙ軸としたときに、ｙ軸の下側より順に探索し、ヒストグラムのピークのｙ軸上におけるステレオ画像間の位置の差を先行車の視差として、車間距離を求めるものである。
【０００３】
【発明が解決しようとする課題】
しかし、上記従来の装置では、先行車までの車間距離測定に用いるデータとして水平エッジのヒストグラムだけを用いているため、その水平エッジ成分が先行車のエッジであるか否かの判断が不十分であり、車両以外のエッジを用いて対応点探索を行なってしまう可能性があるという問題があった。特に、歩道橋や停止線など路面上にかかる長く強い横エッジが複数あると、それらのエッジの方が先行車よりも強調されるため、先行車以外のエッジまでの距離を算出してしまう可能性が高くなる。また、距離の算出をステレオ視差からの演算だけで行っているため、分解能が粗く、かつ、他手法との照合がないため、ステレオマッチングが原因となる距離の誤計測を判断することができない、という問題があった。
【０００４】
本発明は上記のごとき従来技術の問題を解決するためになされたものであり、車間距離計測における先行車との車間距離の計測の確実性を向上させた車間距離計測装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、本発明においては、特許請求の範囲に記載するように構成している。まず、請求項１に記載の発明においては、車両に搭載され、路面に平行方向と垂直方向の２次元的に光を走査して照射し、照射した方向毎の光の反射強度と、その光の反射面までの距離とを計測する光測距装置と、
前記計測した反射強度の各角度毎の値をデジタル値の配列とした輝度画像と、前記計測した距離の各角度毎の値を前記輝度画像に対応する順序でデジタル値の配列とした距離画像とを記憶するメモリと、
前記光測距装置の走査の中心軸と光軸が平行になる位置および姿勢で車両に搭載された電子式のカメラと、
前記距離画像に基づいて先行車までの車間距離を計測し、かつ、前記距離画像上において先行車が計測された位置に基づいて前記カメラの画像上で先行車が存在する位置を求める距離・位置演算手段と、
前記距離・位置演算手段で求めた位置と距離に基づいて、前記カメラの画像上に撮像された先行車の左右上下端を含む程度の縦長のウィンドウを複数設定するウィンドウ設定手段と、
前記複数の全てのウィンドウにおいて縦長のウィンドウでは各ｙ座標毎の水平エッジのヒストグラムを求めるヒストグラム演算手段と、
前記複数のウインドウにおいて同じｙ座標上に検出される前記ヒストグラム演算手段により求められたヒストグラムのピーク値である水平エッジのｙ座標位置を検出するエッジ検出手段と、
前記エッジ検出手段により求められた複数のウィンドウにおいて同じｙ座標上に検出されるヒストグラムのピーク値である水平エッジの移動ベクトルを計測するベクトル計測手段と、
前記距離画像から求めた車間距離の変化と適合する方向および大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択するエッジ選択手段と、
前記エッジ選択手段で求めた先行車上のエッジの中から２本ずつを１つの組として複数組選択し、それらの組におけるそれぞれのエッジ間距離を求め、同じ組について二つの時点で求めたエッジ間距離の比、すなわちエッジ間距離の時間的な変化率が同じ値となる組が最も多い組のエッジを先行車上のエッジと再確認する先行車エッジ判断手段と、
前記先行車上のエッジと再確認されたものについてのエッジ間距離の変化率に基づいて車間距離の変化率を求める車間距離変化率演算手段と、
前記距離・位置演算手段で求めた車間距離の所定回数前の演算値に前記車間距離の変化率を乗算することによって車間距離を算出する車間距離算出手段と、
を備えるように構成している。
上記のように、請求項１においては、光測距装置と、前記光測距装置の走査の中心軸と光軸が平行になる位置および姿勢で搭載された電子式のカメラとの両方を用い、光測距装置の輝度画像とカメラの画像とを組み合わせて車間距離を算出するように構成し、かつ、ウィンドウ設定手段は、縦長のウィンドウを設定するように構成している。
【０００６】
また、請求項２に記載の発明は、請求項１と同様の構成において、ウィンドウ設定手段は、横長のウィンドウを設定し、エッジ検出手段は、同じｘ座標上に検出されるヒストグラムのピーク値である垂直エッジのｘ座標位置を検出するように構成したものである。
【０００８】
また、前記先行車エッジ判断手段では、前記の求めた先行車上のエッジの中から２本ずつを１つの組として複数組選択し、それらの組におけるそれぞれのエッジ間距離を求め、同じ組について二つの時点で求めたエッジ間距離の比、すなわちエッジ間距離の時間的な変化率が同じ値となる組が最も多い組のエッジを先行車上のエッジと再確認するように構成している。例えば１０本のエッジを２本ずつａ組、ｂ組、ｃ組、ｄ組、ｅ組の５組に分けた場合、ａ〜ｄの４組では変化率の値がαで、ｅ組のみはβであったとすれば、変化率が同じ値となる組が最も多いａ〜ｄ組のエッジが先行車上のエッジであり、ｅ組のエッジは先行車上ではない他のエッジであると判断する。
【０００９】
また、前記車間距離変化率演算手段では、前記先行車上のエッジと判断されたものについてのエッジ間距離の変化率に基づいて車間距離の変化率を求めるように構成している。具体的には、エッジ間距離の変化率の逆数が車間距離の変化率となる。
【００１０】
また、前記車間距離算出手段では、前記距離・位置演算手段で求めた車間距離の所定回数前の演算値に前記車間距離の変化率を乗算することによって車間距離を算出するように構成している。
【００１１】
また、請求項３に記載の発明においては、前記距離・位置演算手段で求めた車間距離と前記車間距離の変化率から求めた車間距離とを照合することにより車間距離演算の確認を行なうように構成している。
【００１２】
また、請求項４に記載の発明において、前記距離・位置演算手段は、前記先行車エッジ判断手段で先行車以外のエッジと判断された位置に対する計測値は用いずに、距離と位置の演算処理を行なうように構成している。
【００１３】
また、請求項５に記載の発明においては、請求項１または請求項２において、前記光測距装置の輝度画像の値の低い位置の計測値は用いずに、前記距離・位置演算手段における距離と位置の演算処理を行なうように構成している。
【００１４】
【発明の効果】
請求項１および請求項２においては、レーザレンジファインダのような光測距装置とカメラとを組み合わせることにより、信頼性を確保するために光測距装置の距離分解能を粗くした場合でも、距離精度を保持または向上することが可能となり、同様に、装置の信頼性確保のために走査を遅くして計測の時間間隔を長くした場合においても、カメラを１台追加した構成にしただけで、距離測定のレスポンスを遅くすることなく、通常の画像処理の速度での距離計測が可能となる、という効果が得られる。
【００１７】
また、請求項１および請求項２においては、エッジ間距離の時間的な変化率を求め、変化率の同じエッジを先行車のエッジと判断する（変化率の異なるエッジは先行車以外のエッジとして除去する）ように構成しているので、先行車上にかかる光のノイズなどの除去が可能になり、より確実に先行車を構成するエッジだけを選択することが可能となる。さらに、上記のように先行車以外のエッジを除外することにより、除外したエッジの位置を車間距離算出の際に除外することができるので、路面表示など先行車周囲にエッジが多く存在する環境や光の位置などによってノイズの多い環境下でも、環境変化に影響されず確実性の高い車間距離計測が可能となる。
【００１８】
また、請求項１および請求項２においては、先行車上のエッジと判断されたエッジについてのエッジ間距離の変化率から車間距離の変化率を求めるように構成したことにより、光のノイズや影など、多少のエッジ検出ミスがある場合、および先行車上のエッジを検出しにくい環境下でも、車間距離の変化率を確実に正しく求めることが可能となる。
【００１９】
また、請求項１および請求項２においては、距離・位置演算手段で求めた車間距離の所定回数前の演算値に車間距離の変化率を乗算することによって車間距離を算出することにより、視差や距離画像から求める車間距離よりも高精度に車間距離を計測することが出来る。特に光測距装置とカメラとを組み合わせた構成に適用した場合には、光測距装置の計測間隔が長い場合でも、カメラの撮像間隔での車間距離の更新が可能となる。更に、光測距装置の距離分解能が粗い場合には、距離の高精度化も可能となる。
【００２０】
また、請求項３においては、距離・位置演算手段で視差や距離画像から求めた車間距離と車間距離の変化率から求めた車間距離とを照合することにより、二つの方法で求めた車間距離の正確性の確認を行なうことが出来るので、より確実性の高い車間距離計測を行なうことが出来る。
【００２１】
また、請求項４において、前記距離・位置演算手段は、先行車エッジ判断手段で先行車以外のエッジと判断された位置に対する計測値は用いずに、距離と位置の演算処理を行なうことにより、距離と位置の演算における確実性を向上させることが出来る。例えば、先行車以外のエッジと判断された位置におけるレーザレンジファインダで計測した距離画像上の値を、車間距離計測の際の判断に反映させない構成なので、ノイズなどによる誤計測値を除去でき、より正確な測距が可能となる。
【００２２】
また、請求項５においては、請求項１または請求項２において、距離画像からの車間距離計測の際に、光測距装置の輝度画像上の反射強度が低い位置で計測された距離を反映させない構成としたため、誤計測値を除去でき、さらに信頼度の高い計測値だけを用いた、より正確な測距が可能となる。
【００２３】
【発明の実施の形態】
（第１の実施の形態）
図１は本発明の第１の実施の形態の構成を示すブロック図である。
図１において、１および２は電子式のカメラであり、自車の前部に前方を向いて設置されており、両カメラの光軸は相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置されている。なお、撮像面の水平軸が同じライン上に揃うように設置してもよい。また、車両の後部に後方を向けて設置し、車両後方の障害物を検出するように構成することもできる。３、４はそれぞれカメラ１、２から入力した画像信号を記憶する画像メモリである。５は演算部であり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュータで構成される。６は自車の前方に存在する障害物等の検出対象物であり、図１では先行車を例示している。
【００２４】
以下、まず第１の実施の形態に用いる種々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。
図２は、ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図である。図２においては、カメラＡ（前記カメラ１に相当）で撮像した画像を画像Ａ、カメラＢ（前記カメラ２に相当）で撮像した画像を画像Ｂで示し、検出対象の位置を点ｐ（ｘ，ｙ，ｚ）としている。
【００２５】
図２から判るように、焦点距離ｆ、眼間距離（両カメラ間の距離）Ｄが既知であり、光軸が互いに平行な２台のカメラＡ、Ｂで撮像したステレオ画像において、２枚の画像間のマッチング位置ｙａ、ｙｂを求めることできれば、カメラから対象物ｐまでの距離Ｚは下記（数１）式より求めることができる。
【００２６】
Ｚ＝ｆ・Ｄ／（ｙａ−ｙｂ）＝ｆ・Ｄ／Ｓ …（数１）
ただし、ｙａ−ｙｂ＝Ｓは視差であり、図２のように、光軸が平行で、所定間隔を隔てて設置された二つのカメラＡ、Ｂで一つの物体を撮像した場合に、それぞれのカメラに写った画像の位置の差、すなわち画像Ａにおける位置ｙａと画像Ｂにおける位置ｙｂとの差である。なお、この例では、眼間距離Ｄと距離Ｚの単位はｍ、焦点距離ｆ、視差Ｓおよび位置ｙａ、ｙｂの単位は画素である。例えばカメラＡ、ＢはＣＣＤを用いたものであり、画素数を６４０×４８０とした場合、１画素の大きさは１０μｍ程度である。
【００２７】
上記（数１）式は、両カメラの光軸が相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置した場合であるが、撮像面の水平軸が同じライン上に揃うように設置した場合には、下記（数１’）式に示すようになる。
Ｚ＝ｆ・Ｄ／（ｘａ−ｘｂ）＝ｆ・Ｄ／Ｓ …（数１’）
ただし、ｘａ−ｘｂ＝Ｓは視差
なお、以後の説明は全て撮像面の垂直軸が同じライン上に揃うように設置した場合を例として説明する。
【００２８】
上記の視差Ｓを検出するには、一方の画像（例えば画像Ａ）上において点ｐが撮像されている点（ｘａ、ｙａ）に対応する他方の画像（例えば画像Ｂ）上の点（ｘｂ、ｙｂ）を検出する必要がある。その方法としては、画像Ａ上の点（ｘａ、ｙａ）を含む或る範囲の画像（ウィンドウ）と最も類似した範囲を画像Ｂ内から探すことで求めることができる。この類似度の算出には、画像間の差分法や正規化相関法などがある。そして距離画像（ウィンドウ毎にその内部に撮像される物体までの視差を求めた画像）は、定義した全てのウィンドウにおいて差分法や正規化相関法により、他方と類似度の高いウィンドウが存在する位置を求めることで作成できる。
【００２９】
図３は、両画像の対応する位置毎の視差を求めた結果を示す図であり、詳しくは、道路前方を撮像した画像において、一方の画像（例えば画像Ｂ）をウィンドウ毎に切り、その全てのウィンドウにおいて他方の画像（例えば画像Ａ）からそのウィンドウと最も類似度の高い画像の位置を求めることで、両画像における対応する位置を検出し、それぞれの対応する位置から各ウィンドウ毎の視差を求めた結果を表したものである。図３において、（Ａ）は下画像（画像Ａに相当）、（Ｂ）は上画像（画像Ｂに相当）、（Ｃ）は視差の表、（Ｄ）は視差が「１５」のウィンドウ部分のみを抜き出した画像を示す。また、図３（Ｂ）、（Ｃ）の（１）〜（２０）は各ウィンドウの水平方向（以下、横方向と記す）の位置を示す。ただし、図においては（１）〜（２０）を丸付き数字で表している。また、一つのウィンドウは幅（ｘ方向の長さ）がｘｗ、高さ（ｙ方向の長さ）がｙｗである。
上記のように、各ウィンドウ毎の視差が判れば、前記（数１）式を用いることによって、該当するウィンドウに撮像されている物体までの距離を求めることが出来る。
【００３０】
以下、図３（Ｃ）のようにウィンドウ毎にその内部に撮像されている物体までの視差を求めた画像を“距離画像”と呼ぶことにする。このウィンドウ毎に算出される視差は、当該ウィンドウの内部に撮像されていてエッジ（画像が明から暗または暗から明に変化する点が連続した部分で、画像の端などを示す線分に相当する）などの特徴的な部分を持つ物体までの距離に相当するから、一つの対象物が複数ウィンドウに跨って撮像されていると、隣接するウィンドウで同じ視差が求められる。例えば、道路前方を撮像した画像における距離画像の場合、先行車と、先行車が存在する真下の路面とは同距離なので、図３（Ｄ）に太線のウィンドウで示すように、先行車の下部と同じｙ座標上にあるウィンドウは先行車と同じ視差で算出される。例えば図３（Ｃ）の下から２行目に「１５」が横方向に連続しているのが上記の部分に相当する。なお、図３（Ｃ）において、中央部分に視差「１５」が集合している部分が先行車に相当し、（３）、（４）列に視差「１９」が集合している部分が「左方の木」に相当し、（６）列に視差「５」が連続している部分が「中央の木」に相当する。
【００３１】
上記のように、距離画像は前方に高さのある物体が存在すると、その物体が撮像されているｘ座標位置のウィンドウでは同じ視差が検出される。一方、車両横にある白線部分のように路面などの高さを持たない位置では、同じｘ座標上で同じ視差が検出されるウィンドウは一つである。すなわち、前方に物体が存在する場合、同一ｘ座標の方向でのウィンドウにおいて同じ視差の個数を数えることにより、物体を検知することができる。この方法によれば、複数の物体も一つの物体も同じ方法で検出することができ、検出対象や背景の色に左右されずに物体を検知できるようになる。また、白線や停止線などの路面表示は、同じ視差を示すウィンドウが同じ方向に現れないため、路面表示と高さをもつ障害物とを誤検出することがなくなるという利点もある。加えて、距離画像だけを利用しているため、検出対象の色や形状および背景色にかかわらず同様の処理で複数物体を検出できる。
【００３２】
図４は、距離画像上の或るウィンドウで求めた視差とそのウィンドウの横方向の位置に基づいて、対応する表中の位置に投票する様子を表した図であり、（Ａ）は右画像、（Ｂ）は視差の表、（Ｃ）は投票用の表を示す。なお、この場合における「投票」とは、或る横方向位置とそれに対応する視差の値の位置に、＋１ずつ加算することを意味する。例えば位置（８）の位置に視差「１５」が１個存在する場合には、図４（Ｃ）の位置（８）で視差「１５」の位置に「＋１」が加算される。図４（Ｂ）の例では、位置（８）の位置に視差「１５」が５個存在するから、最終的には位置（８）で視差「１５」の位置に「５」が投票されることになる。
【００３３】
また、図５は、上記の投票を全てのウィンドウにおいて行った結果を示す図であり、（Ａ）は上画像、（Ｂ）は視差の表、（Ｃ）は投票用の表を示す。
【００３４】
図４から判るように、図３で設定したウィンドウにおいて、横方向が同じ位置のウィンドウは同じ方向を撮像したものである。また、図５から判るように、前方に物体が存在する場合、物体を検知している部分では同じｘ座標上の縦方向のウィンドウは同じ視差が求められ、路面上に物体が存在しない場合では同じｙ座標上の横方向のウィンドウで同じ視差が求められる。このような距離画像を用いて、図４に示した方法で表に投票を行なうと、同じ方向（同じｘ座標上）に同じ視差が並んでいると、その方向と視差の値への投票回数が多くなるため、その位置の値が高くなる。したがって、図５の表から値の高い位置を探すことで前方の物体の有無を検知できる。図５に示す例では、（３）、（４）番目のウィンドウで視差「１９」の部分（左方の木に相当）、（５）番目のウィンドウで視差「５」の部分（中央の木に相当）、（８）〜（１６）番目のウィンドウで視差「１５」の部分（先行車に相当）で投票が集中し、値が高くなっている。例えば視差「１５」の部分の値が高いということは、カメラが撮像した画角内に視差が約１５画素となる物体が撮像されていることを示す。仮に前記図２に示した眼間距離Ｄを０．１ｍ、焦点距離ｆを１５００画素とすると、カメラからその物体までの距離は、前記（数１）式により、前方１０ｍ（＝１５００×０．１／１５）であると求められる。また、視差が１５画素の位置の投票結果をｘ軸方向で見ると、ｘ軸方向に定義した（８）〜（１６）番目のウィンドウ付近の値が高く、その左右両側のウィンドウでは投票値が低くなっている。
【００３５】
図６は、上記の内容を判りやすく示すため、図５の投票結果から視差１５の部分を抜き出して１次元グラフとしてあらわした図である。図６において、（ａ）は図５の（ｃ）に相当する表、（ｂ）は１次元グラフ、（ｃ）は対応する画像である。以下、図６を用いて、物体が撮像されるおおよその横方向（ｘ軸方向）の範囲を求める方法を説明する。
【００３６】
図６（ｂ）において、横軸はｘ方向に定義したウィンドウの位置、縦軸はそのｘ座標位置で視差＝１５となったウィンドウの個数である。この図では、（８）〜（１６）番目の値が高い。このことは（８）〜（１６）番目の間に高さをもつ物体が撮像されていることを示している。また、グラフ内の横線は、物体が撮像されているか否かを判断するために設けたしきい値である。しきい値は、例えば次の方法で設定すればよい。すなわち、表の値は画像上に撮像される物体の高さに比例し、画像上の物体の高さは実際の物体の高さを一定とすると物体までの距離に反比例する。このことから、物体までの距離に応じて画像上の高さを計算し、その高さに含まれるウィンドウの個数を基準にヒストグラムのしきい値を設定することができる。例えば、図６（ｂ）では、しきい値を５．５に設定している。したがって、しきい値以上の値を持つ位置は（８）〜（１６）番目のウィンドウであるので、前方の物体が撮像されるおおよその横方向の範囲は（８）〜（１６）番目のウィンドウの間であると求められる。上記のように先行車が撮像されている横方向の範囲をｘｌ〜ｘｒとする。
【００３７】
次に、図７は、一方の画像に撮像された先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、（Ａ）は側面図、（Ｂ）は撮像面Ａの画像例である。
先行車までの距離Ｚが分かっている場合、路面からカメラまでの高さをＨ、先行車の高さをｈとすると、図７より、その先行車の上下端（ｙｕ，ｙｄ）は、ほぼ、下記（数２）式の位置に撮像される。なお、ここでは下端ｙｄはほぼ路面と同じ高さとみなす。
【００３８】
ｙｕ＝ｆ×（ｈ−Ｈ）／Ｚ， ｙｄ＝−ｆ×Ｈ／Ｚ …（数２）
図８は、先行車上に上記の上下端（ｙｕ、ｙｄ）を含む程度の大きさで縦長のウィンドウを切り、それぞれにおいて各ｙ座標毎に水平エッジのヒストグラムと輝度のヒストグラムを求めた様子を示す図であり、（Ａ）は原画像上に設けた縦長のウィンドウの一例、（Ｂ）は先行車の存在位置を水平微分したエッジを示す図、（Ｃ）は（Ｂ）における▲１▼〜▲５▼のウィンドウの各水平エッジのヒストグラムを示す。なお、横長のウィンドウを設定した場合には、各ｘ座標毎の垂直エッジのヒストグラムを求める。
【００３９】
これらの縦長のウィンドウを定義する横方向の位置は、前記図６の距離画像から検出した先行車が撮像される範囲ｘｌ〜ｘｒの間とすればよい。また、ウィンドウを定義する縦方向の位置は、前記（数２）式で求めた値をもとに、上下端ｙｕ、ｙｄが含まれる程度の大きさ（上がｙｕ＋α、下がｙｄ−α ただしαは所定の余裕値）とする。このとき、（数２）式の先行車の高さｈは、通常、未知の値であるが、一般的な車両の高さを考え、１〜２ｍ程度の範囲の適度な値で十分である。
【００４０】
先行車は長い横エッジをもつ。そのため、先行車上にウィンドウを定義すると、図８の中央部の▲２▼▲３▼▲４▼の３個所に定義したウィンドウでは、その水平エッジのヒストグラムのピークがほぼ同じ位置に現われる。ここでは、距離画像と（数２）式より、先行車が存在し得る付近に限定してウィンドウを設けているため、定義したウィンドウにおいてウィンドウ間で同じ位置にヒストグラムのピークが存在する位置（ｙｅ１〜ｙｅ５の位置）は先行車上のエッジであると判断できる。
【００４１】
次に、図８の方法で検出したエッジの移動ベクトルを求め、そのエッジの中から、先行車の動きに基づいた動きをするエッジだけを選択する。
図９はエッジの移動ベクトルを示す図であり、（Ａ）は先行車が遠ざかる（車間距離が大きくなる）場合の例、（Ｂ）は先行車が近づく（車間距離が小さくなる）場合の例を示す。図９に示すように、先行車上のエッジは、車間距離が大きくなる場合にはｙ軸方向に画像の中心（原点を画像の中心とするとｙ＝０の位置）に向かって移動し、車間距離が短くなる場合は画像の中心から遠ざかる方向に移動する。したがって、図８の方法で検出したエッジが先行車上のエッジであれば、車間距離が大きくなる場合は、ｙ＞０の位置のエッジは下方、ｙ＜０の位置のエッジは上方に移動し、車間距離が短くなる場合は、ｙ＞０の位置のエッジは上方、ｙ＜０の位置のエッジは下方に移動し、車間距離が一定の場合はエッジの位置は不変となる。なお、図９に上下方向の矢印で示したのが移動ベクトルである。
【００４２】
また、そのエッジの移動量は、原点から遠いほど大きく、原点から近いエッジほど小さい。これらのことから、ステレオ画像処理で車間距離の変化を求めるとともに、図８で検出したエッジの移動ベクトルを求め、そのベクトルが図９に示す理論どおりの動きをするものを車両上のエッジとして再確認することにより、先行車検出の精度を向上させることが出来る。例えば、先行車直後の路面表示や先行車前方の歩道橋などのような車両以外のエッジは、上記の処理により誤検出エッジとして除去することができる。
【００４３】
次に、エッジ間距離の変化率を求める方法およびその結果を用いて先行車上のエッジを再確認する方法について説明する。
図１０は、一方の画像に撮像された先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、（Ａ）は時点ｔ−１における位置、（Ｂ）は時点ｔにおける位置を示す。
図１０に示すように、追従中の車両上から、バンパーなど路面に平行な線を異なる位置から２本ずつ２組選択し、その２本の平行線間の距離をｈ１、ｈ２とする。焦点距離をｆとし、時点ｔ−１において車間距離がＺｔ−１のときのｈ１、ｈ２の画像上の長さをそれぞれｙ１ｔ，ｙ２ｔとすると、ｙ１ｔ，ｙ２ｔは、それぞれ下記（数３）式で示される。
【００４４】
ｙ１ｔ−１＝ｈ１・ｆ／Ｚｔ−１， ｙ２ｔ＝ｈ２・ｆ／Ｚｔ−１ …（数３）
また、時点ｔにおける車間距離をＺｔとすると、同様に、そのときの画像上のｈ１，ｈ２の長さは、ｙ１ｔ＝ｈ１・ｆ／Ｚｔ， ｙ２ｔ＝ｈ２・ｆ／Ｚｔとなる。これらから、車間距離がＺｔからＺｔ−１に変化したときの画像上のエッジ間の長さの時間的な変化率（以下、単に変化率と記す）は、ｈ１、ｈ２ともに、下記（数４）式に示すようになる。
【００４５】
ｙ１ｔ／ｙ１ｔ−１＝ｙ２ｔ／ｙ２ｔ−１＝Ｚｔ−１／Ｚｔ …（数４）
上記（数４）式から判るように、エッジ間距離に関わらず、同じ物体上のエッジ間距離の変化率は、どのエッジが選択された場合でも値が同じになり、その値は、車間距離の変化率（Ｚｔ／Ｚｔ−１）の逆数（Ｚｔ−１／Ｚｔ）となる。
このことから、図８や図９の方法によって検出した画像上の車両のエッジから２本ずつの組を作り、二つの時点で計測したエッジ間距離から、それらのエッジ間距離の変化率（ｙ１ｔ／ｙｔ−１，ｙ２・／ｙ２ｔ−１、…、ｙｎｔ・／ｙｎｔ−１）を求め、それぞれの組で求めたエッジ間距離の変化率から、その値が同じである最も多い組のエッジを先行車上のエッジであると再確認することができる。
【００４６】
また、同時に、その最も多くの個所で求められたエッジ間距離の変化率は、その時点での画像上の先行車の大きさの変化率となる。さらに、或るエッジを含む組に限って変化率が常に異なるものがあれば、そのエッジを先行車以外のエッジとして除外できる。これにより、先行車付近の路面表示や路面のノイズだけでなく、外部からの反射光など、先行車上に現れるが先行車以外の水平エッジとなる光のノイズなども、先行車以外のエッジとして除去することが可能となる。
【００４７】
このような除外すべきエッジがある場合、距離画像上におけるそのエッジの存在位置の視差の値は、誤った値となる。このことから、距離画像を用いた距離計測において、除外すべきエッジと判断されたエッジの存在位置の視差を用いないようにすることで、車間距離計測の確実性を向上させることができる。
上記のように、図９、図１０のような判断で先行車上のエッジだけを確実に選択することは、距離計測の確実性増加に対して有効な手段であり、特に、光のノイズや周囲のノイズなど、先行車以外のエッジが多く検出される環境下での距離計測の確実性向上に有効である。
【００４８】
次に、上記図９、図１０で説明した方法を利用して車間距離の変化率を求める方法について説明する。
図９、図１０で求めたエッジ間距離の変化率は、前記（数４）式に示したように距離の変化の逆数となる。このことから、最も多くのエッジについて求められたエッジ間距離の変化率の逆数をその時点での車間距離の変化率とすることができる。この方法では、先行車上のエッジを２本だけでなく、ヒストグラムのピークにより、できるだけ多くの本数求めているため、光の反射などにより、或る一部のエッジが検出されない場合でも、他のエッジが検出できれば、その影響をうけることなく車間距離の変化率を求めることができる。この判断を加えることは、先行車上のエッジを検出しにくい環境に対する安定した確実な距離変化の算出に有効な手段となる。
【００４９】
次に、車間距離計測について説明する。車間距離計測には次の３方法がある。
（１）連続的に入力される画像を用いたステレオ画像処理では、先行車上の視差を用いて前記（数１）式を適用することにより、先行車までの車間距離を時間的に連続的に求めることができる。
（２）車両追従中における車間距離の変化率は、前記図９、図１０で説明した方法で求めることができる。したがって、同じ車両に追従中であれば、数回前にステレオ画像処理で視差から計測した車間距離Ｚｔ−１に数回前からの画像上の車両のエッジ間距離の変化率の逆数を乗算することによっても、その時点での車間距離を算出することができる。
（３）画像上の先行車の高さ（ｙｕ−ｙｄ）から車間距離を求める方法。
【００５０】
以下、上記（３）の方法について詳細に説明する。図７に示した先行車の高さｈは通常は未知の値である。しかし、ステレオ画像処理で求めた先行車までの距離Ｚと画像上の先行車の高さ（ｙｕ−ｙｄ）が求められていれば、下記（数５）式によって追従中の車両の高さｈを求めることができる。
【００５１】
ｈ＝Ｚ×（ｙｕｔ−ｙｄｔ）／ｆ …（数５）
ただし、ｆ：焦点距離
ｙｕｔ：時点ｔにおけるｙｕの値
ｙｄｔ：時点ｔにおけるｙｄの値
ここでは、図８、図９、図１０の方法で、確実性高く先行車のエッジだけを検出できているため、画像上から検出した先行車上のエッジの組み合わせのうち、最上端と最下端のエッジを選択することで、画像上の先行車の高さ（ｙｕ−ｙｄ）を求めることが可能である。追従中の先行車の高さｈは一定であるので、同じ車両に追従中の場合、１度先行車の高さｈを求めておけば、そのｈをもとに新たに検出した画像上の先行車の高さ（ｙｕｔ＋１−ｙｄｔ＋１）を、（数５）式に代入することで、下記（数６）式に示すように、画像上の先行車の高さ（先行車上のエッジ間の距離）からも車間距離Ｚを算出することが出来る。
【００５２】
Ｚ＝ｈ・ｆ／（ｙｕｔ＋１−ｙｄｔ＋１） …（数６）
ただし、ｈ：（数５）式で算出した値
（数５）式のｈを（数６）式に代入すると下記（数６’）式のようになる。
【００５３】
Ｚｔ＋１＝Ｚｔ×（ｙｕｔ−ｙｄｔ）／（ｙｕｔ＋１−ｙｄｔ＋１）
或いは …（数６’）
Ｚｔ＝Ｚｔ−１×（ｙｕｔ−１−ｙｄｔ−１）／（ｙｕｔ−ｙｄｔ）
ただし、Ｚｔ＋１：時点ｔ＋１における車間距離
Ｚｔ：時点ｔにおける車間距離
Ｚｔ−１：時点ｔ−１における車間距離
ｙｕｔ−１：時点ｔ−１におけるｙｕの値
ｙｄｔ−１：時点ｔ−１におけるｙｄの値
（数６’）式から判るように、上記の方法で求めた車間距離は、ステレオで求めた時点ｔにおける車間距離Ｚｔに対して、画像上のエッジ間距離の変化率の逆数（ｙｕｔ−ｙｄｔ）／（ｙｕｔ＋１−ｙｄｔ＋１）を乗算することと同じである。つまり、（２）と（３）の方法は、実際に適用する計算式は異なっているが、原理的には同じことである。
【００５４】
上記（２）、（３）の距離計測方法は、距離の確認および距離計測を高精度化することが出来る。すなわち、距離の確認は、（１）のステレオ画像処理で算出した距離と（２）または（３）のエッジ間距離の変化率から求めた距離とを照合することによって行なうことが出来る。また、エッジ間距離の変化率から求める車間距離変化率は、ステレオ画像処理で連続的に求めた距離から算出される車間距離変化率より精度が良い。
【００５５】
ここで、上記の精度向上の理由について図１１に基づいて説明する。
（１）の方法と（２）、（３）の方法で求めた車間距離の精度の違いを考える。車載のステレオカメラの場合、ｈ＞Ｄ（ｈ：先行車の高さ、Ｄ：カメラ間の距離）であるため、同じ車間距離を計測したときにおける視差（ｙａ−ｙｂ）（単位：画素）に対して先行車の高さ（ｙｕ−ｙｄ）（単位：画素）の方が大きな値となる。そのため、（数６）式による車間距離計測の方が、１画素のずれによる誤差の影響が小さいため、ステレオ視差からの計測車間距離より分解能の細かい測距が可能となる。
【００５６】
例えば、眼間距離Ｄ＝０．２ｍ、ｆ＝１０００画素、先行車の高さｈ＝１ｍとした場合において、車間距離が１０ｍの場合を考える。このとき、先行車のステレオ視差は２０画素（＝０．２×１０００／１０）、画像上の先行車の高さは１００画素（＝１×１０００／１０）となる。この二つにおいて、視差と先行車の高さ検出が１画素ずれると、ステレオ視差の場合には、２０画素が１９画素となるので、１０．５２ｍ（＝０．２×１０００／１９）と計測されるのに対し、高さ計測の場合には、１００画素が９９画素となるので、１０．１ｍ（＝１×１０００／９９）と計測される。つまり、１画素の検出誤差が、ステレオ画像処理では０．５ｍであるのに対し、高さ計測では０．１ｍとなる。
【００５７】
視差や画像上の高さの検出の１画素のずれは計測する車間距離分解能に相当する。つまり、車載のステレオカメラによる車間距離計測の場合には、先行車の高さより広い眼間距離を持つカメラ設定は実用上困難であるため、画像上の先行車のエッジ間距離の変化を用いた計測の方がステレオ視差を利用した計測よりも細かい分解能での計測が可能である。このことから、追従中の先行車までの車間距離を二つの方法で求めてその結果を照合することは、車間距離の確認だけでなく、ステレオ視差から求めた車間距離の高精度化にもつながることになる。同じ理由により、車間距離の変化率もステレオ画像処理で求めた車間距離から求めたものよりも画像上のエッジ間距離の変化から求めた方が高精度となる。このことから、（２）および（３）の方法では、ステレオ画像処理で求めた車間距離の確認および高精度化が可能となる。
【００５８】
また、上記の説明は、二つのカメラの光軸は相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置した場合について行なったが、撮像面の水平軸が同じライン上に揃うように設置してもよい。また、図８の説明においては、先行車上に設定するエッジ検出用の複数のウインドウを縦長とした場合について説明したが、横長のウインドウとし、検出する先行車上のエッジの対象を垂直エッジとしても同様の原理が適用できる。また、カメラの置き方、検出対象エッジの向きに関わらず、同様の効果も期待出来る。
【００５９】
次に、これまで説明した方法を用いて、追従中の先行車上のエッジを検出し、車間距離の変化率を求めることで車間距離の確認および高精度化を行う実施の形態について説明する。ここでは、前記図２のようにカメラを路面に対して縦に平行に並べ、２台のカメラのｙ軸が同一ライン上にのるように配置したステレオカメラを用いることとする。
【００６０】
図１２は、この実施の形態における演算処理の流れを示すフローチャートである。
まず、ステップＳ１０１では、図２のカメラＡとＢのステレオ画像、すなわち画像Ａと画像Ｂを入力する。
次に、ステップＳ１０２では、視差を求めることによって距離画像を作成し、作成した距離画像から先行車の位置と距離を検出する（前記図４〜図６参照）。
【００６１】
次に、ステップＳ１０３では、まず、距離画像から先行車の存在する横（ｘ軸）方向の範囲を（ｘ１〜ｘｒ）を求める（図６、図８参照）。また、距離画像から求めた先行車までの距離Ｚをもとに前記（数２）式により、先行車の概略の上下端ｙｕ、ｙｄを求め、ｙｕ、ｙｄを含む大きさの縦長のウィンドウを設ける（前記図６〜図８参照）。
ウィンドウの横方向の大きさは、ｙ座標毎のヒストグラムが求められるよう１０画素程度以上とすれば十分である。または、先行車の画像上の大きさは距離に応じて可変であるため、その距離に応じて、横幅が１０画素以上のウィンドウが５個所以上に定義できるように適度な大きさで可変としてもよい。
また、（数２）式をもとにウィンドウの上下端の定義位置ｙｕ＋α、ｙｄ−αを求める際に用いる先行車の高さｈは１〜２ｍ程度の平均的な値で十分である。また、余裕値αの値は、そのときの先行車の距離に応じて、先行車の高さの５分の１程度のマージンでよい。例えば、（数２）式より、距離から算出される先行車の画像上の高さが５０画素程度の場合、αは１０画素程度でよい。
【００６２】
次に、ステップＳ１０４では、ステップＳ１０３で定義した縦長のウィンドウ内の水平エッジのヒストグラムを求める（図８参照）。この際、水平エッジのヒストグラムは、図８（Ｂ）に示したように、ソーベルフィルタなどでウィンドウ内の画像を水平微分し、その水平微分画像の各ｙ座標毎のヒストグラムをとればよい。
【００６３】
次に、ステップＳ１０５では、これらのヒストグラムから先行車上の水平エッジを検出する。すなわち、図８で定義したウィンドウの全てにおいて求めた水平エッジのヒストグラムから、半数以上のウィンドウにおいて同じ位置に検出されているエッジを見つける。先行車は路面に対して平行なエッジを持つため、先行車上に切ったウィンドウにおいて同じ位置に検出されるエッジは先行車のエッジであると一応みなすことができる。
【００６４】
なお、先行車上に定義するウィンドウを一つにすると、そのウィンドウの両端部分に白線が撮像される場合には、白線のエッジ強度が先行車のエッジ強度より強くなることが多いため、先行車ではなく白線の位置が検出されることがある。そのため、このような誤検出を防ぐためにウィンドウを複数設け、複数のウィンドウにおいて検出されたエッジを先行車上のエッジと判断するようにしている。
【００６５】
次に、ステップＳ１０６では、ステップＳ１０５で求めた先行車上のエッジの移動ベクトルを検出する（図９参照）。エッジの移動ベクトルの算出は、前述の方法で検出したエッジの位置において、例えば、検出対象上に切った小さなウィンドウの移動方向を求める方法などによる一般的なオプティカルフロー検出手法を施せばよい。このような処理により検出した全てのエッジのオプティカルフローより検出した各エッジ毎の移動ベクトルを求める。
【００６６】
また、ステップＳ１０６においては、上記のエッジの移動ベクトルを用いて、そのエッジが先行車上のものであるか否かを再確認する。この確認は、車間距離変化とエッジが存在する位置により、次のような基準で判断できる（図９参照）。まず、車間距離が変化したときは、画像の中心に近いエッジの方が動きが小さく、画像の端に行くにつれ動きが大きくなる。そのため、例えば、ｙ＝０（原点：画像中心）の位置に近いにもかかわらず、そのエッジより原点から遠い位置にあるエッジベクトルの平均の動きよりも大きな動きを示すベクトルがあれば、それは先行車以外のエッジである可能性が高い。また、図９に示したように、車両上のエッジは、ｙ＜０の範囲とｙ＞０の範囲とで移動方向が上下逆になるので、それと反対の動きをするエッジは先行車以外のエッジと判断出来る。また、車間距離変化が０のときに大きな動きを示したエッジも先行車以外のエッジと判断できる。このような判断基準をもとに、先行車以外の可能性の高いエッジを除去し、残ったエッジ（上記の基準に適合したエッジ）を先行車上のエッジと判断する。これにより、歩道橋や光の反射等の誤ったエッジを除去し、確実に先行車上のエッジを選択することが出来る。
【００６７】
次に、ステップＳ１０７では、エッジ間距離の変化率を算出し、それに基づいて車間距離の変化率（エッジ間距離の変化率の逆数に等しい：数４式参照）を算出する。
まず、図８、図９の方法で検出した先行車上のエッジの中から２本ずつの組を作り、全ての組におけるエッジ間距離を求める（図１０参照）。前述したとおり、同じ物体上のエッジの組であれば、どの組でもエッジ間距離の時間的な変化率（ｙ１ｔ／ｙ１ｔ−１、ｙ２ｔ／ｙ２ｔ−１、…、ｙｎｔ／ｙｎ−１）は同じ値となるはずである。
【００６８】
ここで、エッジ間距離の変化率の求め方を具体的に説明する。図９の判断基準により選択されたエッジはオプティカルフローにより時間的な移動ベクトルが求められているエッジである。そのため、そのベクトルの始点が前回のエッジ位置、終点が今回のエッジ位置となる。つまり、前回のエッジ間距離ｙｎｔ−１（ｎ：１、２、…、）は、エッジ間距離を求める対象の二つのエッジの移動ベクトルの始点と始点との距離となり、今回のエッジ間距離ｙｎｔ（ｎ：１、２、…、）は、二つのエッジの移動ベクトルの終点と終点との距離として求められる。この方法で全ての組におけるエッジ間距離の変化率ｙｎｔ／ｙｎｔ−１（ｎ：１、２、…、）を求めれば、その中から最も多く同じ値が求められた各組のエッジを先行車上のエッジと判断することができる。
【００６９】
また、そのエッジ間距離の変化率の逆数はその時点での車間距離の変化率となる。この方法では、選択した２本のエッジ間距離だけでなく、同じ変化率を示す多くのエッジ間距離の変化をみているため、１、２本のエッジ検出ミスがある場合でも車間距離の変化率を正しく求めることができる。したがって、車間距離変化率計測の確実性を向上させることが出来る
次に、ステップＳ１０８では、上記のエッジ間距離の変化率をもとに、ステレオ画像処理で計測した車間距離の再確認を行なう。
（数４）式で説明したように、エッジ間距離の変化率の逆数は車間距離の変化率となる。つまり、１回前のエッジ間距離に対する今回のエッジ間距離の変化率を求めた場合、１回前にステレオ画像処理で視差から求めた車間距離Ｚｔ−１に対して、エッジ間距離の変化率の逆数をかけることで今回の車間距離Ｚｔを算出することができる。ステレオ画像処理の視差による車間距離算出も毎回行われているため、この変化率を用いることでステレオ画像処理で求めた車間距離の確認にもなる。さらに、図１１でも説明したように、エッジ間距離の変化率から求めた車間距離の変化率は、ステレオ画像処理で連続的に求めた車間距離から求められる車間距離の変化率よりも高精度であるため、計測車間距離自体の高精度化にも貢献できる。
【００７０】
また、（数５）式、（数６）式の説明の際、追従中の先行車の高さｈを算出することで、エッジ間距離からも車間距離算出が可能になることを説明したが、実用的には、上記ｈを求める際に用いたエッジが前記図９および図１０の判断によって先行車以外のエッジであると判断された場合には、他の２本のエッジ間距離を用いて新たな値にｈを算出し直すことで対応する。これにより、エッジ間距離を用いた車間距離算出の誤計測を防ぐことができ、さらに、先行車の入れ替わりなどによる車高ｈの変化にも対応可能となる。すなわち、先行車が入れ替わった場合には、その際に車高ｈが不連続に変化し、その後はほぼ一定になるので、このような場合には先行車が入れ替わったものと判断してその後の処理を実行すれば良い。
【００７１】
上記のように、第１の実施の形態においては、車両に設置した光軸が平行なステレオカメラで求めた画像に基づいて、視差から求めた距離画像から画像上の横方向における先行車の位置と先行車までの実際の車間距離とを概算し、距離画像から求めた画像上の位置において、そのときの車間距離をもとに先行車の上下端を含む大きさの縦長（または横長）のウィンドウを複数切り、それらのウィンドウの各ｙ座標毎において水平エッジのヒストグラム（または各ｘ座標ごとにおいて垂直エッジのヒストグラム）をとり、定義したウィンドウの中の多くのウィンドウにおいて同じ位置で検出されたエッジを一応先行車上のエッジと判断し、さらに、そのエッジの移動ベクトルを求め、ステレオ画像処理で求めた車間距離変化と適合する方向および大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択するように構成したことにより、歩道橋、白線、路面表示などのような、先行車以外の強度の強いエッジを誤検出することなく、確実に先行車の上のエッジを選択することが出来る。
【００７２】
また、同じ物体上のエッジ間距離の時間的変化率は、どのエッジ間距離においても同じであることから、上記の検出したエッジを２本ずつ組にし、全ての組においてエッジ間距離の時間的変化率を求め、変化率の異なる組のエッジを先行車以外のエッジとして除去するように構成したことにより、先行車上にかかる光のノイズなどの除去が可能になり、より確実に先行車を構成するエッジだけを選択することが可能となる。
【００７３】
さらに、この方法によって先行車以外のエッジを除外することにより、除外したエッジの位置の視差を車間距離算出の際に除外することができるので、路面表示など先行車周囲にエッジが多く存在する環境や光の位置などによってノイズの多い環境下でも確実性の高い車間距離計測が可能となる。
【００７４】
また、上記のエッジ間距離の変化率より、最も多くの組において同じ値で算出された変化率をもとに、その時点での車間距離の変化率を求めるように構成したことにより、１枚の画像だけを用いた処理において、光のノイズや影など、多少のエッジ検出ミスがあるときだけでなく、先行車上のエッジを検出しにくい環境下でも、車間距離の変化率を確実に正しく求めることが可能となる。
【００７５】
また、ステレオ画像処理で過去に求めた車間距離に対して、車間距離の変化率を乗算することで、処理時点での新たな車間距離を算出するように構成したことにより、ステレオ画像処理で求めた車間距離との照合・確認が可能となる。さらにエッジ間距離の変化率から求めた車間距離の変化率は、ステレオ画像処理で連続的に求めた車間距離より求められる車間距離の変化率よりも高精度であるため、計測車間距離自体の高精度化にも貢献できる。
【００７６】
（第２の実施の形態）
前記第１の実施の形態においては、二つのカメラによるステレオ画像処理によって車間距離計測を行なうものについて説明したが、第２の実施の形態においては、二つのカメラの代わりに、いわゆるレーザレンジファインダを用いて車間距離計測を行なう装置について説明する。
【００７７】
図１３は本発明の第２の実施の形態の構成を示すブロック図である。
図１３において、７はレーザレンジファインダであり、自車の前部に前方を向いて設置されている。なお、車両の後部に後方を向けて設置し、車両後方の障害物を検出するように構成することもできる。このレーザレンジファインダ７は、レーザレーダの照射を縦横に走査することで、前方の物体までの距離とその照射対象の反射強度（輝度）を２次元的に計測する装置である。また、８はレーザレンジファインダ７から入力した画像信号を記憶する画像メモリであり、後記の輝度画像と距離画像を記憶する。９は演算部であり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュータで構成される。その他、図１と同符号は同じものを示す。
【００７８】
以下、まず第２の実施の形態に用いる種々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。
図１４は、車両が走行する方向を中心として左右上下に道路前方を走査するレーザレンジファインダ７と計測対象物（先行車６）との位置関係を示す図である。レーザレンジファインダ７は、走査の中心軸が路面に平行で、かつ、直進する自車両の走行方向を向くように搭載されている。
【００７９】
また、図１５は図１４のレーザレンジファインダ７で計測した距離画像と輝度画像の一例を示した図であり、（Ａ）は輝度画像をイメージで示した図、（Ｂ）は距離画像をイメージで示した図、（Ｃ）は距離画像の内容（数値：例えばディジタル値）を示した図である。距離画像とはレーザレンジファインダで計測される各角度毎の測定距離の２次元配列を、輝度画像とは反射光の強度の２次元配列を意味するので、実際の輝度画像および距離画像は図１５（Ｃ）に示したような数値表（実際にはディジタル値）になるが、輝度画像の内容（数値表）は図示を省略している。また、図１５（Ｃ）において、「−１」は距離が測定可能距離の範囲外で測定不能な個所（例えば空）を示す。また、「１８」、「２８」、「４０」等の数値は対象物までの距離（ｍ）を示している。
【００８０】
以下、画像の横軸をｘ軸、縦軸をｙ軸、原点を画像の中心として説明する。
ここで得られる輝度画像および距離画像上の点の座標と、その座標上の点を計測した対象となる実空間上の点の位置関係は、図１４に示すように、走査範囲の角度と、値を計測するサンプリング間隔毎に動く照射の角度の大きさ（角度分解能）で決まる。例えば、縦、横の角度分解能がそれぞれ、θ、φのとき、画像上の座標（ｘ＝２、ｙ＝３）の位置に対応する実空間上の位置は、レーザレンジファインダの中心軸（画像面に垂直な軸）から、横に２θ、縦に３φの方向の最も近い位置にある物体面上の点となる。また、距離画像と輝度画像の互いに同じ座標位置の計測値は、実空間上で同じ位置の計測値である。
【００８１】
図１６（Ａ）は、図１５の距離画像において、先行車と同じ距離を示す部分だけを太線で表した図である。道路前方に先行車がある場合には、図示のように、先行車と同じ距離を示す部分は、先行車上とその先行車の真下の路面の部分となる。つまり、物体が存在する位置では同じ距離を示す値が隣接する。また、図１６（Ｂ）は、前方に先行車がないときの計測結果である。図示のように、路上に先行車などの物体がないときは、画像の下半分の領域には路面が撮像（上半分は空）されるため、この下半分の領域で計測された距離は画面の下から上に向けて近距離から遠距離になる。つまり、物体が存在する場合には、同じｘ座標上に同じ距離を示す画素が並ぶが、物体が無い場合にはｘ座標上には同じ距離の値は存在しない。このことから、図１７に示す方法で物体の検知・計測が可能となる。
【００８２】
図１７は、ｚ軸方向に距離をとり、ｘ軸を画像のｘ軸方向として投票した値をｙ軸方向に示したグラフである。図１５（Ｃ）のごとき距離画像の値をもとに、図１７の対応する位置に投票する。投票とは、例えば、ｘ＝２上にある画素で距離が３ｍの点のとき、グラフのｘ＝２、ｚ＝３のところにｙ＝１を加算する操作を意味する。詳細は、前記第１の実施の形態において図４〜図６で説明した方法と同様である。
【００８３】
このような操作を距離画像全体の値について行なう。前方ｚの位置に物体が存在する場合、その物体が撮像されるｘ座標の距離ｚの位置に複数回投票が繰り返されるため、表中のその位置の値が高くなる。一方、物体が存在しないｘ座標上では、図１６（Ｂ）に示したように、同じｘ座標上で同じ距離は計測されないため、表中で値が高くなる位置は存在しない。このことから、投票結果をもとに、表中の値が大きな位置の存在から物体の有無を求めることが出来る。また、その物体の存在する位置は、ｘ軸方向の範囲は投票値が所定値以上の範囲ｘｌ〜ｘｒ（ｘｌは存在範囲の左端、ｘｒは右端）のｘ軸方向の位置により、物体までの距離は表の距離ｚの値により、それぞれ求めることができる。
【００８４】
次に、輝度画像上から先行車の撮像範囲を求める方法を説明する。撮像範囲のｘ軸方向の範囲は、前述の方法でｘｌ〜ｘｒと求められる。また、画像のｙ軸方向の範囲は次のような原理から求める。図１８〜図２０は、レーザレンジファインダで撮像した距離画像と輝度画像において撮像範囲と先行車までの距離の関係を表す図であり、図１８は平面図、図１９は側面図、図２０は先行車の存在範囲を示す画像である。以下、図１８〜図２０を用いて、ｙ軸方向の範囲の求め方を説明する。
【００８５】
画像上の先行車の上端の位置をｙ＝ｙｕ、下端をｙ＝ｙｄとする。縦方向の角度分解能がφ、先行車までの距離がｚ、路面からレーザレンジファインダの中心軸までの高さをＨ、先行車の高さをｈとすると、図１９より、そのレーザレンジファインダで計測した輝度画像上における先行車の上下端（ｙｕ、ｙｄ）は、
ｔａｎ（ｙｕ×φ）＝（ｈ−Ｈ）／ｚ、 ｔａｎ（ｙｄ×φ）＝−Ｈ／ｚ
の関係となる。ただし、ここでは、下端はほぼ路面と同じ高さとみなす。また、θ、φは微小角であるので、ｔａｎθ≒θ、ｔａｎφ≒φである。このことから、（ｙｕ、ｙｄ）は下記（数７）式で求められる。
【００８６】
ｙｕ＝（ｈ−Ｈ）／（φ×ｚ）、 ｙｄ＝−Ｈ／（φ×ｚ） …（数７）
上記の方法により、左上端が（ｘｌ、ｙｕ）、右下端を（ｘｒ、ｙｄ）として先行車が撮像される画像上の範囲を図２０に示すように求めることができる。
【００８７】
次に、上記の方法で求めた輝度画像上の先行車の撮像範囲に縦長のウィンドウを切り、先行車上の水平エッジを検出する。これらの縦長のウィンドウを設定する横方向の位置は距離画像から検出した先行車が撮像される範囲ｘｌ〜ｘｒとすればよい。また、縦方向の位置は、（数７）式に基づいてｙｕとｙｄが含まれる程度の大きさ（上がｙｕ＋α、下がｙｄ−α）にすればよい。これを用いて水平エッジを検出する方法の内容は、前記第１の実施の形態における図８およびその説明と同様なので省略する。なお、縦エッジを検出する場合は、同様の処理を横長のウィンドウを切ってｙ座標をｘ座標に置き換えて行えばよい。また、後述する移動ベクトルやエッジ間距離の計算においても同様である。
【００８８】
次に、上記の方法で検出したエッジの移動ベクトルを求め、そのエッジの中から、先行車の動きに基づいた動きをするエッジだけを選択するが、この内容は、前記第１の実施の形態における図９およびその説明と同様なので省略する。
【００８９】
次に、エッジ間距離の変化率および車間距離の変化率を求める方法と、その結果を用いて先行車上のエッジを再確認する方法について説明する。なお、この方法は前記第１の実施の形態における図１０およびその説明と類似しているが、画像入力手段がステレオカメラとレーザレンジファインダとで異なっているため、数式等が一部異なっているので、改めて説明する。
【００９０】
図２１は、輝度画像上の先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、（Ａ）は時点ｔ−１における位置、（Ｂ）は時点ｔにおける位置を示す。
図２１に示すように、追従中の車両上から、バンパーなど路面に平行な線を異なる位置から２本ずつ２組選択し、その２本の平行線間の距離をｈ１、ｈ２とする。時点ｔ−１における車間距離がｚｔ−１のときのｈ１、ｈ２の画像上の長さをそれぞれｙ１ｔ−１、ｙ２ｔ−１とすると、ｙ１ｔ−１、ｙ２ｔ−１は、それぞれ下記（数８）式に示すようになる。
【００９１】
ｙ１ｔ−１＝（ｈ１／φ）／ｚｔ−１、 ｙ２ｔ−１＝（ｈ２／φ）／ｚｔ−１…（数８）また、時点ｔにおける車間距離をｚｔとすると、同様に、そのときの画像上のｈ１、ｈ２の長さは、ｙ１ｔ＝（ｈ１／φ）／ｚｔ、ｙ２ｔ（ｈ２／φ）／ｚｔとなる。これらから、車間がｚｔ−１からｚｔに変化したときの画像上のエッジ間の長さの変化率は、ｈ１、ｈ２ともに、下記（数９）式に示すようになる。
【００９２】
ｙ１ｔ／ｙ１ｔ−１＝ｙ２ｔ／ｙ２ｔ−１＝ｚｔ−１／ｚｔ …（数９）
つまり、エッジ間距離に関わらず、エッジ間距離の変化率は、それらのエッジが同じ物体上のものであれば、どのエッジが選択された場合でも同じ値になり、その値は、車間距離の変化率（ｚｔ／ｚｔ−１）の逆数（ｚｔ−１／ｚｔ）となる。
このことから、図８の方法によって検出した画像上の車両のエッジから２本ずつの組を作り、それらのエッジ間距離の時間的な変化率（ｙ１ｔ／ｙ１ｔ−１、ｙ２ｔ／ｙ２ｔ−１、…、ｙｎｔ／ｙｎｔ−１）を求め、それらの組ごとに求めたエッジ間距離の変化率から、その値が同じである最も多い組のエッジを先行車上のエッジであると再確認することができる。
【００９３】
さらに、或るエッジを含む組に限り、時間的変化率が常に他の組と異なるものがあれば、そのエッジを先行車以外のエッジとして除外できる。これにより、先行車付近の路面表示や路面のノイズなど先行車以外の反射からくる光のノイズを、先行車以外のエッジとして除去することが可能となる。また、同時に、その最も多くの個所で求められたエッジ間距離の変化率は、その時点での画像上の先行車の大きさの変化率となる。つまり、この変化率の逆数をとることで、車間距離の変化率も求めることができるようになる。このように輝度画像から求めたエッジ間距離の変化率から車間距離の変化率を求めることが出来る。
【００９４】
そして車間距離の変化率が求まれば、その値を所定演算回数前に計測した車間距離の値に乗算することにより、前記第１の実施の形態における（数６）式、（数６’）式で説明したのと同様に、車間距離の値を求めることが出来る。
この方法では、レーザレンジファインダの距離画像による距離測定と同時に、レーザレンジファインダで得られた輝度画像からも距離の変化率を求めることが出来るので、両者を比較・照合することにより、より確実な距離計測が可能になる。
【００９５】
また、図２１等で説明した輝度画像からの距離変化測定方法は、先行車上に検出されるエッジのうちの数本が検出できれば、車間距離の変化率を計測可能となる。したがって、エッジを検出しにくい形状・環境でも距離の変化率の計測は可能である。また、逆にノイズの多い環境であっても、その中から、先行車の車間変化に合った動き、変化率を示すものだけを選択するので、ノイズに影響されることなく車間距離の変化率が計測できる。このように、環境変化に影響されない確実性の高い距離測定が可能となる。
【００９６】
次に、前記図９、図２１で説明した輝度画像からの先行車上のエッジ選択において、先行車以外のエッジであると選択されたエッジがある場合には、そのときの距離画像上におけるそのエッジの存在位置の距離は誤った値である可能性が高い。このことから、図１７の表への投票の際に、先行車以外と判断されたエッジの存在位置の距離を用いないようにすることも有効である。このことにより、表への投票の際に誤計測値が反映されないため、車間距離計測の確実性を向上させることが出来る。
【００９７】
次に、レーザレンジファインダは、装置から照射した光が反射して戻ってくるまでの時間をもとに距離を計測する。そのため反射光の強度が弱い位置の計測値は信頼度が低い。また、光を吸収してしまう物体に照射した場合は反射光が返ってこない場合もあり、そのような位置の計測距離の値は誤計測値である。そのため、レーザレンジファインダから計測した輝度画像上において、輝度値が低い位置で計測された距離画像上の値を、図１７の表への投票の際に用いない構成とすることも有効である。これにより、信頼性の高い値だけを用いた距離計測が行われるようになり、同時に、誤計測値が車間距離計測に反映されないため、車間距離計測の確実性を向上させることが出来る。
【００９８】
次に、これまで説明した方法を用いて、追従中の先行車上のエッジを検出し、車間距離の変化率を求めることで車間距離の確認および高精度化を行う実施の形態について説明する。ここでは、前記図１４のようにレーザレンジファインダを車両の前方を向けて搭載した場合について説明する。
【００９９】
図２２は、この実施の形態における演算処理の流れを示すフローチャートである。
まず、ステップＳ１１１では、レーザレンジファインダの輝度画像と距離画像を入力する（図１５参照）。
次に、ステップＳ１１２では、まず、距離画像から表へ投票することにより、先行車の存在する横（ｘ軸）方向の範囲（ｘｌ〜ｘｒ、）と先行車までの距離ｚを求める（図１６、図１７参照）。ただし、この距離画像からの表への投票は、誤計測値が反映されないように、表へ投票する値を、レーサレンジファインダで計測した輝度がしきい値以上の位置の値だけとした上で図１７に示した方法で行なう。また、後の処理である先行車のエッジ判断処理（ステップＳ１１５）において、先行車のエッジ検出用のウィンドウ内にあるが、先行車上のエッジではないと判断された位置の値も除外して投票してもよい。
【０１００】
次に、ステップＳ１１３では、輝度画像から先行車の上下方向の範囲（ｙｕ〜ｙｄ）を検出する（図１８〜図２０参照）。
次に、ステップＳ１１４では、ステップＳ１１２とステップＳ１１３で検出した先行車の撮像範囲に縦長または横長のウィンドウを定義する。また、ステップＳ１１５では、上記ウィンドウ内のヒストグラムを求めることによって先行車上のエッジを検出する。さらにステップＳ１１６では、エッジの移動ベクトルを求め、そのエッジの中から、先行車の動きに基づいた動きをするエッジだけを選択する。これらのステップＳ１１４〜ステップＳ１１６の内容は、前記第１の実施の形態における図１２のステップＳ１０３〜ステップＳ１０６の内容と同様である。
【０１０１】
次に、ステップＳ１１７では、エッジ間距離の変化率を求め、その結果から車間距離の変化率を求める（図８、図２１参照）。この内容は前記第１の形態における図１２のステップＳ１０７とほぼ同様である。
次に、ステップＳ１１８では、レーザレンジファインダの距離画像から求めた車間距離と、ステップＳ１１７で求めた車間距離の変化率から算出した車間距離とを照合し、距離計測の正確性を再確認する。すなわち、所定演算回数前の計測した車間距離Ｚｔ−１に対して、今回演算した車間距離の変化率を乗算すれば今回の車間距離Ｚｔを算出することができる。このように、レーザレンジファインダによる距離画像から求めた車間距離と、輝度画像から求めた距離の変化率に基づく車間距離とを比較・照合することにより、より確実な距離計測が可能になる。
【０１０２】
以上説明してきたように、第２の実施の形態においては、車両に設置したレーザレンジファインダの距離画像と輝度画像を求め、得られた距離画像から、輝度画像上の横方向における先行車の撮像位置と自車から先行車までの実際の距離を計測し、輝度画像上において、そのときの車間距離に基づいて先行車の上下左右端を含む大きさの縦長（または横長）のウィンドウを複数設け、それらのウィンドウの各ｙ座標（またはｘ座標）毎において水平（または垂直）のエッジのヒストグラムをとり、設定したウィンドウの中の多くのウィンドウにおいて同じ位置で検出されたエッジを先行車上のエッジであると一応判断し、さらに、そのエッジの移動ベクトルを求め、ステレオ画像処理で求めた距離変化と適合する方向・大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択する。さらに、選択したエッジ間距離の変化率をもとに、変化率が同じ組のエッジだけを先行車上のエッジと判断し、そのエッジ間距離の変化率の逆数より車間の変化率を求めるように構成している。そのため、レーザレンジファインダの計測距離の分解能より細かい精度での距離計測が可能となり、同時に二つの手法による計測結果の照合により確実な距離測定が可能となる。
【０１０３】
さらに、このエッジ検出方法は、先行車上のエッジをヒストグラムと移動ベクトルとエッジ間距離の変化率とから判断しているため確実であり、その方法により、先行車上と考えられるエッジを選択した後、それらのエッジ間距離の変化率から先行車の車間距離の変化率を求めているため、エッジ間距離から計測した車間距離の変化率は、エッジの検出しにくい環境においてもその中の数本が検出できれば車間距離の変化率計測が可能であり、かつ、ノイズの多い環境下でも、ノイズが除去されるため、周囲環境に対して影響されにくい確実な計測装置を実現出来る。
【０１０４】
また、先行車以外のエッジと判断された位置におけるレーザレンジファインダで計測した距離画像上の値を、車間距離計測の際の判断に反映させない構成としたため、ノイズなどによる誤計測値を除去でき、より正確な測距が可能となる。
【０１０５】
また、距離画像からの車間距離計測において、レーザレンジファインダの輝度画像上の反射強度が低い場合には、その位置で計測された距離を反映させない構成としたため、誤計測値を除去でき、さらに、信頼度の高い計測値だけを用いた、より正確な測距が可能となる。
【０１０６】
また、カメラによる画像は夜間のような暗い状況下では使用困難であるが、レーザレンジファインダは夜間等でも使用可能である。
【０１０７】
（第３の実施の形態）
前記第１の実施の形態においては、２つのカメラを用いたステレオ画像処理によって車間距離計測を行なう装置、前記第２の実施の形態においては、２つのカメラの代わりに、いわゆるレーザレンジファインダを用いて車間距離計測を行なう装置について説明したが、第３の実施の形態においては、レーザレンジファインダと１つのカメラを用いる装置について説明する。
【０１０８】
第２の実施の形態で測距用に用いているレーザレンジファインダにおいては、一般に、前方の物体までの距離を計測する光の走査機構として、光の照射角度をミラーの回転などによって変更する機構を用いているため、装置の信頼性を高くするためには、走査を遅くすることが要求される。つまり、この要求を満たすためには、１回の２次元情報を得るためのサンプリング間隔を広げる必要がある。また、装置の信頼性を高めるためには、発光パルスの照射間隔を広げることも必要となる。つまり、故障率が低く信頼性の高いレーザレンジファインダとするためは、１回の２次元情報を得るのにかかる時間を長くする必要があり、さらに、２次元的な縦横の分解能および測定距離の分解能も粗くする必要がある。そのため測定結果の精度が低下し、かつ、測定の時間間隔が長くなるという問題が生じる。その問題に対処するため、第３の実施の形態では、レーザレンジファインダとカメラとを組み合わせて用いるように構成している。
【０１０９】
図２３は本発明の第３の実施の形態の構成を示すブロック図である。
図２３において、１０は電子式のカメラであり、このカメラ１０の光軸がレーザレンジファインダ７の走査の中心の軸と平行になる位置および姿勢で車両に搭載されている。１１はカメラ１０から入力した画像信号を記憶する画像メモリである。１２は演算部であり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュータで構成される。その他、図１３と同符号は同じものを示す。
【０１１０】
以下、まず第３の実施の形態に用いる種々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。
この実施の形態においては、レーザレンジファインダ７に加えて、それと同じ平面の輝度画像が得られるカメラ１０を搭載し、第２の実施の形態においてレーザレンジファインダ７の輝度画像に施した処理を、カメラ１０で撮像した画像に対して行い、エッジの検出およびエッジ間距離の変化率から車間距離の変化率を求める。これには、まず、レーザレンジファインダ７の距離画像から求めた先行車の画像上での位置を、カメラ１０で撮像した画像上での位置に変換し、両者の画像上の位置を合せる必要がある。
【０１１１】
図２４は、レーザレンジファインダ７の上で間隔Ａだけ上方に離れた位置に、レーザレンジファインダ７の走査の中心の軸とカメラの光軸が平行になる位置および姿勢でカメラ１０を搭載した場合における、二つの装置およびその撮像対象となる車両の位置関係を示した図である。また、図２５（Ａ）、（Ｂ）は、図２４の環境下において計測した輝度画像の様子を表した図であり、（Ａ）はレーザレンジファインダ７の輝度画像、（Ｂ）はカメラ１０の輝度画像を、それぞれ画像のイメージで示している。なお、実際の輝度画像は、輝度に対応したディジタル値の２次元配列になる。
【０１１２】
第２の実施の形態でも説明したように、レーザレンジファインダで計測した輝度画像上の位置と実空間における対象物の位置との関係は前記（数７）式で求められる。また、カメラの場合には、図２６に示すように、画像１画素に対応する角度を求めておくことにより、（数７）式と同様の原理によって画像上の座標とその位置に撮像される実空間上の点との位置関係を求めることができる。なお、図２６においては、縦方向の１画素分の角度βのみを表示しているが、横方向についても同様に角度αを求める。
【０１１３】
例えば、レーザレンジファインダの一つの画素に対応する縦、横の角度をφ、θ、カメラ画像の一つの画素に対応する縦、横の角度をβ、αとすると、図２４の配置において、距離ｚの位置にある車両上の或る１点ｐが、レーザレンジファインダで計測した距離画像上では（ｘｐ１、ｙｐ１）に撮像されたとき、その点ｐが撮像される画像上の座標（ｘｐｉ、ｙｐｉ）は、
ｘｐｉ＝ｘｐ１・（θ／α）、 ｙｐｉ＝ｙｐ１・（φ／β）−Ａ／（β・ｚ）
となる。ただし、通常、Ａ＜＜ｚであるので、Ａは無視できる大きさとすると、両画像間の位置対応は、下記（数１０）式で算出される。
【０１１４】
ｘｐｉ＝ｘｐ１・（θ／α）、 ｙｐｉ＝ｙｐ１・（φ／β） …（数１０）
カメラで撮像した方の画像処理に関しては、（数１０）式のスケーリングを施した上で、図１７〜図２１で説明したエッジ検出およびエッジ間距離の変化率測定処理において、レーザレンジファインダの輝度画像の代わりにカメラの輝度画像を用いて同様の処理を行なう。これにより、第２の実施の形態と同様の効果が得られる。さらに、レーザレンジファインダの輝度画像よりもカメラの画像の方がエッジが鮮明であり、縦横の分解能が細かいことから、この効果をより向上させることができる。加えて、カメラの画像入力周期はレーザレンジファインダの画像更新周期より短いことから、距離の変化率を短い時間間隔で求めることも可能となる。その他の処理は前記第１および第２の実施の形態と基本的には同じである。
【０１１５】
なお、レーザレンジファインダの距離画像と輝度画像に関しては前記第２の実施の形態で説明した各種の処理を施すことが出来る。例えば、図１７の方法により、先行車までの距離は、レーザレンジファインダの走査完了毎に距離画像から計測することで、１回の走査にかかる時間を周期として連続的に計測することができる。また、レーザレンジファインダの輝度画像から求めたエッジ間距離の変化率に基づいた車間距離の変化率算出も同じ周期で連続的に計測できる。
【０１１６】
また、車間距離計測において、同じ車両に追従中の場合は、１度車間距離を求めておけば、その車間距離に対してエッジ間距離の変化率を乗算することで、その時点での距離を算出することが可能となる。すなわち、レーザレンジファインダで計測した時点ｔでの車間距離がｚｔ、時点ｔ＋１に計測した車間距離の変化率（エッジ間距離の変化率の逆数）がγであれば、時点ｔ＋１での車間距離ｚｔ＋１は、下記（数１１）式で計算できる。
ｚｔ＋１＝γ×ｚｔ …（数１１）
レーザレンジファインダの距離分解能は粗く、縦横の分解能は細かい場合においては、この計算による距離の再計算は、距離の高精度化にもつながる。
【０１１７】
また、上記の方法による距離の更新は、第３の実施の形態のようにカメラとレーザレンジファンダの両方を搭載したシステムにおいては、距離計測の時間間隔を短くすることにもつながる。例えば、レーザレンジファインダの計測間隔時間が１秒、カメラの撮像間隔が１６．７ｍｓ（１フィールド）である場合、レーザレンジファインダからの画像入力は１秒毎にしかできないが、カメラ画像から求めたエッジ間距離の変化率に基づく車間距離の変化率は１６．７ｍｓ毎に計測される。したがって、レーザレンジファインダのみの場合には車間距離計測は１秒毎にしか出来ないが、時点ｔでレーザレンジファインダで計測した距離ｚｔに対して、前記（数１１）式を適用して演算すれば、車間距離の演算を１６．７ｍｓ毎に処理することが出来る。図２７は上記の計測タイミングを示した図である。
【０１１８】
さらに、このエッジ間距離の時間的な変化率を利用した車間距離測定は、距離の確認および距離の高精度化にもつながる。以下、カメラ画像を用いたエッジ間距離からの車間距離変化率算出により、距離算出の精度が向上される原理を説明する。
図１９に示した先行車の高さｈは通常は未知の値である。しかし、レーザレンジファインダで距離が求められているときは、先行車までの車間距離ｚと輝度画像上の先行車の高さ（ｙｕ−ｙｄ）を下記（数１２）式に代入することで追従中の車両の高さｈを求めることができる。
【０１１９】
ｈ＝β×（ｙｕｔ−ｙｄｔ）×ｚｔ …（数１２）
ただし、β：１画素分の角度
同じ車両に追従中は、ｈは一定値である。ここでは、画像上の先行車の高さ（ｙｕ−ｙｄ）は、前記の先行車上のエッジ検出処理により求めることができるため、（数１２）式により１度求めたｈをもとに、次の入力画像で求めた先行車の高さ（ｙｕｔ＋１−ｙｄｔ＋１）を、下記（数１３）式に代入することで、先行車の高さからも新たな車間距離を求めることができる。
【０１２０】
ｚ＝ｈ／β（ｙｕｔ＋１−ｙｄｔ＋１） …（数１３）
ただし、ｈ：（数１２）式で算出した値
（数１２）式のｈを（数１３）式に代入すると下記（数１３’）式のようになる。
Ｚｔ＋１＝Ｚｔ×（ｙｕｔ−ｙｄｔ）／（ｙｕｔ＋１−ｙｄｔ＋１）
或いは …（数１３’）
Ｚｔ＝Ｚｔ−１×（ｙｕｔ−１−ｙｄｔ−１）／（ｙｕｔ−ｙｄｔ）
ただし、Ｚｔ＋１：時点ｔ＋１における車間距離
Ｚｔ：時点ｔにおける車間距離
Ｚｔ−１：時点ｔ−１における車間距離
（数１３’）式からもわかるように、この方法で求める車間距離は、画像上で検出したエッジ間距離の変化率の逆数（ｙｕｔ−ｙｄｔ）／（ｙｕｔ＋１−ｙｄｔ＋１）をレーザレンジファインダの距離画像から時点ｔで求めた距離ｚｔにかけることと同じである。つまり、前記（数１１）式と同様の計算により、車間距離が求められることがわかる。
【０１２１】
ここで、前記第２の実施の形態においてレーザレンジファインダの輝度画像と距離画像の処理によって（数１１）式で求める方法と、カメラの輝度画像とレーザレンジファインダの距離画像とを用いて（数１３）式で求める方法とにおける距離の精度の違いを考える。例えば、レーザレンジファインダの距離分解能を１ｍとし、カメラの画素の分解能を通常の車載システムを参考に、画角３０度で縦に４８０画素の分解能の画像を撮像すると仮定する。このときの画像の１画素分の分解能βは、０．００１ｒａｄ（＝２π×（３０／４８０）／１８０）である。このシステムにおいて、高さ１ｍの車両までの距離を算出すると、レーザレンジファインダでの計測距離分解能は常に１ｍであるのに対し、画像のエッジ間距離で求める分解能は、距離に応じて下記（数１４）式で求められる値となる。
【０１２２】
この分解能は、画像上でエッジの検出位置が１画素ずれたときに現われる距離の差である（図２８参照）。例えば、前方５ｍ、１０ｍのときの測定距離分解能を比較する。レーザレンジファインダではどちらを計測した場合も分解能が１ｍであるのに対し、エッジ間距離からの測定では、前方５ｍのときのエッジ間距離（ｙｕｔ−ｙｄｔ）は、２００画素（＝１０００／５）、前方１０ｍのときは、（ｙｕｔ−ｙｄｔ）＝１００画素（＝１０００／１０）となり、それぞれの距離分解能は、検出エッジ位置が１画素ずれたときの計測値との差であるので、５ｍでは０．０２５ｍ＝５−４．９７５（＝１０００／２０１）、１０ｍでは０．１ｍ＝１０−９．９ｍ（＝１０００／１０１）となる。すなわち、どちらも場合もレーザレンジファインダの分解能１ｍに比較して、１０分の１以下の細かい誤差精度での測定が可能になることがわかる。そして、この分解能の向上は、精度の向上が重要である近距離ほど向上される。このように、追従中の先行車までの車間距離を二つの方法で測定して照合することは、距離の確認だけでなく、レーザレンジファインダで求めた距離の高精度化にもつながることになる。さらに、カメラ画像に基づいて車間距離の変化を更新することは、前記図２７で説明したように測定距離の更新時間を短くすること、つまり、車載の車間距離測定に重要なレスポンスの向上にもつながる。
【０１２３】
次に、これまで説明した方法を用いて、追従中の先行車上のエッジを検出し、車間距離の変化率を求めることで車間距離の確認および高精度化を行う実施の形態について説明する。ここでは、前記図２４のようにレーザレンジファインダとカメラを車両の前方を向けて搭載した場合について説明する。ただし、計算を簡略化するため、カメラとレーザレンジファインダの搭載位置の差（図２４の間隔Ａ）は、無視できるものとして説明する。しかし、実際の場合において、間隔Ａが大きな値である場合でも、間隔Ａの差によって表れる画像上の位置の差を幾何学的に考慮することで同様の処理・効果が得られる。
【０１２４】
図２９は、この実施の形態における演算処理の流れを示すフローチャートである。
まず、ステップＳ１２１では、レーザレンジファインダの輝度画像と距離画像を入力する。また、ステップＳ１２２ではカメラの画像（輝度画像）を入力する（図２４、図２５参照）。
【０１２５】
次に、ステップＳ１２３では、カメラの画像に対してレーザレンジファインダの画像との位置合わせを行なう（図２４〜図２６参照）。
【０１２６】
なお、この実施の形態では、基本的にはレーザレンジファインダの輝度画像の代わりにカメラの輝度画像を用いるので、前記図２２におけるステップＳ１１３のレーザレンジファインダの輝度画像から先行車範囲を検出する処理は無くてもよい。ただし、図２２のようにレーザレンジファインダの輝度画像と距離画像から演算する方法も同時に行ない、演算結果の車間距離或いはその変化率を、本フローチャートの演算結果と照合するように構成することもできる。また、第２の実施の形態で説明したのと同様に、レーザレンジファインダの輝度画像も求めておき、距離画像からの車間距離計測において、輝度画像上の反射強度が低い場合には、その位置で計測された距離を反映させない構成とすることにより、誤計測値を除去でき、さらに、信頼度の高い計測値だけを用いた、より正確な測距が可能となる。
【０１２７】
次に、ステップＳ１２４では、レーザレンジファインダの距離画像からの表への投票により、先行車の存在する横（ｘ軸）方向の範囲（ｘｌ〜ｘｒ、）と先行車までの距離ｚを求める（図１７参照）。ただし、この距離画像からの表への投票は、誤計測値が反映されないように、表へ投票する値を、レーザレンジファインダで計測した輝度がしきい値以上の位置の値だけとした上で図１７で説明した方法で行なう。また、この後の処理である先行車のエッジ判断処理（ステップＳ１２７）において、先行車のエッジ検出用のウィンドウ内にあるが、先行車上のエッジではないと判断された位置の値も除外して投票してもよい。
【０１２８】
次に、ステップＳ１２５では、先行車の上下端検出用のウィンドウを設定する。ここでは、水平エッジを検出するための縦長のウィンドウをカメラの画像上に設定する。すなわち、図１７の処理によってレーザレンジファインダの距離画像から求めた横方向の範囲（ｘｌ〜ｘｒ）に対して前記（数１０）式を適用することにより、カメラ画像上における先行車の撮像範囲を求める。ここでは、後の説明において表記を簡略化するため、以降、（数１０）式によって大きさを変換した後のカメラ画像上での先行車の撮像範囲も（ｘｌ〜ｘｒ）と記述する。
【０１２９】
次に、ウィンドウを定義する縦方向の位置を求める。これは、距離画像から求めた距離ｚより、（数１０）式において、１画素に対応する角度をカメラ画像の角度βとして、上下端（ｙｕ、ｙｄ）を求める。これらの方法により、求めた横方向ｘｌ〜ｘｒの間にｙｕ、ｙｄを含む大きさの縦長のウィンドウを設定する（図８参照）。定義する縦長のウィンドウの横方向の大きさは、ｙ座標毎の水平エッジのヒストグラムが求められるよう１０画素程度以上とすれば十分である。または、先行車の画像上の大きさは距離に応じて可変であるため、その距離に応じて、横幅が１０画素以上のウィンドウが５個所以上に定義できるように適度な大きさで可変としてもよい。
【０１３０】
また、（数１０）式をもとにウィンドウの定義位置ｙｕ＋α、ｙｄ−αを求める際に用いる先行車の高さｈは１〜２ｍ程度と平均的な値で十分である。αの値は、そのときの先行車の距離に応じて、先行車の高さの５分の１程度の余裕でよい。例えば、（数１２）式によって距離から算出される先行車の画像上の高さが５０画素程度の場合、Ｃは１０画素程度でよい。
【０１３１】
次に、ステップＳ１２６では、上記の設定した縦長のウィンドウの中で求めた水平エッジのヒストグラムをもとに、先行車上のエッジを検出する。これには前記図８で説明した方法を用いる。まず、図８に示すように、ソーベルフィルタなどでウィンドウ内の画像を水平微分し、その水平微分画像の各ｙ座標毎のヒストグラム求める。次に、定義したウィンドウの全てにおいて求めた水平エッジのヒストグラムから、半数以上のウィンドウにおいて同じ位置に検出されているエッジを見つける。先行車は路面に対して平行なエッジを持つため、先行車上に切ったウィンドウにおいて同じ位置に検出されるエッジは先行車のエッジと一応みなすことができる。
【０１３２】
なお、仮に先行車上に定義するウィンドウを一つとすると、そのウィンドウの両端部分に白線が撮像される場合、白線のエッジ強度が先行車のエッジ強度より強くなることが多いため、先行車ではなく白線の位置が検出されることがある。そのため、このような誤検出を防ぐため、ウィンドウを複数設け複数のウィンドウにおいて検出されたエッジを先行車上のエッジと判断する。
【０１３３】
次に、ステップＳ１２７では、これらのエッジの移動ベクトルを検出する。このエッジの移動ベクトル算出は、前述の方法で検出したエッジの位置において、例えば、検出対象上に切った小さなウィンドウの移動方向を求める方法などによる一般的なオプティカルフロー検出手法を施せばよい。このような処理により検出したすべてのエッジのオプティカルフローより検出した各エッジ毎の移動ベクトルを求める。
【０１３４】
更に、上記のエッジの移動ベクトルを用いて、そのエッジが先行車上のものであるかを再確認する。この確認は、車間距離変化とエッジが存在する位置により次のような基準で判断できる。すなわち、車間距離が変化したときは、画像の中心に近いエッジの方が動きが小さく、画像の端に行くにつれ動きが大きくなる。そのため、例えば、画像中心（原点：ｙ＝０）の位置に近いにもかかわらず、そのエッジより原点から遠い位置にあるエッジベクトルの平均の動きより大きな動きを示すベクトルがあれば先行車以外のエッジである可能性が高い。また、ステレオ画像処理により求めた距離の変化に基づき、図９に示したように、、車間距離が大きくなる場合は、ｙ＞０の位置のエッジは下方、ｙ＜０の位置のエッジは上方に移動し、車間距離が短くなる場合は、ｙ＞０の位置のエッジは上方、ｙ＜０の位置のエッジは下方に移動し、車間距離が一定の場合はエッジの位置は不変となる。これらのことから、そのベクトルが図９に示す理論どおりの動きをするものを車両上のエッジとして再確認し、逆の変化するエッジは車両上のものではないと判断することができる。また、車間変化＝０のときに大きな動きを示したエッジも先行車以外のエッジと判断できる。このような判断基準をもとに、先行車以外の可能性の高いエッジを除去する。
【０１３５】
次に、ステップＳ１２８では、上記先行車上のエッジ間距離の変化率を求め、それによって、より確実に先行車上のエッジを選択する。それとともに、エッジ間距離の変化から、車間距離計測の高精度化を行なう。まず、上記ステップＳ１２８で検出した先行車上のエッジの中から２本ずつの組を作り、それらの各組におけるエッジ間距離を求める（図２１参照）。前述したとおり、同じ物体上のエッジの組み合わせであれば、どの組み合せでもエッジ間距離の時間的な変化率（ｙ１ｔ／ｙ１ｔ−１、ｙ２ｔ／ｙ２ｔ−１、…、ｙｎｔ／ｙｎｔ−１）は同じ値となるはずである。
【０１３６】
ここで、エッジ間距離の変化率の求め方を具体的に説明する。図９の判断基準により選択されたエッジは、オプティカルフローにより時間的な移動ベクトルが求められているエッジである。そのため、そのベクトルの始点が前回のエッジ位置、終点が今回のエッジ位置となる。つまり、前回のエッジ間距離ｙｎｔ−１（ｎ：１、２、…）は、エッジ間距離を求める対象の二つのエッジの移動ベクトルの始点間の距離となり、今回のエッジ間距離ｙｎｔ（ｎ：１、２、…）は、ベクトルの終点間の距離として求められる。この方法で各組におけるエッジ間距離の変化率ｙｎｔ／ｙｎｔ−１（ｎ：１、２、…）を求めれば、エッジ間距離の変化率が同じ値となる組が最も多い組のエッジを先行車上のエッジと判断することができる。また、その変化率の逆数はその時点での車間距離の変化率となる。この方法では、選択した２本のエッジ間距離だけでなく、同じ変化率を示す多くのエッジ間距離の変化を見ているため、１、２本のエッジ検出ミスがある場合でも車間変化率を正しく求めることができる。したがって確実性の高い車間距離変化率測定が可能となる。
【０１３７】
次に、ステップＳ１２９では、エッジ間距離の変化率に基づいて、先行車に追従中における、レーザレンジファインダで計測した車間距離を更新する。（数９）式で説明したように、エッジ間距離の変化率の逆数は車間距離の変化率となる。つまり、レーザレンジファインダで求めた距離ｚｔに対して、時点ｔで検出したエッジ間距離の変化率の逆数を乗算することで距離を更新することが可能となる（数１１式、数１３式）。
【０１３８】
また、レーザレンジファインダは、装置の信頼性向上のため１枚の画像を得るための走査速度を遅くすることが求められるが、この方法では、１回レーザレンジファインダで計測した距離に対して、次にレーザレンジファインダから距離が計測されるまでの間は、画像から計測されるエッジ間距離の変化率による距離の更新を行なうことが出来るので、短い時間間隔での距離測定の更新が可能である（図２７参照）。
【０１３９】
また、レーザレンジファインダで距離が計測された時点では、両者の計測値を比較・照合することで距離の確認を行なうことが出来る。さらにカメラからの画像からだけでなく、レーザレンジファインダで得られる輝度画像でもエッジ間距離からの距離変化を検出（前記第２の実施の形態参照）しておくことで、さらに確実な距離の確認が可能となる。
【０１４０】
また、前にも説明したように、カメラ画像を用いたエッジ間距離の変化率から求めた車間距離の変化率は、レーザレンジファインダで計測した車間距離の分解能より高精度であるため、計測距離自体の高精度化にも貢献できる。なお、この方法は車両を追従中の車間距離精度向上に適用しているが、実際の場合には、車両の高さｈを求めたもととなったエッジが、図９および図２１の判断によって先行車以外のエッジと判断されたときは、他の２本のエッジ間距離を用いて新たな値にｈを定義し直すことで対応するように構成すれば、エッジ間距離を用いた距離算出の誤計測を防ぐことができ、さらに、先行車の入れ替わりなどによる車高ｈの変化にも対応可能となる。
【０１４１】
以上説明してきたように、第３の実施の形態においては、レーザレンジファインダの走査の中心軸と光軸が平行でほぼ同じ画角内を計測する位置および姿勢のカメラを用い、第２の実施の形態においてレーザレンジファインダで計測した輝度画像に対して施した処理を、カメラから撮像した画像に対して施すことにより、レーザレンジファインダとは異なる装置で距離変化の算出を同時に行なうように構成している。そのため、レーザレンジファインダの装置の信頼性を確保するために、走査やサンプリングを粗くした場合においても、距離精度を確保することが出来る。さらに、第２の実施の形態と同様の効果も得られ、精度向上においては、より細かい分解能の画像を用いることができる。
【０１４２】
また、先行車以外のエッジと判断された位置におけるレーザレンジファインダで計測した距離画像上の値を、車間距離計測の際の判断に反映させない構成としたため、ノイズなどによる誤計測値を除去でき、より正確な測距が可能となる。
【０１４３】
また、レーザレンジファインダで求めた距離に対して、エッジ間距離の変化率から求められる車間距離の変化率をかけることで新たな距離を算出する構成としたため、レーザレンジファインダの計測間隔が長い場合でも、カメラの撮像間隔での車間距離の更新が可能となる。更に、レーザレンジファインダの距離分解能が粗い場合には、距離の高精度化も可能となる。
【０１４４】
以上のような構成としたため、装置の信頼性を確保するために距離分解能を粗くしたレーザレンジファインダを用いた距離計測においても、距離精度を保持または向上することが可能となり、同様に、装置の信頼性確保のために走査を遅くして計測の時間間隔を長くした場合においても、カメラを１台追加した構成にしただけで、距離測定のレスポンスを遅くすることなく、通常の画像処理の速度での距離計測が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図。
【図２】ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図。
【図３】ステレオ画像の両画像の対応する位置毎の視差を求めた結果を示す図。
【図４】距離画像上の或るウィンドウで求めた視差とそのウィンドウの横方向の位置に基づいて、対応する表中の位置に投票する様子を表した図。
【図５】投票を全てのウィンドウにおいて行った結果を示す図であり、（Ａ）は上画像、（Ｂ）は視差の表、（Ｃ）は投票用の表。
【図６】図５の投票結果から視差１５の部分を抜き出して１次元グラフとしてあらわした図であり、（Ａ）は図５の（Ｃ）に相当する表、（Ｂ）は１次元グラフ、（Ｃ）は対応する画像。
【図７】一方の画像に撮像された先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、（Ａ）は側面図、（Ｂ）は撮像面Ａの画像例。
【図８】先行車上に設けた縦長のウィンドウのそれぞれにおいて各ｙ座標毎に水平エッジのヒストグラムと輝度のヒストグラムの求めた様子を示す図であり、（Ａ）は原画像上に設けた縦長のウィンドウの一例、（Ｂ）は先行車の存在位置を水平微分したエッジの一例、（Ｃ）は（Ｂ）における▲１▼〜▲５▼のウィンドウの各水平エッジのヒストグラム。
【図９】車間距離に応じた先行車上のエッジの移動方向ベクトルの変化を示す図。
【図１０】エッジ間距離の変化率と車間距離の変化率との関係を説明するための図。
【図１１】ステレオ視差と先行車の高さを用いた車間距離計測の計測距離分解能の比較説明図。
【図１２】第１の実施の形態における演算処理の流れを示すフローチャート。
【図１３】本発明の第２の実施の形態の構成を示すブロック図。
【図１４】道路前方を走査するレーザレンジファインダと計測対象物（先行車）との位置関係を示す図。
【図１５】レーザレンジファインダで計測した距離画像と輝度画像の一例を示した図であり、（Ａ）は輝度画像をイメージで示した図、（Ｂ）は距離画像をイメージで示した図、（Ｃ）は距離画像の内容（数値：例えばディジタル値）を示した図。
【図１６】距離画像において、前方に先行車が存在する場合としない場合との比較を示す図であり、（Ａ）は先行車が存在する場合、（Ｂ）は存在しない場合の計測結果を示す。
【図１７】投票結果を示す１次元グラフとそれに対応する画像。
【図１８】レーザレンジファインダで撮像した距離画像と輝度画像において撮像範囲と先行車までの距離の関係を表す平面図。
【図１９】レーザレンジファインダで撮像した距離画像と輝度画像において撮像範囲と先行車までの距離の関係を表す側面図。
【図２０】上記輝度画像において先行車の存在範囲を示す画像。
【図２１】輝度画像上の先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、（Ａ）は時点ｔ−１における位置、（Ｂ）は時点ｔにおける位置を示す。
【図２２】第２の実施の形態における演算処理の流れを示すフローチャート。
【図２３】本発明の第３の実施の形態の構成を示すブロック図。
【図２４】レーザレンジファインダとカメラおよびその撮像対象の車両との位置関係を示した図。
【図２５】輝度画像の様子を表した図であり、（Ａ）はレーザレンジファインダの輝度画像、（Ｂ）はカメラの輝度画像を、それぞれ画像のイメージで示した図。
【図２６】カメラで撮像した画像の１画素に対応する角度を説明する図。
【図２７】レーザレンジファインダとカメラの計測時間間隔を説明する図。
【図２８】検出したエッジの１画素のずれによる誤差の状態を説明する図。
【図２９】第３の実施の形態における演算処理の流れを示すフローチャート。
【符号の説明】
１、２…カメラ ３、４…画像メモリ
５…演算部 ６…検出対象物（先行車）
７…レーザレンジファインダ ８…画像メモリ
９…演算部 １０…カメラ
１１…画像メモリ １２…演算部
【発明の属する技術分野】
この発明は、追従中の先行車の車間距離および車間距離変化計測の確実性を向上させる技術に関する。
【０００２】
【従来の技術】
従来の車間距離計測装置としては、例えば、特開平８−２７８１２６号公報に記載されたものがある。この装置では、縦に並べたステレオ画像から水平エッジのヒストグラムを抽出し、それらのヒストグラムのピークを、垂直方向をｙ軸としたときに、ｙ軸の下側より順に探索し、ヒストグラムのピークのｙ軸上におけるステレオ画像間の位置の差を先行車の視差として、車間距離を求めるものである。
【０００３】
【発明が解決しようとする課題】
しかし、上記従来の装置では、先行車までの車間距離測定に用いるデータとして水平エッジのヒストグラムだけを用いているため、その水平エッジ成分が先行車のエッジであるか否かの判断が不十分であり、車両以外のエッジを用いて対応点探索を行なってしまう可能性があるという問題があった。特に、歩道橋や停止線など路面上にかかる長く強い横エッジが複数あると、それらのエッジの方が先行車よりも強調されるため、先行車以外のエッジまでの距離を算出してしまう可能性が高くなる。また、距離の算出をステレオ視差からの演算だけで行っているため、分解能が粗く、かつ、他手法との照合がないため、ステレオマッチングが原因となる距離の誤計測を判断することができない、という問題があった。
【０００４】
本発明は上記のごとき従来技術の問題を解決するためになされたものであり、車間距離計測における先行車との車間距離の計測の確実性を向上させた車間距離計測装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、本発明においては、特許請求の範囲に記載するように構成している。まず、請求項１に記載の発明においては、車両に搭載され、路面に平行方向と垂直方向の２次元的に光を走査して照射し、照射した方向毎の光の反射強度と、その光の反射面までの距離とを計測する光測距装置と、
前記計測した反射強度の各角度毎の値をデジタル値の配列とした輝度画像と、前記計測した距離の各角度毎の値を前記輝度画像に対応する順序でデジタル値の配列とした距離画像とを記憶するメモリと、
前記光測距装置の走査の中心軸と光軸が平行になる位置および姿勢で車両に搭載された電子式のカメラと、
前記距離画像に基づいて先行車までの車間距離を計測し、かつ、前記距離画像上において先行車が計測された位置に基づいて前記カメラの画像上で先行車が存在する位置を求める距離・位置演算手段と、
前記距離・位置演算手段で求めた位置と距離に基づいて、前記カメラの画像上に撮像された先行車の左右上下端を含む程度の縦長のウィンドウを複数設定するウィンドウ設定手段と、
前記複数の全てのウィンドウにおいて縦長のウィンドウでは各ｙ座標毎の水平エッジのヒストグラムを求めるヒストグラム演算手段と、
前記複数のウインドウにおいて同じｙ座標上に検出される前記ヒストグラム演算手段により求められたヒストグラムのピーク値である水平エッジのｙ座標位置を検出するエッジ検出手段と、
前記エッジ検出手段により求められた複数のウィンドウにおいて同じｙ座標上に検出されるヒストグラムのピーク値である水平エッジの移動ベクトルを計測するベクトル計測手段と、
前記距離画像から求めた車間距離の変化と適合する方向および大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択するエッジ選択手段と、
前記エッジ選択手段で求めた先行車上のエッジの中から２本ずつを１つの組として複数組選択し、それらの組におけるそれぞれのエッジ間距離を求め、同じ組について二つの時点で求めたエッジ間距離の比、すなわちエッジ間距離の時間的な変化率が同じ値となる組が最も多い組のエッジを先行車上のエッジと再確認する先行車エッジ判断手段と、
前記先行車上のエッジと再確認されたものについてのエッジ間距離の変化率に基づいて車間距離の変化率を求める車間距離変化率演算手段と、
前記距離・位置演算手段で求めた車間距離の所定回数前の演算値に前記車間距離の変化率を乗算することによって車間距離を算出する車間距離算出手段と、
を備えるように構成している。
上記のように、請求項１においては、光測距装置と、前記光測距装置の走査の中心軸と光軸が平行になる位置および姿勢で搭載された電子式のカメラとの両方を用い、光測距装置の輝度画像とカメラの画像とを組み合わせて車間距離を算出するように構成し、かつ、ウィンドウ設定手段は、縦長のウィンドウを設定するように構成している。
【０００６】
また、請求項２に記載の発明は、請求項１と同様の構成において、ウィンドウ設定手段は、横長のウィンドウを設定し、エッジ検出手段は、同じｘ座標上に検出されるヒストグラムのピーク値である垂直エッジのｘ座標位置を検出するように構成したものである。
【０００８】
また、前記先行車エッジ判断手段では、前記の求めた先行車上のエッジの中から２本ずつを１つの組として複数組選択し、それらの組におけるそれぞれのエッジ間距離を求め、同じ組について二つの時点で求めたエッジ間距離の比、すなわちエッジ間距離の時間的な変化率が同じ値となる組が最も多い組のエッジを先行車上のエッジと再確認するように構成している。例えば１０本のエッジを２本ずつａ組、ｂ組、ｃ組、ｄ組、ｅ組の５組に分けた場合、ａ〜ｄの４組では変化率の値がαで、ｅ組のみはβであったとすれば、変化率が同じ値となる組が最も多いａ〜ｄ組のエッジが先行車上のエッジであり、ｅ組のエッジは先行車上ではない他のエッジであると判断する。
【０００９】
また、前記車間距離変化率演算手段では、前記先行車上のエッジと判断されたものについてのエッジ間距離の変化率に基づいて車間距離の変化率を求めるように構成している。具体的には、エッジ間距離の変化率の逆数が車間距離の変化率となる。
【００１０】
また、前記車間距離算出手段では、前記距離・位置演算手段で求めた車間距離の所定回数前の演算値に前記車間距離の変化率を乗算することによって車間距離を算出するように構成している。
【００１１】
また、請求項３に記載の発明においては、前記距離・位置演算手段で求めた車間距離と前記車間距離の変化率から求めた車間距離とを照合することにより車間距離演算の確認を行なうように構成している。
【００１２】
また、請求項４に記載の発明において、前記距離・位置演算手段は、前記先行車エッジ判断手段で先行車以外のエッジと判断された位置に対する計測値は用いずに、距離と位置の演算処理を行なうように構成している。
【００１３】
また、請求項５に記載の発明においては、請求項１または請求項２において、前記光測距装置の輝度画像の値の低い位置の計測値は用いずに、前記距離・位置演算手段における距離と位置の演算処理を行なうように構成している。
【００１４】
【発明の効果】
請求項１および請求項２においては、レーザレンジファインダのような光測距装置とカメラとを組み合わせることにより、信頼性を確保するために光測距装置の距離分解能を粗くした場合でも、距離精度を保持または向上することが可能となり、同様に、装置の信頼性確保のために走査を遅くして計測の時間間隔を長くした場合においても、カメラを１台追加した構成にしただけで、距離測定のレスポンスを遅くすることなく、通常の画像処理の速度での距離計測が可能となる、という効果が得られる。
【００１７】
また、請求項１および請求項２においては、エッジ間距離の時間的な変化率を求め、変化率の同じエッジを先行車のエッジと判断する（変化率の異なるエッジは先行車以外のエッジとして除去する）ように構成しているので、先行車上にかかる光のノイズなどの除去が可能になり、より確実に先行車を構成するエッジだけを選択することが可能となる。さらに、上記のように先行車以外のエッジを除外することにより、除外したエッジの位置を車間距離算出の際に除外することができるので、路面表示など先行車周囲にエッジが多く存在する環境や光の位置などによってノイズの多い環境下でも、環境変化に影響されず確実性の高い車間距離計測が可能となる。
【００１８】
また、請求項１および請求項２においては、先行車上のエッジと判断されたエッジについてのエッジ間距離の変化率から車間距離の変化率を求めるように構成したことにより、光のノイズや影など、多少のエッジ検出ミスがある場合、および先行車上のエッジを検出しにくい環境下でも、車間距離の変化率を確実に正しく求めることが可能となる。
【００１９】
また、請求項１および請求項２においては、距離・位置演算手段で求めた車間距離の所定回数前の演算値に車間距離の変化率を乗算することによって車間距離を算出することにより、視差や距離画像から求める車間距離よりも高精度に車間距離を計測することが出来る。特に光測距装置とカメラとを組み合わせた構成に適用した場合には、光測距装置の計測間隔が長い場合でも、カメラの撮像間隔での車間距離の更新が可能となる。更に、光測距装置の距離分解能が粗い場合には、距離の高精度化も可能となる。
【００２０】
また、請求項３においては、距離・位置演算手段で視差や距離画像から求めた車間距離と車間距離の変化率から求めた車間距離とを照合することにより、二つの方法で求めた車間距離の正確性の確認を行なうことが出来るので、より確実性の高い車間距離計測を行なうことが出来る。
【００２１】
また、請求項４において、前記距離・位置演算手段は、先行車エッジ判断手段で先行車以外のエッジと判断された位置に対する計測値は用いずに、距離と位置の演算処理を行なうことにより、距離と位置の演算における確実性を向上させることが出来る。例えば、先行車以外のエッジと判断された位置におけるレーザレンジファインダで計測した距離画像上の値を、車間距離計測の際の判断に反映させない構成なので、ノイズなどによる誤計測値を除去でき、より正確な測距が可能となる。
【００２２】
また、請求項５においては、請求項１または請求項２において、距離画像からの車間距離計測の際に、光測距装置の輝度画像上の反射強度が低い位置で計測された距離を反映させない構成としたため、誤計測値を除去でき、さらに信頼度の高い計測値だけを用いた、より正確な測距が可能となる。
【００２３】
【発明の実施の形態】
（第１の実施の形態）
図１は本発明の第１の実施の形態の構成を示すブロック図である。
図１において、１および２は電子式のカメラであり、自車の前部に前方を向いて設置されており、両カメラの光軸は相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置されている。なお、撮像面の水平軸が同じライン上に揃うように設置してもよい。また、車両の後部に後方を向けて設置し、車両後方の障害物を検出するように構成することもできる。３、４はそれぞれカメラ１、２から入力した画像信号を記憶する画像メモリである。５は演算部であり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュータで構成される。６は自車の前方に存在する障害物等の検出対象物であり、図１では先行車を例示している。
【００２４】
以下、まず第１の実施の形態に用いる種々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。
図２は、ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図である。図２においては、カメラＡ（前記カメラ１に相当）で撮像した画像を画像Ａ、カメラＢ（前記カメラ２に相当）で撮像した画像を画像Ｂで示し、検出対象の位置を点ｐ（ｘ，ｙ，ｚ）としている。
【００２５】
図２から判るように、焦点距離ｆ、眼間距離（両カメラ間の距離）Ｄが既知であり、光軸が互いに平行な２台のカメラＡ、Ｂで撮像したステレオ画像において、２枚の画像間のマッチング位置ｙａ、ｙｂを求めることできれば、カメラから対象物ｐまでの距離Ｚは下記（数１）式より求めることができる。
【００２６】
Ｚ＝ｆ・Ｄ／（ｙａ−ｙｂ）＝ｆ・Ｄ／Ｓ …（数１）
ただし、ｙａ−ｙｂ＝Ｓは視差であり、図２のように、光軸が平行で、所定間隔を隔てて設置された二つのカメラＡ、Ｂで一つの物体を撮像した場合に、それぞれのカメラに写った画像の位置の差、すなわち画像Ａにおける位置ｙａと画像Ｂにおける位置ｙｂとの差である。なお、この例では、眼間距離Ｄと距離Ｚの単位はｍ、焦点距離ｆ、視差Ｓおよび位置ｙａ、ｙｂの単位は画素である。例えばカメラＡ、ＢはＣＣＤを用いたものであり、画素数を６４０×４８０とした場合、１画素の大きさは１０μｍ程度である。
【００２７】
上記（数１）式は、両カメラの光軸が相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置した場合であるが、撮像面の水平軸が同じライン上に揃うように設置した場合には、下記（数１’）式に示すようになる。
Ｚ＝ｆ・Ｄ／（ｘａ−ｘｂ）＝ｆ・Ｄ／Ｓ …（数１’）
ただし、ｘａ−ｘｂ＝Ｓは視差
なお、以後の説明は全て撮像面の垂直軸が同じライン上に揃うように設置した場合を例として説明する。
【００２８】
上記の視差Ｓを検出するには、一方の画像（例えば画像Ａ）上において点ｐが撮像されている点（ｘａ、ｙａ）に対応する他方の画像（例えば画像Ｂ）上の点（ｘｂ、ｙｂ）を検出する必要がある。その方法としては、画像Ａ上の点（ｘａ、ｙａ）を含む或る範囲の画像（ウィンドウ）と最も類似した範囲を画像Ｂ内から探すことで求めることができる。この類似度の算出には、画像間の差分法や正規化相関法などがある。そして距離画像（ウィンドウ毎にその内部に撮像される物体までの視差を求めた画像）は、定義した全てのウィンドウにおいて差分法や正規化相関法により、他方と類似度の高いウィンドウが存在する位置を求めることで作成できる。
【００２９】
図３は、両画像の対応する位置毎の視差を求めた結果を示す図であり、詳しくは、道路前方を撮像した画像において、一方の画像（例えば画像Ｂ）をウィンドウ毎に切り、その全てのウィンドウにおいて他方の画像（例えば画像Ａ）からそのウィンドウと最も類似度の高い画像の位置を求めることで、両画像における対応する位置を検出し、それぞれの対応する位置から各ウィンドウ毎の視差を求めた結果を表したものである。図３において、（Ａ）は下画像（画像Ａに相当）、（Ｂ）は上画像（画像Ｂに相当）、（Ｃ）は視差の表、（Ｄ）は視差が「１５」のウィンドウ部分のみを抜き出した画像を示す。また、図３（Ｂ）、（Ｃ）の（１）〜（２０）は各ウィンドウの水平方向（以下、横方向と記す）の位置を示す。ただし、図においては（１）〜（２０）を丸付き数字で表している。また、一つのウィンドウは幅（ｘ方向の長さ）がｘｗ、高さ（ｙ方向の長さ）がｙｗである。
上記のように、各ウィンドウ毎の視差が判れば、前記（数１）式を用いることによって、該当するウィンドウに撮像されている物体までの距離を求めることが出来る。
【００３０】
以下、図３（Ｃ）のようにウィンドウ毎にその内部に撮像されている物体までの視差を求めた画像を“距離画像”と呼ぶことにする。このウィンドウ毎に算出される視差は、当該ウィンドウの内部に撮像されていてエッジ（画像が明から暗または暗から明に変化する点が連続した部分で、画像の端などを示す線分に相当する）などの特徴的な部分を持つ物体までの距離に相当するから、一つの対象物が複数ウィンドウに跨って撮像されていると、隣接するウィンドウで同じ視差が求められる。例えば、道路前方を撮像した画像における距離画像の場合、先行車と、先行車が存在する真下の路面とは同距離なので、図３（Ｄ）に太線のウィンドウで示すように、先行車の下部と同じｙ座標上にあるウィンドウは先行車と同じ視差で算出される。例えば図３（Ｃ）の下から２行目に「１５」が横方向に連続しているのが上記の部分に相当する。なお、図３（Ｃ）において、中央部分に視差「１５」が集合している部分が先行車に相当し、（３）、（４）列に視差「１９」が集合している部分が「左方の木」に相当し、（６）列に視差「５」が連続している部分が「中央の木」に相当する。
【００３１】
上記のように、距離画像は前方に高さのある物体が存在すると、その物体が撮像されているｘ座標位置のウィンドウでは同じ視差が検出される。一方、車両横にある白線部分のように路面などの高さを持たない位置では、同じｘ座標上で同じ視差が検出されるウィンドウは一つである。すなわち、前方に物体が存在する場合、同一ｘ座標の方向でのウィンドウにおいて同じ視差の個数を数えることにより、物体を検知することができる。この方法によれば、複数の物体も一つの物体も同じ方法で検出することができ、検出対象や背景の色に左右されずに物体を検知できるようになる。また、白線や停止線などの路面表示は、同じ視差を示すウィンドウが同じ方向に現れないため、路面表示と高さをもつ障害物とを誤検出することがなくなるという利点もある。加えて、距離画像だけを利用しているため、検出対象の色や形状および背景色にかかわらず同様の処理で複数物体を検出できる。
【００３２】
図４は、距離画像上の或るウィンドウで求めた視差とそのウィンドウの横方向の位置に基づいて、対応する表中の位置に投票する様子を表した図であり、（Ａ）は右画像、（Ｂ）は視差の表、（Ｃ）は投票用の表を示す。なお、この場合における「投票」とは、或る横方向位置とそれに対応する視差の値の位置に、＋１ずつ加算することを意味する。例えば位置（８）の位置に視差「１５」が１個存在する場合には、図４（Ｃ）の位置（８）で視差「１５」の位置に「＋１」が加算される。図４（Ｂ）の例では、位置（８）の位置に視差「１５」が５個存在するから、最終的には位置（８）で視差「１５」の位置に「５」が投票されることになる。
【００３３】
また、図５は、上記の投票を全てのウィンドウにおいて行った結果を示す図であり、（Ａ）は上画像、（Ｂ）は視差の表、（Ｃ）は投票用の表を示す。
【００３４】
図４から判るように、図３で設定したウィンドウにおいて、横方向が同じ位置のウィンドウは同じ方向を撮像したものである。また、図５から判るように、前方に物体が存在する場合、物体を検知している部分では同じｘ座標上の縦方向のウィンドウは同じ視差が求められ、路面上に物体が存在しない場合では同じｙ座標上の横方向のウィンドウで同じ視差が求められる。このような距離画像を用いて、図４に示した方法で表に投票を行なうと、同じ方向（同じｘ座標上）に同じ視差が並んでいると、その方向と視差の値への投票回数が多くなるため、その位置の値が高くなる。したがって、図５の表から値の高い位置を探すことで前方の物体の有無を検知できる。図５に示す例では、（３）、（４）番目のウィンドウで視差「１９」の部分（左方の木に相当）、（５）番目のウィンドウで視差「５」の部分（中央の木に相当）、（８）〜（１６）番目のウィンドウで視差「１５」の部分（先行車に相当）で投票が集中し、値が高くなっている。例えば視差「１５」の部分の値が高いということは、カメラが撮像した画角内に視差が約１５画素となる物体が撮像されていることを示す。仮に前記図２に示した眼間距離Ｄを０．１ｍ、焦点距離ｆを１５００画素とすると、カメラからその物体までの距離は、前記（数１）式により、前方１０ｍ（＝１５００×０．１／１５）であると求められる。また、視差が１５画素の位置の投票結果をｘ軸方向で見ると、ｘ軸方向に定義した（８）〜（１６）番目のウィンドウ付近の値が高く、その左右両側のウィンドウでは投票値が低くなっている。
【００３５】
図６は、上記の内容を判りやすく示すため、図５の投票結果から視差１５の部分を抜き出して１次元グラフとしてあらわした図である。図６において、（ａ）は図５の（ｃ）に相当する表、（ｂ）は１次元グラフ、（ｃ）は対応する画像である。以下、図６を用いて、物体が撮像されるおおよその横方向（ｘ軸方向）の範囲を求める方法を説明する。
【００３６】
図６（ｂ）において、横軸はｘ方向に定義したウィンドウの位置、縦軸はそのｘ座標位置で視差＝１５となったウィンドウの個数である。この図では、（８）〜（１６）番目の値が高い。このことは（８）〜（１６）番目の間に高さをもつ物体が撮像されていることを示している。また、グラフ内の横線は、物体が撮像されているか否かを判断するために設けたしきい値である。しきい値は、例えば次の方法で設定すればよい。すなわち、表の値は画像上に撮像される物体の高さに比例し、画像上の物体の高さは実際の物体の高さを一定とすると物体までの距離に反比例する。このことから、物体までの距離に応じて画像上の高さを計算し、その高さに含まれるウィンドウの個数を基準にヒストグラムのしきい値を設定することができる。例えば、図６（ｂ）では、しきい値を５．５に設定している。したがって、しきい値以上の値を持つ位置は（８）〜（１６）番目のウィンドウであるので、前方の物体が撮像されるおおよその横方向の範囲は（８）〜（１６）番目のウィンドウの間であると求められる。上記のように先行車が撮像されている横方向の範囲をｘｌ〜ｘｒとする。
【００３７】
次に、図７は、一方の画像に撮像された先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、（Ａ）は側面図、（Ｂ）は撮像面Ａの画像例である。
先行車までの距離Ｚが分かっている場合、路面からカメラまでの高さをＨ、先行車の高さをｈとすると、図７より、その先行車の上下端（ｙｕ，ｙｄ）は、ほぼ、下記（数２）式の位置に撮像される。なお、ここでは下端ｙｄはほぼ路面と同じ高さとみなす。
【００３８】
ｙｕ＝ｆ×（ｈ−Ｈ）／Ｚ， ｙｄ＝−ｆ×Ｈ／Ｚ …（数２）
図８は、先行車上に上記の上下端（ｙｕ、ｙｄ）を含む程度の大きさで縦長のウィンドウを切り、それぞれにおいて各ｙ座標毎に水平エッジのヒストグラムと輝度のヒストグラムを求めた様子を示す図であり、（Ａ）は原画像上に設けた縦長のウィンドウの一例、（Ｂ）は先行車の存在位置を水平微分したエッジを示す図、（Ｃ）は（Ｂ）における▲１▼〜▲５▼のウィンドウの各水平エッジのヒストグラムを示す。なお、横長のウィンドウを設定した場合には、各ｘ座標毎の垂直エッジのヒストグラムを求める。
【００３９】
これらの縦長のウィンドウを定義する横方向の位置は、前記図６の距離画像から検出した先行車が撮像される範囲ｘｌ〜ｘｒの間とすればよい。また、ウィンドウを定義する縦方向の位置は、前記（数２）式で求めた値をもとに、上下端ｙｕ、ｙｄが含まれる程度の大きさ（上がｙｕ＋α、下がｙｄ−α ただしαは所定の余裕値）とする。このとき、（数２）式の先行車の高さｈは、通常、未知の値であるが、一般的な車両の高さを考え、１〜２ｍ程度の範囲の適度な値で十分である。
【００４０】
先行車は長い横エッジをもつ。そのため、先行車上にウィンドウを定義すると、図８の中央部の▲２▼▲３▼▲４▼の３個所に定義したウィンドウでは、その水平エッジのヒストグラムのピークがほぼ同じ位置に現われる。ここでは、距離画像と（数２）式より、先行車が存在し得る付近に限定してウィンドウを設けているため、定義したウィンドウにおいてウィンドウ間で同じ位置にヒストグラムのピークが存在する位置（ｙｅ１〜ｙｅ５の位置）は先行車上のエッジであると判断できる。
【００４１】
次に、図８の方法で検出したエッジの移動ベクトルを求め、そのエッジの中から、先行車の動きに基づいた動きをするエッジだけを選択する。
図９はエッジの移動ベクトルを示す図であり、（Ａ）は先行車が遠ざかる（車間距離が大きくなる）場合の例、（Ｂ）は先行車が近づく（車間距離が小さくなる）場合の例を示す。図９に示すように、先行車上のエッジは、車間距離が大きくなる場合にはｙ軸方向に画像の中心（原点を画像の中心とするとｙ＝０の位置）に向かって移動し、車間距離が短くなる場合は画像の中心から遠ざかる方向に移動する。したがって、図８の方法で検出したエッジが先行車上のエッジであれば、車間距離が大きくなる場合は、ｙ＞０の位置のエッジは下方、ｙ＜０の位置のエッジは上方に移動し、車間距離が短くなる場合は、ｙ＞０の位置のエッジは上方、ｙ＜０の位置のエッジは下方に移動し、車間距離が一定の場合はエッジの位置は不変となる。なお、図９に上下方向の矢印で示したのが移動ベクトルである。
【００４２】
また、そのエッジの移動量は、原点から遠いほど大きく、原点から近いエッジほど小さい。これらのことから、ステレオ画像処理で車間距離の変化を求めるとともに、図８で検出したエッジの移動ベクトルを求め、そのベクトルが図９に示す理論どおりの動きをするものを車両上のエッジとして再確認することにより、先行車検出の精度を向上させることが出来る。例えば、先行車直後の路面表示や先行車前方の歩道橋などのような車両以外のエッジは、上記の処理により誤検出エッジとして除去することができる。
【００４３】
次に、エッジ間距離の変化率を求める方法およびその結果を用いて先行車上のエッジを再確認する方法について説明する。
図１０は、一方の画像に撮像された先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、（Ａ）は時点ｔ−１における位置、（Ｂ）は時点ｔにおける位置を示す。
図１０に示すように、追従中の車両上から、バンパーなど路面に平行な線を異なる位置から２本ずつ２組選択し、その２本の平行線間の距離をｈ１、ｈ２とする。焦点距離をｆとし、時点ｔ−１において車間距離がＺｔ−１のときのｈ１、ｈ２の画像上の長さをそれぞれｙ１ｔ，ｙ２ｔとすると、ｙ１ｔ，ｙ２ｔは、それぞれ下記（数３）式で示される。
【００４４】
ｙ１ｔ−１＝ｈ１・ｆ／Ｚｔ−１， ｙ２ｔ＝ｈ２・ｆ／Ｚｔ−１ …（数３）
また、時点ｔにおける車間距離をＺｔとすると、同様に、そのときの画像上のｈ１，ｈ２の長さは、ｙ１ｔ＝ｈ１・ｆ／Ｚｔ， ｙ２ｔ＝ｈ２・ｆ／Ｚｔとなる。これらから、車間距離がＺｔからＺｔ−１に変化したときの画像上のエッジ間の長さの時間的な変化率（以下、単に変化率と記す）は、ｈ１、ｈ２ともに、下記（数４）式に示すようになる。
【００４５】
ｙ１ｔ／ｙ１ｔ−１＝ｙ２ｔ／ｙ２ｔ−１＝Ｚｔ−１／Ｚｔ …（数４）
上記（数４）式から判るように、エッジ間距離に関わらず、同じ物体上のエッジ間距離の変化率は、どのエッジが選択された場合でも値が同じになり、その値は、車間距離の変化率（Ｚｔ／Ｚｔ−１）の逆数（Ｚｔ−１／Ｚｔ）となる。
このことから、図８や図９の方法によって検出した画像上の車両のエッジから２本ずつの組を作り、二つの時点で計測したエッジ間距離から、それらのエッジ間距離の変化率（ｙ１ｔ／ｙｔ−１，ｙ２・／ｙ２ｔ−１、…、ｙｎｔ・／ｙｎｔ−１）を求め、それぞれの組で求めたエッジ間距離の変化率から、その値が同じである最も多い組のエッジを先行車上のエッジであると再確認することができる。
【００４６】
また、同時に、その最も多くの個所で求められたエッジ間距離の変化率は、その時点での画像上の先行車の大きさの変化率となる。さらに、或るエッジを含む組に限って変化率が常に異なるものがあれば、そのエッジを先行車以外のエッジとして除外できる。これにより、先行車付近の路面表示や路面のノイズだけでなく、外部からの反射光など、先行車上に現れるが先行車以外の水平エッジとなる光のノイズなども、先行車以外のエッジとして除去することが可能となる。
【００４７】
このような除外すべきエッジがある場合、距離画像上におけるそのエッジの存在位置の視差の値は、誤った値となる。このことから、距離画像を用いた距離計測において、除外すべきエッジと判断されたエッジの存在位置の視差を用いないようにすることで、車間距離計測の確実性を向上させることができる。
上記のように、図９、図１０のような判断で先行車上のエッジだけを確実に選択することは、距離計測の確実性増加に対して有効な手段であり、特に、光のノイズや周囲のノイズなど、先行車以外のエッジが多く検出される環境下での距離計測の確実性向上に有効である。
【００４８】
次に、上記図９、図１０で説明した方法を利用して車間距離の変化率を求める方法について説明する。
図９、図１０で求めたエッジ間距離の変化率は、前記（数４）式に示したように距離の変化の逆数となる。このことから、最も多くのエッジについて求められたエッジ間距離の変化率の逆数をその時点での車間距離の変化率とすることができる。この方法では、先行車上のエッジを２本だけでなく、ヒストグラムのピークにより、できるだけ多くの本数求めているため、光の反射などにより、或る一部のエッジが検出されない場合でも、他のエッジが検出できれば、その影響をうけることなく車間距離の変化率を求めることができる。この判断を加えることは、先行車上のエッジを検出しにくい環境に対する安定した確実な距離変化の算出に有効な手段となる。
【００４９】
次に、車間距離計測について説明する。車間距離計測には次の３方法がある。
（１）連続的に入力される画像を用いたステレオ画像処理では、先行車上の視差を用いて前記（数１）式を適用することにより、先行車までの車間距離を時間的に連続的に求めることができる。
（２）車両追従中における車間距離の変化率は、前記図９、図１０で説明した方法で求めることができる。したがって、同じ車両に追従中であれば、数回前にステレオ画像処理で視差から計測した車間距離Ｚｔ−１に数回前からの画像上の車両のエッジ間距離の変化率の逆数を乗算することによっても、その時点での車間距離を算出することができる。
（３）画像上の先行車の高さ（ｙｕ−ｙｄ）から車間距離を求める方法。
【００５０】
以下、上記（３）の方法について詳細に説明する。図７に示した先行車の高さｈは通常は未知の値である。しかし、ステレオ画像処理で求めた先行車までの距離Ｚと画像上の先行車の高さ（ｙｕ−ｙｄ）が求められていれば、下記（数５）式によって追従中の車両の高さｈを求めることができる。
【００５１】
ｈ＝Ｚ×（ｙｕｔ−ｙｄｔ）／ｆ …（数５）
ただし、ｆ：焦点距離
ｙｕｔ：時点ｔにおけるｙｕの値
ｙｄｔ：時点ｔにおけるｙｄの値
ここでは、図８、図９、図１０の方法で、確実性高く先行車のエッジだけを検出できているため、画像上から検出した先行車上のエッジの組み合わせのうち、最上端と最下端のエッジを選択することで、画像上の先行車の高さ（ｙｕ−ｙｄ）を求めることが可能である。追従中の先行車の高さｈは一定であるので、同じ車両に追従中の場合、１度先行車の高さｈを求めておけば、そのｈをもとに新たに検出した画像上の先行車の高さ（ｙｕｔ＋１−ｙｄｔ＋１）を、（数５）式に代入することで、下記（数６）式に示すように、画像上の先行車の高さ（先行車上のエッジ間の距離）からも車間距離Ｚを算出することが出来る。
【００５２】
Ｚ＝ｈ・ｆ／（ｙｕｔ＋１−ｙｄｔ＋１） …（数６）
ただし、ｈ：（数５）式で算出した値
（数５）式のｈを（数６）式に代入すると下記（数６’）式のようになる。
【００５３】
Ｚｔ＋１＝Ｚｔ×（ｙｕｔ−ｙｄｔ）／（ｙｕｔ＋１−ｙｄｔ＋１）
或いは …（数６’）
Ｚｔ＝Ｚｔ−１×（ｙｕｔ−１−ｙｄｔ−１）／（ｙｕｔ−ｙｄｔ）
ただし、Ｚｔ＋１：時点ｔ＋１における車間距離
Ｚｔ：時点ｔにおける車間距離
Ｚｔ−１：時点ｔ−１における車間距離
ｙｕｔ−１：時点ｔ−１におけるｙｕの値
ｙｄｔ−１：時点ｔ−１におけるｙｄの値
（数６’）式から判るように、上記の方法で求めた車間距離は、ステレオで求めた時点ｔにおける車間距離Ｚｔに対して、画像上のエッジ間距離の変化率の逆数（ｙｕｔ−ｙｄｔ）／（ｙｕｔ＋１−ｙｄｔ＋１）を乗算することと同じである。つまり、（２）と（３）の方法は、実際に適用する計算式は異なっているが、原理的には同じことである。
【００５４】
上記（２）、（３）の距離計測方法は、距離の確認および距離計測を高精度化することが出来る。すなわち、距離の確認は、（１）のステレオ画像処理で算出した距離と（２）または（３）のエッジ間距離の変化率から求めた距離とを照合することによって行なうことが出来る。また、エッジ間距離の変化率から求める車間距離変化率は、ステレオ画像処理で連続的に求めた距離から算出される車間距離変化率より精度が良い。
【００５５】
ここで、上記の精度向上の理由について図１１に基づいて説明する。
（１）の方法と（２）、（３）の方法で求めた車間距離の精度の違いを考える。車載のステレオカメラの場合、ｈ＞Ｄ（ｈ：先行車の高さ、Ｄ：カメラ間の距離）であるため、同じ車間距離を計測したときにおける視差（ｙａ−ｙｂ）（単位：画素）に対して先行車の高さ（ｙｕ−ｙｄ）（単位：画素）の方が大きな値となる。そのため、（数６）式による車間距離計測の方が、１画素のずれによる誤差の影響が小さいため、ステレオ視差からの計測車間距離より分解能の細かい測距が可能となる。
【００５６】
例えば、眼間距離Ｄ＝０．２ｍ、ｆ＝１０００画素、先行車の高さｈ＝１ｍとした場合において、車間距離が１０ｍの場合を考える。このとき、先行車のステレオ視差は２０画素（＝０．２×１０００／１０）、画像上の先行車の高さは１００画素（＝１×１０００／１０）となる。この二つにおいて、視差と先行車の高さ検出が１画素ずれると、ステレオ視差の場合には、２０画素が１９画素となるので、１０．５２ｍ（＝０．２×１０００／１９）と計測されるのに対し、高さ計測の場合には、１００画素が９９画素となるので、１０．１ｍ（＝１×１０００／９９）と計測される。つまり、１画素の検出誤差が、ステレオ画像処理では０．５ｍであるのに対し、高さ計測では０．１ｍとなる。
【００５７】
視差や画像上の高さの検出の１画素のずれは計測する車間距離分解能に相当する。つまり、車載のステレオカメラによる車間距離計測の場合には、先行車の高さより広い眼間距離を持つカメラ設定は実用上困難であるため、画像上の先行車のエッジ間距離の変化を用いた計測の方がステレオ視差を利用した計測よりも細かい分解能での計測が可能である。このことから、追従中の先行車までの車間距離を二つの方法で求めてその結果を照合することは、車間距離の確認だけでなく、ステレオ視差から求めた車間距離の高精度化にもつながることになる。同じ理由により、車間距離の変化率もステレオ画像処理で求めた車間距離から求めたものよりも画像上のエッジ間距離の変化から求めた方が高精度となる。このことから、（２）および（３）の方法では、ステレオ画像処理で求めた車間距離の確認および高精度化が可能となる。
【００５８】
また、上記の説明は、二つのカメラの光軸は相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置した場合について行なったが、撮像面の水平軸が同じライン上に揃うように設置してもよい。また、図８の説明においては、先行車上に設定するエッジ検出用の複数のウインドウを縦長とした場合について説明したが、横長のウインドウとし、検出する先行車上のエッジの対象を垂直エッジとしても同様の原理が適用できる。また、カメラの置き方、検出対象エッジの向きに関わらず、同様の効果も期待出来る。
【００５９】
次に、これまで説明した方法を用いて、追従中の先行車上のエッジを検出し、車間距離の変化率を求めることで車間距離の確認および高精度化を行う実施の形態について説明する。ここでは、前記図２のようにカメラを路面に対して縦に平行に並べ、２台のカメラのｙ軸が同一ライン上にのるように配置したステレオカメラを用いることとする。
【００６０】
図１２は、この実施の形態における演算処理の流れを示すフローチャートである。
まず、ステップＳ１０１では、図２のカメラＡとＢのステレオ画像、すなわち画像Ａと画像Ｂを入力する。
次に、ステップＳ１０２では、視差を求めることによって距離画像を作成し、作成した距離画像から先行車の位置と距離を検出する（前記図４〜図６参照）。
【００６１】
次に、ステップＳ１０３では、まず、距離画像から先行車の存在する横（ｘ軸）方向の範囲を（ｘ１〜ｘｒ）を求める（図６、図８参照）。また、距離画像から求めた先行車までの距離Ｚをもとに前記（数２）式により、先行車の概略の上下端ｙｕ、ｙｄを求め、ｙｕ、ｙｄを含む大きさの縦長のウィンドウを設ける（前記図６〜図８参照）。
ウィンドウの横方向の大きさは、ｙ座標毎のヒストグラムが求められるよう１０画素程度以上とすれば十分である。または、先行車の画像上の大きさは距離に応じて可変であるため、その距離に応じて、横幅が１０画素以上のウィンドウが５個所以上に定義できるように適度な大きさで可変としてもよい。
また、（数２）式をもとにウィンドウの上下端の定義位置ｙｕ＋α、ｙｄ−αを求める際に用いる先行車の高さｈは１〜２ｍ程度の平均的な値で十分である。また、余裕値αの値は、そのときの先行車の距離に応じて、先行車の高さの５分の１程度のマージンでよい。例えば、（数２）式より、距離から算出される先行車の画像上の高さが５０画素程度の場合、αは１０画素程度でよい。
【００６２】
次に、ステップＳ１０４では、ステップＳ１０３で定義した縦長のウィンドウ内の水平エッジのヒストグラムを求める（図８参照）。この際、水平エッジのヒストグラムは、図８（Ｂ）に示したように、ソーベルフィルタなどでウィンドウ内の画像を水平微分し、その水平微分画像の各ｙ座標毎のヒストグラムをとればよい。
【００６３】
次に、ステップＳ１０５では、これらのヒストグラムから先行車上の水平エッジを検出する。すなわち、図８で定義したウィンドウの全てにおいて求めた水平エッジのヒストグラムから、半数以上のウィンドウにおいて同じ位置に検出されているエッジを見つける。先行車は路面に対して平行なエッジを持つため、先行車上に切ったウィンドウにおいて同じ位置に検出されるエッジは先行車のエッジであると一応みなすことができる。
【００６４】
なお、先行車上に定義するウィンドウを一つにすると、そのウィンドウの両端部分に白線が撮像される場合には、白線のエッジ強度が先行車のエッジ強度より強くなることが多いため、先行車ではなく白線の位置が検出されることがある。そのため、このような誤検出を防ぐためにウィンドウを複数設け、複数のウィンドウにおいて検出されたエッジを先行車上のエッジと判断するようにしている。
【００６５】
次に、ステップＳ１０６では、ステップＳ１０５で求めた先行車上のエッジの移動ベクトルを検出する（図９参照）。エッジの移動ベクトルの算出は、前述の方法で検出したエッジの位置において、例えば、検出対象上に切った小さなウィンドウの移動方向を求める方法などによる一般的なオプティカルフロー検出手法を施せばよい。このような処理により検出した全てのエッジのオプティカルフローより検出した各エッジ毎の移動ベクトルを求める。
【００６６】
また、ステップＳ１０６においては、上記のエッジの移動ベクトルを用いて、そのエッジが先行車上のものであるか否かを再確認する。この確認は、車間距離変化とエッジが存在する位置により、次のような基準で判断できる（図９参照）。まず、車間距離が変化したときは、画像の中心に近いエッジの方が動きが小さく、画像の端に行くにつれ動きが大きくなる。そのため、例えば、ｙ＝０（原点：画像中心）の位置に近いにもかかわらず、そのエッジより原点から遠い位置にあるエッジベクトルの平均の動きよりも大きな動きを示すベクトルがあれば、それは先行車以外のエッジである可能性が高い。また、図９に示したように、車両上のエッジは、ｙ＜０の範囲とｙ＞０の範囲とで移動方向が上下逆になるので、それと反対の動きをするエッジは先行車以外のエッジと判断出来る。また、車間距離変化が０のときに大きな動きを示したエッジも先行車以外のエッジと判断できる。このような判断基準をもとに、先行車以外の可能性の高いエッジを除去し、残ったエッジ（上記の基準に適合したエッジ）を先行車上のエッジと判断する。これにより、歩道橋や光の反射等の誤ったエッジを除去し、確実に先行車上のエッジを選択することが出来る。
【００６７】
次に、ステップＳ１０７では、エッジ間距離の変化率を算出し、それに基づいて車間距離の変化率（エッジ間距離の変化率の逆数に等しい：数４式参照）を算出する。
まず、図８、図９の方法で検出した先行車上のエッジの中から２本ずつの組を作り、全ての組におけるエッジ間距離を求める（図１０参照）。前述したとおり、同じ物体上のエッジの組であれば、どの組でもエッジ間距離の時間的な変化率（ｙ１ｔ／ｙ１ｔ−１、ｙ２ｔ／ｙ２ｔ−１、…、ｙｎｔ／ｙｎ−１）は同じ値となるはずである。
【００６８】
ここで、エッジ間距離の変化率の求め方を具体的に説明する。図９の判断基準により選択されたエッジはオプティカルフローにより時間的な移動ベクトルが求められているエッジである。そのため、そのベクトルの始点が前回のエッジ位置、終点が今回のエッジ位置となる。つまり、前回のエッジ間距離ｙｎｔ−１（ｎ：１、２、…、）は、エッジ間距離を求める対象の二つのエッジの移動ベクトルの始点と始点との距離となり、今回のエッジ間距離ｙｎｔ（ｎ：１、２、…、）は、二つのエッジの移動ベクトルの終点と終点との距離として求められる。この方法で全ての組におけるエッジ間距離の変化率ｙｎｔ／ｙｎｔ−１（ｎ：１、２、…、）を求めれば、その中から最も多く同じ値が求められた各組のエッジを先行車上のエッジと判断することができる。
【００６９】
また、そのエッジ間距離の変化率の逆数はその時点での車間距離の変化率となる。この方法では、選択した２本のエッジ間距離だけでなく、同じ変化率を示す多くのエッジ間距離の変化をみているため、１、２本のエッジ検出ミスがある場合でも車間距離の変化率を正しく求めることができる。したがって、車間距離変化率計測の確実性を向上させることが出来る
次に、ステップＳ１０８では、上記のエッジ間距離の変化率をもとに、ステレオ画像処理で計測した車間距離の再確認を行なう。
（数４）式で説明したように、エッジ間距離の変化率の逆数は車間距離の変化率となる。つまり、１回前のエッジ間距離に対する今回のエッジ間距離の変化率を求めた場合、１回前にステレオ画像処理で視差から求めた車間距離Ｚｔ−１に対して、エッジ間距離の変化率の逆数をかけることで今回の車間距離Ｚｔを算出することができる。ステレオ画像処理の視差による車間距離算出も毎回行われているため、この変化率を用いることでステレオ画像処理で求めた車間距離の確認にもなる。さらに、図１１でも説明したように、エッジ間距離の変化率から求めた車間距離の変化率は、ステレオ画像処理で連続的に求めた車間距離から求められる車間距離の変化率よりも高精度であるため、計測車間距離自体の高精度化にも貢献できる。
【００７０】
また、（数５）式、（数６）式の説明の際、追従中の先行車の高さｈを算出することで、エッジ間距離からも車間距離算出が可能になることを説明したが、実用的には、上記ｈを求める際に用いたエッジが前記図９および図１０の判断によって先行車以外のエッジであると判断された場合には、他の２本のエッジ間距離を用いて新たな値にｈを算出し直すことで対応する。これにより、エッジ間距離を用いた車間距離算出の誤計測を防ぐことができ、さらに、先行車の入れ替わりなどによる車高ｈの変化にも対応可能となる。すなわち、先行車が入れ替わった場合には、その際に車高ｈが不連続に変化し、その後はほぼ一定になるので、このような場合には先行車が入れ替わったものと判断してその後の処理を実行すれば良い。
【００７１】
上記のように、第１の実施の形態においては、車両に設置した光軸が平行なステレオカメラで求めた画像に基づいて、視差から求めた距離画像から画像上の横方向における先行車の位置と先行車までの実際の車間距離とを概算し、距離画像から求めた画像上の位置において、そのときの車間距離をもとに先行車の上下端を含む大きさの縦長（または横長）のウィンドウを複数切り、それらのウィンドウの各ｙ座標毎において水平エッジのヒストグラム（または各ｘ座標ごとにおいて垂直エッジのヒストグラム）をとり、定義したウィンドウの中の多くのウィンドウにおいて同じ位置で検出されたエッジを一応先行車上のエッジと判断し、さらに、そのエッジの移動ベクトルを求め、ステレオ画像処理で求めた車間距離変化と適合する方向および大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択するように構成したことにより、歩道橋、白線、路面表示などのような、先行車以外の強度の強いエッジを誤検出することなく、確実に先行車の上のエッジを選択することが出来る。
【００７２】
また、同じ物体上のエッジ間距離の時間的変化率は、どのエッジ間距離においても同じであることから、上記の検出したエッジを２本ずつ組にし、全ての組においてエッジ間距離の時間的変化率を求め、変化率の異なる組のエッジを先行車以外のエッジとして除去するように構成したことにより、先行車上にかかる光のノイズなどの除去が可能になり、より確実に先行車を構成するエッジだけを選択することが可能となる。
【００７３】
さらに、この方法によって先行車以外のエッジを除外することにより、除外したエッジの位置の視差を車間距離算出の際に除外することができるので、路面表示など先行車周囲にエッジが多く存在する環境や光の位置などによってノイズの多い環境下でも確実性の高い車間距離計測が可能となる。
【００７４】
また、上記のエッジ間距離の変化率より、最も多くの組において同じ値で算出された変化率をもとに、その時点での車間距離の変化率を求めるように構成したことにより、１枚の画像だけを用いた処理において、光のノイズや影など、多少のエッジ検出ミスがあるときだけでなく、先行車上のエッジを検出しにくい環境下でも、車間距離の変化率を確実に正しく求めることが可能となる。
【００７５】
また、ステレオ画像処理で過去に求めた車間距離に対して、車間距離の変化率を乗算することで、処理時点での新たな車間距離を算出するように構成したことにより、ステレオ画像処理で求めた車間距離との照合・確認が可能となる。さらにエッジ間距離の変化率から求めた車間距離の変化率は、ステレオ画像処理で連続的に求めた車間距離より求められる車間距離の変化率よりも高精度であるため、計測車間距離自体の高精度化にも貢献できる。
【００７６】
（第２の実施の形態）
前記第１の実施の形態においては、二つのカメラによるステレオ画像処理によって車間距離計測を行なうものについて説明したが、第２の実施の形態においては、二つのカメラの代わりに、いわゆるレーザレンジファインダを用いて車間距離計測を行なう装置について説明する。
【００７７】
図１３は本発明の第２の実施の形態の構成を示すブロック図である。
図１３において、７はレーザレンジファインダであり、自車の前部に前方を向いて設置されている。なお、車両の後部に後方を向けて設置し、車両後方の障害物を検出するように構成することもできる。このレーザレンジファインダ７は、レーザレーダの照射を縦横に走査することで、前方の物体までの距離とその照射対象の反射強度（輝度）を２次元的に計測する装置である。また、８はレーザレンジファインダ７から入力した画像信号を記憶する画像メモリであり、後記の輝度画像と距離画像を記憶する。９は演算部であり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュータで構成される。その他、図１と同符号は同じものを示す。
【００７８】
以下、まず第２の実施の形態に用いる種々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。
図１４は、車両が走行する方向を中心として左右上下に道路前方を走査するレーザレンジファインダ７と計測対象物（先行車６）との位置関係を示す図である。レーザレンジファインダ７は、走査の中心軸が路面に平行で、かつ、直進する自車両の走行方向を向くように搭載されている。
【００７９】
また、図１５は図１４のレーザレンジファインダ７で計測した距離画像と輝度画像の一例を示した図であり、（Ａ）は輝度画像をイメージで示した図、（Ｂ）は距離画像をイメージで示した図、（Ｃ）は距離画像の内容（数値：例えばディジタル値）を示した図である。距離画像とはレーザレンジファインダで計測される各角度毎の測定距離の２次元配列を、輝度画像とは反射光の強度の２次元配列を意味するので、実際の輝度画像および距離画像は図１５（Ｃ）に示したような数値表（実際にはディジタル値）になるが、輝度画像の内容（数値表）は図示を省略している。また、図１５（Ｃ）において、「−１」は距離が測定可能距離の範囲外で測定不能な個所（例えば空）を示す。また、「１８」、「２８」、「４０」等の数値は対象物までの距離（ｍ）を示している。
【００８０】
以下、画像の横軸をｘ軸、縦軸をｙ軸、原点を画像の中心として説明する。
ここで得られる輝度画像および距離画像上の点の座標と、その座標上の点を計測した対象となる実空間上の点の位置関係は、図１４に示すように、走査範囲の角度と、値を計測するサンプリング間隔毎に動く照射の角度の大きさ（角度分解能）で決まる。例えば、縦、横の角度分解能がそれぞれ、θ、φのとき、画像上の座標（ｘ＝２、ｙ＝３）の位置に対応する実空間上の位置は、レーザレンジファインダの中心軸（画像面に垂直な軸）から、横に２θ、縦に３φの方向の最も近い位置にある物体面上の点となる。また、距離画像と輝度画像の互いに同じ座標位置の計測値は、実空間上で同じ位置の計測値である。
【００８１】
図１６（Ａ）は、図１５の距離画像において、先行車と同じ距離を示す部分だけを太線で表した図である。道路前方に先行車がある場合には、図示のように、先行車と同じ距離を示す部分は、先行車上とその先行車の真下の路面の部分となる。つまり、物体が存在する位置では同じ距離を示す値が隣接する。また、図１６（Ｂ）は、前方に先行車がないときの計測結果である。図示のように、路上に先行車などの物体がないときは、画像の下半分の領域には路面が撮像（上半分は空）されるため、この下半分の領域で計測された距離は画面の下から上に向けて近距離から遠距離になる。つまり、物体が存在する場合には、同じｘ座標上に同じ距離を示す画素が並ぶが、物体が無い場合にはｘ座標上には同じ距離の値は存在しない。このことから、図１７に示す方法で物体の検知・計測が可能となる。
【００８２】
図１７は、ｚ軸方向に距離をとり、ｘ軸を画像のｘ軸方向として投票した値をｙ軸方向に示したグラフである。図１５（Ｃ）のごとき距離画像の値をもとに、図１７の対応する位置に投票する。投票とは、例えば、ｘ＝２上にある画素で距離が３ｍの点のとき、グラフのｘ＝２、ｚ＝３のところにｙ＝１を加算する操作を意味する。詳細は、前記第１の実施の形態において図４〜図６で説明した方法と同様である。
【００８３】
このような操作を距離画像全体の値について行なう。前方ｚの位置に物体が存在する場合、その物体が撮像されるｘ座標の距離ｚの位置に複数回投票が繰り返されるため、表中のその位置の値が高くなる。一方、物体が存在しないｘ座標上では、図１６（Ｂ）に示したように、同じｘ座標上で同じ距離は計測されないため、表中で値が高くなる位置は存在しない。このことから、投票結果をもとに、表中の値が大きな位置の存在から物体の有無を求めることが出来る。また、その物体の存在する位置は、ｘ軸方向の範囲は投票値が所定値以上の範囲ｘｌ〜ｘｒ（ｘｌは存在範囲の左端、ｘｒは右端）のｘ軸方向の位置により、物体までの距離は表の距離ｚの値により、それぞれ求めることができる。
【００８４】
次に、輝度画像上から先行車の撮像範囲を求める方法を説明する。撮像範囲のｘ軸方向の範囲は、前述の方法でｘｌ〜ｘｒと求められる。また、画像のｙ軸方向の範囲は次のような原理から求める。図１８〜図２０は、レーザレンジファインダで撮像した距離画像と輝度画像において撮像範囲と先行車までの距離の関係を表す図であり、図１８は平面図、図１９は側面図、図２０は先行車の存在範囲を示す画像である。以下、図１８〜図２０を用いて、ｙ軸方向の範囲の求め方を説明する。
【００８５】
画像上の先行車の上端の位置をｙ＝ｙｕ、下端をｙ＝ｙｄとする。縦方向の角度分解能がφ、先行車までの距離がｚ、路面からレーザレンジファインダの中心軸までの高さをＨ、先行車の高さをｈとすると、図１９より、そのレーザレンジファインダで計測した輝度画像上における先行車の上下端（ｙｕ、ｙｄ）は、
ｔａｎ（ｙｕ×φ）＝（ｈ−Ｈ）／ｚ、 ｔａｎ（ｙｄ×φ）＝−Ｈ／ｚ
の関係となる。ただし、ここでは、下端はほぼ路面と同じ高さとみなす。また、θ、φは微小角であるので、ｔａｎθ≒θ、ｔａｎφ≒φである。このことから、（ｙｕ、ｙｄ）は下記（数７）式で求められる。
【００８６】
ｙｕ＝（ｈ−Ｈ）／（φ×ｚ）、 ｙｄ＝−Ｈ／（φ×ｚ） …（数７）
上記の方法により、左上端が（ｘｌ、ｙｕ）、右下端を（ｘｒ、ｙｄ）として先行車が撮像される画像上の範囲を図２０に示すように求めることができる。
【００８７】
次に、上記の方法で求めた輝度画像上の先行車の撮像範囲に縦長のウィンドウを切り、先行車上の水平エッジを検出する。これらの縦長のウィンドウを設定する横方向の位置は距離画像から検出した先行車が撮像される範囲ｘｌ〜ｘｒとすればよい。また、縦方向の位置は、（数７）式に基づいてｙｕとｙｄが含まれる程度の大きさ（上がｙｕ＋α、下がｙｄ−α）にすればよい。これを用いて水平エッジを検出する方法の内容は、前記第１の実施の形態における図８およびその説明と同様なので省略する。なお、縦エッジを検出する場合は、同様の処理を横長のウィンドウを切ってｙ座標をｘ座標に置き換えて行えばよい。また、後述する移動ベクトルやエッジ間距離の計算においても同様である。
【００８８】
次に、上記の方法で検出したエッジの移動ベクトルを求め、そのエッジの中から、先行車の動きに基づいた動きをするエッジだけを選択するが、この内容は、前記第１の実施の形態における図９およびその説明と同様なので省略する。
【００８９】
次に、エッジ間距離の変化率および車間距離の変化率を求める方法と、その結果を用いて先行車上のエッジを再確認する方法について説明する。なお、この方法は前記第１の実施の形態における図１０およびその説明と類似しているが、画像入力手段がステレオカメラとレーザレンジファインダとで異なっているため、数式等が一部異なっているので、改めて説明する。
【００９０】
図２１は、輝度画像上の先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、（Ａ）は時点ｔ−１における位置、（Ｂ）は時点ｔにおける位置を示す。
図２１に示すように、追従中の車両上から、バンパーなど路面に平行な線を異なる位置から２本ずつ２組選択し、その２本の平行線間の距離をｈ１、ｈ２とする。時点ｔ−１における車間距離がｚｔ−１のときのｈ１、ｈ２の画像上の長さをそれぞれｙ１ｔ−１、ｙ２ｔ−１とすると、ｙ１ｔ−１、ｙ２ｔ−１は、それぞれ下記（数８）式に示すようになる。
【００９１】
ｙ１ｔ−１＝（ｈ１／φ）／ｚｔ−１、 ｙ２ｔ−１＝（ｈ２／φ）／ｚｔ−１…（数８）また、時点ｔにおける車間距離をｚｔとすると、同様に、そのときの画像上のｈ１、ｈ２の長さは、ｙ１ｔ＝（ｈ１／φ）／ｚｔ、ｙ２ｔ（ｈ２／φ）／ｚｔとなる。これらから、車間がｚｔ−１からｚｔに変化したときの画像上のエッジ間の長さの変化率は、ｈ１、ｈ２ともに、下記（数９）式に示すようになる。
【００９２】
ｙ１ｔ／ｙ１ｔ−１＝ｙ２ｔ／ｙ２ｔ−１＝ｚｔ−１／ｚｔ …（数９）
つまり、エッジ間距離に関わらず、エッジ間距離の変化率は、それらのエッジが同じ物体上のものであれば、どのエッジが選択された場合でも同じ値になり、その値は、車間距離の変化率（ｚｔ／ｚｔ−１）の逆数（ｚｔ−１／ｚｔ）となる。
このことから、図８の方法によって検出した画像上の車両のエッジから２本ずつの組を作り、それらのエッジ間距離の時間的な変化率（ｙ１ｔ／ｙ１ｔ−１、ｙ２ｔ／ｙ２ｔ−１、…、ｙｎｔ／ｙｎｔ−１）を求め、それらの組ごとに求めたエッジ間距離の変化率から、その値が同じである最も多い組のエッジを先行車上のエッジであると再確認することができる。
【００９３】
さらに、或るエッジを含む組に限り、時間的変化率が常に他の組と異なるものがあれば、そのエッジを先行車以外のエッジとして除外できる。これにより、先行車付近の路面表示や路面のノイズなど先行車以外の反射からくる光のノイズを、先行車以外のエッジとして除去することが可能となる。また、同時に、その最も多くの個所で求められたエッジ間距離の変化率は、その時点での画像上の先行車の大きさの変化率となる。つまり、この変化率の逆数をとることで、車間距離の変化率も求めることができるようになる。このように輝度画像から求めたエッジ間距離の変化率から車間距離の変化率を求めることが出来る。
【００９４】
そして車間距離の変化率が求まれば、その値を所定演算回数前に計測した車間距離の値に乗算することにより、前記第１の実施の形態における（数６）式、（数６’）式で説明したのと同様に、車間距離の値を求めることが出来る。
この方法では、レーザレンジファインダの距離画像による距離測定と同時に、レーザレンジファインダで得られた輝度画像からも距離の変化率を求めることが出来るので、両者を比較・照合することにより、より確実な距離計測が可能になる。
【００９５】
また、図２１等で説明した輝度画像からの距離変化測定方法は、先行車上に検出されるエッジのうちの数本が検出できれば、車間距離の変化率を計測可能となる。したがって、エッジを検出しにくい形状・環境でも距離の変化率の計測は可能である。また、逆にノイズの多い環境であっても、その中から、先行車の車間変化に合った動き、変化率を示すものだけを選択するので、ノイズに影響されることなく車間距離の変化率が計測できる。このように、環境変化に影響されない確実性の高い距離測定が可能となる。
【００９６】
次に、前記図９、図２１で説明した輝度画像からの先行車上のエッジ選択において、先行車以外のエッジであると選択されたエッジがある場合には、そのときの距離画像上におけるそのエッジの存在位置の距離は誤った値である可能性が高い。このことから、図１７の表への投票の際に、先行車以外と判断されたエッジの存在位置の距離を用いないようにすることも有効である。このことにより、表への投票の際に誤計測値が反映されないため、車間距離計測の確実性を向上させることが出来る。
【００９７】
次に、レーザレンジファインダは、装置から照射した光が反射して戻ってくるまでの時間をもとに距離を計測する。そのため反射光の強度が弱い位置の計測値は信頼度が低い。また、光を吸収してしまう物体に照射した場合は反射光が返ってこない場合もあり、そのような位置の計測距離の値は誤計測値である。そのため、レーザレンジファインダから計測した輝度画像上において、輝度値が低い位置で計測された距離画像上の値を、図１７の表への投票の際に用いない構成とすることも有効である。これにより、信頼性の高い値だけを用いた距離計測が行われるようになり、同時に、誤計測値が車間距離計測に反映されないため、車間距離計測の確実性を向上させることが出来る。
【００９８】
次に、これまで説明した方法を用いて、追従中の先行車上のエッジを検出し、車間距離の変化率を求めることで車間距離の確認および高精度化を行う実施の形態について説明する。ここでは、前記図１４のようにレーザレンジファインダを車両の前方を向けて搭載した場合について説明する。
【００９９】
図２２は、この実施の形態における演算処理の流れを示すフローチャートである。
まず、ステップＳ１１１では、レーザレンジファインダの輝度画像と距離画像を入力する（図１５参照）。
次に、ステップＳ１１２では、まず、距離画像から表へ投票することにより、先行車の存在する横（ｘ軸）方向の範囲（ｘｌ〜ｘｒ、）と先行車までの距離ｚを求める（図１６、図１７参照）。ただし、この距離画像からの表への投票は、誤計測値が反映されないように、表へ投票する値を、レーサレンジファインダで計測した輝度がしきい値以上の位置の値だけとした上で図１７に示した方法で行なう。また、後の処理である先行車のエッジ判断処理（ステップＳ１１５）において、先行車のエッジ検出用のウィンドウ内にあるが、先行車上のエッジではないと判断された位置の値も除外して投票してもよい。
【０１００】
次に、ステップＳ１１３では、輝度画像から先行車の上下方向の範囲（ｙｕ〜ｙｄ）を検出する（図１８〜図２０参照）。
次に、ステップＳ１１４では、ステップＳ１１２とステップＳ１１３で検出した先行車の撮像範囲に縦長または横長のウィンドウを定義する。また、ステップＳ１１５では、上記ウィンドウ内のヒストグラムを求めることによって先行車上のエッジを検出する。さらにステップＳ１１６では、エッジの移動ベクトルを求め、そのエッジの中から、先行車の動きに基づいた動きをするエッジだけを選択する。これらのステップＳ１１４〜ステップＳ１１６の内容は、前記第１の実施の形態における図１２のステップＳ１０３〜ステップＳ１０６の内容と同様である。
【０１０１】
次に、ステップＳ１１７では、エッジ間距離の変化率を求め、その結果から車間距離の変化率を求める（図８、図２１参照）。この内容は前記第１の形態における図１２のステップＳ１０７とほぼ同様である。
次に、ステップＳ１１８では、レーザレンジファインダの距離画像から求めた車間距離と、ステップＳ１１７で求めた車間距離の変化率から算出した車間距離とを照合し、距離計測の正確性を再確認する。すなわち、所定演算回数前の計測した車間距離Ｚｔ−１に対して、今回演算した車間距離の変化率を乗算すれば今回の車間距離Ｚｔを算出することができる。このように、レーザレンジファインダによる距離画像から求めた車間距離と、輝度画像から求めた距離の変化率に基づく車間距離とを比較・照合することにより、より確実な距離計測が可能になる。
【０１０２】
以上説明してきたように、第２の実施の形態においては、車両に設置したレーザレンジファインダの距離画像と輝度画像を求め、得られた距離画像から、輝度画像上の横方向における先行車の撮像位置と自車から先行車までの実際の距離を計測し、輝度画像上において、そのときの車間距離に基づいて先行車の上下左右端を含む大きさの縦長（または横長）のウィンドウを複数設け、それらのウィンドウの各ｙ座標（またはｘ座標）毎において水平（または垂直）のエッジのヒストグラムをとり、設定したウィンドウの中の多くのウィンドウにおいて同じ位置で検出されたエッジを先行車上のエッジであると一応判断し、さらに、そのエッジの移動ベクトルを求め、ステレオ画像処理で求めた距離変化と適合する方向・大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択する。さらに、選択したエッジ間距離の変化率をもとに、変化率が同じ組のエッジだけを先行車上のエッジと判断し、そのエッジ間距離の変化率の逆数より車間の変化率を求めるように構成している。そのため、レーザレンジファインダの計測距離の分解能より細かい精度での距離計測が可能となり、同時に二つの手法による計測結果の照合により確実な距離測定が可能となる。
【０１０３】
さらに、このエッジ検出方法は、先行車上のエッジをヒストグラムと移動ベクトルとエッジ間距離の変化率とから判断しているため確実であり、その方法により、先行車上と考えられるエッジを選択した後、それらのエッジ間距離の変化率から先行車の車間距離の変化率を求めているため、エッジ間距離から計測した車間距離の変化率は、エッジの検出しにくい環境においてもその中の数本が検出できれば車間距離の変化率計測が可能であり、かつ、ノイズの多い環境下でも、ノイズが除去されるため、周囲環境に対して影響されにくい確実な計測装置を実現出来る。
【０１０４】
また、先行車以外のエッジと判断された位置におけるレーザレンジファインダで計測した距離画像上の値を、車間距離計測の際の判断に反映させない構成としたため、ノイズなどによる誤計測値を除去でき、より正確な測距が可能となる。
【０１０５】
また、距離画像からの車間距離計測において、レーザレンジファインダの輝度画像上の反射強度が低い場合には、その位置で計測された距離を反映させない構成としたため、誤計測値を除去でき、さらに、信頼度の高い計測値だけを用いた、より正確な測距が可能となる。
【０１０６】
また、カメラによる画像は夜間のような暗い状況下では使用困難であるが、レーザレンジファインダは夜間等でも使用可能である。
【０１０７】
（第３の実施の形態）
前記第１の実施の形態においては、２つのカメラを用いたステレオ画像処理によって車間距離計測を行なう装置、前記第２の実施の形態においては、２つのカメラの代わりに、いわゆるレーザレンジファインダを用いて車間距離計測を行なう装置について説明したが、第３の実施の形態においては、レーザレンジファインダと１つのカメラを用いる装置について説明する。
【０１０８】
第２の実施の形態で測距用に用いているレーザレンジファインダにおいては、一般に、前方の物体までの距離を計測する光の走査機構として、光の照射角度をミラーの回転などによって変更する機構を用いているため、装置の信頼性を高くするためには、走査を遅くすることが要求される。つまり、この要求を満たすためには、１回の２次元情報を得るためのサンプリング間隔を広げる必要がある。また、装置の信頼性を高めるためには、発光パルスの照射間隔を広げることも必要となる。つまり、故障率が低く信頼性の高いレーザレンジファインダとするためは、１回の２次元情報を得るのにかかる時間を長くする必要があり、さらに、２次元的な縦横の分解能および測定距離の分解能も粗くする必要がある。そのため測定結果の精度が低下し、かつ、測定の時間間隔が長くなるという問題が生じる。その問題に対処するため、第３の実施の形態では、レーザレンジファインダとカメラとを組み合わせて用いるように構成している。
【０１０９】
図２３は本発明の第３の実施の形態の構成を示すブロック図である。
図２３において、１０は電子式のカメラであり、このカメラ１０の光軸がレーザレンジファインダ７の走査の中心の軸と平行になる位置および姿勢で車両に搭載されている。１１はカメラ１０から入力した画像信号を記憶する画像メモリである。１２は演算部であり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュータで構成される。その他、図１３と同符号は同じものを示す。
【０１１０】
以下、まず第３の実施の形態に用いる種々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。
この実施の形態においては、レーザレンジファインダ７に加えて、それと同じ平面の輝度画像が得られるカメラ１０を搭載し、第２の実施の形態においてレーザレンジファインダ７の輝度画像に施した処理を、カメラ１０で撮像した画像に対して行い、エッジの検出およびエッジ間距離の変化率から車間距離の変化率を求める。これには、まず、レーザレンジファインダ７の距離画像から求めた先行車の画像上での位置を、カメラ１０で撮像した画像上での位置に変換し、両者の画像上の位置を合せる必要がある。
【０１１１】
図２４は、レーザレンジファインダ７の上で間隔Ａだけ上方に離れた位置に、レーザレンジファインダ７の走査の中心の軸とカメラの光軸が平行になる位置および姿勢でカメラ１０を搭載した場合における、二つの装置およびその撮像対象となる車両の位置関係を示した図である。また、図２５（Ａ）、（Ｂ）は、図２４の環境下において計測した輝度画像の様子を表した図であり、（Ａ）はレーザレンジファインダ７の輝度画像、（Ｂ）はカメラ１０の輝度画像を、それぞれ画像のイメージで示している。なお、実際の輝度画像は、輝度に対応したディジタル値の２次元配列になる。
【０１１２】
第２の実施の形態でも説明したように、レーザレンジファインダで計測した輝度画像上の位置と実空間における対象物の位置との関係は前記（数７）式で求められる。また、カメラの場合には、図２６に示すように、画像１画素に対応する角度を求めておくことにより、（数７）式と同様の原理によって画像上の座標とその位置に撮像される実空間上の点との位置関係を求めることができる。なお、図２６においては、縦方向の１画素分の角度βのみを表示しているが、横方向についても同様に角度αを求める。
【０１１３】
例えば、レーザレンジファインダの一つの画素に対応する縦、横の角度をφ、θ、カメラ画像の一つの画素に対応する縦、横の角度をβ、αとすると、図２４の配置において、距離ｚの位置にある車両上の或る１点ｐが、レーザレンジファインダで計測した距離画像上では（ｘｐ１、ｙｐ１）に撮像されたとき、その点ｐが撮像される画像上の座標（ｘｐｉ、ｙｐｉ）は、
ｘｐｉ＝ｘｐ１・（θ／α）、 ｙｐｉ＝ｙｐ１・（φ／β）−Ａ／（β・ｚ）
となる。ただし、通常、Ａ＜＜ｚであるので、Ａは無視できる大きさとすると、両画像間の位置対応は、下記（数１０）式で算出される。
【０１１４】
ｘｐｉ＝ｘｐ１・（θ／α）、 ｙｐｉ＝ｙｐ１・（φ／β） …（数１０）
カメラで撮像した方の画像処理に関しては、（数１０）式のスケーリングを施した上で、図１７〜図２１で説明したエッジ検出およびエッジ間距離の変化率測定処理において、レーザレンジファインダの輝度画像の代わりにカメラの輝度画像を用いて同様の処理を行なう。これにより、第２の実施の形態と同様の効果が得られる。さらに、レーザレンジファインダの輝度画像よりもカメラの画像の方がエッジが鮮明であり、縦横の分解能が細かいことから、この効果をより向上させることができる。加えて、カメラの画像入力周期はレーザレンジファインダの画像更新周期より短いことから、距離の変化率を短い時間間隔で求めることも可能となる。その他の処理は前記第１および第２の実施の形態と基本的には同じである。
【０１１５】
なお、レーザレンジファインダの距離画像と輝度画像に関しては前記第２の実施の形態で説明した各種の処理を施すことが出来る。例えば、図１７の方法により、先行車までの距離は、レーザレンジファインダの走査完了毎に距離画像から計測することで、１回の走査にかかる時間を周期として連続的に計測することができる。また、レーザレンジファインダの輝度画像から求めたエッジ間距離の変化率に基づいた車間距離の変化率算出も同じ周期で連続的に計測できる。
【０１１６】
また、車間距離計測において、同じ車両に追従中の場合は、１度車間距離を求めておけば、その車間距離に対してエッジ間距離の変化率を乗算することで、その時点での距離を算出することが可能となる。すなわち、レーザレンジファインダで計測した時点ｔでの車間距離がｚｔ、時点ｔ＋１に計測した車間距離の変化率（エッジ間距離の変化率の逆数）がγであれば、時点ｔ＋１での車間距離ｚｔ＋１は、下記（数１１）式で計算できる。
ｚｔ＋１＝γ×ｚｔ …（数１１）
レーザレンジファインダの距離分解能は粗く、縦横の分解能は細かい場合においては、この計算による距離の再計算は、距離の高精度化にもつながる。
【０１１７】
また、上記の方法による距離の更新は、第３の実施の形態のようにカメラとレーザレンジファンダの両方を搭載したシステムにおいては、距離計測の時間間隔を短くすることにもつながる。例えば、レーザレンジファインダの計測間隔時間が１秒、カメラの撮像間隔が１６．７ｍｓ（１フィールド）である場合、レーザレンジファインダからの画像入力は１秒毎にしかできないが、カメラ画像から求めたエッジ間距離の変化率に基づく車間距離の変化率は１６．７ｍｓ毎に計測される。したがって、レーザレンジファインダのみの場合には車間距離計測は１秒毎にしか出来ないが、時点ｔでレーザレンジファインダで計測した距離ｚｔに対して、前記（数１１）式を適用して演算すれば、車間距離の演算を１６．７ｍｓ毎に処理することが出来る。図２７は上記の計測タイミングを示した図である。
【０１１８】
さらに、このエッジ間距離の時間的な変化率を利用した車間距離測定は、距離の確認および距離の高精度化にもつながる。以下、カメラ画像を用いたエッジ間距離からの車間距離変化率算出により、距離算出の精度が向上される原理を説明する。
図１９に示した先行車の高さｈは通常は未知の値である。しかし、レーザレンジファインダで距離が求められているときは、先行車までの車間距離ｚと輝度画像上の先行車の高さ（ｙｕ−ｙｄ）を下記（数１２）式に代入することで追従中の車両の高さｈを求めることができる。
【０１１９】
ｈ＝β×（ｙｕｔ−ｙｄｔ）×ｚｔ …（数１２）
ただし、β：１画素分の角度
同じ車両に追従中は、ｈは一定値である。ここでは、画像上の先行車の高さ（ｙｕ−ｙｄ）は、前記の先行車上のエッジ検出処理により求めることができるため、（数１２）式により１度求めたｈをもとに、次の入力画像で求めた先行車の高さ（ｙｕｔ＋１−ｙｄｔ＋１）を、下記（数１３）式に代入することで、先行車の高さからも新たな車間距離を求めることができる。
【０１２０】
ｚ＝ｈ／β（ｙｕｔ＋１−ｙｄｔ＋１） …（数１３）
ただし、ｈ：（数１２）式で算出した値
（数１２）式のｈを（数１３）式に代入すると下記（数１３’）式のようになる。
Ｚｔ＋１＝Ｚｔ×（ｙｕｔ−ｙｄｔ）／（ｙｕｔ＋１−ｙｄｔ＋１）
或いは …（数１３’）
Ｚｔ＝Ｚｔ−１×（ｙｕｔ−１−ｙｄｔ−１）／（ｙｕｔ−ｙｄｔ）
ただし、Ｚｔ＋１：時点ｔ＋１における車間距離
Ｚｔ：時点ｔにおける車間距離
Ｚｔ−１：時点ｔ−１における車間距離
（数１３’）式からもわかるように、この方法で求める車間距離は、画像上で検出したエッジ間距離の変化率の逆数（ｙｕｔ−ｙｄｔ）／（ｙｕｔ＋１−ｙｄｔ＋１）をレーザレンジファインダの距離画像から時点ｔで求めた距離ｚｔにかけることと同じである。つまり、前記（数１１）式と同様の計算により、車間距離が求められることがわかる。
【０１２１】
ここで、前記第２の実施の形態においてレーザレンジファインダの輝度画像と距離画像の処理によって（数１１）式で求める方法と、カメラの輝度画像とレーザレンジファインダの距離画像とを用いて（数１３）式で求める方法とにおける距離の精度の違いを考える。例えば、レーザレンジファインダの距離分解能を１ｍとし、カメラの画素の分解能を通常の車載システムを参考に、画角３０度で縦に４８０画素の分解能の画像を撮像すると仮定する。このときの画像の１画素分の分解能βは、０．００１ｒａｄ（＝２π×（３０／４８０）／１８０）である。このシステムにおいて、高さ１ｍの車両までの距離を算出すると、レーザレンジファインダでの計測距離分解能は常に１ｍであるのに対し、画像のエッジ間距離で求める分解能は、距離に応じて下記（数１４）式で求められる値となる。
【０１２２】
【０１２３】
次に、これまで説明した方法を用いて、追従中の先行車上のエッジを検出し、車間距離の変化率を求めることで車間距離の確認および高精度化を行う実施の形態について説明する。ここでは、前記図２４のようにレーザレンジファインダとカメラを車両の前方を向けて搭載した場合について説明する。ただし、計算を簡略化するため、カメラとレーザレンジファインダの搭載位置の差（図２４の間隔Ａ）は、無視できるものとして説明する。しかし、実際の場合において、間隔Ａが大きな値である場合でも、間隔Ａの差によって表れる画像上の位置の差を幾何学的に考慮することで同様の処理・効果が得られる。
【０１２４】
図２９は、この実施の形態における演算処理の流れを示すフローチャートである。
まず、ステップＳ１２１では、レーザレンジファインダの輝度画像と距離画像を入力する。また、ステップＳ１２２ではカメラの画像（輝度画像）を入力する（図２４、図２５参照）。
【０１２５】
次に、ステップＳ１２３では、カメラの画像に対してレーザレンジファインダの画像との位置合わせを行なう（図２４〜図２６参照）。
【０１２６】
なお、この実施の形態では、基本的にはレーザレンジファインダの輝度画像の代わりにカメラの輝度画像を用いるので、前記図２２におけるステップＳ１１３のレーザレンジファインダの輝度画像から先行車範囲を検出する処理は無くてもよい。ただし、図２２のようにレーザレンジファインダの輝度画像と距離画像から演算する方法も同時に行ない、演算結果の車間距離或いはその変化率を、本フローチャートの演算結果と照合するように構成することもできる。また、第２の実施の形態で説明したのと同様に、レーザレンジファインダの輝度画像も求めておき、距離画像からの車間距離計測において、輝度画像上の反射強度が低い場合には、その位置で計測された距離を反映させない構成とすることにより、誤計測値を除去でき、さらに、信頼度の高い計測値だけを用いた、より正確な測距が可能となる。
【０１２７】
次に、ステップＳ１２４では、レーザレンジファインダの距離画像からの表への投票により、先行車の存在する横（ｘ軸）方向の範囲（ｘｌ〜ｘｒ、）と先行車までの距離ｚを求める（図１７参照）。ただし、この距離画像からの表への投票は、誤計測値が反映されないように、表へ投票する値を、レーザレンジファインダで計測した輝度がしきい値以上の位置の値だけとした上で図１７で説明した方法で行なう。また、この後の処理である先行車のエッジ判断処理（ステップＳ１２７）において、先行車のエッジ検出用のウィンドウ内にあるが、先行車上のエッジではないと判断された位置の値も除外して投票してもよい。
【０１２８】
次に、ステップＳ１２５では、先行車の上下端検出用のウィンドウを設定する。ここでは、水平エッジを検出するための縦長のウィンドウをカメラの画像上に設定する。すなわち、図１７の処理によってレーザレンジファインダの距離画像から求めた横方向の範囲（ｘｌ〜ｘｒ）に対して前記（数１０）式を適用することにより、カメラ画像上における先行車の撮像範囲を求める。ここでは、後の説明において表記を簡略化するため、以降、（数１０）式によって大きさを変換した後のカメラ画像上での先行車の撮像範囲も（ｘｌ〜ｘｒ）と記述する。
【０１２９】
次に、ウィンドウを定義する縦方向の位置を求める。これは、距離画像から求めた距離ｚより、（数１０）式において、１画素に対応する角度をカメラ画像の角度βとして、上下端（ｙｕ、ｙｄ）を求める。これらの方法により、求めた横方向ｘｌ〜ｘｒの間にｙｕ、ｙｄを含む大きさの縦長のウィンドウを設定する（図８参照）。定義する縦長のウィンドウの横方向の大きさは、ｙ座標毎の水平エッジのヒストグラムが求められるよう１０画素程度以上とすれば十分である。または、先行車の画像上の大きさは距離に応じて可変であるため、その距離に応じて、横幅が１０画素以上のウィンドウが５個所以上に定義できるように適度な大きさで可変としてもよい。
【０１３０】
また、（数１０）式をもとにウィンドウの定義位置ｙｕ＋α、ｙｄ−αを求める際に用いる先行車の高さｈは１〜２ｍ程度と平均的な値で十分である。αの値は、そのときの先行車の距離に応じて、先行車の高さの５分の１程度の余裕でよい。例えば、（数１２）式によって距離から算出される先行車の画像上の高さが５０画素程度の場合、Ｃは１０画素程度でよい。
【０１３１】
次に、ステップＳ１２６では、上記の設定した縦長のウィンドウの中で求めた水平エッジのヒストグラムをもとに、先行車上のエッジを検出する。これには前記図８で説明した方法を用いる。まず、図８に示すように、ソーベルフィルタなどでウィンドウ内の画像を水平微分し、その水平微分画像の各ｙ座標毎のヒストグラム求める。次に、定義したウィンドウの全てにおいて求めた水平エッジのヒストグラムから、半数以上のウィンドウにおいて同じ位置に検出されているエッジを見つける。先行車は路面に対して平行なエッジを持つため、先行車上に切ったウィンドウにおいて同じ位置に検出されるエッジは先行車のエッジと一応みなすことができる。
【０１３２】
なお、仮に先行車上に定義するウィンドウを一つとすると、そのウィンドウの両端部分に白線が撮像される場合、白線のエッジ強度が先行車のエッジ強度より強くなることが多いため、先行車ではなく白線の位置が検出されることがある。そのため、このような誤検出を防ぐため、ウィンドウを複数設け複数のウィンドウにおいて検出されたエッジを先行車上のエッジと判断する。
【０１３３】
次に、ステップＳ１２７では、これらのエッジの移動ベクトルを検出する。このエッジの移動ベクトル算出は、前述の方法で検出したエッジの位置において、例えば、検出対象上に切った小さなウィンドウの移動方向を求める方法などによる一般的なオプティカルフロー検出手法を施せばよい。このような処理により検出したすべてのエッジのオプティカルフローより検出した各エッジ毎の移動ベクトルを求める。
【０１３４】
更に、上記のエッジの移動ベクトルを用いて、そのエッジが先行車上のものであるかを再確認する。この確認は、車間距離変化とエッジが存在する位置により次のような基準で判断できる。すなわち、車間距離が変化したときは、画像の中心に近いエッジの方が動きが小さく、画像の端に行くにつれ動きが大きくなる。そのため、例えば、画像中心（原点：ｙ＝０）の位置に近いにもかかわらず、そのエッジより原点から遠い位置にあるエッジベクトルの平均の動きより大きな動きを示すベクトルがあれば先行車以外のエッジである可能性が高い。また、ステレオ画像処理により求めた距離の変化に基づき、図９に示したように、、車間距離が大きくなる場合は、ｙ＞０の位置のエッジは下方、ｙ＜０の位置のエッジは上方に移動し、車間距離が短くなる場合は、ｙ＞０の位置のエッジは上方、ｙ＜０の位置のエッジは下方に移動し、車間距離が一定の場合はエッジの位置は不変となる。これらのことから、そのベクトルが図９に示す理論どおりの動きをするものを車両上のエッジとして再確認し、逆の変化するエッジは車両上のものではないと判断することができる。また、車間変化＝０のときに大きな動きを示したエッジも先行車以外のエッジと判断できる。このような判断基準をもとに、先行車以外の可能性の高いエッジを除去する。
【０１３５】
次に、ステップＳ１２８では、上記先行車上のエッジ間距離の変化率を求め、それによって、より確実に先行車上のエッジを選択する。それとともに、エッジ間距離の変化から、車間距離計測の高精度化を行なう。まず、上記ステップＳ１２８で検出した先行車上のエッジの中から２本ずつの組を作り、それらの各組におけるエッジ間距離を求める（図２１参照）。前述したとおり、同じ物体上のエッジの組み合わせであれば、どの組み合せでもエッジ間距離の時間的な変化率（ｙ１ｔ／ｙ１ｔ−１、ｙ２ｔ／ｙ２ｔ−１、…、ｙｎｔ／ｙｎｔ−１）は同じ値となるはずである。
【０１３６】
ここで、エッジ間距離の変化率の求め方を具体的に説明する。図９の判断基準により選択されたエッジは、オプティカルフローにより時間的な移動ベクトルが求められているエッジである。そのため、そのベクトルの始点が前回のエッジ位置、終点が今回のエッジ位置となる。つまり、前回のエッジ間距離ｙｎｔ−１（ｎ：１、２、…）は、エッジ間距離を求める対象の二つのエッジの移動ベクトルの始点間の距離となり、今回のエッジ間距離ｙｎｔ（ｎ：１、２、…）は、ベクトルの終点間の距離として求められる。この方法で各組におけるエッジ間距離の変化率ｙｎｔ／ｙｎｔ−１（ｎ：１、２、…）を求めれば、エッジ間距離の変化率が同じ値となる組が最も多い組のエッジを先行車上のエッジと判断することができる。また、その変化率の逆数はその時点での車間距離の変化率となる。この方法では、選択した２本のエッジ間距離だけでなく、同じ変化率を示す多くのエッジ間距離の変化を見ているため、１、２本のエッジ検出ミスがある場合でも車間変化率を正しく求めることができる。したがって確実性の高い車間距離変化率測定が可能となる。
【０１３７】
次に、ステップＳ１２９では、エッジ間距離の変化率に基づいて、先行車に追従中における、レーザレンジファインダで計測した車間距離を更新する。（数９）式で説明したように、エッジ間距離の変化率の逆数は車間距離の変化率となる。つまり、レーザレンジファインダで求めた距離ｚｔに対して、時点ｔで検出したエッジ間距離の変化率の逆数を乗算することで距離を更新することが可能となる（数１１式、数１３式）。
【０１３８】
また、レーザレンジファインダは、装置の信頼性向上のため１枚の画像を得るための走査速度を遅くすることが求められるが、この方法では、１回レーザレンジファインダで計測した距離に対して、次にレーザレンジファインダから距離が計測されるまでの間は、画像から計測されるエッジ間距離の変化率による距離の更新を行なうことが出来るので、短い時間間隔での距離測定の更新が可能である（図２７参照）。
【０１３９】
また、レーザレンジファインダで距離が計測された時点では、両者の計測値を比較・照合することで距離の確認を行なうことが出来る。さらにカメラからの画像からだけでなく、レーザレンジファインダで得られる輝度画像でもエッジ間距離からの距離変化を検出（前記第２の実施の形態参照）しておくことで、さらに確実な距離の確認が可能となる。
【０１４０】
また、前にも説明したように、カメラ画像を用いたエッジ間距離の変化率から求めた車間距離の変化率は、レーザレンジファインダで計測した車間距離の分解能より高精度であるため、計測距離自体の高精度化にも貢献できる。なお、この方法は車両を追従中の車間距離精度向上に適用しているが、実際の場合には、車両の高さｈを求めたもととなったエッジが、図９および図２１の判断によって先行車以外のエッジと判断されたときは、他の２本のエッジ間距離を用いて新たな値にｈを定義し直すことで対応するように構成すれば、エッジ間距離を用いた距離算出の誤計測を防ぐことができ、さらに、先行車の入れ替わりなどによる車高ｈの変化にも対応可能となる。
【０１４１】
以上説明してきたように、第３の実施の形態においては、レーザレンジファインダの走査の中心軸と光軸が平行でほぼ同じ画角内を計測する位置および姿勢のカメラを用い、第２の実施の形態においてレーザレンジファインダで計測した輝度画像に対して施した処理を、カメラから撮像した画像に対して施すことにより、レーザレンジファインダとは異なる装置で距離変化の算出を同時に行なうように構成している。そのため、レーザレンジファインダの装置の信頼性を確保するために、走査やサンプリングを粗くした場合においても、距離精度を確保することが出来る。さらに、第２の実施の形態と同様の効果も得られ、精度向上においては、より細かい分解能の画像を用いることができる。
【０１４２】
また、先行車以外のエッジと判断された位置におけるレーザレンジファインダで計測した距離画像上の値を、車間距離計測の際の判断に反映させない構成としたため、ノイズなどによる誤計測値を除去でき、より正確な測距が可能となる。
【０１４３】
また、レーザレンジファインダで求めた距離に対して、エッジ間距離の変化率から求められる車間距離の変化率をかけることで新たな距離を算出する構成としたため、レーザレンジファインダの計測間隔が長い場合でも、カメラの撮像間隔での車間距離の更新が可能となる。更に、レーザレンジファインダの距離分解能が粗い場合には、距離の高精度化も可能となる。
【０１４４】
以上のような構成としたため、装置の信頼性を確保するために距離分解能を粗くしたレーザレンジファインダを用いた距離計測においても、距離精度を保持または向上することが可能となり、同様に、装置の信頼性確保のために走査を遅くして計測の時間間隔を長くした場合においても、カメラを１台追加した構成にしただけで、距離測定のレスポンスを遅くすることなく、通常の画像処理の速度での距離計測が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図。
【図２】ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図。
【図３】ステレオ画像の両画像の対応する位置毎の視差を求めた結果を示す図。
【図４】距離画像上の或るウィンドウで求めた視差とそのウィンドウの横方向の位置に基づいて、対応する表中の位置に投票する様子を表した図。
【図５】投票を全てのウィンドウにおいて行った結果を示す図であり、（Ａ）は上画像、（Ｂ）は視差の表、（Ｃ）は投票用の表。
【図６】図５の投票結果から視差１５の部分を抜き出して１次元グラフとしてあらわした図であり、（Ａ）は図５の（Ｃ）に相当する表、（Ｂ）は１次元グラフ、（Ｃ）は対応する画像。
【図７】一方の画像に撮像された先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、（Ａ）は側面図、（Ｂ）は撮像面Ａの画像例。
【図８】先行車上に設けた縦長のウィンドウのそれぞれにおいて各ｙ座標毎に水平エッジのヒストグラムと輝度のヒストグラムの求めた様子を示す図であり、（Ａ）は原画像上に設けた縦長のウィンドウの一例、（Ｂ）は先行車の存在位置を水平微分したエッジの一例、（Ｃ）は（Ｂ）における▲１▼〜▲５▼のウィンドウの各水平エッジのヒストグラム。
【図９】車間距離に応じた先行車上のエッジの移動方向ベクトルの変化を示す図。
【図１０】エッジ間距離の変化率と車間距離の変化率との関係を説明するための図。
【図１１】ステレオ視差と先行車の高さを用いた車間距離計測の計測距離分解能の比較説明図。
【図１２】第１の実施の形態における演算処理の流れを示すフローチャート。
【図１３】本発明の第２の実施の形態の構成を示すブロック図。
【図１４】道路前方を走査するレーザレンジファインダと計測対象物（先行車）との位置関係を示す図。
【図１５】レーザレンジファインダで計測した距離画像と輝度画像の一例を示した図であり、（Ａ）は輝度画像をイメージで示した図、（Ｂ）は距離画像をイメージで示した図、（Ｃ）は距離画像の内容（数値：例えばディジタル値）を示した図。
【図１６】距離画像において、前方に先行車が存在する場合としない場合との比較を示す図であり、（Ａ）は先行車が存在する場合、（Ｂ）は存在しない場合の計測結果を示す。
【図１７】投票結果を示す１次元グラフとそれに対応する画像。
【図１８】レーザレンジファインダで撮像した距離画像と輝度画像において撮像範囲と先行車までの距離の関係を表す平面図。
【図１９】レーザレンジファインダで撮像した距離画像と輝度画像において撮像範囲と先行車までの距離の関係を表す側面図。
【図２０】上記輝度画像において先行車の存在範囲を示す画像。
【図２１】輝度画像上の先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、（Ａ）は時点ｔ−１における位置、（Ｂ）は時点ｔにおける位置を示す。
【図２２】第２の実施の形態における演算処理の流れを示すフローチャート。
【図２３】本発明の第３の実施の形態の構成を示すブロック図。
【図２４】レーザレンジファインダとカメラおよびその撮像対象の車両との位置関係を示した図。
【図２５】輝度画像の様子を表した図であり、（Ａ）はレーザレンジファインダの輝度画像、（Ｂ）はカメラの輝度画像を、それぞれ画像のイメージで示した図。
【図２６】カメラで撮像した画像の１画素に対応する角度を説明する図。
【図２７】レーザレンジファインダとカメラの計測時間間隔を説明する図。
【図２８】検出したエッジの１画素のずれによる誤差の状態を説明する図。
【図２９】第３の実施の形態における演算処理の流れを示すフローチャート。
【符号の説明】
１、２…カメラ ３、４…画像メモリ
５…演算部 ６…検出対象物（先行車）
７…レーザレンジファインダ ８…画像メモリ
９…演算部 １０…カメラ
１１…画像メモリ １２…演算部
Claims (5)
- 車両に搭載され、路面に平行方向と垂直方向の２次元的に光を走査して照射し、照射した方向毎の光の反射強度と、その光の反射面までの距離とを計測する光測距装置と、
前記計測した反射強度の各角度毎の値をデジタル値の配列とした輝度画像と、前記計測した距離の各角度毎の値を前記輝度画像に対応する順序でデジタル値の配列とした距離画像とを記憶するメモリと、
前記光測距装置の走査の中心軸と光軸が平行になる位置および姿勢で車両に搭載された電子式のカメラと、
前記距離画像に基づいて先行車までの車間距離を計測し、かつ、前記距離画像上において先行車が計測された位置に基づいて前記カメラの画像上で先行車が存在する位置を求める距離・位置演算手段と、
前記距離・位置演算手段で求めた位置と距離に基づいて、前記カメラの画像上に撮像された先行車の左右上下端を含む程度の縦長のウィンドウを複数設定するウィンドウ設定手段と、
前記複数の全てのウィンドウにおいて縦長のウィンドウでは各ｙ座標毎の水平エッジのヒストグラムを求めるヒストグラム演算手段と、
前記複数のウインドウにおいて同じｙ座標上に検出される前記ヒストグラム演算手段により求められたヒストグラムのピーク値である水平エッジのｙ座標位置を検出するエッジ検出手段と、
前記エッジ検出手段により求められた複数のウィンドウにおいて同じｙ座標上に検出されるヒストグラムのピーク値である水平エッジの移動ベクトルを計測するベクトル計測手段と、
前記距離画像から求めた車間距離の変化と適合する方向および大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択するエッジ選択手段と、
前記エッジ選択手段で求めた先行車上のエッジの中から２本ずつを１つの組として複数組選択し、それらの組におけるそれぞれのエッジ間距離を求め、同じ組について二つの時点で求めたエッジ間距離の比、すなわちエッジ間距離の時間的な変化率が同じ値となる組が最も多い組のエッジを先行車上のエッジと再確認する先行車エッジ判断手段と、
前記先行車上のエッジと再確認されたものについてのエッジ間距離の変化率に基づいて車間距離の変化率を求める車間距離変化率演算手段と、
前記距離・位置演算手段で求めた車間距離の所定回数前の演算値に前記車間距離の変化率を乗算することによって車間距離を算出する車間距離算出手段と、
を備えたことを特徴とする車間距離計測装置。 - 車両に搭載され、路面に平行方向と垂直方向の２次元的に光を走査して照射し、照射した方向毎の光の反射強度と、その光の反射面までの距離とを計測する光測距装置と、
前記計測した反射強度の各角度毎の値をデジタル値の配列とした輝度画像と、前記計測した距離の各角度毎の値を前記輝度画像に対応する順序でデジタル値の配列とした距離画像とを記憶するメモリと、
前記光測距装置の走査の中心軸と光軸が平行になる位置および姿勢で車両に搭載された電子式のカメラと、
前記距離画像に基づいて先行車までの車間距離を計測し、かつ、前記距離画像上において先行車が計測された位置に基づいて前記カメラの画像上で先行車が存在する位置を求める距離・位置演算手段と、
前記距離・位置演算手段で求めた位置と距離に基づいて、前記カメラの画像上に撮像された先行車の左右上下端を含む程度の横長のウィンドウを複数設定するウィンドウ設定手段と、
前記複数の全てのウィンドウにおいて横長のウィンドウでは各ｘ座標毎の垂直エッジのヒストグラムを求めるヒストグラム演算手段と、
前記複数のウインドウにおいて同じｘ座標上に検出される前記ヒストグラム演算手段により求められたヒストグラムのピーク値である垂直エッジのｘ座標位置を検出するエッジ検出手段と、
前記エッジ検出手段により求められた複数のウィンドウにおいて同じｘ座標上に検出されるヒストグラムのピーク値である垂直エッジの移動ベクトルを計測するベクトル計測手段と、
前記距離画像から求めた車間距離の変化と適合する方向および大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択するエッジ選択手段と、
前記エッジ選択手段で求めた先行車上のエッジの中から２本ずつを１つの組として複数組選択し、それらの組におけるそれぞれのエッジ間距離を求め、同じ組について二つの時点で求めたエッジ間距離の比、すなわちエッジ間距離の時間的な変化率が同じ値となる組が最も多い組のエッジを先行車上のエッジと再確認する先行車エッジ判断手段と、
前記先行車上のエッジと再確認されたものについてのエッジ間距離の変化率に基づいて車間距離の変化率を求める車間距離変化率演算手段と、
前記距離・位置演算手段で求めた車間距離の所定回数前の演算値に前記車間距離の変化率を乗算することによって車間距離を算出する車間距離算出手段と、
を備えたことを特徴とする車間距離計測装置。 - 前記距離・位置演算手段で求めた車間距離と前記車間距離算出手段で求めた車間距離とを照合することにより車間距離演算の確認を行なう車間距離演算確認手段を設けたことを特徴とする請求項１または請求項２に記載の車間距離変化計測装置。
- 前記距離・位置演算手段は、前記先行車エッジ判断手段で先行車以外のエッジと判断された位置に対する計測値は用いずに、距離と位置の演算処理を行なうことを特徴とする請求項１または請求項２に記載の車間距離計測装置。
- 前記光測距装置の輝度画像の値の低い位置の計測値は用いずに、前記距離・位置演算手段における距離と位置の演算処理を行なうことを特徴とする請求項１または請求項２に記載の車間距離計測装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6839099A JP3596339B2 (ja) | 1999-03-15 | 1999-03-15 | 車間距離計測装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6839099A JP3596339B2 (ja) | 1999-03-15 | 1999-03-15 | 車間距離計測装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000266539A JP2000266539A (ja) | 2000-09-29 |
| JP3596339B2 true JP3596339B2 (ja) | 2004-12-02 |
Family
ID=13372351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6839099A Expired - Fee Related JP3596339B2 (ja) | 1999-03-15 | 1999-03-15 | 車間距離計測装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3596339B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285492A (ja) * | 2005-03-31 | 2006-10-19 | Daihatsu Motor Co Ltd | 障害物認識装置及び障害物認識方法 |
| JP2009080572A (ja) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | 動物体検出装置及び動物体検出方法 |
| KR20160103230A (ko) | 2015-02-23 | 2016-09-01 | 부경대학교 산학협력단 | 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 장치 및 방법 |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3436224B2 (ja) * | 1999-12-16 | 2003-08-11 | 日本電気株式会社 | 車両端検出装置 |
| JP4311861B2 (ja) * | 2000-05-18 | 2009-08-12 | 富士通テン株式会社 | 車両用物体検出装置 |
| JP3823796B2 (ja) * | 2001-09-28 | 2006-09-20 | 日産自動車株式会社 | 物体検出装置 |
| WO2006123615A1 (ja) * | 2005-05-19 | 2006-11-23 | Olympus Corporation | 距離計測装置、距離計測方法および距離計測プログラム |
| JP2007122508A (ja) * | 2005-10-28 | 2007-05-17 | Secom Co Ltd | 侵入検知装置 |
| JP4815190B2 (ja) * | 2005-10-28 | 2011-11-16 | セコム株式会社 | 侵入検知装置 |
| JP4727388B2 (ja) * | 2005-10-28 | 2011-07-20 | セコム株式会社 | 侵入検知装置 |
| JP4857839B2 (ja) * | 2006-03-22 | 2012-01-18 | 日産自動車株式会社 | 物体検出装置 |
| KR101379132B1 (ko) * | 2007-01-18 | 2014-03-28 | 삼성전자주식회사 | 3차원 입체 영상의 화질을 개선하기 위한 방법 |
| JP2010002326A (ja) * | 2008-06-20 | 2010-01-07 | Stanley Electric Co Ltd | 移動ベクトル検出装置 |
| JP4631096B2 (ja) * | 2008-10-20 | 2011-02-16 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP5439949B2 (ja) * | 2009-05-22 | 2014-03-12 | コニカミノルタ株式会社 | ステレオ測定システムおよび動画再生システム |
| DE112012003685T5 (de) | 2011-09-05 | 2014-07-10 | Mitsubishi Electric Corp. | Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren |
| JP5946125B2 (ja) * | 2012-03-12 | 2016-07-05 | Ｎｅｃソリューションイノベータ株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| JP2014115978A (ja) | 2012-11-19 | 2014-06-26 | Ricoh Co Ltd | 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体 |
| JP6547292B2 (ja) | 2014-02-05 | 2019-07-24 | 株式会社リコー | 画像処理装置、機器制御システム、および画像処理プログラム |
| JP2016001464A (ja) | 2014-05-19 | 2016-01-07 | 株式会社リコー | 処理装置、処理システム、処理プログラム、及び、処理方法 |
| JP6648411B2 (ja) | 2014-05-19 | 2020-02-14 | 株式会社リコー | 処理装置、処理システム、処理プログラム及び処理方法 |
| KR101655620B1 (ko) * | 2014-12-18 | 2016-09-07 | 현대자동차주식회사 | 차량용 거리측정장치 및 방법 |
| EP3885787B1 (de) * | 2020-03-27 | 2022-05-04 | Sick Ag | Erfassung von abstandsmessdaten |
| JP2024089320A (ja) * | 2022-12-21 | 2024-07-03 | 株式会社Subaru | 画像処理装置 |
-
1999
- 1999-03-15 JP JP6839099A patent/JP3596339B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285492A (ja) * | 2005-03-31 | 2006-10-19 | Daihatsu Motor Co Ltd | 障害物認識装置及び障害物認識方法 |
| JP2009080572A (ja) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | 動物体検出装置及び動物体検出方法 |
| KR20160103230A (ko) | 2015-02-23 | 2016-09-01 | 부경대학교 산학협력단 | 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000266539A (ja) | 2000-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3596339B2 (ja) | 車間距離計測装置 | |
| JP3596314B2 (ja) | 物体端の位置計測装置および移動体の通行判断装置 | |
| JP5145986B2 (ja) | 物体検出装置及び測距方法 | |
| JP3669205B2 (ja) | 障害物認識装置 | |
| JP5157067B2 (ja) | 自動走行用マップ作成装置、及び自動走行装置。 | |
| JP3861781B2 (ja) | 前方車両追跡システムおよび前方車両追跡方法 | |
| JP4857840B2 (ja) | 物体検出方法および物体検出装置 | |
| US12326499B2 (en) | Method for detecting moving objects in the surroundings of a vehicle, and motor vehicle | |
| US20060115113A1 (en) | Method for the recognition and tracking of objects | |
| JP2007255977A (ja) | 物体検出方法および物体検出装置 | |
| JP5834933B2 (ja) | 車両位置算出装置 | |
| US11281916B2 (en) | Method of tracking objects in a scene | |
| JP2008304344A (ja) | 物標検出装置 | |
| JP2017004176A (ja) | 路面標示検出装置及び路面標示検出方法 | |
| JP4052291B2 (ja) | 車両用画像処理装置 | |
| WO2020039438A1 (en) | Detection and documentation of speeding violations | |
| CN115485582A (zh) | 用于识别激光雷达测量中的光晕的方法和装置 | |
| CN118625339A (zh) | 用于估计车辆速度的方法 | |
| CN111386530A (zh) | 车辆检测方法和设备 | |
| JP4102885B2 (ja) | 駐車車両検知方法及び駐車車両検知システム | |
| JP3690260B2 (ja) | 車間距離計測方法 | |
| JP2009014645A (ja) | 車両用距離測定装置 | |
| JP2004235711A (ja) | 対象物追跡システムおよび対象物追跡方法 | |
| JP3740531B2 (ja) | 駐車車両検知方法、検知システム及び駐車車両検出装置 | |
| JPH11345336A (ja) | 障害物検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040708 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040817 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040830 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |