JP4742473B2

JP4742473B2 - Obstacle recognition device for vehicles

Info

Publication number: JP4742473B2
Application number: JP2001277110A
Authority: JP
Inventors: 琢高浜; 英城岩崎
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2001-09-12
Filing date: 2001-09-12
Publication date: 2011-08-10
Anticipated expiration: 2021-09-12
Also published as: JP2003081036A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばカメラとレーダ等のように異なるセンサを備え、それらのセンサ情報に基づいて、自車両周辺の障害物を認識する車両用障害物認識装置に関する。
【０００２】
【従来の技術】
従来、この種の装置としては、例えば特開平６−２３０１１５号公報に記載されている「車間距離検出装置」が知られている。
この従来例には、車間距離を検出する手段としてカメラとミリ波レーダとを備え、走行環境に応じて信頼性の高いもので当該車間距離を検出し、走行環境の変化に対するロバスト性を向上する方法が開示されている。
【０００３】
また、走行環境の変化に対するロバスト性のさらなる向上を狙って、カメラで撮像した画像に所定の画像処理を施して、ミリ波レーダで検出した車間距離を補正する方法も知られている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来例にあっては、走行環境の変化に対するロバスト性を向上できるものの、カメラで撮像した画像に所定の画像処理を施してミリ波レーダで検出した車間距離を全て補正していたため、画像処理の演算負荷が高く、製造コストが高くなってしまうという問題があった。
【０００５】
そこで、本発明は、上記従来の技術の未解決の問題点に着目してなされたものであって、障害物の認識結果の信頼性を確保しながら、画像処理に要する演算負荷を低減できる車両用障害物認識装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の態様は、自車両周辺の状況を撮像する撮像手段と、その撮像手段で撮像された画像に所定の画像処理を施す画像処理手段と、自車両周辺の障害物候補と当該自車両との間の距離を検出する距離検出手段と、前記画像処理手段で画像処理が施された画像と前記距離検出手段で検出された距離とに基づいて障害物を認識する障害物認識手段と、を備え、前記距離検出手段で検出された距離に基づいて、障害物候補に対する注意度の大きさを算出する注意度算出手段と、その注意度算出手段で算出された注意度の大きさに基づいて、前記画像処理手段で実施する画像処理の内容を設定する処理内容設定手段と、を備えたことを特徴とする。
【０００７】
さらに、本発明の第２の態様は、前記処理内容設定手段は、前記距離検出手段で検出された距離の移動平均の分散値が所定値より小さく、且つ、前記注意度算出手段で算出された注意度が小さいときには、前記画像処理手段で実施する画像処理の内容の項目数を零に設定することを特徴とする。
【０００８】
また、本発明の第３の態様は、自車両の車速を検出する車速検出手段と、自車両の操舵角を検出する操舵角検出手段と、自車両の走行車線の曲率を検出する曲率検出手段と、を備え、前記処理内容設定手段は、少なくとも前記車速検出手段で検出された車速、前記操舵角検出手段で検出された操舵角及び前記曲率検出手段で検出された曲率のうちのいずれかが小さくなるにつれて、前記所定値を大きくすることを特徴とする。
【００１０】
また、本発明の第４の態様は、前記注意度算出手段は、前記撮像手段で撮像された画像に基づいて障害物候補が自車線内にあるか否かを判定すると共に、その判定結果を考慮して前記注意度の大きさを算出することを特徴とする。
さらに、本発明の第５の態様は、前記注意度算出手段は、前記距離検出手段で検出された距離が小さくなるにつれて、前記注意度を大きく算出することを特徴とする。
【００１１】
また、本発明の第６の態様は、自車両の車速を検出する車速検出手段と、自車両の操舵角を検出する操舵角検出手段と、を備え、前記注意度算出手段は、前記車速検出手段で検出された車速及び前記操舵角検出手段で検出された操舵角に基づいて自車両の軌道を推定すると共に、その軌道と障害物候補との間の距離を考慮して前記注意度の大きさを算出することを特徴とする。
【００１２】
【発明の効果】
したがって、本発明の第１の態様によれば、自車両周辺の状況を撮像し、その画像に所定の画像処理を施すと共に、自車両周辺の障害物候補と当該自車両との間の距離を検出し、それらの検出結果等に基づいて障害物を認識し、さらに、前記距離に基づいて障害物候補に対する注意度の大きさを算出し、その注意度の大きさに基づいて実施する画像処理の内容を設定するように構成したため、例えば自車両に接触する可能性が大きく注意度が大きい障害物候補にだけ、演算負荷が大きい画像処理を行うようにすることができ、注意すべき障害物候補の認識結果の信頼性を確保しながら、画像処理に要する演算負荷を低減することができる。
【００１３】
また、注意度が大きくなるにつれて、実施する画像処理の内容の項目数を大きく設定するように構成したため、過去の画像処理結果を用いてパターンマッチング等の画像処理を実施するときにも、注意度が大きくなる途中の段階で画像処理結果を準備し、注意度が大きくなったときには画像処理を直ぐに実行することができ、認識結果の信頼性を向上することができる。
さらに、障害物候補と自車両との間の距離に基づいて障害物候補の相対速度の向きを算出すると共に、その相対速度の向きに基づいて前記障害物が注意度の大きさを算出するように構成したため、相対速度の向きが自車両に向いていて、当該自車両に接触する可能性が大きい障害物候補の注意度を大きく算出することができる。
【００１４】
さらに、本発明の第２の態様によれば、障害物候補と自車両との間の距離の移動平均の分散値が所定値より小さく、且つ、注意度が小さいときには、実施する画像処理の内容の項目数を零に設定するように構成したため、所定の車間距離を維持して先行車両に追従走行しているときには、その先行車両に対して演算負荷が大きい画像処理を行わずに済み、画像処理に要する演算負荷を低減することができる。
【００１５】
また、本発明の第３の態様によれば、少なくとも、車速、操舵角及び曲率のうちのいずれかが小さくなるにつれて、前記所定値を大きくするように構成したため、所定の車間距離を維持して先行車両に追従走行しているときに、車速、操舵角及び曲率のいずれかが小さくなって、先行車両に接触する可能性が小さくなったときには、その先行車両に対して演算負荷が大きい画像処理を行わずに済み、画像処理に要する演算負荷をより低減することができる。
【００１７】
また、本発明の第４の態様によれば、撮像された画像に基づいて障害物候補が自車線内にあるか否かを判定すると共に、その判定結果を考慮して注目度を算出するように構成したため、自車線内にあって、当該自車両に接触する可能性が大きい障害物候補の注意度を大きく算出することができる。
【００１８】
さらに、本発明の第５の態様によれば、障害物候補と自車両との間の距離が小さくなるにつれて、前記注意度を大きく算出するように構成したため、障害物候補の検出と同時に注意度の大きさを算出することができ、認識結果の信頼性を向上することができる。
また、本発明の第６の態様によれば、自車両の車速及び操舵角に基づいて自車両の軌道を推定すると共に、その軌道と障害物との間の距離を考慮して当該障害物が自車両に接触する可能性を算出するように構成したため、障害物候補の検出と同時に注意度の大きさを算出することができ、認識結果の信頼性を向上することができる。
【００１９】
【発明の実施の形態】
以下、本発明に係る車両用障害物認識装置を用いて、車速制御装置を構成した各種実施形態を図面に基づいて説明する。
図１は、本発明の実施形態を示す概略構成図であって、図中、１ＦＬ、１ＦＲは従動輪としての前輪、１ＲＬ、１ＲＲは駆動輪としての後輪であって、後輪１ＲＬ、１ＲＲは、エンジン２の駆動力が自動変速機３、プロペラシャフト４、最終減速装置５及び車軸６を介して伝達されて回転駆動される。
【００２０】
前輪１ＦＬ、１ＦＲ及び後輪１ＲＬ、１ＲＲには、夫々制動力を発生するブレーキアクチュエータとしてのディスクブレーキ７が設けられていると共に、これらディスクブレーキ７の制動油圧が制動制御装置８によって制御される。
ここで、制動制御装置８は、図示しないブレーキペダルの踏み込みに応じて制動油圧を発生すると共に、後述する車速制御用コントローラ１６からの制動圧指令値に応じて制動油圧を発生するように構成されている。
【００２１】
また、エンジン２には、その出力を制御するエンジン出力制御装置９が設けられている。このエンジン出力制御装置９は、図示しないアクセルペダルの踏込量及び後述する車速制御用コントローラ１６からのスロットル開度指令値に応じて、エンジン２に設けられたスロットル開度を調整するスロットルアクチュエータ１０を制御するように構成される。
【００２２】
一方、車両の前方側の車体下部には、レーザ光を掃射して先行車両からの反射光を受光するレーダ方式の構成を有する車間距離センサ１１が設けられている。車間距離センサ１１では、レーザ光を掃射してから障害物候補の反射光を受光するまでの時間を計測して、自車両と障害物候補との間の距離を検出すると共に、その検出結果に基づいて自車両を原点とし、横方向をｘ座標、前後方向をｙ座標として障害物候補の相対位置（obst_x[i]、obst_y[i]）を算出し、それらを車速制御用コントローラ１６に出力するようになっている。ここで、iは各障害物候補に設定するＩＤ番号である。
【００２３】
さらに、車室内のインナーミラーステー等の固定部には、ＣＣＤカメラ等の単眼カメラ１２が設置され、車両前方状況を撮像し、撮像した画像データを画像処理装置１３に出力する。この画像処理装置１３は、例えば特開平１１−２９６６６０号公報に記載されているように、単眼カメラ１２の画像データに二値化等の処理を施して自車両近傍の白線を検出すると共に、その白線に対する自車両のヨー角、相対横変位及び走行車線の曲率ρを算出し、これらを車速制御用コントローラ１６に出力する。
【００２４】
また、車両には種々のセンサ類が取り付けられている。図中、１４は操舵角センサであって、図示しないステアリングシャフトの回転角から操舵角δを検出して車速制御用コントローラ１６に出力する。さらに、車両には、例えばプロペラシャフト４に取り付けられて、当該プロペラシャフト４の回転速度に基づいて自車速Ｖを検出する車速センサ１５が配設されている。
【００２５】
そして、車間距離センサ１１から出力される距離、操舵角センサ１４から出力される操舵角δ、車速センサ１５から出力される自車速Ｖ、画像処理装置１３から出力される走行車線の曲率ρ等、が車速制御用コントローラ１６に入力される。この車速制御用コントローラ１６は、図示しないマイクロコンピュータ等の離散化されたディジタルシステムで構成され、後述する車速制御処理を実行して、車速を制御する制動圧指令値及びスロットル開度指令値を、制動制御装置８及びエンジン出力制御装置９に出力する。
【００２６】
車速制御用コントローラで実行される車速制御制御処理は、所定の制御周期ΔＴ１（例えば、１０msec）毎に割り込み処理として実行される処理であって、具体的には、図２のフローチャートに示すように、まず、そのステップＳ１００で、車間距離センサ１１のデータ更新周期ΔＴ２（例えば、100msec）であるか否か判定し、データ更新周期ΔＴ２であるときには（Ｙｅｓ）ステップＳ１０１に移行し、そうでないときには（Ｎo）そのままステップＳ１０２に移行する。
【００２７】
前記ステップＳ１０１では、車間距離センサ１１から障害物候補の相対位置（obst_x[i],obst_y[i]）及び自車両と障害物候補との間の距離を読み込んでから、前記ステップＳ１０２に移行する。
前記ステップＳ１０２では、単眼カメラ１２の撮像周期ΔＴ３（例えば、20msec）であるか否か判定し、撮像周期ΔＴ３であるときには（Ｙｅｓ）ステップＳ１０３に移行し、そうでないときには（Ｎo）そのままステップＳ１０４に移行する。
【００２８】
前記ステップＳ１０３では、画像処理装置１３から単眼カメラ１２で撮像した画像を読み込むと共に、その画像に基づいて算出した、自車両のヨー角、相対横変位及び走行車線の曲率ρを読み込んでから、前記ステップＳ１０４に移行する。
前記ステップＳ１０４では、前記ステップＳ１０１で読み込んだ障害物候補の相対位置（obst_x[i],obst_y[i]）を用いて、疑似微分器の伝達関数Ｇ（ｚ）を表す下記１式に従って、自車両に対する障害物候補の相対速度（rVx[i],rVy[i]）を算出し、ステップＳ１０５に移行する。
【００２９】
Ｇ（Ｚ）＝（ｃＺ²―ｃ）／（Ｚ²−ａＺ＋ｂ） ………（１）
但し、Ｚは進み演算子であり、ａ，ｂ，ｃ（＞０）は係数である。
前記ステップＳ１０５では、まず、ステップＳ１００で読み込んだ障害物候補の相対位置（obst_x[i],obst_y[i]）に基づいて、自車両の中心部から障害物の画中心部を通る直線と自車両から前方に延びる直線とがなす角direction_C[i]を下記（２）式に従って算出すると共に、障害物候補から遠い自車両の側部から自車両から遠い障害物候補の側部を通る直線と自車両から前方に延びる直線とがなす角direction_L[i]を下記（３）式に従って算出する。
【００３０】
direction_C[i]= tan^-1(obst_x[i]/obst_y[i]) ………（２）
direction_L[i]=tan^-1[(obst_x[i]+obj_width[i]/2+w/2)/obst_y[i]]………（３）
但し、obj_width[・]は障害物候補の横幅であり、wは自車両の横幅である。
次に、前記ステップＳ１０４で算出した障害物候補の相対速度（rVx[i],rVy[i]）を用いて、障害物候補の相対速度の向きdirection[i]を下記式（４）に従って算出する。
【００３１】
direction[i]=tan^-1(rVx[i]/rVy[i]) ………（４）
そして、それらの算出結果を用いて障害物候補が自車両の進行の妨げとなる可能性を考慮して第１の注目度R1[i]を下記（５）式に従って算出してから、ステップＳ１０６に移行する。
R1[i]=[-0.2/｜direction_L[i]-direction_C[i]｜]・｜direction_C[i]-direction[i]｜+1.0 ………（５）
したがって、上記（５）式の演算によれば、障害物候補の相対速度の向きdirection[i]とdirection_C[i]との差が小さく、障害物候補が自車両と接触する可能性が大きくなるにつれて、第１の注目度R1[i]が大きく（0.8〜1.0の範囲の値に）なる。
【００３２】
前記ステップＳ１０６では、ステップＳ１００で読み込んだ障害物候補の相対位置（obst_x[i],obst_y[i]）に基づいて、第２の注目度R2[i]を下記（６）式に従って算出し、ステップＳ１０７に移行する。
R2[i]=func1(obst_y[i])・R2[i]^'・(R2[i]^'>0) ………（６）
R2[i]^'=(-0.2/w)・fabs(obst_x[i])+1.0
但し、func1(obst_y[i])は、図３に示すように、障害物候補の相対位置のｙ座標obst_y[i]が所定値（例えば、80ｍ）を越えるまでは「1.0」をとり、前記所定値を越えてからは、前記ｙ座標obst_y[i]が大きくなるにつれて徐々に「０」に収束する関数である。また、(R2[i]^'>0)は、括弧の中の条件を満たす場合には「１」を返し、条件を満たさない場合には「０」を返す論理式である。
【００３３】
したがって、上記（６）式の演算によれば、障害物候補の相対位置（obst_x[i],obst_y[i]）が自車両に近く、障害物候補が自車両と接触する可能性が大きくなるにつれて、第２の注目度R2[i]が大きく（0.8〜1.0の範囲の値に）なる。
前記ステップＳ１０７では、前記ステップＳ１０５で算出した第１の注目度R1[i]、前記ステップＳ１０６で算出した第２の注目度R2[i]、前記ステップＳ１０４で算出した障害物候補の相対速度（rVx[i],rVy[i]）及び前記ステップＳ１０３で読み込んだ走行車線の曲率ρを用い、下記（７）式に従って注目度R[i]を算出し、ステップＳ１０８に移行する。
【００３４】
R[i]=w1[i]/(w1[i]+w2[i])・R1[i]+w2[i]/(w1[i]+w2[i])・R2[i]
W1[i]=func2((rVx[i]²+rVy[i]²)^1/2)
W2[2]=func3(｜ρ｜) ………（７）
但し、func2((rVx[i]²+rVy[i]²)^1/2)は、図４に示すように、障害物候補の相対速度の大きさ(rVx[i]²+rVy[i]²)^1/2が所定値（例えば、6m/s）を越えるまでは「0」近傍の小さい値をとり、前記所定値を越えてからは、前記大きさ(rVx[i]²+rVy[i]²)^1/2が大きくなるにつれて徐々に「1」に収束する関数である。逆に、func3(｜ρ｜)は、図５に示すように、自車両の走行車線の曲率ρが所定値（例えば、1/200m^-1）を越えるまでは「1」近傍の大きい値をとり、前記所定値を越えてからは、前記曲率ρが大きくなるにつれて徐々に「０」に収束する関数である。
【００３５】
したがって、上記（７）式の演算によれば、障害物候補の相対速度の大きさ(rVx[i]²+rVy[i]²)^1/2が大きく、障害物候補が自車両と接触する可能性が大きくなるにつれて、注目度R[i]が大きくなる。また、自車両の走行車線の曲率ρが小さく、障害物候補が自車両と接触する可能性が大きくなるにつれて、注目度R[i]が大きくなる。
【００３６】
前記ステップＳ１０８では、前記ステップＳ１０７で算出した注目度の大きさを用いて、この演算処理で実行するステップを表すタスクレベルTL[i]を下記（８）式に従って算出し、ステップＳ１０９に移行する。
TL[i]=func4(R[i]) ………（８）
但し、func4(R[i])は、図６に示すように、注目度R[i]が第１の所定値（例えば、0.4）を越えるまでは「0」をとり、前記第１の所定値を越えてから第２の所定値（例えば、0.6）を越えるまでは「１」をとり、さらに、前記第２の所定値を越えてからは「２」をとる関数である。したがって、上記（８）式の演算によれば、注目度R[i]が大きくなるにつれて、タスクレベルTLが大きくなる。
【００３７】
前記ステップＳ１０９では、前記ステップＳ１０９で算出したタスクレベルTL[i]が１以上であるか否か判定し、１以上であるときには（Ｙｅｓ）ステップＳ１１０に移行し、そうでないときには（Ｎo）ステップＳ１１１に移行する。
前記ステップＳ１１０では、まず、前記ステップＳ１０１で読み込んだ障害物候補の相対位置（obst_x[i],obst_y[i]）を、下記（９）式に従って単眼カメラ１２の座標系(Pix_v[i] ,Pix_u[i])に透視変換する。
【００３８】
Pix_v[i]=f・H/obst_y[i]
Pix_u[i]=f・obst_x[i]/obst_y[i] ………（９）
但し、fは単眼カメラ１２のレンズと受光面との間の距離を画素換算した値であり、Ｈは単眼カメラ１２の取付け高さである。
次に、ステップＳ１０３で画像処理装置１３から読み込んだ画像情報から、上記（９）式で透視変換した障害物候補の相対位置(Pix_v[i] ,Pix_u[i])を中心とした、縦２ｍ×横2.2ｍの領域の画像情報を抽出し、その抽出した画像情報にsobel filterを施して前記領域のうちから横エッジを求める。そして、横エッジの数が多い領域を検出すると共に、その領域から道路の輝度と同じ輝度を有する領域を除いたものを障害物候補の領域とみなして、当該障害物候補の位置（iPx[i],iPy[i]）を算出する。
【００３９】
このように、横エッジの数が多い領域を検出することにより、リアウインド、トランク、バンパー等といった、多数の横エッジを得られる特徴を有する車両等がある領域を効果的に検出することができる。また、その領域から道路と同じ輝度領域を差し引くことにより、そこから車両だけを正確に検出することができる。なお、道路の輝度は、画像処理装置１３で検出した白線間の領域の輝度の平均値から求めることができる。
【００４０】
そして、算出した障害物候補の領域を、後述するステップＳ１１３で用いられる基準パターンｐ２として記憶してから、ステップＳ１１１に移行する。なお、この処理が前回実行されたときの基準パターンｐ２が記憶されているときには、その基準パターンｐ２に今回の演算処理で算出した障害物候補の領域をＡＮＤ演算したものを新たな基準パターンｐ２として記憶する。
【００４１】
前記ステップＳ１１１では、前記ステップＳ１０９で算出したタスクレベルTL[i]が２以上であるか否か判定し、２以上であるときには（Ｙｅｓ）ステップＳ１１３に移行し、そうでないときには（Ｎo）ステップＳ１１２に移行する。
前記ステップＳ１１２では、この演算処理が前回実行されたときにタスクレベルTL[i]が２以上であり、且つ、今回実行されたときに車間距離センサ１１が障害物候補を検出できなかったか否かを判定し、前記タスクレベルTL[i]が２以上で、且つ、前記障害物候補を検出できなかったときには（Ｙｅｓ）前記ステップＳ１１３に移行し、そうでないときには（Ｎo）そのままステップＳ１１４に移行する。
【００４２】
前記ステップＳ１１３では、まず、前記ステップＳ１１０で透視変換した障害物候補の相対位置（pix_v[i],pix_u[i]）近傍のパターンと前記ステップＳ１１０で記憶された基準パターンｐ２との類似性を下記（１０）式に従って算出する。
P3=(p1,p2)/[||p1||・||p2||] ………（１０）
但し、(p1,p2)は２つの画素間でのベクトルの内積である。
【００４３】
そして、上記（１０）式で算出された類似性P3が最も高いパターンの中央の座標を、障害物候補の相対位置（iPxt[i],iPxt[i]）としてから、ステップＳ１１４に移行する。
前記ステップＳ１１４では、前記ステップＳ１０９で算出したタスクレベルTL[i]が１以上であるか否か判定し、１以上であるときには（Ｙｅｓ）ステップＳ１１６に移行し、そうでないときには（Ｎo）ステップＳ１１５に移行する。
【００４４】
前記ステップＳ１１５では、まず、ステップＳ１０１で読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])の分散値Vx[i],Vy[i]を下記（１１）式に従って算出する。

但し、obst_ｘ[i]_zＸは、Ｘ回前のサンプリング周期に読み込まれたobst_ｘ[i]であり、obst_y[i]_zＸは、Ｘ回前のサンプリング周期に読み込まれたobst_y[i]である。また、av_x[i]は、現時点から９回前までのサンプリング周期に読み込まれたobst_ｘ[i]の移動平均値であり、av_ｙ[i]は、現時点から９回前までのサンプリング周期に読み込まれたobst_y[i]の移動平均値である。
【００４５】
次いで、ステップＳ１１０で算出された障害物候補の相対位置(iPx[i], iPy[i])の分散値iVx[i],iVy[i]を下記（１２）式に従って算出する。

但し、iPx[i]_zＸは、Ｘ回前のサンプリング周期に読み込まれたiPx[i]であり、iPy[i]_zＸは、Ｘ回前のサンプリング周期に読み込まれたiPy[i]である。また、iav_x[i]は、現時点から９回過去までのサンプリング周期に読み込まれたiPx[i]の移動平均値であり、iav_ｙ[i]は、現時点から９回前までのサンプリング周期に読み込まれたiPy[i]の移動平均値である。
【００４６】
そして、それらの分散値iVx[i],iVy[i]を用いて前記ステップＳ１０１で読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])を下記（１３）式に従って補正し、ステップＳ１１６に移行する。

但し、func5(・)は、図７に示すように、分散値Vx[i]、Vy[i]、iVx[i]、iVy[i]が所定値（例えば、0.2ｍ）を越えるまでは「1.0」をとり、前記所定値を越えてからは、前記分散値Vx[i]、Vy[i]、iVx[i]、iVy[i]が大きくなるにつれて徐々に「０」に収束する関数である。
【００４７】
したがって、上記（１３）式の演算によれば、車間距離センサ１１から読み込んだ相対位置の分散値Vx[i]、Vy[i]が、画像処理装置１３から読み込んだ相対位置の分散値iVx[i]、iVy[i]よりも大きいときには、車間距離センサ１１から読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])の補正量が小さくなり、逆に、小さいときには算出した障害物候補の相対位置(iPx[i],iPy[i])による補正量が大きくなる。
【００４８】
なお、タスクレベルTLが「２」以上であるときは、ステップＳ１１０で算出した障害物候補の相対位置(iPx[i], iPy[i])に変えて、ステップＳ１１３で算出した障害物候補の相対位置(iPxｔ[i], iPyｔ[i])を用いて、上記（１２）（１３）式の演算を行う。また、今回実行されたときに車間距離センサ１１が障害物候補を検出できなかったときには、前記ステップＳ１０１で読み込む障害物候補の相対位置(obst_x[i],obst_y[i])に変えて、この演算処理が前回実行されたときに前記ステップＳ１１３で算出した画像座標（iPyt[i],iPxt[i]）を用いて、上記（１２）、（１３）式の演算を行う。
【００４９】
前記ステップＳ１１６では、前記ステップＳ１１５で補正した障害物候補の相対位置(obst_x[i],obst_y[i])を上記（１）式に従って微分して相対速度を算出し、その相対速度を用いて衝突の可能性を上記（２）〜（５）式に従って算出し、その算出結果に基づいて車速を制御する制動圧指令値及びスロットル開度指令値を、制動制御装置８及びエンジン出力制御装置９に出力して、この演算処理を終了する。なお、ステップＳ１１４の判定が「Ｎo」となり、前記ステップＳ１１５を実行していないときには、補正した障害物候補の相対位置(obst_x[i],obst_y[i])の変わりに、前記ステップＳ１０１で読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])に基づいて相対速度を算出する。
【００５０】
次に、本実施の形態の動作を具体的な状況に基づいて詳細に説明する。
まず、高速道路を走行中に運転者が所定のスイッチを操作したとする。すると、車速制御用コントローラ１６で車速制御処理が実行されて、図２のフローチャートに示すように、まず、車間距離センサ１１のデータ更新周期ΔＴ２であったとすると、ステップＳ１００の判定が「Ｙｅｓ」となり、ステップＳ１０１で車間距離センサ１１から障害物候補の相対位置（obst_x[i],obst_y[i]）及び自車両と障害物候補との間の距離が読み込まれ、また、単眼カメラ１２の撮像周期ΔＴ３であったとすると、ステップＳ１０２の判定が「Ｙｅｓ」となり、ステップＳ１０３で、画像処理装置１３から単眼カメラ１２で撮像された画像が読み込まれ、且つ、その画像に基づいて算出された、自車両のヨー角、相対横変位及び走行車線の曲率ρが読み込まれ、ステップＳ１０４で、前記ステップＳ１０１で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）に基づいて、自車両に対する障害物候補の相対速度（rVx[i],rVy[i]）が算出される。
【００５１】
次いで、ステップＳ１０５では、まず、ステップＳ１００で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）に基づいて、自車両の中心部から障害物の中心部を通る直線と自車両から前方に延びる直線とがなす角direction_C[i]が算出され、且つ、障害物候補から遠い自車両の側部から自車両から遠い障害物候補の側部を通る直線と自車両から前方に延びる直線とがなす角direction_L[i]が算出される。次いで、前記ステップＳ１０４で算出された障害物候補の相対速度（rVx[i],rVy[i]）に基づいて、障害物候補の相対速度の向きdirection[i]が算出され、それらの算出結果に基づいて障害物候補が自車両の進行の妨げとなる可能性が考慮されて第１の注目度R1[i]が算出される。
【００５２】
ここで、自車両と同じ車線を走行していた先行車両が隣接する車線に車線変更したとする。すると、先行車両の相対速度の向きdirection[i]とdirection_C[i]との差が大きくなるので第１の注目度R1[i]が小さく算出され、また、ステップＳ１０６で、ステップＳ１００で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）が大きくなるので第２の注目度R2[i]も小さく算出され、ステップＳ１０７で、前記ステップＳ１０５で算出された第１の注目度R1[i]や前記ステップＳ１０６で算出された第２の注目度R2[i]等に基づいて注目度R[i]が小さく算出され、ステップＳ１０８で、前記ステップＳ１０７で算出された注目度の大きさに基づいてタスクレベルTL[i]が「０」に設定される。
【００５３】
すると、ステップＳ１０９、Ｓ１１１、Ｓ１１２及びＳ１１４の判定が「Ｎo」となり、ステップＳ１１６では、前記ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])に基づいて相対速度が算出され、その相対速度に基づいて衝突の可能性が算出され、さらに、その算出結果に基づいて車速を制御する制動圧指令値及びスロットル開度指令値が、制動制御装置８及びエンジン出力制御装置９に出力されて自車両が加速され、今回の演算処理が終了される。
【００５４】
そして、上記フローが繰り返されて自車両が加速しているうちに、前記車線変更をした先行車両に近づいたとする。すると、先行車両の相対速度の向きdirection[i]とdirection_C[i]との差が小さくなるので、ステップＳ１００〜Ｓ１０４を経て、ステップＳ１０５で第１の注目度が大きく算出され、また、先行車両と自車両との間の車間距離が小さくなるので、ステップＳ１０６で、第２の注目度R2[i]も大きく算出され、ステップＳ１０７で、前記ステップＳ１０５で算出された第１の注目度R1[i]や前記ステップＳ１０６で算出された第２の注目度R2[i]等に基づいて注目度R[i]が大きく算出され、ステップＳ１０８で、前記ステップＳ１０７で算出された注目度の大きさに基づいてタスクレベルTL[i]の算出結果が「１」に設定される。
【００５５】
すると、ステップＳ１０９の判定が「Ｙｅｓ」となり、ステップＳ１１０で、まず、前記ステップＳ１０１で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）が、単眼カメラ１２の座標系(Pix_v[i] ,Pix_u[i])に透視変換され、次いで、ステップＳ１０３で画像処理装置１３から読み込まれた画像情報から前記透視変換された障害物候補の相対位置(Pix_v[i] ,Pix_u[i])を中心とした領域の画像情報が抽出され、その抽出された画像情報にsobel filterが施されて前記領域のうちから横エッジが求められる。そして、横エッジの数が多い領域が検出されて、その領域から道路の輝度と同じ輝度を有する領域を除いたものが障害物候補の領域とみなされて、当該障害物候補の相対位置（iPx[i],iPy[i]）が算出されて、その算出された障害物候補の領域が、後述するステップＳ１１３で用いられる基準パターンｐ２として記憶される。
【００５６】
そして、ステップＳ１１１及びＳ１１２を経て、ステップＳ１１４の判定が「Ｙｅｓ」となり、ステップＳ１１５で、まず、ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])の分散値Vx[i],Vy[i]が算出され、次いで、ステップＳ１１０で算出された障害物候補の相対位置(iPx[i], iPy[i])の分散値iVx[i],iVy[i]が算出され、さらに、それらの分散値iVx[i],iVy[i]に基づいて前記ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])が補正され、ステップＳ１１６で、その補正された相対位置に基づいて自車両の加速が停止されて、今回の演算処理が終了される。
【００５７】
このように、本実施形態にあっては、注目度R[i]が大きくタスクレベルTLが大きいときに、実施する処理のステップ数を大きくして、注目度R[i]が大きくなる途中の段階で画像処理の準備をして、注目度R[i]が大きくなったときには画像処理を直ぐに実行するようにしたため、認識結果の信頼性を向上することができる。
【００５８】
そして、上記フローが繰り返されているうちに、隣接車線を走行していた先行車両が自車線に車線変更したとする。すると、先行車両の相対速度の向きdirection[i]とdirection_C[i]との差がさらに小さくなるので、車速制御用コントローラ１６で実行される車速制御処理で、ステップＳ１００〜Ｓ１０４を経て、ステップＳ１０５で第１の注目度がさらに大きく算出され、また、先行車両と自車両との間の車間距離がさらに小さくなるので、ステップＳ１０６で、第２の注目度R2[i]もさらに大きく算出され、ステップＳ１０７で、前記ステップＳ１０５で算出された第１の注目度R1[i]や前記ステップＳ１０６で算出された第２の注目度R2[i]等に基づいて注目度R[i]がさらに大きく算出され、ステップＳ１０８で、前記ステップＳ１０７で算出された注目度R[i]の大きさに基づいてタスクレベルTL[i]の算出結果が「２」に設定される。すると、ステップＳ１０９の判定が「Ｙｅｓ」となり、ステップＳ１１０で、まず、前記ステップＳ１０１で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）が、単眼カメラ１２の座標系(Pix_v[i] ,Pix_u[i])に透視変換され、次いで、ステップＳ１０３で画像処理装置１３から読み込まれた画像情報から前記透視変換された障害物候補の相対位置(Pix_v[i] ,Pix_u[i])を中心とした領域の画像情報が抽出され、その抽出された画像情報にsobel filterが施されて前記領域のうちから横エッジが求められる。そして、横エッジの数が多い領域が検出されて、その領域から道路の輝度と同じ輝度を有する領域を除いたものが障害物候補の領域とみなされて、当該障害物候補の相対位置（iPx[i],iPy[i]）が算出されると共に、この演算処理が前回実行されたときの基準パターンｐ２に今回の演算処理で算出された障害物候補の領域がＡＮＤ演算されて新たな基準パターンｐ２として記憶される。
【００５９】
次いで、ステップＳ１１１の判定が「Ｙｅｓ」となり、ステップＳ１１３で、まず、前記ステップＳ１１０で透視変換された障害物候補の相対位置（pix_v[i],pix_u[i]）近傍のパターンと前記ステップＳ１１０で記憶された基準パターンｐ２との類似性P3が算出され、その類似性P3が最も高いパターンの中央の座標が、障害物候補の相対位置（iPxt[i],iPxt[i]）とされ、ステップＳ１１４を経て、ステップＳ１１５で、まず、ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])の分散値Vx[i],Vy[i]が算出され、次いで、ステップＳ１１３で算出された障害物候補の相対位置(iPxｔ[i], iPyｔ[i])の分散値iVx[i],iVy[i]が算出され、さらに、それらの分散値iVx[i],iVy[i]等に基づいて前記ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])が補正され、ステップＳ１１６で、その補正された相対位置に基づいて自車両が減速されて、今回の演算処理が終了される。
【００６０】
このように、本実施形態にあっては、先行車両と自車両との間の車間距離に基づいて当該先行車両に対する注目度R[I]の大きさを算出して、その注目度R[I]の大きさに基づいて実施する画像処理の内容を設定し、自車両に接触する可能性が大きく注目度R[I]が大きい障害物候補にだけ、演算負荷が大きい画像処理を行うため、注意すべき先行車両の認識結果の信頼性を確保しながら、画像処理に要する演算負荷を低減することができる。
【００６１】
次に、本発明の車両用障害物認識装置の第２の実施形態について説明する。この実施形態は、障害物候補の相対速度の向きや相対距離の大きさに変えて、自車両の軌道と障害物候補との距離や、障害物候補が自車線内にあるかということを考慮して注目度R[I]を設定した点が第１の実施形態と異なっている。
つまり、第２の実施形態では、車速制御用コントローラ１６で実行される演算処理のうち、図８に示すように、前述した第１の実施形態の図２の処理のステップＳ１０４〜Ｓ１０８に変えて、ステップＳ２００〜Ｓ２０７が設けられていることを除いては第１の実施形態と同様の処理を行う。なお、図２に対応する処理には同一符号を付し、その詳細説明は省略する。
【００６２】
異なる点を具体的に説明すると、まず、ステップＳ２００では、車速センサ１５から自車速Ｖを読み込むと共に、操舵角センサから操舵角δを読み込んで、ステップＳ２０１に移行する。
ステップＳ２０１では、まず、前記ステップＳ２００で読み込んだ自車速Ｖと操舵角δを用いて、スリップ角β、ヨーレートψ'及びヨー角ψを下記（１４）式に従って算出（推定）する。
【００６３】
[mVs+2(Kf+Kr)]β(s)+[mV+2(lf・Kf-lr・Kr)/V]ψ'(s)=2Kf・δ(s)
2(lf・Kf-lr・Kr)]β(s)+[Is+2(lf²・Kf-lr²・Kr)/V]ψ'(s)=2lf・Kf・δ(s)
………（１４）
但し、ψ'はヨーレート、βはスリップ角、ｍは車重、Kfは前輪タイヤのコーナリングパワー、Krは後輪タイヤのコーナリングパワー、lfは前輪から重心までの距離、lrは後輪から重心までの距離、Iは車両中心旋回慣性、sはラプラス演算子である。
【００６４】
なお、ここではスリップ角βやヨーレートψ'を上記（１４）式で算出する方法を示したが、自車両にヨーレートセンサーを備えてヨーレートψ'を直接検出するようにしてもよく、また、加速度センサを備えて前後方向の加速度と横方向の加速度との比からスリップ角βを算出するようにしてもよい。
次いで、上記（１４）式で算出したスリップ角β、ヨーレートψ'及びヨー角ψに基づいて、下記（１５）式をk=1からk=30まで繰り返し実行することによって将来の自車両の軌道を算出する。
【００６５】
X(k)=X(k-1)+V(k)・Δt・sinθ(k)
Y(k)=Y(k-1)+V(k)・Δt・cosθ(k)
V(k)=V(k-1)+ΔV,(ΔV=const.)
θ(k)=β(k)+ψ(k-1)+Δt・ψ'(k) ………（１５）
但し、Δｔ（例えば、0.1sec）はサンプリング時間であり、ｋはサンプリング番号である。
【００６６】
そして、上記（１５）式で算出したX(k),Y(k)の値から最小自乗法で自車両の軌道の向きAvを算出してから、ステップＳ２０２に移行する。
前記ステップＳ２０２では、まず、ステップＳ１０１で読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])を、上記（９）式で透視変換して単眼カメラ１２上の対応する座標(Pix_v[i] ,Pix_u[i])を算出する。
【００６７】
次いで、上記（９）式で算出した座標と自車両の走行車線の白線の領域とを比較して、障害物候補が前記走行車線の内側にあるか否か判定し、内側にあるときには第３の注目度R3[I]を「1.2」に設定し、そうでないときには第３の注目度R3[I]を「0.9」に設定し、ステップＳ２０３に移行する。
前記ステップＳ２０３では、ステップＳ１０３で読み込んだ曲率ρとステップＳ２００で読み込んだ自車速Ｖを用いて、後述するステップＳ２０４で用いる閾値Ｔを下記（１６）式に従って算出し、ステップＳ２０４に移行する。
【００６８】
T=func6(ρ,V) ………（１６）
但し、func6(ρ,V)は、図９に示すように、自車両の走行車線の曲率ρが所定値を越えるまでは「1」近傍の大きい値をとり、前記所定値を越えてからは、前記曲率ρが大きくなるにつれて徐々に「０」に収束し、且つ、前記所定値が速度が大きくなるにつれて小さくなる関数である。
【００６９】
したがって、上記（１６）式の演算によれば、自車両の走行車線の曲率ρ又は自車速Ｖが小さく、障害物候補に接触する可能性が小さくなるにつれて、閾値Ｔが大きくなる。なお、画像処理装置１３が白線を検出することができなかったときは、曲率ρに変えて操舵角δを用いて上記（１６）式の演算を行う。
前記ステップＳ２０４では、まず、ステップＳ１０１で読み込んだ障害物候補と自車両との距離Ｌの分散値VL[i]を下記（１７）式に従って算出する。
【００７０】
VL[i]＝[[(av_L[i]-L[i]_z0)²+(av_L[i]-L[i]_z1)²+…+(av_L[i]-L[i]_z9)²]/10]^1/2 ………（１７）
但し、L[i]_zＸは、Ｘ回前のサンプリング周期に読み込まれたL[i]であり、av_L[i]は、現時点から９回前までのサンプリング周期に読み込まれたL[i]の移動平均値である。
【００７１】
次いで、上記（１７）式に従って算出した分散値VL[i]が前記ステップＳ２０３で算出した閾値Ｔより小さいときには画像処理停止フラグVariを「１」に設定し、そうでないときには画像処理停止フラグVariを「０」に設定してから、ステップＳ２０５に移行する。
前記ステップＳ２０５では、前記ステップＳ２０１で算出した自車両の軌道に対する、前記ステップＳ１０１で読み込んだ障害物候補の相対位置の近さに基づき第４の注目度R4[I]を下記（１８）式に従って算出し、ステップＳ２０６に移行する。
【００７２】
R4=func7(C) ………（１８）
但し、Ｃは前記ステップＳ２０１で算出された向きAv方向に延びる直線と障害物候補の相対位置との間の最短距離である。また、func7(C)は、図１０に示すように、最短距離Ｃが第１の所定値（例えば、0.5w m）を越えるまでは「1.0」をとり、前記第１の所定値を越えてからは、前記最短距離が大きくなるにつれて徐々に小さくなる関数である。
【００７３】
したがって、上記（１８）式の演算によれば、自車両の軌道と障害物候補との距離が小さく、障害物候補が自車両と接触する可能性が大きくなるにつれて、第４の注目度R4[I]が大きくなる。
前記ステップＳ２０６では、上記ステップＳ２０２で算出されたR3[I]と上記ステップＳ２０５で算出されたR4[I]とに基づいて注目度R[I]を下記（１９）式に従って算出し、ステップＳ２０７に移行する。
【００７４】
R[I]=R3[I]・R4[I] ………（１９）
前記ステップＳ２０７では、前記ステップＳ２０４で算出した画像処理停止フラグVariが「１」のセット状態であり、且つ、前記ステップＳ２０６で算出されたR[I]が0.8よりも小さいか否か判定し、セット状態であり、且つ小さいときには（Ｙｅｓ）ステップＳ１１６に移行し、そうでないときには（Ｎo）ステップＳ１０９に移行する。
【００７５】
このように、本実施形態にあっては、障害物候補と自車両との間の距離の移動平均の分散値が閾値Ｔより小さく、且つ、注目度R[I]が0.8よりも小さいときには、実施する画像処理を実施しないため、所定の車間距離を維持して先行車両に追従走行しているときには、その先行車両に対して演算負荷が大きい画像処理を行わずに済み、画像処理に要する演算負荷を低減することができる。
【００７６】
また、車速Ｖ及び曲率ρのうちのいずれかが小さくなるにつれて、閾値Ｔを大きく設定するため、所定の車間距離を維持して先行車両に追従走行しているときに、車速Ｖ及び曲率ρのいずれかが小さくなって、先行車両に接触する可能性が小さくなったときには、その先行車両に対して演算負荷が大きい画像処理を行わずに済み、画像処理に要する演算負荷をより低減することができる。
【００７７】
なお、本実施形態にあっては、撮像手段は単眼カメラ１２に対応し、画像処理手段は画像処理装置１３及び車速制御用コントローラ１６に対応し、距離検出手段は車間距離センサ１１に対応し、障害物認識手段は車速制御用コントローラ１６に対応し、注意度算出手段はステップＳ１０８及びＳ２０６に対応し、処理内容設定手段はステップＳ１０９、Ｓ１１１、Ｓ１１２、Ｓ１１４及びＳ２０７に対応し、車速検出手段は車速センサ１５対応し、操舵角検出手段は操舵角センサ１４に対応し、曲率検出手段は画像処理装置１３に対応する。
【００７８】
また、上記実施の形態は本発明の車両用障害物認識装置の一例を示したものであり、装置の構成等を限定するものではない。
例えば、上記実施形態においては、後輪駆動車に本発明を適用した場合について説明したが、前輪駆動車に本発明を適用することもでき、また回転駆動源としてエンジン２を適用した場合について説明したが、これに限定されるものではなく、電動モータを適用することもでき、さらには、エンジンと電動モータとを使用するハイブリッド車にも本発明を適用することができる。
【００７９】
さらに、上記実施形態においては、車間距離センサ１１としてレーザレーダを適用した場合について説明したが、これに限定されるものではなく、ミリ波レーダを適用してもよく、さらにはＣＣＤを使用したステレオカメラの撮像を画像処理して車間距離を求めるようにしてもよい。
またさらに、車速制御用コントローラ１６をマイクロコンピュータ等の離散化されたディジタルシステムで構成した場合について説明したが、これに限定されるものではなく、関数発生器、比較器、演算器等の電子回路を組み合わせて構成するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の車両用障害物認識装置の第１の実施形態を示す概略構成図である。
【図２】図１の車速制御用コントローラで実行される車速制御制御処理の具体例を示すフローチャートである。
【図３】図２の車速制御制御処理で演算される関数func1の特性を示すグラフである。
【図４】図２の車速制御制御処理で演算される関数func2の特性を示すグラフである。
【図５】図２の車速制御制御処理で演算される関数func3の特性を示すグラフである。
【図６】図２の車速制御制御処理で演算される関数func4の特性を示すグラフである。
【図７】図２の車速制御制御処理で演算される関数func5の特性を示すグラフである。
【図８】本発明の第１の実施形態を示す図であって、図１の車速制御用コントローラで実行される車速制御制御処理の具体例を示すフローチャートである。
【図９】図２の車速制御制御処理で演算される関数func6の特性を示すグラフである。
【図１０】図２の車速制御制御処理で演算される関数func7の特性を示すグラフである。
【符号の説明】
１ＦＬ、１ＦＲは前輪
１ＲＬ、１ＲＲは後輪
２はエンジン
７はディスクブレーキ
８は制動制御装置
９はエンジン出力制御装置
１０はスロットルアクチュエータ
１１は車間距離センサ
１２は単眼カメラ
１３は画像処理装置
１４は操舵角センサ
１５は車速センサ
１６は車速制御用コントローラ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an obstacle recognition device for a vehicle that includes different sensors such as a camera and a radar, and recognizes obstacles around the host vehicle based on the sensor information.
[0002]
[Prior art]
Conventionally, as this type of device, for example, an “inter-vehicle distance detection device” described in JP-A-6-230115 is known.
In this conventional example, a camera and a millimeter wave radar are provided as means for detecting the inter-vehicle distance, and the inter-vehicle distance is detected with high reliability according to the driving environment to improve the robustness against changes in the driving environment. A method is disclosed.
[0003]
There is also known a method for correcting the inter-vehicle distance detected by the millimeter wave radar by performing predetermined image processing on the image captured by the camera with the aim of further improving the robustness against changes in the driving environment.
[0004]
[Problems to be solved by the invention]
However, in the above-described conventional example, although robustness against changes in the driving environment can be improved, predetermined distance processing is performed on the image captured by the camera to correct all the inter-vehicle distances detected by the millimeter wave radar. There is a problem that the calculation load of image processing is high and the manufacturing cost is high.
[0005]
Therefore, the present invention has been made paying attention to the unsolved problems of the above-described conventional technology, and can reduce the computation load required for image processing while ensuring the reliability of the recognition result of the obstacle. An object of the present invention is to provide an obstacle recognizing device.
[0006]
[Means for Solving the Problems]
  To solve the above problem,The first aspect of the present invention is:An imaging unit that captures the situation around the host vehicle, an image processing unit that performs predetermined image processing on an image captured by the imaging unit, and a distance between an obstacle candidate around the host vehicle and the host vehicle is detected. A distance detecting unit that recognizes an obstacle based on the image subjected to the image processing by the image processing unit and the distance detected by the distance detecting unit, and the distance detecting unit Attention level calculating means for calculating the degree of attention level for the obstacle candidate based on the distance detected in step (b), and the image processing means based on the attention level calculated by the attention level calculation means. And a processing content setting means for setting the content of the image processing to be performed.
[0007]
  TheIn addition,The second aspect of the present invention is:When the variance of the moving average of the distances detected by the distance detection unit is smaller than a predetermined value and the attention level calculated by the attention level calculation unit is small, the processing content setting unit is the image processing unit. The number of items of the contents of the image processing to be performed is set to zero.
[0008]
  Also,The third aspect of the present invention is:Vehicle speed detection means for detecting the vehicle speed of the host vehicle, steering angle detection means for detecting the steering angle of the host vehicle, and curvature detection means for detecting the curvature of the traveling lane of the host vehicle, the processing content setting means comprising: The predetermined value increases as at least one of the vehicle speed detected by the vehicle speed detection means, the steering angle detected by the steering angle detection means, and the curvature detected by the curvature detection means decreases.DullIt is characterized by that.
[0010]
  Also,The fourth aspect of the present invention is:The attention level calculation means determines whether or not an obstacle candidate is in the own lane based on an image captured by the imaging means, and calculates the magnitude of the attention level in consideration of the determination result. It is characterized by doing.
  further,According to a fifth aspect of the present invention,The attention level calculation means calculates the attention level larger as the distance detected by the distance detection means becomes smaller.
[0011]
  Also,The sixth aspect of the present invention is:Vehicle speed detection means for detecting the vehicle speed of the host vehicle, and steering angle detection means for detecting the steering angle of the host vehicle, wherein the attention level calculation means detects the vehicle speed and the steering angle detected by the vehicle speed detection means. The trajectory of the host vehicle is estimated based on the steering angle detected by the means, and the degree of attention is calculated in consideration of the distance between the trajectory and the obstacle candidate.
[0012]
【The invention's effect】
  Therefore,According to a first aspect of the invention,The situation around the host vehicle is imaged, predetermined image processing is performed on the image, the distance between the obstacle candidate around the host vehicle and the host vehicle is detected, and the obstacle is based on the detection result, etc. In addition, the degree of attention to the obstacle candidate is calculated based on the distance, and the content of the image processing to be performed based on the degree of attention is set. Image processing with a large computational load can be performed only on obstacle candidates that have a high probability of touching and have a high degree of attention, while ensuring the reliability of recognition results of obstacle candidates that should be noted. The calculation load required for processing can be reduced.
[0013]
  Also,noteSince the number of items of the contents of the image processing to be performed is set to increase as the intention increases, the degree of attention also increases when performing image processing such as pattern matching using past image processing results. An image processing result is prepared at an intermediate stage. When the attention level increases, the image processing can be executed immediately, and the reliability of the recognition result can be improved.
  Further, the direction of the relative speed of the obstacle candidate is calculated based on the distance between the obstacle candidate and the host vehicle, and the obstacle calculates the degree of attention based on the direction of the relative speed. Therefore, it is possible to calculate the degree of attention of an obstacle candidate that is highly likely to come into contact with the host vehicle because the direction of the relative speed is toward the host vehicle.
[0014]
  further,According to a second aspect of the invention,When the variance value of the moving average of the distance between the obstacle candidate and the host vehicle is smaller than the predetermined value and the attention level is small, the number of items of the contents of the image processing to be performed is set to zero. When the vehicle is following the preceding vehicle while maintaining a predetermined inter-vehicle distance, it is not necessary to perform image processing with a large calculation load on the preceding vehicle, and the calculation load required for the image processing can be reduced.
[0015]
  Also,According to a third aspect of the invention,The predetermined value is increased as at least one of the vehicle speed, the steering angle, and the curvature decreases.DullAs a result, the vehicle speed, the steering angle, and the curvature are reduced when the vehicle is following the preceding vehicle while maintaining a predetermined inter-vehicle distance, and the possibility of contacting the preceding vehicle is reduced. Sometimes, it is not necessary to perform image processing with a large calculation load on the preceding vehicle, and the calculation load required for the image processing can be further reduced.
[0017]
  Also,According to a fourth aspect of the invention,Based on the captured image, it is determined whether the obstacle candidate is in the own lane, and the attention degree is calculated in consideration of the determination result. The degree of attention of an obstacle candidate that is likely to come into contact with the vehicle can be greatly calculated.
[0018]
  further,According to a fifth aspect of the present invention,As the distance between the obstacle candidate and the host vehicle decreases, the attention level is calculated to be larger. Therefore, the attention level can be calculated simultaneously with the detection of the obstacle candidate. Reliability can be improved.
  Also,According to a sixth aspect of the present invention,A configuration that estimates the trajectory of the host vehicle based on the vehicle speed and the steering angle of the host vehicle and calculates the possibility that the obstacle touches the host vehicle in consideration of the distance between the track and the obstacle. Therefore, the degree of attention can be calculated simultaneously with the detection of the obstacle candidate, and the reliability of the recognition result can be improved.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EMBODIMENTS Hereinafter, various embodiments constituting a vehicle speed control device using a vehicle obstacle recognition device according to the present invention will be described with reference to the drawings.
FIG. 1 is a schematic configuration diagram showing an embodiment of the present invention, in which 1FL and 1FR are front wheels as driven wheels, 1RL and 1RR are rear wheels as drive wheels, and rear wheels 1RL and 1RR are shown. Is driven to rotate by the driving force of the engine 2 being transmitted through the automatic transmission 3, the propeller shaft 4, the final reduction gear 5 and the axle 6.
[0020]
The front wheels 1FL, 1FR and the rear wheels 1RL, 1RR are each provided with a disc brake 7 as a brake actuator that generates a braking force, and the braking hydraulic pressure of these disc brakes 7 is controlled by a braking control device 8.
Here, the braking control device 8 is configured to generate a braking hydraulic pressure in response to depression of a brake pedal (not shown) and to generate a braking hydraulic pressure in response to a braking pressure command value from a vehicle speed control controller 16 described later. ing.
[0021]
Further, the engine 2 is provided with an engine output control device 9 that controls its output. The engine output control device 9 includes a throttle actuator 10 that adjusts a throttle opening provided in the engine 2 in accordance with a depression amount of an accelerator pedal (not shown) and a throttle opening command value from a vehicle speed control controller 16 described later. Configured to control.
[0022]
On the other hand, an inter-vehicle distance sensor 11 having a radar-type configuration that sweeps laser light and receives reflected light from a preceding vehicle is provided at the lower part of the vehicle body on the front side of the vehicle. The inter-vehicle distance sensor 11 measures the time from when the laser light is swept to when the reflected light of the obstacle candidate is received, detects the distance between the vehicle and the obstacle candidate, and the detection result Based on the vehicle's origin, the relative position (obst_x [i], obst_y [i]) of the obstacle candidate is calculated using the x coordinate as the lateral direction and the y coordinate as the longitudinal direction, and outputs them to the controller 16 for controlling the vehicle speed. It is supposed to be. Here, i is an ID number set for each obstacle candidate.
[0023]
Furthermore, a monocular camera 12 such as a CCD camera is installed in a fixed part such as an inner mirror stay in the vehicle interior, images the vehicle front situation, and outputs the captured image data to the image processing device 13. For example, as described in Japanese Patent Application Laid-Open No. 11-296660, the image processing device 13 performs processing such as binarization on the image data of the monocular camera 12 to detect a white line in the vicinity of the host vehicle, and The yaw angle, relative lateral displacement, and curvature ρ of the traveling lane with respect to the white line are calculated, and these are output to the vehicle speed control controller 16.
[0024]
Various sensors are attached to the vehicle. In the figure, 14 is a steering angle sensor, which detects the steering angle δ from the rotation angle of a steering shaft (not shown) and outputs it to the controller 16 for controlling the vehicle speed. Further, the vehicle is provided with a vehicle speed sensor 15 that is attached to, for example, the propeller shaft 4 and detects the host vehicle speed V based on the rotational speed of the propeller shaft 4.
[0025]
The distance output from the inter-vehicle distance sensor 11, the steering angle δ output from the steering angle sensor 14, the own vehicle speed V output from the vehicle speed sensor 15, the curvature ρ of the traveling lane output from the image processing device 13, etc. Is input to the vehicle speed control controller 16. This vehicle speed control controller 16 is constituted by a discretized digital system such as a microcomputer (not shown), executes a vehicle speed control process described later, and sets a braking pressure command value and a throttle opening command value for controlling the vehicle speed, It outputs to the braking control device 8 and the engine output control device 9.
[0026]
The vehicle speed control process executed by the vehicle speed control controller is executed as an interrupt process every predetermined control period ΔT1 (for example, 10 msec). Specifically, as shown in the flowchart of FIG. First, in step S100, it is determined whether or not the data update period ΔT2 (for example, 100 msec) of the inter-vehicle distance sensor 11 is reached. If it is the data update period ΔT2 (Yes), the process proceeds to step S101; No) Proceed directly to step S102.
[0027]
In step S101, the relative position (obst_x [i], obst_y [i]) of the obstacle candidate and the distance between the host vehicle and the obstacle candidate are read from the inter-vehicle distance sensor 11, and the process proceeds to step S102. .
In step S102, it is determined whether or not the imaging period ΔT3 (for example, 20 msec) of the monocular camera 12 is reached. If it is the imaging period ΔT3 (Yes), the process proceeds to step S103. If not (No), the process directly proceeds to step S104. Transition.
[0028]
In step S103, the image captured by the monocular camera 12 is read from the image processing device 13, and the yaw angle of the host vehicle, the relative lateral displacement, and the curvature ρ of the traveling lane calculated based on the image are read. The process proceeds to step S104.
In the step S104, the relative position (obst_x [i], obst_y [i]) of the obstacle candidate read in the step S101 is used according to the following equation 1 representing the transfer function G (z) of the pseudo-differentiator. The relative speed (rVx [i], rVy [i]) of the obstacle candidate with respect to the vehicle is calculated, and the process proceeds to step S105.
[0029]
G (Z) = (cZ²-C) / (Z²-AZ + b) (1)
However, Z is a lead operator, and a, b, c (> 0) are coefficients.
In step S105, first, based on the relative position (obst_x [i], obst_y [i]) of the obstacle candidate read in step S100, a straight line passing through the center of the vehicle from the center of the vehicle and the vehicle itself. An angle direction_C [i] formed by a straight line extending forward from the vehicle is calculated according to the following equation (2), and a straight line passing from the side of the vehicle far from the obstacle candidate to the side of the obstacle candidate far from the vehicle An angle direction_L [i] formed by a straight line extending forward from the host vehicle is calculated according to the following equation (3).
[0030]
direction_C [i] = tan^-1(obst_x [i] / obst_y [i]) ……… (2)
direction_L [i] = tan^-1[(obst_x [i] + obj_width [i] / 2 + w / 2) / obst_y [i]] ……… (3)
However, obj_width [•] is the width of the obstacle candidate, and w is the width of the host vehicle.
Next, using the relative speed (rVx [i], rVy [i]) of the obstacle candidate calculated in step S104, the relative direction direction [i] of the obstacle candidate is calculated according to the following equation (4). To do.
[0031]
direction [i] = tan^-1(rVx [i] / rVy [i]) ……… (4)
Then, the first attention degree R1 [i] is calculated according to the following equation (5) in consideration of the possibility that the obstacle candidate may hinder the progress of the host vehicle using these calculation results, and then step S106. Migrate to
R1 [i] = [-0.2 / | direction_L [i] -direction_C [i] |] ・ | direction_C [i] -direction [i] | +1.0 ……… (5)
Therefore, according to the calculation of the above formula (5), the difference between the direction directions [i] and direction_C [i] of the relative speeds of the obstacle candidates is small, and the possibility that the obstacle candidates come into contact with the host vehicle increases. As a result, the first attention degree R1 [i] increases (has a value in the range of 0.8 to 1.0).
[0032]
In step S106, based on the relative position (obst_x [i], obst_y [i]) of the obstacle candidate read in step S100, the second attention degree R2 [i] is calculated according to the following equation (6): The process proceeds to step S107.
R2 [i] = func1 (obst_y [i]) ・ R2 [i]^'・ (R2 [i]^'> 0) ……… (6)
R2 [i]^'= (-0.2 / w) ・ fabs (obst_x [i]) + 1.0
However, as shown in FIG. 3, func1 (obst_y [i]) takes “1.0” until the y coordinate obst_y [i] of the relative position of the obstacle candidate exceeds a predetermined value (for example, 80 m). After exceeding a predetermined value, the function gradually converges to “0” as the y coordinate obst_y [i] increases. Also, (R2 [i]^'> 0) is a logical expression that returns “1” when the condition in parentheses is satisfied, and returns “0” when the condition is not satisfied.
[0033]
Therefore, according to the calculation of the above equation (6), the relative position (obst_x [i], obst_y [i]) of the obstacle candidate is close to the own vehicle, and the possibility that the obstacle candidate comes into contact with the own vehicle increases. As a result, the second attention level R2 [i] increases (has a value in the range of 0.8 to 1.0).
In step S107, the first attention level R1 [i] calculated in step S105, the second attention level R2 [i] calculated in step S106, and the relative velocity of the obstacle candidate calculated in step S104 ( rVx [i], rVy [i]) and the curvature ρ of the traveling lane read in step S103 are used to calculate the degree of attention R [i] according to the following equation (7), and the process proceeds to step S108.
[0034]
R [i] = w1 [i] / (w1 [i] + w2 [i]) ・ R1 [i] + w2 [i] / (w1 [i] + w2 [i]) ・ R2 [i]
W1 [i] = func2 ((rVx [i]²+ rVy [i]²)^1/2)
W2 [2] = func3 (| ρ |) ……… (7)
However, func2 ((rVx [i]²+ rVy [i]²)^1/2) Is the relative velocity magnitude (rVx [i]) of the obstacle candidate as shown in FIG.²+ rVy [i]²)^1/2Takes a small value in the vicinity of “0” until it exceeds a predetermined value (for example, 6 m / s), and after exceeding the predetermined value, the magnitude (rVx [i]²+ rVy [i]²)^1/2This function gradually converges to “1” as becomes larger. On the other hand, as shown in FIG. 5, the func3 (| ρ |) has a predetermined value (for example, 1/200 m), as shown in FIG.^-1) Is a function that takes a large value near “1” until the value exceeds the predetermined value, and gradually converges to “0” as the curvature ρ increases.
[0035]
Therefore, according to the calculation of equation (7) above, the magnitude of the relative speed of the obstacle candidate (rVx [i]²+ rVy [i]²)^1/2The degree of attention R [i] increases as the possibility that the obstacle candidate comes into contact with the host vehicle increases. Further, the attention degree R [i] increases as the curvature ρ of the traveling lane of the host vehicle decreases and the possibility that the obstacle candidate comes into contact with the host vehicle increases.
[0036]
In step S108, the task level TL [i] representing the step to be executed in this calculation process is calculated according to the following equation (8) using the degree of attention calculated in step S107, and the process proceeds to step S109. .
TL [i] = func4 (R [i]) ……… (8)
However, as shown in FIG. 6, func4 (R [i]) takes “0” until the attention degree R [i] exceeds a first predetermined value (for example, 0.4), and the first predetermined It is a function that takes “1” from exceeding the value until it exceeds a second predetermined value (for example, 0.6), and further takes “2” after exceeding the second predetermined value. Therefore, according to the calculation of the above equation (8), the task level TL increases as the attention level R [i] increases.
[0037]
In step S109, it is determined whether or not the task level TL [i] calculated in step S109 is 1 or more. If it is 1 or more (Yes), the process proceeds to step S110. Otherwise (No), step S111. Migrate to
In the step S110, first, the relative position (obst_x [i], obst_y [i]) of the obstacle candidate read in the step S101 is converted into the coordinate system (Pix_v [i], Perspective transformation to Pix_u [i]).
[0038]
Pix_v [i] = f ・ H / obst_y [i]
Pix_u [i] = f ・ obst_x [i] / obst_y [i] ……… (9)
Here, f is a pixel-converted distance between the lens of the monocular camera 12 and the light receiving surface, and H is the mounting height of the monocular camera 12.
Next, from the image information read from the image processing device 13 in step S103, the vertical 2m centered on the relative position (Pix_v [i], Pix_u [i]) of the obstacle candidate perspective-transformed by the above equation (9). X Image information of an area 2.2 m wide is extracted, and a sobel filter is applied to the extracted image information to obtain a horizontal edge from the area. Then, an area having a large number of horizontal edges is detected, and an area obtained by excluding an area having the same luminance as that of the road from the area is regarded as an obstacle candidate area, and the position of the obstacle candidate (iPx [i ], iPy [i]).
[0039]
As described above, by detecting a region having a large number of lateral edges, it is possible to effectively detect a region having a vehicle or the like having a feature capable of obtaining a large number of lateral edges, such as a rear window, a trunk, and a bumper. . Further, by subtracting the same luminance area as the road from the area, only the vehicle can be accurately detected. The brightness of the road can be obtained from the average value of the brightness of the area between the white lines detected by the image processing device 13.
[0040]
And the area | region of the calculated obstacle candidate is memorize | stored as the reference | standard pattern p2 used by step S113 mentioned later, Then, it transfers to step S111. When the reference pattern p2 when this process is executed last time is stored, a result obtained by ANDing the reference pattern p2 with the area of the obstacle candidate calculated by the current calculation process is used as a new reference pattern p2. Remember.
[0041]
In step S111, it is determined whether or not the task level TL [i] calculated in step S109 is 2 or more. If it is 2 or more (Yes), the process proceeds to step S113. If not (No), step S112 is performed. Migrate to
In step S112, whether or not the task level TL [i] is 2 or more when this calculation process was executed last time, and whether or not the inter-vehicle distance sensor 11 could not detect an obstacle candidate when executed this time. If the task level TL [i] is 2 or more and the obstacle candidate cannot be detected (Yes), the process proceeds to Step S113. If not (No), the process proceeds to Step S114. .
[0042]
In step S113, first, the similarity between the pattern near the relative position (pix_v [i], pix_u [i]) of the obstacle candidate perspective-transformed in step S110 and the reference pattern p2 stored in step S110 is determined. It calculates according to the following (10) formula.
P3 = (p1, p2) / [|| p1 || ・ || p2 ||] ……… (10)
However, (p1, p2) is an inner product of vectors between two pixels.
[0043]
Then, the coordinates of the center of the pattern having the highest similarity P3 calculated by the above equation (10) is set as the relative position (iPxt [i], iPxt [i]) of the obstacle candidate, and the process proceeds to step S114.
In step S114, it is determined whether or not the task level TL [i] calculated in step S109 is 1 or more. If it is 1 or more (Yes), the process proceeds to step S116. If not (No), step S115 is performed. Migrate to
[0044]
In step S115, first, variance values Vx [i], Vy [i] of relative positions (obst_x [i], obst_y [i]) of obstacle candidates read in step S101 are calculated according to the following equation (11). .

However, obst_x [i] _zX is obst_x [i] read in the sampling period X times before, and obst_y [i] _zX is obst_y [i] read in the sampling period X times before. Also, av_x [i] is a moving average value of obst_x [i] read in the sampling cycle up to 9 times before the present time, and av_y [i] is read in the sampling cycle up to 9 times before the current time. The moving average value of obst_y [i].
[0045]
Next, the variance values iVx [i], iVy [i] of the relative positions (iPx [i], iPy [i]) of the obstacle candidates calculated in step S110 are calculated according to the following equation (12).

However, iPx [i] _zX is iPx [i] read in the sampling period X times before, and iPy [i] _zX is iPy [i] read in the sampling period X times before. Iav_x [i] is the moving average value of iPx [i] read in the sampling cycle up to 9 times from the present time, and iav_y [i] is read in the sampling cycle up to 9 times from the current time. IPy [i] is a moving average value.
[0046]
Then, using these variance values iVx [i], iVy [i], the relative position (obst_x [i], obst_y [i]) of the obstacle candidate read in step S101 is corrected according to the following equation (13). The process proceeds to step S116.

However, as shown in FIG. 7, func5 (·) is “until the variance values Vx [i], Vy [i], iVx [i], iVy [i] exceed a predetermined value (for example, 0.2 m). 1.0 ”, and after exceeding the predetermined value, the function gradually converges to“ 0 ”as the variance values Vx [i], Vy [i], iVx [i], iVy [i] increase. is there.
[0047]
Therefore, according to the calculation of the above equation (13), the relative position variance values Vx [i] and Vy [i] read from the inter-vehicle distance sensor 11 are converted into the relative position variance values iVx [ When i] and iVy [i] are larger, the correction amount of the relative position (obst_x [i], obst_y [i]) of the obstacle candidate read from the inter-vehicle distance sensor 11 becomes smaller. The correction amount by the relative position (iPx [i], iPy [i]) of the obstacle candidate is increased.
[0048]
When the task level TL is “2” or higher, the obstacle candidate calculated in step S113 is replaced with the relative position (iPx [i], iPy [i]) of the obstacle candidate calculated in step S110. Using the relative positions (iPxt [i], iPyt [i]), the above formulas (12) and (13) are calculated. If the inter-vehicle distance sensor 11 cannot detect an obstacle candidate when it is executed this time, it is changed to the relative position (obst_x [i], obst_y [i]) of the obstacle candidate read in step S101. Using the image coordinates (iPyt [i], iPxt [i]) calculated in step S113 when the calculation process was executed last time, the above expressions (12) and (13) are calculated.
[0049]
In step S116, the relative position (obst_x [i], obst_y [i]) of the obstacle candidate corrected in step S115 is differentiated according to the above equation (1) to calculate the relative speed, and the relative speed is used. The possibility of a collision is calculated according to the above formulas (2) to (5), and the braking pressure command value and the throttle opening command value for controlling the vehicle speed based on the calculation result are set as the braking control device 8 and the engine output control device 9. To end the calculation process. If the determination in step S114 is “No” and step S115 is not executed, the step S101 reads in place of the corrected relative position (obst_x [i], obst_y [i]) of the obstacle candidate. The relative speed is calculated based on the relative position (obst_x [i], obst_y [i]) of the obstacle candidate.
[0050]
Next, the operation of the present embodiment will be described in detail based on a specific situation.
First, it is assumed that a driver operates a predetermined switch while traveling on a highway. Then, the vehicle speed control process is executed by the vehicle speed control controller 16 and, as shown in the flowchart of FIG. 2, first, if it is the data update cycle ΔT2 of the inter-vehicle distance sensor 11, the determination in step S100 becomes “Yes”. In step S101, the relative position (obst_x [i], obst_y [i]) of the obstacle candidate and the distance between the vehicle and the obstacle candidate are read from the inter-vehicle distance sensor 11, and the imaging period of the monocular camera 12 is read. If it is ΔT3, the determination in step S102 is “Yes”, and in step S103, an image captured by the monocular camera 12 is read from the image processing device 13 and calculated based on the image. The yaw angle, the relative lateral displacement, and the curvature ρ of the travel lane are read. In step S104, the obstacle candidate read in step S101 is read. Based on the relative position (obst_x [i], obst_y [i]), the relative speed (rVx [i], rVy [i]) of the obstacle candidate with respect to the host vehicle is calculated.
[0051]
Next, in step S105, first, based on the relative position (obst_x [i], obst_y [i]) of the obstacle candidate read in step S100, a straight line passing through the center of the obstacle from the center of the host vehicle An angle direction_C [i] formed by a straight line extending forward from the own vehicle is calculated, and a straight line passing from the side of the own vehicle far from the obstacle candidate to the side of the candidate obstacle far from the own vehicle and the front from the own vehicle An angle direction_L [i] formed by a straight line extending to is calculated. Next, the direction direction [i] of the relative speed of the obstacle candidate is calculated based on the relative speed (rVx [i], rVy [i]) of the obstacle candidate calculated in step S104, and the calculation results thereof Based on the above, the first attention degree R1 [i] is calculated in consideration of the possibility that the obstacle candidate hinders the progress of the host vehicle.
[0052]
Here, it is assumed that the preceding vehicle traveling in the same lane as the host vehicle changes the lane to an adjacent lane. Then, since the difference between the direction direction [i] and the direction_C [i] of the relative speed of the preceding vehicle becomes large, the first attention degree R1 [i] is calculated to be small, and is read in step S100 in step S106. Since the relative position (obst_x [i], obst_y [i]) of the obstacle candidate is increased, the second attention level R2 [i] is also calculated to be small. In step S107, the first interest calculated in step S105 is calculated. The attention level R [i] is calculated to be small based on the attention level R1 [i], the second attention level R2 [i] calculated in step S106, and the attention calculated in step S107 in step S108. Based on the degree, the task level TL [i] is set to “0”.
[0053]
Then, the determinations in steps S109, S111, S112, and S114 are “No”. The speed is calculated, the possibility of a collision is calculated based on the relative speed, and the braking pressure command value and the throttle opening command value for controlling the vehicle speed based on the calculated result are the braking control device 8 and the engine output. The vehicle is output to the control device 9 to accelerate the current vehicle, and the current calculation process is terminated.
[0054]
Then, it is assumed that while the above-described flow is repeated and the host vehicle is accelerating, the vehicle approaches the preceding vehicle that has changed the lane. Then, the difference between the direction directions [i] and direction_C [i] of the relative speed of the preceding vehicle is reduced, so that the first attention degree is calculated to be large in step S105 through steps S100 to S104. Since the inter-vehicle distance between the vehicle and the host vehicle becomes small, the second attention level R2 [i] is also greatly calculated in step S106, and the first attention level R1 [calculated in step S105 is calculated in step S107. i], the second attention degree R2 [i] calculated in step S106, and the like, the attention degree R [i] is greatly calculated. In step S108, the attention degree calculated in step S107 is calculated. Based on the above, the calculation result of the task level TL [i] is set to “1”.
[0055]
Then, the determination in step S109 is “Yes”. In step S110, first, the relative position (obst_x [i], obst_y [i]) of the obstacle candidate read in step S101 is the coordinate system of the monocular camera 12. The relative position (Pix_v [i], Pix_u) of the obstacle candidate that has been perspective-transformed into (Pix_v [i], Pix_u [i]) and then perspective-transformed from the image information read from the image processing apparatus 13 in step S103. Image information of a region centered on [i]) is extracted, and the extracted image information is subjected to a sobel filter to obtain a horizontal edge from the region. Then, an area having a large number of horizontal edges is detected, and an area excluding an area having the same luminance as the road luminance is regarded as an obstacle candidate area, and the relative position (iPx [i], iPy [i]) is calculated, and the calculated area of the obstacle candidate is stored as a reference pattern p2 used in step S113 described later.
[0056]
Then, after steps S111 and S112, the determination in step S114 is “Yes”, and in step S115, first, the distribution of the relative positions (obst_x [i], obst_y [i]) of the obstacle candidates read in step S101. The values Vx [i], Vy [i] are calculated, and then the variance values iVx [i], iVy [i] of the relative positions (iPx [i], iPy [i]) of the obstacle candidates calculated in step S110. ] Is calculated, and the relative position (obst_x [i], obst_y [i]) of the obstacle candidate read in step S101 is corrected based on the variance values iVx [i], iVy [i]. In step S116, the acceleration of the host vehicle is stopped based on the corrected relative position, and the current calculation process is terminated.
[0057]
Thus, in the present embodiment, when the attention level R [i] is large and the task level TL is large, the number of processing steps to be performed is increased and the attention level R [i] is increasing. Image processing is prepared in stages, and when attention level R [i] increases, image processing is executed immediately, so that the reliability of the recognition result can be improved.
[0058]
It is assumed that the preceding vehicle traveling in the adjacent lane changes to the own lane while the above flow is repeated. Then, the difference between the direction directions [i] and direction_C [i] of the relative speed of the preceding vehicle is further reduced. Therefore, in the vehicle speed control process executed by the vehicle speed control controller 16, steps S100 to S104 are performed, and step S105 is performed. In step S106, the second attention level R2 [i] is also calculated to be larger, because the first attention level is further calculated and the inter-vehicle distance between the preceding vehicle and the host vehicle is further reduced. In step S107, the attention level R [i] is further increased based on the first attention level R1 [i] calculated in step S105 and the second attention level R2 [i] calculated in step S106. In step S108, the calculation result of the task level TL [i] is set to “2” based on the attention level R [i] calculated in step S107. Then, the determination in step S109 is “Yes”. In step S110, first, the relative position (obst_x [i], obst_y [i]) of the obstacle candidate read in step S101 is the coordinate system of the monocular camera 12. The relative position (Pix_v [i], Pix_u) of the obstacle candidate that has been perspective-transformed into (Pix_v [i], Pix_u [i]) and then perspective-transformed from the image information read from the image processing apparatus 13 in step S103. Image information of a region centered on [i]) is extracted, and the extracted image information is subjected to a sobel filter to obtain a horizontal edge from the region. Then, an area having a large number of horizontal edges is detected, and an area excluding an area having the same luminance as the road luminance is regarded as an obstacle candidate area, and the relative position (iPx [i], iPy [i]) is calculated, and the area of the obstacle candidate calculated in the current calculation process is ANDed to the reference pattern p2 when this calculation process was executed last time, and a new reference is obtained. It is stored as pattern p2.
[0059]
Next, the determination in step S111 is “Yes”, and in step S113, first, the pattern near the relative position (pix_v [i], pix_u [i]) of the obstacle candidate that is perspective-transformed in step S110 and the step S110. The similarity P3 with the reference pattern p2 stored in (2) is calculated, and the coordinates of the center of the pattern with the highest similarity P3 are set as the relative positions (iPxt [i], iPxt [i]) of the obstacle candidates, Through step S114, in step S115, first, variance values Vx [i], Vy [i] of the relative positions (obst_x [i], obst_y [i]) of the obstacle candidates read in step S101 are calculated. Next, variance values iVx [i], iVy [i] of the relative position (iPxt [i], iPyt [i]) of the obstacle candidate calculated in step S113 are calculated, and further, their variance values iVx [i ], iVy [i], etc., the relative position (obst_x [i], obst_y [i]) is corrected, and in step S116, the host vehicle is decelerated based on the corrected relative position, and the current calculation process is terminated.
[0060]
As described above, in the present embodiment, a note on the preceding vehicle is based on the inter-vehicle distance between the preceding vehicle and the host vehicle.EyeCalculate the magnitude of degree R [I]EyeSet the details of the image processing to be performed based on the magnitude of the degree R [I], and there is a high possibility of contact with the host vehicle.EyeImage processing with a large computation load is performed only on obstacle candidates with a high degree R [I], so that the computation load required for image processing can be reduced while ensuring the reliability of the recognition result of the preceding vehicle to be noted. it can.
[0061]
Next, a second embodiment of the vehicle obstacle recognition device of the present invention will be described. This embodiment takes into account the distance between the vehicle's track and the obstacle candidate, and whether the obstacle candidate is in its own lane, by changing the relative speed direction and the relative distance of the obstacle candidate. Thus, the point of interest R [I] is different from that of the first embodiment.
That is, in the second embodiment, out of the arithmetic processing executed by the vehicle speed control controller 16, as shown in FIG. 8, the processing is changed to steps S104 to S108 of the processing of FIG. 2 of the first embodiment described above. The same processing as that of the first embodiment is performed except that steps S200 to S207 are provided. In addition, the same code | symbol is attached | subjected to the process corresponding to FIG. 2, and the detailed description is abbreviate | omitted.
[0062]
The difference will be specifically described. First, in step S200, the vehicle speed V is read from the vehicle speed sensor 15, and the steering angle δ is read from the steering angle sensor, and the process proceeds to step S201.
In step S201, first, the slip angle β, the yaw rate ψ ′, and the yaw angle ψ are calculated (estimated) according to the following equation (14) using the host vehicle speed V and the steering angle δ read in step S200.
[0063]
[mVs + 2 (Kf + Kr)] β (s) + [mV + 2 (lf ・ Kf-lr ・ Kr) / V] ψ '(s) = 2Kf ・ δ (s)
2 (lf ・ Kf-lr ・ Kr)] β (s) + [Is + 2 (lf²・ Kf-lr²・ Kr) / V] ψ '(s) = 2lf ・ Kf ・ δ (s)
……… (14)
Where ψ 'is the yaw rate, β is the slip angle, m is the vehicle weight, Kf is the cornering power of the front tire, Kr is the cornering power of the rear tire, lf is the distance from the front wheel to the center of gravity, and lr is from the rear wheel to the center of gravity , I is the vehicle center turning inertia, and s is the Laplace operator.
[0064]
Here, the method of calculating the slip angle β and the yaw rate ψ ′ by the above equation (14) is shown, but the yaw rate ψ ′ may be directly detected by providing the vehicle with a yaw rate sensor, and the acceleration A slip angle β may be calculated from the ratio of the longitudinal acceleration and the lateral acceleration by providing a sensor.
Next, based on the slip angle β, the yaw rate ψ ′, and the yaw angle ψ calculated by the above equation (14), the following equation (15) is repeatedly executed from k = 1 to k = 30 to thereby determine the future track of the host vehicle. Is calculated.
[0065]
X (k) = X (k-1) + V (k) ・ Δt ・ sinθ (k)
Y (k) = Y (k-1) + V (k) ・ Δt ・ cosθ (k)
V (k) = V (k-1) + ΔV, (ΔV = const.)
θ (k) = β (k) + ψ (k−1) + Δt · ψ ′ (k) (15)
However, Δt (for example, 0.1 sec) is a sampling time, and k is a sampling number.
[0066]
Then, the trajectory direction Av of the host vehicle is calculated from the values of X (k) and Y (k) calculated by the above equation (15) by the least square method, and then the process proceeds to step S202.
In step S202, first, the relative position (obst_x [i], obst_y [i]) of the obstacle candidate read in step S101 is perspective-transformed by the above equation (9), and the corresponding coordinates on the monocular camera 12 ( Pix_v [i] and Pix_u [i]) are calculated.
[0067]
Next, the coordinates calculated by the above equation (9) are compared with the white line area of the traveling lane of the host vehicle to determine whether the obstacle candidate is inside the traveling lane. Attention level R3 [I] is set to “1.2”, otherwise the third attention level R3 [I] is set to “0.9”, and the process proceeds to step S203.
In step S203, using the curvature ρ read in step S103 and the vehicle speed V read in step S200, a threshold T used in step S204 described later is calculated according to the following equation (16), and the process proceeds to step S204.
[0068]
T = func6 (ρ, V) ……… (16)
However, as shown in FIG. 9, func6 (ρ, V) takes a large value near “1” until the curvature ρ of the traveling lane of the host vehicle exceeds a predetermined value, and after the predetermined value is exceeded, , The function gradually converges to “0” as the curvature ρ increases, and the predetermined value decreases as the speed increases.
[0069]
Therefore, according to the calculation of the above equation (16), the threshold value T increases as the curvature ρ of the traveling lane of the host vehicle or the host vehicle speed V decreases and the possibility of contact with the obstacle candidate decreases. When the image processing device 13 cannot detect a white line, the calculation of the above equation (16) is performed using the steering angle δ instead of the curvature ρ.
In step S204, first, the variance value VL [i] of the distance L between the obstacle candidate read in step S101 and the host vehicle is calculated according to the following equation (17).
[0070]
VL [i] = [[(av_L [i] -L [i] _z0)²+ (av_L [i] -L [i] _z1)²+… + (Av_L [i] -L [i] _z9)²]/Ten]^1/2 ……… (17)
However, L [i] _zX is L [i] read in the sampling period X times before, and av_L [i] is L [i] read in the sampling period 9 times before from the present time. It is a moving average value.
[0071]
Next, when the variance value VL [i] calculated according to the above equation (17) is smaller than the threshold value T calculated in step S203, the image processing stop flag Vari is set to “1”. Otherwise, the image processing stop flag Vari is set. After setting to “0”, the process proceeds to step S205.
In step S205, the fourth degree of attention R4 [I] is calculated according to the following equation (18) based on the proximity of the relative position of the obstacle candidate read in step S101 with respect to the track of the host vehicle calculated in step S201. Then, the process proceeds to step S206.
[0072]
R4 = func7 (C) ……… (18)
However, C is the shortest distance between the straight line extending in the direction Av calculated in step S201 and the relative position of the obstacle candidate. Further, as shown in FIG. 10, func7 (C) takes “1.0” until the shortest distance C exceeds a first predetermined value (for example, 0.5 wm), and after the first predetermined value is exceeded. Is a function that gradually decreases as the shortest distance increases.
[0073]
Therefore, according to the calculation of the above equation (18), as the distance between the track of the host vehicle and the obstacle candidate is small and the possibility that the obstacle candidate contacts the host vehicle increases, I] increases.
In step S206, the attention level R [I] is calculated according to the following equation (19) based on R3 [I] calculated in step S202 and R4 [I] calculated in step S205. Migrate to
[0074]
R [I] = R3 [I] ・ R4 [I] ……… (19)
In step S207, it is determined whether or not the image processing stop flag Vari calculated in step S204 is set to “1” and R [I] calculated in step S206 is smaller than 0.8. When it is in the set state and is small (Yes), the process proceeds to step S116, and when not (No), the process proceeds to step S109.
[0075]
As described above, in the present embodiment, when the variance value of the moving average of the distance between the obstacle candidate and the host vehicle is smaller than the threshold T and the degree of attention R [I] is smaller than 0.8, Since the image processing to be performed is not performed, it is not necessary to perform image processing with a large calculation load on the preceding vehicle when maintaining the predetermined inter-vehicle distance and following the preceding vehicle. The load can be reduced.
[0076]
Further, as any one of the vehicle speed V and the curvature ρ decreases, the threshold value T is set to be larger, so that the vehicle speed V and the curvature ρ are maintained when the vehicle follows the preceding vehicle while maintaining a predetermined inter-vehicle distance. When one of them becomes small and the possibility of contact with the preceding vehicle becomes small, it is not necessary to perform image processing with a large calculation load on the preceding vehicle, and the calculation load required for image processing can be further reduced. it can.
[0077]
In the present embodiment, the imaging means corresponds to the monocular camera 12, the image processing means corresponds to the image processing device 13 and the vehicle speed control controller 16, the distance detection means corresponds to the inter-vehicle distance sensor 11, The obstacle recognition means corresponds to the vehicle speed controller 16, the attention level calculation means corresponds to steps S108 and S206, the processing content setting means corresponds to steps S109, S111, S112, S114 and S207, and the vehicle speed detection means Corresponding to the vehicle speed sensor 15, the steering angle detecting means corresponds to the steering angle sensor 14, and the curvature detecting means corresponds to the image processing device 13.
[0078]
The above embodiment shows an example of the vehicle obstacle recognition device of the present invention, and does not limit the configuration of the device.
For example, in the above embodiment, the case where the present invention is applied to a rear wheel drive vehicle has been described. However, the present invention can also be applied to a front wheel drive vehicle, and the case where the engine 2 is applied as a rotational drive source will be described. However, the present invention is not limited to this, and an electric motor can be applied. Furthermore, the present invention can be applied to a hybrid vehicle using an engine and an electric motor.
[0079]
Furthermore, in the above embodiment, the case where the laser radar is applied as the inter-vehicle distance sensor 11 has been described. However, the present invention is not limited to this, and a millimeter wave radar may be applied, and further, a stereo using a CCD is applicable. You may make it calculate the distance between vehicles by image-processing the imaging of a camera.
Furthermore, although the case where the vehicle speed control controller 16 is configured by a discrete digital system such as a microcomputer has been described, the present invention is not limited to this, and an electronic circuit such as a function generator, a comparator, an arithmetic unit, etc. You may make it comprise combining.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram showing a first embodiment of a vehicle obstacle recognition device of the present invention.
FIG. 2 is a flowchart showing a specific example of a vehicle speed control process executed by the vehicle speed controller of FIG.
FIG. 3 is a graph showing characteristics of a function func1 calculated in the vehicle speed control process of FIG.
4 is a graph showing characteristics of a function func2 calculated in the vehicle speed control process of FIG.
FIG. 5 is a graph showing characteristics of a function func3 calculated in the vehicle speed control process of FIG.
6 is a graph showing characteristics of a function func4 calculated in the vehicle speed control process of FIG.
7 is a graph showing characteristics of a function func5 calculated in the vehicle speed control process of FIG.
8 is a diagram showing the first embodiment of the present invention, and is a flowchart showing a specific example of vehicle speed control processing executed by the vehicle speed control controller of FIG. 1. FIG.
FIG. 9 is a graph showing characteristics of a function func6 calculated in the vehicle speed control process of FIG.
10 is a graph showing characteristics of a function func7 calculated in the vehicle speed control process of FIG.
[Explanation of symbols]
1FL, 1FR are front wheels
1RL, 1RR is the rear wheel
2 is the engine
7 is a disc brake
8 is a braking control device
9 isEngine output control device
10 isThrottle actuator
11Inter-vehicle distance sensor
12 isMonocular camera
13Image processing device
14 isSteering angle sensor
15 is a carSpeedSensor
16IsVehicle speedController for control

Claims

Imaging means for imaging the situation around the host vehicle;
Image processing means for performing predetermined image processing on an image captured by the imaging means,
A distance detecting means for detecting a distance between an obstacle candidate around the host vehicle and the host vehicle based on a time period until the laser beam is swept around the host vehicle and the reflected light is received ;
Obstacle recognition means for recognizing an obstacle corresponding to an obstacle candidate whose distance is detected by the distance detection means from an image subjected to image processing by the image processing means ;
Based on the distance detected by the distance detection means, attention level calculation means for calculating the level of attention level for the obstacle candidate whose distance is detected by the distance detection means ;
The attention degree based on the size of the attention degree calculated in calculation means, and a processing content setting means for setting the contents of the image processing performed by the image processing means,
The attention level calculating unit calculates the direction of relative speed of the obstacle candidate with respect to the host vehicle based on the distance detected by the distance detection unit, and calculates the level of attention level based on the direction of the relative speed. And
The vehicle content recognition means characterized in that the processing content setting means increases the number of items of content of image processing performed by the image processing means as the attention level calculated by the attention level calculation means increases. apparatus.

When the variance of the moving average of the distances detected by the distance detection unit is smaller than a predetermined value and the attention level calculated by the attention level calculation unit is small, the processing content setting unit is the image processing unit. The obstacle recognition apparatus for a vehicle according to claim 1, wherein the number of items of contents of image processing to be performed is set to zero.

Vehicle speed detection means for detecting the vehicle speed of the host vehicle;
Steering angle detection means for detecting the steering angle of the host vehicle;
Curvature detecting means for detecting the curvature of the traveling lane of the host vehicle,
As the processing content setting means, at least one of the vehicle speed detected by the vehicle speed detection means, the steering angle detected by the steering angle detection means, and the curvature detected by the curvature detection means decreases, vehicle obstacle recognition device according to claim 2, wherein the size camphor Rukoto a predetermined value.

The attention level calculation means determines whether or not an obstacle candidate is in the own lane based on an image captured by the imaging means, and calculates the magnitude of the attention level in consideration of the determination result. vehicle obstacle recognition device according to any one of claims 1 3, characterized by.

The attention degree calculation means, said as the distance distance detected by the detection means is reduced, the vehicle obstacle claimed in any one of 4, wherein the attention degree size camphor Rukoto Recognition device.

Vehicle speed detection means for detecting the vehicle speed of the host vehicle;
Steering angle detection means for detecting the steering angle of the host vehicle,
The attention level calculation means estimates the trajectory of the host vehicle based on the vehicle speed detected by the vehicle speed detection means and the steering angle detected by the steering angle detection means, and between the trajectory and the obstacle candidate distance vehicular obstacle recognition device according to claim 1, wherein the calculating to any one of 5 the size of the attention degree considering.