JP4742473B2 - 車両用障害物認識装置 - Google Patents
車両用障害物認識装置 Download PDFInfo
- Publication number
- JP4742473B2 JP4742473B2 JP2001277110A JP2001277110A JP4742473B2 JP 4742473 B2 JP4742473 B2 JP 4742473B2 JP 2001277110 A JP2001277110 A JP 2001277110A JP 2001277110 A JP2001277110 A JP 2001277110A JP 4742473 B2 JP4742473 B2 JP 4742473B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- distance
- obstacle
- calculated
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Controls For Constant Speed Travelling (AREA)
- Control Of Vehicle Engines Or Engines For Specific Uses (AREA)
- Closed-Circuit Television Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばカメラとレーダ等のように異なるセンサを備え、それらのセンサ情報に基づいて、自車両周辺の障害物を認識する車両用障害物認識装置に関する。
【０００２】
【従来の技術】
従来、この種の装置としては、例えば特開平６−２３０１１５号公報に記載されている「車間距離検出装置」が知られている。
この従来例には、車間距離を検出する手段としてカメラとミリ波レーダとを備え、走行環境に応じて信頼性の高いもので当該車間距離を検出し、走行環境の変化に対するロバスト性を向上する方法が開示されている。
【０００３】
また、走行環境の変化に対するロバスト性のさらなる向上を狙って、カメラで撮像した画像に所定の画像処理を施して、ミリ波レーダで検出した車間距離を補正する方法も知られている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来例にあっては、走行環境の変化に対するロバスト性を向上できるものの、カメラで撮像した画像に所定の画像処理を施してミリ波レーダで検出した車間距離を全て補正していたため、画像処理の演算負荷が高く、製造コストが高くなってしまうという問題があった。
【０００５】
そこで、本発明は、上記従来の技術の未解決の問題点に着目してなされたものであって、障害物の認識結果の信頼性を確保しながら、画像処理に要する演算負荷を低減できる車両用障害物認識装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の態様は、自車両周辺の状況を撮像する撮像手段と、その撮像手段で撮像された画像に所定の画像処理を施す画像処理手段と、自車両周辺の障害物候補と当該自車両との間の距離を検出する距離検出手段と、前記画像処理手段で画像処理が施された画像と前記距離検出手段で検出された距離とに基づいて障害物を認識する障害物認識手段と、を備え、前記距離検出手段で検出された距離に基づいて、障害物候補に対する注意度の大きさを算出する注意度算出手段と、その注意度算出手段で算出された注意度の大きさに基づいて、前記画像処理手段で実施する画像処理の内容を設定する処理内容設定手段と、を備えたことを特徴とする。
【０００７】
さらに、本発明の第２の態様は、前記処理内容設定手段は、前記距離検出手段で検出された距離の移動平均の分散値が所定値より小さく、且つ、前記注意度算出手段で算出された注意度が小さいときには、前記画像処理手段で実施する画像処理の内容の項目数を零に設定することを特徴とする。
【０００８】
また、本発明の第３の態様は、自車両の車速を検出する車速検出手段と、自車両の操舵角を検出する操舵角検出手段と、自車両の走行車線の曲率を検出する曲率検出手段と、を備え、前記処理内容設定手段は、少なくとも前記車速検出手段で検出された車速、前記操舵角検出手段で検出された操舵角及び前記曲率検出手段で検出された曲率のうちのいずれかが小さくなるにつれて、前記所定値を大きくすることを特徴とする。
【００１０】
また、本発明の第４の態様は、前記注意度算出手段は、前記撮像手段で撮像された画像に基づいて障害物候補が自車線内にあるか否かを判定すると共に、その判定結果を考慮して前記注意度の大きさを算出することを特徴とする。
さらに、本発明の第５の態様は、前記注意度算出手段は、前記距離検出手段で検出された距離が小さくなるにつれて、前記注意度を大きく算出することを特徴とする。
【００１１】
また、本発明の第６の態様は、自車両の車速を検出する車速検出手段と、自車両の操舵角を検出する操舵角検出手段と、を備え、前記注意度算出手段は、前記車速検出手段で検出された車速及び前記操舵角検出手段で検出された操舵角に基づいて自車両の軌道を推定すると共に、その軌道と障害物候補との間の距離を考慮して前記注意度の大きさを算出することを特徴とする。
【００１２】
【発明の効果】
したがって、本発明の第１の態様によれば、自車両周辺の状況を撮像し、その画像に所定の画像処理を施すと共に、自車両周辺の障害物候補と当該自車両との間の距離を検出し、それらの検出結果等に基づいて障害物を認識し、さらに、前記距離に基づいて障害物候補に対する注意度の大きさを算出し、その注意度の大きさに基づいて実施する画像処理の内容を設定するように構成したため、例えば自車両に接触する可能性が大きく注意度が大きい障害物候補にだけ、演算負荷が大きい画像処理を行うようにすることができ、注意すべき障害物候補の認識結果の信頼性を確保しながら、画像処理に要する演算負荷を低減することができる。
【００１３】
また、注意度が大きくなるにつれて、実施する画像処理の内容の項目数を大きく設定するように構成したため、過去の画像処理結果を用いてパターンマッチング等の画像処理を実施するときにも、注意度が大きくなる途中の段階で画像処理結果を準備し、注意度が大きくなったときには画像処理を直ぐに実行することができ、認識結果の信頼性を向上することができる。
さらに、障害物候補と自車両との間の距離に基づいて障害物候補の相対速度の向きを算出すると共に、その相対速度の向きに基づいて前記障害物が注意度の大きさを算出するように構成したため、相対速度の向きが自車両に向いていて、当該自車両に接触する可能性が大きい障害物候補の注意度を大きく算出することができる。
【００１４】
さらに、本発明の第２の態様によれば、障害物候補と自車両との間の距離の移動平均の分散値が所定値より小さく、且つ、注意度が小さいときには、実施する画像処理の内容の項目数を零に設定するように構成したため、所定の車間距離を維持して先行車両に追従走行しているときには、その先行車両に対して演算負荷が大きい画像処理を行わずに済み、画像処理に要する演算負荷を低減することができる。
【００１５】
また、本発明の第３の態様によれば、少なくとも、車速、操舵角及び曲率のうちのいずれかが小さくなるにつれて、前記所定値を大きくするように構成したため、所定の車間距離を維持して先行車両に追従走行しているときに、車速、操舵角及び曲率のいずれかが小さくなって、先行車両に接触する可能性が小さくなったときには、その先行車両に対して演算負荷が大きい画像処理を行わずに済み、画像処理に要する演算負荷をより低減することができる。
【００１７】
また、本発明の第４の態様によれば、撮像された画像に基づいて障害物候補が自車線内にあるか否かを判定すると共に、その判定結果を考慮して注目度を算出するように構成したため、自車線内にあって、当該自車両に接触する可能性が大きい障害物候補の注意度を大きく算出することができる。
【００１８】
さらに、本発明の第５の態様によれば、障害物候補と自車両との間の距離が小さくなるにつれて、前記注意度を大きく算出するように構成したため、障害物候補の検出と同時に注意度の大きさを算出することができ、認識結果の信頼性を向上することができる。
また、本発明の第６の態様によれば、自車両の車速及び操舵角に基づいて自車両の軌道を推定すると共に、その軌道と障害物との間の距離を考慮して当該障害物が自車両に接触する可能性を算出するように構成したため、障害物候補の検出と同時に注意度の大きさを算出することができ、認識結果の信頼性を向上することができる。
【００１９】
【発明の実施の形態】
以下、本発明に係る車両用障害物認識装置を用いて、車速制御装置を構成した各種実施形態を図面に基づいて説明する。
図１は、本発明の実施形態を示す概略構成図であって、図中、１ＦＬ、１ＦＲは従動輪としての前輪、１ＲＬ、１ＲＲは駆動輪としての後輪であって、後輪１ＲＬ、１ＲＲは、エンジン２の駆動力が自動変速機３、プロペラシャフト４、最終減速装置５及び車軸６を介して伝達されて回転駆動される。
【００２０】
前輪１ＦＬ、１ＦＲ及び後輪１ＲＬ、１ＲＲには、夫々制動力を発生するブレーキアクチュエータとしてのディスクブレーキ７が設けられていると共に、これらディスクブレーキ７の制動油圧が制動制御装置８によって制御される。
ここで、制動制御装置８は、図示しないブレーキペダルの踏み込みに応じて制動油圧を発生すると共に、後述する車速制御用コントローラ１６からの制動圧指令値に応じて制動油圧を発生するように構成されている。
【００２１】
また、エンジン２には、その出力を制御するエンジン出力制御装置９が設けられている。このエンジン出力制御装置９は、図示しないアクセルペダルの踏込量及び後述する車速制御用コントローラ１６からのスロットル開度指令値に応じて、エンジン２に設けられたスロットル開度を調整するスロットルアクチュエータ１０を制御するように構成される。
【００２２】
一方、車両の前方側の車体下部には、レーザ光を掃射して先行車両からの反射光を受光するレーダ方式の構成を有する車間距離センサ１１が設けられている。車間距離センサ１１では、レーザ光を掃射してから障害物候補の反射光を受光するまでの時間を計測して、自車両と障害物候補との間の距離を検出すると共に、その検出結果に基づいて自車両を原点とし、横方向をｘ座標、前後方向をｙ座標として障害物候補の相対位置（obst_x[i]、obst_y[i]）を算出し、それらを車速制御用コントローラ１６に出力するようになっている。ここで、iは各障害物候補に設定するＩＤ番号である。
【００２３】
さらに、車室内のインナーミラーステー等の固定部には、ＣＣＤカメラ等の単眼カメラ１２が設置され、車両前方状況を撮像し、撮像した画像データを画像処理装置１３に出力する。この画像処理装置１３は、例えば特開平１１−２９６６６０号公報に記載されているように、単眼カメラ１２の画像データに二値化等の処理を施して自車両近傍の白線を検出すると共に、その白線に対する自車両のヨー角、相対横変位及び走行車線の曲率ρを算出し、これらを車速制御用コントローラ１６に出力する。
【００２４】
また、車両には種々のセンサ類が取り付けられている。図中、１４は操舵角センサであって、図示しないステアリングシャフトの回転角から操舵角δを検出して車速制御用コントローラ１６に出力する。さらに、車両には、例えばプロペラシャフト４に取り付けられて、当該プロペラシャフト４の回転速度に基づいて自車速Ｖを検出する車速センサ１５が配設されている。
【００２５】
そして、車間距離センサ１１から出力される距離、操舵角センサ１４から出力される操舵角δ、車速センサ１５から出力される自車速Ｖ、画像処理装置１３から出力される走行車線の曲率ρ等、が車速制御用コントローラ１６に入力される。この車速制御用コントローラ１６は、図示しないマイクロコンピュータ等の離散化されたディジタルシステムで構成され、後述する車速制御処理を実行して、車速を制御する制動圧指令値及びスロットル開度指令値を、制動制御装置８及びエンジン出力制御装置９に出力する。
【００２６】
車速制御用コントローラで実行される車速制御制御処理は、所定の制御周期ΔＴ１（例えば、１０msec）毎に割り込み処理として実行される処理であって、具体的には、図２のフローチャートに示すように、まず、そのステップＳ１００で、車間距離センサ１１のデータ更新周期ΔＴ２（例えば、100msec）であるか否か判定し、データ更新周期ΔＴ２であるときには（Ｙｅｓ）ステップＳ１０１に移行し、そうでないときには（Ｎo）そのままステップＳ１０２に移行する。
【００２７】
前記ステップＳ１０１では、車間距離センサ１１から障害物候補の相対位置（obst_x[i],obst_y[i]）及び自車両と障害物候補との間の距離を読み込んでから、前記ステップＳ１０２に移行する。
前記ステップＳ１０２では、単眼カメラ１２の撮像周期ΔＴ３（例えば、20msec）であるか否か判定し、撮像周期ΔＴ３であるときには（Ｙｅｓ）ステップＳ１０３に移行し、そうでないときには（Ｎo）そのままステップＳ１０４に移行する。
【００２８】
前記ステップＳ１０３では、画像処理装置１３から単眼カメラ１２で撮像した画像を読み込むと共に、その画像に基づいて算出した、自車両のヨー角、相対横変位及び走行車線の曲率ρを読み込んでから、前記ステップＳ１０４に移行する。
前記ステップＳ１０４では、前記ステップＳ１０１で読み込んだ障害物候補の相対位置（obst_x[i],obst_y[i]）を用いて、疑似微分器の伝達関数Ｇ（ｚ）を表す下記１式に従って、自車両に対する障害物候補の相対速度（rVx[i],rVy[i]）を算出し、ステップＳ１０５に移行する。
【００２９】
Ｇ（Ｚ）＝（ｃＺ2―ｃ）／（Ｚ2−ａＺ＋ｂ） ………（１）
但し、Ｚは進み演算子であり、ａ，ｂ，ｃ（＞０）は係数である。
前記ステップＳ１０５では、まず、ステップＳ１００で読み込んだ障害物候補の相対位置（obst_x[i],obst_y[i]）に基づいて、自車両の中心部から障害物の画中心部を通る直線と自車両から前方に延びる直線とがなす角direction_C[i]を下記（２）式に従って算出すると共に、障害物候補から遠い自車両の側部から自車両から遠い障害物候補の側部を通る直線と自車両から前方に延びる直線とがなす角direction_L[i]を下記（３）式に従って算出する。
【００３０】
direction_C[i]= tan-1(obst_x[i]/obst_y[i]) ………（２）
direction_L[i]=tan-1[(obst_x[i]+obj_width[i]/2+w/2)/obst_y[i]]………（３）
但し、obj_width[・]は障害物候補の横幅であり、wは自車両の横幅である。
次に、前記ステップＳ１０４で算出した障害物候補の相対速度（rVx[i],rVy[i]）を用いて、障害物候補の相対速度の向きdirection[i]を下記式（４）に従って算出する。
【００３１】
direction[i]=tan-1(rVx[i]/rVy[i]) ………（４）
そして、それらの算出結果を用いて障害物候補が自車両の進行の妨げとなる可能性を考慮して第１の注目度R1[i]を下記（５）式に従って算出してから、ステップＳ１０６に移行する。
R1[i]=[-0.2/｜direction_L[i]-direction_C[i]｜]・｜direction_C[i]-direction[i]｜+1.0 ………（５）
したがって、上記（５）式の演算によれば、障害物候補の相対速度の向きdirection[i]とdirection_C[i]との差が小さく、障害物候補が自車両と接触する可能性が大きくなるにつれて、第１の注目度R1[i]が大きく（0.8〜1.0の範囲の値に）なる。
【００３２】
前記ステップＳ１０６では、ステップＳ１００で読み込んだ障害物候補の相対位置（obst_x[i],obst_y[i]）に基づいて、第２の注目度R2[i]を下記（６）式に従って算出し、ステップＳ１０７に移行する。
R2[i]=func1(obst_y[i])・R2[i]'・(R2[i]'>0) ………（６）
R2[i]'=(-0.2/w)・fabs(obst_x[i])+1.0
但し、func1(obst_y[i])は、図３に示すように、障害物候補の相対位置のｙ座標obst_y[i]が所定値（例えば、80ｍ）を越えるまでは「1.0」をとり、前記所定値を越えてからは、前記ｙ座標obst_y[i]が大きくなるにつれて徐々に「０」に収束する関数である。また、(R2[i]'>0)は、括弧の中の条件を満たす場合には「１」を返し、条件を満たさない場合には「０」を返す論理式である。
【００３３】
したがって、上記（６）式の演算によれば、障害物候補の相対位置（obst_x[i],obst_y[i]）が自車両に近く、障害物候補が自車両と接触する可能性が大きくなるにつれて、第２の注目度R2[i]が大きく（0.8〜1.0の範囲の値に）なる。
前記ステップＳ１０７では、前記ステップＳ１０５で算出した第１の注目度R1[i]、前記ステップＳ１０６で算出した第２の注目度R2[i]、前記ステップＳ１０４で算出した障害物候補の相対速度（rVx[i],rVy[i]）及び前記ステップＳ１０３で読み込んだ走行車線の曲率ρを用い、下記（７）式に従って注目度R[i]を算出し、ステップＳ１０８に移行する。
【００３４】
R[i]=w1[i]/(w1[i]+w2[i])・R1[i]+w2[i]/(w1[i]+w2[i])・R2[i]
W1[i]=func2((rVx[i]2+rVy[i]2)1/2)
W2[2]=func3(｜ρ｜) ………（７）
但し、func2((rVx[i]2+rVy[i]2)1/2)は、図４に示すように、障害物候補の相対速度の大きさ(rVx[i]2+rVy[i]2)1/2が所定値（例えば、6m/s）を越えるまでは「0」近傍の小さい値をとり、前記所定値を越えてからは、前記大きさ(rVx[i]2+rVy[i]2)1/2が大きくなるにつれて徐々に「1」に収束する関数である。逆に、func3(｜ρ｜)は、図５に示すように、自車両の走行車線の曲率ρが所定値（例えば、1/200m-1）を越えるまでは「1」近傍の大きい値をとり、前記所定値を越えてからは、前記曲率ρが大きくなるにつれて徐々に「０」に収束する関数である。
【００３５】
したがって、上記（７）式の演算によれば、障害物候補の相対速度の大きさ(rVx[i]2+rVy[i]2)1/2が大きく、障害物候補が自車両と接触する可能性が大きくなるにつれて、注目度R[i]が大きくなる。また、自車両の走行車線の曲率ρが小さく、障害物候補が自車両と接触する可能性が大きくなるにつれて、注目度R[i]が大きくなる。
【００３６】
前記ステップＳ１０８では、前記ステップＳ１０７で算出した注目度の大きさを用いて、この演算処理で実行するステップを表すタスクレベルTL[i]を下記（８）式に従って算出し、ステップＳ１０９に移行する。
TL[i]=func4(R[i]) ………（８）
但し、func4(R[i])は、図６に示すように、注目度R[i]が第１の所定値（例えば、0.4）を越えるまでは「0」をとり、前記第１の所定値を越えてから第２の所定値（例えば、0.6）を越えるまでは「１」をとり、さらに、前記第２の所定値を越えてからは「２」をとる関数である。したがって、上記（８）式の演算によれば、注目度R[i]が大きくなるにつれて、タスクレベルTLが大きくなる。
【００３７】
前記ステップＳ１０９では、前記ステップＳ１０９で算出したタスクレベルTL[i]が１以上であるか否か判定し、１以上であるときには（Ｙｅｓ）ステップＳ１１０に移行し、そうでないときには（Ｎo）ステップＳ１１１に移行する。
前記ステップＳ１１０では、まず、前記ステップＳ１０１で読み込んだ障害物候補の相対位置（obst_x[i],obst_y[i]）を、下記（９）式に従って単眼カメラ１２の座標系(Pix_v[i] ,Pix_u[i])に透視変換する。
【００３８】
Pix_v[i]=f・H/obst_y[i]
Pix_u[i]=f・obst_x[i]/obst_y[i] ………（９）
但し、fは単眼カメラ１２のレンズと受光面との間の距離を画素換算した値であり、Ｈは単眼カメラ１２の取付け高さである。
次に、ステップＳ１０３で画像処理装置１３から読み込んだ画像情報から、上記（９）式で透視変換した障害物候補の相対位置(Pix_v[i] ,Pix_u[i])を中心とした、縦２ｍ×横2.2ｍの領域の画像情報を抽出し、その抽出した画像情報にsobel filterを施して前記領域のうちから横エッジを求める。そして、横エッジの数が多い領域を検出すると共に、その領域から道路の輝度と同じ輝度を有する領域を除いたものを障害物候補の領域とみなして、当該障害物候補の位置（iPx[i],iPy[i]）を算出する。
【００３９】
このように、横エッジの数が多い領域を検出することにより、リアウインド、トランク、バンパー等といった、多数の横エッジを得られる特徴を有する車両等がある領域を効果的に検出することができる。また、その領域から道路と同じ輝度領域を差し引くことにより、そこから車両だけを正確に検出することができる。なお、道路の輝度は、画像処理装置１３で検出した白線間の領域の輝度の平均値から求めることができる。
【００４０】
そして、算出した障害物候補の領域を、後述するステップＳ１１３で用いられる基準パターンｐ２として記憶してから、ステップＳ１１１に移行する。なお、この処理が前回実行されたときの基準パターンｐ２が記憶されているときには、その基準パターンｐ２に今回の演算処理で算出した障害物候補の領域をＡＮＤ演算したものを新たな基準パターンｐ２として記憶する。
【００４１】
前記ステップＳ１１１では、前記ステップＳ１０９で算出したタスクレベルTL[i]が２以上であるか否か判定し、２以上であるときには（Ｙｅｓ）ステップＳ１１３に移行し、そうでないときには（Ｎo）ステップＳ１１２に移行する。
前記ステップＳ１１２では、この演算処理が前回実行されたときにタスクレベルTL[i]が２以上であり、且つ、今回実行されたときに車間距離センサ１１が障害物候補を検出できなかったか否かを判定し、前記タスクレベルTL[i]が２以上で、且つ、前記障害物候補を検出できなかったときには（Ｙｅｓ）前記ステップＳ１１３に移行し、そうでないときには（Ｎo）そのままステップＳ１１４に移行する。
【００４２】
前記ステップＳ１１３では、まず、前記ステップＳ１１０で透視変換した障害物候補の相対位置（pix_v[i],pix_u[i]）近傍のパターンと前記ステップＳ１１０で記憶された基準パターンｐ２との類似性を下記（１０）式に従って算出する。
P3=(p1,p2)/[||p1||・||p2||] ………（１０）
但し、(p1,p2)は２つの画素間でのベクトルの内積である。
【００４３】
そして、上記（１０）式で算出された類似性P3が最も高いパターンの中央の座標を、障害物候補の相対位置（iPxt[i],iPxt[i]）としてから、ステップＳ１１４に移行する。
前記ステップＳ１１４では、前記ステップＳ１０９で算出したタスクレベルTL[i]が１以上であるか否か判定し、１以上であるときには（Ｙｅｓ）ステップＳ１１６に移行し、そうでないときには（Ｎo）ステップＳ１１５に移行する。
【００４４】
前記ステップＳ１１５では、まず、ステップＳ１０１で読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])の分散値Vx[i],Vy[i]を下記（１１）式に従って算出する。
但し、obst_ｘ[i]_zＸは、Ｘ回前のサンプリング周期に読み込まれたobst_ｘ[i]であり、obst_y[i]_zＸは、Ｘ回前のサンプリング周期に読み込まれたobst_y[i]である。また、av_x[i]は、現時点から９回前までのサンプリング周期に読み込まれたobst_ｘ[i]の移動平均値であり、av_ｙ[i]は、現時点から９回前までのサンプリング周期に読み込まれたobst_y[i]の移動平均値である。
【００４５】
次いで、ステップＳ１１０で算出された障害物候補の相対位置(iPx[i], iPy[i])の分散値iVx[i],iVy[i]を下記（１２）式に従って算出する。
但し、iPx[i]_zＸは、Ｘ回前のサンプリング周期に読み込まれたiPx[i]であり、iPy[i]_zＸは、Ｘ回前のサンプリング周期に読み込まれたiPy[i]である。また、iav_x[i]は、現時点から９回過去までのサンプリング周期に読み込まれたiPx[i]の移動平均値であり、iav_ｙ[i]は、現時点から９回前までのサンプリング周期に読み込まれたiPy[i]の移動平均値である。
【００４６】
そして、それらの分散値iVx[i],iVy[i]を用いて前記ステップＳ１０１で読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])を下記（１３）式に従って補正し、ステップＳ１１６に移行する。
但し、func5(・)は、図７に示すように、分散値Vx[i]、Vy[i]、iVx[i]、iVy[i]が所定値（例えば、0.2ｍ）を越えるまでは「1.0」をとり、前記所定値を越えてからは、前記分散値Vx[i]、Vy[i]、iVx[i]、iVy[i]が大きくなるにつれて徐々に「０」に収束する関数である。
【００４７】
したがって、上記（１３）式の演算によれば、車間距離センサ１１から読み込んだ相対位置の分散値Vx[i]、Vy[i]が、画像処理装置１３から読み込んだ相対位置の分散値iVx[i]、iVy[i]よりも大きいときには、車間距離センサ１１から読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])の補正量が小さくなり、逆に、小さいときには算出した障害物候補の相対位置(iPx[i],iPy[i])による補正量が大きくなる。
【００４８】
なお、タスクレベルTLが「２」以上であるときは、ステップＳ１１０で算出した障害物候補の相対位置(iPx[i], iPy[i])に変えて、ステップＳ１１３で算出した障害物候補の相対位置(iPxｔ[i], iPyｔ[i])を用いて、上記（１２）（１３）式の演算を行う。また、今回実行されたときに車間距離センサ１１が障害物候補を検出できなかったときには、前記ステップＳ１０１で読み込む障害物候補の相対位置(obst_x[i],obst_y[i])に変えて、この演算処理が前回実行されたときに前記ステップＳ１１３で算出した画像座標（iPyt[i],iPxt[i]）を用いて、上記（１２）、（１３）式の演算を行う。
【００４９】
前記ステップＳ１１６では、前記ステップＳ１１５で補正した障害物候補の相対位置(obst_x[i],obst_y[i])を上記（１）式に従って微分して相対速度を算出し、その相対速度を用いて衝突の可能性を上記（２）〜（５）式に従って算出し、その算出結果に基づいて車速を制御する制動圧指令値及びスロットル開度指令値を、制動制御装置８及びエンジン出力制御装置９に出力して、この演算処理を終了する。なお、ステップＳ１１４の判定が「Ｎo」となり、前記ステップＳ１１５を実行していないときには、補正した障害物候補の相対位置(obst_x[i],obst_y[i])の変わりに、前記ステップＳ１０１で読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])に基づいて相対速度を算出する。
【００５０】
次に、本実施の形態の動作を具体的な状況に基づいて詳細に説明する。
まず、高速道路を走行中に運転者が所定のスイッチを操作したとする。すると、車速制御用コントローラ１６で車速制御処理が実行されて、図２のフローチャートに示すように、まず、車間距離センサ１１のデータ更新周期ΔＴ２であったとすると、ステップＳ１００の判定が「Ｙｅｓ」となり、ステップＳ１０１で車間距離センサ１１から障害物候補の相対位置（obst_x[i],obst_y[i]）及び自車両と障害物候補との間の距離が読み込まれ、また、単眼カメラ１２の撮像周期ΔＴ３であったとすると、ステップＳ１０２の判定が「Ｙｅｓ」となり、ステップＳ１０３で、画像処理装置１３から単眼カメラ１２で撮像された画像が読み込まれ、且つ、その画像に基づいて算出された、自車両のヨー角、相対横変位及び走行車線の曲率ρが読み込まれ、ステップＳ１０４で、前記ステップＳ１０１で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）に基づいて、自車両に対する障害物候補の相対速度（rVx[i],rVy[i]）が算出される。
【００５１】
次いで、ステップＳ１０５では、まず、ステップＳ１００で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）に基づいて、自車両の中心部から障害物の中心部を通る直線と自車両から前方に延びる直線とがなす角direction_C[i]が算出され、且つ、障害物候補から遠い自車両の側部から自車両から遠い障害物候補の側部を通る直線と自車両から前方に延びる直線とがなす角direction_L[i]が算出される。次いで、前記ステップＳ１０４で算出された障害物候補の相対速度（rVx[i],rVy[i]）に基づいて、障害物候補の相対速度の向きdirection[i]が算出され、それらの算出結果に基づいて障害物候補が自車両の進行の妨げとなる可能性が考慮されて第１の注目度R1[i]が算出される。
【００５２】
ここで、自車両と同じ車線を走行していた先行車両が隣接する車線に車線変更したとする。すると、先行車両の相対速度の向きdirection[i]とdirection_C[i]との差が大きくなるので第１の注目度R1[i]が小さく算出され、また、ステップＳ１０６で、ステップＳ１００で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）が大きくなるので第２の注目度R2[i]も小さく算出され、ステップＳ１０７で、前記ステップＳ１０５で算出された第１の注目度R1[i]や前記ステップＳ１０６で算出された第２の注目度R2[i]等に基づいて注目度R[i]が小さく算出され、ステップＳ１０８で、前記ステップＳ１０７で算出された注目度の大きさに基づいてタスクレベルTL[i]が「０」に設定される。
【００５３】
すると、ステップＳ１０９、Ｓ１１１、Ｓ１１２及びＳ１１４の判定が「Ｎo」となり、ステップＳ１１６では、前記ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])に基づいて相対速度が算出され、その相対速度に基づいて衝突の可能性が算出され、さらに、その算出結果に基づいて車速を制御する制動圧指令値及びスロットル開度指令値が、制動制御装置８及びエンジン出力制御装置９に出力されて自車両が加速され、今回の演算処理が終了される。
【００５４】
そして、上記フローが繰り返されて自車両が加速しているうちに、前記車線変更をした先行車両に近づいたとする。すると、先行車両の相対速度の向きdirection[i]とdirection_C[i]との差が小さくなるので、ステップＳ１００〜Ｓ１０４を経て、ステップＳ１０５で第１の注目度が大きく算出され、また、先行車両と自車両との間の車間距離が小さくなるので、ステップＳ１０６で、第２の注目度R2[i]も大きく算出され、ステップＳ１０７で、前記ステップＳ１０５で算出された第１の注目度R1[i]や前記ステップＳ１０６で算出された第２の注目度R2[i]等に基づいて注目度R[i]が大きく算出され、ステップＳ１０８で、前記ステップＳ１０７で算出された注目度の大きさに基づいてタスクレベルTL[i]の算出結果が「１」に設定される。
【００５５】
すると、ステップＳ１０９の判定が「Ｙｅｓ」となり、ステップＳ１１０で、まず、前記ステップＳ１０１で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）が、単眼カメラ１２の座標系(Pix_v[i] ,Pix_u[i])に透視変換され、次いで、ステップＳ１０３で画像処理装置１３から読み込まれた画像情報から前記透視変換された障害物候補の相対位置(Pix_v[i] ,Pix_u[i])を中心とした領域の画像情報が抽出され、その抽出された画像情報にsobel filterが施されて前記領域のうちから横エッジが求められる。そして、横エッジの数が多い領域が検出されて、その領域から道路の輝度と同じ輝度を有する領域を除いたものが障害物候補の領域とみなされて、当該障害物候補の相対位置（iPx[i],iPy[i]）が算出されて、その算出された障害物候補の領域が、後述するステップＳ１１３で用いられる基準パターンｐ２として記憶される。
【００５６】
そして、ステップＳ１１１及びＳ１１２を経て、ステップＳ１１４の判定が「Ｙｅｓ」となり、ステップＳ１１５で、まず、ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])の分散値Vx[i],Vy[i]が算出され、次いで、ステップＳ１１０で算出された障害物候補の相対位置(iPx[i], iPy[i])の分散値iVx[i],iVy[i]が算出され、さらに、それらの分散値iVx[i],iVy[i]に基づいて前記ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])が補正され、ステップＳ１１６で、その補正された相対位置に基づいて自車両の加速が停止されて、今回の演算処理が終了される。
【００５７】
このように、本実施形態にあっては、注目度R[i]が大きくタスクレベルTLが大きいときに、実施する処理のステップ数を大きくして、注目度R[i]が大きくなる途中の段階で画像処理の準備をして、注目度R[i]が大きくなったときには画像処理を直ぐに実行するようにしたため、認識結果の信頼性を向上することができる。
【００５８】
そして、上記フローが繰り返されているうちに、隣接車線を走行していた先行車両が自車線に車線変更したとする。すると、先行車両の相対速度の向きdirection[i]とdirection_C[i]との差がさらに小さくなるので、車速制御用コントローラ１６で実行される車速制御処理で、ステップＳ１００〜Ｓ１０４を経て、ステップＳ１０５で第１の注目度がさらに大きく算出され、また、先行車両と自車両との間の車間距離がさらに小さくなるので、ステップＳ１０６で、第２の注目度R2[i]もさらに大きく算出され、ステップＳ１０７で、前記ステップＳ１０５で算出された第１の注目度R1[i]や前記ステップＳ１０６で算出された第２の注目度R2[i]等に基づいて注目度R[i]がさらに大きく算出され、ステップＳ１０８で、前記ステップＳ１０７で算出された注目度R[i]の大きさに基づいてタスクレベルTL[i]の算出結果が「２」に設定される。すると、ステップＳ１０９の判定が「Ｙｅｓ」となり、ステップＳ１１０で、まず、前記ステップＳ１０１で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）が、単眼カメラ１２の座標系(Pix_v[i] ,Pix_u[i])に透視変換され、次いで、ステップＳ１０３で画像処理装置１３から読み込まれた画像情報から前記透視変換された障害物候補の相対位置(Pix_v[i] ,Pix_u[i])を中心とした領域の画像情報が抽出され、その抽出された画像情報にsobel filterが施されて前記領域のうちから横エッジが求められる。そして、横エッジの数が多い領域が検出されて、その領域から道路の輝度と同じ輝度を有する領域を除いたものが障害物候補の領域とみなされて、当該障害物候補の相対位置（iPx[i],iPy[i]）が算出されると共に、この演算処理が前回実行されたときの基準パターンｐ２に今回の演算処理で算出された障害物候補の領域がＡＮＤ演算されて新たな基準パターンｐ２として記憶される。
【００５９】
次いで、ステップＳ１１１の判定が「Ｙｅｓ」となり、ステップＳ１１３で、まず、前記ステップＳ１１０で透視変換された障害物候補の相対位置（pix_v[i],pix_u[i]）近傍のパターンと前記ステップＳ１１０で記憶された基準パターンｐ２との類似性P3が算出され、その類似性P3が最も高いパターンの中央の座標が、障害物候補の相対位置（iPxt[i],iPxt[i]）とされ、ステップＳ１１４を経て、ステップＳ１１５で、まず、ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])の分散値Vx[i],Vy[i]が算出され、次いで、ステップＳ１１３で算出された障害物候補の相対位置(iPxｔ[i], iPyｔ[i])の分散値iVx[i],iVy[i]が算出され、さらに、それらの分散値iVx[i],iVy[i]等に基づいて前記ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])が補正され、ステップＳ１１６で、その補正された相対位置に基づいて自車両が減速されて、今回の演算処理が終了される。
【００６０】
このように、本実施形態にあっては、先行車両と自車両との間の車間距離に基づいて当該先行車両に対する注目度R[I]の大きさを算出して、その注目度R[I]の大きさに基づいて実施する画像処理の内容を設定し、自車両に接触する可能性が大きく注目度R[I]が大きい障害物候補にだけ、演算負荷が大きい画像処理を行うため、注意すべき先行車両の認識結果の信頼性を確保しながら、画像処理に要する演算負荷を低減することができる。
【００６１】
次に、本発明の車両用障害物認識装置の第２の実施形態について説明する。この実施形態は、障害物候補の相対速度の向きや相対距離の大きさに変えて、自車両の軌道と障害物候補との距離や、障害物候補が自車線内にあるかということを考慮して注目度R[I]を設定した点が第１の実施形態と異なっている。
つまり、第２の実施形態では、車速制御用コントローラ１６で実行される演算処理のうち、図８に示すように、前述した第１の実施形態の図２の処理のステップＳ１０４〜Ｓ１０８に変えて、ステップＳ２００〜Ｓ２０７が設けられていることを除いては第１の実施形態と同様の処理を行う。なお、図２に対応する処理には同一符号を付し、その詳細説明は省略する。
【００６２】
異なる点を具体的に説明すると、まず、ステップＳ２００では、車速センサ１５から自車速Ｖを読み込むと共に、操舵角センサから操舵角δを読み込んで、ステップＳ２０１に移行する。
ステップＳ２０１では、まず、前記ステップＳ２００で読み込んだ自車速Ｖと操舵角δを用いて、スリップ角β、ヨーレートψ'及びヨー角ψを下記（１４）式に従って算出（推定）する。
【００６３】
[mVs+2(Kf+Kr)]β(s)+[mV+2(lf・Kf-lr・Kr)/V]ψ'(s)=2Kf・δ(s)
2(lf・Kf-lr・Kr)]β(s)+[Is+2(lf2・Kf-lr2・Kr)/V]ψ'(s)=2lf・Kf・δ(s)
………（１４）
但し、ψ'はヨーレート、βはスリップ角、ｍは車重、Kfは前輪タイヤのコーナリングパワー、Krは後輪タイヤのコーナリングパワー、lfは前輪から重心までの距離、lrは後輪から重心までの距離、Iは車両中心旋回慣性、sはラプラス演算子である。
【００６４】
なお、ここではスリップ角βやヨーレートψ'を上記（１４）式で算出する方法を示したが、自車両にヨーレートセンサーを備えてヨーレートψ'を直接検出するようにしてもよく、また、加速度センサを備えて前後方向の加速度と横方向の加速度との比からスリップ角βを算出するようにしてもよい。
次いで、上記（１４）式で算出したスリップ角β、ヨーレートψ'及びヨー角ψに基づいて、下記（１５）式をk=1からk=30まで繰り返し実行することによって将来の自車両の軌道を算出する。
【００６５】
X(k)=X(k-1)+V(k)・Δt・sinθ(k)
Y(k)=Y(k-1)+V(k)・Δt・cosθ(k)
V(k)=V(k-1)+ΔV,(ΔV=const.)
θ(k)=β(k)+ψ(k-1)+Δt・ψ'(k) ………（１５）
但し、Δｔ（例えば、0.1sec）はサンプリング時間であり、ｋはサンプリング番号である。
【００６６】
そして、上記（１５）式で算出したX(k),Y(k)の値から最小自乗法で自車両の軌道の向きAvを算出してから、ステップＳ２０２に移行する。
前記ステップＳ２０２では、まず、ステップＳ１０１で読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])を、上記（９）式で透視変換して単眼カメラ１２上の対応する座標(Pix_v[i] ,Pix_u[i])を算出する。
【００６７】
次いで、上記（９）式で算出した座標と自車両の走行車線の白線の領域とを比較して、障害物候補が前記走行車線の内側にあるか否か判定し、内側にあるときには第３の注目度R3[I]を「1.2」に設定し、そうでないときには第３の注目度R3[I]を「0.9」に設定し、ステップＳ２０３に移行する。
前記ステップＳ２０３では、ステップＳ１０３で読み込んだ曲率ρとステップＳ２００で読み込んだ自車速Ｖを用いて、後述するステップＳ２０４で用いる閾値Ｔを下記（１６）式に従って算出し、ステップＳ２０４に移行する。
【００６８】
T=func6(ρ,V) ………（１６）
但し、func6(ρ,V)は、図９に示すように、自車両の走行車線の曲率ρが所定値を越えるまでは「1」近傍の大きい値をとり、前記所定値を越えてからは、前記曲率ρが大きくなるにつれて徐々に「０」に収束し、且つ、前記所定値が速度が大きくなるにつれて小さくなる関数である。
【００６９】
したがって、上記（１６）式の演算によれば、自車両の走行車線の曲率ρ又は自車速Ｖが小さく、障害物候補に接触する可能性が小さくなるにつれて、閾値Ｔが大きくなる。なお、画像処理装置１３が白線を検出することができなかったときは、曲率ρに変えて操舵角δを用いて上記（１６）式の演算を行う。
前記ステップＳ２０４では、まず、ステップＳ１０１で読み込んだ障害物候補と自車両との距離Ｌの分散値VL[i]を下記（１７）式に従って算出する。
【００７０】
VL[i]＝[[(av_L[i]-L[i]_z0)2+(av_L[i]-L[i]_z1)2+…+(av_L[i]-L[i]_z9)2]/10]1/2 ………（１７）
但し、L[i]_zＸは、Ｘ回前のサンプリング周期に読み込まれたL[i]であり、av_L[i]は、現時点から９回前までのサンプリング周期に読み込まれたL[i]の移動平均値である。
【００７１】
次いで、上記（１７）式に従って算出した分散値VL[i]が前記ステップＳ２０３で算出した閾値Ｔより小さいときには画像処理停止フラグVariを「１」に設定し、そうでないときには画像処理停止フラグVariを「０」に設定してから、ステップＳ２０５に移行する。
前記ステップＳ２０５では、前記ステップＳ２０１で算出した自車両の軌道に対する、前記ステップＳ１０１で読み込んだ障害物候補の相対位置の近さに基づき第４の注目度R4[I]を下記（１８）式に従って算出し、ステップＳ２０６に移行する。
【００７２】
R4=func7(C) ………（１８）
但し、Ｃは前記ステップＳ２０１で算出された向きAv方向に延びる直線と障害物候補の相対位置との間の最短距離である。また、func7(C)は、図１０に示すように、最短距離Ｃが第１の所定値（例えば、0.5w m）を越えるまでは「1.0」をとり、前記第１の所定値を越えてからは、前記最短距離が大きくなるにつれて徐々に小さくなる関数である。
【００７３】
したがって、上記（１８）式の演算によれば、自車両の軌道と障害物候補との距離が小さく、障害物候補が自車両と接触する可能性が大きくなるにつれて、第４の注目度R4[I]が大きくなる。
前記ステップＳ２０６では、上記ステップＳ２０２で算出されたR3[I]と上記ステップＳ２０５で算出されたR4[I]とに基づいて注目度R[I]を下記（１９）式に従って算出し、ステップＳ２０７に移行する。
【００７４】
R[I]=R3[I]・R4[I] ………（１９）
前記ステップＳ２０７では、前記ステップＳ２０４で算出した画像処理停止フラグVariが「１」のセット状態であり、且つ、前記ステップＳ２０６で算出されたR[I]が0.8よりも小さいか否か判定し、セット状態であり、且つ小さいときには（Ｙｅｓ）ステップＳ１１６に移行し、そうでないときには（Ｎo）ステップＳ１０９に移行する。
【００７５】
このように、本実施形態にあっては、障害物候補と自車両との間の距離の移動平均の分散値が閾値Ｔより小さく、且つ、注目度R[I]が0.8よりも小さいときには、実施する画像処理を実施しないため、所定の車間距離を維持して先行車両に追従走行しているときには、その先行車両に対して演算負荷が大きい画像処理を行わずに済み、画像処理に要する演算負荷を低減することができる。
【００７６】
また、車速Ｖ及び曲率ρのうちのいずれかが小さくなるにつれて、閾値Ｔを大きく設定するため、所定の車間距離を維持して先行車両に追従走行しているときに、車速Ｖ及び曲率ρのいずれかが小さくなって、先行車両に接触する可能性が小さくなったときには、その先行車両に対して演算負荷が大きい画像処理を行わずに済み、画像処理に要する演算負荷をより低減することができる。
【００７７】
なお、本実施形態にあっては、撮像手段は単眼カメラ１２に対応し、画像処理手段は画像処理装置１３及び車速制御用コントローラ１６に対応し、距離検出手段は車間距離センサ１１に対応し、障害物認識手段は車速制御用コントローラ１６に対応し、注意度算出手段はステップＳ１０８及びＳ２０６に対応し、処理内容設定手段はステップＳ１０９、Ｓ１１１、Ｓ１１２、Ｓ１１４及びＳ２０７に対応し、車速検出手段は車速センサ１５対応し、操舵角検出手段は操舵角センサ１４に対応し、曲率検出手段は画像処理装置１３に対応する。
【００７８】
また、上記実施の形態は本発明の車両用障害物認識装置の一例を示したものであり、装置の構成等を限定するものではない。
例えば、上記実施形態においては、後輪駆動車に本発明を適用した場合について説明したが、前輪駆動車に本発明を適用することもでき、また回転駆動源としてエンジン２を適用した場合について説明したが、これに限定されるものではなく、電動モータを適用することもでき、さらには、エンジンと電動モータとを使用するハイブリッド車にも本発明を適用することができる。
【００７９】
さらに、上記実施形態においては、車間距離センサ１１としてレーザレーダを適用した場合について説明したが、これに限定されるものではなく、ミリ波レーダを適用してもよく、さらにはＣＣＤを使用したステレオカメラの撮像を画像処理して車間距離を求めるようにしてもよい。
またさらに、車速制御用コントローラ１６をマイクロコンピュータ等の離散化されたディジタルシステムで構成した場合について説明したが、これに限定されるものではなく、関数発生器、比較器、演算器等の電子回路を組み合わせて構成するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の車両用障害物認識装置の第１の実施形態を示す概略構成図である。
【図２】図１の車速制御用コントローラで実行される車速制御制御処理の具体例を示すフローチャートである。
【図３】図２の車速制御制御処理で演算される関数func1の特性を示すグラフである。
【図４】図２の車速制御制御処理で演算される関数func2の特性を示すグラフである。
【図５】図２の車速制御制御処理で演算される関数func3の特性を示すグラフである。
【図６】図２の車速制御制御処理で演算される関数func4の特性を示すグラフである。
【図７】図２の車速制御制御処理で演算される関数func5の特性を示すグラフである。
【図８】本発明の第１の実施形態を示す図であって、図１の車速制御用コントローラで実行される車速制御制御処理の具体例を示すフローチャートである。
【図９】図２の車速制御制御処理で演算される関数func6の特性を示すグラフである。
【図１０】図２の車速制御制御処理で演算される関数func7の特性を示すグラフである。
【符号の説明】
１ＦＬ、１ＦＲは前輪
１ＲＬ、１ＲＲは後輪
２はエンジン
７はディスクブレーキ
８は制動制御装置
９はエンジン出力制御装置
１０はスロットルアクチュエータ
１１は車間距離センサ
１２は単眼カメラ
１３は画像処理装置
１４は操舵角センサ
１５は車速センサ
１６は車速制御用コントローラ
【発明の属する技術分野】
この発明は、例えばカメラとレーダ等のように異なるセンサを備え、それらのセンサ情報に基づいて、自車両周辺の障害物を認識する車両用障害物認識装置に関する。
【０００２】
【従来の技術】
従来、この種の装置としては、例えば特開平６−２３０１１５号公報に記載されている「車間距離検出装置」が知られている。
この従来例には、車間距離を検出する手段としてカメラとミリ波レーダとを備え、走行環境に応じて信頼性の高いもので当該車間距離を検出し、走行環境の変化に対するロバスト性を向上する方法が開示されている。
【０００３】
また、走行環境の変化に対するロバスト性のさらなる向上を狙って、カメラで撮像した画像に所定の画像処理を施して、ミリ波レーダで検出した車間距離を補正する方法も知られている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来例にあっては、走行環境の変化に対するロバスト性を向上できるものの、カメラで撮像した画像に所定の画像処理を施してミリ波レーダで検出した車間距離を全て補正していたため、画像処理の演算負荷が高く、製造コストが高くなってしまうという問題があった。
【０００５】
そこで、本発明は、上記従来の技術の未解決の問題点に着目してなされたものであって、障害物の認識結果の信頼性を確保しながら、画像処理に要する演算負荷を低減できる車両用障害物認識装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の態様は、自車両周辺の状況を撮像する撮像手段と、その撮像手段で撮像された画像に所定の画像処理を施す画像処理手段と、自車両周辺の障害物候補と当該自車両との間の距離を検出する距離検出手段と、前記画像処理手段で画像処理が施された画像と前記距離検出手段で検出された距離とに基づいて障害物を認識する障害物認識手段と、を備え、前記距離検出手段で検出された距離に基づいて、障害物候補に対する注意度の大きさを算出する注意度算出手段と、その注意度算出手段で算出された注意度の大きさに基づいて、前記画像処理手段で実施する画像処理の内容を設定する処理内容設定手段と、を備えたことを特徴とする。
【０００７】
さらに、本発明の第２の態様は、前記処理内容設定手段は、前記距離検出手段で検出された距離の移動平均の分散値が所定値より小さく、且つ、前記注意度算出手段で算出された注意度が小さいときには、前記画像処理手段で実施する画像処理の内容の項目数を零に設定することを特徴とする。
【０００８】
また、本発明の第３の態様は、自車両の車速を検出する車速検出手段と、自車両の操舵角を検出する操舵角検出手段と、自車両の走行車線の曲率を検出する曲率検出手段と、を備え、前記処理内容設定手段は、少なくとも前記車速検出手段で検出された車速、前記操舵角検出手段で検出された操舵角及び前記曲率検出手段で検出された曲率のうちのいずれかが小さくなるにつれて、前記所定値を大きくすることを特徴とする。
【００１０】
また、本発明の第４の態様は、前記注意度算出手段は、前記撮像手段で撮像された画像に基づいて障害物候補が自車線内にあるか否かを判定すると共に、その判定結果を考慮して前記注意度の大きさを算出することを特徴とする。
さらに、本発明の第５の態様は、前記注意度算出手段は、前記距離検出手段で検出された距離が小さくなるにつれて、前記注意度を大きく算出することを特徴とする。
【００１１】
また、本発明の第６の態様は、自車両の車速を検出する車速検出手段と、自車両の操舵角を検出する操舵角検出手段と、を備え、前記注意度算出手段は、前記車速検出手段で検出された車速及び前記操舵角検出手段で検出された操舵角に基づいて自車両の軌道を推定すると共に、その軌道と障害物候補との間の距離を考慮して前記注意度の大きさを算出することを特徴とする。
【００１２】
【発明の効果】
したがって、本発明の第１の態様によれば、自車両周辺の状況を撮像し、その画像に所定の画像処理を施すと共に、自車両周辺の障害物候補と当該自車両との間の距離を検出し、それらの検出結果等に基づいて障害物を認識し、さらに、前記距離に基づいて障害物候補に対する注意度の大きさを算出し、その注意度の大きさに基づいて実施する画像処理の内容を設定するように構成したため、例えば自車両に接触する可能性が大きく注意度が大きい障害物候補にだけ、演算負荷が大きい画像処理を行うようにすることができ、注意すべき障害物候補の認識結果の信頼性を確保しながら、画像処理に要する演算負荷を低減することができる。
【００１３】
また、注意度が大きくなるにつれて、実施する画像処理の内容の項目数を大きく設定するように構成したため、過去の画像処理結果を用いてパターンマッチング等の画像処理を実施するときにも、注意度が大きくなる途中の段階で画像処理結果を準備し、注意度が大きくなったときには画像処理を直ぐに実行することができ、認識結果の信頼性を向上することができる。
さらに、障害物候補と自車両との間の距離に基づいて障害物候補の相対速度の向きを算出すると共に、その相対速度の向きに基づいて前記障害物が注意度の大きさを算出するように構成したため、相対速度の向きが自車両に向いていて、当該自車両に接触する可能性が大きい障害物候補の注意度を大きく算出することができる。
【００１４】
さらに、本発明の第２の態様によれば、障害物候補と自車両との間の距離の移動平均の分散値が所定値より小さく、且つ、注意度が小さいときには、実施する画像処理の内容の項目数を零に設定するように構成したため、所定の車間距離を維持して先行車両に追従走行しているときには、その先行車両に対して演算負荷が大きい画像処理を行わずに済み、画像処理に要する演算負荷を低減することができる。
【００１５】
また、本発明の第３の態様によれば、少なくとも、車速、操舵角及び曲率のうちのいずれかが小さくなるにつれて、前記所定値を大きくするように構成したため、所定の車間距離を維持して先行車両に追従走行しているときに、車速、操舵角及び曲率のいずれかが小さくなって、先行車両に接触する可能性が小さくなったときには、その先行車両に対して演算負荷が大きい画像処理を行わずに済み、画像処理に要する演算負荷をより低減することができる。
【００１７】
また、本発明の第４の態様によれば、撮像された画像に基づいて障害物候補が自車線内にあるか否かを判定すると共に、その判定結果を考慮して注目度を算出するように構成したため、自車線内にあって、当該自車両に接触する可能性が大きい障害物候補の注意度を大きく算出することができる。
【００１８】
さらに、本発明の第５の態様によれば、障害物候補と自車両との間の距離が小さくなるにつれて、前記注意度を大きく算出するように構成したため、障害物候補の検出と同時に注意度の大きさを算出することができ、認識結果の信頼性を向上することができる。
また、本発明の第６の態様によれば、自車両の車速及び操舵角に基づいて自車両の軌道を推定すると共に、その軌道と障害物との間の距離を考慮して当該障害物が自車両に接触する可能性を算出するように構成したため、障害物候補の検出と同時に注意度の大きさを算出することができ、認識結果の信頼性を向上することができる。
【００１９】
【発明の実施の形態】
以下、本発明に係る車両用障害物認識装置を用いて、車速制御装置を構成した各種実施形態を図面に基づいて説明する。
図１は、本発明の実施形態を示す概略構成図であって、図中、１ＦＬ、１ＦＲは従動輪としての前輪、１ＲＬ、１ＲＲは駆動輪としての後輪であって、後輪１ＲＬ、１ＲＲは、エンジン２の駆動力が自動変速機３、プロペラシャフト４、最終減速装置５及び車軸６を介して伝達されて回転駆動される。
【００２０】
前輪１ＦＬ、１ＦＲ及び後輪１ＲＬ、１ＲＲには、夫々制動力を発生するブレーキアクチュエータとしてのディスクブレーキ７が設けられていると共に、これらディスクブレーキ７の制動油圧が制動制御装置８によって制御される。
ここで、制動制御装置８は、図示しないブレーキペダルの踏み込みに応じて制動油圧を発生すると共に、後述する車速制御用コントローラ１６からの制動圧指令値に応じて制動油圧を発生するように構成されている。
【００２１】
また、エンジン２には、その出力を制御するエンジン出力制御装置９が設けられている。このエンジン出力制御装置９は、図示しないアクセルペダルの踏込量及び後述する車速制御用コントローラ１６からのスロットル開度指令値に応じて、エンジン２に設けられたスロットル開度を調整するスロットルアクチュエータ１０を制御するように構成される。
【００２２】
一方、車両の前方側の車体下部には、レーザ光を掃射して先行車両からの反射光を受光するレーダ方式の構成を有する車間距離センサ１１が設けられている。車間距離センサ１１では、レーザ光を掃射してから障害物候補の反射光を受光するまでの時間を計測して、自車両と障害物候補との間の距離を検出すると共に、その検出結果に基づいて自車両を原点とし、横方向をｘ座標、前後方向をｙ座標として障害物候補の相対位置（obst_x[i]、obst_y[i]）を算出し、それらを車速制御用コントローラ１６に出力するようになっている。ここで、iは各障害物候補に設定するＩＤ番号である。
【００２３】
さらに、車室内のインナーミラーステー等の固定部には、ＣＣＤカメラ等の単眼カメラ１２が設置され、車両前方状況を撮像し、撮像した画像データを画像処理装置１３に出力する。この画像処理装置１３は、例えば特開平１１−２９６６６０号公報に記載されているように、単眼カメラ１２の画像データに二値化等の処理を施して自車両近傍の白線を検出すると共に、その白線に対する自車両のヨー角、相対横変位及び走行車線の曲率ρを算出し、これらを車速制御用コントローラ１６に出力する。
【００２４】
また、車両には種々のセンサ類が取り付けられている。図中、１４は操舵角センサであって、図示しないステアリングシャフトの回転角から操舵角δを検出して車速制御用コントローラ１６に出力する。さらに、車両には、例えばプロペラシャフト４に取り付けられて、当該プロペラシャフト４の回転速度に基づいて自車速Ｖを検出する車速センサ１５が配設されている。
【００２５】
そして、車間距離センサ１１から出力される距離、操舵角センサ１４から出力される操舵角δ、車速センサ１５から出力される自車速Ｖ、画像処理装置１３から出力される走行車線の曲率ρ等、が車速制御用コントローラ１６に入力される。この車速制御用コントローラ１６は、図示しないマイクロコンピュータ等の離散化されたディジタルシステムで構成され、後述する車速制御処理を実行して、車速を制御する制動圧指令値及びスロットル開度指令値を、制動制御装置８及びエンジン出力制御装置９に出力する。
【００２６】
車速制御用コントローラで実行される車速制御制御処理は、所定の制御周期ΔＴ１（例えば、１０msec）毎に割り込み処理として実行される処理であって、具体的には、図２のフローチャートに示すように、まず、そのステップＳ１００で、車間距離センサ１１のデータ更新周期ΔＴ２（例えば、100msec）であるか否か判定し、データ更新周期ΔＴ２であるときには（Ｙｅｓ）ステップＳ１０１に移行し、そうでないときには（Ｎo）そのままステップＳ１０２に移行する。
【００２７】
前記ステップＳ１０１では、車間距離センサ１１から障害物候補の相対位置（obst_x[i],obst_y[i]）及び自車両と障害物候補との間の距離を読み込んでから、前記ステップＳ１０２に移行する。
前記ステップＳ１０２では、単眼カメラ１２の撮像周期ΔＴ３（例えば、20msec）であるか否か判定し、撮像周期ΔＴ３であるときには（Ｙｅｓ）ステップＳ１０３に移行し、そうでないときには（Ｎo）そのままステップＳ１０４に移行する。
【００２８】
前記ステップＳ１０３では、画像処理装置１３から単眼カメラ１２で撮像した画像を読み込むと共に、その画像に基づいて算出した、自車両のヨー角、相対横変位及び走行車線の曲率ρを読み込んでから、前記ステップＳ１０４に移行する。
前記ステップＳ１０４では、前記ステップＳ１０１で読み込んだ障害物候補の相対位置（obst_x[i],obst_y[i]）を用いて、疑似微分器の伝達関数Ｇ（ｚ）を表す下記１式に従って、自車両に対する障害物候補の相対速度（rVx[i],rVy[i]）を算出し、ステップＳ１０５に移行する。
【００２９】
Ｇ（Ｚ）＝（ｃＺ2―ｃ）／（Ｚ2−ａＺ＋ｂ） ………（１）
但し、Ｚは進み演算子であり、ａ，ｂ，ｃ（＞０）は係数である。
前記ステップＳ１０５では、まず、ステップＳ１００で読み込んだ障害物候補の相対位置（obst_x[i],obst_y[i]）に基づいて、自車両の中心部から障害物の画中心部を通る直線と自車両から前方に延びる直線とがなす角direction_C[i]を下記（２）式に従って算出すると共に、障害物候補から遠い自車両の側部から自車両から遠い障害物候補の側部を通る直線と自車両から前方に延びる直線とがなす角direction_L[i]を下記（３）式に従って算出する。
【００３０】
direction_C[i]= tan-1(obst_x[i]/obst_y[i]) ………（２）
direction_L[i]=tan-1[(obst_x[i]+obj_width[i]/2+w/2)/obst_y[i]]………（３）
但し、obj_width[・]は障害物候補の横幅であり、wは自車両の横幅である。
次に、前記ステップＳ１０４で算出した障害物候補の相対速度（rVx[i],rVy[i]）を用いて、障害物候補の相対速度の向きdirection[i]を下記式（４）に従って算出する。
【００３１】
direction[i]=tan-1(rVx[i]/rVy[i]) ………（４）
そして、それらの算出結果を用いて障害物候補が自車両の進行の妨げとなる可能性を考慮して第１の注目度R1[i]を下記（５）式に従って算出してから、ステップＳ１０６に移行する。
R1[i]=[-0.2/｜direction_L[i]-direction_C[i]｜]・｜direction_C[i]-direction[i]｜+1.0 ………（５）
したがって、上記（５）式の演算によれば、障害物候補の相対速度の向きdirection[i]とdirection_C[i]との差が小さく、障害物候補が自車両と接触する可能性が大きくなるにつれて、第１の注目度R1[i]が大きく（0.8〜1.0の範囲の値に）なる。
【００３２】
前記ステップＳ１０６では、ステップＳ１００で読み込んだ障害物候補の相対位置（obst_x[i],obst_y[i]）に基づいて、第２の注目度R2[i]を下記（６）式に従って算出し、ステップＳ１０７に移行する。
R2[i]=func1(obst_y[i])・R2[i]'・(R2[i]'>0) ………（６）
R2[i]'=(-0.2/w)・fabs(obst_x[i])+1.0
但し、func1(obst_y[i])は、図３に示すように、障害物候補の相対位置のｙ座標obst_y[i]が所定値（例えば、80ｍ）を越えるまでは「1.0」をとり、前記所定値を越えてからは、前記ｙ座標obst_y[i]が大きくなるにつれて徐々に「０」に収束する関数である。また、(R2[i]'>0)は、括弧の中の条件を満たす場合には「１」を返し、条件を満たさない場合には「０」を返す論理式である。
【００３３】
したがって、上記（６）式の演算によれば、障害物候補の相対位置（obst_x[i],obst_y[i]）が自車両に近く、障害物候補が自車両と接触する可能性が大きくなるにつれて、第２の注目度R2[i]が大きく（0.8〜1.0の範囲の値に）なる。
前記ステップＳ１０７では、前記ステップＳ１０５で算出した第１の注目度R1[i]、前記ステップＳ１０６で算出した第２の注目度R2[i]、前記ステップＳ１０４で算出した障害物候補の相対速度（rVx[i],rVy[i]）及び前記ステップＳ１０３で読み込んだ走行車線の曲率ρを用い、下記（７）式に従って注目度R[i]を算出し、ステップＳ１０８に移行する。
【００３４】
R[i]=w1[i]/(w1[i]+w2[i])・R1[i]+w2[i]/(w1[i]+w2[i])・R2[i]
W1[i]=func2((rVx[i]2+rVy[i]2)1/2)
W2[2]=func3(｜ρ｜) ………（７）
但し、func2((rVx[i]2+rVy[i]2)1/2)は、図４に示すように、障害物候補の相対速度の大きさ(rVx[i]2+rVy[i]2)1/2が所定値（例えば、6m/s）を越えるまでは「0」近傍の小さい値をとり、前記所定値を越えてからは、前記大きさ(rVx[i]2+rVy[i]2)1/2が大きくなるにつれて徐々に「1」に収束する関数である。逆に、func3(｜ρ｜)は、図５に示すように、自車両の走行車線の曲率ρが所定値（例えば、1/200m-1）を越えるまでは「1」近傍の大きい値をとり、前記所定値を越えてからは、前記曲率ρが大きくなるにつれて徐々に「０」に収束する関数である。
【００３５】
したがって、上記（７）式の演算によれば、障害物候補の相対速度の大きさ(rVx[i]2+rVy[i]2)1/2が大きく、障害物候補が自車両と接触する可能性が大きくなるにつれて、注目度R[i]が大きくなる。また、自車両の走行車線の曲率ρが小さく、障害物候補が自車両と接触する可能性が大きくなるにつれて、注目度R[i]が大きくなる。
【００３６】
前記ステップＳ１０８では、前記ステップＳ１０７で算出した注目度の大きさを用いて、この演算処理で実行するステップを表すタスクレベルTL[i]を下記（８）式に従って算出し、ステップＳ１０９に移行する。
TL[i]=func4(R[i]) ………（８）
但し、func4(R[i])は、図６に示すように、注目度R[i]が第１の所定値（例えば、0.4）を越えるまでは「0」をとり、前記第１の所定値を越えてから第２の所定値（例えば、0.6）を越えるまでは「１」をとり、さらに、前記第２の所定値を越えてからは「２」をとる関数である。したがって、上記（８）式の演算によれば、注目度R[i]が大きくなるにつれて、タスクレベルTLが大きくなる。
【００３７】
前記ステップＳ１０９では、前記ステップＳ１０９で算出したタスクレベルTL[i]が１以上であるか否か判定し、１以上であるときには（Ｙｅｓ）ステップＳ１１０に移行し、そうでないときには（Ｎo）ステップＳ１１１に移行する。
前記ステップＳ１１０では、まず、前記ステップＳ１０１で読み込んだ障害物候補の相対位置（obst_x[i],obst_y[i]）を、下記（９）式に従って単眼カメラ１２の座標系(Pix_v[i] ,Pix_u[i])に透視変換する。
【００３８】
Pix_v[i]=f・H/obst_y[i]
Pix_u[i]=f・obst_x[i]/obst_y[i] ………（９）
但し、fは単眼カメラ１２のレンズと受光面との間の距離を画素換算した値であり、Ｈは単眼カメラ１２の取付け高さである。
次に、ステップＳ１０３で画像処理装置１３から読み込んだ画像情報から、上記（９）式で透視変換した障害物候補の相対位置(Pix_v[i] ,Pix_u[i])を中心とした、縦２ｍ×横2.2ｍの領域の画像情報を抽出し、その抽出した画像情報にsobel filterを施して前記領域のうちから横エッジを求める。そして、横エッジの数が多い領域を検出すると共に、その領域から道路の輝度と同じ輝度を有する領域を除いたものを障害物候補の領域とみなして、当該障害物候補の位置（iPx[i],iPy[i]）を算出する。
【００３９】
このように、横エッジの数が多い領域を検出することにより、リアウインド、トランク、バンパー等といった、多数の横エッジを得られる特徴を有する車両等がある領域を効果的に検出することができる。また、その領域から道路と同じ輝度領域を差し引くことにより、そこから車両だけを正確に検出することができる。なお、道路の輝度は、画像処理装置１３で検出した白線間の領域の輝度の平均値から求めることができる。
【００４０】
そして、算出した障害物候補の領域を、後述するステップＳ１１３で用いられる基準パターンｐ２として記憶してから、ステップＳ１１１に移行する。なお、この処理が前回実行されたときの基準パターンｐ２が記憶されているときには、その基準パターンｐ２に今回の演算処理で算出した障害物候補の領域をＡＮＤ演算したものを新たな基準パターンｐ２として記憶する。
【００４１】
前記ステップＳ１１１では、前記ステップＳ１０９で算出したタスクレベルTL[i]が２以上であるか否か判定し、２以上であるときには（Ｙｅｓ）ステップＳ１１３に移行し、そうでないときには（Ｎo）ステップＳ１１２に移行する。
前記ステップＳ１１２では、この演算処理が前回実行されたときにタスクレベルTL[i]が２以上であり、且つ、今回実行されたときに車間距離センサ１１が障害物候補を検出できなかったか否かを判定し、前記タスクレベルTL[i]が２以上で、且つ、前記障害物候補を検出できなかったときには（Ｙｅｓ）前記ステップＳ１１３に移行し、そうでないときには（Ｎo）そのままステップＳ１１４に移行する。
【００４２】
前記ステップＳ１１３では、まず、前記ステップＳ１１０で透視変換した障害物候補の相対位置（pix_v[i],pix_u[i]）近傍のパターンと前記ステップＳ１１０で記憶された基準パターンｐ２との類似性を下記（１０）式に従って算出する。
P3=(p1,p2)/[||p1||・||p2||] ………（１０）
但し、(p1,p2)は２つの画素間でのベクトルの内積である。
【００４３】
そして、上記（１０）式で算出された類似性P3が最も高いパターンの中央の座標を、障害物候補の相対位置（iPxt[i],iPxt[i]）としてから、ステップＳ１１４に移行する。
前記ステップＳ１１４では、前記ステップＳ１０９で算出したタスクレベルTL[i]が１以上であるか否か判定し、１以上であるときには（Ｙｅｓ）ステップＳ１１６に移行し、そうでないときには（Ｎo）ステップＳ１１５に移行する。
【００４４】
前記ステップＳ１１５では、まず、ステップＳ１０１で読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])の分散値Vx[i],Vy[i]を下記（１１）式に従って算出する。
【００４５】
次いで、ステップＳ１１０で算出された障害物候補の相対位置(iPx[i], iPy[i])の分散値iVx[i],iVy[i]を下記（１２）式に従って算出する。
【００４６】
そして、それらの分散値iVx[i],iVy[i]を用いて前記ステップＳ１０１で読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])を下記（１３）式に従って補正し、ステップＳ１１６に移行する。
【００４７】
したがって、上記（１３）式の演算によれば、車間距離センサ１１から読み込んだ相対位置の分散値Vx[i]、Vy[i]が、画像処理装置１３から読み込んだ相対位置の分散値iVx[i]、iVy[i]よりも大きいときには、車間距離センサ１１から読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])の補正量が小さくなり、逆に、小さいときには算出した障害物候補の相対位置(iPx[i],iPy[i])による補正量が大きくなる。
【００４８】
なお、タスクレベルTLが「２」以上であるときは、ステップＳ１１０で算出した障害物候補の相対位置(iPx[i], iPy[i])に変えて、ステップＳ１１３で算出した障害物候補の相対位置(iPxｔ[i], iPyｔ[i])を用いて、上記（１２）（１３）式の演算を行う。また、今回実行されたときに車間距離センサ１１が障害物候補を検出できなかったときには、前記ステップＳ１０１で読み込む障害物候補の相対位置(obst_x[i],obst_y[i])に変えて、この演算処理が前回実行されたときに前記ステップＳ１１３で算出した画像座標（iPyt[i],iPxt[i]）を用いて、上記（１２）、（１３）式の演算を行う。
【００４９】
前記ステップＳ１１６では、前記ステップＳ１１５で補正した障害物候補の相対位置(obst_x[i],obst_y[i])を上記（１）式に従って微分して相対速度を算出し、その相対速度を用いて衝突の可能性を上記（２）〜（５）式に従って算出し、その算出結果に基づいて車速を制御する制動圧指令値及びスロットル開度指令値を、制動制御装置８及びエンジン出力制御装置９に出力して、この演算処理を終了する。なお、ステップＳ１１４の判定が「Ｎo」となり、前記ステップＳ１１５を実行していないときには、補正した障害物候補の相対位置(obst_x[i],obst_y[i])の変わりに、前記ステップＳ１０１で読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])に基づいて相対速度を算出する。
【００５０】
次に、本実施の形態の動作を具体的な状況に基づいて詳細に説明する。
まず、高速道路を走行中に運転者が所定のスイッチを操作したとする。すると、車速制御用コントローラ１６で車速制御処理が実行されて、図２のフローチャートに示すように、まず、車間距離センサ１１のデータ更新周期ΔＴ２であったとすると、ステップＳ１００の判定が「Ｙｅｓ」となり、ステップＳ１０１で車間距離センサ１１から障害物候補の相対位置（obst_x[i],obst_y[i]）及び自車両と障害物候補との間の距離が読み込まれ、また、単眼カメラ１２の撮像周期ΔＴ３であったとすると、ステップＳ１０２の判定が「Ｙｅｓ」となり、ステップＳ１０３で、画像処理装置１３から単眼カメラ１２で撮像された画像が読み込まれ、且つ、その画像に基づいて算出された、自車両のヨー角、相対横変位及び走行車線の曲率ρが読み込まれ、ステップＳ１０４で、前記ステップＳ１０１で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）に基づいて、自車両に対する障害物候補の相対速度（rVx[i],rVy[i]）が算出される。
【００５１】
次いで、ステップＳ１０５では、まず、ステップＳ１００で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）に基づいて、自車両の中心部から障害物の中心部を通る直線と自車両から前方に延びる直線とがなす角direction_C[i]が算出され、且つ、障害物候補から遠い自車両の側部から自車両から遠い障害物候補の側部を通る直線と自車両から前方に延びる直線とがなす角direction_L[i]が算出される。次いで、前記ステップＳ１０４で算出された障害物候補の相対速度（rVx[i],rVy[i]）に基づいて、障害物候補の相対速度の向きdirection[i]が算出され、それらの算出結果に基づいて障害物候補が自車両の進行の妨げとなる可能性が考慮されて第１の注目度R1[i]が算出される。
【００５２】
ここで、自車両と同じ車線を走行していた先行車両が隣接する車線に車線変更したとする。すると、先行車両の相対速度の向きdirection[i]とdirection_C[i]との差が大きくなるので第１の注目度R1[i]が小さく算出され、また、ステップＳ１０６で、ステップＳ１００で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）が大きくなるので第２の注目度R2[i]も小さく算出され、ステップＳ１０７で、前記ステップＳ１０５で算出された第１の注目度R1[i]や前記ステップＳ１０６で算出された第２の注目度R2[i]等に基づいて注目度R[i]が小さく算出され、ステップＳ１０８で、前記ステップＳ１０７で算出された注目度の大きさに基づいてタスクレベルTL[i]が「０」に設定される。
【００５３】
すると、ステップＳ１０９、Ｓ１１１、Ｓ１１２及びＳ１１４の判定が「Ｎo」となり、ステップＳ１１６では、前記ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])に基づいて相対速度が算出され、その相対速度に基づいて衝突の可能性が算出され、さらに、その算出結果に基づいて車速を制御する制動圧指令値及びスロットル開度指令値が、制動制御装置８及びエンジン出力制御装置９に出力されて自車両が加速され、今回の演算処理が終了される。
【００５４】
そして、上記フローが繰り返されて自車両が加速しているうちに、前記車線変更をした先行車両に近づいたとする。すると、先行車両の相対速度の向きdirection[i]とdirection_C[i]との差が小さくなるので、ステップＳ１００〜Ｓ１０４を経て、ステップＳ１０５で第１の注目度が大きく算出され、また、先行車両と自車両との間の車間距離が小さくなるので、ステップＳ１０６で、第２の注目度R2[i]も大きく算出され、ステップＳ１０７で、前記ステップＳ１０５で算出された第１の注目度R1[i]や前記ステップＳ１０６で算出された第２の注目度R2[i]等に基づいて注目度R[i]が大きく算出され、ステップＳ１０８で、前記ステップＳ１０７で算出された注目度の大きさに基づいてタスクレベルTL[i]の算出結果が「１」に設定される。
【００５５】
すると、ステップＳ１０９の判定が「Ｙｅｓ」となり、ステップＳ１１０で、まず、前記ステップＳ１０１で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）が、単眼カメラ１２の座標系(Pix_v[i] ,Pix_u[i])に透視変換され、次いで、ステップＳ１０３で画像処理装置１３から読み込まれた画像情報から前記透視変換された障害物候補の相対位置(Pix_v[i] ,Pix_u[i])を中心とした領域の画像情報が抽出され、その抽出された画像情報にsobel filterが施されて前記領域のうちから横エッジが求められる。そして、横エッジの数が多い領域が検出されて、その領域から道路の輝度と同じ輝度を有する領域を除いたものが障害物候補の領域とみなされて、当該障害物候補の相対位置（iPx[i],iPy[i]）が算出されて、その算出された障害物候補の領域が、後述するステップＳ１１３で用いられる基準パターンｐ２として記憶される。
【００５６】
そして、ステップＳ１１１及びＳ１１２を経て、ステップＳ１１４の判定が「Ｙｅｓ」となり、ステップＳ１１５で、まず、ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])の分散値Vx[i],Vy[i]が算出され、次いで、ステップＳ１１０で算出された障害物候補の相対位置(iPx[i], iPy[i])の分散値iVx[i],iVy[i]が算出され、さらに、それらの分散値iVx[i],iVy[i]に基づいて前記ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])が補正され、ステップＳ１１６で、その補正された相対位置に基づいて自車両の加速が停止されて、今回の演算処理が終了される。
【００５７】
このように、本実施形態にあっては、注目度R[i]が大きくタスクレベルTLが大きいときに、実施する処理のステップ数を大きくして、注目度R[i]が大きくなる途中の段階で画像処理の準備をして、注目度R[i]が大きくなったときには画像処理を直ぐに実行するようにしたため、認識結果の信頼性を向上することができる。
【００５８】
そして、上記フローが繰り返されているうちに、隣接車線を走行していた先行車両が自車線に車線変更したとする。すると、先行車両の相対速度の向きdirection[i]とdirection_C[i]との差がさらに小さくなるので、車速制御用コントローラ１６で実行される車速制御処理で、ステップＳ１００〜Ｓ１０４を経て、ステップＳ１０５で第１の注目度がさらに大きく算出され、また、先行車両と自車両との間の車間距離がさらに小さくなるので、ステップＳ１０６で、第２の注目度R2[i]もさらに大きく算出され、ステップＳ１０７で、前記ステップＳ１０５で算出された第１の注目度R1[i]や前記ステップＳ１０６で算出された第２の注目度R2[i]等に基づいて注目度R[i]がさらに大きく算出され、ステップＳ１０８で、前記ステップＳ１０７で算出された注目度R[i]の大きさに基づいてタスクレベルTL[i]の算出結果が「２」に設定される。すると、ステップＳ１０９の判定が「Ｙｅｓ」となり、ステップＳ１１０で、まず、前記ステップＳ１０１で読み込まれた障害物候補の相対位置（obst_x[i],obst_y[i]）が、単眼カメラ１２の座標系(Pix_v[i] ,Pix_u[i])に透視変換され、次いで、ステップＳ１０３で画像処理装置１３から読み込まれた画像情報から前記透視変換された障害物候補の相対位置(Pix_v[i] ,Pix_u[i])を中心とした領域の画像情報が抽出され、その抽出された画像情報にsobel filterが施されて前記領域のうちから横エッジが求められる。そして、横エッジの数が多い領域が検出されて、その領域から道路の輝度と同じ輝度を有する領域を除いたものが障害物候補の領域とみなされて、当該障害物候補の相対位置（iPx[i],iPy[i]）が算出されると共に、この演算処理が前回実行されたときの基準パターンｐ２に今回の演算処理で算出された障害物候補の領域がＡＮＤ演算されて新たな基準パターンｐ２として記憶される。
【００５９】
次いで、ステップＳ１１１の判定が「Ｙｅｓ」となり、ステップＳ１１３で、まず、前記ステップＳ１１０で透視変換された障害物候補の相対位置（pix_v[i],pix_u[i]）近傍のパターンと前記ステップＳ１１０で記憶された基準パターンｐ２との類似性P3が算出され、その類似性P3が最も高いパターンの中央の座標が、障害物候補の相対位置（iPxt[i],iPxt[i]）とされ、ステップＳ１１４を経て、ステップＳ１１５で、まず、ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])の分散値Vx[i],Vy[i]が算出され、次いで、ステップＳ１１３で算出された障害物候補の相対位置(iPxｔ[i], iPyｔ[i])の分散値iVx[i],iVy[i]が算出され、さらに、それらの分散値iVx[i],iVy[i]等に基づいて前記ステップＳ１０１で読み込まれた障害物候補の相対位置(obst_x[i],obst_y[i])が補正され、ステップＳ１１６で、その補正された相対位置に基づいて自車両が減速されて、今回の演算処理が終了される。
【００６０】
このように、本実施形態にあっては、先行車両と自車両との間の車間距離に基づいて当該先行車両に対する注目度R[I]の大きさを算出して、その注目度R[I]の大きさに基づいて実施する画像処理の内容を設定し、自車両に接触する可能性が大きく注目度R[I]が大きい障害物候補にだけ、演算負荷が大きい画像処理を行うため、注意すべき先行車両の認識結果の信頼性を確保しながら、画像処理に要する演算負荷を低減することができる。
【００６１】
次に、本発明の車両用障害物認識装置の第２の実施形態について説明する。この実施形態は、障害物候補の相対速度の向きや相対距離の大きさに変えて、自車両の軌道と障害物候補との距離や、障害物候補が自車線内にあるかということを考慮して注目度R[I]を設定した点が第１の実施形態と異なっている。
つまり、第２の実施形態では、車速制御用コントローラ１６で実行される演算処理のうち、図８に示すように、前述した第１の実施形態の図２の処理のステップＳ１０４〜Ｓ１０８に変えて、ステップＳ２００〜Ｓ２０７が設けられていることを除いては第１の実施形態と同様の処理を行う。なお、図２に対応する処理には同一符号を付し、その詳細説明は省略する。
【００６２】
異なる点を具体的に説明すると、まず、ステップＳ２００では、車速センサ１５から自車速Ｖを読み込むと共に、操舵角センサから操舵角δを読み込んで、ステップＳ２０１に移行する。
ステップＳ２０１では、まず、前記ステップＳ２００で読み込んだ自車速Ｖと操舵角δを用いて、スリップ角β、ヨーレートψ'及びヨー角ψを下記（１４）式に従って算出（推定）する。
【００６３】
[mVs+2(Kf+Kr)]β(s)+[mV+2(lf・Kf-lr・Kr)/V]ψ'(s)=2Kf・δ(s)
2(lf・Kf-lr・Kr)]β(s)+[Is+2(lf2・Kf-lr2・Kr)/V]ψ'(s)=2lf・Kf・δ(s)
………（１４）
但し、ψ'はヨーレート、βはスリップ角、ｍは車重、Kfは前輪タイヤのコーナリングパワー、Krは後輪タイヤのコーナリングパワー、lfは前輪から重心までの距離、lrは後輪から重心までの距離、Iは車両中心旋回慣性、sはラプラス演算子である。
【００６４】
なお、ここではスリップ角βやヨーレートψ'を上記（１４）式で算出する方法を示したが、自車両にヨーレートセンサーを備えてヨーレートψ'を直接検出するようにしてもよく、また、加速度センサを備えて前後方向の加速度と横方向の加速度との比からスリップ角βを算出するようにしてもよい。
次いで、上記（１４）式で算出したスリップ角β、ヨーレートψ'及びヨー角ψに基づいて、下記（１５）式をk=1からk=30まで繰り返し実行することによって将来の自車両の軌道を算出する。
【００６５】
X(k)=X(k-1)+V(k)・Δt・sinθ(k)
Y(k)=Y(k-1)+V(k)・Δt・cosθ(k)
V(k)=V(k-1)+ΔV,(ΔV=const.)
θ(k)=β(k)+ψ(k-1)+Δt・ψ'(k) ………（１５）
但し、Δｔ（例えば、0.1sec）はサンプリング時間であり、ｋはサンプリング番号である。
【００６６】
そして、上記（１５）式で算出したX(k),Y(k)の値から最小自乗法で自車両の軌道の向きAvを算出してから、ステップＳ２０２に移行する。
前記ステップＳ２０２では、まず、ステップＳ１０１で読み込んだ障害物候補の相対位置(obst_x[i],obst_y[i])を、上記（９）式で透視変換して単眼カメラ１２上の対応する座標(Pix_v[i] ,Pix_u[i])を算出する。
【００６７】
次いで、上記（９）式で算出した座標と自車両の走行車線の白線の領域とを比較して、障害物候補が前記走行車線の内側にあるか否か判定し、内側にあるときには第３の注目度R3[I]を「1.2」に設定し、そうでないときには第３の注目度R3[I]を「0.9」に設定し、ステップＳ２０３に移行する。
前記ステップＳ２０３では、ステップＳ１０３で読み込んだ曲率ρとステップＳ２００で読み込んだ自車速Ｖを用いて、後述するステップＳ２０４で用いる閾値Ｔを下記（１６）式に従って算出し、ステップＳ２０４に移行する。
【００６８】
T=func6(ρ,V) ………（１６）
但し、func6(ρ,V)は、図９に示すように、自車両の走行車線の曲率ρが所定値を越えるまでは「1」近傍の大きい値をとり、前記所定値を越えてからは、前記曲率ρが大きくなるにつれて徐々に「０」に収束し、且つ、前記所定値が速度が大きくなるにつれて小さくなる関数である。
【００６９】
したがって、上記（１６）式の演算によれば、自車両の走行車線の曲率ρ又は自車速Ｖが小さく、障害物候補に接触する可能性が小さくなるにつれて、閾値Ｔが大きくなる。なお、画像処理装置１３が白線を検出することができなかったときは、曲率ρに変えて操舵角δを用いて上記（１６）式の演算を行う。
前記ステップＳ２０４では、まず、ステップＳ１０１で読み込んだ障害物候補と自車両との距離Ｌの分散値VL[i]を下記（１７）式に従って算出する。
【００７０】
VL[i]＝[[(av_L[i]-L[i]_z0)2+(av_L[i]-L[i]_z1)2+…+(av_L[i]-L[i]_z9)2]/10]1/2 ………（１７）
但し、L[i]_zＸは、Ｘ回前のサンプリング周期に読み込まれたL[i]であり、av_L[i]は、現時点から９回前までのサンプリング周期に読み込まれたL[i]の移動平均値である。
【００７１】
次いで、上記（１７）式に従って算出した分散値VL[i]が前記ステップＳ２０３で算出した閾値Ｔより小さいときには画像処理停止フラグVariを「１」に設定し、そうでないときには画像処理停止フラグVariを「０」に設定してから、ステップＳ２０５に移行する。
前記ステップＳ２０５では、前記ステップＳ２０１で算出した自車両の軌道に対する、前記ステップＳ１０１で読み込んだ障害物候補の相対位置の近さに基づき第４の注目度R4[I]を下記（１８）式に従って算出し、ステップＳ２０６に移行する。
【００７２】
R4=func7(C) ………（１８）
但し、Ｃは前記ステップＳ２０１で算出された向きAv方向に延びる直線と障害物候補の相対位置との間の最短距離である。また、func7(C)は、図１０に示すように、最短距離Ｃが第１の所定値（例えば、0.5w m）を越えるまでは「1.0」をとり、前記第１の所定値を越えてからは、前記最短距離が大きくなるにつれて徐々に小さくなる関数である。
【００７３】
したがって、上記（１８）式の演算によれば、自車両の軌道と障害物候補との距離が小さく、障害物候補が自車両と接触する可能性が大きくなるにつれて、第４の注目度R4[I]が大きくなる。
前記ステップＳ２０６では、上記ステップＳ２０２で算出されたR3[I]と上記ステップＳ２０５で算出されたR4[I]とに基づいて注目度R[I]を下記（１９）式に従って算出し、ステップＳ２０７に移行する。
【００７４】
R[I]=R3[I]・R4[I] ………（１９）
前記ステップＳ２０７では、前記ステップＳ２０４で算出した画像処理停止フラグVariが「１」のセット状態であり、且つ、前記ステップＳ２０６で算出されたR[I]が0.8よりも小さいか否か判定し、セット状態であり、且つ小さいときには（Ｙｅｓ）ステップＳ１１６に移行し、そうでないときには（Ｎo）ステップＳ１０９に移行する。
【００７５】
このように、本実施形態にあっては、障害物候補と自車両との間の距離の移動平均の分散値が閾値Ｔより小さく、且つ、注目度R[I]が0.8よりも小さいときには、実施する画像処理を実施しないため、所定の車間距離を維持して先行車両に追従走行しているときには、その先行車両に対して演算負荷が大きい画像処理を行わずに済み、画像処理に要する演算負荷を低減することができる。
【００７６】
また、車速Ｖ及び曲率ρのうちのいずれかが小さくなるにつれて、閾値Ｔを大きく設定するため、所定の車間距離を維持して先行車両に追従走行しているときに、車速Ｖ及び曲率ρのいずれかが小さくなって、先行車両に接触する可能性が小さくなったときには、その先行車両に対して演算負荷が大きい画像処理を行わずに済み、画像処理に要する演算負荷をより低減することができる。
【００７７】
なお、本実施形態にあっては、撮像手段は単眼カメラ１２に対応し、画像処理手段は画像処理装置１３及び車速制御用コントローラ１６に対応し、距離検出手段は車間距離センサ１１に対応し、障害物認識手段は車速制御用コントローラ１６に対応し、注意度算出手段はステップＳ１０８及びＳ２０６に対応し、処理内容設定手段はステップＳ１０９、Ｓ１１１、Ｓ１１２、Ｓ１１４及びＳ２０７に対応し、車速検出手段は車速センサ１５対応し、操舵角検出手段は操舵角センサ１４に対応し、曲率検出手段は画像処理装置１３に対応する。
【００７８】
また、上記実施の形態は本発明の車両用障害物認識装置の一例を示したものであり、装置の構成等を限定するものではない。
例えば、上記実施形態においては、後輪駆動車に本発明を適用した場合について説明したが、前輪駆動車に本発明を適用することもでき、また回転駆動源としてエンジン２を適用した場合について説明したが、これに限定されるものではなく、電動モータを適用することもでき、さらには、エンジンと電動モータとを使用するハイブリッド車にも本発明を適用することができる。
【００７９】
さらに、上記実施形態においては、車間距離センサ１１としてレーザレーダを適用した場合について説明したが、これに限定されるものではなく、ミリ波レーダを適用してもよく、さらにはＣＣＤを使用したステレオカメラの撮像を画像処理して車間距離を求めるようにしてもよい。
またさらに、車速制御用コントローラ１６をマイクロコンピュータ等の離散化されたディジタルシステムで構成した場合について説明したが、これに限定されるものではなく、関数発生器、比較器、演算器等の電子回路を組み合わせて構成するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の車両用障害物認識装置の第１の実施形態を示す概略構成図である。
【図２】図１の車速制御用コントローラで実行される車速制御制御処理の具体例を示すフローチャートである。
【図３】図２の車速制御制御処理で演算される関数func1の特性を示すグラフである。
【図４】図２の車速制御制御処理で演算される関数func2の特性を示すグラフである。
【図５】図２の車速制御制御処理で演算される関数func3の特性を示すグラフである。
【図６】図２の車速制御制御処理で演算される関数func4の特性を示すグラフである。
【図７】図２の車速制御制御処理で演算される関数func5の特性を示すグラフである。
【図８】本発明の第１の実施形態を示す図であって、図１の車速制御用コントローラで実行される車速制御制御処理の具体例を示すフローチャートである。
【図９】図２の車速制御制御処理で演算される関数func6の特性を示すグラフである。
【図１０】図２の車速制御制御処理で演算される関数func7の特性を示すグラフである。
【符号の説明】
１ＦＬ、１ＦＲは前輪
１ＲＬ、１ＲＲは後輪
２はエンジン
７はディスクブレーキ
８は制動制御装置
９はエンジン出力制御装置
１０はスロットルアクチュエータ
１１は車間距離センサ
１２は単眼カメラ
１３は画像処理装置
１４は操舵角センサ
１５は車速センサ
１６は車速制御用コントローラ
Claims (6)
- 自車両周辺の状況を撮像する撮像手段と、
前記撮像手段で撮像された画像に所定の画像処理を施す画像処理手段と、
自車両周辺にレーザ光を掃射し反射光を受光するまでの時間に基づいて、自車両周辺の障害物候補と当該自車両との間の距離を検出する距離検出手段と、
前記画像処理手段で画像処理が施された画像から前記距離検出手段で距離が検出された障害物候補に対応する障害物を認識する障害物認識手段と、
前記距離検出手段で検出された距離に基づいて、前記距離検出手段で距離が検出された障害物候補に対する注意度の大きさを算出する注意度算出手段と、
前記注意度算出手段で算出された注意度の大きさに基づいて、前記画像処理手段で実施する画像処理の内容を設定する処理内容設定手段と、を備え、
前記注意度算出手段は、前記距離検出手段で検出された距離に基づいて自車両に対する障害物候補の相対速度の向きを算出すると共に、その相対速度の向きに基づいて注意度の大きさを算出し、
前記処理内容設定手段は、前記注意度算出手段で算出された注意度が大きくなるにつれて、前記画像処理手段で実施する画像処理の内容の項目数を大きくすることを特徴とする車両用障害物認識装置。 - 前記処理内容設定手段は、前記距離検出手段で検出された距離の移動平均の分散値が所定値より小さく、且つ、前記注意度算出手段で算出された注意度が小さいときには、前記画像処理手段で実施する画像処理の内容の項目数を零に設定することを特徴とする請求項１に記載の車両用障害物認識装置。
- 自車両の車速を検出する車速検出手段と、
自車両の操舵角を検出する操舵角検出手段と、
自車両の走行車線の曲率を検出する曲率検出手段と、を備え、
前記処理内容設定手段は、少なくとも前記車速検出手段で検出された車速、前記操舵角検出手段で検出された操舵角及び前記曲率検出手段で検出された曲率のうちのいずれかが小さくなるにつれて、前記所定値を大きくすることを特徴とする請求項２に記載の車両用障害物認識装置。 - 前記注意度算出手段は、前記撮像手段で撮像された画像に基づいて障害物候補が自車線内にあるか否かを判定すると共に、その判定結果を考慮して前記注意度の大きさを算出することを特徴とする請求項１から３のいずれか１項に記載の車両用障害物認識装置。
- 前記注意度算出手段は、前記距離検出手段で検出された距離が小さくなるにつれて、前記注意度を大きくすることを特徴とする請求項１から４のいずれか１項に記載の車両用障害物認識装置。
- 自車両の車速を検出する車速検出手段と、
自車両の操舵角を検出する操舵角検出手段と、を備え、
前記注意度算出手段は、前記車速検出手段で検出された車速及び前記操舵角検出手段で検出された操舵角に基づいて自車両の軌道を推定すると共に、その軌道と障害物候補との間の距離を考慮して前記注意度の大きさを算出することを特徴とする請求項１から５のいずれか１項に記載の車両用障害物認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001277110A JP4742473B2 (ja) | 2001-09-12 | 2001-09-12 | 車両用障害物認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001277110A JP4742473B2 (ja) | 2001-09-12 | 2001-09-12 | 車両用障害物認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003081036A JP2003081036A (ja) | 2003-03-19 |
| JP4742473B2 true JP4742473B2 (ja) | 2011-08-10 |
Family
ID=19101693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001277110A Expired - Fee Related JP4742473B2 (ja) | 2001-09-12 | 2001-09-12 | 車両用障害物認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4742473B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4071102B1 (en) | 2019-12-03 | 2024-08-28 | Kabushiki Kaisha Toyota Jidoshokki | Industrial vehicle |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3690150B2 (ja) * | 1998-12-16 | 2005-08-31 | 株式会社豊田自動織機 | 車両における後退支援装置及び車両 |
-
2001
- 2001-09-12 JP JP2001277110A patent/JP4742473B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4071102B1 (en) | 2019-12-03 | 2024-08-28 | Kabushiki Kaisha Toyota Jidoshokki | Industrial vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003081036A (ja) | 2003-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10444346B2 (en) | Method for migrating radar sensor limitations with video camera input for active braking for pedestrians | |
| CN102653272B (zh) | 车辆的驾驶辅助装置 | |
| US7433772B2 (en) | Target speed control system for a vehicle | |
| JP4173292B2 (ja) | 車両用運転操作補助装置 | |
| US8155856B2 (en) | Vehicle running control system | |
| JP4021344B2 (ja) | 車両用運転支援装置 | |
| JP3925488B2 (ja) | 車両用画像処理装置 | |
| JP4781707B2 (ja) | 車両の運転支援装置 | |
| US11338801B2 (en) | Collision avoidance device | |
| CN101135558A (zh) | 一种基于机器视觉的汽车防撞预警方法及装置 | |
| JP6340738B2 (ja) | 車両制御装置、車両制御方法、および車両制御プログラム | |
| JP2010137803A (ja) | 車両用運転支援装置 | |
| US11731647B2 (en) | Road shape recognizer, autonomous drive system and method of recognizing road shape | |
| JP2007269312A (ja) | 車両用運転操作補助装置 | |
| JP2019067115A (ja) | 路面検出装置 | |
| JP2002329298A (ja) | 車両用走行制御装置 | |
| KR20210129913A (ko) | 운전자 보조 시스템 | |
| JP4063170B2 (ja) | 車両用運転操作補助装置および車両用運転操作補助装置を備える車両 | |
| JP4843880B2 (ja) | 走行路環境検出装置 | |
| JP3829627B2 (ja) | 車輌用外界認識装置 | |
| JP2009237938A (ja) | 運転支援装置および運転支援システム | |
| JP7144271B2 (ja) | 道路形状認識装置 | |
| JP4742473B2 (ja) | 車両用障害物認識装置 | |
| US11938879B2 (en) | Vehicle control device, information processing apparatus, operation methods thereof, and storage medium | |
| JP4807763B1 (ja) | 車外監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080728 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100917 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101008 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101008 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110425 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |