JP3690366B2 - Front object detection device - Google Patents
Front object detection device Download PDFInfo
- Publication number
- JP3690366B2 JP3690366B2 JP2002151086A JP2002151086A JP3690366B2 JP 3690366 B2 JP3690366 B2 JP 3690366B2 JP 2002151086 A JP2002151086 A JP 2002151086A JP 2002151086 A JP2002151086 A JP 2002151086A JP 3690366 B2 JP3690366 B2 JP 3690366B2
- Authority
- JP
- Japan
- Prior art keywords
- straight line
- road structure
- detection
- reliability
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、自車両の前方に存在する先行車或いは道路構造物等の物体を検出する前方物体検出装置に関する。
【0002】
【従来の技術】
車両に搭載され、当該車両の前方に存在する構造物(ガードレール等)、或いは先行車両の存在を検出する検出装置として採用されるスキャン式レーダ信号のグルーピング処理方法として、例えば、特開平7−270536号公報(以下、従来例という)に記載されたものが知られている。
【0003】
この従来例に記載されたものは、車両に搭載されたレーダを用いて、複数物体からの距離と横位置(道路と直交する方向の位置)を計測し、距離の近い順に検出物標を並べ替え、並べ替えた順に従い、相互に隣接する検出物体について、所定の方向に連続性があるかどうか判定する。そして、この連続性判断結果によりグルーピングを行い、グループに属する検出点の情報に基づき、検出物標が連続性を持つ道路構造物か、連続性を持たない先行車かの分類を行う。
【0004】
【発明が解決しようとする課題】
しかしながら、上述した従来例に記載された方法では、互いに隣接する検出点が所定の方向に連続性を有するかどうかにより、グルーピングや検出物標の分類を行うようにしているので、自車両の前方がカーブ路で、且つ、先行車が存在する場合においては、この先行車に隠されて、道路構造物からの検出点は、連続性が途切れてしまうことがある。このような状況においては、グループ化された道路構造物の検出点は、相対位置と検出総数の関係のみを用いた判断では、連続性がないと判断され、先行車として分類されてしまうことがある。
【0005】
これを図13に示す説明図を参照して説明すると、自車両の前方にカーブ路が存在する場合には、デリニエータ等の道路構造物が、先行車両に隠れてしまうことがある。従って、グループA、B、Cの3つが得られることになり、実際には、グループBとグループCは同一の構造物であるにも関わらず、別体として認識されてしまうことがある。
【0006】
即ち、ガードレール等の道路構造物は、本来、道路の沿道に長距離に渡って配置されいているものであるにも関わらず、先行車により隠れてしまった場合には、連続性を検出することができなくなってしまい、その結果、ガードレールであるにも関わらず、先行車両であると判断されてしまうことがあった。
【0007】
よって、従来における相対位置と検出総数の関数から検出点の分類を行う方法では、道路構造物を先行車と誤判断する可能性が高いという問題が生じていた。
【0008】
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、自車両の前方に存在する物体を、精度良く検出することのできる前方物体検出装置を提供することにある。
【0009】
【課題を解決するための手段】
上記目的を達成するため、本願請求項1に記載の発明は、自車両に搭載されて自車両前方に存在する物体を検出する前方物体検出装置であって、自車両前方に送信波を走査させながら出射して、自車両前方に存在する物体からの反射波を検出し、検出した反射波に基づいて、自車両に対する前記物体位置を示す複数の検出点を生成する物体検出手段と、前記物体検出手段にて検出された複数の検出点に基づき、所定の演算手法を用いて、同一であると見なされる物体による検出点どうしを連結する直線を算出する直線算出手段と、前記直線算出手段で検出された直線に基づき、自車両が走行する道路の端部に存在する道路構造物からの検出点で構成される直線を抽出する直線抽出手段と、前記直線抽出手段にて抽出された直線近傍に存在する複数の検出点をグルーピングし、これを道路構造物として検出する道路構造物検出手段と、を備え、前記直線算出手段は、物体位置を示す複数の検出点に基づき、検出点の分解能を低下させた際の、自車両から各検出点までの距離と、自車両が走行する道路の幅方向位置との関係を示す2次元配列データを生成するデータ変換手段と、前記データ変換手段にて得られる2次元配列データを、前記所定の演算手法にて2次元パラメータ空間のデータに変換し、当該2次元パラメータ空間中における各点の累積度の極大値を求めることにより、前記検出点どうしを連結する直線を算出する直線位置算出手段と、を有することを特徴とする。
【0010】
請求項2に記載の発明は、前記道路構造物検出手段で検出されなかった検出点のうち、互いに隣接する検出点をグルーピングして第1グループデータを得る第1のグルーピング手段と、前記第1のグルーピング手段により、今回得られたグループデータに対応するデータが、前回得られたグループデータ中に含まれている場合には、これを第2グループデータとする第2のグルーピング手段と、を更に備え、前記第2グループデータが検出された際に、これを自車両前方に存在する物体によるものであると判断することを特徴とする。
【0012】
請求項3に記載の発明は、前記直線抽出手段は、前記直線算出手段にて算出された直線のうち、自車両の走行方向、或いは自車両が走行する道路の白線方向との相関が高く、且つ、自車両と離れた領域に存在する前記極大値を選択する極大値選択手段を有し、該極大値選択手段にて選択された極大値に対応する直線を抽出することを特徴とする。
【0013】
請求項4に記載の発明は、前記道路構造物検出手段は、前記直線抽出手段にて抽出された直線と、当該直線を抽出する際に使用した各検出点との距離を算出し、算出された距離が所定値以下である場合には、この検出点を道路構造物のデータであると判定する道路構造物判定手段を具備したことを特徴とする。
【0014】
請求項5に記載の発明は、前記直線抽出手段は、前記直線算出手段にて算出された直線のうち、自車両に対して自車両の走行する幅方向に相関が低く、自車両と離れた領域に存在する前記極大値を選択する第2極大値選択手段を有し、当該第2極大値選択手段にて選択された極大値に対応する直線を抽出することを特徴とする。
【0015】
請求項6に記載の発明は、前記道路構造物検出手段は、異なる時間での検出結果に基づいて検出点に道路構造物となる信頼度を付与する道路構造物信頼度付与手段と、前記道路構造物信頼度付与手段にて高い信頼度を付与された複数の検出点に基づき、所定の条件を用いて、道路構造物と判定される検出点どうしを連結する道路構造物直線を算出する道路構造物直線算出手段と、前記道路構造物直線算出手段で算出された前回計測時の道路構造物直線近傍に存在する複数の検出点を所定の条件に基づき、道路構造物のデータとしてグルーピングを行い、道路構造物直線を示す値を更新する道路構造物直線更新手段と、有することを特徴とする。
【0016】
請求項7に記載の発明は、前記道路構造物信頼度付与手段は、前記直線抽出手段にて抽出された直線と前記道路構造物直線算出手段にて時間的前に算出された道路構造物直線と各検出点の距離を算出し、算出した距離が所定値以下、且つ検出点から所定の領域内に別の検出点が存在しなければ、信頼度を高くする第1信頼度付与手段と、各検出点と時間的に前に検出された検出点との比較から各検出点の相対速度を算出し、相対速度が所定値以下であれば、信頼度を高くし、所定値以上であれば、信頼度を低くする第2信頼度付与手段と、を有することを特徴とする。
【0017】
請求項8に記載の発明は、前記道路構造物直線算出手段は、前記道路構造物信頼度付与手段により付与された信頼度が高い検出点どうしの距離を算出し、距離が所定値以下であれば同一道路構造物を構成する検出点として連結して直線を検出することを特徴とする。
【0018】
請求項9に記載の発明は、前記道路構造物直線更新手段は、前回検出した道路構造物直線と各検出点の距離を算出し、算出した距離が所定値以下、且つ前記道路構造物信頼度付与手段により付与された信頼度が高い場合、及び、算出した距離が所定値以下、且つ信頼度が低く、近傍に走行物体が存在しない場合には、この検出点を道路構造物のデータしてグルーピングを行い、直線位置を更新することを特徴とする。
【0020】
【発明の効果】
請求項1の発明では、レーザレーダより出射される送信波の、複数物標による反射信号に基づいて、自車両から物標までの距離と横位置とを計測し、計測された複数の検出点から構成される直線を求める。そして、道路構造物から構成される検出点の領域を特定し、グルーピングをすることによって、先行車の存在により道路構造物からの検出点の連続性が途切れた状況となった場合でも道路構造物を正確にグルーピングすることができる。これにより、車両前方に存在する道路構造物を確実に検出することができる。また、物体位置を示す複数検出点の分解能を落とした距離と横位置の2次元データを用いることにより、道路構造物の検出点は2次元パラメータ空間へ変換される際に、特定のごく狭い領域に変換されることとなり、極大値を求めることが容易になる。これにより、道路構造物を構成する検出点からなる直線を容易に求めることが可能となる。
【0021】
請求項2の発明では、レーザレーダより出射される送信波の、複数物標による反射信号に基づいて、自車両から物標までの距離と横位置とを計測し、計測された複数の検出点から構成される直線を求める。そして、道路構造物から構成される検出点の領域を特定し、グルーピングをすることによって、先行車の存在により道路構造物からの検出点の連続性が途切れた状況となった場合であっても道路構造物を正確にグルーピングを行うことができる。更に、時間的な対応づけの間違いが発生し易い密集して存在する道路構造物からの検出点を除いて、残りの隣接する検出点をグルーピングする。このことから、前方の複数物標に対して正確なグルーピングと物標分類が可能となる。
【0023】
請求項3の発明では、検出直線の傾きと自車の走行方向または白線方向との相関が高くなり、自車からの横位置が離れた領域から極大値を求めることにより、正確に道路構造物の検出点から構成される直線を求めることが可能となる。
【0024】
請求項4の発明では、直線抽出手段にて抽出された直線とレーザレーダにて検出された複数の検出点との距離を計算し、この距離が所定値を越えるかどうかに基づいて、この直線が道路構造物であるか否かを判断することにより、検出領域に幅を持たせながら道路構造物の検出点を抽出することができ、正確な道路構造物のグルーピングが可能となる。
【0025】
請求項5の発明によれば、検出直線の傾きと自車両の幅方向に相関が低くなり、自車からの横位置及び縦位置が離れた領域から極大値を求めることにより、自車の前方の手前部分が直線で、遠方でカーブ路になるような複雑な道路形状においても、正確に道路構造物の検出点で構成される直線を求めることが可能になる。
【0026】
請求項6の発明によれば、異なる時間での検出結果に基づき道路構造物となる信頼度を算出し、信頼度の高い検出点で構成される道路構造物直線を求める。そして、前回の道路構造物直線から道路構造物の領域を特定し、グルーピングすることによって、今回の検出においてオクルージョン(検出できたり、できなかったりする動作が頻繁に変動すること)などにより道路構造物検出点からの反射が少ない状況においても、道路構造物を正確にグルーピングを行うことができる。
【0027】
請求項7の発明よれば、異なる時間に検出された直線との比較と近傍と検出点との位置関係により信頼度を算出することにより、オクルージョンや道路構造物の近傍に存在する車両の影響を受けない信頼度算出が行える。更に前回の検出点との比較により相対速度を求めることにより、信頼度を付与する。このように信頼度の付与を2段階で行うことにより道路構造物の信頼度算出が正確に行うことができる。請求項8の発明によれば、道路構造物の信頼度が高い検出点どうしの距離を計算し、この距離が所定値を超えるかどうかに基づいて、同一道路構造物を構成する検出点か否かを判断することにより、検出領域に幅を持たせながら、道路構造物の検出点の連結が可能になり、正確な道路構造物直線を求めることができる。
【0028】
請求項9の発明によれば、前回検出した道路構造物直線と各検出点の距離を算出し、この距離が所定値以下であり、且つ道路構造物の信頼度が高い検出点であれば、道路構造物のデータとしてグルーピングを行う。また、直線との距離が所定値以下であるが、信頼度が低い検出点においては、近傍に走行物体がなければ、道路構造物のデータとして、グルーピングを行う。このことにより、オクルージョンの影響により道路構造物の検出点が少なく、今回の検出において直線が抽出でないない場合においても道路構造物の検出点を正確に検出することができる。更に道路構造物にもかかわらず時間的な対応付けの間違えを起こし信頼度の低下した検出点を補正し、正確に道路構造物データとしてグルーピングすることが可能となる。
【0030】
【発明の実施の形態】
以下、本発明の一実施形態を、図面に基づいて説明する。ここでは、距離センサとしてスキャニングレーザレーダ(以下、レーザレーダという)を利用する場合について説明する。
【0031】
本発明は、例えば、図1に示す如くの物体検出装置に適用される。
【0032】
[物体検出装置の構成]
図1は、物体検出装置の機能的な構成を示すブロック図である。この物体検出装置は、車両前方に設けられたレーザレーダ(物体検出手段)1と、走行時の挙動を検出する車両拳動検出部2と、レーザレーダ1及び車両挙動検出部2より与えられる情報に基づいて、自車両前方に存在する物体を検出するための物体検出処理を行う演算部3と、を備えて構成されている。
【0033】
レーザレーダ1は、図2に示すように、車両の前部に設置される。また、スキャニング面において所定の角度で光軸を変更することで、所定のスキャン範囲でレーザ光を走査させる。これにより、レーザレーダ1はスキャン範囲に存在する物体にレーザ光を照射する。
【0034】
レーザレーダ1は、出射したレーザ光が前方に存在する物体に照射されて反射された反射レーザ光を検出することにより、反射レーザ光の光強度に基づいた反射信号を取得する。そして、取得した反射信号に基づいた距離計測処理を行うことにより、距離計測情報を生成し、これを演算部3に出力する。
【0035】
車両挙動検出部2は、車両のシフトポジションを検出するシフトポジションセンサと、車両左右後輪の車輪速を検出する車輪速センサと、車両の操舵角を検出する操舵角センサとを備える。このシフトポジションセンサ、車輪速センサ、操舵角センサからのセンサ信号を用いて、車両位置、車両進行方向、車両の向き、移動距離を算出する演算装置を備える。
【0036】
車両挙動検出部2は、上述の各センサより得られる車両位置、進行方向、車両の向き、移動距離を、車両走行情報として演算部3に出力する。
【0037】
演算部3は、車両内部に搭載されたCPU(Central Processing Unit), RAM(Random Access Memory), ROM(Read Only Memory), 入出力I/F等からなるマイクロコンピュータで構成されており、直線算出手段31と、直線抽出手段32と、道路構造物検出手段33と、第1のグルーピング手段34と、第2のグルーピング手段35の各機能ブロックに分割される。また、直線算出手段31は、
データ変換手段311と、直線位置算出手段312と、を具備しており、直線抽出手段32は、極大値選択手段321を具備しており、更に、道路構造物検出手段33は、道路構造物判定手段331を具備している。また、演算部3は、レーザレーダ1及び車両拳動検出部2より得られる情報に基づいて、自車両11の前方に存在する物体を検出する物体検出処理を行う。なお、この物体検出処理の詳細については後述する。
【0038】
[物体検出装置の動作]
この物体検出装置では、自車両11が走行しているときにおいて、レーザレーダ1により自車両11の前方に存在する物体の距離計測処理を行う。ここで、自車両前11の前方方向のスキャン範囲内には物体A〜Cが存在するものとし、図3を用いて説明する。
【0039】
レーザレーダ1は、スキャン範囲内にレーザ光を走査して距離計測処理をすることで、スキャン範囲に含まれる検出対象物までの距離情報を得る。これにより、レーザレーダ1(図中、LRで表記)は、図3に示すように、物体A〜Cについての距離情報を得た検出点a〜nを得る。同図では検出点a〜nは物体A〜Cについて得た距離に従ってプロットしている。レーザレーダ1は検出点a〜nについての情報を演算部3に出力する。
【0040】
演算部3は、検出点におけるZ方向の距離と、X方向の距離の最小単位を、例えばZ方向2m、X方向0.5mとして、図4(a)に示す如くの、縦軸をZ方向の距離、横軸をX方向の距離とする検出点a〜nの2次元配列データNを生成する。このとき、検出点の分解能を低下させている。即ち、図3に示す例では、a〜nの14点を検出点としているが、図4(a)では、データ格納配列は8個として、検出点が近距離の場合に同じパラメータ空間に変換している。これは、検出点を2次元パラメータ空間へ変換する際に、特定の狭い領域に変換されるようにするために処理である。
【0041】
演算部3のデータ変換手段311は、検出点の2次元配列データと同一の次元を有するパラメータ空間Sを考え、データ配置によって計算されるパラメータ空間S中の累積度の極大値を求め、更に直線位置算出手段312は、ハフ変換により、検出点から構成される直線を求める。
【0042】
また、演算部3は、以下に示す(1)式で示される関数を持つパラメータ空間θρを表現する2次元配列データSを用意し、各点の累積度を表す値を0に初期化する。
【0043】
ρ=x・cosθ+z・sinθ ・・・(1)
次いで、演算部3は、2次元配列データNを走査して検出点a〜nに対応したデータを検出する毎に、(1)式に従って、図4(b)に示すようなθρ空間に曲線を描き、曲線上の点に対応する2次元配列データS(累積値)を1だけ増加させる。
【0044】
演算部3は、上述した処理を各検出点について繰り返すことにより、θρ空間の累積値を求め、しきい値T1と比較する。極大値選択手段321は、図5に示すように、しきい値T1以上と判定したときには、検出点から構成する直線を示す極大値θm,ρmとして検出する。
【0045】
演算部3は、θは検出した直線の傾き、ρは検出した直線と原点までの距離を示すことを利用し、車両挙動検出部2で検出した車両の向きが略同一となる(即ち、θと車両の移動ベクトルの相関が高くなる)θ領域と、自車両11からX方向の距離が離れた検出点で構成される直線を示すこととなる(即ち、ρが大きい値を示す)ρ領域とが重なる範囲を、極大値選択範囲とする。
【0046】
直線抽出手段32は、上述した極大値選択範囲から極大点θρを求め、(1)式に代入することにより直線Lを求める。更に、演算部3は、図6(a)に示すように、直線Lと検出点との距離Dを計算し、しきい値T2と比較する。演算部3は、距離Dがしきい値T2以下であると判定したときには、道路構造物データとしてグルーピング処理を行う。道路構造物判定手段331は、上述した処理を各検出点について繰り返し行うことにより、図6(b)に示すように道路構造物データを検出し、得られたデータから回帰分析することで、正確な道路構造物の位置情報を取得する。
【0047】
演算部3は、上述で道路構造物データとならなかった検出点に対して、スキャン開始位置から隣接する検出点を演算し、演算して得た距離差の絶対値としきい値Zt1とを比較する。
【0048】
演算部3は、距離差の絶対値がしきい値Zt1以下であると判定したときには、距離差を演算する際に使用した2つの検出点を、同一物標から反射した反射レーザ光により得たものと判定して、グルーピング対象とする。一方、演算部3は、距離差の絶対値がしきい値Zt1以上である場合、或いは、隣接する検出点が存在せず孤立した検出点である場合には、1つの検出点でのみでグルーピング対象とする。
【0049】
演算部3は、上述した処理を各検出点について繰り返すことにより、図3に示すように、検出点d,eをグルーピングr(l、t)として認識し、検出点h,iをグルーピングr(2,t)として認識する。また演算部3は、検出点k,lをグルーピング対象とできないグルーピングr(3,t)及びr(4,t)として認識する。
【0050】
これにより、演算部3は、各グルーピングrと、各グルーピングrに含まれる検出点と、各検出点についての距離計測情報からなる第1グループデータを得る。この第1グループデータには、X方向における強度分布により自車両11の前方に存在する物体のX方向における幅を示す物体幅情報も含む。
【0051】
このように、演算部3は、道路構造物を除いたデータに対して、レーザ光の反射に基づくグルーピング処理をし、この処理を例えば所定間隔で行うことで時間的に前後する複数の第1グループデータを得る。
【0052】
また、この物体検出装置では、自車両11が走行しているときにおいて、上述の第1グルーピング処理により得た時間的に前後する第1グループデータの比較をし、時間的に前後するグルーピングrが同一のグルーピングか否かの判定をする。このとき、演算部3は、時間的に前後するグループデータの情報を比較する。そして、演算部3は、時間的に前後する同一グループデータについての自車両11に対する相対速度を計算する。
【0053】
演算部3は、第1グルーピング処理を行うときには、時間的に前に相対速度を演算した第1グループデータと、今回の処理対象となる第1グループデータとの比較を行う。演算部3は、時間的に前に相対速度を演算した第1グループデータと、今回の処理対象となる第1グループデータについて、以下に示す(a1)、(a2)の、2つの条件を満たす場合には、時間的に前後する第1グループデータが同一物標によるものであると判定する。
【0054】
(a1)時間的に前に検出された第1グループデータの相対速度から推定した今回の自車両11との距離と、実測した今回の第1グループデータとの距離差の絶対値がしきい値Zt2以下である。
【0055】
(a2)時間的に前に検出された第1グループデータのX方向における中心点と、今回の第1グループデータのX方向における中心点の距離差の絶対値がしきい値Xt1以下である。
【0056】
上述の第1グルーピング処理の次に、演算部3は、時間的に前の第1グループデータと同一物標によるものと認識された第1グループデータについて自車両11に対する相対速度を演算し、第1グループデータに含まれる情報として追加する。
【0057】
また、演算部3は、時間的に前の第1グループデータと同一物標によるものと認識されていない第1グループデータについては、相対速度の演算ができず、内部メモリに保持しておき、次回の第1グルーピング処理時に使用する。
【0058】
これにより、演算部3は、各グルーピングrと各グルーピングrに含まれる各検出点と、各検出点についての距離計測情報と相対速度情報とからなる第1グループデータを得る。
【0059】
演算部3は、上述の第1グルーピング処理後に、第2グルーピング処理を行う。このグルーピング処理では時間的に前に既に求められた第2グループデータと今回検出された相対速度が計算された第1グループデータとの比較を行う。ここで演算部3は、前回の第2グループデータにおけるX方向の中心位置から左右1/2車線幅(例えば1.75m)をグルーピング範囲として決定し、この範囲内に存在する複数の検出点をグルーピングする。
【0060】
演算部3は、前回の第2グループデータと、今回の相対速度が計算され、上述のグルーピング範囲にX方向の中心位置が存在する第1グループデータについて、以下に示す(b1)〜(b4)の4つの判定条件を全て満たす場合に、前回の第2グループデータと今回のグループデータとを同一物標とする。
【0061】
(b1)前回の第2グループデータの相対速度から推定した今回の自車両11との距離と、今回の第1グループデータとの距離差の絶対値がしきい値Zt3以下。
【0062】
(b2)前回の第2グループデータの相対速度と今回の第1グループデータの相対速度比が0より大きい、ただし前回の第2グループデータの相対速度の絶対値が所定値(例えば5m/s程度)の場合は、適用除外とする。
【0063】
(b3)前回の第2グループデータの相対速度と、今回の第1グループデータの相対速度との相対速度差がしきい値Vt1以下。
【0064】
(b4)結合後の第2のグループデータの物体幅がしきい値Wt1以下。
【0065】
更に、上記の判定条件を満たさずに同一物標がない第1グループデータについては、演算部3は第1グループデータどうしでグルーピングを行い、以下に示す(c1)〜(c3)に示す3つの判定条件を満たす場合に、新規の第2グループデータとしてグループ化する。
【0066】
(c1)今回の第1グループデータどうしにおける距離差の絶対値がZt4以下。
【0067】
(c2)今回の第1グループデータどうしにおける相対速度の絶対値がVt2以下。
【0068】
(c3)グルーピング後の物体幅がしきい値Wt2以下。
【0069】
また、演算部3は、同一物標がない第1グループデータについての判定条件を満たさない場合には、1つの各第1グループデータを新規に第1グループデータとする。
【0070】
このような、第2グルーピング処理を行うことにより、演算部3は、自車両11の前方に存在する物体に含まれる検出点で構成される第2グループデータを生成する。
【0071】
[演算部3による物体検出手順]
図7は、演算部3により物体検出処理を行う際の処理手順を示すフローチャートである。同図に示すように、自車両11が走行しているときにおいて、ステップS1以降の処理を開始する。
【0072】
ステップS1において、レーザレーダ1により車両前方をスキャンすることでスキャン範囲内でレーザ光を走査し、前方に存在する物体からの反射レーザ光を得る。これにより、レーザレーダ1は、自車両11の前方に存在する物体との距離計測情報を得て、各検出点に関する情報を得る。
【0073】
次に、ステップS2において、演算部3は、上述した2次元配列データ生成を行う。このとき、演算部3は、例えばZ方向とX方向の距離の最小単位をそれぞれ、2m及び0.5mとして、ステップS1の処理で得られた検出点を2次元配列データNに変換する。
【0074】
次いで、ステップS3において、演算部3は、上述した2次元パラメータ空間Sへの変換を行う。このとき演算部3は、θρ空間を表現する2次元配列データSをあらかじめ0に初期化し、検出点を変換した2次元配列データN内を順に走査し、データが存在すれば、上述した(1)式に基づいて、θρ空間に曲線を描き、曲線上の点に対応する2次元配列データSの値を1だけ増加させる。このような処理を2次元配列データNの全配列データに対して行い、次のステップS4の処理に移行する。
【0075】
ステップS4において、演算部3は、θρ空間を表現する2次元配列データSから、道路構造物の検出点で構成される直線に対応する極大値(θm,ρm)の選択を行う。このとき演算部3は、まず2次元配列データSの値としきい値T1の比較を行い、しきい値T1以上となる値は、複数の検出点から構成される直線に対応する極大値とする。
【0076】
更に、演算部3は、道路構造物の検出点から構成される直線に対応する極大値を選択するため、上述の極大値選択範囲の設定を行い、この領域内に存在する極大値を道路構造物の検出点で構成される直線を示す値として選択し、ステップS5の処理に移行する。
【0077】
ステップS5において、演算部3は、ステップS1で検出した検出点が道路構造物か否かを判定する。このとき演算部3は、ステップS4により選択した極大値から直線式を求め、ステップS1で検出した検出点との比較を行い、道路構造物とするための判定条件を満たすときは、ステップS6、ステップS7の処理に移行し、判定条件を満たさないときには、ステップS8以降の処理に移行する。
【0078】
ステップS6において、演算部3は、道路構造物のグルーピングを行う。このとき演算部3は、ステップ5において道路構造物と判定された検出点を内部メモリに保存する。
【0079】
ステップS7において、演算部3は、内部メモリに保存された道路構造物とした検出点を読み出し、これらの点から直線式を再計算し、道路構造物の位置情報として出力し、ステップS1に処理する。
【0080】
ステップS8において、演算部3は、ステップS5において道路構造物と判定されなかった検出点に対して上述した第1グルーピング処理を行う。このとき演算部3は、例えばスキャン範囲において自車両11から見た右側の端部から検出点間の距離を演算し、演算して得た距離差の絶対値がしきい値Zt1以下であるときは、第1グループデータとする。そして、演算部3は、順次距離差の絶対値がしきい値Zt1を超える位置、或いは、隣接する点が存在しない位置まで検出点の比較をする。演算部3は、この第1グループデータ処理を行うことで、グルーピングに含まれる各検出点の距離を平均して得たグルーピング距離、グルーピングのX方向における中心点、グルーピングの右端点と左端点との位置差とレーザレーダ1による単位スキャン幅とを加算した物体幅からなる第1グループデータを内部メモリに保存し、ステップS9の処理に移行する。
【0081】
ステップS9において、演算部3は、上述した時間的に前後する第1グループデータの比較を行う。演算部3は、ステップS8で得た第1グループデータ及び前回に取得して内部メモリに格納された第1グループデータのうち、相対速度が計算されている第1グループデータの比較を行い、上述の同一物標からの第1グループデータと判定するときの判定条件を満たすときには同一物標とする。これにより、演算部3は、後のステップで相対速度を計算するために、第1グループデータに過去2点の距離計測情報を追加する。
【0082】
このステップS9において、演算部3は、ステップS8で得た各第1グループデータごとに時系列判断するための判定条件を満たすか否かの判定をし、判定条件を満たす第1グループデータであるときには、時系列的な対応付けが可能な過去の第1グループデータが存在するとしてステップS11に処理を進める。
【0083】
更に、このステップS9において、演算部3は、相対速度が検出されている前回の第1グループデータと今回の第1グループデータとが判定条件を満たさない場合は、前々回の第1グループデータと今回の第1グループデータとが判定条件を満たすか否かを判定する。演算部3は、今回の第1グループデータが前々回の第1のグループデータとの間で時系列判断するための判定条件を満たさないときには、過去の第1グループデータを削除する。
【0084】
また、このステップS9において、演算部3は、相対速度が検出されている前回、前々回の第1グループデータと今回の第1グループデータとが判定条件を満たさない場合には、相対速度が計算されていない前回の第1グループデータと判定条件を満たすか否かを判定する。今回の第1グループデータが前回の相対速度が計算されていない第1グループデータとの間で時系列判断するための判定条件を満たさないときには、ステップS10の処理を進める。
【0085】
ステップS10において、演算部3は、ステップS9で過去の第1グループデータと同一物標によるものでないと判定された今回の第1グループデータのZ方向における距離、X方向における中心点、物体幅を保存して、ステップS1に処理を戻す。なお、このとき保存した各種情報は、次回以降のステップS9の時系列判断で使用する。
【0086】
ステップS11において、演算部3は、過去の第1グループデータとの間で時系列判断をするための判定条件を満たした第1グループデータについて、今回、前回及び前々回の距離情報を用いて相対速度を計算し、計算した相対速度情報を第1グループデータに追加する。
【0087】
演算部3は、上述のステップS9〜ステップS11までの処理をステップS8で検出した全ての第1グループデータについて行い、以降のステップS12〜ステップS14の処理に移行する。
【0088】
ステップS12において、演算部3は、ステップS11で相対速度が計算された第1グループデータと過去の第2グループデータとの比較をして、同一物標と判定するための判定条件を満たす第1グループデータが存在するか否かを判定する、演算部3は、同一物標を判定するための判定条件を満たす第2グループデータが存在すると判定したときにはステップS14に処理を進め、存在しないと判定したときには、ステップS13に処理を進める。
【0089】
ステップS12において、演算部3は、過去の第2グループデータと同一物標とされた第1グループデータからZ方向における距離の平均値、物体の左右端点、相対速度の平均を求める。
【0090】
次にステップS14において、演算部3は、ステップS12で得た各種情報をZ方向における距離、X方向における物体の位置、物体幅、相対速度、検出回数の値を更新する。
【0091】
更に、ステップS13において、演算部3は、ステップS12において過去の第2グループデータとの間で判定条件を満たさず、同一物体が存在しない第1グループデータどうしを比較し、同一物標するための判定条件を満たすときにはグルーピングを行い、新規に第2グループデータを生成し、判定条件を満たさないときには1つの第1グループデータで新規に第2グループデータを生成し、ステップS13に処理を進める。
【0092】
このようなステップS12〜ステップS14までの処理を、ステップS11で相対速度が計算された全ての第1グループデータに対して行い、ステップS15の処理に移行する。
【0093】
ステップS15において、演算部3は、ステップS12〜ステップS14の処理で得た自車両11に対するZ方向における距離、X方向における距離、物体幅、相対速度を、例えば運転者が認識できるような形態にして提示する。
【0094】
このようにして、本実施形態に係る前方物体検出装置では、ハフ変換を用いることにより、同一直線上に存在する検出点をグルーピングするので、先行車両の存在により、同一の道路構造物より得られる検出信号が途切れた場合であっても、確実にこの道路構造物を検出することができる。従って、自車両がカーブ路にさしかかった場合であっても、確実な前方物体の検出が可能となる。
【0095】
更に、検出点の分解能を低下させることにより、道路構造物の検出点は2次元パラメータ空間へ変換される際に、特定のごく狭い領域に変換されることとなり、極大値を求める処理が容易となる。
【0096】
次に、本発明の第2の実施形態について説明する。図8は、第2の実施形態に係る前方物体検出装置の構成を示すブロック図である。本実施形態に係る前方物体検出装置においても、前述した第1の実施形態と同様に、レーザレーダ1と、車両挙動検出部2と、演算部3と、を具備している。また、演算部3は、直線算出手段31と、直線抽出手段32と、道路構造物検出手段33と、第1のグルーピング手段34と、第2のグルーピング手段35と、を具備している点で、第1の実施形態と一致している。
【0097】
但し、直線抽出手段32、及び道路構造物検出手段33の構成が相違しているので、以下、この点について説明する。
【0098】
図8に示すように、直線抽出手段32は、第2極大値選択手段322を有している。該第2極大値選択手段322は、θが検出した直線の傾きを示し、ρが検出した直線から原点までの距離を示すことを利用して、車両の幅方向と相関が低くなるθ領域と、自車両11からX及びY方向の距離が離れた検出点で構成される直線を示すことになるρ領域とが重なる範囲を第2極大値選択範囲として設定する処理を行う。
【0099】
そして、直線抽出手段32は、上記の処理にて設定された第2極大値選択範囲から極大値θ,ρを求め、この極大値θ,ρを前述した(1)式、即ち、下記の式に代入することにより、直線L1を求める。
【0100】
ρ=x・cosθ+z・sinθ ・・・(1)
また、道路構造物検出手段33は、道路構造物信頼度付与手段332と、道路構造物直線算出手段333と、道路構造物直線更新手段334と、を具備している。
【0101】
道路構造物信頼度付与手段332は、図9に示すように、直線L1と検出点との距離Dを計算し、この距離Dとしきい値T2とを比較する。そして、距離Dがしきい値T2以下であると判定し、X方向に車幅程度(例えば、4m程度)、Z方向に1m程度の範囲内に別の検出点が存在しなければ、この検出点を道路構造物候補として該検出点の信頼度C(道路構造物である可能性を示す数値)を上げる。更に、他の道路構造物直線L2が検出されている場合には、同様にこの検出点と直線L2との距離を計算し、しきい値T2と比較し、上述と同じ条件を満たした場合には、信頼度Cを上げる(第1信頼度付与手段)。
【0102】
また、道路構造物信頼度付与手段332は、前回の検出点(前回のスキャン時における検出点)と今回の検出点(今回のスキャン時における検出点)との比較を行う。前回の検出点と今回の検出点について、以下に示す(d1)、(d2)の2つの条件を満たす場合には、これらを同一検出点と判定し、この検出点の自車両11に対する相対速度Vを計算する。
【0103】
(d1)前回の検出点の自車両11からの距離と、今回の検出点の自車両からの距離の、距離差の絶対値がしきい値Zt5以下である。
【0104】
(d2)前回の検出点のX方向の位置と、今回の検出点のX方向の位置との距離差の絶対値がしきい値Xt2以下である。
【0105】
そして、道路構造物信頼度付与手段332は、上記(d1),(d2)の条件満たして求められる相対速度Vが、しきい値Vt3未満であると判定したときには、この検出物は、道路構造物である可能性が高いので、道路構造物データとして信頼度Cを上げ、反対に、しきい値Vt3以上と判定したときには、走行物体である可能性が高いので、信頼度Cを下げる(第2信頼度付与手段)。当該道路構造物信頼度付与手段332は、上述した処理を各検出点について繰り返し行うことにより道路構造物候補データを検出し、各検出点に信頼度を付与する。
【0106】
道路構造物直線算出手段333は、図10に示すように、上述での処理で付与した信頼度Cが、しきい値Ct1以上となる検出点を、自車両11に近い検出点から順に取得する。
【0107】
そして、道路構造物直線上の検出点として求められておらず、自車両11に最も近いしきい値Ct1以上となる検出点と、この検出点と隣接するしきい値Ct1以上の検出点と、を得る。次いで、しきい値Ct1以上となる各検出点の、Z方向の距離差がしきい値Zt6以下、X方向の距離差がしきい値Xt3以下である場合には、これらの検出点は、同一道路構造物より得られた検出点であるとし、それぞれの検出点を始点及び終点として連結する直線を算出する。
【0108】
更に、道路構造物直線算出手段333は、各検出点が、以下に示す(e1)、(e2)の2つの条件を満たすときに、これらの検出点が同一道路構造物より得られたものであるとして、各検出点を連結し、直線の終点を更新する。また、2つの条件を満たさない場合には、その検出点を始点として新たな道路構造物直線を算出する。
【0109】
(e1)直線の終点となる検出点と検出点のZ方向の距離差がしきい値Zt6以下。
【0110】
(e2)検出点のZ方向の位置における直線上の点を推定し、その推定点と検出点のX方向の距離差の絶対値がしきい値Xt3以下。
【0111】
そして、道路構造物直線算出手段333は、上述の処理を信頼度Cがしきい値Ct1以上となる点について繰り返し行うことにより、道路構造物直線を算出する。
【0112】
道路構造物直線更新手段334は、上述した道路構造物直線算出手段333において、前回算出された直線L2(前回スキャン時による測定で算出された直線)と、今回の検出点との距離Dを計算し、この距離Dとしきい値T2とを比較する。そして、距離Dがしきい値T2以下であると判定し、信頼度Cがしきい値Ct1以上である判定とし、且つ、以下に示す(f1)を満たす場合には、この検出点は道路構造物であるものとしてグルーピング処理を行う。
【0113】
他方、距離Dがしきい値T2以下であると判定し、信頼度Cがしきい値Ct1未満であると判定し、且つ、以下に示す(f1)、(f2)を満たす場合にはこの検出点は、道路構造物であるものとしてグルーピング処理を行う。
【0114】
(f1)検出点のZ方向の距離が、{過去に道路構造物直線として検出されたZ方向の最小検知距離}−A(Aは1.0m程度)以下で、{最大検知距離}+A以下。
【0115】
(f2)X方向に車幅程度(4m程度)、Z方向に1m程度の範囲内に走行物体が存在しない。
【0116】
道路構造物直線更新手段334は、上述した処理を各道路構造物直線と各検出点について繰り返し行うことにより、道路構造物データを検出し、得られた検出点から道路構造物直線の始点・終点・最大検知距離・最小検知距離の位置を更新する。
【0117】
次に、第2の実施形態に係る前方物体検出装置の動作について説明する。図11,図12は、図8に示した演算部3により、物体検出処理を行う際の処理手順を示すフローチャートである。
【0118】
同図に示すように、自車両11が走行しているときにおいて、ステップS1以降の処理を開始する。ここで、ステップS1〜S3までの処理手順は上述の処理手順(図7参照)と同様な処理手順となるので、省略する。
【0119】
図11に示すステップS40において、演算部3は、θρ空間を表現する2次元配列データSから、道路構造物の検出点で構成される直線に対応する極大値(θm、ρm)の選択を行う。このとき演算部3は、まず2次元配列データSの値としきい値T1の比較を行い、しきい値T1以上となる値は、複数の検出点から構成される直線に対応する極大値とする。
【0120】
更に、演算部3は、道路構造物の検出点から構成される直線に対応する極大値を選択するため、上述の第2極大値選択範囲の設定を行い、この領域内に存在する極大値を道路構造物の検出点で構成される直線を示す値として選択し、ステップS50の処理に移行する。
【0121】
ステップS50において、演算部3は、ステップS1で検出した検出点が道路構造物候補か否かを判定する。このとき演算部3は、ステップS40により選択した極大値から直線式を求め、ステップS1で検出した検出点との比較を行い、道路構造物候補とするための判定条件を満たすときは、検出点の信頼度を上げる。
【0122】
更に、道路構造物直線が検出されていれば、ステップS1で検出した点との比較を行い、道路構造物候補とするための判定条件を満たすときは、検出点の信頼度を上げ、次のステップS51の処理に移行する。
【0123】
ステップS51において、演算部3は、ステップS1で検出した検出点と前回のステップS1で検出した検出点の比較を行い、同一検出点の判定条件を満たすときには、相対速度Vを計算する。相対速度Vが検出されれば、該相対速度Vとしきい値Vt3との比較を行い、しきい値Vt3未満となる検出点は信頼度を上げ、しきい値Vt3以上の検出点は信頼度を下げ、次のステップS52の処理へ移行する。
【0124】
ステップS52では、演算部3はステップS1で検出した検出点が道路構造物か否かを判定する。このとき演算部3は、時間的に前のステップS53で検出された道路構造物直線と、ステップS1で検出した検出点との比較を行い、道路構造物とするための判定条件を満たすときは、ステップS60、ステップS7の処理に移行し、判定条件を満たさないときには、ステップS53以降の処理に移行する。
【0125】
ステップS53では、演算部3はステップS52で道路構造物と判定されなかった点のうち信頼度がしきい値Ct1以上の検出点に対して、道路構造物直線となるか否かを判定する。このとき演算部3は信頼度がCt1以上の検出点の比較を同一道路構造物直線となる判定条件を満たせば、道路構造物直線を算出し、ステップS60、ステップS7の処理に移行し、判定条件を満たさないときにはステップS8以降の処理に移行する。
【0126】
ステップS60において、演算部3は、道路構造物のグルーピングを行う。このとき演算部3は、ステップ52、ステップ53において道路構造物と判定された検出点を内部メモリに保存し、道路構造物直線を表す値として、始点・終点・最小検出距離・最大検出距離の位置を保存する。
【0127】
ステップS7において、演算部3は、内部メモリに保存された道路構造物とした検出点を読み出し、これらの点から直線式を再計算し、道路構造物の位置情報として出力し、ステップS1に処理を戻す。
【0128】
なお、ステップS8以降の処理手順は、図7に示したフローチャートの処理手順と同様な処理手順となるので、省略する。
【0129】
このようにして、第2の実施形態に係る前方物体検出装置では、オクルージョン等の影響により、道路構造物検出点からの反射が少ない場合であっても、道路構造物を正確にグルーピングすることができる。これにより、道路構造物を高精度に検出することができるようになる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る前方物体検出装置の構成を示すブロック図である。
【図2】車両に搭載されたレーザレーダの構成を示す説明図である。
【図3】レーザレーダにて検出される複数物体の距離計測の様子を示す説明図である。
【図4】検出点から直線を求める方法を説明する図であり、(a)は検出点を距離と横位置の2次元配列データへの変換を説明する図、(b)は2次元配列データをθρ空間への変換を説明する図である。
【図5】直線とθρ空間の関係と極大値を選択する処理の説明図である。
【図6】道路構造物の検出点をグループ化する処理の説明図である。
【図7】本実施形態に係る前方物体検出装置の処理手順を示すフローチャートである。
【図8】本発明の第2の実施形態に係る前方物体検出装置の構成を示すブロック図である。
【図9】演算部により検出点に道路構造物となる信頼度を付与する方法を示す説明図である。
【図10】演算部により信頼度が高い検出点を連結し、道路構造物直線を算出する方法を示す説明図である。
【図11】第2の実施形態に係る前方物体検出装置の動作を示すフローチャートの、第1の分図である。
【図12】第2の実施形態に係る前方物体検出装置の動作を示すフローチャートの、第2の分図である。
【図13】従来における物体検出手法を示す説明図である。
【符号の説明】
1 レーザレーダ(物体検出手段)
2 車両挙動検出部
3 演算部
31 直線算出手段
311 データ変換手段
312 直線位置算出手段
32 直線抽出手段
321 極大値選択手段
322 第2極大値選択手段
33 道路構造物検出手段
331 道路構造物判定手段
332 道路構造物信頼度付与手段
333 道路構造物直線算出手段
334 道路構造物直線更新手段
34 第1のグルーピング手段
35 第2のグルーピング手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a forward object detection device that detects an object such as a preceding vehicle or a road structure existing in front of a host vehicle.
[0002]
[Prior art]
As a grouping processing method of a scanning radar signal mounted on a vehicle and used as a detection device for detecting the presence of a structure (a guard rail or the like) existing in front of the vehicle or a preceding vehicle, for example, JP-A-7-270536 No. 1 (hereinafter referred to as a conventional example) is known.
[0003]
This conventional example uses a radar mounted on a vehicle to measure distances and lateral positions (positions in a direction perpendicular to the road) from multiple objects, and arranges detection targets in order of distance. In accordance with the order of replacement and rearrangement, it is determined whether the detection objects adjacent to each other have continuity in a predetermined direction. Then, grouping is performed based on the result of the continuity determination, and the detected target is classified as a road structure having continuity or a preceding vehicle having no continuity based on information on detection points belonging to the group.
[0004]
[Problems to be solved by the invention]
However, in the method described in the above-described conventional example, grouping and detection target classification are performed depending on whether adjacent detection points have continuity in a predetermined direction. When there is a curved road and there is a preceding vehicle, the detection point from the road structure may be interrupted by being hidden by the preceding vehicle. In such a situation, the detection points of the grouped road structures may be classified as a preceding vehicle because it is determined that there is no continuity in the determination using only the relationship between the relative position and the total number of detections. is there.
[0005]
This will be described with reference to the explanatory diagram shown in FIG. 13. When a curved road exists ahead of the host vehicle, a road structure such as a delineator may be hidden behind the preceding vehicle. Therefore, three groups A, B, and C are obtained. Actually, although group B and group C are the same structure, they may be recognized as separate bodies.
[0006]
In other words, when a road structure such as a guardrail is originally placed over a long distance along the road, but is hidden by a preceding vehicle, continuity is detected. As a result, it may be determined that the vehicle is a preceding vehicle even though it is a guardrail.
[0007]
Therefore, in the conventional method of classifying detection points from the function of the relative position and the total number of detections, there is a problem that there is a high possibility that a road structure is erroneously determined as a preceding vehicle.
[0008]
The present invention has been made to solve such a conventional problem, and an object of the present invention is to provide a front object detection device capable of accurately detecting an object existing in front of the host vehicle. It is to provide.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the invention described in
[0010]
The invention according to
[0012]
Claim3In the invention described in (1), the straight line extracting means has a high correlation with the traveling direction of the own vehicle or the white line direction of the road on which the own vehicle travels among the straight lines calculated by the straight line calculating means. It has a maximum value selection means for selecting the maximum value existing in a region away from the vehicle, and a straight line corresponding to the maximum value selected by the maximum value selection means is extracted.
[0013]
Claim4The road structure detecting means calculates the distance between the straight line extracted by the straight line extracting means and each detection point used when extracting the straight line, and the calculated distance is A road structure determining means for determining that the detected point is data of a road structure when the value is equal to or less than a predetermined value is provided.
[0014]
Claim5In the invention described in the
[0015]
Claim6The road structure detecting means includes a road structure reliability providing means for giving a reliability that the road structure is a detection point based on detection results at different times, and the road structure reliability. A road structure straight line that calculates a road structure straight line that connects detection points determined to be road structures based on a plurality of detection points given high reliability by the degree giving means. A plurality of detection points existing in the vicinity of the road structure straight line at the time of the previous measurement calculated by the calculation means and the road structure straight line calculation means are grouped as road structure data based on a predetermined condition, and the road structure Road structure straight line updating means for updating a value indicating a physical line;
[0016]
Claim7The road structure reliability assigning means includes: the straight line extracted by the straight line extracting means; the road structure straight line calculated before time by the road structure straight line calculating means; and each detection A first reliability providing means for increasing the reliability if the calculated distance is less than or equal to a predetermined value and there is no other detection point within a predetermined area from the detection point; and each detection point The relative speed of each detection point is calculated from a comparison with the detection point detected in time, and if the relative speed is equal to or lower than a predetermined value, the reliability is increased, and if the relative speed is equal to or higher than the predetermined value, the reliability is calculated. And a second reliability providing means for lowering.
[0017]
Claim8The road structure straight line calculating means calculates the distance between detection points with high reliability given by the road structure reliability giving means, and the same road if the distance is not more than a predetermined value A straight line is detected by connecting the detection points constituting the structure.
[0018]
Claim9The road structure straight line update means calculates the distance between the previously detected road structure straight line and each detection point, the calculated distance is equal to or less than a predetermined value, and the road structure reliability providing means If the assigned reliability is high, or if the calculated distance is less than or equal to a predetermined value and the reliability is low and there is no traveling object in the vicinity, the detected points are grouped using road structure data. The linear position is updated.
[0020]
【The invention's effect】
According to the first aspect of the present invention, the distance from the host vehicle to the target and the lateral position are measured based on the reflected signal of the transmission wave emitted from the laser radar, and a plurality of detected detection points. Find a straight line composed of Even if the detection point area consisting of the road structure is specified and grouped, the continuity of the detection points from the road structure is interrupted due to the presence of the preceding vehicle. Can be grouped accurately. Thereby, the road structure existing in front of the vehicle can be reliably detected.Further, by using the two-dimensional data of the distance and the lateral position with reduced resolution of the plurality of detection points indicating the object position, the detection point of the road structure is converted into a specific very small area when converted into the two-dimensional parameter space. It becomes easy to obtain the maximum value. Thereby, it becomes possible to easily obtain a straight line composed of detection points constituting the road structure.
[0021]
According to the invention of
[0023]
Claim3In this invention, the correlation between the inclination of the detection straight line and the traveling direction of the own vehicle or the direction of the white line is high, and the detection point of the road structure is accurately obtained by obtaining the maximum value from the region where the lateral position from the own vehicle is separated. It is possible to obtain a straight line composed of
[0024]
Claim4In this invention, the distance between the straight line extracted by the straight line extracting means and the plurality of detection points detected by the laser radar is calculated, and the straight line is determined based on whether or not the distance exceeds a predetermined value. By determining whether or not the object is an object, the detection points of the road structure can be extracted while keeping the width of the detection area, and the grouping of the road structure can be performed accurately.
[0025]
Claim5According to the present invention, the correlation between the inclination of the detection straight line and the width direction of the host vehicle is low, and the front portion of the front of the host vehicle is obtained by obtaining the maximum value from the region where the horizontal position and the vertical position are separated from the host vehicle. It is possible to accurately obtain a straight line composed of detection points of a road structure even in a complicated road shape in which is a straight line and becomes a curved road at a distance.
[0026]
Claim6According to this invention, the reliability of the road structure is calculated based on the detection results at different times, and the road structure straight line constituted by the detection points with high reliability is obtained. Then, by identifying the area of the road structure from the previous road structure straight line and grouping it, the road structure is subject to occlusion (the action that can or cannot be detected frequently) in this detection. Even in a situation where there is little reflection from the detection point, the road structures can be accurately grouped.
[0027]
Claim7According to the invention of the present invention, by comparing the straight lines detected at different times and calculating the reliability based on the positional relationship between the vicinity and the detection point, the reliability is not affected by the vehicle existing in the vicinity of the occlusion or the road structure. The degree can be calculated. Furthermore, reliability is given by calculating | requiring a relative speed by comparison with the last detection point. Thus, the reliability calculation of the road structure can be performed accurately by giving the reliability in two stages. Claim8According to the invention, the distance between the detection points with high reliability of the road structure is calculated, and whether or not the detection points constitute the same road structure is determined based on whether or not the distance exceeds a predetermined value. By doing so, it becomes possible to connect the detection points of the road structure while keeping the width of the detection region, and an accurate road structure straight line can be obtained.
[0028]
Claim9According to the invention, the distance between the previously detected road structure straight line and each detection point is calculated, and if this distance is a predetermined value or less and the road structure is highly reliable, the road structure Grouping as data. Further, at a detection point whose distance from the straight line is equal to or less than a predetermined value but has a low reliability, if there is no traveling object in the vicinity, grouping is performed as road structure data. As a result, road structure detection points can be accurately detected even when the number of road structure detection points is small due to the influence of occlusion and no straight line is extracted in the current detection. Furthermore, it is possible to correct a detection point whose reliability has been lowered due to a mistake in temporal association in spite of the road structure, and to accurately group it as road structure data.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. Here, a case where a scanning laser radar (hereinafter referred to as a laser radar) is used as a distance sensor will be described.
[0031]
The present invention is applied to, for example, an object detection apparatus as shown in FIG.
[0032]
[Configuration of Object Detection Device]
FIG. 1 is a block diagram illustrating a functional configuration of the object detection apparatus. This object detection apparatus includes a laser radar (object detection means) 1 provided in front of the vehicle, a vehicle
[0033]
As shown in FIG. 2, the
[0034]
The
[0035]
The vehicle
[0036]
The vehicle
[0037]
The
The data conversion means 311 and the straight line position calculation means 312 are provided, the straight line extraction means 32 is provided with a local maximum selection means 321, and the road structure detection means 33 is further provided with a road structure determination.
[0038]
[Operation of object detection device]
In this object detection device, when the
[0039]
The
[0040]
The
[0041]
The data conversion means 311 of the
[0042]
In addition, the
[0043]
ρ = x · cos θ + z · sin θ (1)
Next, every time the
[0044]
The
[0045]
The
[0046]
The straight
[0047]
The
[0048]
When the
[0049]
The
[0050]
Thereby, the calculating
[0051]
In this way, the
[0052]
Further, in this object detection device, when the
[0053]
When performing the first grouping process, the
[0054]
(A1) The absolute value of the distance difference between the
[0055]
(A2) The absolute value of the distance difference between the center point in the X direction of the first group data detected in time and the center point in the X direction of the current first group data is equal to or less than the threshold value Xt1.
[0056]
Next to the first grouping process described above, the
[0057]
In addition, the
[0058]
Thereby, the
[0059]
The
[0060]
The
[0061]
(B1) The absolute value of the distance difference between the
[0062]
(B2) The relative speed ratio between the previous second group data and the current first group data is greater than 0, provided that the absolute value of the relative speed of the previous second group data is a predetermined value (for example, about 5 m / s). ) Is exempted.
[0063]
(B3) The relative speed difference between the previous relative speed of the second group data and the current relative speed of the first group data is equal to or less than the threshold value Vt1.
[0064]
(B4) The object width of the second group data after combining is equal to or less than the threshold value Wt1.
[0065]
Further, for the first group data that does not satisfy the above-described determination condition and does not have the same target, the
[0066]
(C1) The absolute value of the distance difference between the current first group data is Zt4 or less.
[0067]
(C2) The absolute value of the relative speed between the first group data of this time is Vt2 or less.
[0068]
(C3) The object width after grouping is equal to or less than the threshold value Wt2.
[0069]
Moreover, the calculating
[0070]
By performing such a second grouping process, the
[0071]
[Object Detection Procedure by Calculation Unit 3]
FIG. 7 is a flowchart illustrating a processing procedure when the
[0072]
In step S <b> 1, the
[0073]
Next, in step S2, the
[0074]
Next, in step S <b> 3, the
[0075]
In step S4, the
[0076]
Further, the
[0077]
In step S5, the
[0078]
In step S6, the
[0079]
In step S7, the
[0080]
In step S8, the
[0081]
In step S <b> 9, the
[0082]
In step S9, the
[0083]
Further, in step S9, when the previous first group data in which the relative speed is detected and the current first group data do not satisfy the determination condition, the
[0084]
In step S9, the
[0085]
In step S10, the
[0086]
In step S11, the
[0087]
The
[0088]
In step S12, the
[0089]
In step S <b> 12, the
[0090]
Next, in step S14, the
[0091]
Further, in step S13, the
[0092]
Such processes from step S12 to step S14 are performed on all the first group data whose relative speeds are calculated in step S11, and the process proceeds to step S15.
[0093]
In step S15, the
[0094]
In this way, in the forward object detection device according to the present embodiment, the detection points existing on the same straight line are grouped by using the Hough transform, so that it is obtained from the same road structure due to the presence of the preceding vehicle. Even when the detection signal is interrupted, the road structure can be reliably detected. Therefore, even when the host vehicle is approaching a curved road, it is possible to reliably detect the forward object.
[0095]
Furthermore, by reducing the resolution of the detection point, the detection point of the road structure is converted into a specific very narrow area when the road structure is converted into the two-dimensional parameter space, and the processing for obtaining the maximum value is facilitated. Become.
[0096]
Next, a second embodiment of the present invention will be described. FIG. 8 is a block diagram illustrating a configuration of the front object detection device according to the second embodiment. The front object detection apparatus according to the present embodiment also includes the
[0097]
However, since the configurations of the straight line extraction means 32 and the road structure detection means 33 are different, this point will be described below.
[0098]
As shown in FIG. 8, the straight
[0099]
The straight
[0100]
ρ = x · cos θ + z · sin θ (1)
The road
[0101]
As shown in FIG. 9, the road structure
[0102]
The road structure
[0103]
(D1) The absolute value of the distance difference between the distance from the
[0104]
(D2) The absolute value of the difference in distance between the previous detection point in the X direction and the current detection point in the X direction is equal to or less than the threshold value Xt2.
[0105]
When the road structure
[0106]
As shown in FIG. 10, the road structure straight line calculation means 333 sequentially acquires detection points whose reliability C given in the above-described process is equal to or higher than the threshold value Ct1 from detection points close to the
[0107]
And it is not calculated | required as a detection point on a road structure straight line, The detection point which becomes more than threshold value Ct1 nearest to the
[0108]
Further, the road structure straight line calculation means 333 is obtained by obtaining each detection point from the same road structure when the following two conditions (e1) and (e2) are satisfied. Assuming there is a connection, the detection points are connected and the end point of the line is updated. If the two conditions are not satisfied, a new road structure straight line is calculated with the detected point as the starting point.
[0109]
(E1) The difference in distance between the detection point serving as the end point of the straight line and the detection point in the Z direction is equal to or less than the threshold value Zt6.
[0110]
(E2) A point on the straight line at the position of the detection point in the Z direction is estimated, and the absolute value of the distance difference between the estimated point and the detection point in the X direction is equal to or less than the threshold value Xt3.
[0111]
Then, the road structure straight line calculation means 333 calculates the road structure straight line by repeatedly performing the above-described processing for points where the reliability C is equal to or higher than the threshold value Ct1.
[0112]
The road structure straight
[0113]
On the other hand, when it is determined that the distance D is equal to or less than the threshold value T2, the reliability C is determined to be less than the threshold value Ct1, and the following (f1) and (f2) are satisfied, this detection is performed. The points are grouped by assuming that they are road structures.
[0114]
(F1) The distance in the Z direction of the detection point is {minimum detection distance in the Z direction previously detected as a road structure straight line} -A (A is about 1.0 m) or less, and {maximum detection distance} + A or less .
[0115]
(F2) There is no traveling object in the range of about the vehicle width (about 4 m) in the X direction and about 1 m in the Z direction.
[0116]
The road structure straight line updating means 334 detects the road structure data by repeatedly performing the above-described processing for each road structure straight line and each detection point, and starts and ends the road structure straight line from the obtained detection points.・ Update the position of maximum detection distance and minimum detection distance.
[0117]
Next, the operation of the front object detection device according to the second embodiment will be described. FIGS. 11 and 12 are flowcharts showing a processing procedure when the object detection process is performed by the
[0118]
As shown in the figure, when the
[0119]
In step S40 shown in FIG. 11, the
[0120]
Furthermore, in order to select the maximum value corresponding to the straight line formed from the detection points of the road structure, the
[0121]
In step S50, the
[0122]
Furthermore, if a road structure straight line is detected, it is compared with the point detected in step S1. When the determination condition for making a road structure candidate is satisfied, the reliability of the detection point is increased, and The process proceeds to step S51.
[0123]
In step S51, the
[0124]
In step S52, the
[0125]
In step S53, the
[0126]
In step S60, the
[0127]
In step S7, the
[0128]
The processing procedure after step S8 is the same as the processing procedure of the flowchart shown in FIG.
[0129]
In this way, the forward object detection device according to the second embodiment can accurately group road structures even when there are few reflections from road structure detection points due to the influence of occlusion and the like. it can. Thereby, a road structure can be detected with high accuracy.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a forward object detection device according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram showing a configuration of a laser radar mounted on a vehicle.
FIG. 3 is an explanatory diagram showing a state of distance measurement of a plurality of objects detected by a laser radar.
4A and 4B are diagrams illustrating a method for obtaining a straight line from detection points, in which FIG. 4A is a diagram illustrating conversion of detection points into two-dimensional array data of distance and lateral position, and FIG. 4B is two-dimensional array data; It is a figure explaining conversion to (theta) rho space.
FIG. 5 is an explanatory diagram of a process of selecting a relationship between a straight line and a θρ space and a local maximum value.
FIG. 6 is an explanatory diagram of processing for grouping detection points of a road structure.
FIG. 7 is a flowchart showing a processing procedure of the front object detection apparatus according to the present embodiment.
FIG. 8 is a block diagram illustrating a configuration of a front object detection device according to a second embodiment of the present invention.
FIG. 9 is an explanatory diagram showing a method of assigning a reliability that becomes a road structure to a detection point by a calculation unit.
FIG. 10 is an explanatory diagram showing a method of calculating a road structure straight line by connecting detection points with high reliability by a calculation unit.
FIG. 11 is a first partial view of a flowchart showing an operation of the front object detection apparatus according to the second embodiment.
FIG. 12 is a second partial view of the flowchart showing the operation of the front object detection device according to the second embodiment.
FIG. 13 is an explanatory diagram showing a conventional object detection method.
[Explanation of symbols]
1 Laser radar (object detection means)
2 Vehicle behavior detector
3 Calculation unit
31 Straight line calculation means
311 Data conversion means
312 Straight line position calculation means
32 Straight line extraction means
321 Maximum value selection means
322 Second maximum value selection means
33 Road structure detection means
331 Road structure judging means
332 Road structure reliability giving means
333 Road structure straight line calculation means
334 Road structure straight line update means
34 First grouping means
35 Second grouping means
Claims (9)
自車両前方に送信波を走査させながら出射して、自車両前方に存在する物体からの反射波を検出し、検出した反射波に基づいて、自車両に対する前記物体位置を示す複数の検出点を生成する物体検出手段と、
前記物体検出手段にて検出された複数の検出点に基づき、所定の演算手法を用いて、同一であると見なされる物体による検出点どうしを連結する直線を算出する直線算出手段と、
前記直線算出手段で検出された直線に基づき、自車両が走行する道路の端部に存在する道路構造物からの検出点で構成される直線を抽出する直線抽出手段と、
前記直線抽出手段にて抽出された直線近傍に存在する複数の検出点をグルーピングし、これを道路構造物として検出する道路構造物検出手段と、を備え、
前記直線算出手段は、物体位置を示す複数の検出点に基づき、検出点の分解能を低下させた際の、自車両から各検出点までの距離と、自車両が走行する道路の幅方向位置との関係を示す2次元配列データを生成するデータ変換手段と、前記データ変換手段にて得られる2次元配列データを、前記所定の演算手法にて2次元パラメータ空間のデータに変換し、当該2次元パラメータ空間中における各点の累積度の極大値を求めることにより、前記検出点どうしを連結する直線を算出する直線位置算出手段と、
を有することを特徴とする前方物体検出装置。A forward object detection device that detects an object that is mounted on the host vehicle and exists in front of the host vehicle,
It emits while scanning the transmission wave in front of the host vehicle, detects the reflected wave from the object existing in front of the host vehicle, and based on the detected reflected wave, detects a plurality of detection points indicating the position of the object with respect to the host vehicle. Object detection means to generate;
Based on a plurality of detection points detected by the object detection means, using a predetermined calculation method, a straight line calculation means for calculating a straight line connecting the detection points by the objects considered to be the same;
Based on the straight line detected by the straight line calculating means, a straight line extracting means for extracting a straight line constituted by detection points from a road structure existing at an end of a road on which the host vehicle travels
Road structure detection means for grouping a plurality of detection points existing in the vicinity of the straight line extracted by the straight line extraction means, and detecting this as a road structure ,
The straight line calculation means, based on a plurality of detection points indicating the object position, the distance from the host vehicle to each detection point when the resolution of the detection point is reduced, and the width direction position of the road on which the host vehicle travels Data conversion means for generating two-dimensional array data showing the relationship between the two-dimensional array data obtained by the data conversion means and converted into two-dimensional parameter space data by the predetermined calculation method, Straight line position calculating means for calculating a straight line connecting the detected points by obtaining a maximum value of the cumulative degree of each point in the parameter space;
Forward object detecting apparatus characterized by having a.
前記第1のグルーピング手段により、今回得られたグループデータに対応するデータが、前回得られたグループデータ中に含まれている場合には、これを第2グループデータとする第2のグルーピング手段と、を更に備え、
前記第2グループデータが検出された際に、これを自車両前方に存在する物体によるものであると判断することを特徴とする請求項1に記載の前方物体検出装置。Of the detected points that have not been detected in the previous SL road structures detecting means, a first grouping means for obtaining a first group data by grouping the detected points adjacent to each other,
When the data corresponding to the group data obtained this time by the first grouping means is included in the group data obtained last time, the second grouping means using this as the second group data; Further comprising
The front object detection apparatus according to claim 1, wherein when the second group data is detected, it is determined that the second group data is caused by an object existing in front of the host vehicle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002151086A JP3690366B2 (en) | 2001-12-27 | 2002-05-24 | Front object detection device |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-397429 | 2001-12-27 | ||
| JP2001397429 | 2001-12-27 | ||
| JP2002151086A JP3690366B2 (en) | 2001-12-27 | 2002-05-24 | Front object detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003255047A JP2003255047A (en) | 2003-09-10 |
| JP3690366B2 true JP3690366B2 (en) | 2005-08-31 |
Family
ID=28677292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002151086A Expired - Fee Related JP3690366B2 (en) | 2001-12-27 | 2002-05-24 | Front object detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3690366B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104197897A (en) * | 2014-04-25 | 2014-12-10 | 厦门大学 | Urban road marker automatic sorting method based on vehicle-mounted laser scanning point cloud |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4506163B2 (en) * | 2003-12-10 | 2010-07-21 | 日産自動車株式会社 | Front object detection apparatus and front object detection method |
| JP3941795B2 (en) | 2004-04-28 | 2007-07-04 | 株式会社デンソー | Leading vehicle recognition device |
| JP5055691B2 (en) * | 2004-10-22 | 2012-10-24 | 日産自動車株式会社 | Front object detection apparatus and front object detection method |
| JP4595759B2 (en) * | 2005-09-09 | 2010-12-08 | 株式会社デンソー | Environment recognition device |
| JP4662147B2 (en) * | 2005-10-20 | 2011-03-30 | アイシン精機株式会社 | Object recognition device |
| JP4618506B2 (en) * | 2005-10-20 | 2011-01-26 | アイシン精機株式会社 | Object recognition device |
| JP4824511B2 (en) * | 2006-09-11 | 2011-11-30 | 本田技研工業株式会社 | Vehicle travel safety device |
| JP5075655B2 (en) * | 2008-02-05 | 2012-11-21 | 本田技研工業株式会社 | Object detection device |
| WO2009116221A1 (en) * | 2008-03-21 | 2009-09-24 | 本田技研工業株式会社 | Driving support system of vehicle, vehicle, driving support program of vehicle |
| DE112010005977B4 (en) * | 2010-11-04 | 2015-08-06 | Toyota Jidosha Kabushiki Kaisha | Road shape estimation apparatus |
| US20130274959A1 (en) * | 2010-12-15 | 2013-10-17 | Toyota Jidosha Kabushiki Kaisha | Driving support apparatus, driving support method, and vehicle |
| JP5321640B2 (en) * | 2011-05-17 | 2013-10-23 | 株式会社デンソー | Vehicular road shape recognition method and apparatus, and recording medium |
| JP5316572B2 (en) * | 2011-03-28 | 2013-10-16 | トヨタ自動車株式会社 | Object recognition device |
| JP5276140B2 (en) * | 2011-05-19 | 2013-08-28 | 富士重工業株式会社 | Environment recognition apparatus and environment recognition method |
| US8755967B1 (en) * | 2012-03-23 | 2014-06-17 | Google Inc. | Estimating road lane geometry using lane marker observations |
| KR20140019501A (en) * | 2012-08-06 | 2014-02-17 | 현대자동차주식회사 | Method for producing classification for recognizing object |
| JP6534808B2 (en) | 2014-11-28 | 2019-06-26 | 株式会社デンソーテン | Radar apparatus and signal processing method |
| MX364577B (en) * | 2015-08-28 | 2019-05-02 | Nissan Motor | Vehicle position estimation device, vehicle position estimation method. |
| JP6834920B2 (en) * | 2017-11-22 | 2021-02-24 | トヨタ自動車株式会社 | Target discriminator |
| JP7296261B2 (en) * | 2019-06-21 | 2023-06-22 | パナソニックホールディングス株式会社 | Monitoring device and monitoring method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07121707A (en) * | 1993-10-26 | 1995-05-12 | Nippon Telegr & Teleph Corp <Ntt> | Hough transform ballot box division size determination method |
| JPH07253467A (en) * | 1994-03-15 | 1995-10-03 | Nissan Motor Co Ltd | Vehicle radar device |
| JP3341186B2 (en) * | 1994-03-31 | 2002-11-05 | オムロン株式会社 | Object discriminating apparatus and method, and vehicle equipped with object discriminating apparatus |
| JP3753893B2 (en) * | 1999-06-29 | 2006-03-08 | 本田技研工業株式会社 | Control device for traveling vehicle |
| JP3822770B2 (en) * | 1999-12-10 | 2006-09-20 | 三菱電機株式会社 | Vehicle front monitoring device |
-
2002
- 2002-05-24 JP JP2002151086A patent/JP3690366B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104197897A (en) * | 2014-04-25 | 2014-12-10 | 厦门大学 | Urban road marker automatic sorting method based on vehicle-mounted laser scanning point cloud |
| CN104197897B (en) * | 2014-04-25 | 2017-01-04 | 厦门大学 | A kind of downtown roads graticule automatic classification method based on Vehicle-borne Laser Scanning point cloud |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003255047A (en) | 2003-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3690366B2 (en) | Front object detection device | |
| JP3664127B2 (en) | Object detection device | |
| JP3214364B2 (en) | Inter-vehicle distance measuring device | |
| US7761236B2 (en) | Object recognition apparatus for vehicle and distance measurement apparatus | |
| JP3427809B2 (en) | Vehicle road shape recognition method and apparatus, recording medium | |
| JP3664110B2 (en) | Object type determination device and object type determination method | |
| CN115151836B (en) | Method for detecting moving objects in the vehicle's surroundings and motor vehicle | |
| JP2001004368A (en) | Object recognition device | |
| US6380885B2 (en) | Obstacle recognition system for vehicle | |
| US20180364357A1 (en) | Method and apparatus for recognizing vehicles using laser beam scanning | |
| CN103443838A (en) | Object recognition device | |
| JP4506162B2 (en) | Front object detection apparatus and front object detection method | |
| JP2014092434A (en) | Target detection device and contact avoidance system using the same | |
| JP3341186B2 (en) | Object discriminating apparatus and method, and vehicle equipped with object discriminating apparatus | |
| US12252150B2 (en) | Method and apparatus for tracking object using LiDAR sensor and recording medium storing program to execute the method | |
| WO2019198789A1 (en) | Object identification system, automobile, vehicle lamp fitting, and object clustering method | |
| JP2002334330A (en) | Vehicle recognition device | |
| JP5055691B2 (en) | Front object detection apparatus and front object detection method | |
| US20210364280A1 (en) | Road surface area detection device, road surface area detection system, vehicle, and road surface area detection method | |
| JP4506163B2 (en) | Front object detection apparatus and front object detection method | |
| JP3287166B2 (en) | Distance measuring device | |
| JP2010250651A (en) | Vehicle detection device | |
| EP4506222A1 (en) | Information processing method and information processing device | |
| JP2018021788A (en) | Level difference detection method and level difference detection device | |
| US11922670B2 (en) | System for extracting outline of static object and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050606 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100624 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110624 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120624 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120624 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130624 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |