JP6424467B2 - Target detection device - Google Patents
Target detection device Download PDFInfo
- Publication number
- JP6424467B2 JP6424467B2 JP2014109179A JP2014109179A JP6424467B2 JP 6424467 B2 JP6424467 B2 JP 6424467B2 JP 2014109179 A JP2014109179 A JP 2014109179A JP 2014109179 A JP2014109179 A JP 2014109179A JP 6424467 B2 JP6424467 B2 JP 6424467B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- point
- feature
- radar
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
Description
本発明は、レーダ及びカメラを用いて物標を検出する技術に関する。 The present invention relates to a technique for detecting a target using a radar and a camera.
従来、複数のセンサ(例えばレーダやカメラ等)の情報を利用するセンサフュージョンという手法によって車両の外部に存在する物標を検出し、検出結果を車両の運転支援等に用いる技術が知られている。特許文献1には、レーダ及びカメラがそれぞれ独立して検出した検出結果を融合して物標の検出精度を向上させる技術について記載されている(例えば特許文献1参照)。
Conventionally, there is known a technique of detecting a target existing outside the vehicle by a method called sensor fusion using information of a plurality of sensors (for example, radar, camera, etc.) and using the detection result for driving assistance of the vehicle, etc. .
しかしながら、センサフュージョンでは、レーダが検出した物標とカメラが検出した物標とが異なる物標であるにもかかわらず同一の物標であると誤判定されるようなことがあると、レーダ又はカメラがそれぞれ検出した異なる物標についての検出結果を融合することになるため、レーダの情報のみを利用する場合又はカメラの情報のみを利用する場合と比べて、物標の検出精度が低下するという問題があった。 However, in sensor fusion, it may be erroneously determined that the target detected by the radar and the target detected by the camera are the same target although they are different targets. Because the detection results for different targets detected by the cameras are merged, the detection accuracy of the targets is lower than when only radar information is used or when only camera information is used. There was a problem.
本発明は、こうした問題に鑑みてなされたものであり、レーダ及びカメラを用いた物標検出において、物標の誤判定を抑制する技術を提供することを目的としている。 The present invention has been made in view of these problems, and it is an object of the present invention to provide a technique for suppressing erroneous determination of a target in target detection using a radar and a camera.
本発明の一側面は、車両に搭載されて物標を検出する物標検出装置であって、物標は当該物標の特徴を示す物標特徴点を備える。物標検出装置は、第1物標検出手段と、第2物標検出手段と、第1判定手段と、第2判定手段とを備える。 One aspect of the present invention is a target detection device which is mounted on a vehicle and detects a target, and the target is provided with a target feature point indicating a feature of the target. The target detection device includes a first target detection unit, a second target detection unit, a first determination unit, and a second determination unit.
第1物標検出手段は、レーダにより電磁波を送受信して取得される情報に基づいて、電磁波を反射した第1の物標特徴点を備える第1の物標を検出する。
第2物標検出手段は、カメラにより取得される撮像画像に基づいて、第2の物標特徴点を備える第2の物標を検出する。
The first target detection means detects a first target provided with a first target feature point reflecting the electromagnetic wave based on the information acquired by transmitting and receiving the electromagnetic wave by the radar.
The second target detection means detects a second target provided with a second target feature point based on the captured image acquired by the camera.
第1判定手段は、車幅方向をx方向とし、車長方向をy方向とするxy平面において、第1の物標の位置に対応する点及び第2の物標の位置に対応する点をそれぞれ第1対応点及び第2対応点として、第1対応点及び第2対応点の一方の対応点を含む所定の範囲に他方の対応点が含まれるかを判定する。 The first determination means sets a point corresponding to the position of the first target and a point corresponding to the position of the second target in the xy plane in which the vehicle width direction is the x direction and the vehicle length direction is the y direction. It is determined whether the other corresponding point is included in a predetermined range including one corresponding point of the first corresponding point and the second corresponding point as the first corresponding point and the second corresponding point, respectively.
第2判定手段は、第1判定手段によって第1対応点及び第2対応点の一方の対応点を含む所定の範囲に他方の対応点が含まれると判定された場合に、第1の物標特徴点の位置と第2の物標特徴点の位置に基づいて第1の物標と第2の物標が同一であると判定する。 The second determination means determines that the first target means is selected when it is determined by the first determination means that the other corresponding point is included in the predetermined range including one of the first corresponding point and the second corresponding point. It is determined that the first target and the second target are identical based on the position of the feature point and the position of the second target feature point.
ここで特に、第2判定手段は、所定の基準点を含むxy平面において、第1の物標特徴点の位置に対応する点及び第2の物標特徴点の位置に対応する点をそれぞれ第1特徴対応点及び第2特徴対応点として、第2特徴対応点の基準点に対する方位を含む所定の角度の方位範囲に第1特徴対応点が含まれる場合に、第1の物標と第2の物標が同一であると判定する。 Here, in particular, the second determination means respectively sets a point corresponding to the position of the first target feature point and a point corresponding to the position of the second target feature point in the xy plane including the predetermined reference point. When the first feature corresponding point is included in the azimuth range of a predetermined angle including the direction of the second feature corresponding point with respect to the reference point as the one feature corresponding point and the second feature corresponding point, the first target and the second It is determined that the targets of are the same.
このような構成によれば、物標だけでなく物標の特徴を表す物標特徴点に基づいてレーダセンサ及びカメラで検出された物標が同一の物標であるか否かが判定されるため、物標の誤判定を抑制することができる。この結果、センサフュージョンによる物標の検出精度の低下を抑制することができる。 According to such a configuration, it is determined whether or not the targets detected by the radar sensor and the camera are the same target based on the target feature points representing not only the target but also the features of the target Therefore, the erroneous determination of the target can be suppressed. As a result, it is possible to suppress the decrease in the detection accuracy of the target due to the sensor fusion.
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。 In addition, the code | symbol in the parentheses described in the claim shows correspondence with the specific means as described in embodiment mentioned later as one aspect, Comprising: The technical scope of this invention is limited. is not.
以下、本発明が適用された実施形態について、図面を用いて説明する。
[1.構成]
図1に示す運転支援装置10は、車両に搭載された装置であって、レーダセンサ11、カメラ12、運転支援実行部13、及び運転支援ECU14を備える。運転支援ECU14は、レーダセンサ11、カメラ12、及び運転支援実行部13のそれぞれと通信可能に接続されている。
Hereinafter, embodiments to which the present invention is applied will be described using the drawings.
[1. Constitution]
The
レーダセンサ11は、自車両(運転支援装置10が搭載された車両)の前側における中央位置、例えば先端中央位置に取り付けられている。レーダセンサ11は、本実施形態ではレーザレーダ(LIDAR)であり、自車両の前方における水平方向及び垂直方向それぞれ所定の角度範囲でレーザビーム(電磁波)を照射し、その反射光を受光することによって得られる送受信データを運転支援ECU14へ出力する。
The
カメラ12は、自車両の車室内の前側における中央位置に取り付けられている。カメラ12は、カラーカメラであり、自車両の前方を所定の周期で撮像する。カメラ12は、撮像画像を表す画像データを運転支援ECU14へ出力する。
The
運転支援実行部13は、運転支援ECU14による制御対象となる車載機器として、各種画像を表示するモニタや、警報音や案内音声を出力するスピーカを少なくとも備える。運転支援実行部13は、運転支援ECU14による制御対象となる車載機器として、更に、自車両に搭載された内燃機関、パワートレイン機構、ブレーキ機構等を制御する各種電子制御装置(ECU)を含んでいてもよい。
The driving
運転支援ECU14は、運転支援装置10を制御する電子制御装置であって、CPU41、ROM42、RAM43等を構成要素とする周知のマイクロコンピュータを備える。運転支援ECU14(CPU41)は、例えばROM42に記憶されているプログラムに従って、レーダセンサ11から出力された送受信データ及びカメラ12から出力された画像データに基づいて物標を検出する物標検出処理を実行する。
The
また、運転支援ECU14は、物標検出処理によって検出された物標情報に基づいて、運転支援実行部13が備える各種機器の制御を行う処理を実行する。例えば、運転支援ECU14は、物標情報に基づいて、先行車両との距離が所定距離以下となった場合にスピーカによって警報音を発生させる処理を実行する。運転支援ECU14は、この他にも、先行車両へ衝突するおそれがあると判定される場合にブレーキ機構によって自車両の速度を低減させる処理等、種々の制御を行う処理を物標情報に基づいて実行してもよい。
Further, the
[2.処理]
次に、運転支援ECU14が実行する物標検出処理を図2に示すフローチャートに従って実行する。物標検出処理は、ACCスイッチがオンされている間、カメラ12から画像データが出力される毎に、繰り返し実行される。
[2. processing]
Next, target detection processing executed by the
はじめに、運転支援ECU14は、レーダセンサ11から出力された送受信データに基づく物標検出を行う(S110)。具体的には、運転支援ECU14は、送受信データに基づいて、レーザビームを反射した物標特徴点を備える物標の位置、当該物標までの距離、自車両の前方における水平方向及び垂直方向における物標の方位、相対速度、等を検出する。以下では説明に応じて、レーザビームを反射した物標特徴点を備える物標をレーダ物標という。また、レーザビームを反射した物標特徴点をレーダ特徴点という。
First, the
物標特徴点とは、運転支援ECU14が検出対象とする物標が備える、当該物標の特徴を示す部位を言う。レーダセンサ11がレーザレーダである本実施形態において、例えば、自車両の前方を走行する先行車両を検出対象とする場合であれば、先行車両の後部に含まれる他の部位と比較して光の反射が大きい部位を物標特徴点と言うものとする。具体的には、光の反射が大きい部位であるリフレクタを備えるテールライトが、物標特徴点の一例として挙げられる。
The target feature point refers to a portion of the target that is to be detected by the
図3における(a)に示すように先行車両9が四輪車両である場合、先行車両9の後部における右端部に設置されている右テールライト91R、及び左端部に設置されている左テールライト91Lによって反射されたレーザビームの水平方向に対する受信強度(反射強度)の分布は、一例として図3における(b)に示すように検出される。すなわち、水平方向に対する反射強度の分布において、反射強度が第1の閾値S1以上となる、先行車両9の車体での反射による幅広のピークと、反射強度が第1の閾値S1より大きい第2の閾値S2以上となる、右テールライト91R及び左テールライト91Lでの反射による急峻なピークとが検出される。
When the leading
そこで、S110では、運転支援ECU14は、水平方向に対する反射強度の分布において、反射強度が第1の閾値S1以上となる反射範囲aに含まれる方位であって、当該反射範囲aの中央を挟む2つの方位、すなわち中央より右側の方位及び左側の方位の両方に、反射強度が第2の閾値S2以上となるピークが検出された場合に、これらのピークが検出された方位の中央を、レーダ物標の水平方向における方位として検出する。また、これらのピークが検出された方位を、レーダ特徴点の水平方向における方位として検出する。
Therefore, in S110, the driving
また、図示していないが、先行車両9における右テールライト91R、左テールライト91Lによって反射されたレーザビームの垂直方向に対する反射強度の分布では、反射強度が所定の閾値、例えば第2の閾値S2以上となる急峻なピークが検出される。
Further, although not shown, in the distribution of the reflection intensity to the vertical direction of the laser beam reflected by the
そこで、S110では、運転支援ECU14は、垂直方向に対する反射強度の分布においても同様に、反射強度が例えば第2の閾値S2以上となるピークが検出された場合に、ピークが検出された方位を、レーダ物標及びレーダ特徴点の垂直方向の方位として検出する。
Therefore, in S110, the driving
運転支援ECU14は、レーダ物標の水平方向の方位、垂直方向の方位に基づいて、レーダ物標の位置と距離とを検出する。また、レーダ特徴点における相対速度に基づいて、例えば先行車両9のようにレーダ特徴点が複数ある場合は、これらにおける相対速度の平均値をレーダ物標における相対速度として検出する。なお、S110でいう位置とは、レーダセンサ11の取付位置を基準点(原点)とし、車幅方向をx方向とし、車長方向をy方向とし、車高方向をz方向とする座標系における位置座標を言う。
The driving
図2に戻り説明を続ける。次に、運転支援ECU14は、カメラ12から出力された画像データに基づく物標検出を行う(S120)。つまり、運転支援ECU14は、カメラ12から出力された画像データに基づいて、パターンマッチング等の周知の画像処理を行うことにより、この画像の範囲内に存在する物標特徴点及び物標特徴点を備える物標を検出する。
Returning to FIG. 2, the explanation will be continued. Next, the driving
運転支援ECU14は、前方画像に基づいて、物物標特徴点及び物標特徴点を備える物標の位置、車両1から物標までの距離、自車両の前方における水平方向及び垂直方向における物標特徴点及び物標の方位、物標の相対速度、物標の種別、等を検出する。以下では、説明に応じて、画像データに基づいて検出された物標特徴点を備える物標を画像物標という。また、画像データに基づいて検出された物標特徴点を画像特徴点という。
Based on the front image, the driving
画像物標及び画像特徴点の位置の検出について具体的に説明する。運転支援ECU14は、後述する図5に示すように、自車両1の前方が撮像された画像(以下、前方画像という)の範囲内に存在する四輪車両(先行車両9)を検出し、検出された先行車両9を表す画像の範囲内において輝度が所定値より高く且つ赤色の領域が検出された場合に、この領域の中心を先行車両9が備える物標特徴点の位置に対応する点として検出する。すなわち運転支援ECU14は、右テールライト91Rの位置に対応する点P41及び左テールライト91Lの位置に対応する点P42を画像特徴点の位置に対応する点として検出し、点P41及び点P42の中央を、画像物標(先行車両9)の位置に対応する点P4として検出する。なお、図5において、横軸は車幅方向(x方向)を表し、縦軸は車長方向(y方向)及び車高方向(z方向)を表す。
The detection of the position of the image target and the image feature point will be specifically described. As shown in FIG. 5 described later, the driving
図2に戻り説明を続ける。
次に、運転支援ECU14は、レーダ物標の位置を含む所定範囲内に画像物標の位置が含まれるか否かを判定する(S130)。
Returning to FIG. 2, the explanation will be continued.
Next, the driving
図4は、自車両周辺を鉛直方向に見下ろしたときの、カメラに基づく物標の検出結果、及びレーダセンサに基づく物標の検出結果の、位置関係の一例を示した位置関係図である。ここで、S110で検出したレーダ物標の位置に対応する点をこの位置関係図に投影した点をレーダ対応点P1とする。運転支援ECU14は、投影したレーダ対応点P1を中心として含む所定範囲R1に、S120で検出した画像物標(先行車両9)の位置に対応する点P2が含まれる場合に、レーダ物標の位置を含む所定範囲内に画像物標の位置が含まれると判定する。所定範囲R1は、レーダセンサ11による検出誤差とカメラ12による検出誤差とに基づいて定められる。
FIG. 4 is a positional relationship diagram showing an example of the positional relationship between the detection result of a target based on a camera and the detection result of a target based on a radar sensor when looking down around the host vehicle in the vertical direction. Here, a point corresponding to the position of the radar target detected in S110 is projected on this positional relationship diagram as a radar corresponding point P1. When the driving
ここで、運転支援ECU14は、レーダ物標の位置を含む所定範囲内に画像物標の位置が含まれると判定した場合には(S130:YES)、処理をS140へ移行させる。そして、運転支援ECU14は、画像特徴点の位置を含む所定範囲内にレーダ特徴点の位置が含まれるか否かを、前方画像に基づいて判定する(S140)。運転支援ECU14は、前方画像において、画像特徴点の位置を含む所定範囲内にレーダ特徴点の位置が含まれると判定した場合には(S140:YES)、センサフュージョンによる物標情報の生成を行い(S150)、処理をS170へ移行させる。すなわち、運転支援ECU14は、画像特徴点の位置を含む所定範囲内にレーダ特徴点の位置が含まれると判定した場合(S140:YES)に、この画像特徴点を備える画像物標と、このレーダ特徴点を備えるレーダ物標とが、同一であると判定している。
Here, when it is determined that the position of the image target is included in the predetermined range including the position of the radar target (S130: YES), the driving
S140では、具体的には、運転支援ECU14は、S110で検出したレーダ特徴点の位置に対応する点を、図5に示す前方画像に投影した点を、レーダ特徴対応点P31、P32とする。そして、運転支援ECU14は、画像特徴点の位置に対応する点である右テールライト91Rの位置を表す点P41及び左テールライト91Lの位置を表す点P42をそれぞれ中心として含む所定範囲R4に、投影したレーダ特徴対応点P31及びレーダ特徴対応点P32が含まれる場合に、この画像特徴点を備える画像物標と、このレーダ特徴点を備えるレーダ物標とが、同一であると判定する。所定範囲R4は、レーダセンサ11による検出誤差とカメラ12による検出誤差とに基づいて定められる。所定範囲R4は、ここでは、車幅方向の範囲をW1とし、車高方向の範囲をH1とする矩形領域に定められている。
In S140, specifically, the driving
換言すれば、画像特徴点の位置に対応する点P41、点P42を中心とする車幅方向における所定範囲W1内に、投影されたレーダ特徴対応点P31、点P32が含まれるか否かを判定することは、一例として図6(a)に示すように、車幅方向をx方向とし、車長方向をy方向とし、レーダセンサ11の取付位置を基準点P0として含むxy平面において、画像特徴点の位置に対応する点(例えば、点Q21、点Q22)の基準点P0に対する方位を含む所定の角度θxyの方位範囲に、レーダ特徴点の位置に対応する点(例えば、点Q11、点Q12)が含まれるか否かを判定することに相当する。
In other words, it is determined whether the projected radar feature corresponding point P31 or P32 is included in the predetermined range W1 in the vehicle width direction centering on the point P41 corresponding to the position of the image feature point and the point P42. For example, as shown in FIG. 6A, the image feature is on the xy plane including the vehicle width direction as the x direction, the vehicle length direction as the y direction, and the attachment position of the
また、画像特徴点の位置に対応する点P41、点P42を中心とする車高方向における所定範囲H1内に、投影されたレーダ特徴対応点P11、点P12が含まれるか否かを判定することは、一例として図6(b)に示すように、車長方向をy方向とし、車高方向をz方向とし、レーダセンサ11の取付位置を基準点P0を含むyz平面において、画像特徴点の位置に対応する点(例えば、点Q41、点Q42)の基準点P0に対する方位を含む所定の角度θyzの方位範囲に、レーダ特徴点の位置に対応する点(例えば、点Q31、点Q32)が含まれるか否かを判定することに相当する。
Further, it is determined whether the projected radar feature corresponding point P11 or P12 is included in a predetermined range H1 in the vehicle height direction centering on the point P41 corresponding to the position of the image feature point and the point P42. For example, as shown in FIG. 6 (b), the vehicle length direction is y, the vehicle height direction is z, and the attachment position of the
またS150では、運転支援ECU14は、レーダセンサ11及びカメラ12に基づいてそれぞれ独立して検出した検出結果を融合して、センサフュージョンによる物標情報を生成する。具体的には、運転支援ECU14は、カメラ12に基づいて検出された物標の種別(ここでは、四輪車両)を、物標情報における物標の種別の検出結果とする。また、運転支援ECU14は、カメラ12に基づいて検出された車幅方向(x方向)における位置を、物標情報における物標の車幅方向(x方向)の位置の検出結果とする。また、運転支援ECU14は、レーダセンサ11に基づいて検出された距離を、物標情報における物標までの距離の検出結果とする。また、運転支援ECU14は、カメラ12に基づく車幅方向(x方向)における位置と、レーダセンサ11に基づく物標までの距離とに基づいて、基準点P0に対する物標の相対位置を検出し、これを物標情報における物標の位置の検出結果とする。また、運転支援ECU14は、レーダセンサ11に基づいて検出された相対速度を、物標情報における物標の相対速度の検出結果とする。
In S150, the driving
一方、運転支援ECU14は、S130でレーダ物標点の位置を含む所定範囲内に画像物標点の位置が含まれないと判定した場合(S130:NO)、又はS140で画像特徴点の位置を含む所定範囲内にレーダ特徴点の位置が含まれないと判定した場合(S140:NO)には、センサフュージョンによらない物標情報の生成を行い(S160)、処理をS170へ移行させる。すなわち、運転支援ECU14は、画像特徴点の位置の所定範囲内にレーダ特徴点の位置が含まれない判定した場合(S140:NO)に、画像特徴点を備える画像物標とレーダ特徴点を備えるレーダ物標とが、同一でないと判定している。
On the other hand, when the driving
S160では、運転支援ECU14は、レーダセンサ11及びカメラ12に基づいてそれぞれ独立して検出した検出結果を融合せず、センサフュージョンによらない物標情報を生成する。具体的には、運転支援ECU14は、レーダセンサ11に基づいて検出した検出結果を用いて物標情報を生成する。すなわち、運転支援ECU14は、レーダセンサ11に基づいて検出された距離、方位、基準点P0に対する相対位置、相対速度等を、物標情報における検出結果とする。なお、運転支援ECU14は、物標情報における物標の種別の検出結果については、本物標検出処理の前サイクルにおける物標の種別の検出結果を用いる。
In S160, the driving
続いて、運転支援ECU14は、S150又はS160で生成された物標情報を例えばRAM43に記憶し(S170)、本物標検出処理を終了する。
[3.効果]
以上詳述した第1実施形態によれば、以下の効果が得られる。
Subsequently, the driving
[3. effect]
According to the first embodiment described above, the following effects can be obtained.
[3A]運転支援ECU14は、レーダセンサ11に基づいて検出されたレーダ物標とカメラ12に基づいて検出された画像物標とが所定範囲内に含まれる(すなわち、近い位置に存在する可能性がある)場合に、これらの物標が同一である可能性がある、との予備判定を行い(S130)、更に、レーダセンサ11に基づいて検出されたレーダ物標特徴点とカメラ12に基づいて検出された画像特徴点とが所定の範囲に含まれる(近い位置に存在する可能性がある)場合に、レーダが検出した物標とカメラが検出した物標とが同一である、との判定を行う(S140)。つまり、物標だけでなく物標の特徴を表す物標特徴点に基づいて同一の物標であるか否かが判定されるため、物標の誤判定を抑制することができる。この結果、センサフュージョンによる物標の検出精度の低下を抑制することができる。
[3A] The
図7は、先行車両9がETCゲートのバー100を通過した場合に、自車両1周辺を鉛直方向に見下ろしたときの、カメラに基づく物標の検出結果、及びレーダセンサに基づく物標の検出結果の、位置関係の一例を示した位置関係図である。このような状況において、例えば、ETCゲートのバー100が黄色と赤色とが交互に並ぶ模様を備える場合、レーダセンサ11によって、このETCゲートのバー100の赤色の部分がレーダ特徴点(点P51、点P52)として誤って検出されることが有り得る。
FIG. 7 shows a detection result of a target based on a camera and a detection of a target based on a radar sensor when the leading
ここで比較のため、例えば、本実施形態の物標検出処理とは異なり、レーダ物標の位置を含む所定範囲内に画像物標の位置が含まれる場合(S130:YES)にこれらが同一の物標であると判定し、S150と同様のセンサフュージョンによる物標情報の生成を行うような処理を実行するECUを、比較用ECUとすると、この比較用ECUは次のように作動し得る。すなわち、図7に示す状況では、点P51と点P52との中央の点P5がレーダ物標の位置に対応する点として検出され、点P5を中心として含む所定範囲R1内に画像物標の位置に対応する点P6が含まれるため、比較用ECUにより、これらが同一の物標であると誤判定され得る。つまり、比較用ECUは、自車両1の真正面に停止車両が存在することを示す誤ったセンサフュージョンによる物標情報に基づいて、状況に適さない処理を行うおそれが有り得る。
Here, for comparison, for example, unlike the target detection process of the present embodiment, when the position of the image target is included in a predetermined range including the position of the radar target (S130: YES), these are the same. If it is determined that the ECU is a target and an ECU that executes processing for generating target information by sensor fusion similar to S150 is a comparison ECU, the comparison ECU can operate as follows. That is, in the situation shown in FIG. 7, the point P5 at the center between the point P51 and the point P52 is detected as a point corresponding to the position of the radar target, and the position of the image target within the predetermined range R1 including the point P5 as a center Since the point P6 corresponding to is included, the comparison ECU may erroneously determine that these are the same target. That is, the comparison ECU may perform processing not suitable for the situation based on the target information by the erroneous sensor fusion indicating that the stopped vehicle is present directly in front of the
これに対し、本実施形態の運転支援ECU14は、S140にて、図8に示す前方画像に基づいて、画像特徴点の位置に対応する点P81及び点P82を中心として含む所定範囲R4内にレーダ特徴点の位置に対応する点P71、点P72が含まれないと判定し、すなわち、これらが同一の物標ではないと正確に判定し(S140:NO)、センサフュージョンによらない物標情報の生成を行う(S160)。このように、本実施形態の運転支援ECU14では、レーダ物標と画像物標とが同一であるか否か判定において誤判定が抑制されるため、物標情報に基づいて、状況に適した各種処理を行うことができる。
On the other hand, at S140, the driving
[3B]物標検出処理(S130)では、xy平面及びyz平面の両方において、レーダ物標の位置に対応する点を含む所定範囲内に画像物標の位置に対応する点が含まれるか否かを判定する(S130)。このため、xy平面のみ、又はyz平面のいずれか一方において判定を行う場合よりも、誤判定を抑制することができる。 [3B] In the target detection process (S130), in both the xy plane and the yz plane, whether a point corresponding to the position of the image target is included within a predetermined range including the point corresponding to the position of the radar target It is determined (S130). For this reason, an erroneous determination can be suppressed more than the case where the determination is performed in only one of the xy plane and the yz plane.
[3C]検出対象とする物標は先行車両9であるため、先行車両9の物標情報に基づく各種制御を行うことができる。
[3D]LIDAR(レーザレーダ)をレーダセンサ11として備えるため、光の反射強度が大きい部位を物標特徴点として検出することができる。
[3C] Since the target to be detected is the leading
[3D] Since the LIDAR (laser radar) is provided as the
[3E]先行車両が備えるテールライトを物標特徴点とするため、夜間においても、レーダセンサ11によって物標特徴点を精度よく検出することができる。
なお、第1実施形態では、運転支援ECU14が物標検出装置の一例に相当する。また、S110が第1物標検出手段としての処理の一例に相当し、S120が第2物標検出手段としての処理の一例に相当し、S130が第1判定手段としての処理の一例に相当し、S140が第2判定手段としての処理の一例に相当する。また、先行車両9が第1の物標及び第2の物標の一例に相当し、右テールライト91R及び左テールライト91Lが第1の物標特徴点及び第2の物標特徴点の一例に相当する。また、点P1が第1対応点の一例に相当し、点P2が第2対応点の一例に相当する。また、点Q11、点Q12が第1特徴対応点の一例に相当し、点Q21、点Q22が第2特徴対応点の一例に相当し、点Q31、点Q32が第1車高方向対応点の一例に相当し、点Q41、点Q42が第2車高方向対応点の一例に相当する。
[3E] Since the taillight with which the preceding vehicle is equipped is used as the target feature point, the target feature point can be accurately detected by the
In the first embodiment, the driving
[4.他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
[4. Other embodiments]
As mentioned above, although embodiment of this invention was described, it can not be overemphasized that this invention can take various forms, without being limited to the said embodiment.
[4A]上記実施形態では、レーダセンサ11による送受信データに基づいて、四輪車を検出していたが、これに限らず、例えば二輪車を検出してもよい。この場合、物標特徴点として検出されるテールライトが1つである点が、上記実施形態と異なる。
[4A] In the above embodiment, the four-wheeled vehicle is detected based on the transmission and reception data by the
[4B]上記実施形態では、LIDARをレーダセンサ11として備えていたが、これに限らず、例えば、ミリ波レーダをレーダセンサとして備えていてもよい。ミリ波レーダをレーダセンサとして備え、車両を検出対象とする場合には、ミリ波の反射強度が大きい部位、例えば、金属を材質とする部位であるナンバープレート等が物標特徴点の一例として挙げられる。
[4B] Although the LIDAR is provided as the
[4C]上記実施形態では、物標検出処理(S130)において、レーダ物標の位置に対応する点を含む所定範囲内に画像物標の位置に対応する点が含まれるか否かを判定していたが、これに限らず、画像物標の位置に対応する点を含む所定範囲内にレーダ物標の位置に対応する点が含まれるか否かを判定してもよい。また、物標検出処理(S140)においても同様に、画像物標特徴点の位置に対応する点を含む所定範囲内にレーダ物標特徴点の位置に対応する点が含まれるか否かを判定してもよい。 [4C] In the above embodiment, in the target detection process (S130), it is determined whether or not the point corresponding to the position of the image target is included in the predetermined range including the point corresponding to the position of the radar target. However, the present invention is not limited to this, and it may be determined whether or not a point corresponding to the position of the radar target is included within a predetermined range including the point corresponding to the position of the image target. Similarly, in the target detection process (S140), it is determined whether or not the point corresponding to the position of the radar target feature point is included in a predetermined range including the point corresponding to the position of the image target feature point. You may
[4D]上記実施形態では、物標検出処理(S140)において、水平方向すなわちxy平面と垂直方向すなわちyz平面との両方において、画像物標特徴点の位置を含む所定範囲内にレーダ物標特徴点の位置が含まれるか否かを判定していたが、これに限らず、例えばxy平面においてのみ、又はyz平面においてのみ判定を行ってもよい。 [4D] In the above embodiment, in the target detection process (S140), the radar target feature within a predetermined range including the position of the image target feature point in both the horizontal direction, ie, the xy plane and the vertical direction, ie, the yz plane. Although it was determined whether or not the position of the point is included, the determination is not limited to this, and may be performed, for example, only in the xy plane or only in the yz plane.
[4E]上記実施形態では、レーダ物標の位置をレーダセンサ11の取付位置を基準点としたときの相対位置で表していたが、これに限らず、基準点は任意に定めて良い。また、例えば運転支援装置10がGPS装置等を備えている場合には、レーダ物標の位置を絶対位置(世界座標系に基づく位置)で表しても良い。
[4E] In the above embodiment, the position of the radar target is represented by the relative position when the attachment position of the
[4F]上記実施形態では、物標情報として、物標までの距離、方位、位置、相対速度を検出していたが、これに限らず、その他の項目(例えば、物標との相対加速度等)を更に検出してもよい。 [4F] In the above embodiment, although the distance to the target, the direction, the position, and the relative velocity are detected as target information, the present invention is not limited thereto, and other items (for example, relative acceleration with the target, etc. ) May be further detected.
[4G]上記実施形態では、カメラ12は、単眼カメラであったが、これに限らず、複眼カメラであってもよい。
[4H]上記実施形態では、レーダセンサ11に基づく物標の種別の検出を行っていない(S110)が、これに限らず、レーダセンサ11に基づく物標の種別の検出を行ってもよい。
[4G] In the above embodiment, the
[4H] In the above embodiment, the type of target based on the
[4I]上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。 [4I] The function of one component in the above embodiment may be distributed as a plurality of components, or the function of a plurality of components may be integrated into one component. Further, at least a part of the configuration of the above embodiment may be replaced with a known configuration having the same function. Further, part of the configuration of the above embodiment may be omitted as long as the problem can be solved. In addition, at least a part of the configuration of the above-described embodiment may be added to or replaced with the configuration of the other above-described embodiment. In addition, all the aspects contained in the technical thought specified from the wording as described in a claim are embodiment of this invention.
[4J]本発明は、前述した運転支援ECU14及び運転支援ECU14を備える運転支援装置10の他、運転支援ECU14を機能させるためのプログラム、このプログラムを記録した媒体、物標検出方法など、種々の形態で実現することができる。
[4J] In addition to the driving
1…自車両 10…運転支援装置 11…レーダセンサ 12…カメラ 14…運転支援ECU 41…CPU 42…ROM 43…RAM。
1 ...
Claims (4)
レーダにより電磁波を送受信して取得される情報に基づいて、前記電磁波を反射した第1の物標特徴点を備える第1の物標を検出する第1物標検出手段(S110)と、
カメラにより取得される撮像画像に基づいて、第2の物標特徴点を備える第2の物標を検出する第2物標検出手段(S120)と、
車幅方向をx方向とし、車長方向をy方向とするxy平面において、前記第1の物標の位置に対応する点及び前記第2の物標の位置に対応する点をそれぞれ第1対応点及び第2対応点として、前記第1対応点及び前記第2対応点の一方の対応点を含む所定の範囲に他方の対応点が含まれるかを判定する第1判定手段(S130)と、
前記第1判定手段によって前記第1対応点及び前記第2対応点の一方の対応点を含む所定の範囲に他方の対応点が含まれると判定された場合に、前記第1の物標特徴点の位置及び前記第2の物標特徴点の位置に基づいて前記第1の物標と前記第2の物標とが同一であると判定する第2判定手段(S140)と、
を備え、
前記第2判定手段は、所定の基準点を含むxy平面において、前記第1の物標特徴点の位置に対応する点及び前記第2の物標特徴点の位置に対応する点をそれぞれ第1特徴対応点及び第2特徴対応点として、前記第2特徴対応点の前記基準点に対する方位を含む所定の角度の方位範囲に前記第1特徴対応点が含まれる場合、且つ、車高方向をz方向とし、前記基準点を含むyz平面における前記第1の物標特徴点の位置に対応する点及び前記第2の物標特徴点の位置に対応する点をそれぞれ第1車高方向対応点及び第2車高方向対応点として、前記yz平面において、前記第2車高方向対応点の前記基準点に対する方位を含む所定の角度の方位範囲に前記第1車高方向対応点が含まれる場合に、前記第1の物標と前記第2の物標が同一であると判定する
ことを特徴とする物標検出装置。 A target detection device for detecting the target mounted on a vehicle and having a target feature point indicating a feature of the target,
First target detection means (S110) for detecting a first target provided with a first target feature point reflecting the electromagnetic wave based on information acquired by transmitting and receiving the electromagnetic wave by the radar;
A second target detection means (S120) for detecting a second target provided with a second target feature point based on a captured image acquired by a camera;
A point corresponding to the position of the first target and a point corresponding to the position of the second target in the xy plane in which the vehicle width direction is the x direction and the vehicle length direction is the y direction respectively correspond to the first A first determination unit (S130) that determines whether the other corresponding point is included in a predetermined range including one corresponding point of the first corresponding point and the second corresponding point as a point and a second corresponding point;
The first object feature point when it is determined that the other corresponding point is included in a predetermined range including one corresponding point of the first corresponding point and the second corresponding point by the first determination means A second determination unit (S140) that determines that the first target and the second target are the same based on the position of the second target and the position of the second target feature point;
Equipped with
The second determination means respectively sets a point corresponding to the position of the first target feature point and a point corresponding to the position of the second target feature point in an xy plane including a predetermined reference point. When the first feature corresponding point is included in the azimuth range of a predetermined angle including the direction of the second feature corresponding point with respect to the reference point as the feature corresponding point and the second feature corresponding point , and the vehicle height direction is z As a direction, a point corresponding to the position of the first target feature point in the yz plane including the reference point and a point corresponding to the position of the second target feature point are respectively the first vehicle height direction corresponding point and When the first vehicle height direction corresponding point is included in the azimuth range of a predetermined angle including the direction of the second vehicle height direction corresponding point with respect to the reference point in the yz plane as the second vehicle height direction corresponding point the second target object and the first target is the same Target detection device which is characterized in that determining.
当該物標検出装置が検出対象とする前記物標は先行車両である
ことを特徴とする物標検出装置。 The target detection device according to claim 1 , wherein
The target detection device, wherein the target to be detected by the target detection device is a preceding vehicle.
前記レーダはレーザレーダであり、
前記物標特徴点は、当該物標特徴点以外の前記物標に含まれる部位と比較して、光の反射強度が大きい部位である
ことを特徴とする物標検出装置。 The target detection device according to claim 1 or 2 , wherein
The radar is a laser radar,
The target detection device, wherein the target feature point is a portion having a higher light reflection intensity than a portion included in the target other than the target feature point.
前記先行車両が備えるテールライトを前記物標特徴点とする
ことを特徴とする物標検出装置。 The target detection device according to claim 3 , wherein
A target detection device, wherein a taillight provided to the preceding vehicle is used as the target feature point.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014109179A JP6424467B2 (en) | 2014-05-27 | 2014-05-27 | Target detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014109179A JP6424467B2 (en) | 2014-05-27 | 2014-05-27 | Target detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015224928A JP2015224928A (en) | 2015-12-14 |
| JP6424467B2 true JP6424467B2 (en) | 2018-11-21 |
Family
ID=54841790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014109179A Expired - Fee Related JP6424467B2 (en) | 2014-05-27 | 2014-05-27 | Target detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6424467B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809640B (en) * | 2016-03-09 | 2019-01-22 | 长春理工大学 | Low-light video image enhancement method based on multi-sensor fusion |
| JP6996353B2 (en) * | 2018-03-06 | 2022-01-17 | トヨタ自動車株式会社 | Object recognition device and vehicle travel control system |
| JP7117566B2 (en) * | 2018-03-27 | 2022-08-15 | パナソニックIpマネジメント株式会社 | Information processing system and information processing method |
| CN109215005B (en) * | 2018-08-29 | 2021-10-01 | 北京空间机电研究所 | An error correction method for scanning camera image fusion of font-shaped detectors |
| CN111127541B (en) * | 2018-10-12 | 2024-02-27 | 杭州海康威视数字技术股份有限公司 | Vehicle size determination method, device and storage medium |
| KR102524293B1 (en) * | 2018-11-07 | 2023-04-21 | 현대자동차주식회사 | Apparatus and method for removing misrecognition of front vehicle and vehicle including the same |
| KR102569904B1 (en) * | 2018-12-18 | 2023-08-24 | 현대자동차주식회사 | Apparatus and method for tracking target vehicle and vehicle including the same |
| KR102797867B1 (en) * | 2020-05-08 | 2025-04-21 | 주식회사 에이치엘클레무브 | Radar sensor control apparatus and method |
| JP2025037193A (en) * | 2023-09-05 | 2025-03-17 | 日立Astemo株式会社 | Target Recognition Device |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3941765B2 (en) * | 2003-09-11 | 2007-07-04 | トヨタ自動車株式会社 | Object detection device |
| JP4598653B2 (en) * | 2005-05-13 | 2010-12-15 | 本田技研工業株式会社 | Collision prediction device |
| JP4595833B2 (en) * | 2006-02-24 | 2010-12-08 | トヨタ自動車株式会社 | Object detection device |
| JP2013019684A (en) * | 2011-07-07 | 2013-01-31 | Honda Motor Co Ltd | Vehicle periphery monitoring device |
| JP5821780B2 (en) * | 2012-05-28 | 2015-11-24 | 株式会社デンソー | Vehicle light source detection apparatus and vehicle light source detection program |
| US9152526B2 (en) * | 2012-11-16 | 2015-10-06 | GM Global Technology Operations LLC | Method and apparatus for state of health estimation of object sensing fusion system |
-
2014
- 2014-05-27 JP JP2014109179A patent/JP6424467B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015224928A (en) | 2015-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6424467B2 (en) | Target detection device | |
| CN108622091B (en) | Collision avoidance device | |
| JP6281460B2 (en) | Object detection device | |
| JP6885721B2 (en) | Object detection device, object detection method | |
| JP5470886B2 (en) | Object detection device | |
| US11338801B2 (en) | Collision avoidance device | |
| JP6614108B2 (en) | Vehicle control apparatus and vehicle control method | |
| WO2018105136A1 (en) | Vehicle surrounding information acquisition device and vehicle | |
| JPWO2018105136A1 (en) | Vehicle peripheral information acquisition device and vehicle | |
| WO2014033957A1 (en) | Collision determination device and collision determination method | |
| JP6432538B2 (en) | Collision prediction device | |
| WO2016194851A1 (en) | Object detection device and object detection method | |
| WO2017171082A1 (en) | Vehicle control device and vehicle control method | |
| JP2019002691A (en) | Target information acquisition device | |
| JP2006011570A (en) | Camera calibration method and camera calibration device | |
| JP7081098B2 (en) | Driving environment recognition device, driving environment recognition method, program | |
| JP5098563B2 (en) | Object detection device | |
| WO2021106509A1 (en) | Apparatus and method for controlling mobile body | |
| CN116134500A (en) | Vehicle and Obstacle Detection Devices | |
| JP2014021709A (en) | Object position detecting device | |
| CN110065492B (en) | Vehicle control system | |
| WO2018025632A1 (en) | Image-capturing device | |
| CN118475851A (en) | Camera monitoring system including integrated distance sensor | |
| JPWO2019172117A1 (en) | Sensor system and image data generator | |
| JPWO2019123582A1 (en) | Object information generator and object information generator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170512 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180320 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180925 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181008 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6424467 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |