Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6424467B2 - Target detection device - Google Patents
[go: Go Back, main page]

JP6424467B2 - Target detection device - Google Patents

Target detection device Download PDF

Info

Publication number
JP6424467B2
JP6424467B2 JP2014109179A JP2014109179A JP6424467B2 JP 6424467 B2 JP6424467 B2 JP 6424467B2 JP 2014109179 A JP2014109179 A JP 2014109179A JP 2014109179 A JP2014109179 A JP 2014109179A JP 6424467 B2 JP6424467 B2 JP 6424467B2
Authority
JP
Japan
Prior art keywords
target
point
feature
radar
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014109179A
Other languages
Japanese (ja)
Other versions
JP2015224928A (en
Inventor
健太 保木
健太 保木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014109179A priority Critical patent/JP6424467B2/en
Publication of JP2015224928A publication Critical patent/JP2015224928A/en
Application granted granted Critical
Publication of JP6424467B2 publication Critical patent/JP6424467B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、レーダ及びカメラを用いて物標を検出する技術に関する。   The present invention relates to a technique for detecting a target using a radar and a camera.

従来、複数のセンサ(例えばレーダやカメラ等)の情報を利用するセンサフュージョンという手法によって車両の外部に存在する物標を検出し、検出結果を車両の運転支援等に用いる技術が知られている。特許文献1には、レーダ及びカメラがそれぞれ独立して検出した検出結果を融合して物標の検出精度を向上させる技術について記載されている(例えば特許文献1参照)。   Conventionally, there is known a technique of detecting a target existing outside the vehicle by a method called sensor fusion using information of a plurality of sensors (for example, radar, camera, etc.) and using the detection result for driving assistance of the vehicle, etc. . Patent Document 1 describes a technology for improving the detection accuracy of a target by fusing detection results independently detected by a radar and a camera (see, for example, Patent Document 1).

特開2006−285492号公報Unexamined-Japanese-Patent No. 2006-285492

しかしながら、センサフュージョンでは、レーダが検出した物標とカメラが検出した物標とが異なる物標であるにもかかわらず同一の物標であると誤判定されるようなことがあると、レーダ又はカメラがそれぞれ検出した異なる物標についての検出結果を融合することになるため、レーダの情報のみを利用する場合又はカメラの情報のみを利用する場合と比べて、物標の検出精度が低下するという問題があった。   However, in sensor fusion, it may be erroneously determined that the target detected by the radar and the target detected by the camera are the same target although they are different targets. Because the detection results for different targets detected by the cameras are merged, the detection accuracy of the targets is lower than when only radar information is used or when only camera information is used. There was a problem.

本発明は、こうした問題に鑑みてなされたものであり、レーダ及びカメラを用いた物標検出において、物標の誤判定を抑制する技術を提供することを目的としている。   The present invention has been made in view of these problems, and it is an object of the present invention to provide a technique for suppressing erroneous determination of a target in target detection using a radar and a camera.

本発明の一側面は、車両に搭載されて物標を検出する物標検出装置であって、物標は当該物標の特徴を示す物標特徴点を備える。物標検出装置は、第1物標検出手段と、第2物標検出手段と、第1判定手段と、第2判定手段とを備える。   One aspect of the present invention is a target detection device which is mounted on a vehicle and detects a target, and the target is provided with a target feature point indicating a feature of the target. The target detection device includes a first target detection unit, a second target detection unit, a first determination unit, and a second determination unit.

第1物標検出手段は、レーダにより電磁波を送受信して取得される情報に基づいて、電磁波を反射した第1の物標特徴点を備える第1の物標を検出する。
第2物標検出手段は、カメラにより取得される撮像画像に基づいて、第2の物標特徴点を備える第2の物標を検出する。
The first target detection means detects a first target provided with a first target feature point reflecting the electromagnetic wave based on the information acquired by transmitting and receiving the electromagnetic wave by the radar.
The second target detection means detects a second target provided with a second target feature point based on the captured image acquired by the camera.

第1判定手段は、車幅方向をx方向とし、車長方向をy方向とするxy平面において、第1の物標の位置に対応する点及び第2の物標の位置に対応する点をそれぞれ第1対応点及び第2対応点として、第1対応点及び第2対応点の一方の対応点を含む所定の範囲に他方の対応点が含まれるかを判定する。   The first determination means sets a point corresponding to the position of the first target and a point corresponding to the position of the second target in the xy plane in which the vehicle width direction is the x direction and the vehicle length direction is the y direction. It is determined whether the other corresponding point is included in a predetermined range including one corresponding point of the first corresponding point and the second corresponding point as the first corresponding point and the second corresponding point, respectively.

第2判定手段は、第1判定手段によって第1対応点及び第2対応点の一方の対応点を含む所定の範囲に他方の対応点が含まれると判定された場合に、第1の物標特徴点の位置と第2の物標特徴点の位置に基づいて第1の物標と第2の物標が同一であると判定する。   The second determination means determines that the first target means is selected when it is determined by the first determination means that the other corresponding point is included in the predetermined range including one of the first corresponding point and the second corresponding point. It is determined that the first target and the second target are identical based on the position of the feature point and the position of the second target feature point.

ここで特に、第2判定手段は、所定の基準点を含むxy平面において、第1の物標特徴点の位置に対応する点及び第2の物標特徴点の位置に対応する点をそれぞれ第1特徴対応点及び第2特徴対応点として、第2特徴対応点の基準点に対する方位を含む所定の角度の方位範囲に第1特徴対応点が含まれる場合に、第1の物標と第2の物標が同一であると判定する。   Here, in particular, the second determination means respectively sets a point corresponding to the position of the first target feature point and a point corresponding to the position of the second target feature point in the xy plane including the predetermined reference point. When the first feature corresponding point is included in the azimuth range of a predetermined angle including the direction of the second feature corresponding point with respect to the reference point as the one feature corresponding point and the second feature corresponding point, the first target and the second It is determined that the targets of are the same.

このような構成によれば、物標だけでなく物標の特徴を表す物標特徴点に基づいてレーダセンサ及びカメラで検出された物標が同一の物標であるか否かが判定されるため、物標の誤判定を抑制することができる。この結果、センサフュージョンによる物標の検出精度の低下を抑制することができる。   According to such a configuration, it is determined whether or not the targets detected by the radar sensor and the camera are the same target based on the target feature points representing not only the target but also the features of the target Therefore, the erroneous determination of the target can be suppressed. As a result, it is possible to suppress the decrease in the detection accuracy of the target due to the sensor fusion.

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。   In addition, the code | symbol in the parentheses described in the claim shows correspondence with the specific means as described in embodiment mentioned later as one aspect, Comprising: The technical scope of this invention is limited. is not.

運転支援装置の構成を示すブロック図。FIG. 2 is a block diagram showing the configuration of a driving support device. 運転支援ECUが実行する物標検出処理のフローチャート。The flowchart of the target detection process which driving assistance ECU performs. 物標検出処理における先行車両の検出を説明する図。The figure explaining the detection of the preceding vehicle in target object detection processing. 自車両周辺を鉛直方向に見下ろしたときの、カメラに基づく物標の検出結果、及びレーダセンサに基づく物標の検出結果の位置関係の一例を示した図。The figure which showed an example of the positional relationship of the detection result of a target based on a camera when looking down at a self-vehicles periphery in the perpendicular direction, and the detection result of a target based on a radar sensor. 自車両の前方が撮像された画像の一例を示す図。The figure which shows an example of the image by which the front of the own vehicle was imaged. (a)はxy平面における物標特徴点の検出の一例を説明する図であり、(b)は、yz平面における物標特徴点の検出の一例を説明する図である。(A) is a figure explaining an example of detection of the target feature point in xy plane, (b) is a figure explaining an example of the detection of the target feature point in yz plane. 先行車両がETCゲートを通過した場合に、自車両周辺を鉛直方向に見下ろしたときの、カメラに基づく物標の検出結果、及びレーダセンサに基づく物標の検出結果の位置関係の一例を示した図。An example of the positional relationship between the detection result of a target based on a camera and the detection result of a target based on a radar sensor when looking at the surroundings of the host vehicle in the vertical direction when the preceding vehicle passes the ETC gate Figure. 前方画像の一例を示す図。The figure which shows an example of a front image.

以下、本発明が適用された実施形態について、図面を用いて説明する。
[1.構成]
図1に示す運転支援装置10は、車両に搭載された装置であって、レーダセンサ11、カメラ12、運転支援実行部13、及び運転支援ECU14を備える。運転支援ECU14は、レーダセンサ11、カメラ12、及び運転支援実行部13のそれぞれと通信可能に接続されている。
Hereinafter, embodiments to which the present invention is applied will be described using the drawings.
[1. Constitution]
The driving support device 10 illustrated in FIG. 1 is a device mounted on a vehicle, and includes a radar sensor 11, a camera 12, a driving support execution unit 13, and a driving support ECU 14. The driving support ECU 14 is communicably connected to each of the radar sensor 11, the camera 12, and the driving support execution unit 13.

レーダセンサ11は、自車両(運転支援装置10が搭載された車両)の前側における中央位置、例えば先端中央位置に取り付けられている。レーダセンサ11は、本実施形態ではレーザレーダ(LIDAR)であり、自車両の前方における水平方向及び垂直方向それぞれ所定の角度範囲でレーザビーム(電磁波)を照射し、その反射光を受光することによって得られる送受信データを運転支援ECU14へ出力する。   The radar sensor 11 is attached at a central position on the front side of the host vehicle (vehicle on which the driving support device 10 is mounted), for example, at a tip central position. The radar sensor 11 is a laser radar (LIDAR) in this embodiment, and emits a laser beam (electromagnetic wave) in a predetermined angle range in the horizontal direction and the vertical direction in front of the host vehicle, and receives the reflected light. The obtained transmission / reception data is output to the driving support ECU 14.

カメラ12は、自車両の車室内の前側における中央位置に取り付けられている。カメラ12は、カラーカメラであり、自車両の前方を所定の周期で撮像する。カメラ12は、撮像画像を表す画像データを運転支援ECU14へ出力する。   The camera 12 is attached at a central position on the front side of the vehicle cabin of the host vehicle. The camera 12 is a color camera, and images the front of the host vehicle at a predetermined cycle. The camera 12 outputs image data representing a captured image to the driving support ECU 14.

運転支援実行部13は、運転支援ECU14による制御対象となる車載機器として、各種画像を表示するモニタや、警報音や案内音声を出力するスピーカを少なくとも備える。運転支援実行部13は、運転支援ECU14による制御対象となる車載機器として、更に、自車両に搭載された内燃機関、パワートレイン機構、ブレーキ機構等を制御する各種電子制御装置(ECU)を含んでいてもよい。   The driving support execution unit 13 includes at least a monitor that displays various images, and a speaker that outputs an alarm sound and a guidance voice, as an on-vehicle device to be controlled by the driving support ECU 14. The driving support execution unit 13 further includes various electronic control units (ECUs) that control an internal combustion engine mounted on the host vehicle, a power train mechanism, a braking mechanism, and the like as on-vehicle devices to be controlled by the driving support ECU 14. It may be

運転支援ECU14は、運転支援装置10を制御する電子制御装置であって、CPU41、ROM42、RAM43等を構成要素とする周知のマイクロコンピュータを備える。運転支援ECU14(CPU41)は、例えばROM42に記憶されているプログラムに従って、レーダセンサ11から出力された送受信データ及びカメラ12から出力された画像データに基づいて物標を検出する物標検出処理を実行する。   The driving support ECU 14 is an electronic control unit that controls the driving support device 10, and includes a known microcomputer including a CPU 41, a ROM 42, a RAM 43, and the like as components. The driving support ECU 14 (CPU 41) executes target detection processing for detecting a target based on transmission / reception data output from the radar sensor 11 and image data output from the camera 12 according to a program stored in the ROM 42, for example. Do.

また、運転支援ECU14は、物標検出処理によって検出された物標情報に基づいて、運転支援実行部13が備える各種機器の制御を行う処理を実行する。例えば、運転支援ECU14は、物標情報に基づいて、先行車両との距離が所定距離以下となった場合にスピーカによって警報音を発生させる処理を実行する。運転支援ECU14は、この他にも、先行車両へ衝突するおそれがあると判定される場合にブレーキ機構によって自車両の速度を低減させる処理等、種々の制御を行う処理を物標情報に基づいて実行してもよい。   Further, the driving support ECU 14 executes processing for controlling various devices provided in the driving support execution unit 13 based on the target information detected by the target detection processing. For example, based on the target information, the driving support ECU 14 executes a process of causing the speaker to generate an alarm sound when the distance to the preceding vehicle becomes equal to or less than a predetermined distance. In addition to this, the driving support ECU 14 performs processing for performing various controls such as processing for reducing the speed of the own vehicle by the brake mechanism when it is determined that there is a possibility of collision with the preceding vehicle based on target information. It may be executed.

[2.処理]
次に、運転支援ECU14が実行する物標検出処理を図2に示すフローチャートに従って実行する。物標検出処理は、ACCスイッチがオンされている間、カメラ12から画像データが出力される毎に、繰り返し実行される。
[2. processing]
Next, target detection processing executed by the driving support ECU 14 is executed according to the flowchart shown in FIG. The target detection process is repeatedly performed each time image data is output from the camera 12 while the ACC switch is turned on.

はじめに、運転支援ECU14は、レーダセンサ11から出力された送受信データに基づく物標検出を行う(S110)。具体的には、運転支援ECU14は、送受信データに基づいて、レーザビームを反射した物標特徴点を備える物標の位置、当該物標までの距離、自車両の前方における水平方向及び垂直方向における物標の方位、相対速度、等を検出する。以下では説明に応じて、レーザビームを反射した物標特徴点を備える物標をレーダ物標という。また、レーザビームを反射した物標特徴点をレーダ特徴点という。   First, the driving support ECU 14 performs target detection based on transmission / reception data output from the radar sensor 11 (S110). Specifically, based on the transmission and reception data, the driving support ECU 14 detects the position of the target provided with the target feature point that reflects the laser beam, the distance to the target, and the horizontal and vertical directions in front of the vehicle. The direction of the target, relative velocity, etc. are detected. In the following, according to the description, a target provided with a target feature point obtained by reflecting a laser beam is referred to as a radar target. Also, a target feature point that reflects the laser beam is called a radar feature point.

物標特徴点とは、運転支援ECU14が検出対象とする物標が備える、当該物標の特徴を示す部位を言う。レーダセンサ11がレーザレーダである本実施形態において、例えば、自車両の前方を走行する先行車両を検出対象とする場合であれば、先行車両の後部に含まれる他の部位と比較して光の反射が大きい部位を物標特徴点と言うものとする。具体的には、光の反射が大きい部位であるリフレクタを備えるテールライトが、物標特徴点の一例として挙げられる。   The target feature point refers to a portion of the target that is to be detected by the driving support ECU 14 and that indicates the feature of the target. In the present embodiment in which the radar sensor 11 is a laser radar, for example, in the case where a preceding vehicle traveling in front of the own vehicle is to be detected, the light is compared with other parts included in the rear of the preceding vehicle. A portion where the reflection is large is referred to as a target feature point. Specifically, a taillight provided with a reflector that is a portion where light reflection is large is mentioned as an example of the target feature point.

図3における(a)に示すように先行車両9が四輪車両である場合、先行車両9の後部における右端部に設置されている右テールライト91R、及び左端部に設置されている左テールライト91Lによって反射されたレーザビームの水平方向に対する受信強度(反射強度)の分布は、一例として図3における(b)に示すように検出される。すなわち、水平方向に対する反射強度の分布において、反射強度が第1の閾値S1以上となる、先行車両9の車体での反射による幅広のピークと、反射強度が第1の閾値S1より大きい第2の閾値S2以上となる、右テールライト91R及び左テールライト91Lでの反射による急峻なピークとが検出される。   When the leading vehicle 9 is a four-wheeled vehicle as shown in FIG. 3A, the right taillight 91R installed at the right end of the rear of the leading vehicle 9 and the left taillight installed at the left end The distribution of the reception intensity (reflection intensity) in the horizontal direction of the laser beam reflected by 91 L is detected as shown in (b) in FIG. 3 as an example. That is, in the distribution of reflection intensity in the horizontal direction, the reflection intensity is equal to or greater than the first threshold S1, and a broad peak by reflection on the vehicle body of the preceding vehicle 9 and the reflection intensity is larger than the first threshold S1 The steep peaks due to the reflection at the right tail light 91R and the left tail light 91L, which are equal to or greater than the threshold S2, are detected.

そこで、S110では、運転支援ECU14は、水平方向に対する反射強度の分布において、反射強度が第1の閾値S1以上となる反射範囲aに含まれる方位であって、当該反射範囲aの中央を挟む2つの方位、すなわち中央より右側の方位及び左側の方位の両方に、反射強度が第2の閾値S2以上となるピークが検出された場合に、これらのピークが検出された方位の中央を、レーダ物標の水平方向における方位として検出する。また、これらのピークが検出された方位を、レーダ特徴点の水平方向における方位として検出する。   Therefore, in S110, the driving support ECU 14 is an azimuth included in the reflection range a where the reflection intensity is equal to or higher than the first threshold S1 in the distribution of reflection intensities in the horizontal direction, and sandwiches the center of the reflection range a 2 If a peak whose reflection intensity is greater than or equal to the second threshold S2 is detected in one of the two azimuths, ie, the azimuth on the right and the left of the center, the center of the azimuth at which these peaks are detected Detected as the horizontal direction of the mark. Further, the azimuth in which these peaks are detected is detected as the azimuth in the horizontal direction of the radar feature point.

また、図示していないが、先行車両9における右テールライト91R、左テールライト91Lによって反射されたレーザビームの垂直方向に対する反射強度の分布では、反射強度が所定の閾値、例えば第2の閾値S2以上となる急峻なピークが検出される。   Further, although not shown, in the distribution of the reflection intensity to the vertical direction of the laser beam reflected by the right tail light 91R and the left tail light 91L in the leading vehicle 9, the reflection intensity has a predetermined threshold, for example, the second threshold S2. The steep peak which is above is detected.

そこで、S110では、運転支援ECU14は、垂直方向に対する反射強度の分布においても同様に、反射強度が例えば第2の閾値S2以上となるピークが検出された場合に、ピークが検出された方位を、レーダ物標及びレーダ特徴点の垂直方向の方位として検出する。   Therefore, in S110, the driving assistance ECU 14 similarly detects the direction in which the peak is detected when the peak for which the reflection intensity is equal to or higher than the second threshold S2 is detected, also in the distribution of the reflection intensity in the vertical direction. It is detected as the vertical direction of the radar target and the radar feature point.

運転支援ECU14は、レーダ物標の水平方向の方位、垂直方向の方位に基づいて、レーダ物標の位置と距離とを検出する。また、レーダ特徴点における相対速度に基づいて、例えば先行車両9のようにレーダ特徴点が複数ある場合は、これらにおける相対速度の平均値をレーダ物標における相対速度として検出する。なお、S110でいう位置とは、レーダセンサ11の取付位置を基準点(原点)とし、車幅方向をx方向とし、車長方向をy方向とし、車高方向をz方向とする座標系における位置座標を言う。   The driving support ECU 14 detects the position and the distance of the radar target based on the horizontal direction and the vertical direction of the radar target. Further, based on the relative velocity at the radar feature point, for example, when there are a plurality of radar feature points such as the preceding vehicle 9, the average value of the relative velocity at these is detected as the relative velocity at the radar target. The position in S110 refers to a coordinate system in which the mounting position of the radar sensor 11 is a reference point (origin), the vehicle width direction is an x direction, the vehicle length direction is ay direction, and the vehicle height direction is az direction. It says position coordinates.

図2に戻り説明を続ける。次に、運転支援ECU14は、カメラ12から出力された画像データに基づく物標検出を行う(S120)。つまり、運転支援ECU14は、カメラ12から出力された画像データに基づいて、パターンマッチング等の周知の画像処理を行うことにより、この画像の範囲内に存在する物標特徴点及び物標特徴点を備える物標を検出する。   Returning to FIG. 2, the explanation will be continued. Next, the driving support ECU 14 performs target detection based on the image data output from the camera 12 (S120). That is, the driving support ECU 14 performs known image processing such as pattern matching based on the image data output from the camera 12 to obtain target feature points and target feature points present in the range of this image. Detect the target provided.

運転支援ECU14は、前方画像に基づいて、物物標特徴点及び物標特徴点を備える物標の位置、車両1から物標までの距離、自車両の前方における水平方向及び垂直方向における物標特徴点及び物標の方位、物標の相対速度、物標の種別、等を検出する。以下では、説明に応じて、画像データに基づいて検出された物標特徴点を備える物標を画像物標という。また、画像データに基づいて検出された物標特徴点を画像特徴点という。   Based on the front image, the driving support ECU 14 detects the position of the target including the target feature point and the target feature point, the distance from the vehicle 1 to the target, and the horizontal and vertical targets in front of the host vehicle. The orientation of feature points and targets, the relative velocity of targets, the type of targets, etc. are detected. Hereinafter, according to the description, a target provided with target feature points detected based on image data is referred to as an image target. In addition, a target feature point detected based on image data is referred to as an image feature point.

画像物標及び画像特徴点の位置の検出について具体的に説明する。運転支援ECU14は、後述する図5に示すように、自車両1の前方が撮像された画像(以下、前方画像という)の範囲内に存在する四輪車両(先行車両9)を検出し、検出された先行車両9を表す画像の範囲内において輝度が所定値より高く且つ赤色の領域が検出された場合に、この領域の中心を先行車両9が備える物標特徴点の位置に対応する点として検出する。すなわち運転支援ECU14は、右テールライト91Rの位置に対応する点P41及び左テールライト91Lの位置に対応する点P42を画像特徴点の位置に対応する点として検出し、点P41及び点P42の中央を、画像物標(先行車両9)の位置に対応する点P4として検出する。なお、図5において、横軸は車幅方向(x方向)を表し、縦軸は車長方向(y方向)及び車高方向(z方向)を表す。   The detection of the position of the image target and the image feature point will be specifically described. As shown in FIG. 5 described later, the driving support ECU 14 detects and detects four-wheeled vehicles (preceding vehicle 9) present in the range of an image (hereinafter referred to as a front image) in which the front of the host vehicle 1 is captured. When a red area is detected where the luminance is higher than a predetermined value within the range of the image representing the preceding vehicle 9, the center of this area is taken as a point corresponding to the position of the target feature point of the preceding vehicle 9 To detect. That is, the driving support ECU 14 detects a point P41 corresponding to the position of the right taillight 91R and a point P42 corresponding to the position of the left taillight 91L as a point corresponding to the position of the image feature point, and the centers of the points P41 and P42. Is detected as a point P4 corresponding to the position of the image target (preceding vehicle 9). In FIG. 5, the horizontal axis represents the vehicle width direction (x direction), and the vertical axis represents the vehicle length direction (y direction) and the vehicle height direction (z direction).

図2に戻り説明を続ける。
次に、運転支援ECU14は、レーダ物標の位置を含む所定範囲内に画像物標の位置が含まれるか否かを判定する(S130)。
Returning to FIG. 2, the explanation will be continued.
Next, the driving support ECU 14 determines whether the position of the image target is included in a predetermined range including the position of the radar target (S130).

図4は、自車両周辺を鉛直方向に見下ろしたときの、カメラに基づく物標の検出結果、及びレーダセンサに基づく物標の検出結果の、位置関係の一例を示した位置関係図である。ここで、S110で検出したレーダ物標の位置に対応する点をこの位置関係図に投影した点をレーダ対応点P1とする。運転支援ECU14は、投影したレーダ対応点P1を中心として含む所定範囲R1に、S120で検出した画像物標(先行車両9)の位置に対応する点P2が含まれる場合に、レーダ物標の位置を含む所定範囲内に画像物標の位置が含まれると判定する。所定範囲R1は、レーダセンサ11による検出誤差とカメラ12による検出誤差とに基づいて定められる。   FIG. 4 is a positional relationship diagram showing an example of the positional relationship between the detection result of a target based on a camera and the detection result of a target based on a radar sensor when looking down around the host vehicle in the vertical direction. Here, a point corresponding to the position of the radar target detected in S110 is projected on this positional relationship diagram as a radar corresponding point P1. When the driving support ECU 14 includes the point P2 corresponding to the position of the image target (preceding vehicle 9) detected in S120 in the predetermined range R1 including the projected radar corresponding point P1 as a center, the position of the radar target It is determined that the position of the image target is included in a predetermined range including. The predetermined range R1 is determined based on the detection error by the radar sensor 11 and the detection error by the camera 12.

ここで、運転支援ECU14は、レーダ物標の位置を含む所定範囲内に画像物標の位置が含まれると判定した場合には(S130:YES)、処理をS140へ移行させる。そして、運転支援ECU14は、画像特徴点の位置を含む所定範囲内にレーダ特徴点の位置が含まれるか否かを、前方画像に基づいて判定する(S140)。運転支援ECU14は、前方画像において、画像特徴点の位置を含む所定範囲内にレーダ特徴点の位置が含まれると判定した場合には(S140:YES)、センサフュージョンによる物標情報の生成を行い(S150)、処理をS170へ移行させる。すなわち、運転支援ECU14は、画像特徴点の位置を含む所定範囲内にレーダ特徴点の位置が含まれると判定した場合(S140:YES)に、この画像特徴点を備える画像物標と、このレーダ特徴点を備えるレーダ物標とが、同一であると判定している。   Here, when it is determined that the position of the image target is included in the predetermined range including the position of the radar target (S130: YES), the driving support ECU 14 shifts the processing to S140. Then, the driving support ECU 14 determines whether the position of the radar feature point is included in a predetermined range including the position of the image feature point, based on the front image (S140). When it is determined that the position of the radar feature point is included in the predetermined range including the position of the image feature point in the front image (S140: YES), the driving support ECU 14 generates target information by sensor fusion. (S150), the process proceeds to S170. That is, when the driving support ECU 14 determines that the position of the radar feature point is included in the predetermined range including the position of the image feature point (S140: YES), the image target including the image feature point, and the radar It is determined that the radar targets having feature points are the same.

S140では、具体的には、運転支援ECU14は、S110で検出したレーダ特徴点の位置に対応する点を、図5に示す前方画像に投影した点を、レーダ特徴対応点P31、P32とする。そして、運転支援ECU14は、画像特徴点の位置に対応する点である右テールライト91Rの位置を表す点P41及び左テールライト91Lの位置を表す点P42をそれぞれ中心として含む所定範囲R4に、投影したレーダ特徴対応点P31及びレーダ特徴対応点P32が含まれる場合に、この画像特徴点を備える画像物標と、このレーダ特徴点を備えるレーダ物標とが、同一であると判定する。所定範囲R4は、レーダセンサ11による検出誤差とカメラ12による検出誤差とに基づいて定められる。所定範囲R4は、ここでは、車幅方向の範囲をW1とし、車高方向の範囲をH1とする矩形領域に定められている。   In S140, specifically, the driving support ECU 14 defines points corresponding to the positions of the radar feature points detected in S110 as the radar feature corresponding points P31, P32 on the forward image shown in FIG. Then, the driving support ECU 14 projects a predetermined range R4 including a point P41 representing the position of the right taillight 91R, which is a point corresponding to the position of the image feature point, and a point P42 representing the position of the left taillight 91L. When the radar feature corresponding point P31 and the radar feature corresponding point P32 are included, it is determined that the image target provided with the image feature point is the same as the radar target provided with the radar feature point. The predetermined range R4 is determined based on the detection error by the radar sensor 11 and the detection error by the camera 12. Here, the predetermined range R4 is defined as a rectangular area where the range in the vehicle width direction is W1 and the range in the vehicle height direction is H1.

換言すれば、画像特徴点の位置に対応する点P41、点P42を中心とする車幅方向における所定範囲W1内に、投影されたレーダ特徴対応点P31、点P32が含まれるか否かを判定することは、一例として図6(a)に示すように、車幅方向をx方向とし、車長方向をy方向とし、レーダセンサ11の取付位置を基準点P0として含むxy平面において、画像特徴点の位置に対応する点(例えば、点Q21、点Q22)の基準点P0に対する方位を含む所定の角度θxyの方位範囲に、レーダ特徴点の位置に対応する点(例えば、点Q11、点Q12)が含まれるか否かを判定することに相当する。   In other words, it is determined whether the projected radar feature corresponding point P31 or P32 is included in the predetermined range W1 in the vehicle width direction centering on the point P41 corresponding to the position of the image feature point and the point P42. For example, as shown in FIG. 6A, the image feature is on the xy plane including the vehicle width direction as the x direction, the vehicle length direction as the y direction, and the attachment position of the radar sensor 11 as the reference point P0. A point corresponding to the position of the radar feature point (eg, point Q11, point Q12) in an azimuth range of a predetermined angle θxy including the direction of the point (eg, point Q21, point Q22) corresponding to the position of the point with respect to the reference point P0. It corresponds to determining whether or not.

また、画像特徴点の位置に対応する点P41、点P42を中心とする車高方向における所定範囲H1内に、投影されたレーダ特徴対応点P11、点P12が含まれるか否かを判定することは、一例として図6(b)に示すように、車長方向をy方向とし、車高方向をz方向とし、レーダセンサ11の取付位置を基準点P0を含むyz平面において、画像特徴点の位置に対応する点(例えば、点Q41、点Q42)の基準点P0に対する方位を含む所定の角度θyzの方位範囲に、レーダ特徴点の位置に対応する点(例えば、点Q31、点Q32)が含まれるか否かを判定することに相当する。   Further, it is determined whether the projected radar feature corresponding point P11 or P12 is included in a predetermined range H1 in the vehicle height direction centering on the point P41 corresponding to the position of the image feature point and the point P42. For example, as shown in FIG. 6 (b), the vehicle length direction is y, the vehicle height direction is z, and the attachment position of the radar sensor 11 is an image feature point on the yz plane including the reference point P0. A point (for example, point Q31, point Q32) corresponding to the position of the radar feature point is in the azimuth range of a predetermined angle θyz including the direction of the point (for example, point Q41, point Q42) corresponding to the position with respect to the reference point P0. It corresponds to determining whether or not it is included.

またS150では、運転支援ECU14は、レーダセンサ11及びカメラ12に基づいてそれぞれ独立して検出した検出結果を融合して、センサフュージョンによる物標情報を生成する。具体的には、運転支援ECU14は、カメラ12に基づいて検出された物標の種別(ここでは、四輪車両)を、物標情報における物標の種別の検出結果とする。また、運転支援ECU14は、カメラ12に基づいて検出された車幅方向(x方向)における位置を、物標情報における物標の車幅方向(x方向)の位置の検出結果とする。また、運転支援ECU14は、レーダセンサ11に基づいて検出された距離を、物標情報における物標までの距離の検出結果とする。また、運転支援ECU14は、カメラ12に基づく車幅方向(x方向)における位置と、レーダセンサ11に基づく物標までの距離とに基づいて、基準点P0に対する物標の相対位置を検出し、これを物標情報における物標の位置の検出結果とする。また、運転支援ECU14は、レーダセンサ11に基づいて検出された相対速度を、物標情報における物標の相対速度の検出結果とする。   In S150, the driving assistance ECU 14 combines detection results independently detected based on the radar sensor 11 and the camera 12 to generate target information by sensor fusion. Specifically, the driving support ECU 14 sets the type of the target detected based on the camera 12 (here, four-wheeled vehicle) as the detection result of the type of the target in the target information. Further, the driving support ECU 14 sets the position in the vehicle width direction (x direction) detected based on the camera 12 as the detection result of the position in the vehicle width direction (x direction) of the target in the target information. Further, the driving support ECU 14 sets the distance detected based on the radar sensor 11 as the detection result of the distance to the target in the target information. In addition, the driving support ECU 14 detects the relative position of the target with respect to the reference point P0 based on the position in the vehicle width direction (x direction) based on the camera 12 and the distance to the target based on the radar sensor 11. Let this be a detection result of the position of the target in the target information. In addition, the driving support ECU 14 sets the relative velocity detected based on the radar sensor 11 as the detection result of the relative velocity of the target in the target information.

一方、運転支援ECU14は、S130でレーダ物標点の位置を含む所定範囲内に画像物標点の位置が含まれないと判定した場合(S130:NO)、又はS140で画像特徴点の位置を含む所定範囲内にレーダ特徴点の位置が含まれないと判定した場合(S140:NO)には、センサフュージョンによらない物標情報の生成を行い(S160)、処理をS170へ移行させる。すなわち、運転支援ECU14は、画像特徴点の位置の所定範囲内にレーダ特徴点の位置が含まれない判定した場合(S140:NO)に、画像特徴点を備える画像物標とレーダ特徴点を備えるレーダ物標とが、同一でないと判定している。   On the other hand, when the driving support ECU 14 determines that the position of the image target point is not included in the predetermined range including the position of the radar target point in S130 (S130: NO), or the position of the image feature point in S140. If it is determined that the position of the radar feature point is not included in the predetermined range (S140: NO), target information not based on sensor fusion is generated (S160), and the process proceeds to S170. That is, when it is determined that the position of the radar feature point is not included in the predetermined range of the position of the image feature point (S140: NO), the driving support ECU 14 includes the image target including the image feature point and the radar feature point. It is determined that the radar target is not identical.

S160では、運転支援ECU14は、レーダセンサ11及びカメラ12に基づいてそれぞれ独立して検出した検出結果を融合せず、センサフュージョンによらない物標情報を生成する。具体的には、運転支援ECU14は、レーダセンサ11に基づいて検出した検出結果を用いて物標情報を生成する。すなわち、運転支援ECU14は、レーダセンサ11に基づいて検出された距離、方位、基準点P0に対する相対位置、相対速度等を、物標情報における検出結果とする。なお、運転支援ECU14は、物標情報における物標の種別の検出結果については、本物標検出処理の前サイクルにおける物標の種別の検出結果を用いる。   In S160, the driving support ECU 14 does not fuse detection results independently detected based on the radar sensor 11 and the camera 12, and generates target information not based on sensor fusion. Specifically, the driving support ECU 14 generates target information using the detection result detected based on the radar sensor 11. That is, the driving support ECU 14 sets the distance detected based on the radar sensor 11, the azimuth, the relative position to the reference point P0, the relative velocity, and the like as the detection result in the target information. The driving support ECU 14 uses the detection result of the type of the target in the cycle before the target object detection process for the detection result of the type of the target in the target information.

続いて、運転支援ECU14は、S150又はS160で生成された物標情報を例えばRAM43に記憶し(S170)、本物標検出処理を終了する。
[3.効果]
以上詳述した第1実施形態によれば、以下の効果が得られる。
Subsequently, the driving support ECU 14 stores, for example, the target information generated in S150 or S160 in the RAM 43 (S170), and ends the real target detection process.
[3. effect]
According to the first embodiment described above, the following effects can be obtained.

[3A]運転支援ECU14は、レーダセンサ11に基づいて検出されたレーダ物標とカメラ12に基づいて検出された画像物標とが所定範囲内に含まれる(すなわち、近い位置に存在する可能性がある)場合に、これらの物標が同一である可能性がある、との予備判定を行い(S130)、更に、レーダセンサ11に基づいて検出されたレーダ物標特徴点とカメラ12に基づいて検出された画像特徴点とが所定の範囲に含まれる(近い位置に存在する可能性がある)場合に、レーダが検出した物標とカメラが検出した物標とが同一である、との判定を行う(S140)。つまり、物標だけでなく物標の特徴を表す物標特徴点に基づいて同一の物標であるか否かが判定されるため、物標の誤判定を抑制することができる。この結果、センサフュージョンによる物標の検出精度の低下を抑制することができる。   [3A] The driving support ECU 14 may include the radar target detected based on the radar sensor 11 and the image target detected based on the camera 12 within a predetermined range (ie, may be present at a close position) Preliminary determination that these targets may be identical (S130), and furthermore, based on the radar target feature points detected based on the radar sensor 11 and the camera 12 That the target detected by the radar and the target detected by the camera are the same when the image feature point detected is included in the predetermined range (possibly in a close position) A determination is made (S140). That is, since it is judged whether it is the same target object based on the target feature point which represents not only a target but the characteristic of a target, it can control the misjudgment of a target. As a result, it is possible to suppress the decrease in the detection accuracy of the target due to the sensor fusion.

図7は、先行車両9がETCゲートのバー100を通過した場合に、自車両1周辺を鉛直方向に見下ろしたときの、カメラに基づく物標の検出結果、及びレーダセンサに基づく物標の検出結果の、位置関係の一例を示した位置関係図である。このような状況において、例えば、ETCゲートのバー100が黄色と赤色とが交互に並ぶ模様を備える場合、レーダセンサ11によって、このETCゲートのバー100の赤色の部分がレーダ特徴点(点P51、点P52)として誤って検出されることが有り得る。   FIG. 7 shows a detection result of a target based on a camera and a detection of a target based on a radar sensor when the leading vehicle 9 passes the bar 100 of the ETC gate and looking down around the host vehicle 1 in the vertical direction. It is a positional relationship figure which showed an example of the positional relationship of a result. In such a situation, for example, when the bar 100 of the ETC gate has a pattern of alternating yellow and red, the red portion of the bar 100 of this ETC gate is a radar feature point (point P51, point P51, It may be erroneously detected as a point P52).

ここで比較のため、例えば、本実施形態の物標検出処理とは異なり、レーダ物標の位置を含む所定範囲内に画像物標の位置が含まれる場合(S130:YES)にこれらが同一の物標であると判定し、S150と同様のセンサフュージョンによる物標情報の生成を行うような処理を実行するECUを、比較用ECUとすると、この比較用ECUは次のように作動し得る。すなわち、図7に示す状況では、点P51と点P52との中央の点P5がレーダ物標の位置に対応する点として検出され、点P5を中心として含む所定範囲R1内に画像物標の位置に対応する点P6が含まれるため、比較用ECUにより、これらが同一の物標であると誤判定され得る。つまり、比較用ECUは、自車両1の真正面に停止車両が存在することを示す誤ったセンサフュージョンによる物標情報に基づいて、状況に適さない処理を行うおそれが有り得る。   Here, for comparison, for example, unlike the target detection process of the present embodiment, when the position of the image target is included in a predetermined range including the position of the radar target (S130: YES), these are the same. If it is determined that the ECU is a target and an ECU that executes processing for generating target information by sensor fusion similar to S150 is a comparison ECU, the comparison ECU can operate as follows. That is, in the situation shown in FIG. 7, the point P5 at the center between the point P51 and the point P52 is detected as a point corresponding to the position of the radar target, and the position of the image target within the predetermined range R1 including the point P5 as a center Since the point P6 corresponding to is included, the comparison ECU may erroneously determine that these are the same target. That is, the comparison ECU may perform processing not suitable for the situation based on the target information by the erroneous sensor fusion indicating that the stopped vehicle is present directly in front of the host vehicle 1.

これに対し、本実施形態の運転支援ECU14は、S140にて、図8に示す前方画像に基づいて、画像特徴点の位置に対応する点P81及び点P82を中心として含む所定範囲R4内にレーダ特徴点の位置に対応する点P71、点P72が含まれないと判定し、すなわち、これらが同一の物標ではないと正確に判定し(S140:NO)、センサフュージョンによらない物標情報の生成を行う(S160)。このように、本実施形態の運転支援ECU14では、レーダ物標と画像物標とが同一であるか否か判定において誤判定が抑制されるため、物標情報に基づいて、状況に適した各種処理を行うことができる。   On the other hand, at S140, the driving support ECU 14 according to the present embodiment, based on the front image shown in FIG. 8, detects the radar within a predetermined range R4 including the point P81 corresponding to the position of the image feature point and the point P82. It is determined that the point P71 and the point P72 corresponding to the position of the feature point are not included, that is, it is accurately determined that they are not the same target (S140: NO), and target information not based on sensor fusion The generation is performed (S160). As described above, in the driving support ECU 14 according to the present embodiment, the erroneous determination is suppressed in the determination as to whether or not the radar target and the image target are the same, so various types suitable for the situation based on the target information. Processing can be performed.

[3B]物標検出処理(S130)では、xy平面及びyz平面の両方において、レーダ物標の位置に対応する点を含む所定範囲内に画像物標の位置に対応する点が含まれるか否かを判定する(S130)。このため、xy平面のみ、又はyz平面のいずれか一方において判定を行う場合よりも、誤判定を抑制することができる。   [3B] In the target detection process (S130), in both the xy plane and the yz plane, whether a point corresponding to the position of the image target is included within a predetermined range including the point corresponding to the position of the radar target It is determined (S130). For this reason, an erroneous determination can be suppressed more than the case where the determination is performed in only one of the xy plane and the yz plane.

[3C]検出対象とする物標は先行車両9であるため、先行車両9の物標情報に基づく各種制御を行うことができる。
[3D]LIDAR(レーザレーダ)をレーダセンサ11として備えるため、光の反射強度が大きい部位を物標特徴点として検出することができる。
[3C] Since the target to be detected is the leading vehicle 9, various controls based on the target information of the leading vehicle 9 can be performed.
[3D] Since the LIDAR (laser radar) is provided as the radar sensor 11, a portion with high light reflection intensity can be detected as a target feature point.

[3E]先行車両が備えるテールライトを物標特徴点とするため、夜間においても、レーダセンサ11によって物標特徴点を精度よく検出することができる。
なお、第1実施形態では、運転支援ECU14が物標検出装置の一例に相当する。また、S110が第1物標検出手段としての処理の一例に相当し、S120が第2物標検出手段としての処理の一例に相当し、S130が第1判定手段としての処理の一例に相当し、S140が第2判定手段としての処理の一例に相当する。また、先行車両9が第1の物標及び第2の物標の一例に相当し、右テールライト91R及び左テールライト91Lが第1の物標特徴点及び第2の物標特徴点の一例に相当する。また、点P1が第1対応点の一例に相当し、点P2が第2対応点の一例に相当する。また、点Q11、点Q12が第1特徴対応点の一例に相当し、点Q21、点Q22が第2特徴対応点の一例に相当し、点Q31、点Q32が第1車高方向対応点の一例に相当し、点Q41、点Q42が第2車高方向対応点の一例に相当する。
[3E] Since the taillight with which the preceding vehicle is equipped is used as the target feature point, the target feature point can be accurately detected by the radar sensor 11 even at night.
In the first embodiment, the driving support ECU 14 corresponds to an example of the target detection device. Also, S110 corresponds to an example of processing as a first target detection means, S120 corresponds to an example of processing as a second target detection means, and S130 corresponds to an example of processing as a first determination means. S140 corresponds to an example of processing as the second determination means. In addition, the preceding vehicle 9 corresponds to an example of the first target and the second target, and the right tail light 91R and the left tail light 91L are examples of the first target feature point and the second target feature point. It corresponds to The point P1 corresponds to an example of the first corresponding point, and the point P2 corresponds to an example of the second corresponding point. Further, points Q11 and Q12 correspond to an example of a first feature corresponding point, points Q21 and Q22 correspond to an example of a second feature corresponding point, and points Q31 and Q32 correspond to a first vehicle height direction corresponding point. This corresponds to an example, and the points Q41 and Q42 correspond to an example of the second vehicle height direction corresponding point.

[4.他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
[4. Other embodiments]
As mentioned above, although embodiment of this invention was described, it can not be overemphasized that this invention can take various forms, without being limited to the said embodiment.

[4A]上記実施形態では、レーダセンサ11による送受信データに基づいて、四輪車を検出していたが、これに限らず、例えば二輪車を検出してもよい。この場合、物標特徴点として検出されるテールライトが1つである点が、上記実施形態と異なる。   [4A] In the above embodiment, the four-wheeled vehicle is detected based on the transmission and reception data by the radar sensor 11. However, the present invention is not limited to this. For example, a two-wheeled vehicle may be detected. In this case, the point which is one taillight detected as a target feature point differs from the above-mentioned embodiment.

[4B]上記実施形態では、LIDARをレーダセンサ11として備えていたが、これに限らず、例えば、ミリ波レーダをレーダセンサとして備えていてもよい。ミリ波レーダをレーダセンサとして備え、車両を検出対象とする場合には、ミリ波の反射強度が大きい部位、例えば、金属を材質とする部位であるナンバープレート等が物標特徴点の一例として挙げられる。   [4B] Although the LIDAR is provided as the radar sensor 11 in the above embodiment, the present invention is not limited to this, and for example, a millimeter wave radar may be provided as the radar sensor. In the case where a millimeter wave radar is provided as a radar sensor and a vehicle is to be detected, a site where the reflection intensity of the millimeter wave is large, for example, a license plate which is a site made of metal as an example of the target feature points Be

[4C]上記実施形態では、物標検出処理(S130)において、レーダ物標の位置に対応する点を含む所定範囲内に画像物標の位置に対応する点が含まれるか否かを判定していたが、これに限らず、画像物標の位置に対応する点を含む所定範囲内にレーダ物標の位置に対応する点が含まれるか否かを判定してもよい。また、物標検出処理(S140)においても同様に、画像物標特徴点の位置に対応する点を含む所定範囲内にレーダ物標特徴点の位置に対応する点が含まれるか否かを判定してもよい。   [4C] In the above embodiment, in the target detection process (S130), it is determined whether or not the point corresponding to the position of the image target is included in the predetermined range including the point corresponding to the position of the radar target. However, the present invention is not limited to this, and it may be determined whether or not a point corresponding to the position of the radar target is included within a predetermined range including the point corresponding to the position of the image target. Similarly, in the target detection process (S140), it is determined whether or not the point corresponding to the position of the radar target feature point is included in a predetermined range including the point corresponding to the position of the image target feature point. You may

[4D]上記実施形態では、物標検出処理(S140)において、水平方向すなわちxy平面と垂直方向すなわちyz平面との両方において、画像物標特徴点の位置を含む所定範囲内にレーダ物標特徴点の位置が含まれるか否かを判定していたが、これに限らず、例えばxy平面においてのみ、又はyz平面においてのみ判定を行ってもよい。   [4D] In the above embodiment, in the target detection process (S140), the radar target feature within a predetermined range including the position of the image target feature point in both the horizontal direction, ie, the xy plane and the vertical direction, ie, the yz plane. Although it was determined whether or not the position of the point is included, the determination is not limited to this, and may be performed, for example, only in the xy plane or only in the yz plane.

[4E]上記実施形態では、レーダ物標の位置をレーダセンサ11の取付位置を基準点としたときの相対位置で表していたが、これに限らず、基準点は任意に定めて良い。また、例えば運転支援装置10がGPS装置等を備えている場合には、レーダ物標の位置を絶対位置(世界座標系に基づく位置)で表しても良い。   [4E] In the above embodiment, the position of the radar target is represented by the relative position when the attachment position of the radar sensor 11 is used as a reference point. However, the present invention is not limited to this. Further, for example, when the driving support device 10 includes a GPS device or the like, the position of the radar target may be represented by an absolute position (a position based on the world coordinate system).

[4F]上記実施形態では、物標情報として、物標までの距離、方位、位置、相対速度を検出していたが、これに限らず、その他の項目(例えば、物標との相対加速度等)を更に検出してもよい。   [4F] In the above embodiment, although the distance to the target, the direction, the position, and the relative velocity are detected as target information, the present invention is not limited thereto, and other items (for example, relative acceleration with the target, etc. ) May be further detected.

[4G]上記実施形態では、カメラ12は、単眼カメラであったが、これに限らず、複眼カメラであってもよい。
[4H]上記実施形態では、レーダセンサ11に基づく物標の種別の検出を行っていない(S110)が、これに限らず、レーダセンサ11に基づく物標の種別の検出を行ってもよい。
[4G] In the above embodiment, the camera 12 is a single-eye camera. However, the present invention is not limited to this, and the camera 12 may be a compound-eye camera.
[4H] In the above embodiment, the type of target based on the radar sensor 11 is not detected (S110), but the type of target based on the radar sensor 11 may be detected.

[4I]上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。   [4I] The function of one component in the above embodiment may be distributed as a plurality of components, or the function of a plurality of components may be integrated into one component. Further, at least a part of the configuration of the above embodiment may be replaced with a known configuration having the same function. Further, part of the configuration of the above embodiment may be omitted as long as the problem can be solved. In addition, at least a part of the configuration of the above-described embodiment may be added to or replaced with the configuration of the other above-described embodiment. In addition, all the aspects contained in the technical thought specified from the wording as described in a claim are embodiment of this invention.

[4J]本発明は、前述した運転支援ECU14及び運転支援ECU14を備える運転支援装置10の他、運転支援ECU14を機能させるためのプログラム、このプログラムを記録した媒体、物標検出方法など、種々の形態で実現することができる。   [4J] In addition to the driving support device 10 including the driving support ECU 14 and the driving support ECU 14 described above, various programs for causing the driving support ECU 14 to function, a medium recording the program, a target detection method, etc. It can be realized in a form.

1…自車両 10…運転支援装置 11…レーダセンサ 12…カメラ 14…運転支援ECU 41…CPU 42…ROM 43…RAM。   1 ... own vehicle 10 ... driving support device 11 ... radar sensor 12 ... camera 14 ... driving support ECU 41 ... CPU 42 ... ROM 43 ... RAM.

Claims (4)

車両に搭載され、物標の特徴を示す物標特徴点を備える前記物標を検出する物標検出装置であって、
レーダにより電磁波を送受信して取得される情報に基づいて、前記電磁波を反射した第1の物標特徴点を備える第1の物標を検出する第1物標検出手段(S110)と、
カメラにより取得される撮像画像に基づいて、第2の物標特徴点を備える第2の物標を検出する第2物標検出手段(S120)と、
車幅方向をx方向とし、車長方向をy方向とするxy平面において、前記第1の物標の位置に対応する点及び前記第2の物標の位置に対応する点をそれぞれ第1対応点及び第2対応点として、前記第1対応点及び前記第2対応点の一方の対応点を含む所定の範囲に他方の対応点が含まれるかを判定する第1判定手段(S130)と、
前記第1判定手段によって前記第1対応点及び前記第2対応点の一方の対応点を含む所定の範囲に他方の対応点が含まれると判定された場合に、前記第1の物標特徴点の位置及び前記第2の物標特徴点の位置に基づいて前記第1の物標と前記第2の物標とが同一であると判定する第2判定手段(S140)と、
を備え、
前記第2判定手段は、所定の基準点を含むxy平面において、前記第1の物標特徴点の位置に対応する点及び前記第2の物標特徴点の位置に対応する点をそれぞれ第1特徴対応点及び第2特徴対応点として、前記第2特徴対応点の前記基準点に対する方位を含む所定の角度の方位範囲に前記第1特徴対応点が含まれる場合、且つ、車高方向をz方向とし、前記基準点を含むyz平面における前記第1の物標特徴点の位置に対応する点及び前記第2の物標特徴点の位置に対応する点をそれぞれ第1車高方向対応点及び第2車高方向対応点として、前記yz平面において、前記第2車高方向対応点の前記基準点に対する方位を含む所定の角度の方位範囲に前記第1車高方向対応点が含まれる場合に、前記第1の物標と前記第2の物標が同一であると判定する
ことを特徴とする物標検出装置。
A target detection device for detecting the target mounted on a vehicle and having a target feature point indicating a feature of the target,
First target detection means (S110) for detecting a first target provided with a first target feature point reflecting the electromagnetic wave based on information acquired by transmitting and receiving the electromagnetic wave by the radar;
A second target detection means (S120) for detecting a second target provided with a second target feature point based on a captured image acquired by a camera;
A point corresponding to the position of the first target and a point corresponding to the position of the second target in the xy plane in which the vehicle width direction is the x direction and the vehicle length direction is the y direction respectively correspond to the first A first determination unit (S130) that determines whether the other corresponding point is included in a predetermined range including one corresponding point of the first corresponding point and the second corresponding point as a point and a second corresponding point;
The first object feature point when it is determined that the other corresponding point is included in a predetermined range including one corresponding point of the first corresponding point and the second corresponding point by the first determination means A second determination unit (S140) that determines that the first target and the second target are the same based on the position of the second target and the position of the second target feature point;
Equipped with
The second determination means respectively sets a point corresponding to the position of the first target feature point and a point corresponding to the position of the second target feature point in an xy plane including a predetermined reference point. When the first feature corresponding point is included in the azimuth range of a predetermined angle including the direction of the second feature corresponding point with respect to the reference point as the feature corresponding point and the second feature corresponding point , and the vehicle height direction is z As a direction, a point corresponding to the position of the first target feature point in the yz plane including the reference point and a point corresponding to the position of the second target feature point are respectively the first vehicle height direction corresponding point and When the first vehicle height direction corresponding point is included in the azimuth range of a predetermined angle including the direction of the second vehicle height direction corresponding point with respect to the reference point in the yz plane as the second vehicle height direction corresponding point the second target object and the first target is the same Target detection device which is characterized in that determining.
請求項に記載の物標検出装置であって、
当該物標検出装置が検出対象とする前記物標は先行車両である
ことを特徴とする物標検出装置。
The target detection device according to claim 1 , wherein
The target detection device, wherein the target to be detected by the target detection device is a preceding vehicle.
請求項1または請求項に記載の物標検出装置であって、
前記レーダはレーザレーダであり、
前記物標特徴点は、当該物標特徴点以外の前記物標に含まれる部位と比較して、光の反射強度が大きい部位である
ことを特徴とする物標検出装置。
The target detection device according to claim 1 or 2 , wherein
The radar is a laser radar,
The target detection device, wherein the target feature point is a portion having a higher light reflection intensity than a portion included in the target other than the target feature point.
請求項に記載の物標検出装置であって、
前記先行車両が備えるテールライトを前記物標特徴点とする
ことを特徴とする物標検出装置。
The target detection device according to claim 3 , wherein
A target detection device, wherein a taillight provided to the preceding vehicle is used as the target feature point.
JP2014109179A 2014-05-27 2014-05-27 Target detection device Expired - Fee Related JP6424467B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014109179A JP6424467B2 (en) 2014-05-27 2014-05-27 Target detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014109179A JP6424467B2 (en) 2014-05-27 2014-05-27 Target detection device

Publications (2)

Publication Number Publication Date
JP2015224928A JP2015224928A (en) 2015-12-14
JP6424467B2 true JP6424467B2 (en) 2018-11-21

Family

ID=54841790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014109179A Expired - Fee Related JP6424467B2 (en) 2014-05-27 2014-05-27 Target detection device

Country Status (1)

Country Link
JP (1) JP6424467B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809640B (en) * 2016-03-09 2019-01-22 长春理工大学 Low-light video image enhancement method based on multi-sensor fusion
JP6996353B2 (en) * 2018-03-06 2022-01-17 トヨタ自動車株式会社 Object recognition device and vehicle travel control system
JP7117566B2 (en) * 2018-03-27 2022-08-15 パナソニックIpマネジメント株式会社 Information processing system and information processing method
CN109215005B (en) * 2018-08-29 2021-10-01 北京空间机电研究所 An error correction method for scanning camera image fusion of font-shaped detectors
CN111127541B (en) * 2018-10-12 2024-02-27 杭州海康威视数字技术股份有限公司 Vehicle size determination method, device and storage medium
KR102524293B1 (en) * 2018-11-07 2023-04-21 현대자동차주식회사 Apparatus and method for removing misrecognition of front vehicle and vehicle including the same
KR102569904B1 (en) * 2018-12-18 2023-08-24 현대자동차주식회사 Apparatus and method for tracking target vehicle and vehicle including the same
KR102797867B1 (en) * 2020-05-08 2025-04-21 주식회사 에이치엘클레무브 Radar sensor control apparatus and method
JP2025037193A (en) * 2023-09-05 2025-03-17 日立Astemo株式会社 Target Recognition Device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3941765B2 (en) * 2003-09-11 2007-07-04 トヨタ自動車株式会社 Object detection device
JP4598653B2 (en) * 2005-05-13 2010-12-15 本田技研工業株式会社 Collision prediction device
JP4595833B2 (en) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 Object detection device
JP2013019684A (en) * 2011-07-07 2013-01-31 Honda Motor Co Ltd Vehicle periphery monitoring device
JP5821780B2 (en) * 2012-05-28 2015-11-24 株式会社デンソー Vehicle light source detection apparatus and vehicle light source detection program
US9152526B2 (en) * 2012-11-16 2015-10-06 GM Global Technology Operations LLC Method and apparatus for state of health estimation of object sensing fusion system

Also Published As

Publication number Publication date
JP2015224928A (en) 2015-12-14

Similar Documents

Publication Publication Date Title
JP6424467B2 (en) Target detection device
CN108622091B (en) Collision avoidance device
JP6281460B2 (en) Object detection device
JP6885721B2 (en) Object detection device, object detection method
JP5470886B2 (en) Object detection device
US11338801B2 (en) Collision avoidance device
JP6614108B2 (en) Vehicle control apparatus and vehicle control method
WO2018105136A1 (en) Vehicle surrounding information acquisition device and vehicle
JPWO2018105136A1 (en) Vehicle peripheral information acquisition device and vehicle
WO2014033957A1 (en) Collision determination device and collision determination method
JP6432538B2 (en) Collision prediction device
WO2016194851A1 (en) Object detection device and object detection method
WO2017171082A1 (en) Vehicle control device and vehicle control method
JP2019002691A (en) Target information acquisition device
JP2006011570A (en) Camera calibration method and camera calibration device
JP7081098B2 (en) Driving environment recognition device, driving environment recognition method, program
JP5098563B2 (en) Object detection device
WO2021106509A1 (en) Apparatus and method for controlling mobile body
CN116134500A (en) Vehicle and Obstacle Detection Devices
JP2014021709A (en) Object position detecting device
CN110065492B (en) Vehicle control system
WO2018025632A1 (en) Image-capturing device
CN118475851A (en) Camera monitoring system including integrated distance sensor
JPWO2019172117A1 (en) Sensor system and image data generator
JPWO2019123582A1 (en) Object information generator and object information generator

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181008

R151 Written notification of patent or utility model registration

Ref document number: 6424467

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees