JP7803214B2 - Object recognition method and object recognition device - Google Patents
Object recognition method and object recognition deviceInfo
- Publication number
- JP7803214B2 JP7803214B2 JP2022087032A JP2022087032A JP7803214B2 JP 7803214 B2 JP7803214 B2 JP 7803214B2 JP 2022087032 A JP2022087032 A JP 2022087032A JP 2022087032 A JP2022087032 A JP 2022087032A JP 7803214 B2 JP7803214 B2 JP 7803214B2
- Authority
- JP
- Japan
- Prior art keywords
- distance measurement
- area
- ranging
- model
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Description
本発明は、物体認識方法及び物体認識装置に関する。 The present invention relates to an object recognition method and an object recognition device.
特許文献1には、車載レーダにより検出された対象物体の反射点群の検出パターンの情報から対象物体の矩形の推定を行うことにより対象物体の種別を識別する物体認識装置が開示されている。この矩形の推定において、クラスタリングで得られた検出パターンの全ての反射点を、各反射点がプロットされた水平面上でクラスタ中心を原点として1度ずつ回転させ、その都度水平方向の反射点の濃度投影を行う。そして、反射点の濃度値がピークとなる回転状態から少なくとも矩形のL字の2辺のいずれか1辺となる軸を見つけ、1軸しか見つけられなければ、その軸となす角が直角な方向に前記L字の2辺の残りの1辺となるもう一方の軸を設定することで矩形の幅又は奥行きとなる軸の検出を行う。 Patent Document 1 discloses an object recognition device that identifies the type of target object by estimating the rectangle of the target object from information on the detection pattern of a group of reflection points of the target object detected by an on-board radar. In estimating this rectangle, all reflection points of the detection pattern obtained by clustering are rotated one degree at a time on the horizontal plane on which each reflection point is plotted, with the cluster center as the origin, and the reflection point density in the horizontal direction is projected each time. Then, from the rotated state where the reflection point density value peaks, an axis that forms at least one of the two L-shaped sides of the rectangle is found. If only one axis is found, the other axis that forms the remaining L-shaped side is set in a direction perpendicular to the axis that forms the original axis, thereby detecting the axis that forms the width or depth of the rectangle.
しかしながら、水平面上(上面視)で対象物体の輪郭内部に反射点がある場合、濃度値のピークが対象物体の実際の幅又は奥行きとなる辺からずれることがある。特に、対象物体が水平方向に対し傾いているような場合には、対象物体のL字の2辺上の反射点が重なり、濃度値のピークが対象物体の実際の幅又は奥行きとなる辺からずれることがある。これにより、矩形の幅又は奥行きとなる軸を誤検出し、対象物体の姿勢推定精度が低下する可能性がある。 However, if there is a reflection point within the contour of the target object on a horizontal plane (top view), the peak density value may deviate from the edge that corresponds to the actual width or depth of the target object. In particular, if the target object is tilted relative to the horizontal direction, the reflection points on two L-shaped sides of the target object may overlap, causing the peak density value to deviate from the edge that corresponds to the actual width or depth of the target object. This may result in an incorrect detection of the axis that corresponds to the width or depth of the rectangle, reducing the accuracy of estimating the target object's orientation.
本発明は、対象物体の姿勢推定精度を向上することを目的とする。 The present invention aims to improve the accuracy of pose estimation of a target object.
本発明の一態様に係る物体認識方法及び物体認識装置は、移動体に搭載され、前記移動体の周囲に存在する対象物体の表面の測距点に関する測距点データを生成する測距センサと、前記測距センサから取得した前記測距点データに基づいて、対象物体を認識するコントローラと、を備える。前記コントローラは、前記測距点データのうち、同一の前記対象物体の表面の複数の前記測距点データを測距点群として抽出し、前記測距点群を、前記測距センサの位置を原点とする二次元座標上又は三次元座標上に変換し、前記二次元座標上又は三次元座標上において、前記測距点群の全てを含むモデル領域を複数設定し、前記二次元座標上又は前記三次元座標上において、前記測距点群により前記測距センサからの死角となる領域を占有領域として設定し、前記二次元座標上又は三次元座標上において、前記占有領域以外の領域を非占有領域として設定し、前記複数の前記モデル領域の中から、前記モデル領域の各々と前記非占有領域とが重なる重複領域の面積又は体積が所定値以下となる前記モデル領域を選択し、選択した前記モデル領域を、前記対象物体として認識することを特徴とする。 An object recognition method and object recognition device according to one aspect of the present invention comprises a ranging sensor mounted on a moving body that generates ranging point data relating to ranging points on the surface of a target object present around the moving body, and a controller that recognizes the target object based on the ranging point data acquired from the ranging sensor. The controller extracts, from the ranging point data, multiple ranging point data on the surface of the same target object as a ranging point cloud, transforms the ranging point cloud into a two-dimensional or three-dimensional coordinate system with the position of the ranging sensor as the origin, sets multiple model areas including all of the ranging point clouds on the two-dimensional or three-dimensional coordinate system, sets areas on the two-dimensional or three-dimensional coordinate system that are blind spots from the ranging sensor due to the ranging point clouds as occupied areas, and sets areas on the two-dimensional or three-dimensional coordinate system other than the occupied areas as non-occupied areas, selects from the multiple model areas model areas where the area or volume of an overlapping area where each of the model areas and the non-occupied area overlaps is equal to or smaller than a predetermined value, and recognizes the selected model area as the target object.
本発明によれば、対象物体の姿勢推定精度が向上する。 This invention improves the accuracy of estimating the pose of a target object.
(第1実施形態)
以下において、図面を参照して、本発明の第1実施形態を説明する。説明において、同一のものには同一符号を付して重複説明を省略する。
(First embodiment)
A first embodiment of the present invention will be described below with reference to the drawings. In the description, the same components are designated by the same reference numerals and redundant description will be omitted.
図1を参照して、第1実施形態に係る物体認識装置1の構成例を説明する。図1に示すように、物体認識装置1は、測距センサ10と、測距点取得部21、クラスタリング処理部22、周囲物体認識部23、運転支援部24からなる制御部20を備える。 An example configuration of the object recognition device 1 according to the first embodiment will be described with reference to Figure 1. As shown in Figure 1, the object recognition device 1 includes a distance measurement sensor 10 and a control unit 20 consisting of a distance measurement point acquisition unit 21, a clustering processing unit 22, a surrounding object recognition unit 23, and a driving assistance unit 24.
測距センサ10は、移動体に搭載され、移動体の周囲に存在する対象物体の表面の測距点に関する測距点データを生成する。測距センサ10は、移動体の周囲へ探査波を送信して移動体の周囲を走査し、探査波が移動体の周囲に存在する対象物体の表面で反射した反射波を受信する。測距センサ10は受信した反射波に基づいて、対象物体の表面の複数の位置で探査波がそれぞれ反射した反射点の位置を、移動体の測距センサ10に対する反射点の相対位置として算出し、各々の反射点の相対位置を表す測距点データを取得する。 The ranging sensor 10 is mounted on a mobile body and generates ranging point data relating to ranging points on the surface of target objects present around the mobile body. The ranging sensor 10 transmits probe waves around the mobile body to scan the periphery of the mobile body and receives the reflected waves from the surfaces of target objects present around the mobile body. Based on the received reflected waves, the ranging sensor 10 calculates the positions of the reflection points where the probe waves are reflected at multiple positions on the surface of the target object as the relative positions of the reflection points with respect to the ranging sensor 10 of the mobile body, and obtains ranging point data indicating the relative position of each reflection point.
測距センサ10は一例としてライダ(LIDAR:Laser Imaging Detection and Ranging)である。ライダとは周囲の物体に光(レーザ光)を発射し、その光(反射光)が物体に当たって跳ね返ってくるまでの時間を測定することにより、物体までの距離及び方向を測定したり、物体の形状を認識したりする。さらにライダは物体の位置関係を三次元的に取得することが可能である。なお反射光の強度を用いてマッピングすることも可能である。 One example of the distance measurement sensor 10 is a LIDAR (Laser Imaging Detection and Ranging). LIDAR measures the distance and direction to an object and recognizes the shape of the object by emitting light (laser light) at a surrounding object and measuring the time it takes for that light (reflected light) to hit the object and bounce back. LIDAR can also obtain the positional relationship of objects in three dimensions. It is also possible to perform mapping using the intensity of the reflected light.
測距点データは、測距点の位置情報を含む。測距点の位置情報は、測距点の位置座標を示す情報である。位置座標には、測距センサ10の設置位置を原点とする、x座標、y座標、及びz座標で表される三次元座標系が用いられる。位置座標には、測距センサ10から測距点に向かう方向(ヨー角、ピッチ角)、及び、測距センサ10から測距点までの距離(深度)で表される極座標系が用いられてもよい。また、測距点データは、所定間隔で取得される。 The ranging point data includes position information of the ranging point. The position information of the ranging point is information indicating the position coordinates of the ranging point. The position coordinates use a three-dimensional coordinate system expressed by x, y, and z coordinates, with the installation position of the ranging sensor 10 as the origin. The position coordinates may also use a polar coordinate system expressed by the direction from the ranging sensor 10 toward the ranging point (yaw angle, pitch angle) and the distance (depth) from the ranging sensor 10 to the ranging point. Furthermore, the ranging point data is acquired at predetermined intervals.
測距センサ10は対象物体の表面の複数の測距点の位置を測距点データとして取得できれば、どのようなセンサであってもよく上記に限定されない。例えば、測距センサ10は、移動体に搭載されたステレオカメラであってもよい。測距センサ10にステレオカメラを用いる場合、少なくとも2つの視点の異なるカメラ画像を取得し、それら画像間で対応する位置から視差を求め、三角測量の原理によって画像の各位置に対して3次元情報を取得しすることができる。移動体の周囲をステレオカメラで撮像した時の画像内の周囲物体に対応した画素の位置及び距離から測距点データを取得してもよい。測距センサ10は、取得した上記測距点データを制御部20の測距点取得部21に出力する。 The ranging sensor 10 can be any sensor that can acquire the positions of multiple ranging points on the surface of a target object as ranging point data, and is not limited to the above. For example, the ranging sensor 10 may be a stereo camera mounted on a moving object. When a stereo camera is used for the ranging sensor 10, it is possible to acquire camera images from at least two different viewpoints, determine the parallax from corresponding positions between the images, and acquire three-dimensional information for each position in the images using the principles of triangulation. The ranging point data may also be acquired from the positions and distances of pixels corresponding to surrounding objects in images captured by the stereo camera around the moving object. The ranging sensor 10 outputs the acquired ranging point data to the ranging point acquisition unit 21 of the control unit 20.
制御部20は、CPU(Central Processing Unit)、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、物体認識装置1として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは物体認識装置1が備える複数の情報処理回路として機能する。制御部20は、測距センサ10から取得したデータを処理する。 The control unit 20 is a general-purpose microcomputer equipped with a CPU (Central Processing Unit), memory, and input/output units. A computer program for functioning as the object recognition device 1 is installed in the microcomputer. By executing the computer program, the microcomputer functions as multiple information processing circuits equipped in the object recognition device 1. The control unit 20 processes data acquired from the distance measurement sensor 10.
なおここでは、ソフトウェアによって物体認識装置1が備える複数の情報処理回路を実現する例を示すが、もちろん以下に示す各情報処理を実行するための専用のハードウェアを用意して情報処理回路を構成することも可能である。また複数の情報処理回路を個別のハードウェアにより構成してもよい。 Note that while this example shows the implementation of multiple information processing circuits provided in the object recognition device 1 using software, it is of course also possible to configure the information processing circuits by providing dedicated hardware for executing each of the information processes described below. Furthermore, the multiple information processing circuits may also be configured using separate hardware.
制御部20は、測距センサ10か取得した測距点データに基づいて、対象物体を認識する。制御部20は、複数の情報処理回路(情報処理機能)の一例として、測距点取得部21、クラスタリング処理部22、周囲物体認識部23、運転支援部24を備える。 The control unit 20 recognizes target objects based on the ranging point data acquired by the ranging sensor 10. The control unit 20 includes a ranging point acquisition unit 21, a clustering processing unit 22, a surrounding object recognition unit 23, and a driving assistance unit 24 as examples of multiple information processing circuits (information processing functions).
以下、制御部20の各情報処理機能について説明する。
測距点取得部21は、測距センサ10から測距点データを取得する。測距センサ10により取得した測距点データには、物体以外の路面等の様々な測距点データが含まれる。そのため測距点取得部21は、まず取得した測距点データの中から立体物の測距点データを抽出する。
Each information processing function of the control unit 20 will be described below.
The ranging point acquisition unit 21 acquires ranging point data from the ranging sensor 10. The ranging point data acquired by the ranging sensor 10 includes various ranging point data of road surfaces and the like other than objects. Therefore, the ranging point acquisition unit 21 first extracts ranging point data of three-dimensional objects from the acquired ranging point data.
立体物の測距点データの抽出方法は、路面から第一高さ所定値以上の高さの測距点データを抽出するようにしてもよい。例えば、第一高さ所定値は、三次元座標系のz軸において一般的な車両のバンパーの最下部の高さとなるように設定することができる。また、立体物の測距点データの抽出方法は、路面から第一高さ所定値以上かつ第二高さ所定値未満の高さの測距点データを抽出するようにしてもよい。例えば、第二高さ所定値は、カメラ等で認識した駐車車両の車種(大型車、普通車など)から、車種に応じたルーフの高さまでを含むように設定することができる。その他にも、測距点データを蓄積したグリッドマップを生成して路面と立体物の測距点を判定してもよい。 The method for extracting distance measurement point data for a three-dimensional object may involve extracting distance measurement point data at a height equal to or greater than a first predetermined height value from the road surface. For example, the first predetermined height value can be set to the height of the bottom of a typical vehicle's bumper on the z axis of a three-dimensional coordinate system. The method for extracting distance measurement point data for a three-dimensional object may also involve extracting distance measurement point data at a height equal to or greater than a first predetermined height value and less than a second predetermined height value from the road surface. For example, the second predetermined height value can be set to include the type of parked vehicle (large vehicle, standard car, etc.) recognized by a camera or the like, up to the roof height corresponding to the type of vehicle. Alternatively, a grid map storing distance measurement point data may be generated to determine the distance measurement points between the road surface and a three-dimensional object.
次に、クラスタリング処理部22は、抽出した立体物の測距点データを抽出するクラスタリング処理を行う。ここで、クラスタリングとは、抽出した立体物の測距点データのうち、同一の対象物体の表面の複数の測距点データをクラスタ(測距点群)として抽出する手法である。一例として、抽出した立体物の複数の測距点データの中から、2点間の距離が所定値以下の測距点データを測距点群として抽出する。例えば、対象物体が車両(他車両)である場合に抽出された測距点群は図2の(a)のようになる。 Next, the clustering processing unit 22 performs clustering processing to extract ranging point data for the extracted three-dimensional object. Here, clustering is a technique for extracting, from the ranging point data for the extracted three-dimensional object, multiple ranging point data on the surface of the same target object as a cluster (ranging point cloud). As an example, from the multiple ranging point data for the extracted three-dimensional object, ranging point data where the distance between two points is less than a predetermined value is extracted as a ranging point cloud. For example, when the target object is a vehicle (another vehicle), the extracted ranging point cloud will look like (a) in Figure 2.
図3は、近接する他車両と壁及び他車両と壁の表面の測距点を示している。他車両と壁が近接しているような場合には、他車両と壁という複数の対象物体の測距点が、同一の対象物体の測距点群として誤抽出されてしまうことがある。その際には、クラスタリング処理部22は、測距点群を抽出した2点間の距離の所定値を前回より小さくし、再度クラスタリング処理を行って、測距点群を再抽出する。つまり、クラスタリング処理部22は、測距点群を分割する。具体的なフローについては、図7のフローチャートを用いて後述する。 Figure 3 shows distance measurement points between a nearby vehicle and a wall, and between the vehicle and the surface of the wall. When a vehicle is close to a wall, the distance measurement points of multiple target objects, such as the vehicle and the wall, may be erroneously extracted as a distance measurement point cloud of the same target object. In such cases, the clustering processing unit 22 reduces the predetermined value of the distance between the two points used to extract the distance measurement point cloud from the previous value, performs clustering processing again, and re-extracts the distance measurement point cloud. In other words, the clustering processing unit 22 divides the distance measurement point cloud. The specific flow will be described later using the flowchart in Figure 7.
次に、クラスタリング処理部22は、抽出した測距点群を、図2の(b)のように移動体上面視の二次元測距点群データに変換する。ここで、移動体上面視の二次元測距点群データとは、測距点群を、測距センサ10の位置を原点とする、x座標及びy座標で表される二次元座標系に投影して、二次元座標に変換した測距点群データのことをいい、以下同様の意味で使う。なお、クラスタリング処理部22は、測距点群を、測距センサの位置を原点とするx座標、y座標及びz座標で示される三次元座標系に投影して、三次元座標に変換してもよい。 Next, the clustering processing unit 22 converts the extracted ranging point cloud into two-dimensional ranging point cloud data viewed from above on the moving object, as shown in Figure 2(b). Here, two-dimensional ranging point cloud data viewed from above on the moving object refers to ranging point cloud data converted into two-dimensional coordinates by projecting the ranging point cloud onto a two-dimensional coordinate system expressed by x and y coordinates with the position of the ranging sensor 10 as the origin, and the same meaning will be used hereinafter. Note that the clustering processing unit 22 may also project the ranging point cloud onto a three-dimensional coordinate system expressed by x, y, and z coordinates with the position of the ranging sensor as the origin, and convert it into three-dimensional coordinates.
次に周囲物体認識部23は、クラスタリング処理部22から入力された二次元測距点群データに基づいて、対象物体のモデル領域を設定する。周囲物体認識部23は、二次元座標上において、測距点群の全てを含むモデル領域を複数設定する。交通環境に存在するほとんどの物体(自動車、自動二輪車、自転車等)は、上面視においては矩形に近い形状をしているため、周囲物体認識部23は、対象物体は矩形形状であるという前提をもとに対象物体を近似した矩形形状を示す矩形領域をモデル領域として設定する。 Next, the surrounding object recognition unit 23 sets a model region for the target object based on the two-dimensional ranging point cloud data input from the clustering processing unit 22. The surrounding object recognition unit 23 sets multiple model regions that include all of the ranging point clouds on two-dimensional coordinates. Since most objects in a traffic environment (cars, motorcycles, bicycles, etc.) have shapes that are close to rectangular when viewed from above, the surrounding object recognition unit 23 sets a rectangular region that approximates the rectangular shape of the target object as a model region, based on the assumption that the target object is rectangular.
なお、測距点群が三次元座標に変換された場合には、周囲物体認識部23は、対象物体は直方体形状であるという前提をもとに、三次元座標上において、対象物体を近似した直方体の領域をモデル領域として設定してもよい。すなわち、周囲物体認識部23は、二次元座標上又は三次元座標上において測距点群の全てを含むモデル領域を複数設定する。 When the ranging point cloud is converted into three-dimensional coordinates, the surrounding object recognition unit 23 may set a rectangular parallelepiped region that approximates the target object in three-dimensional coordinates as a model region, based on the assumption that the target object has a rectangular parallelepiped shape. In other words, the surrounding object recognition unit 23 sets multiple model regions that include all of the ranging point cloud in two-dimensional or three-dimensional coordinates.
モデル領域の設定方法の1例として、周囲物体認識部23は、図4の(a)、(b)、(c)のように矩形の長辺方向と対象物体V2の進行方向の成す角θが異なり、測距点群の全てを含む最小の面積の矩形領域(モデル領域)30a、30b、30cを設定してもよい。なお、図4の(b)においては、矩形の長辺方向と対象物体V2の進行方向の成す角θは0°である。例えば、周囲物体認識部23は、矩形の長辺方向と対象物体の進行方向の成す角θが0°から89°まで1°ごとにそれぞれ測距点群の全てを含む最小の面積の矩形領域をモデル領域として複数設定してもよい。この場合、矩形の長辺方向と対象物体の進行方向の成す角θが0°から89°までの90通りの矩形領域がモデル領域として設定される。また何度ごとにモデル領域を設定するかは上記に限られない。本実施形態では、測距点群の全てを含む最小の面積のモデル領域を設定する例を示したが、測距点の一部を含むモデル領域を設定してもよい。 As an example of a method for setting a model area, the surrounding object recognition unit 23 may set rectangular areas (model areas) 30a, 30b, and 30c of the smallest area that include all of the ranging point group, with different angles θ between the long side direction of the rectangle and the traveling direction of the target object V2, as shown in Figures 4(a), (b), and (c). In Figure 4(b), the angle θ between the long side direction of the rectangle and the traveling direction of the target object V2 is 0°. For example, the surrounding object recognition unit 23 may set multiple model areas of the smallest area that include all of the ranging point group, with the angle θ between the long side direction of the rectangle and the traveling direction of the target object varying in 1° increments from 0° to 89°. In this case, 90 different rectangular areas with angles θ between the long side direction of the rectangle and the traveling direction of the target object ranging from 0° to 89° are set as model areas. The number of degrees at which model areas are set is not limited to the above. In this embodiment, an example is shown in which a model region with the smallest area that includes all of the ranging points is set, but a model region that includes only some of the ranging points may also be set.
なお、測距点群が三次元座標に変換された場合には、周囲物体認識部23は、x-y平面上における直方体の長辺方向と対象物体の進行方向の成す角が異なり、三次元座標上の測距点群の全てを含む最小の体積のモデル領域を複数設定してもよい。この場合、x-y平面上における直方体の長辺方向と対象物体の進行方向の成す角が0°から89°までの90通りの直方体の領域がモデル領域として設定されてもよい。 When the ranging point cloud is converted into three-dimensional coordinates, the surrounding object recognition unit 23 may set multiple model areas of the smallest volume that include all of the ranging point cloud in the three-dimensional coordinates, where the angle between the long side direction of the rectangular parallelepiped on the x-y plane and the direction of travel of the target object is different. In this case, 90 different rectangular parallelepiped areas, where the angle between the long side direction of the rectangular parallelepiped on the x-y plane and the direction of travel of the target object ranges from 0° to 89°, may be set as model areas.
図5において、測距センサ10は移動体V1に搭載され、対象物体V2の測距点群が抽出されているとする。周囲物体認識部23は、図5のように測距センサ10の位置を原点とする二次元座標上において測距点群により測距センサ10(原点)からの死角となる領域を占有領域40として設定する。また、周囲物体認識部23は、測距センサ10の位置を原点とする二次元座標上において、占有領域40以外の領域を非占有領域50として設定する。なお、測距点群が三次元座標に変換された場合には、周囲物体認識部23は、測距センサ10の位置を原点とする三次元座標上において、測距点群により測距センサ10(原点)からの死角となる領域を占有領域として設定し、三次元座標上において、占有領域以外の領域を非占有領域として設定してもよい。 In FIG. 5, the distance measurement sensor 10 is mounted on a mobile object V1, and a distance measurement point cloud of a target object V2 has been extracted. The surrounding object recognition unit 23 sets the area that is a blind spot from the distance measurement sensor 10 (origin) based on the distance measurement point cloud as an occupied area 40 on a two-dimensional coordinate system with the position of the distance measurement sensor 10 as the origin, as shown in FIG. 5. The surrounding object recognition unit 23 also sets the area other than the occupied area 40 as a non-occupied area 50 on a two-dimensional coordinate system with the position of the distance measurement sensor 10 as the origin. Note that when the distance measurement point cloud is converted into three-dimensional coordinates, the surrounding object recognition unit 23 may set the area that is a blind spot from the distance measurement sensor 10 (origin) based on the distance measurement point cloud as an occupied area on a three-dimensional coordinate system with the position of the distance measurement sensor 10 as the origin, and set the area other than the occupied area as a non-occupied area on the three-dimensional coordinate system.
ここで、占有領域とは、測距センサ10の位置を原点として、探査波を当てた際に探査波が測距点群により遮蔽される領域である。なお、測距点群間には連続的に点があるものとみなす。また占有領域は、測距点群のうち、測距センサ10からの各方位において測距センサ10からの距離が最短となる測距点に基づいて設定される。 Here, the occupied area is the area where the detection wave is blocked by the ranging point group when the detection wave is applied, with the position of the ranging sensor 10 as the origin. Note that the ranging point groups are considered to have continuous points. The occupied area is set based on the ranging point in the ranging point group that is the shortest distance from the ranging sensor 10 in each direction from the ranging sensor 10.
周囲物体認識部23は、複数のモデル領域の各々と、非占有領域50とが重なる重複領域の面積を算出する。例として、図4の(a)のモデル領域30aと非占有領域50とが重なる重複領域の面積は図6の(a)の斜線部分の領域Raの面積になる。図4の(b)のモデル領域30bと非占有領域50とが重なる重複領域の面積は、図6の(b)に示すように存在しないため、重複領域の面積は0になる。図4の(c)のモデル領域30cと非占有領域50とが重なる重複領域の面積は、図6の(c)の斜線部分の領域Rcの面積になる。なお、測距点群が三次元座標に変換された場合には、周囲物体認識部23は、複数のモデル領域の各々と非占有領域とが重なる重複領域の体積を算出する。 The surrounding object recognition unit 23 calculates the area of the overlapping region where each of the multiple model regions overlaps with the non-occupied region 50. For example, the area of the overlapping region where the model region 30a in FIG. 4(a) overlaps with the non-occupied region 50 is the area of the shaded region Ra in FIG. 6(a). The area of the overlapping region where the model region 30b in FIG. 4(b) overlaps with the non-occupied region 50 does not exist as shown in FIG. 6(b), so the area of the overlapping region is 0. The area of the overlapping region where the model region 30c in FIG. 4(c) overlaps with the non-occupied region 50 is the area of the shaded region Rc in FIG. 6(c). Note that when the ranging point cloud is converted into three-dimensional coordinates, the surrounding object recognition unit 23 calculates the volume of the overlapping region where each of the multiple model regions overlaps with the non-occupied region.
周囲物体認識部23は、重複領域の面積又は体積が所定値以下のモデル領域を選択する。周囲物体認識部23は、重複領域の面積又は体積が所定値以下のモデル領域が複数存在する場合には、重複領域の面積又は体積が最小となるモデル領域を選択してもよい。例えば、図6においては、重複領域の面積が最小(0)となるモデル領域30b(図示は省略)を選択してもよい。なお、モデル領域の選択方法は上記方法に限られず、周囲物体認識部23は、複数のモデル領域の各々と、占有領域とが重なる重複領域の面積又は体積が所定値以上のモデル領域を選択してもよい。 The surrounding object recognition unit 23 selects a model area where the area or volume of the overlapping area is less than a predetermined value. If there are multiple model areas where the area or volume of the overlapping area is less than a predetermined value, the surrounding object recognition unit 23 may select the model area where the area or volume of the overlapping area is smallest. For example, in Figure 6, model area 30b (not shown) where the area of the overlapping area is smallest (0) may be selected. Note that the method of selecting a model area is not limited to the above method, and the surrounding object recognition unit 23 may select a model area where the area or volume of the overlapping area where each of the multiple model areas overlaps with the occupied area is greater than or equal to a predetermined value.
周囲物体認識部23は、選択したモデル領域を、移動体の周囲に存在する対象物体を認識する。つまり、選択したモデル領域の位置及び形状、姿勢を対象物体の位置及び形状、姿勢として認識する。またモデル領域の幅が車両の幅に近い場合はその幅を車両の全面又は背面と推定してもよい。また、地図情報などを用いることで、車両の存在する車線から、車両が前向きであるか、後ろ向きであるか推定できる。モデル領域の大きさ及び形状の少なくとも一方に基づいて認識した対象物体の属性を判別できる。例えばモデル領域の大きさに基づいて車両の車種等(トラック又は乗用車のいずれであるか)を判別できる。 The surrounding object recognition unit 23 recognizes the selected model area as a target object existing around the moving body. In other words, it recognizes the position, shape, and posture of the selected model area as the position, shape, and posture of the target object. Furthermore, if the width of the model area is close to the width of the vehicle, that width may be estimated as the front or rear of the vehicle. Furthermore, by using map information, etc., it is possible to estimate whether the vehicle is facing forward or backward from the lane in which it is located. The attributes of the recognized target object can be determined based on at least one of the size and shape of the model area. For example, the vehicle type (whether it is a truck or a passenger car) can be determined based on the size of the model area.
運転支援部24は周囲物体認識部23で認識した対象物体の情報に基づいて、測距センサ10が搭載されている移動体に対し、最適な運転支援を行う。運転支援部24は、例えば、測距センサ10が車両に搭載されている場合に、他車両が自車両に接近していると判定した場合には、自車両のステアリングアクチュエータ、アクセルペダルアクチュエータ、ブレーキアクチュエータなどの各種のアクチュエータを制御して自車両を停止、または減速し、もしくは回避操舵を伴う運転支援を行う。この場合、対象物体の車種の推定精度が向上するので、運転支援精度が向上する。 The driving assistance unit 24 provides optimal driving assistance to a moving vehicle equipped with a distance measurement sensor 10 based on information about the target object recognized by the surrounding object recognition unit 23. For example, if the driving assistance unit 24 determines that another vehicle is approaching the vehicle when the distance measurement sensor 10 is installed in the vehicle, it controls various actuators such as the steering actuator, accelerator pedal actuator, and brake actuator of the vehicle to stop or decelerate the vehicle, or provides driving assistance that involves evasive steering. In this case, the accuracy of estimating the vehicle type of the target object is improved, thereby improving the accuracy of driving assistance.
次に図7のフローチャートを参照して、第1実施形態に係る物体認識装置1の一動作例について説明する。 Next, an example of the operation of the object recognition device 1 according to the first embodiment will be described with reference to the flowchart in Figure 7.
図7のステップS101において、測距センサ10は、移動体の周囲に存在する対象物体の表面の測距点に関する測距点データを生成する。測距センサ10は、生成した測距点データを測距点取得部21に出力する。測距点取得部21は、測距センサ10から測距点データを取得する。 In step S101 of FIG. 7, the ranging sensor 10 generates ranging point data relating to ranging points on the surface of a target object present around the moving body. The ranging sensor 10 outputs the generated ranging point data to the ranging point acquisition unit 21. The ranging point acquisition unit 21 acquires the ranging point data from the ranging sensor 10.
ステップS102において、測距点取得部21は、ステップS101で取得した測距点データの中から、立体物の測距点データを抽出する。 In step S102, the ranging point acquisition unit 21 extracts ranging point data of the three-dimensional object from the ranging point data acquired in step S101.
ステップS103において、クラスタリング処理部22は、ステップS102で抽出した立体物の測距点データに対し、クラスタリング処理を行い、同一の対象物体の測距点群を抽出する。クラスタリング処理部22は、立体物の測距点データのうち、同一の対象物体の表面の複数の測距点データを測距点群として抽出する。 In step S103, the clustering processing unit 22 performs clustering processing on the ranging point data of the three-dimensional object extracted in step S102, and extracts ranging point clouds of the same target object. From the ranging point data of the three-dimensional object, the clustering processing unit 22 extracts multiple ranging point data on the surface of the same target object as a ranging point cloud.
ステップS104において、クラスタリング処理部22は、ステップS103で抽出した測距点群を、測距センサ10の位置を原点とする二次元座標に変換する。すなわち、ステップS103で抽出した測距点群を、二次元測距点群データに変換する。 In step S104, the clustering processing unit 22 converts the ranging point cloud extracted in step S103 into two-dimensional coordinates with the position of the ranging sensor 10 as the origin. In other words, the ranging point cloud extracted in step S103 is converted into two-dimensional ranging point cloud data.
ステップS105において、周囲物体認識部23は、ステップS104においてした二次元測距点群データに基づいて、複数のモデル領域を設定する。周囲物体認識部23は、二次元座標上において、測距点群の全てを含む最小の面積のモデル領域を複数設定する。例えば、二次元座標上において、矩形の長辺方向と対象物体の進行方向の成す角が0°から89°までの1°ごとにそれぞれ測距点群の全てを含む最小の面積の矩形領域をモデル領域として設定する。 In step S105, the surrounding object recognition unit 23 sets multiple model areas based on the two-dimensional ranging point cloud data generated in step S104. The surrounding object recognition unit 23 sets multiple model areas with the smallest area that include all of the ranging point cloud on the two-dimensional coordinate system. For example, on the two-dimensional coordinate system, the unit sets as model areas rectangular areas with the smallest area that include all of the ranging point cloud for each 1° angle between the long side direction of the rectangle and the direction of travel of the target object from 0° to 89°.
ステップS106において、周囲物体認識部23は、ステップS104において取得した二次元測距点群データに基づいて、占有領域を設定する。周囲物体認識部23は、測距センサ10の位置を原点とする二次元座標上において、測距点群により測距センサ10(原点)からの死角となる領域を占有領域として設定する。 In step S106, the surrounding object recognition unit 23 sets an occupied area based on the two-dimensional ranging point cloud data acquired in step S104. On a two-dimensional coordinate system with the position of the ranging sensor 10 as the origin, the surrounding object recognition unit 23 sets the area that is a blind spot from the ranging sensor 10 (origin) based on the ranging point cloud as the occupied area.
ステップS107において、周囲物体認識部23は、ステップS104において取得した二次元測距点群データに基づいて、非占有領域を設定する。周囲物体認識部23は、測距センサ10の位置を原点とする二次元座標上において、占有領域以外の領域を非占有領域として設定する。 In step S107, the surrounding object recognition unit 23 sets a non-occupied area based on the two-dimensional ranging point cloud data acquired in step S104. The surrounding object recognition unit 23 sets an area other than the occupied area as a non-occupied area on a two-dimensional coordinate system with the position of the ranging sensor 10 as the origin.
ステップS108において、周囲物体認識部23は、ステップS105で得られた複数のモデル領域の各々と、ステップS107で得た非占有領域とが重なる重複領域の面積を算出する。 In step S108, the surrounding object recognition unit 23 calculates the area of the overlapping region where each of the multiple model regions obtained in step S105 overlaps with the unoccupied region obtained in step S107.
ステップS109において、周囲物体認識部23は、上記重複領域の面積が所定値以下のモデル領域が存在するか否か判定する。重複領域の面積が所定値位以下のモデル領域が存在する場合はステップS111に進み、存在しない場合はステップS110に進む。 In step S109, the surrounding object recognition unit 23 determines whether a model area exists in which the area of the overlapping area is equal to or less than a predetermined value. If a model area exists in which the area of the overlapping area is equal to or less than the predetermined value, the process proceeds to step S111; if not, the process proceeds to step S110.
ステップS110では、クラスタリング処理部22は、測距点群を分割する。具体的には、クラスタリング処理部22は、測距点群を抽出した2点間の距離の所定値を前回より小さくする。そして、ステップS104のフローに戻る。すなわち、クラスタリング処理部22は、重複領域の面積又は体積が所定値以下のモデル領域が存在しない場合には、測距点群を分割し、分割した測距点群のうち、同一の対象物体の表面の測距点を測距点群として再抽出する。 In step S110, the clustering processing unit 22 divides the ranging point cloud. Specifically, the clustering processing unit 22 reduces the predetermined value of the distance between the two points from which the ranging point cloud was extracted from compared to the previous time. Then, the flow returns to step S104. In other words, if there is no model area where the area or volume of the overlapping area is equal to or less than the predetermined value, the clustering processing unit 22 divides the ranging point cloud and re-extracts ranging points on the surface of the same target object from the divided ranging point cloud as a ranging point cloud.
ステップS111において、周囲物体認識部23は、上記重複領域の面積が所定値以下のモデル領域が複数存在するか否かを判定する。重複領域の面積が所定値位以下のモデル領域が複数存在する場合はステップS113に進み、重複領域の面積が所定値位以下のモデル領域が複数存在しない場合はステップS112に進む。ステップS112では、周囲物体認識部23は、重複領域の面積が所定値以下の矩形領域を選択する。 In step S111, the surrounding object recognition unit 23 determines whether there are multiple model areas where the area of the overlapping region is equal to or less than a predetermined value. If there are multiple model areas where the area of the overlapping region is equal to or less than the predetermined value, the process proceeds to step S113. If there are no multiple model areas where the area of the overlapping region is equal to or less than the predetermined value, the process proceeds to step S112. In step S112, the surrounding object recognition unit 23 selects a rectangular area where the area of the overlapping region is equal to or less than the predetermined value.
ステップS113では、周囲物体認識部23は、重複領域の面積が最小となるモデル領域を選択する。 In step S113, the surrounding object recognition unit 23 selects the model region with the smallest overlapping area.
ステップS114では、周囲物体認識部23は、ステップS112又はステップS113で選択したモデル領域を対象物体として認識する。制御部20は、図7の処理を終了し、運転支援部24は、ステップS114で認識した対象物体の情報に基づいて、測距センサ10が搭載されている移動体に対し、最適な運転支援を行う。 In step S114, the surrounding object recognition unit 23 recognizes the model area selected in step S112 or step S113 as the target object. The control unit 20 ends the processing of FIG. 7, and the driving assistance unit 24 provides optimal driving assistance to the mobile object on which the ranging sensor 10 is mounted, based on the information about the target object recognized in step S114.
(第1実施形態の効果)
(1)第1実施形態では、移動体に搭載された測距センサ10により生成される移動体の周囲に存在する対象物体の表面の測距点に関する測距点データに基づいて、対象物体を認識する。測距点データのうち、同一の対象物体の表面の複数の測距点データを測距点群として抽出する。測距点群を、測距センサの位置を原点とする二次元座標上又は三次元座標上に変換する。二次元座標上又は三次元座標上において測距点群の全てを含むモデル領域を複数設定し、測距点群により測距センサ10からの死角となる領域を占有領域として設定し、占有領域以外の領域を非占有領域として設定する。複数のモデル領域の中から、モデル領域の各々と非占有領域とが重なる重複領域の面積又は体積が所定値以下となるモデル領域を選択し、選択したモデル領域を、対象物体として認識する。
(Effects of the first embodiment)
(1) In the first embodiment, a target object is recognized based on ranging point data related to ranging points on the surface of a target object existing around the mobile object, which data is generated by a ranging sensor 10 mounted on the mobile object. Among the ranging point data, multiple ranging point data on the surface of the same target object are extracted as a ranging point cloud. The ranging point cloud is converted into a two-dimensional or three-dimensional coordinate system with the position of the ranging sensor as the origin. Multiple model areas including all of the ranging point clouds are set in the two-dimensional or three-dimensional coordinate system, and areas blind spots from the ranging sensor 10 due to the ranging point clouds are set as occupied areas, and areas other than the occupied areas are set as unoccupied areas. From the multiple model areas, model areas are selected in which the area or volume of the overlapping area where each model area and the unoccupied area overlap is equal to or less than a predetermined value, and the selected model area is recognized as the target object.
設定した複数のモデル領域のうち、非占有領域との重複領域の面積又は体積が所定値以下のモデル領域を選択して、対象周囲物体として認識できる。これにより、測距点データから設定した複数のモデル領域のうち、対象物体とのずれが所定値以下となるモデル領域を選択できる。選択したモデル領域を対象物体として認識することにより、対象物体の姿勢推定精度を向上することができる。 Of the multiple model areas set, those whose overlapping area with unoccupied areas has an area or volume less than a predetermined value can be selected and recognized as the target surrounding object. This allows the selection of model areas from the multiple model areas set from the ranging point data whose deviation from the target object is less than a predetermined value. By recognizing the selected model area as the target object, the accuracy of estimating the target object's posture can be improved.
(2)第1実施形態では、二次元座標上又は三次元座標上において、測距点群のうち、測距センサ10からの各方位において測距センサ10からの距離が最短となる測距点に基づいて、占有領域を設定する。
測距センサ10からの各方位において測距センサからの距離が最短となる測距点とは、対象物体の輪郭上の測距点であるため、対象物体の輪郭上の測距点に基づいて、占有領域を設定できる。これにより、対象物体の輪郭内部の測距点の影響を受けずに占有領域を正確に設定でき、非占有領域を正確に設定できるため、対象物体の姿勢推定精度を向上することができる
(2) In the first embodiment, on a two-dimensional coordinate system or a three-dimensional coordinate system, an occupied area is set based on the ranging point among the ranging points that has the shortest distance from the ranging sensor 10 in each direction from the ranging sensor 10.
The ranging point at which the distance from the ranging sensor 10 is shortest in each direction from the ranging sensor is the ranging point on the contour of the target object, so the occupied area can be set based on the ranging point on the contour of the target object. This allows the occupied area to be set accurately without being affected by ranging points inside the contour of the target object, and the unoccupied area to be set accurately, thereby improving the accuracy of estimating the orientation of the target object.
(3)第1実施形態では、重複領域の面積又は体積が所定値以下のモデル領域が複数存在する場合には、重複領域の面積又は体積が最小となるモデル領域を選択し、対象物体として認識する。
これにより、最適なモデル領域を選択することができる。最適なモデル領域に基づいて、対象物体の姿勢を推定することができる。
(3) In the first embodiment, if there are multiple model regions whose overlapping areas have an area or volume equal to or less than a predetermined value, the model region with the smallest overlapping area or volume is selected and recognized as the target object.
This allows the optimum model region to be selected, and the posture of the target object can be estimated based on the optimum model region.
(4)第1実施形態では、重複領域の面積が所定値以下のモデル領域が存在しない場合には、測距点群を分割し、分割した測距点群のうち、同一の対象物体の表面の測距点を測距点群として再抽出する。
これにより誤って複数の対象物体の測距点を一つの対象物体の測距点群としてクラスタリングしてしまった場合でも、測距点群をクラスタリングし直すことができる。
(4) In the first embodiment, if there is no model area where the area of the overlapping area is less than a predetermined value, the ranging point group is divided, and from the divided ranging point group, ranging points on the surface of the same target object are re-extracted as the ranging point group.
This allows the clustering of distance measurement points for a plurality of target objects to be redone even if the distance measurement points are mistakenly clustered as a single target object distance measurement point cloud.
(第2実施形態)
以下、本発明の第2実施形態について説明する。第2実施形態は、モデル領域の推定精度が低下した場合でも安定的に対象物体の姿勢の推定精度を維持することを目的とする。なお、第1実施形態と同様の要素には同一の符号を付し、その説明を省略する。以下、本発明の第2実施形態について、第1実施形態と相違する点について説明する。
Second Embodiment
A second embodiment of the present invention will be described below. The second embodiment aims to stably maintain the estimation accuracy of the posture of a target object even when the estimation accuracy of the model region decreases. Note that elements similar to those in the first embodiment are given the same reference numerals, and their description will be omitted. Differences between the second embodiment of the present invention and the first embodiment will be described below.
第1実施形態に係る物体認識装置1においては、周囲物体認識部23は、重複領域の面積又は体積が所定値以下のモデル領域が複数存在する場合には、重複領域の面積又は体積が最小となるモデル領域を選択した。しかしながら、第2実施形態に係る物体認識装置1においては、周囲物体認識部23は、重複領域の面積又は体積が所定値以下のモデル領域が複数存在する場合には、対象物体を1フレーム前に認識した際に選択したモデル領域との角度差が所定角度差以下となるモデル領域を選択し、対象物体として認識する。すなわち、周囲物体認識部23は、重複領域の面積又は体積が所定値以下のモデル領域が複数存在する場合には、前回の処理時に選択し、対象物体として認識したモデル領域との角度差が所定角度差以下の矩形領域を選択する。 In the object recognition device 1 according to the first embodiment, when there are multiple model regions whose overlapping area or volume is less than a predetermined value, the surrounding object recognition unit 23 selects the model region whose overlapping area is the smallest in area or volume. However, in the object recognition device 1 according to the second embodiment, when there are multiple model regions whose overlapping area or volume is less than a predetermined value, the surrounding object recognition unit 23 selects a model region whose angular difference with the model region selected when the target object was recognized one frame earlier is less than a predetermined angular difference, and recognizes it as the target object. In other words, when there are multiple model regions whose overlapping area or volume is less than a predetermined value, the surrounding object recognition unit 23 selects a rectangular region whose angular difference with the model region selected during the previous processing and recognized as the target object is less than a predetermined angular difference.
図8は第2実施形態に係る物体認識装置1の一動作例を説明するフローチャートである。
図示のように本実施形態では、図8のステップS201~S212、ステップS214の処理は、図7のステップS101~S112、ステップS114の処理と同一であるため、説明は省略する。図8のステップS213の処理が第1実施形態と異なる。本実施形態に係る物体認識装置1は、図8に示すステップS201~S214からなる一連の処理を、所定の周期で繰り返し実行する。繰り返し実行される処理の単位を「フレーム」と呼ぶ。すなわち、第2実施形態に係る物体認識装置1は、図8に示すフレームを繰り返し実行し、フレーム毎に、対象物体として認識されるモデル領域を選択する。
FIG. 8 is a flowchart illustrating an example of the operation of the object recognition device 1 according to the second embodiment.
As shown in the figure, in this embodiment, the processes of steps S201 to S212 and step S214 in FIG. 8 are the same as the processes of steps S101 to S112 and step S114 in FIG. 7, and therefore description thereof will be omitted. The process of step S213 in FIG. 8 differs from the first embodiment. The object recognition device 1 according to this embodiment repeatedly executes a series of processes consisting of steps S201 to S214 shown in FIG. 8 at a predetermined cycle. The unit of repeatedly executed processes is called a "frame." In other words, the object recognition device 1 according to the second embodiment repeatedly executes the frames shown in FIG. 8, and selects a model region to be recognized as a target object for each frame.
ステップS213において、周囲物体認識部23は、前回の処理時に選択し、対象物体として認識したモデル領域との角度差が所定角度差以下のモデル領域を選択する。 In step S213, the surrounding object recognition unit 23 selects a model area whose angular difference from the model area selected during the previous processing and recognized as the target object is less than or equal to a predetermined angular difference.
(第2実施形態の効果)
(5)第2実施形態では、重複領域の面積又は体積が所定値以下のモデル領域が複数存在する場合には、対象物体を1フレーム前に認識した際に選択したモデル領域との角度差が所定角度差以下となるモデル領域を選択し、前記対象物体として認識する。
これにより瞬間的にモデル領域の推定精度が低下した場合でも、安定的に対象物体の姿勢推定精度を維持することができる。
(Effects of the second embodiment)
(5) In the second embodiment, if there are multiple model regions whose overlapping areas have an area or volume that is less than a predetermined value, a model region whose angular difference with the model region selected when the target object was recognized one frame earlier is less than a predetermined angular difference is selected and recognized as the target object.
This makes it possible to stably maintain the accuracy of estimating the posture of the target object even if the estimation accuracy of the model region drops momentarily.
10 測距センサ
20 制御部(コントローラ)
21 測距点取得部
22 クラスタリング処理部
23 周囲物体認識部
24 運転支援部
10 Distance measuring sensor 20 Control unit (controller)
21 Range-finding point acquisition unit 22 Clustering processing unit 23 Surrounding object recognition unit 24 Driving assistance unit
Claims (6)
前記測距センサから取得した前記測距点データに基づいて、前記対象物体を認識するコントローラと、を備える物体認識装置の物体認識方法であって、
前記コントローラは、
前記測距点データのうち、同一の前記対象物体の表面の複数の前記測距点データを測距点群として抽出し、
前記測距点群を、前記測距センサの位置を原点とする二次元座標又は三次元座標に変換し、
前記二次元座標上又は前記三次元座標上において、前記測距点群の全てを含むモデル領域を複数設定し、
前記二次元座標上又は前記三次元座標上において、前記測距点群により前記測距センサからの死角となる領域を占有領域として設定し、
前記二次元座標上又は前記三次元座標上において、前記占有領域以外の領域を非占有領域として設定し、
複数の前記モデル領域の中から、前記モデル領域の各々と前記非占有領域とが重なる重複領域の面積又は体積が所定値以下となる前記モデル領域を選択し、
選択した前記モデル領域を、前記対象物体として認識する
ことを特徴とする物体認識方法。 a distance measurement sensor mounted on a moving body and generating distance measurement point data relating to distance measurement points on the surface of a target object present around the moving body;
a controller that recognizes the target object based on the distance measurement point data acquired from the distance measurement sensor,
The controller
extracting a plurality of pieces of distance measurement point data on the surface of the same target object from the distance measurement point data as a distance measurement point group;
converting the range-finding point cloud into two-dimensional or three-dimensional coordinates with the position of the range-finding sensor as the origin;
setting a plurality of model regions including all of the distance measurement point clouds on the two-dimensional coordinate system or the three-dimensional coordinate system;
On the two-dimensional coordinate system or the three-dimensional coordinate system, a region that is a blind spot from the distance measurement sensor due to the distance measurement point cloud is set as an occupied region;
On the two-dimensional coordinate system or the three-dimensional coordinate system, an area other than the occupied area is set as an unoccupied area;
selecting, from among the plurality of model regions, model regions in which the area or volume of an overlapping region where each of the model regions and the unoccupied region overlap is equal to or less than a predetermined value;
An object recognition method, comprising: recognizing the selected model region as the target object.
前記二次元座標上又は前記三次元座標上において、前記測距点群のうち、前記測距センサからの各方位において前記測距センサからの距離が最短となる測距点に基づいて、前記占有領域を設定する
ことを特徴とする請求項1に記載の物体認識方法。 The controller
The object recognition method described in claim 1, characterized in that the occupied area is set on the two-dimensional coordinate system or the three-dimensional coordinate system based on the ranging point among the ranging points that has the shortest distance from the ranging sensor in each direction from the ranging sensor.
前記重複領域の面積又は体積が前記所定値以下の前記モデル領域が複数存在する場合には、前記重複領域の面積又は体積が最も小さい前記モデル領域を選択し、前記対象物体として認識する
ことを特徴とする請求項1又は2に記載の物体認識方法。 The controller
3. The object recognition method according to claim 1, wherein, when there are a plurality of model regions each having an area or volume of the overlapping region that is equal to or less than the predetermined value, the model region having the smallest area or volume of the overlapping region is selected and recognized as the target object.
前記重複領域の面積又は体積が前記所定値以下の前記モデル領域が存在しない場合には、前記測距点群を分割し、前記分割した前記測距点群のうち、同一の前記対象物体の表面の測距点を前記測距点群として再抽出する
ことを特徴とする請求項1又は2に記載の物体認識方法。 The controller
The object recognition method described in claim 1 or 2, characterized in that if there is no model area where the area or volume of the overlapping area is less than the predetermined value, the ranging point cloud is divided, and ranging points on the surface of the same target object from the divided ranging point cloud are re-extracted as the ranging point cloud.
前記重複領域の面積又は体積が前記所定値以下の前記モデル領域が複数存在する場合には、前記対象物体を1フレーム前に認識した際に選択したモデル領域との角度差が所定角度差以下となる前記モデル領域を選択し、前記対象物体として認識する
ことを特徴とする請求項1又は2に記載の物体認識方法。 The controller
3. The object recognition method according to claim 1, wherein, when there are a plurality of model regions in which the area or volume of the overlapping region is equal to or less than the predetermined value, the model region in which the angular difference between the model region selected when the target object was recognized one frame earlier is equal to or less than the predetermined angular difference is selected, and the model region is recognized as the target object.
前記測距センサから取得した前記測距点データに基づいて、前記対象物体を認識するコントローラと、を備え
前記コントローラは、
前記測距点データのうち、同一の前記対象物体の表面の複数の前記測距点データを測距点群として抽出し、
前記測距点群を、前記測距センサの位置を原点とする二次元座標又は三次元座標に変換し、
前記二次元座標上又は前記三次元座標上において、前記測距点群の全てを含むモデル領域を複数設定し、
前記二次元座標上又は前記三次元座標上において、前記測距点群により前記測距センサからの死角となる領域を占有領域として設定し、
前記二次元座標上又は前記三次元座標上において、前記占有領域以外の領域を非占有領域として設定し、
複数の前記モデル領域の中から、前記モデル領域の各々と前記非占有領域とが重なる重複領域の面積又は体積が所定値以下の前記モデル領域を選択し、
選択した前記モデル領域を、前記対象物体として認識する
ことを特徴とする物体認識装置。 a distance measurement sensor mounted on a moving body and generating distance measurement point data relating to distance measurement points on the surface of a target object present around the moving body;
a controller that recognizes the target object based on the distance measurement point data acquired from the distance measurement sensor,
extracting a plurality of pieces of distance measurement point data on the surface of the same target object from the distance measurement point data as a distance measurement point group;
converting the range-finding point cloud into two-dimensional or three-dimensional coordinates with the position of the range-finding sensor as the origin;
setting a plurality of model regions including all of the distance measurement point clouds on the two-dimensional coordinate system or the three-dimensional coordinate system;
On the two-dimensional coordinate system or the three-dimensional coordinate system, a region that is a blind spot from the distance measurement sensor due to the distance measurement point cloud is set as an occupied region;
On the two-dimensional coordinate system or the three-dimensional coordinate system, an area other than the occupied area is set as an unoccupied area;
selecting, from among the plurality of model regions, model regions in which the area or volume of an overlapping region where each of the model regions and the unoccupied region overlap is equal to or less than a predetermined value;
An object recognition device that recognizes the selected model region as the target object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022087032A JP7803214B2 (en) | 2022-05-27 | 2022-05-27 | Object recognition method and object recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022087032A JP7803214B2 (en) | 2022-05-27 | 2022-05-27 | Object recognition method and object recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023174272A JP2023174272A (en) | 2023-12-07 |
| JP7803214B2 true JP7803214B2 (en) | 2026-01-21 |
Family
ID=89030439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022087032A Active JP7803214B2 (en) | 2022-05-27 | 2022-05-27 | Object recognition method and object recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7803214B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7766578B2 (en) * | 2022-11-17 | 2025-11-10 | 三菱電機株式会社 | Object detection device and driving assistance system |
| WO2025191743A1 (en) * | 2024-03-13 | 2025-09-18 | 株式会社Subaru | Object detection device, object detection processing method, and recording medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021065371A1 (en) | 2019-10-01 | 2021-04-08 | 日立Astemo株式会社 | Processing device and point group curtailment method |
| JP2021166078A (en) | 2016-10-05 | 2021-10-14 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | Surface modeling system and method |
-
2022
- 2022-05-27 JP JP2022087032A patent/JP7803214B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021166078A (en) | 2016-10-05 | 2021-10-14 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | Surface modeling system and method |
| WO2021065371A1 (en) | 2019-10-01 | 2021-04-08 | 日立Astemo株式会社 | Processing device and point group curtailment method |
Non-Patent Citations (2)
| Title |
|---|
| Benjamin Naujoks, Hans-Joachim Wuensche,An Orientation Corrected Bounding Box Fit Based on the Convex Hull under Real Time Constraints,2018 IEEE Intelligent Vehicles Symposium (IV),米国,IEEE,2018年06月26日,pp.415-420,https://ieeexplore.ieee.org/document/8500692 |
| 田中成典・今井龍一・中村健二・川野浩平,点群座標データを用いた3次元モデルの自動生成に関する研究,知能と情報(日本知能情報ファジィ学会誌),Vol.23 No.4,日本,pp.572-590 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023174272A (en) | 2023-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10935643B2 (en) | Sensor calibration method and sensor calibration apparatus | |
| JP4676373B2 (en) | Peripheral recognition device, peripheral recognition method, and program | |
| JP7077967B2 (en) | Driving lane estimation device, driving lane estimation method, and control program | |
| EP3179445B1 (en) | Outside environment recognition device for vehicles and vehicle behavior control device using same | |
| CN107766405B (en) | Automatic vehicle road model definition system | |
| JP3349060B2 (en) | Outside monitoring device | |
| JP5470886B2 (en) | Object detection device | |
| CN111815641A (en) | Camera and radar fusion | |
| JP7217741B2 (en) | Arithmetic processor, object identification system, object identification method, automobile, vehicle lamp | |
| JP2002352225A (en) | Obstacle detection apparatus and method | |
| US10657392B2 (en) | Object detection device, object detection method, and program | |
| US10656270B2 (en) | Object detection device, object detection method, and program | |
| JP2011253302A (en) | Risk calculation device for vehicle | |
| JP7803214B2 (en) | Object recognition method and object recognition device | |
| US12340592B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
| CN112286178B (en) | Identification system, vehicle control system, identification method, and storage medium | |
| JP7081098B2 (en) | Driving environment recognition device, driving environment recognition method, program | |
| US20230106443A1 (en) | Object Recognition Method and Object Recognition Device | |
| KR20190084594A (en) | Apparatus and method tracking object based on 3 dimension images | |
| JP4052291B2 (en) | Image processing apparatus for vehicle | |
| US12415514B2 (en) | Vehicle control device, vehicle control method, and storage medium for determining the lane to which an object in the vicinity of a vehicle belongs | |
| JP7028838B2 (en) | Peripheral recognition device, peripheral recognition method, and program | |
| US12227178B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
| JP2024169868A (en) | Remote control device, remote control system, and remote control method | |
| JP2010032429A (en) | Object detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20250310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20251201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20251209 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20251222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7803214 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |