Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7688989B2 - Information processing device, control method, program, and storage medium - Google Patents
[go: Go Back, main page]

JP7688989B2 - Information processing device, control method, program, and storage medium - Google Patents

Information processing device, control method, program, and storage medium Download PDF

Info

Publication number
JP7688989B2
JP7688989B2 JP2021037383A JP2021037383A JP7688989B2 JP 7688989 B2 JP7688989 B2 JP 7688989B2 JP 2021037383 A JP2021037383 A JP 2021037383A JP 2021037383 A JP2021037383 A JP 2021037383A JP 7688989 B2 JP7688989 B2 JP 7688989B2
Authority
JP
Japan
Prior art keywords
data
detection
measurement
measurement data
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021037383A
Other languages
Japanese (ja)
Other versions
JP2022137738A (en
Inventor
到 竹村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Pioneer Smart Sensing Innovations Corp
Original Assignee
Pioneer Corp
Pioneer Smart Sensing Innovations Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp, Pioneer Smart Sensing Innovations Corp filed Critical Pioneer Corp
Priority to JP2021037383A priority Critical patent/JP7688989B2/en
Publication of JP2022137738A publication Critical patent/JP2022137738A/en
Application granted granted Critical
Publication of JP7688989B2 publication Critical patent/JP7688989B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Description

本開示は、計測したデータの処理に関する。 This disclosure relates to processing of measured data.

従来から、被検出空間にレーザ光のパルスを照射し、その反射光のレベルに基づいて、被検出空間内の対象物を検出するレーザレーダ装置が知られている。例えば、特許文献1には、繰り返し出射される光パルスの出射方向(走査方向)を適切に制御することにより周辺空間を走査し、その戻り光を観測することにより、周辺に存在する物体に関する情報である距離、反射率などの情報を表す点群データを生成するライダが開示されている。また、特許文献2には、ライダが出力する点群データに基づき、物体を認識する技術が開示されている。 Laser radar devices have been known for some time that irradiate a detection space with pulses of laser light and detect objects in the detection space based on the level of the reflected light. For example, Patent Document 1 discloses a lidar that scans the surrounding space by appropriately controlling the emission direction (scanning direction) of repeatedly emitted light pulses, and generates point cloud data representing information about objects in the vicinity, such as distance and reflectance, by observing the returned light. Patent Document 2 discloses a technology for recognizing objects based on point cloud data output by the lidar.

特開2018-009831号公報JP 2018-009831 A 特開2018-116004号公報JP 2018-116004 A

ライダなどの計測装置が所定の計測周期に従い生成する計測データをアップロードしてサーバ装置により収集管理する場合には、生成される計測データの容量が大きいため、全ての計測データを送信対象とすると通信負荷やサーバ装置の処理負荷等が過大となる。 When measurement data generated by a measurement device such as a lidar according to a specified measurement cycle is uploaded and collected and managed by a server device, the volume of measurement data generated is large, so if all measurement data is targeted for transmission, the communication load and processing load of the server device will be excessive.

本開示は、上記のような課題を解決するためになされたものであり、計測したデータのデータ量の削減を好適に実行することが可能な情報処理装置を提供することを主な目的とする。 This disclosure has been made to solve the above problems, and its main objective is to provide an information processing device that can effectively reduce the amount of measured data.

請求項に記載の発明は、
車両に搭載された計測装置による計測データを取得する取得手段と、
前記計測データに基づき、道路以外の予め定められた種類の物体検出する物体検出手段と、
前記計測データから、検出された前記物体に対応するデータである物体検出データを抽出する抽出手段と、
前記物体検出手段による前記物体の検出結果と、前記物体に関する事前情報との比較結果に基づき、前記検出結果と前記事前情報とが一致するか否かを判定する判定手段と、
前記検出結果と前記事前情報とが一致しない場合、前記物体検出データをデータ収集装置に送信する送信手段と、
を有する情報処理装置である。
The claimed invention is
An acquisition means for acquiring measurement data by a measuring device mounted on a vehicle ;
an object detection means for detecting a predetermined type of object other than a road based on the measurement data;
an extraction means for extracting object detection data corresponding to the detected object from the measurement data;
a determination means for determining whether or not the detection result by the object detection means matches the prior information based on a comparison result between the detection result and the prior information regarding the object;
a transmitting means for transmitting the object detection data to a data collection device when the detection result does not match the prior information;
The information processing device has the following features.

また、請求項に記載の発明は、
コンピュータが実行する制御方法であって、
車両に搭載された計測装置による計測データを取得し、
前記計測データに基づき、道路以外の予め定められた種類の物体検出
前記計測データから、検出された前記物体に対応するデータである物体検出データを抽出し、
前記物体の検出結果と、前記物体に関する事前情報との比較結果に基づき、前記検出結果と前記事前情報とが一致するか否かを判定し、
前記検出結果と前記事前情報とが一致しない場合、前記物体検出データをデータ収集装置に送信する、
制御方法である。
The claimed invention also includes:
A computer-implemented control method, comprising:
Acquire measurement data from a measuring device mounted on the vehicle ,
Detecting a predetermined type of object other than a road based on the measurement data;
extracting object detection data corresponding to the detected object from the measurement data;
determining whether or not the detection result matches the prior information based on a comparison result between the detection result of the object and the prior information regarding the object;
If the detection result does not match the prior information, transmitting the object detection data to a data collection device.
It is a control method.

また、請求項に記載の発明は、
車両に搭載された計測装置による計測データを取得し、
前記計測データに基づき、道路以外の予め定められた種類の物体検出
前記計測データから、検出された前記物体に対応するデータである物体検出データを抽出し、
前記物体の検出結果と、前記物体に関する事前情報との比較結果に基づき、前記検出結果と前記事前情報とが一致するか否かを判定し、
前記検出結果と前記事前情報とが一致しない場合、前記物体検出データをデータ収集装置に送信する処理をコンピュータに実行させるプログラムである。
The claimed invention also includes:
Acquire measurement data from a measuring device mounted on the vehicle ,
Detecting a predetermined type of object other than a road based on the measurement data;
extracting object detection data corresponding to the detected object from the measurement data;
determining whether or not the detection result matches the prior information based on a comparison result between the detection result of the object and the prior information regarding the object;
The program causes a computer to execute a process of transmitting the object detection data to a data collection device when the detection result and the prior information do not match.

データ収集システムの概略構成図である。FIG. 1 is a schematic diagram of a data collection system. 情報処理装置のブロック構成図である。FIG. 1 is a block diagram of an information processing device. 情報処理装置が実行するフローチャートの一例である。13 is an example of a flowchart executed by the information processing device. 外界センサであるライダが出射するパルスレーザの光線を示した図である。1 is a diagram showing a pulsed laser beam emitted by a lidar, which is an external sensor. 複数の外界センサを備える車両が走行する道路の俯瞰図である。1 is an overhead view of a road on which a vehicle equipped with multiple external sensors travels. 外界センサを備える車両が走行する道路を側面から観察した図である。1 is a diagram showing a road on which a vehicle equipped with an external sensor is traveling, observed from the side. 変形例において情報処理装置が実行するフローチャートの一例である。13 is an example of a flowchart executed by an information processing device in a modified example.

本発明の好適な実施形態によれば、情報処理装置は、計測装置による計測データを取得する取得手段と、前記計測データに基づく物体の検出に関する処理を行う物体検出手段と、前記計測データから、検出された前記物体に対応するデータである物体検出データを抽出する抽出手段と、前記物体検出データをデータ収集装置に送信する送信手段と、を有する。情報処理装置は、この態様により、データ収集装置に送信するデータを、検出された物体に対応するデータに限定し、送信データ量を好適に削減することができる。 According to a preferred embodiment of the present invention, the information processing device has an acquisition means for acquiring measurement data from a measurement device, an object detection means for performing processing related to object detection based on the measurement data, an extraction means for extracting object detection data from the measurement data, which is data corresponding to the detected object, and a transmission means for transmitting the object detection data to a data collection device. With this aspect, the information processing device can limit the data to be transmitted to the data collection device to data corresponding to the detected object, and preferably reduce the amount of transmitted data.

上記情報処理装置の一態様では、前記計測装置は、第1計測装置と第2計測装置とを含み、前記取得手段は、前記第1計測装置による第1計測データと、前記第2計測装置による第2計測データとを取得し、前記物体検出手段は、前記第1計測データに基づく前記物体の検出と、前記第2計測データに基づく前記物体の検出とを夫々実行し、前記送信手段は、前記第1計測データに基づく前記物体の検出結果と、前記第2計測データに基づく前記物体の検出結果とが矛盾する場合、前記物体検出データを前記データ収集装置に送信する。この態様により、情報処理装置は、データ収集装置に送信するデータを、物体の検出結果に矛盾が生じたデータに限定し、送信データ量を好適に削減することができる。 In one aspect of the information processing device, the measuring device includes a first measuring device and a second measuring device, the acquiring means acquires first measurement data by the first measuring device and second measurement data by the second measuring device, the object detection means detects the object based on the first measurement data and the object based on the second measurement data, respectively, and the transmitting means transmits the object detection data to the data collecting device when the object detection result based on the first measurement data and the object detection result based on the second measurement data are inconsistent. With this aspect, the information processing device can limit the data to be transmitted to the data collecting device to data in which a contradiction has occurred in the object detection result, and can suitably reduce the amount of transmitted data.

上記情報処理装置の他の一態様では、前記第1計測装置と前記第2計測装置とは共通する計測範囲を有し、情報処理装置は、前記計測範囲における前記第1計測データに基づく前記物体の検出結果と、前記計測範囲における前記第2計測データに基づく前記物体の検出結果との矛盾の有無を判定する矛盾判定手段をさらに有する。この態様により、情報処理装置は、複数の計測センサを用いた場合の物体の検出結果の矛盾の有無を好適に判定することができる。 In another aspect of the information processing device, the first measuring device and the second measuring device have a common measurement range, and the information processing device further has a contradiction determination means for determining whether or not there is a contradiction between the detection result of the object based on the first measurement data in the measurement range and the detection result of the object based on the second measurement data in the measurement range. With this aspect, the information processing device can preferably determine whether or not there is a contradiction in the detection result of the object when multiple measurement sensors are used.

上記情報処理装置の他の一態様では、情報処理装置は、前記物体検出手段による前記物体の検出結果と、前記物体に関する事前情報との比較結果に基づき、前記物体検出手段による前記物体の誤検出の有無を判定する誤検出判定手段をさらに有し、前記抽出手段は、前記誤検出があったと判定された場合に、前記データを抽出する。この態様により、情報処理装置は、データ収集装置に送信するデータを、物体の誤検出が生じたデータに限定し、送信データ量を好適に削減することができる。 In another aspect of the information processing device, the information processing device further includes an erroneous detection determination means for determining whether or not the object has been erroneously detected by the object detection means based on a comparison result between the detection result of the object by the object detection means and prior information regarding the object, and the extraction means extracts the data when it is determined that the erroneous detection has occurred. With this aspect, the information processing device can limit the data to be transmitted to the data collection device to data in which an erroneous detection of an object has occurred, and can suitably reduce the amount of transmitted data.

上記情報処理装置の他の一態様では、前記事前情報は、前記物体に関する情報を含む地図情報、前記物体のモデルに関する情報、又は前記物体の制約条件に関する情報である。このような事前情報を用いることで、情報処理装置は、物体の誤検出の有無を好適に判定することができる。 In another aspect of the information processing device, the prior information is map information including information about the object, information about a model of the object, or information about constraints on the object. By using such prior information, the information processing device can appropriately determine whether or not an object has been erroneously detected.

上記情報処理装置の好適な例では、前記計測装置は車両に搭載され、前記物体検出手段は、道路以外の物体を対象として前記物体の検出に関する処理を行う。上記情報処理装置の他の好適な例では、前記物体検出手段は、前記データ収集装置から指定された物体を対象として前記物体の検出に関する処理を行う。 In a preferred example of the information processing device, the measuring device is mounted on a vehicle, and the object detection means performs processing related to the detection of objects other than roads. In another preferred example of the information processing device, the object detection means performs processing related to the detection of objects specified by the data collection device.

本発明の他の好適な実施形態によれば、コンピュータが実行する制御方法であって、計測装置による計測データを取得し、前記計測データに基づく物体の検出に関する処理を行い、前記計測データから、検出された前記物体に対応するデータである物体検出データを抽出し、前記物体検出データをデータ収集装置に送信する。コンピュータは、この制御方法を実行することで、データ収集装置に送信するデータを、検出された物体に対応するデータに限定し、送信データ量を好適に削減することができる。 According to another preferred embodiment of the present invention, a control method executed by a computer includes acquiring measurement data from a measurement device, performing processing related to object detection based on the measurement data, extracting object detection data corresponding to the detected object from the measurement data, and transmitting the object detection data to a data collection device. By executing this control method, the computer can limit the data to be transmitted to the data collection device to data corresponding to the detected object, and preferably reduce the amount of transmitted data.

本発明の他の好適な実施形態によれば、プログラムは、計測装置による計測データを取得し、前記計測データに基づく物体の検出に関する処理を行い、前記計測データから、検出された前記物体に対応するデータである物体検出データを抽出し、前記物体検出データをデータ収集装置に送信する処理をコンピュータに実行させる。コンピュータは、このプログラムを実行することで、データ収集装置に送信するデータを、検出された物体に対応するデータに限定し、送信データ量を好適に削減することができる。好適には、上記プログラムは、記憶媒体に記憶される。 According to another preferred embodiment of the present invention, the program causes a computer to execute the following processes: acquire measurement data from a measurement device, perform processing related to object detection based on the measurement data, extract object detection data from the measurement data that is data corresponding to the detected object, and transmit the object detection data to a data collection device. By executing this program, the computer can limit the data to be transmitted to the data collection device to data corresponding to the detected object, and preferably reduce the amount of transmitted data. Preferably, the program is stored in a storage medium.

以下、図面を参照して本発明の好適な実施例について説明する。 Below, a preferred embodiment of the present invention will be described with reference to the drawings.

(1)データ収集システムの概要
図1は、第1実施例に係るデータ収集システムの概略構成である。データ収集システムは、センサ群2が生成するデータに関する処理を行う情報処理装置1と、データの収集及び管理を行うサーバ装置であるデータ収集装置5とを有する。
(1) Overview of the data collection system
1 shows a schematic configuration of a data collection system according to Example 1. The data collection system includes an information processing device 1 that processes data generated by a sensor group 2, and a data collection device 5 that is a server device that collects and manages data.

情報処理装置1は、センサ群2と電気的に接続し、センサ群2が出力するデータの圧縮(データの選別を含む)を行い、圧縮したデータをアップロード情報「Iu」としてデータ収集装置5に送信する。情報処理装置1は、例えば、車両、船舶、自走式ロボット、ドローンなどの移動体又は当該移動体を制御するコンピュータである。情報処理装置1は、例えば、車両や船舶などの移動体に搭載されるナビゲーション装置であってもよく、当該移動体に内蔵された電子制御装置であってもよい。 The information processing device 1 is electrically connected to the sensor group 2, compresses (including data selection) data output by the sensor group 2, and transmits the compressed data as upload information "Iu" to the data collection device 5. The information processing device 1 is, for example, a moving body such as a vehicle, ship, self-propelled robot, or drone, or a computer that controls the moving body. The information processing device 1 may be, for example, a navigation device mounted on a moving body such as a vehicle or ship, or an electronic control device built into the moving body.

センサ群2は、外界センサ3と、内界センサ4とを含む。外界センサ3は、情報処理装置1又は情報処理装置1を搭載する移動体の外界をセンシングする1又は複数のセンサである。外界センサ3は、例えば、ライダなどの測域センサ、カメラ、超音波センサなどである。内界センサ4は、情報処理装置1又は情報処理装置1を搭載する移動体の内界をセンシングする1又は複数のセンサである。内界センサ4は、例えば、角速度センサ、GNSS(Global Navigation Satellite System)受信機、加速度センサ、IMU(Inertial Measurement Unit)、その他の自律測位装置などである。このように、センサ群2は、自己位置推定、障害物検知、人物検知などに用いられる種々のセンサを含んでいる。なお、センサ群2の少なくとも一部のセンサは、情報処理装置1に内蔵されたセンサであってもよい。 The sensor group 2 includes an external sensor 3 and an internal sensor 4. The external sensor 3 is one or more sensors that sense the external world of the information processing device 1 or the mobile body equipped with the information processing device 1. The external sensor 3 is, for example, a range sensor such as a lidar, a camera, an ultrasonic sensor, etc. The internal sensor 4 is one or more sensors that sense the internal world of the information processing device 1 or the mobile body equipped with the information processing device 1. The internal sensor 4 is, for example, an angular velocity sensor, a GNSS (Global Navigation Satellite System) receiver, an acceleration sensor, an IMU (Inertial Measurement Unit), other autonomous positioning devices, etc. In this way, the sensor group 2 includes various sensors used for self-position estimation, obstacle detection, human detection, etc. Note that at least some of the sensors in the sensor group 2 may be sensors built into the information processing device 1.

データ収集装置5は、ライダによる計測データを収集する装置であり、情報処理装置1からアップロード情報Iuを受信し、受信したアップロード情報Iuを記憶する。なお、図1では、情報処理装置1及びセンサ群2の組が1組のみ図示されているが、これに代えて、複数の情報処理装置1及びセンサ群2の組が存在してもよい。この場合、データ収集装置5は、各情報処理装置1からアップロード情報Iuを受信する。データ収集装置5は、例えば、情報処理装置1から受信したアップロード情報Iuを、深層学習などの機械学習に基づく物体認識モデルの訓練用データとして用いる。なお、アップロード情報Iuには、外界センサ3が出力する計測データの他、情報処理装置1が推定した計測時の自己位置(即ち計測位置)の情報及び計測時刻の情報などが含まれてもよい。 The data collection device 5 is a device that collects measurement data by the lidar, receives upload information Iu from the information processing device 1, and stores the received upload information Iu. Note that, although only one pair of the information processing device 1 and the sensor group 2 is illustrated in FIG. 1, instead, there may be multiple pairs of the information processing device 1 and the sensor group 2. In this case, the data collection device 5 receives upload information Iu from each information processing device 1. For example, the data collection device 5 uses the upload information Iu received from the information processing device 1 as training data for an object recognition model based on machine learning such as deep learning. Note that the upload information Iu may include, in addition to the measurement data output by the external sensor 3, information on the self-position (i.e., the measurement position) at the time of measurement estimated by the information processing device 1 and information on the measurement time.

(2)情報処理装置の構成
図2は、情報処理装置1のハードウェア構成の一例を示すブロック図である。情報処理装置1は、主に、インターフェース11と、メモリ12と、コントローラ13と、を有する。これらの各要素は、バスラインを介して相互に接続されている。
(2) Configuration of the information processing device
2 is a block diagram showing an example of a hardware configuration of the information processing device 1. The information processing device 1 mainly includes an interface 11, a memory 12, and a controller 13. These elements are connected to each other via a bus line.

インターフェース11は、情報処理装置1と外部装置とのデータの授受に関するインターフェース動作を行う。本実施例では、インターフェース11は、センサ群2から出力データを取得し、コントローラ13へ供給する。また、インターフェース11は、コントローラ13の制御に基づき、コントローラ13が生成したアップロード情報Iuを、データ収集装置5へ送信する。また、インターフェース11は、情報処理装置1が車両などの移動体に搭載されている場合には、コントローラ13が生成した移動体の制御に関する信号を、移動体の電子制御装置(ECU:Electronic Control Unit)へ供給してもよい。インターフェース11は、無線通信を行うためのネットワークアダプタなどのワイヤレスインターフェースであってもよく、ケーブル等により外部装置と接続するためのハードウェアインターフェースであってもよい。また、インターフェース11は、入力装置、表示装置、音出力装置等の種々の周辺装置とのインターフェース動作を行ってもよい。 The interface 11 performs interface operations related to the exchange of data between the information processing device 1 and an external device. In this embodiment, the interface 11 acquires output data from the sensor group 2 and supplies it to the controller 13. The interface 11 also transmits upload information Iu generated by the controller 13 to the data collection device 5 based on the control of the controller 13. If the information processing device 1 is mounted on a moving object such as a vehicle, the interface 11 may also supply a signal related to the control of the moving object generated by the controller 13 to an electronic control unit (ECU: Electronic Control Unit) of the moving object. The interface 11 may be a wireless interface such as a network adapter for wireless communication, or may be a hardware interface for connecting to an external device via a cable or the like. The interface 11 may also perform interface operations with various peripheral devices such as an input device, a display device, and a sound output device.

メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスクドライブ、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。メモリ12は、コントローラ13が所定の処理を実行するためのプログラムが記憶される。なお、コントローラ13が実行するプログラムは、メモリ12以外の記憶媒体に記憶されてもよい。 The memory 12 is composed of various types of volatile and non-volatile memory, such as a RAM (Random Access Memory), a ROM (Read Only Memory), a hard disk drive, and a flash memory. The memory 12 stores a program for the controller 13 to execute a predetermined process. The program executed by the controller 13 may be stored in a storage medium other than the memory 12.

また、メモリ12には、コントローラ13が実行する処理に関連する種々の情報が記憶されている。例えば、メモリ12は、物体認識情報I1を記憶している。 In addition, the memory 12 stores various information related to the processing executed by the controller 13. For example, the memory 12 stores object recognition information I1.

物体認識情報I1は、外界センサ3が出力する計測データに基づき物体を認識(検出)するために必要な情報である。例えば、物体認識情報I1は、外界センサ3が出力する計測データを入力した場合に当該計測データに含まれる物体の有無(及び物体の種類)を推論する推論モデルのパラメータであってもよい。このような推論モデルは、例えばカメラの画像を入力データとする場合には、セマンティックセグメンテーションやインスタンスセグメンテーションなどの認識技術において用いられる深層学習モデルなどの任意の機械学習モデルであってもよい。上記の推論モデルに入力されるデータは、カメラが出力する画像に限らず、ライダが出力する計測1周期分の点群データであってもよく、他の外界センサが出力するデータであってもよい。なお、ライダの計測1周期分の点群データは、計測方向を画素位置、計測方向ごとのデータを画素データとした場合、画像データとみなすことができるため、カメラの画像と同様に推論モデルの学習を行うことが可能である。また、推論モデルは、外界センサの種類ごとに設けられてもよい。この場合、推論モデルは、対象となる外界センサが出力するデータを訓練用データ(学習データ)として用いて予め学習が行われ、学習により得られた各推論モデルのパラメータが物体認識情報I1として記憶される。 The object recognition information I1 is information necessary for recognizing (detecting) an object based on the measurement data output by the external sensor 3. For example, the object recognition information I1 may be a parameter of an inference model that infers the presence or absence (and type of object) of an object contained in the measurement data when the measurement data output by the external sensor 3 is input. When the input data is, for example, an image of a camera, such an inference model may be any machine learning model such as a deep learning model used in recognition techniques such as semantic segmentation and instance segmentation. The data input to the above inference model is not limited to an image output by a camera, but may be point cloud data for one measurement cycle output by a lidar, or may be data output by another external sensor. Note that the point cloud data for one measurement cycle of the lidar can be regarded as image data when the measurement direction is the pixel position and the data for each measurement direction is pixel data, so that it is possible to learn the inference model in the same way as the image of a camera. In addition, an inference model may be provided for each type of external sensor. In this case, the inference models are trained in advance using data output by the target external sensor as training data (learning data), and the parameters of each inference model obtained by training are stored as object recognition information I1.

コントローラ13は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、TPU(Tensor Processing Unit)などの1又は複数のプロセッサを含み、情報処理装置1の全体を制御する。この場合、コントローラ13は、メモリ12等に記憶されたプログラムを実行することで、後述する種々の処理を実行する。 The controller 13 includes one or more processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a TPU (Tensor Processing Unit), and controls the entire information processing device 1. In this case, the controller 13 executes various processes described below by executing programs stored in the memory 12, etc.

また、コントローラ13は、機能的には、自己位置推定部14と、物体検出部15と、アップロード部16とを有する。 Functionally, the controller 13 also has a self-position estimation unit 14, an object detection unit 15, and an upload unit 16.

自己位置推定部14は、センサ群2が生成したデータに基づき、自己位置推定を行い、情報処理装置1の位置(Yaw、Roll、Pitchなどの姿勢を含む。以下同じ。)を示す位置情報を生成する。この場合、自己位置推定部14は、任意の自己位置推定手法により位置情報を生成してもよい。例えば、自己位置推定部14は、センサ群2に含まれるGNSS受信機等の出力に基づき位置情報を生成してもよい。他の例では、自己位置推定部14は、外界センサ3の計測データと地図データとを用いた自己位置推定手法を実行することで、位置情報を生成してもよい。このような自己位置推定手法として、例えば、ランドマークの計測データとランドマークの地図データとの照合結果に基づく自己位置推定手法、ボクセルデータを用いたNDT(Normal Distribution Transform)マッチングに基づく自己位置推定手法などが存在する。及び、自身の The self-position estimation unit 14 performs self-position estimation based on the data generated by the sensor group 2, and generates position information indicating the position of the information processing device 1 (including attitudes such as Yaw, Roll, and Pitch. The same applies below). In this case, the self-position estimation unit 14 may generate the position information by any self-position estimation method. For example, the self-position estimation unit 14 may generate the position information based on the output of a GNSS receiver or the like included in the sensor group 2. In another example, the self-position estimation unit 14 may generate the position information by executing a self-position estimation method using measurement data of the external sensor 3 and map data. Examples of such self-position estimation methods include a self-position estimation method based on the result of matching measurement data of a landmark with map data of the landmark, and a self-position estimation method based on NDT (Normal Distribution Transform) matching using voxel data. And its own

物体検出部15は、外界センサ3が出力する計測データと、物体認識情報I1に基づき、外界センサ3の計測範囲内に存在する物体の検出を行う。この場合、検出対象となる物体(「検出対象物体」とも呼ぶ。)は、予め定められた種類の物体であり、例えば外界センサ3が車両に搭載される場合には、道路以外の物体(静止物に限定されてもよい)などである。なお、物体検出部15は、データ収集装置5から検出対象物体を指定する情報を受信し、当該情報に基づき検出対象物体を決定してもよい。そして、物体検出部15は、検出対象物体を検出した場合、検出対象物体に対応する計測データ(「物体検出データ」とも呼ぶ。)を、物体検出に用いた計測データから抽出し、抽出した物体検出データをアップロード部16に供給する。物体検出データは、例えば、ライダから得られた点群データを用いて検出対象物体の検出を行った場合には、検出対象物体の被計測位置を表すデータである。また、物体検出データは、カメラ等から得られた画像を用いて検出対象物体の検出を行った場合には、検出対象物体を含む画像全体、又は、検出対象物体を含む最小の領域(例えばバウンディングボックス)を切り取った画像である。 The object detection unit 15 detects an object present within the measurement range of the external sensor 3 based on the measurement data output by the external sensor 3 and the object recognition information I1. In this case, the object to be detected (also called the "detection target object") is a predetermined type of object, and for example, when the external sensor 3 is mounted on a vehicle, it is an object other than a road (which may be limited to a stationary object). The object detection unit 15 may receive information specifying the detection target object from the data collection device 5 and determine the detection target object based on the information. When the object detection unit 15 detects a detection target object, it extracts measurement data (also called the "object detection data") corresponding to the detection target object from the measurement data used for object detection, and supplies the extracted object detection data to the upload unit 16. For example, when the detection of the detection target object is performed using point cloud data obtained from a lidar, the object detection data is data representing the measured position of the detection target object. Furthermore, when detection of a target object is performed using an image obtained from a camera or the like, the object detection data is either the entire image including the target object, or an image obtained by cutting out the smallest area including the target object (e.g., a bounding box).

アップロード部16は、物体検出データを含むアップロード情報Iuを、インターフェース11を介してデータ収集装置5に送信する。この場合、例えば、アップロード部16は、計測周期に従い生成される物体検出データを逐次的にデータ収集装置5に送信してもよく、所定時間間隔ごとにまとめてデータ収集装置5に送信してよい。また、アップロード部16は、好適には、物体検出データと共に、自己位置推定部14が生成する計測位置の情報及び対応する外界センサ3の種別を示す情報をアップロード情報Iuに含めてもよい。また、アップロード部16は、任意の可逆圧縮又は非可逆圧縮によりアップロード情報Iuを圧縮し、圧縮後のアップロード情報Iuをデータ収集装置5に送信してもよい。 The upload unit 16 transmits the upload information Iu including the object detection data to the data collection device 5 via the interface 11. In this case, for example, the upload unit 16 may transmit the object detection data generated according to the measurement period to the data collection device 5 sequentially, or may transmit the object detection data collectively at predetermined time intervals to the data collection device 5. The upload unit 16 may also preferably include in the upload information Iu, together with the object detection data, information on the measurement position generated by the self-position estimation unit 14 and information indicating the type of the corresponding external sensor 3. The upload unit 16 may also compress the upload information Iu using any lossless or lossy compression, and transmit the compressed upload information Iu to the data collection device 5.

そして、コントローラ13は、「取得手段」、「物体検出手段」、「矛盾判定手段」、「誤検出判定手段」、「抽出手段」、「送信手段」及びプログラムを実行するコンピュータ等として機能する。 The controller 13 functions as an "acquisition means," an "object detection means," an "inconsistency determination means," an "erroneous detection determination means," an "extraction means," a "transmission means," a computer that executes a program, etc.

なお、コントローラ13が実行する処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、コントローラ13が実行する処理は、例えばFPGA(Field-Programmable Gate Array)又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、コントローラ13が本実施例において実行するプログラムを実現してもよい。 The processing executed by the controller 13 is not limited to being realized by software programs, but may be realized by any combination of hardware, firmware, and software. The processing executed by the controller 13 may also be realized by using a user-programmable integrated circuit, such as an FPGA (Field-Programmable Gate Array) or a microcomputer. In this case, the program executed by the controller 13 in this embodiment may be realized by using this integrated circuit.

(3)処理フロー
図3は、第1実施例において情報処理装置1が実行するフローチャートの一例である。情報処理装置1は、図3のフローチャートの処理を繰り返し実行する。
(3) Processing flow
3 is an example of a flowchart executed by the information processing device 1 in the first embodiment. The information processing device 1 repeatedly executes the process of the flowchart in FIG.

まず、情報処理装置1の物体検出部15は、インターフェース11を介し、外界センサ3が生成する計測データを取得する(ステップS11)。この場合、物体検出部15は、使用する外界センサ3が走査等を行う場合には1周期分の計測により得られるデータを取得する。 First, the object detection unit 15 of the information processing device 1 acquires the measurement data generated by the external sensor 3 via the interface 11 (step S11). In this case, when the external sensor 3 used performs scanning or the like, the object detection unit 15 acquires data obtained by one period of measurement.

次に、物体検出部15は、ステップS11で取得した計測データに基づき物体の検出を行う(ステップS12)。この場合、物体検出部15は、例えば、物体認識情報I1を参照することで構成した推論器に計測データを入力することで、検出対象物体の検出結果を取得する。 Next, the object detection unit 15 detects an object based on the measurement data acquired in step S11 (step S12). In this case, the object detection unit 15 acquires a detection result of the object to be detected, for example, by inputting the measurement data to an inference device configured by referring to the object recognition information I1.

そして、物体検出部15は、検出対象物体を検出したか否か判定する(ステップS13)。そして、検出対象物体を検出した場合(ステップS13;Yes)、検出した物体に対応する物体検出データを、ステップS11で取得した計測データから抽出する。そして、アップロード部16は、物体検出データを含むアップロード情報Iuを、データ収集装置5に送信する(ステップS14)。データ収集装置5に送信されたアップロード情報Iuは、例えば、深層学習などの機械学習に基づく物体認識モデルの訓練用データとして好適に用いられる。なお、アップロード部16は、ステップS13で検出された検出対象物体の物体検出データを逐次的に送信する代わりに、複数の計測タイミングで検出された検出対象物体の物体検出データをまとめて送信してもよい。 Then, the object detection unit 15 determines whether or not a detection target object has been detected (step S13). If a detection target object has been detected (step S13; Yes), object detection data corresponding to the detected object is extracted from the measurement data acquired in step S11. Then, the upload unit 16 transmits upload information Iu including the object detection data to the data collection device 5 (step S14). The upload information Iu transmitted to the data collection device 5 is preferably used as training data for an object recognition model based on machine learning such as deep learning. Note that instead of sequentially transmitting the object detection data of the detection target object detected in step S13, the upload unit 16 may transmit the object detection data of the detection target object detected at multiple measurement timings all at once.

一方、物体検出部15は、ステップS13において、検出対象物体を検出しなかった場合(ステップS13;No)、ステップS11で取得した計測データを破棄する(ステップS15)。 On the other hand, if the object detection unit 15 does not detect a detection target object in step S13 (step S13; No), it discards the measurement data acquired in step S11 (step S15).

このように、第1実施例に係る情報処理装置1は、データ収集装置5にとって有用なデータを、効率的にデータ収集装置5に送信することができる。 In this way, the information processing device 1 according to the first embodiment can efficiently transmit data useful to the data collection device 5 to the data collection device 5.

(4)具体例
図4は、外界センサ3であるライダが出射するパルスレーザの光線を示した図である。図4の例では、ライダは、車両の前方方向を含む予め定められた所定の角度範囲(この例では約210°)を対象に、パルス周期により定まる所定の角度分解能により、パルスレーザを出射している。なお、ライダは、水平方向に加えて垂直方向においても所定の角度範囲を対象にパルスレーザを出射していることにより、又は、水平方向に対して走査面が傾けられていることにより、路面に対してもパルスレーザを照射するものとする。
(4) Specific examples
Fig. 4 is a diagram showing a pulsed laser beam emitted by a lidar, which is an external sensor 3. In the example of Fig. 4, the lidar emits a pulsed laser beam at a predetermined angular range (about 210° in this example) including the forward direction of the vehicle, with a predetermined angular resolution determined by the pulse period. Note that the lidar emits a pulsed laser beam at a predetermined angular range in the vertical direction in addition to the horizontal direction, or the scanning surface is tilted with respect to the horizontal direction, so that the lidar also irradiates the road surface with the pulsed laser beam.

この場合、ライダが出射するパルスレーザは、白線51a~51c、道路標識52、電柱53、建物54、前方車両55を含む各物体に照射され、その反射光がライダによって受光される。この場合、情報処理装置1は、反射光の受光信号に基づき生成された点群データをライダ30から受信し(図3のステップS11参照)、検出対象物体の検出を行う(図3のステップS12参照)。ここでは、例えば、検出対象物体は、道路(白線を含む)以外の全ての物体であるものとする。そして、情報処理装置1は、道路標識52、電柱53、建物54、前方車両55を検出対象物体として検出し(ステップS13参照)、道路標識52、電柱53、建物54、前方車両55に夫々属すると判定したデータを、物体検出データとして抽出する。そして、情報処理装置1は、抽出した物体検出データを含むアップロード情報Iuをデータ収集装置5へ送信する(ステップS14参照)。この場合、情報処理装置1は、好適には、検出した物体毎の物体検出データと検出した物体の種類の情報とを関連付けたアップロード情報Iuを、データ収集装置5に送信するとよい。 In this case, the pulsed laser emitted by the lidar is irradiated to each object including the white lines 51a to 51c, the road sign 52, the utility pole 53, the building 54, and the vehicle ahead 55, and the reflected light is received by the lidar. In this case, the information processing device 1 receives point cloud data generated based on the light reception signal of the reflected light from the lidar 30 (see step S11 in FIG. 3), and detects the detection target object (see step S12 in FIG. 3). Here, for example, the detection target object is assumed to be all objects other than the road (including the white line). Then, the information processing device 1 detects the road sign 52, the utility pole 53, the building 54, and the vehicle ahead 55 as the detection target objects (see step S13), and extracts the data determined to belong to the road sign 52, the utility pole 53, the building 54, and the vehicle ahead 55, respectively, as object detection data. Then, the information processing device 1 transmits upload information Iu including the extracted object detection data to the data collection device 5 (see step S14). In this case, the information processing device 1 preferably transmits upload information Iu that associates object detection data for each detected object with information on the type of the detected object to the data collection device 5.

(5)変形例
情報処理装置1は、複数の外界センサ3が出力する計測データに基づき外界センサ3ごとの物体検出結果の矛盾の判定を行い、矛盾があった計測データに関する物体検出データをデータ収集装置5へ送信してもよい。また、これに加えて、又はこれに代えて、情報処理装置1は、物体検出結果と物体に関する事前情報とを比較することで物体の誤検出があったか否か判定し、誤検出があった計測データに関する物体検出データをデータ収集装置5へ送信してもよい。これらの態様によれば、情報処理装置1は、物体検出処理の精度向上のための解析対象として重要なデータを、好適にデータ収集装置5に供給することができる。
(5) Modifications
The information processing device 1 may determine whether there is a contradiction in the object detection results for each external sensor 3 based on the measurement data output by the multiple external sensors 3, and transmit object detection data related to the measurement data in which there is a contradiction to the data collection device 5. In addition to this, or instead of this, the information processing device 1 may determine whether or not there has been a false detection of an object by comparing the object detection result with prior information related to the object, and transmit object detection data related to the measurement data in which there has been a false detection to the data collection device 5. According to these aspects, the information processing device 1 can suitably supply important data as an analysis target for improving the accuracy of the object detection process to the data collection device 5.

図5は、外界センサ3A、3Bを備える車両が走行する道路の俯瞰図である。図5では、外界センサ3Aの計測範囲「FOV1」、外界センサ3Bの計測範囲「FOV2」及び外界センサ3A、3Bにおいて共通の(重複する)共通計測範囲「FOV12」が夫々明示されている。共通計測範囲FOV12には、前方車両56が存在している。外界センサ3A、3Bは、異なる種類の外界センサ(例えばライダとカメラ)の組み合わせであってもよく、同一種類の外界センサ(例えば両方ともライダ)であってもよい。ここで、検出対象物体は、車両を含むものとする。 Figure 5 is an overhead view of a road on which a vehicle equipped with external sensors 3A and 3B is traveling. In Figure 5, the measurement range "FOV1" of external sensor 3A, the measurement range "FOV2" of external sensor 3B, and a common (overlapping) measurement range "FOV12" shared by external sensors 3A and 3B are clearly shown. A vehicle 56 is present in the common measurement range FOV12. External sensors 3A and 3B may be a combination of different types of external sensors (e.g., a lidar and a camera), or may be the same type of external sensors (e.g., both are lidars). Here, the detection target object includes a vehicle.

この場合、情報処理装置1は、共通計測範囲FOV12に属する外界センサ3A、3Bの各計測データに基づき、検出対象物体の検出を行う。そして、情報処理装置1は、外界センサ3Aの共通計測範囲FOV12内の計測データ(「第1計測データ」とも呼ぶ。)に基づく検出対象物体の検出結果と、外界センサ3Bの共通計測範囲FOV12内のデータ(「第2計測データ」とも呼ぶ。)に基づく検出対象物体の検出結果とが矛盾するか否か判定する。そして、情報処理装置1は、これらの検出結果が異なる場合、第1計測データ及び第2計測データから夫々抽出した物体検出データを含むアップロード情報Iuをデータ収集装置5に送信する。この場合、情報処理装置1は、例えば、第1計測データに基づき検出した検出対象物体の種類及び数が第2計測データに基づき検出した検出対象物体の種類及び数と一致しない場合、検出結果が矛盾すると判定する。例えば、情報処理装置1は、第1計測データに基づき前方車両56を検出したが、第2計測データに基づき前方車両56を検出できなかった場合、これらの検出結果が矛盾すると判定し、検出に用いた第1計測データ及び第2計測データに基づくアップロード情報Iuをデータ収集装置5に送信する。この場合、情報処理装置1は、第1計測データ及び第2計測データから、夫々、検出した検出対象物体に対応する物体検出データ(検出対象物体を検出できなかった場合には全てのデータ)を抽出し、抽出したデータを含むアップロード情報Iuをデータ収集装置5に送信する。 In this case, the information processing device 1 detects the detection target object based on the measurement data of the external sensors 3A and 3B belonging to the common measurement range FOV12. Then, the information processing device 1 determines whether the detection result of the detection target object based on the measurement data (also called "first measurement data") in the common measurement range FOV12 of the external sensor 3A is inconsistent with the detection result of the detection target object based on the data (also called "second measurement data") in the common measurement range FOV12 of the external sensor 3B. Then, if these detection results are different, the information processing device 1 transmits upload information Iu including object detection data extracted from the first measurement data and the second measurement data, respectively, to the data collection device 5. In this case, the information processing device 1 determines that the detection results are inconsistent, for example, when the type and number of the detection target object detected based on the first measurement data do not match the type and number of the detection target object detected based on the second measurement data. For example, if the information processing device 1 detects a forward vehicle 56 based on the first measurement data but cannot detect the forward vehicle 56 based on the second measurement data, it determines that these detection results are inconsistent and transmits upload information Iu based on the first and second measurement data used for the detection to the data collection device 5. In this case, the information processing device 1 extracts object detection data corresponding to the detected detection target object from the first and second measurement data, respectively (or all data if the detection target object cannot be detected), and transmits upload information Iu including the extracted data to the data collection device 5.

図6は、外界センサ3を備える車両が走行する道路を側面から観察した図である。図6の例では、情報処理装置1は、外界センサ3が出力する計測データに基づき、案内物57、信号機58及び前方車両59を検出対象物体として検出する。この場合、情報処理装置1は、メモリ12に予め記憶された検出対象物体に関する事前情報に基づき、検出結果の誤り判定を行う。事前情報は、検出対象物体をモデル化したモデル情報であってもよく、検出対象物体に関する制約条件であってもよく、検出対象物体に関する情報(位置情報、種別情報、外観情報等)を含む地図情報であってもよい。 Figure 6 is a side view of a road on which a vehicle equipped with an external sensor 3 is traveling. In the example of Figure 6, the information processing device 1 detects a guide 57, a traffic light 58, and a vehicle ahead 59 as detection target objects based on the measurement data output by the external sensor 3. In this case, the information processing device 1 performs an error determination of the detection result based on prior information on the detection target objects pre-stored in the memory 12. The prior information may be model information that models the detection target object, may be constraint conditions on the detection target object, or may be map information including information on the detection target object (position information, type information, appearance information, etc.).

例えば、情報処理装置1は、車両は道路に接しているという車両の制約条件が事前情報として含まれている場合、外界センサ3の計測データに基づき検出した前方車両59の位置が道路に接しているか否か判定する。この場合、例えば、情報処理装置1は、外界センサ3の計測データから道路のデータと前方車両59のデータとを夫々特定し、特定したデータ間の距離(例えば高さ方向における各重心位置間の距離)が所定距離以内であるか否か判定する。そして、外界センサ3は、上述のデータ間の距離が所定距離より長い場合、上述の制約条件に反すると判定し、誤検出が発生したと判定する。よって、外界センサ3は、この場合、前方車両59に対応する物体検出データを含むアップロード情報Iuを、データ収集装置5に送信する。制約条件は、車両が道路面に接しているという条件に限らず、車両のサイズ等の種々の条件であってもよい。なお、事前情報には、検出対象物体の種類ごとに夫々適切な制約条件が登録されている。 For example, when the information processing device 1 includes a vehicle constraint condition that the vehicle is in contact with a road as the prior information, the information processing device 1 determines whether the position of the forward vehicle 59 detected based on the measurement data of the external sensor 3 is in contact with the road. In this case, for example, the information processing device 1 identifies the road data and the forward vehicle 59 data from the measurement data of the external sensor 3, and determines whether the distance between the identified data (for example, the distance between the center of gravity positions in the height direction) is within a predetermined distance. Then, when the distance between the above-mentioned data is longer than the predetermined distance, the external sensor 3 determines that the above-mentioned constraint condition is violated and that a false detection has occurred. Therefore, in this case, the external sensor 3 transmits upload information Iu including object detection data corresponding to the forward vehicle 59 to the data collection device 5. The constraint condition is not limited to the condition that the vehicle is in contact with the road surface, and may be various conditions such as the size of the vehicle. Note that the prior information has appropriate constraint conditions registered for each type of object to be detected.

他の例では、情報処理装置1は、案内物57及び信号機58に関する情報を含む地図情報をメモリ12に記憶している場合、外界センサ3の計測データに基づき検出した案内物57及び信号機58の位置及び大きさ等が地図情報に記録された案内物57及び信号機58の位置及び大きさ等と一致するか否か判定する。この場合、情報処理装置1は、カメラやライダの出力等に基づき物体の位置及び大きさ等を推定する任意の物体認識技術を適用して上述の推定を行ってもよい。例えば、情報処理装置1は、自己位置推定結果に基づく地図上の位置と外界センサ3の計測データが示す情報処理装置1に対する相対位置とに基づき、案内物57及び信号機58の各々の地図上の位置を推定する。また、情報処理装置1は、案内物57及び信号機58の夫々に該当する計測データに基づき、案内物57及び信号機58の各々の大きさ等を推定する。そして、情報処理装置1は、計測データに基づく案内物57及び信号機58の検出結果と、予めメモリ12に記憶した地図情報に含まれる案内物57及び信号機58の事前情報とが一致しない場合、誤検出が発生したと判定する。よって、この場合、情報処理装置1は、案内物57及び信号機58に対応する物体検出データを含むアップロード情報Iuを、データ収集装置5に送信する。 In another example, when the information processing device 1 stores map information including information on the guide 57 and the traffic light 58 in the memory 12, the information processing device 1 determines whether the position and size, etc. of the guide 57 and the traffic light 58 detected based on the measurement data of the external sensor 3 match the position and size, etc. of the guide 57 and the traffic light 58 recorded in the map information. In this case, the information processing device 1 may perform the above-mentioned estimation by applying any object recognition technology that estimates the position and size, etc. of an object based on the output of a camera or a lidar. For example, the information processing device 1 estimates the position on the map of each of the guide 57 and the traffic light 58 based on the position on the map based on the self-location estimation result and the relative position with respect to the information processing device 1 indicated by the measurement data of the external sensor 3. The information processing device 1 also estimates the size, etc. of each of the guide 57 and the traffic light 58 based on the measurement data corresponding to each of the guide 57 and the traffic light 58. Then, when the detection result of the guide 57 and the traffic light 58 based on the measurement data does not match the prior information of the guide 57 and the traffic light 58 included in the map information previously stored in the memory 12, the information processing device 1 determines that an erroneous detection has occurred. Therefore, in this case, the information processing device 1 transmits upload information Iu including object detection data corresponding to the guide 57 and the traffic light 58 to the data collection device 5.

さらに別の例では、情報処理装置1は、事前情報として検出対象物体のモデル情報がメモリ12等に記憶されていた場合には、モデル情報が示す検出対象物体の3次元形状と検出結果に基づく3次元形状との3次元マッチング(照合)処理を行う。そして、情報処理装置1は、3次元マッチングによるマッチングの度合いが所定の閾値未満の場合に、誤検出が発生したと判定し、対応する物体検出データを含むアップロード情報Iuを、データ収集装置5に送信する。 In yet another example, when model information of the detection target object is stored in memory 12 or the like as prior information, information processing device 1 performs a three-dimensional matching process between the three-dimensional shape of the detection target object indicated by the model information and the three-dimensional shape based on the detection result. Then, when the degree of matching by the three-dimensional matching is less than a predetermined threshold, information processing device 1 determines that a false detection has occurred, and transmits upload information Iu including the corresponding object detection data to data collection device 5.

図7は、変形例における情報処理装置1の処理手順を示すフローチャートの一例である。情報処理装置1は、図7に示すフローチャートの処理を繰り返し実行する。 Figure 7 is an example of a flowchart showing the processing procedure of the information processing device 1 in the modified example. The information processing device 1 repeatedly executes the processing of the flowchart shown in Figure 7.

まず、情報処理装置1の物体検出部15は、インターフェース11を介し、外界センサ3が生成する計測データを取得する(ステップS21)。次に、物体検出部15は、ステップS21で取得した計測データに基づき物体の検出を行う(ステップS22)。そして、物体検出部15は、検出対象物体を検出したか否か判定する(ステップS23)。 First, the object detection unit 15 of the information processing device 1 acquires the measurement data generated by the external sensor 3 via the interface 11 (step S21). Next, the object detection unit 15 detects an object based on the measurement data acquired in step S21 (step S22). Then, the object detection unit 15 determines whether or not the detection target object has been detected (step S23).

そして、検出対象物体を検出した場合(ステップS23;Yes)、検出結果に矛盾又は誤検出が存在したか否か判定する(ステップS24)。この場合、物体検出部15は、複数の外界センサ3で共通する計測範囲が存在する場合には、夫々の外界センサ3の計測データに基づく検出結果の矛盾の有無を判定する。また、物体検出部15は、メモリ12等に検出対象物体に関する事前情報が記憶されている場合には、検出結果と事前情報とを比較して誤検出の有無を判定する。 If a detection target object is detected (step S23; Yes), it is determined whether there is a contradiction or erroneous detection in the detection result (step S24). In this case, if there is a common measurement range among multiple external sensors 3, the object detection unit 15 determines whether there is a contradiction in the detection result based on the measurement data of each external sensor 3. Furthermore, if prior information regarding the detection target object is stored in the memory 12 or the like, the object detection unit 15 compares the detection result with the prior information to determine whether there is erroneous detection.

そして、検出結果に矛盾又は誤検出があった場合(ステップS24;Yes)、アップロード部16は、矛盾又は誤検出に関する計測データを含むアップロード情報Iuをデータ収集装置5に送信する(ステップS25)。一方、検出結果に矛盾及び誤検出が存在しない場合(ステップS24;No)、アップロード部16は、対象の計測データを破棄する(ステップS26)。 If there is a contradiction or a false positive in the detection result (step S24; Yes), the upload unit 16 transmits upload information Iu including measurement data related to the contradiction or false positive to the data collection device 5 (step S25). On the other hand, if there is no contradiction or false positive in the detection result (step S24; No), the upload unit 16 discards the target measurement data (step S26).

以上のように、変形例に係る情報処理装置1は、物体検出処理の精度向上のための解析対象として重要なデータを限定的に含むアップロード情報Iuをデータ収集装置5に効率的に供給することができ、送信するデータ量を好適に削減することができる。 As described above, the information processing device 1 according to the modified example can efficiently supply the upload information Iu, which contains limited data that is important as an analysis target for improving the accuracy of the object detection process, to the data collection device 5, and can effectively reduce the amount of data to be transmitted.

以上説明したように、実施例に係る情報処理装置1のコントローラ13は、外界センサ3による計測データを取得し、計測データに基づく物体の検出に関する処理を行う。そして、コントローラ13は、計測データのうち、検出された物体に対応するデータである物体検出データを抽出し、抽出した物体検出データを、データ収集装置5に送信する。これにより、情報処理装置1は、データ収集装置5にとって有用なデータを、効率的にデータ収集装置5に送信することができる。 As described above, the controller 13 of the information processing device 1 according to the embodiment acquires measurement data from the external sensor 3 and performs processing related to object detection based on the measurement data. The controller 13 then extracts object detection data, which is data corresponding to the detected object, from the measurement data, and transmits the extracted object detection data to the data collection device 5. This allows the information processing device 1 to efficiently transmit data useful to the data collection device 5.

なお、上述した実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータであるコントローラ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記憶媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。 In the above-described embodiment, the program can be stored using various types of non-transitory computer readable media and supplied to a computer, such as a controller. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer readable media include magnetic storage media (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical storage media (e.g., magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R/Ws, and semiconductor memories (e.g., mask ROMs, PROMs (Programmable ROMs), EPROMs (Erasable PROMs), flash ROMs, and RAMs (Random Access Memory)).

以上、実施例を参照して本願発明を説明したが、本願発明は上記実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。 Although the present invention has been described above with reference to the embodiments, the present invention is not limited to the above embodiments. Various modifications that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention. In other words, the present invention naturally includes various modifications and amendments that a person skilled in the art could make in accordance with the entire disclosure, including the scope of the claims, and the technical ideas. In addition, the disclosures of the above cited patent documents and the like are incorporated into this document by reference.

1 情報処理装置
2 センサ群
3 外界センサ
4 内界センサ
5 データ収集装置
Reference Signs List 1 Information processing device 2 Sensor group 3 External sensor 4 Internal sensor 5 Data collection device

Claims (9)

車両に搭載された計測装置による計測データを取得する取得手段と、
前記計測データに基づき、道路以外の予め定められた種類の物体検出する物体検出手段と、
前記計測データから、検出された前記物体に対応するデータである物体検出データを抽出する抽出手段と、
前記物体検出手段による前記物体の検出結果と、前記物体に関する事前情報との比較結果に基づき、前記検出結果と前記事前情報とが一致するか否かを判定する判定手段と、
前記検出結果と前記事前情報とが一致しない場合、前記物体検出データをデータ収集装置に送信する送信手段と、
を有する情報処理装置。
An acquisition means for acquiring measurement data by a measuring device mounted on a vehicle ;
an object detection means for detecting a predetermined type of object other than a road based on the measurement data;
an extraction means for extracting object detection data corresponding to the detected object from the measurement data;
a determination means for determining whether or not the detection result by the object detection means matches the prior information based on a comparison result between the detection result and the prior information regarding the object;
a transmitting means for transmitting the object detection data to a data collection device when the detection result does not match the prior information;
An information processing device having the above configuration.
前記計測装置は、第1計測装置と第2計測装置とを含み、
前記取得手段は、前記第1計測装置による第1計測データと、前記第2計測装置による第2計測データとを取得し、
前記物体検出手段は、前記第1計測データに基づく前記物体の検出と、前記第2計測データに基づく前記物体の検出とを夫々実行し、
前記送信手段は、前記第1計測データに基づく前記物体の検出結果と、前記第2計測データに基づく前記物体の検出結果とが矛盾する場合、前記物体検出データを前記データ収集装置に送信する、請求項1に記載の情報処理装置。
the measurement device includes a first measurement device and a second measurement device;
the acquiring means acquires first measurement data by the first measuring device and second measurement data by the second measuring device;
the object detection means detects the object based on the first measurement data and detects the object based on the second measurement data,
The information processing device according to claim 1 , wherein the transmitting means transmits the object detection data to the data collecting device when a result of the object detection based on the first measurement data and a result of the object detection based on the second measurement data are inconsistent.
前記第1計測装置と前記第2計測装置とは共通する計測範囲を有し、
前記計測範囲における前記第1計測データに基づく前記物体の検出結果と、前記計測範囲における前記第2計測データに基づく前記物体の検出結果との矛盾の有無を判定する矛盾判定手段をさらに有する、請求項2に記載の情報処理装置。
the first measurement device and the second measurement device have a common measurement range,
3. The information processing apparatus according to claim 2, further comprising a contradiction determination means for determining whether or not there is a contradiction between a detection result of the object based on the first measurement data in the measurement range and a detection result of the object based on the second measurement data in the measurement range.
前記判定手段は、前記比較結果に基づき、前記物体検出手段による前記物体の誤検出の有無を判定し、
前記送信手段は、前記誤検出があったと判定された場合、前記物体検出データを前記データ収集装置に送信する、請求項1~3のいずれか一項に記載の情報処理装置。
The determination means determines whether or not the object has been erroneously detected by the object detection means based on a result of the comparison,
The information processing device according to claim 1 , wherein the transmission means transmits the object detection data to the data collection device when it is determined that the erroneous detection has occurred.
前記事前情報は、前記予め定められた種類の物体ごとの位置及び大きさを少なくとも示す地図情報、前記物体のモデルに関する情報、又は前記物体の制約条件に関する情報である、請求項1~4のいずれか一項に記載の情報処理装置。 The information processing device according to any one of claims 1 to 4, wherein the advance information is map information indicating at least the position and size of each of the predetermined types of objects, information regarding a model of the objects, or information regarding constraint conditions of the objects. 前記物体検出手段は、前記データ収集装置から指定された前記物体検出する、請求項1~のいずれか一項に記載の情報処理装置。 The information processing device according to claim 1 , wherein the object detection means detects the object specified by the data collection device. コンピュータが実行する制御方法であって、
車両に搭載された計測装置による計測データを取得し、
前記計測データに基づき、道路以外の予め定められた種類の物体検出
前記計測データから、検出された前記物体に対応するデータである物体検出データを抽出し、
前記物体の検出結果と、前記物体に関する事前情報との比較結果に基づき、前記検出結果と前記事前情報とが一致するか否かを判定し、
前記検出結果と前記事前情報とが一致しない場合、前記物体検出データをデータ収集装置に送信する、
制御方法。
A computer-implemented control method, comprising:
Acquire measurement data from a measuring device mounted on the vehicle ,
Detecting a predetermined type of object other than a road based on the measurement data;
extracting object detection data corresponding to the detected object from the measurement data;
determining whether or not the detection result matches the prior information based on a comparison result between the detection result of the object and the prior information regarding the object;
If the detection result does not match the prior information, transmitting the object detection data to a data collection device.
Control methods.
車両に搭載された計測装置による計測データを取得し、
前記計測データに基づき、道路以外の予め定められた種類の物体検出
前記計測データから、検出された前記物体に対応するデータである物体検出データを抽出し、
前記物体の検出結果と、前記物体に関する事前情報との比較結果に基づき、前記検出結果と前記事前情報とが一致するか否かを判定し、
前記検出結果と前記事前情報とが一致しない場合、前記物体検出データをデータ収集装置に送信する処理をコンピュータに実行させるプログラム。
Acquire measurement data from a measuring device mounted on the vehicle ,
Detecting a predetermined type of object other than a road based on the measurement data;
extracting object detection data corresponding to the detected object from the measurement data;
determining whether or not the detection result matches the prior information based on a comparison result between the detection result of the object and the prior information regarding the object;
A program that causes a computer to execute a process of transmitting the object detection data to a data collection device when the detection result and the prior information do not match.
請求項に記載のプログラムを記憶した記憶媒体。 A storage medium storing the program according to claim 8 .
JP2021037383A 2021-03-09 2021-03-09 Information processing device, control method, program, and storage medium Active JP7688989B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021037383A JP7688989B2 (en) 2021-03-09 2021-03-09 Information processing device, control method, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021037383A JP7688989B2 (en) 2021-03-09 2021-03-09 Information processing device, control method, program, and storage medium

Publications (2)

Publication Number Publication Date
JP2022137738A JP2022137738A (en) 2022-09-22
JP7688989B2 true JP7688989B2 (en) 2025-06-05

Family

ID=83319728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021037383A Active JP7688989B2 (en) 2021-03-09 2021-03-09 Information processing device, control method, program, and storage medium

Country Status (1)

Country Link
JP (1) JP7688989B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025225191A1 (en) * 2024-04-22 2025-10-30 株式会社デンソー Vehicle control device and program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127240A (en) 2004-10-29 2006-05-18 Secom Co Ltd Suspicious person detection system and suspicious person detection program
JP2015041283A (en) 2013-08-22 2015-03-02 日立建機株式会社 Mining vehicle and mining vehicle management system
US20200156651A1 (en) 2018-11-19 2020-05-21 Micron Technology, Inc. Sensor fusion to determine reliability of autonomous vehicle operation
JP2020085872A (en) 2018-11-30 2020-06-04 古河電気工業株式会社 Sensor system, sensor device, and abnormality detection method
JP2020095009A (en) 2018-07-02 2020-06-18 エスアールアイ インターナショナルSRI International Computer rebar measurement inspection system
JP2020149358A (en) 2019-03-13 2020-09-17 日本電産モビリティ株式会社 Information processing device and information processing system
JP2020184129A (en) 2019-05-06 2020-11-12 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh Abnormality diagnostic device
US20200363215A1 (en) 2019-05-13 2020-11-19 Gm Cruise Holdings Llc Map updates based on data captured by an autonomous vehicle

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60127425A (en) * 1983-12-13 1985-07-08 Idemitsu Kosan Co Ltd Vibration diagnosing apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127240A (en) 2004-10-29 2006-05-18 Secom Co Ltd Suspicious person detection system and suspicious person detection program
JP2015041283A (en) 2013-08-22 2015-03-02 日立建機株式会社 Mining vehicle and mining vehicle management system
JP2020095009A (en) 2018-07-02 2020-06-18 エスアールアイ インターナショナルSRI International Computer rebar measurement inspection system
US20200156651A1 (en) 2018-11-19 2020-05-21 Micron Technology, Inc. Sensor fusion to determine reliability of autonomous vehicle operation
JP2020085872A (en) 2018-11-30 2020-06-04 古河電気工業株式会社 Sensor system, sensor device, and abnormality detection method
JP2020149358A (en) 2019-03-13 2020-09-17 日本電産モビリティ株式会社 Information processing device and information processing system
JP2020184129A (en) 2019-05-06 2020-11-12 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh Abnormality diagnostic device
US20200363215A1 (en) 2019-05-13 2020-11-19 Gm Cruise Holdings Llc Map updates based on data captured by an autonomous vehicle

Also Published As

Publication number Publication date
JP2022137738A (en) 2022-09-22

Similar Documents

Publication Publication Date Title
US11885910B2 (en) Hybrid-view LIDAR-based object detection
US12374126B2 (en) Obstacle detection method and apparatus, computer device, and storage medium
US20190310651A1 (en) Object Detection and Determination of Motion Information Using Curve-Fitting in Autonomous Vehicle Applications
US10310087B2 (en) Range-view LIDAR-based object detection
CN108271408B (en) Generate a 3D map of the scene using passive and active measurements
JP6696697B2 (en) Information processing device, vehicle, information processing method, and program
JP5083543B2 (en) Traveling area discrimination device and traveling area discrimination method for mobile robot
KR102555374B1 (en) Electronic device and control method thereof
JPWO2018221453A1 (en) Output device, control method, program, and storage medium
CN110936959B (en) On-line diagnosis and prediction of vehicle perception system
US20180273030A1 (en) Autonomous Vehicle having Pedestrian Protection Subsystem
US12299916B2 (en) Three-dimensional location prediction from images
JP7566451B2 (en) Stationary object data generating device, control method, program, and storage medium
JP7843401B2 (en) Information processing device, map generation device, storage device, control method and program
CN114581615B (en) Data processing method, device, equipment and storage medium
KR20230076059A (en) Method and apparatus for object tracking
JP7688989B2 (en) Information processing device, control method, program, and storage medium
US20240385318A1 (en) Machine-learning based object detection and localization using ultrasonic sensor data
CN115373402B (en) Loader running control method, device, equipment and storage medium
JP2025174944A (en) Method and apparatus for determining objects surrounding a vehicle
US20250371726A1 (en) Electronic device, control method, and control program
CN119356331A (en) A method and device for identifying obstacle status in an automatic driving environment of a tourist park
JP7850795B2 (en) Information processing device, control method, program, and storage medium
JP2024109679A (en) Information processing device, control method, program, and storage medium
KR101784584B1 (en) Apparatus and method for determing 3d object using rotation of laser

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250526

R150 Certificate of patent or registration of utility model

Ref document number: 7688989

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150