JP7839549B2

JP7839549B2 - Information processing device, information processing method, and program

Info

Publication number: JP7839549B2
Application number: JP2022123029A
Authority: JP
Inventors: 剣明呉; 瀚文許; 悠奨鎌田; 真輔岡部
Original assignee: Cellid
Current assignee: Cellid
Priority date: 2022-08-02
Filing date: 2022-08-02
Publication date: 2026-04-02
Anticipated expiration: 2042-08-02
Also published as: JP2024020677A

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。 This invention relates to an information processing device, an information processing method, and a program.

従来、計測により得られた複数の三次元座標を含む点群データに基づいて物体を認識することが行われている（例えば、特許文献１参照）。 Conventionally, object recognition has been performed based on point cloud data containing multiple three-dimensional coordinates obtained through measurement (see, for example, Patent Document 1).

特開２００９－１２８０７５号公報Japanese Patent Publication No. 2009-128075

複数の物体が重なることにより、物体に対応する点群データの一部のデータが不足している場合、当該物体を精度良く認識することができないという問題が生じていた。 When multiple objects overlap, and some of the point cloud data corresponding to an object is missing, a problem arises where the object cannot be accurately recognized.

そこで、本発明はこれらの点に鑑みてなされたものであり、物体の認識精度を向上させることを目的とする。 Therefore, this invention has been made in view of these points, and aims to improve the accuracy of object recognition.

本発明の第１の態様に係る情報処理装置は、複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得する取得部と、前記取得部が取得した前記点群データに基づいて、前記点群データを複数の物体それぞれを示す点群データである部分点群データに分割する分割部と、前記分割部により分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定する位置関係特定部と、前記分割部により分割された前記複数の部分点群データそれぞれと、当該部分点群データに対して前記位置関係特定部が特定した前記位置関係とに基づいて、前記複数の部分点群データそれぞれに対応する物体を認識する認識部と、を有する。 The information processing apparatus according to the first aspect of the present invention comprises: an acquisition unit that acquires point cloud data including a plurality of three-dimensional coordinates corresponding to each of a plurality of objects; a division unit that divides the point cloud data acquired by the acquisition unit into partial point cloud data, each of which represents a plurality of objects; a position relationship identification unit that identifies the position relationship between each of the plurality of partial point cloud data divided by the division unit and an object different from that object; and a recognition unit that recognizes the object corresponding to each of the plurality of partial point cloud data based on each of the plurality of partial point cloud data divided by the division unit and the position relationship identified by the position relationship identification unit for each of the partial point cloud data.

前記位置関係特定部は、前記部分点群データが入力されると前記位置関係を示す位置関係情報を出力する位置関係特定モデルに対し、前記分割部により分割された前記部分点群データを入力し、前記位置関係特定モデルから出力された前記位置関係情報を取得することにより、前記部分点群データに対応する物体に対応する前記位置関係を特定してもよい。 The positional relationship identification unit may identify the positional relationship corresponding to the object corresponding to the partial point cloud data by inputting the partial point cloud data, which has been divided by the division unit, into a positional relationship identification model that outputs positional relationship information indicating the positional relationship when the partial point cloud data is input, and by acquiring the positional relationship information output from the positional relationship identification model.

前記情報処理装置は、前記位置関係が特定されている物体に対応する部分点群データと、当該位置関係を示す位置関係情報とを教師データとして学習することにより前記位置関係特定モデルを生成する学習部をさらに有し、前記位置関係特定部は、前記分割部により分割された前記部分点群データを前記学習部が生成した前記位置関係特定モデルに入力し、前記位置関係特定モデルから出力された前記位置関係情報を取得することにより、前記部分点群データが示す物体に対応する前記位置関係を特定してもよい。 The information processing device further includes a learning unit that generates the positional relationship identification model by learning partial point cloud data corresponding to objects whose positional relationships have been identified and positional relationship information indicating said positional relationships as training data. The positional relationship identification unit may identify the positional relationship corresponding to the object indicated by the partial point cloud data by inputting the partial point cloud data divided by the division unit into the positional relationship identification model generated by the learning unit and obtaining the positional relationship information output from the positional relationship identification model.

前記認識部は、前記部分点群データと、前記位置関係を示す位置関係情報とが入力されると、認識した物体を識別するためのラベルを出力する物体認識モデルに対し、前記分割部により分割された前記部分点群データと、当該部分点群データに対して前記位置関係特定部が特定した前記位置関係を示す位置関係情報とを入力し、前記物体認識モデルから出力された前記ラベルを取得することにより、当該部分点群データに対応する物体を認識してもよい。 The recognition unit, upon receiving the partial point cloud data and positional relationship information indicating the positional relationship, may recognize the object corresponding to the partial point cloud data by inputting the partial point cloud data divided by the division unit and the positional relationship information indicating the positional relationship identified by the positional relationship identification unit to an object recognition model that outputs a label for identifying the recognized object, and then obtaining the label output from the object recognition model.

前記情報処理装置は、予め認識されている物体に対応する前記部分点群データと、当該物体に対応する前記位置関係と、当該物体に対応する前記ラベルとを教師データとして学習することにより前記物体認識モデルを生成する学習部をさらに有し、前記認識部は、前記分割部により分割された前記部分点群データと、当該部分点群データに対して前記位置関係特定部が特定した前記位置関係を示す位置関係情報とを前記学習部が生成した前記物体認識モデルに入力し、前記物体認識モデルから出力された前記ラベルを取得することにより、当該部分点群データに対応する物体を認識してもよい。 The information processing device further includes a learning unit that generates the object recognition model by learning the partial point cloud data corresponding to a previously recognized object, the positional relationship corresponding to the object, and the label corresponding to the object as training data. The recognition unit may recognize the object corresponding to the partial point cloud data by inputting the partial point cloud data divided by the division unit and positional relationship information indicating the positional relationship identified by the positional relationship identification unit for the partial point cloud data into the object recognition model generated by the learning unit, and by obtaining the label output from the object recognition model.

前記情報処理装置は、予め認識されている複数の物体に対応する点群データと、当該複数の物体のそれぞれに対応する、複数の部分点群データとを教師データとして学習することにより、点群データの入力に対して、複数の部分点群データを出力する分割モデルを生成する学習部をさらに有し、前記分割部は、前記学習部が生成した前記分割モデルに対し、前記取得部が取得した前記点群データを入力し、前記分割モデルから一以上の前記部分点群データを取得することにより、当該点群データを複数の部分点群データに分割してもよい。 The information processing device further includes a learning unit that generates a partitioning model that outputs multiple partial point cloud data in response to input point cloud data, by learning point cloud data corresponding to multiple pre-recognized objects and multiple partial point cloud data corresponding to each of the multiple objects as training data. The partitioning unit may input the point cloud data acquired by the acquisition unit into the partitioning model generated by the learning unit, and acquire one or more partial point cloud data from the partitioning model, thereby partitioning the point cloud data into multiple partial point cloud data.

前記位置関係特定部は、前記位置関係として、前記物体が前記異なる物体と重なっていない位置関係、前記異なる物体が前記物体に隣接することにより前記物体の少なくとも一部が隠蔽されている位置関係、前記物体の上部に前記異なる物体が重なっている位置関係、前記物体の一部を前記異なる物体が覆っている位置関係、前記物体に前記異なる物体が含まれている位置関係のうち、いずれかの位置関係に特定してもよい。
前記位置関係特定部は、前記位置関係として、前記部分点群データに対応する点群の密度を特定してもよい。 The positional relationship identification unit may specify the positional relationship as any of the following: a positional relationship in which the object does not overlap with the other object; a positional relationship in which at least a part of the object is hidden by the other object being adjacent to the object; a positional relationship in which the other object overlaps the top of the object; a positional relationship in which a part of the object is covered by the other object; or a positional relationship in which the object contains the other object.
The positional relationship identification unit may identify the density of the point cloud corresponding to the partial point cloud data as the positional relationship.

前記情報処理装置は、前記認識部が認識した物体に対応する前記部分点群データに基づいて、前記物体の種類、前記物体の位置、前記物体が向いている方向、前記物体の形状、前記物体の面積、前記物体の体積、前記物体の状態の少なくともいずれかを前記物体の属性として特定する属性特定部と、前記属性特定部が特定した前記物体の属性を記憶部に記憶させる記憶制御部と、をさらに有してもよい。 The information processing device may further include: an attribute identification unit that identifies at least one of the following as attributes of the object based on the partial point cloud data corresponding to the object recognized by the recognition unit: the type of the object, the position of the object, the direction the object is facing, the shape of the object, the area of the object, the volume of the object, and the state of the object; and a storage control unit that stores the attributes of the object identified by the attribute identification unit in a storage unit.

前記取得部は、複数の異なる時刻それぞれの前記点群データを取得し、前記分割部は、前記取得部が取得した前記複数の異なる時刻それぞれの前記点群データを複数の部分点群データに分割し、前記位置関係特定部は、前記複数の異なる時刻それぞれに対して分割された複数の部分点群データそれぞれに対し前記位置関係を特定し、前記認識部は、前記複数の異なる時刻に対応する前記複数の部分点群データそれぞれと、前記複数の異なる時刻に対応する当該部分点群データに対して前記位置関係特定部が特定した前記位置関係とに基づいて、前記複数の異なる時刻に対応する前記複数の部分点群データそれぞれに対応する物体を認識し、前記属性特定部は、前記複数の異なる時刻に対応して前記認識部が認識した前記物体の属性を特定し、前記情報処理装置は、前記複数の異なる時刻に対応して前記属性特定部が特定した前記物体の属性に基づいて、前記物体の属性の変化を検出する検出部と、前記検出部が検出した前記物体の属性の変化を通知する通知部と、をさらに有してもよい。 The acquisition unit acquires the point cloud data for each of several different time periods; the division unit divides the point cloud data acquired by the acquisition unit for each of the several different time periods into several partial point cloud data; the position relationship identification unit identifies the position relationship for each of the multiple partial point cloud data divided for each of the several different time periods; the recognition unit recognizes an object corresponding to each of the multiple partial point cloud data corresponding to each of the several different time periods based on each of the multiple partial point cloud data corresponding to each of the several different time periods and the position relationship identified by the position relationship identification unit for the said partial point cloud data corresponding to each of the several different time periods; the attribute identification unit identifies the attributes of the object recognized by the recognition unit for each of the several different time periods; and the information processing device may further include a detection unit that detects changes in the attributes of the object based on the attributes of the object identified by the attribute identification unit for each of the several different time periods, and a notification unit that notifies the changes in the attributes of the object detected by the detection unit.

本発明の第２の態様に係る情報処理方法は、コンピュータが実行する、複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得するステップと、取得した前記点群データに基づいて、前記点群データを複数の物体それぞれを示す点群データである部分点群データに分割するステップと、分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定するステップと、分割された前記複数の部分点群データそれぞれと、当該部分点群データに対して特定した前記位置関係とに基づいて、前記複数の部分点群データそれぞれに対応する物体を認識するステップと、を有する。 A second aspect of the present invention relates to an information processing method comprising: a computer acquiring point cloud data containing multiple three-dimensional coordinates corresponding to each of multiple objects; a computer dividing the acquired point cloud data into partial point cloud data, each representing a different object; identifying the positional relationship between the object represented by each of the divided partial point cloud data and other objects; and recognizing the object corresponding to each of the divided partial point cloud data based on the positional relationship identified for each of the divided partial point cloud data.

本発明の第３の態様に係るプログラムは、コンピュータを、複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得する取得部、前記取得部が取得した前記点群データに基づいて、前記点群データを複数の物体それぞれを示す点群データである部分点群データに分割する分割部、前記分割部により分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定する位置関係特定部、及び、前記分割部により分割された前記複数の部分点群データそれぞれと、当該部分点群データに対して前記位置関係特定部が特定した前記位置関係とに基づいて、前記複数の部分点群データそれぞれに対応する物体を認識する認識部、として機能させる。 A program according to a third aspect of the present invention causes a computer to function as: an acquisition unit that acquires point cloud data including multiple three-dimensional coordinates corresponding to multiple objects; a division unit that divides the point cloud data acquired by the acquisition unit into partial point cloud data, each representing one of the multiple objects; a positional relationship identification unit that identifies the positional relationship between the object represented by each of the multiple partial point cloud data divided by the division unit and an object different from that object; and a recognition unit that recognizes the object corresponding to each of the multiple partial point cloud data based on the positional relationship identified by the positional relationship identification unit with respect to each of the multiple partial point cloud data divided by the division unit.

本発明によれば、物体の認識精度を向上させることができるという効果を奏する。 According to this invention, the accuracy of object recognition can be improved.

情報処理装置の概要を示す図である。This is a diagram illustrating the overview of an information processing device. 情報処理装置の機能構成を示す図である。This diagram shows the functional configuration of an information processing device. ６種類の位置関係を説明する図である。This diagram illustrates six different spatial relationships. 物体情報の一例を示す図である。This figure shows an example of object information. 情報処理装置が物体の状態の変化を検出する処理の流れを示すフローチャートである。This flowchart shows the process flow for an information processing device to detect changes in the state of an object.

［情報処理装置１の概要］
図１は、情報処理装置１の概要を示す図である。情報処理装置１は、複数の物体それぞれに対応する複数の三次元座標を含む点群データから物体を認識するコンピュータである。情報処理装置１は、認識する対象の物体を含む施設内を撮影する撮影装置２と、当該施設を管理する管理者が使用する端末３とに、無線ＬＡＮやインターネット等の通信ネットワークを介して通信可能に接続されている。 [Overview of Information Processing Device 1]
Figure 1 shows an overview of the information processing device 1. The information processing device 1 is a computer that recognizes objects from point cloud data containing multiple three-dimensional coordinates corresponding to multiple objects. The information processing device 1 is connected to a camera 2 that takes pictures of the inside of a facility containing the object to be recognized, and to a terminal 3 used by the administrator who manages the facility, via a communication network such as a wireless LAN or the internet.

情報処理装置１は、例えば、認識する対象の物体を含む施設内を移動する車両やドローン等の移動体に搭載された撮影装置２から、当該施設内の複数の視点位置で撮影して得られた映像データを取得する（図１における（１））。情報処理装置１は、取得した映像データに含まれる複数の画像に基づいて、複数の異なる視点位置それぞれに対応する、複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得する（図１における（２））。 The information processing device 1 acquires video data obtained from multiple viewpoints within a facility, such as from a camera 2 mounted on a mobile device like a vehicle or drone moving within the facility containing the object to be recognized (Figure 1, (1)). Based on the multiple images contained in the acquired video data, the information processing device 1 acquires point cloud data containing multiple three-dimensional coordinates corresponding to multiple objects, each corresponding to a different viewpoint (Figure 1, (2)).

情報処理装置１は、映像データから取得した点群データを複数の物体それぞれを示す点群データ群である複数の部分点群データに分割する（図１における（３））。点群データ群を複数の部分点群データに分割する方法の詳細は後述する。分割された複数の部分点群データには、物体と撮影装置２の撮影位置との間に他の物体が配置されており、当該物体の全体を撮影できないことにより、当該物体の一部が表現されていない部分点群データが含まれることがある。 The information processing device 1 divides the point cloud data acquired from the video data into multiple sub-point cloud data sets, each representing a separate object (Figure 1, (3)). Details of the method for dividing the point cloud data set into multiple sub-point cloud data sets will be described later. The divided sub-point cloud data sets may include some where a portion of the object is not represented because other objects are positioned between the object and the shooting position of the shooting device 2, preventing the entire object from being captured.

情報処理装置１は、点群データから分割した複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定する（図１における（４））。情報処理装置１は、予め、部分点群データと位置関係との関係について学習することにより作成された、部分点群データが入力されると位置関係を示す位置関係情報を出力する位置関係特定モデルを使用することにより、複数の物体の位置関係を特定する。情報処理装置１は、生成した位置関係特定モデルに対し、分割された部分点群データを入力し、位置関係特定モデルが出力する位置関係情報を取得することにより、部分点群データに対応する物体に対応する位置関係を特定する。 The information processing device 1 identifies the positional relationship between the object represented by each of the multiple sub-point cloud data points separated from the point cloud data, and other objects (Figure 1, (4)). The information processing device 1 identifies the positional relationships of multiple objects by using a positional relationship identification model, which was created by pre-learning the relationship between sub-point cloud data and positional relationships. This model outputs positional relationship information when sub-point cloud data is input. The information processing device 1 inputs the separated sub-point cloud data into the generated positional relationship identification model and obtains the positional relationship information output by the positional relationship identification model, thereby identifying the positional relationship corresponding to the object corresponding to the sub-point cloud data.

情報処理装置１は、点群データから分割した部分点群データと、当該部分点群データに対して特定した位置関係とに基づいて、部分点群データに対応する物体を認識する（図１における（５））。情報処理装置１は、部分点群データが示す物体と、当該物体と異なる物体との複数の位置関係それぞれに対応して、部分点群データと当該部分点群データが示す物体との関係について学習することにより作成された物体認識モデルを使用することにより物体を認識する。情報処理装置１は、当該物体認識モデルに対し、分割された部分点群データと、当該部分点群データに対して特定された位置関係を示す位置関係情報を入力し、物体認識モデルが出力するラベルを取得することにより、部分点群データに対応する物体を認識する。 The information processing device 1 recognizes objects corresponding to partial point cloud data based on the partial point cloud data divided from the point cloud data and the positional relationships identified with respect to the partial point cloud data (Figure 1, (5)). The information processing device 1 recognizes objects by using an object recognition model created by learning the relationship between the partial point cloud data and the object it represents, corresponding to multiple positional relationships between the object represented by the partial point cloud data and other objects. The information processing device 1 recognizes objects corresponding to the partial point cloud data by inputting the divided partial point cloud data and positional relationship information indicating the positional relationships identified with respect to the partial point cloud data into the object recognition model and obtaining the labels output by the object recognition model.

情報処理装置１は、認識した物体の部分点群データに基づいて、物体の種類や物体の位置等の物体の属性を特定し、特定した属性を記憶する（図１における（６））。情報処理装置１は、記憶された属性を含む物体情報を端末３に通知する（図１における（７））。これにより、端末３を使用する施設を管理する管理者は、認識された物体の属性を確認し、物体の異常等を把握することができる。 The information processing device 1 identifies the attributes of the recognized object, such as its type and location, based on the partial point cloud data of the object, and stores the identified attributes (Figure 1, (6)). The information processing device 1 then notifies the terminal 3 of the object information, including the stored attributes (Figure 1, (7)). This allows the administrator managing the facility using the terminal 3 to confirm the attributes of the recognized object and identify any abnormalities in the object.

従来の物体認識処理では、物体の一部が表現されていない部分点群データに基づいて物体を認識しようとすると、物体を正しく認識できないという問題があった。これに対し、情報処理装置１は、部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定し、当該部分点群データと、特定した位置関係とに基づいて、部分点群データに対応する物体を認識する。このようにすることで、情報処理装置１は、部分点群データに対応する物体と、当該物体と異なる物体の位置関係を考慮せずに物体を認識する場合に比べて、物体の認識精度を向上させることができる。 Conventional object recognition processing has a problem where objects cannot be correctly recognized when attempting to recognize them based on partial point cloud data in which only a portion of the object is represented. In contrast, the information processing device 1 identifies the positional relationship between the object represented by the partial point cloud data and other objects, and recognizes the object corresponding to the partial point cloud data based on the identified positional relationship. By doing so, the information processing device 1 can improve the accuracy of object recognition compared to recognizing objects without considering the positional relationship between the object corresponding to the partial point cloud data and other objects.

［情報処理装置１の機能構成］
続いて、情報処理装置１の構成の詳細を説明する。図２は、情報処理装置１の機能構成を示す図である。情報処理装置１は、通信部１１と、記憶部１２と、制御部１３とを有する。
通信部１１は、インターネット等のネットワークを介して撮影装置２及び端末３とデータを送受信するための通信インターフェースである。 [Functional configuration of the information processing device 1]
Next, the details of the configuration of the information processing device 1 will be explained. Figure 2 is a diagram showing the functional configuration of the information processing device 1. The information processing device 1 has a communication unit 11, a storage unit 12, and a control unit 13.
The communication unit 11 is a communication interface for sending and receiving data with the imaging device 2 and the terminal 3 via a network such as the Internet.

記憶部１２は、各種のデータを記憶する記憶媒体であり、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及びハードディスク等を有する。記憶部１２は、制御部１３が実行するプログラムを記憶する。記憶部１２は、制御部１３を、学習部１３１、点群データ取得部１３２、分割部１３３、位置関係特定部１３４、認識部１３５、属性特定部１３６、記憶制御部１３７、検出部１３８及び通知部１３９として機能させるプログラムを記憶する。 The memory unit 12 is a storage medium for storing various types of data, and includes ROM (Read Only Memory), RAM (Random Access Memory), and hard disks. The memory unit 12 stores the program executed by the control unit 13. The memory unit 12 stores the program that causes the control unit 13 to function as a learning unit 131, a point cloud data acquisition unit 132, a division unit 133, a position relationship identification unit 134, a recognition unit 135, an attribute identification unit 136, a memory control unit 137, a detection unit 138, and a notification unit 139.

また、記憶部１２は、分割モデル１２１と、位置関係特定モデル１２２と、物体認識モデル１２３と、物体ＤＢ１２４とを記憶する。
分割モデル１２１は、例えば、点群データが入力されると、当該点群データに対応する複数の部分点群データを出力するニューラルネットワークモデルのプログラムであり、学習部１３１が予め学習することにより生成される。例えば、分割モデル１２１は、点群データが入力されると、点群データに含まれる物体の数を特定し、点群データに含まれる特徴点それぞれが、特定した複数の物体のうち、どの物体に対応するかを示す確率を算出する。分割モデル１２１は、複数の物体それぞれに対し、算出した確率が所定の閾値を超える特徴点の集合を部分点群データとし、当該複数の物体それぞれに対応する部分点群データを出力する。分割モデル１２１は、分割部１３３が点群データを複数の部分点群データに分割するために用いられる。 Furthermore, the memory unit 12 stores the division model 121, the positional relationship identification model 122, the object recognition model 123, and the object DB 124.
The splitting model 121 is a neural network model program that, for example, outputs multiple subpoint cloud data corresponding to point cloud data when point cloud data is input, and is generated by the learning unit 131 through pre-training. For example, when point cloud data is input, the splitting model 121 identifies the number of objects included in the point cloud data and calculates the probability that each feature point included in the point cloud data corresponds to one of the identified multiple objects. For each of the multiple objects, the splitting model 121 uses the set of feature points whose calculated probability exceeds a predetermined threshold as subpoint cloud data and outputs the subpoint cloud data corresponding to each of the multiple objects. The splitting model 121 is used by the splitting unit 133 to split the point cloud data into multiple subpoint cloud data.

位置関係特定モデル１２２は、例えば、部分点群データが入力されると、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を示す位置関係情報を出力するニューラルネットワークモデルのプログラムであり、学習部１３１が予め学習することにより生成される。位置関係特定モデル１２２は、位置関係特定部１３４が、部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定するために用いられる。 The positional relationship identification model 122 is a neural network model program that, for example, when partial point cloud data is input, outputs positional relationship information indicating the positional relationship between the object represented by the partial point cloud data and other objects. It is generated by pre-training by the learning unit 131. The positional relationship identification model 122 is used by the positional relationship identification unit 134 to identify the positional relationship between the object represented by the partial point cloud data and other objects.

ここで、物体と異なる物体との位置関係について説明する。物体を示す部分点群データは、撮影装置２が撮影した映像データに基づいて生成される。撮影装置２の撮影位置と、物体との間に、異なる物体が配置されていたり、物体に異なる物体が隣接して設置されていたりすることにより、撮影装置２が撮影した映像データに、当該物体の全体が写らず、部分点群データが物体の全体を示していないことがある。これに対し、情報処理装置１は、物体と、当該物体とがどのような位置関係にあるかを特定する。 Here, we will explain the positional relationship between an object and other objects. The partial point cloud data representing the object is generated based on the video data captured by the imaging device 2. If other objects are positioned between the imaging device 2 and the object, or if other objects are adjacent to the object, the entire object may not be captured in the video data from the imaging device 2, and the partial point cloud data may not represent the entire object. In response to this, the information processing device 1 identifies the positional relationship between the object and other objects.

物体と異なる物体との位置関係は、例えば、Ｄｉｓｊｏｉｎ、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎの６種類の位置関係に分類される。図３は、６種類の位置関係を説明する図である。図３に示すように、Ｄｉｓｊｏｉｎは、物体が異なる物体と重なっていない位置関係であり、物体の全体に対応する部分点群データを取得できている状態である。また、Ｉｎｓｉｄｅ、Ｍｅｅｔは、異なる物体が物体に隣接することにより物体の少なくとも一部が隠蔽されている位置関係であり、物体の全体に対応する部分点群データを取得できていない状態である。Ｉｎｓｉｄｅは、異なる物体により物体が隠蔽されることにより、物体が有する一つの面が残っている位置関係である。Ｍｅｅｔは、異なる物体により物体が隠蔽されることにより、物体が有する複数の面が残っている位置関係である。 The positional relationship between an object and another object can be classified into six types: Disjoin, Inside, Meet, Covered By, Overlap, and Container. Figure 3 illustrates these six types of positional relationships. As shown in Figure 3, Disjoin is a positional relationship where an object does not overlap with another object, and partial point cloud data corresponding to the entire object can be obtained. Inside and Meet are positional relationships where at least a part of an object is obscured by another object's proximity, and partial point cloud data corresponding to the entire object cannot be obtained. Inside is a positional relationship where one face of an object remains visible due to obscuration by another object. Meet is a positional relationship where multiple faces of an object remain visible due to obscuration by another object.

ＣｏｖｅｒｅｄＢｙは、物体の上部に異なる物体が重なっている位置関係であり、物体の全体に対応する部分点群データを取得できていない状態である。Ｏｖｅｒｌａｐは、物体の一部を異なる物体が覆っている位置関係であり、物体の全体に対応する部分点群データを取得できていない状態である。Ｃｏｎｔａｉｎは、物体に異なる物体が含まれていることにより、物体の一部のみが視認できる位置関係であり、物体の全体に対応する部分点群データを取得できていない状態である。 Covered By indicates a positional relationship where one object is overlapping another object, resulting in the inability to obtain partial point cloud data corresponding to the entire object. Overlap indicates a positional relationship where one object is partially covered by another object, resulting in the inability to obtain partial point cloud data corresponding to the entire object. Contain indicates a positional relationship where only a portion of an object is visible due to the inclusion of another object, resulting in the inability to obtain partial point cloud data corresponding to the entire object.

物体認識モデル１２３は、例えば、部分点群データと、特定された位置関係を示す位置関係情報とが入力されると、当該部分点群データが示す物体を識別するためのラベルである物体名を出力するニューラルネットワークモデルのプログラムであり、学習部１３１が予め学習することにより生成される。物体認識モデル１２３は、部分点群データが示す物体を認識部１３５が認識するために用いられる。 The object recognition model 123 is a neural network model program that, for example, receives partial point cloud data and positional relationship information indicating a specified positional relationship as input, and outputs an object name, which is a label for identifying the object indicated by the partial point cloud data. It is generated by pre-training by the learning unit 131. The object recognition model 123 is used by the recognition unit 135 to recognize the object indicated by the partial point cloud data.

物体ＤＢ１２４は、部分点群データから認識された物体の属性を含む物体情報を記憶する。図４は、物体情報の一例を示す図である。図４に示すように物体情報は、物体ＩＤと、物体名と、物体の属性情報とを少なくとも関連付けた情報である。 Object DB 124 stores object information, including the attributes of objects recognized from partial point cloud data. Figure 4 shows an example of object information. As shown in Figure 4, object information is information that associates at least the object ID, object name, and object attribute information.

属性情報は、例えば、物体の設置位置、形状、長さ、体積、状態を示す情報である。物体の設置位置は、例えば、認識された物体に対応する部分点群データの設置位置を示す情報である。物体の形状は、例えば直方体、円柱等の形状を示す情報であるが、これに限らず、物体の形状として部分点群データが格納されてもよい。また、物体の状態は、物体が正常であるか、異常であるかを示す情報である。 Attribute information includes, for example, information indicating the object's location, shape, length, volume, and state. The object's location, for example, indicates the location of the partial point cloud data corresponding to the recognized object. The object's shape is information indicating the shape of the object, such as a rectangular prism or cylinder, but is not limited to this; partial point cloud data may also be stored as the object's shape. Furthermore, the object's state indicates whether the object is normal or abnormal.

制御部１３は、例えばＣＰＵ（Central Processing Unit）である。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、学習部１３１、点群データ取得部１３２、分割部１３３、位置関係特定部１３４、認識部１３５、属性特定部１３６、記憶制御部１３７、検出部１３８及び通知部１３９として機能する。 The control unit 13 is, for example, a CPU (Central Processing Unit). By executing the program stored in the memory unit 12, the control unit 13 functions as a learning unit 131, a point cloud data acquisition unit 132, a division unit 133, a positional relationship identification unit 134, a recognition unit 135, an attribute identification unit 136, a memory control unit 137, a detection unit 138, and a notification unit 139.

［モデルの生成］
まず、物体の認識に用いるモデルを生成する処理について説明する。学習部１３１は、情報処理装置１が物体を認識する処理を行う前に教師データに基づいて学習を行うことにより、分割モデル１２１、位置関係特定モデル１２２及び物体認識モデル１２３を生成し、生成したこれらのモデルを記憶部１２に記憶させる。 [Model generation]
First, the process of generating models used for object recognition will be explained. Before the information processing device 1 performs object recognition, the learning unit 131 performs learning based on training data to generate a segmentation model 121, a positional relationship identification model 122, and an object recognition model 123, and stores these generated models in the storage unit 12.

具体的には、学習部１３１は、予め認識されている複数の物体に対応する点群データと、当該複数の物体のそれぞれに対応する、複数の部分点群データとのセットを教師データとして学習することにより、点群データの入力に対して、複数の部分点群データを出力する分割モデル１２１を生成する。 Specifically, the learning unit 131 generates a segmented model 121 that outputs multiple sub-point cloud data sets in response to a point cloud data input. This is achieved by training the model with a set of point cloud data corresponding to multiple pre-recognized objects and multiple sub-point cloud data sets corresponding to each of those objects as training data.

例えば、教師データに含まれる点群データは、後述の点群データ取得部１３２により取得された点群データである。また、教師データに含まれる複数の部分点群データは、教師データに含まれる点群データから手動により分割された複数の部分点群データである。教師データに含まれる複数の部分点群データは、手動により分割された複数の部分点群データであることとしたが、これに限らず、後述の分割部１３３により当該点群データから分割された複数の部分点群データであって、正しく分割されていると判定された複数の部分点群データであってもよい。学習部１３１は、分割モデル１２１を生成すると、生成した分割モデル１２１を記憶部１２に記憶させる。 For example, the point cloud data included in the training data is the point cloud data acquired by the point cloud data acquisition unit 132 described later. Furthermore, the multiple sub-point cloud data included in the training data are multiple sub-point cloud data manually divided from the point cloud data included in the training data. While the multiple sub-point cloud data included in the training data are assumed to be multiple sub-point cloud data manually divided, this is not limited to this; they may also be multiple sub-point cloud data divided from the point cloud data by the division unit 133 described later, and determined to be correctly divided. When the learning unit 131 generates the division model 121, it stores the generated division model 121 in the storage unit 12.

また、学習部１３１は、他の物体との位置関係が特定されている物体に対応する部分点群データと、当該位置関係を示す位置関係情報とのセットを教師データとして学習することにより、部分点群データが入力されると、当該位置関係を示す位置関係情報を出力する位置関係特定モデル１２２を生成する。 Furthermore, the learning unit 131 learns from a set of training data consisting of partial point cloud data corresponding to an object whose positional relationship with other objects has been identified, and positional relationship information indicating that positional relationship. By doing so, when partial point cloud data is input, it generates a positional relationship identification model 122 that outputs positional relationship information indicating that positional relationship.

例えば、学習部１３１は、他の物体との位置関係が特定されている物体に対応する部分点群データと、Ｄｉｓｊｏｉｎ、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎのうち、当該部分点群データとして特定された位置関係とをセットにした複数の教師データに基づいて、位置関係特定モデル１２２の学習を行うことにより、位置関係特定モデル１２２を生成する。学習部１３１は、位置関係特定モデル１２２を生成すると、生成した位置関係特定モデル１２２を記憶部１２に記憶させる。 For example, the learning unit 131 generates a positional relationship identification model 122 by training it based on multiple training data sets, each set consisting of partial point cloud data corresponding to an object whose positional relationship with other objects has been identified, and the positional relationship identified in the partial point cloud data from among Disjoin, Inside, Meet, CoveredBy, Overlap, and Container. Once the learning unit 131 has generated the positional relationship identification model 122, it stores the generated model in the storage unit 12.

また、学習部１３１は、予め認識されている物体に対応する部分点群データと、当該物体に対応する位置関係と、当該物体に対応するラベルとのセットを教師データとして学習することにより、部分点群データと、位置関係情報とが入力されると、認識した物体を識別するためのラベルである物体名を出力する物体認識モデル１２３を生成してもよい。 Furthermore, the learning unit 131 may generate an object recognition model 123 by learning a set of training data consisting of partial point cloud data corresponding to a pre-recognized object, the positional relationship corresponding to that object, and the label corresponding to that object. When partial point cloud data and positional relationship information are input, the model outputs the object name, which is a label for identifying the recognized object.

例えば、学習部１３１は、予め認識されている物体に対応する部分点群データであって、他の物体との位置関係が特定されている部分点群データと、当該位置関係を示す位置関係情報と、当該物体に対して手動で設定された物体名とをセットにした複数の教師データに基づいて、物体認識モデル１２３の学習を行うことにより、物体認識モデル１２３を生成する。学習部１３１は、物体認識モデル１２３を生成すると、生成した物体認識モデル１２３を記憶部１２に記憶させる。 For example, the learning unit 131 generates an object recognition model 123 by training it based on multiple training data sets, each set consisting of partial point cloud data corresponding to a pre-recognized object, partial point cloud data where the positional relationship with other objects is specified, positional relationship information indicating that positional relationship, and an object name manually set for that object. Once the learning unit 131 has generated the object recognition model 123, it stores the generated object recognition model 123 in the storage unit 12.

［物体の認識］
続いて、制御部１３が物体を認識する処理について説明する。制御部１３の点群データ取得部１３２、分割部１３３、位置関係特定部１３４、認識部１３５、及び属性特定部１３６及び記憶制御部１３７は、協働することにより物体を認識し、認識した物体の属性を示す情報を記憶部１２に記憶させる。以下、点群データ取得部１３２、分割部１３３、位置関係特定部１３４、認識部１３５、属性特定部１３６及び記憶制御部１３７の物体の認識に係る機能の詳細を説明する。 [Object Recognition]
Next, the process by which the control unit 13 recognizes an object will be explained. The point cloud data acquisition unit 132, division unit 133, position relationship identification unit 134, recognition unit 135, attribute identification unit 136, and memory control unit 137 of the control unit 13 work together to recognize an object and store information indicating the attributes of the recognized object in the memory unit 12. The details of the object recognition functions of the point cloud data acquisition unit 132, division unit 133, position relationship identification unit 134, recognition unit 135, attribute identification unit 136, and memory control unit 137 will be explained below.

点群データ取得部１３２は、複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得する。例えば、点群データ取得部１３２は、撮影された映像に含まれる複数の画像データから点群データを生成する技術であるＳｆＭ（Structure-from-motion）を用いて、取得した映像データから点群データを取得する。 The point cloud data acquisition unit 132 acquires point cloud data containing multiple three-dimensional coordinates corresponding to each of multiple objects. For example, the point cloud data acquisition unit 132 acquires point cloud data from the acquired video data using SfM (Structure-from-motion), a technique that generates point cloud data from multiple image data contained in captured video.

具体的にはまず、点群データ取得部１３２は、撮影装置２から、さまざまな視点位置から撮影して生成された映像データを取得し、取得した映像データに含まれる複数の視点位置に対応する複数の画像データそれぞれに含まれる特徴点を抽出する。点群データ取得部１３２は、複数の画像データから抽出した特徴点のマッチングを行う。点群データ取得部１３２は、複数の画像データのうち、例えば一致する特徴点が相対的に多い２つの画像データを選択し、選択した２つの画像データに含まれる、複数の一致する特徴点の位置関係に基づいて三次元空間座標系における、特徴点の三次元の座標位置を特定する。 Specifically, the point cloud data acquisition unit 132 first acquires video data generated from the imaging device 2 by capturing images from various viewpoint positions, and extracts feature points from each of the multiple image data corresponding to the multiple viewpoint positions included in the acquired video data. The point cloud data acquisition unit 132 then performs matching of the feature points extracted from the multiple image data. From the multiple image data, the point cloud data acquisition unit 132 selects, for example, two image data sets with a relatively large number of matching feature points, and identifies the three-dimensional coordinate positions of the feature points in a three-dimensional spatial coordinate system based on the positional relationships of the multiple matching feature points included in the two selected image data sets.

点群データ取得部１３２は、撮像位置及び撮像方向が未知の画像データを選択した場合、選択した画像データに含まれる特徴点と、三次元の座標位置を特定済みの特徴点とのＰｎＰ問題を解くことにより、選択した画像データの撮像位置及び撮像方向を推定する。点群データ取得部１３２は、選択した画像データの撮像位置及び撮像方向と、既に三次元の座標位置が特定されている特徴点の三次元の座標位置とに基づいて三角測量処理を行うことにより、選択した画像データに含まれる特徴点のうち、三次元の座標位置が特定されていない特徴点の三次元の座標位置を算出する。 The point cloud data acquisition unit 132, when selecting image data with unknown imaging position and direction, estimates the imaging position and direction of the selected image data by solving a PnP problem between the feature points included in the selected image data and feature points whose three-dimensional coordinate positions have already been identified. The point cloud data acquisition unit 132 then calculates the three-dimensional coordinate positions of feature points included in the selected image data whose three-dimensional coordinate positions have not yet been identified by performing triangulation processing based on the imaging position and direction of the selected image data and the three-dimensional coordinate positions of feature points whose three-dimensional coordinate positions have already been identified.

その後、点群データ取得部１３２は、新たな画像データを一つずつ追加し、三次元の座標位置が特定されていない特徴点の三次元の座標位置の算出を繰り返すことにより、三次元の座標位置が特定された複数の特徴点、すなわち、点群データを取得する。なお、特徴点には、三次元の座標位置の他に、カラーの色（Ｒ値、Ｇ値、Ｂ値）やグレースケールの色（２５６階調）、白黒の色（２階調）を示す画素値が関連付けられていてもよい。 Subsequently, the point cloud data acquisition unit 132 adds new image data one by one and repeatedly calculates the three-dimensional coordinate positions of feature points whose three-dimensional coordinate positions have not yet been determined. This process acquires multiple feature points with identified three-dimensional coordinate positions, i.e., point cloud data. Note that, in addition to the three-dimensional coordinate position, the feature points may also be associated with pixel values indicating color (R, G, B values), grayscale color (256 levels), or black and white color (2 levels).

なお、点群データ取得部１３２は、複数の画像データと、複数の画像データから取得した点群データとを用いて、さらに密な点群データを復元する技術であるＭＶＳ（Multi-View Stereo）を用いて、ＳｆＭにより取得した点群データと、複数の画像データとから、密な点群データを復元してもよい。 Furthermore, the point cloud data acquisition unit 132 may use MVS (Multi-View Stereo), a technique that uses multiple image data and point cloud data acquired from those multiple image data to reconstruct denser point cloud data, by reconstructing denser point cloud data from the point cloud data acquired by SfM and the multiple image data.

分割部１３３は、点群データ取得部１３２が取得した点群データに基づいて、当該点群データを複数の物体それぞれを示す点群データである部分点群データに分割する。例えば、分割部１３３は、学習部１３１が生成し、記憶部１２に記憶されている分割モデル１２１を実行し、分割モデル１２１に対し、点群データ取得部１３２が取得した点群データを入力し、分割モデル１２１から一以上の部分点群データを取得することにより、当該点群データを複数の部分点群データに分割する。 The division unit 133 divides the point cloud data acquired by the point cloud data acquisition unit 132 into partial point cloud data, each representing a different object. For example, the division unit 133 executes the division model 121 generated by the learning unit 131 and stored in the storage unit 12. It then inputs the point cloud data acquired by the point cloud data acquisition unit 132 to the division model 121 and acquires one or more partial point cloud data from the division model 121, thereby dividing the point cloud data into multiple partial point cloud data.

位置関係特定部１３４は、分割部１３３により分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定する。位置関係特定部１３４は、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係として、Ｄｉｓｊｏｉｎ、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎのうち、いずれかの位置関係に特定する。 The positional relationship identification unit 134 identifies the positional relationship between the object represented by each of the multiple partial point cloud data points divided by the division unit 133 and an object other than that object. The positional relationship identification unit 134 specifies the positional relationship between the object represented by the partial point cloud data and the other object as one of the following: Disjoin, Inside, Meet, CoveredBy, Overlap, or Contains.

例えば、位置関係特定部１３４は、学習部１３１が生成し、記憶部１２に記憶されている位置関係特定モデル１２２を実行し、位置関係特定モデル１２２に対し、分割部１３３により分割された複数の部分点群データを一つずつ入力し、位置関係特定モデル１２２から出力された位置関係情報を取得することにより、複数の部分点群データそれぞれに対応する物体に対応する位置関係を特定する。 For example, the positional relationship identification unit 134 executes the positional relationship identification model 122 generated by the learning unit 131 and stored in the storage unit 12. It then inputs each of the multiple partial point cloud data points divided by the division unit 133 into the positional relationship identification model 122, and acquires the positional relationship information output from the positional relationship identification model 122. By doing so, it identifies the positional relationship corresponding to the object corresponding to each of the multiple partial point cloud data points.

認識部１３５は、分割部１３３により分割された複数の部分点群データそれぞれと、当該部分点群データに対して位置関係特定部１３４が特定した位置関係とに基づいて、複数の部分点群データそれぞれに対応する物体を認識する。認識部１３５は、学習部１３１が生成し、記憶部１２に記憶されている物体認識モデル１２３に対し、分割部１３３により分割された部分点群データと、当該部分点群データに対して位置関係特定部１３４が特定した位置関係を示す位置関係情報とを入力し、物体認識モデル１２３から出力されたラベル（例えば物体名）を取得することにより、当該部分点群データに対応する物体を認識する。 The recognition unit 135 recognizes the object corresponding to each of the multiple partial point cloud data sets divided by the division unit 133, based on the positional relationship identified by the positional relationship identification unit 134 for each of the multiple partial point cloud data sets. The recognition unit 135 inputs the partial point cloud data divided by the division unit 133 and the positional relationship information indicating the positional relationship identified by the positional relationship identification unit 134 for each of the partial point cloud data sets into the object recognition model 123, which is generated by the learning unit 131 and stored in the storage unit 12. By obtaining the label (e.g., object name) output from the object recognition model 123, the recognition unit 135 recognizes the object corresponding to the partial point cloud data.

例えば、認識部１３５は、複数の部分点群データの中から一つ部分点群データを選択する。認識部１３５は、物体認識モデル１２３に対し、選択された一つの部分点群データと、当該一つの部分点群データに対して特定された位置関係を示す位置関係情報とのセットを入力することにより、物体認識モデル１２３から、当該一つの部分点群データに対応するラベルを取得する。認識部１３５は、複数の部分点群データの中から、未選択の一つの部分点群データを選択し、当該一つの部分点群データと、当該一つの部分点群データに対応する位置関係情報とのセットを物体認識モデル１２３に入力して、ラベルを取得する処理を繰り返すことにより、複数の部分点群データに対応する物体を認識する。 For example, the recognition unit 135 selects one subpoint cloud data from among multiple subpoint cloud data. The recognition unit 135 inputs a set of the selected subpoint cloud data and positional relationship information indicating the positional relationship to that subpoint cloud data to the object recognition model 123. The recognition unit 135 then obtains a label corresponding to that subpoint cloud data from the object recognition model 123. The recognition unit 135 then selects an unselected subpoint cloud data from among multiple subpoint cloud data, inputs that subpoint cloud data and its corresponding positional relationship information to the object recognition model 123, and repeats the process of obtaining a label. This process allows the recognition unit 135 to recognize objects corresponding to multiple subpoint cloud data.

なお、認識部１３５は、認識された物体の他の物体との位置関係が、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎのいずれかである場合、当該物体に対応して予め定められている三次元モデルの点群データと、当該物体の部分点群データとを比較して、当該部分点群データに対し、他の物体により取得できなかった点群を補うようにしてもよい。 Furthermore, if the positional relationship of the recognized object to other objects is one of Inside, Meet, Covered By, Overlap, or Contain, the recognition unit 135 may compare the point cloud data of a predetermined three-dimensional model corresponding to the object with the partial point cloud data of the object, and supplement the partial point cloud data with points that could not be obtained by other objects.

属性特定部１３６は、認識部１３５が認識した物体に対応する部分点群データに基づいて、物体の種類、物体の位置、物体が向いている方向、物体の形状、物体の面積、物体の体積、物体の状態の少なくともいずれかを物体の属性として特定する。例えば、属性特定部１３６は、認識部１３５が認識した物体に対応する部分点群データに基づいて物体の表面を推定し、当該物体の３次元モデルを生成する。属性特定部１３６は、生成した３次元モデルの表面の面積、体積、幾何学形状を特定するとともに、当該物体の位置、及び当該物体の正面方向が向いている方向を特定する。 The attribute identification unit 136 identifies at least one of the following attributes of the object based on the partial point cloud data corresponding to the object recognized by the recognition unit 135: the type of object, the position of the object, the direction the object is facing, the shape of the object, the area of the object, the volume of the object, and the state of the object. For example, the attribute identification unit 136 estimates the surface of the object based on the partial point cloud data corresponding to the object recognized by the recognition unit 135 and generates a three-dimensional model of the object. The attribute identification unit 136 identifies the surface area, volume, and geometric shape of the generated three-dimensional model, as well as the position of the object and the direction in which the object's front is facing.

また、記憶部１２には、予め部分点群データと、物体の種類と、物体の状態とのセットを教師データとして学習した属性特定モデルが記憶されている。属性特定部１３６は、属性特定モデルに対し、認識された物体の部分点群データを入力し、属性特定モデルから、物体の種類、物体の状態を示す情報を出力することにより、物体の種類及び物体の状態を特定する。 Furthermore, the memory unit 12 stores an attribute identification model that has been pre-trained using sets of partial point cloud data, object type, and object state as training data. The attribute identification unit 136 receives the partial point cloud data of the recognized object as input to the attribute identification model and identifies the object type and state by outputting information indicating the object type and state from the attribute identification model.

記憶制御部１３７は、属性特定部１３６が特定した物体の属性を記憶部１２に記憶させる。例えば、記憶制御部１３７は、認識部１３５が認識した物体を識別するための物体ＩＤを生成する。記憶制御部１３７は、生成した物体ＩＤと、認識部１３５が当該物体を認識した日付と、認識部１３５が取得したラベルと、属性特定部１３６が特定した物体の属性を示す属性情報とを関連付けて物体情報として記憶部１２の物体ＤＢ１２４に記憶させる。 The memory control unit 137 stores the attributes of the object identified by the attribute identification unit 136 in the memory unit 12. For example, the memory control unit 137 generates an object ID to identify the object recognized by the recognition unit 135. The memory control unit 137 associates the generated object ID, the date the recognition unit 135 recognized the object, the label acquired by the recognition unit 135, and the attribute information indicating the attributes of the object identified by the attribute identification unit 136, and stores this as object information in the object DB 124 of the memory unit 12.

［物体の状態変化の検出］
続いて、制御部１３が物体の状態の変化を検出する処理について説明する。制御部１３の点群データ取得部１３２、分割部１３３、位置関係特定部１３４、認識部１３５、及び属性特定部１３６、記憶制御部１３７、検出部１３８、及び通知部１３９は、協働することにより認識した物体の状態変化を検出し、施設のユーザ等に通知する。以下、物体の状態変化の検出に係る点群データ取得部１３２、分割部１３３、位置関係特定部１３４、認識部１３５、及び属性特定部１３６、記憶制御部１３７、検出部１３８、及び通知部１３９の機能の詳細を説明する。 [Detection of changes in the state of an object]
Next, the process by which the control unit 13 detects changes in the state of an object will be explained. The point cloud data acquisition unit 132, division unit 133, position relationship identification unit 134, recognition unit 135, attribute identification unit 136, memory control unit 137, detection unit 138, and notification unit 139 of the control unit 13 work together to detect changes in the state of the recognized object and notify the facility user, etc. The details of the functions of the point cloud data acquisition unit 132, division unit 133, position relationship identification unit 134, recognition unit 135, attribute identification unit 136, memory control unit 137, detection unit 138, and notification unit 139 related to the detection of changes in the state of an object will be explained below.

まず、点群データ取得部１３２は、複数の異なる時刻それぞれの点群データを取得する。
例えば、物体の状態の変化を毎日検出する場合、点群データ取得部１３２は、撮影装置２から映像データを毎日取得する。点群データ取得部１３２は、映像データを取得したタイミングで、当該映像データから点群データを取得する。これにより、点群データ取得部１３２は、毎日取得する映像データそれぞれに対応する点群データを取得する。 First, the point cloud data acquisition unit 132 acquires point cloud data for multiple different time points.
For example, if the system detects changes in the state of an object daily, the point cloud data acquisition unit 132 acquires video data from the imaging device 2 daily. The point cloud data acquisition unit 132 acquires point cloud data from the video data at the time the video data is acquired. In this way, the point cloud data acquisition unit 132 acquires point cloud data corresponding to each of the video data acquired daily.

続いて、分割部１３３は、点群データ取得部１３２が取得した、複数の異なる時刻それぞれの点群データを複数の部分点群データに分割する。例えば、分割部１３３は、点群データ取得部１３２が点群データを取得したことに応じて、当該点群データを分割モデル１２１に入力し、分割モデル１２１から複数の部分点群データを取得することにより、当該点群データを複数の部分点群データに分割する。 Next, the splitting unit 133 divides the point cloud data acquired by the point cloud data acquisition unit 132, each set of point cloud data at different time points, into multiple sub-point cloud data sets. For example, the splitting unit 133 inputs the point cloud data acquired by the point cloud data acquisition unit 132 into the splitting model 121, and then acquires multiple sub-point cloud data sets from the splitting model 121, thereby splitting the point cloud data into multiple sub-point cloud data sets.

続いて、位置関係特定部１３４は、複数の異なる時刻それぞれに対して分割された複数の部分点群データそれぞれに対し位置関係を特定する。例えば、位置関係特定部１３４は、分割部１３３が点群データを複数の部分点群データに分割したことに応じて、当該複数の部分点群データそれぞれを位置関係特定モデル１２２に入力し、位置関係特定モデル１２２から位置関係情報を取得することにより、位置関係を特定する。 Next, the positional relationship identification unit 134 identifies the positional relationships for each of the multiple partial point cloud data sets that have been divided for each of the multiple different time points. For example, in response to the division unit 133 dividing the point cloud data into multiple partial point cloud data sets, the positional relationship identification unit 134 inputs each of these partial point cloud data sets into the positional relationship identification model 122 and identifies the positional relationships by obtaining positional relationship information from the positional relationship identification model 122.

続いて、認識部１３５は、複数の異なる時刻に対応する複数の部分点群データそれぞれと、複数の異なる時刻に対応する当該部分点群データに対して位置関係特定部１３４が特定した位置関係とに基づいて、複数の異なる時刻に対応する複数の部分点群データそれぞれに対応する物体を特定する。例えば、認識部１３５は、位置関係特定部１３４が、複数の部分点群データそれぞれに対して位置関係を特定したことに応じて、当該部分点群データと、当該位置関係とを物体認識モデル１２３に入力し、物体認識モデル１２３から物体のラベルを取得することにより、物体を認識する。 Next, the recognition unit 135 identifies the object corresponding to each of the multiple partial point cloud data corresponding to multiple different time periods, based on each of the multiple partial point cloud data corresponding to multiple different time periods and the positional relationship identified by the positional relationship identification unit 134 for those partial point cloud data corresponding to multiple different time periods. For example, in response to the positional relationship identification unit 134 identifying the positional relationship for each of the multiple partial point cloud data, the recognition unit 135 inputs the partial point cloud data and the positional relationship into the object recognition model 123, and recognizes the object by obtaining the object's label from the object recognition model 123.

続いて、属性特定部１３６は、複数の異なる時刻に対応して認識部１３５が認識した物体の属性を特定する。例えば、属性特定部１３６は、認識部１３５が物体を認識したことに応じて、当該物体に対応する部分点群データに基づいて当該物体の属性を特定する。記憶制御部１３７は、認識された物体の物体ＩＤと、認識部１３５が当該物体を認識した日付と、認識部１３５が取得したラベルと、属性特定部１３６が特定した物体の属性を示す属性情報とを関連付けて物体情報として記憶部１２の物体ＤＢ１２４に記憶させる。これにより、複数の異なる時刻それぞれに対応する物体情報が物体ＤＢ１２４に記憶される。 Next, the attribute identification unit 136 identifies the attributes of the object recognized by the recognition unit 135 in accordance with multiple different time points. For example, in response to the recognition unit 135 recognizing an object, the attribute identification unit 136 identifies the attributes of that object based on the corresponding partial point cloud data. The storage control unit 137 associates the object ID of the recognized object, the date the recognition unit 135 recognized the object, the label acquired by the recognition unit 135, and the attribute information indicating the object's attributes identified by the attribute identification unit 136, and stores this as object information in the object DB 124 of the storage unit 12. As a result, object information corresponding to each of the multiple different time points is stored in the object DB 124.

検出部１３８は、複数の異なる時刻に対応して属性特定部１３６が特定した物体の属性に基づいて、物体の属性の変化を検出する。例えば、検出部１３８は、物体ＤＢ１２４に記憶されている複数の異なる時刻それぞれに対応する物体情報を参照し、複数の異なる時刻それぞれにおいて検出された同一の物体を特定する。例えば、検出部１３８は、物体情報が示す物体の物体名、属性情報に含まれる設置位置、形状、長さ、体積の一致率に基づいて、複数の異なる時刻それぞれにおいて検出された同一の物体を特定する。検出部１３８は、最新の時刻において検出された物体の物体情報に含まれる物体の状態が、直前の時刻において検出された物体の物体情報に含まれる物体の状態と異なる場合に、物体の属性が変化したことを検出する。 The detection unit 138 detects changes in the attributes of an object based on the attributes of the object identified by the attribute identification unit 136 for multiple different time periods. For example, the detection unit 138 refers to object information corresponding to multiple different time periods stored in the object DB 124 and identifies the same object detected at each of these different time periods. For example, the detection unit 138 identifies the same object detected at each of the multiple different time periods based on the object name indicated by the object information, and the agreement rate of the installation location, shape, length, and volume included in the attribute information. The detection unit 138 detects that the attributes of an object have changed if the state of the object included in the object information of the object detected at the most recent time period differs from the state of the object included in the object information of the object detected at the immediately preceding time period.

なお、検出部１３８は、複数の異なる時刻それぞれに対応する物体情報を参照し、新たに物体が認識されたことを検出したり、認識されていた物体が認識されなくなったりしたことを検出してもよい。 Furthermore, the detection unit 138 may refer to object information corresponding to multiple different time points and detect when a new object has been recognized or when a previously recognized object is no longer recognized.

通知部１３９は、検出部１３８が検出した物体の属性の変化を通知する。例えば、通知部１３９は、物体の属性が変化したことを検出部１３８が検出すると、当該物体に対応する最新の物体情報を、端末３に通知する。なお、通知部１３９は、新たに物体が認識されたこと又は認識されていた物体が認識されなくなったことを検出部１３８が検出した場合、当該物体の最新の物体情報を端末３に通知してもよい。 The notification unit 139 notifies the terminal 3 of changes in the attributes of an object detected by the detection unit 138. For example, when the detection unit 138 detects a change in the attributes of an object, the notification unit 139 notifies the terminal 3 of the latest object information corresponding to that object. Furthermore, if the detection unit 138 detects that a new object has been recognized or that a previously recognized object is no longer recognized, the notification unit 139 may also notify the terminal 3 of the latest object information for that object.

［動作フロー］
続いて、情報処理装置１の処理の流れについて説明する。図５は、情報処理装置１が物体の状態の変化を検出する処理の流れを示すフローチャートである。なお、図５に係る処理の前に、分割モデル１２１、位置関係特定モデル１２２、物体認識モデル１２３が生成されて記憶部１２に記憶されているとともに、過去に認識された物体の物体情報が記憶部１２に記憶されているものとする。 [Operation Flow]
Next, the processing flow of the information processing device 1 will be explained. Figure 5 is a flowchart showing the processing flow of the information processing device 1 for detecting changes in the state of an object. It should be assumed that, prior to the processing shown in Figure 5, the division model 121, the positional relationship identification model 122, and the object recognition model 123 are generated and stored in the storage unit 12, and that object information of previously recognized objects is also stored in the storage unit 12.

まず、点群データ取得部１３２は、撮影装置２から、映像データを取得すると、当該映像データに基づいて点群データを取得する（Ｓ１）。
続いて、分割部１３３は、点群データ取得部１３２が取得した点群データを複数の部分点群データに分割することにより、複数の点群データを取得する（Ｓ２）。 First, the point cloud data acquisition unit 132 acquires video data from the imaging device 2, and then acquires point cloud data based on that video data (S1).
Next, the division unit 133 acquires multiple point cloud data by dividing the point cloud data acquired by the point cloud data acquisition unit 132 into multiple partial point cloud data (S2).

続いて、位置関係特定部１３４は、分割された複数の部分点群データそれぞれに対し位置関係を特定する（Ｓ３）。
続いて、認識部１３５は、分割された複数の部分点群データと、分割された複数の部分点群データそれぞれに対して特定された位置関係とに基づいて、物体のラベルを特定することにより、物体を認識する（Ｓ４）。 Next, the positional relationship identification unit 134 identifies the positional relationship for each of the divided subpoint cloud data (S3).
Next, the recognition unit 135 recognizes an object by identifying an object label based on the divided subpoint cloud data and the positional relationship identified for each of the divided subpoint cloud data (S4).

続いて、属性特定部１３６は、認識された物体に対応する部分点群データに基づいて、物体の属性を特定する（Ｓ５）。
続いて、記憶制御部１３７は、認識された物体の物体ＩＤと、認識部１３５が当該物体を認識した日付と、認識部１３５が特定したラベルと、属性特定部１３６が特定した物体の属性を示す属性情報とを関連付けて物体情報として物体ＤＢ１２４に記憶させる（Ｓ６）。 Next, the attribute identification unit 136 identifies the attributes of the object based on the partial point cloud data corresponding to the recognized object (S5).
Next, the memory control unit 137 associates the object ID of the recognized object, the date on which the recognition unit 135 recognized the object, the label identified by the recognition unit 135, and the attribute information indicating the attributes of the object identified by the attribute identification unit 136, and stores this as object information in the object DB 124 (S6).

続いて、検出部１３８は、物体ＤＢ１２４を参照し、複数の異なる時刻に対応して属性特定部１３６が特定した物体の属性に基づいて、状態が変化した物体があるか否かを判定する（Ｓ７）。検出部１３８は、状態が変化した物体があると判定すると（Ｓ７のＹＥＳ）、状態が変化した物体に対応する最新の物体情報を端末３に通知する（Ｓ８）。検出部１３８は、状態が変化した物体がないと判定すると（Ｓ７のＮＯ）、本フローチャートに係る処理を終了する。 Next, the detection unit 138 refers to the object database 124 and determines whether or not there are any objects whose state has changed, based on the attributes of the objects identified by the attribute identification unit 136 for multiple different time points (S7). If the detection unit 138 determines that there are objects whose state has changed (YES in S7), it notifies the terminal 3 of the latest object information corresponding to the objects whose state has changed (S8). If the detection unit 138 determines that there are no objects whose state has changed (NO in S7), it terminates the process related to this flowchart.

［変形例］
上述の実施の形態において、位置関係特定部１３４は、部分点群データに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係として、Ｄｉｓｊｏｉｎ、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎのうち、いずれかの位置関係を特定したが、これに限らない。位置関係特定部１３４は、部分点群データが示す物体と、当該物体と異なる物体との位置関係として、部分点群データに対応する点群の密度を特定してもよい。 [Variations]
In the above-described embodiment, the position relationship identification unit 134 identifies, but is not limited to, one of the position relationships among Disjoin, Inside, Meet, CoveredBy, Overlap, and Contains as the position relationship between the object indicated by the partial point cloud data and an object other than that object. The position relationship identification unit 134 may also identify the density of the point cloud corresponding to the partial point cloud data as the position relationship between the object indicated by the partial point cloud data and an object other than that object.

撮影装置２からの距離が相対的に近い物体は、撮影装置２からの距離が相対的に遠い物体に比べて、画像データに含まれる物体の領域が多くなることから、特徴点が多くなる。このため、撮影装置２からの距離が相対的に近い物体に対応する部分点群データの点群の密度は、撮影装置２からの距離が相対的に遠い物体に対応する部分点群データの点群の密度よりも高くなる。したがって、情報処理装置１は、部分点群データに対応する点群の密度は、部分点群データが示す物体と、当該物体と異なる物体との位置関係を示すこととなる。 Objects that are relatively close to the imaging device 2 will have a larger area of the object included in the image data compared to objects that are relatively farther away from the imaging device 2, resulting in a larger number of feature points. Therefore, the point density of the partial point cloud data corresponding to objects relatively close to the imaging device 2 will be higher than the point density of the partial point cloud data corresponding to objects relatively farther away from the imaging device 2. Consequently, the information processing device 1 determines that the point density corresponding to the partial point cloud data indicates the positional relationship between the object represented by the partial point cloud data and other objects.

この場合、物体認識モデル１２３は、部分点群データと、当該部分点群データに対応する位置関係を示す点群の密度情報とが入力されると、認識した物体を識別するためのラベルを出力するものであってもよい。認識部１３５は、当該物体認識モデル１２３に対し、部分点群データと、密度情報とを入力し、認識した物体を識別するためのラベルを取得することにより、物体を認識してもよい。このようにすることで、認識部１３５は、位置関係として、Ｄｉｓｊｏｉｎ、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎを特定し、当該位置関係に基づいて物体を認識する場合と同様に、物体の認識精度を向上させることができる。 In this case, the object recognition model 123 may output a label for identifying the recognized object when it receives partial point cloud data and density information of the point cloud indicating the positional relationship corresponding to the partial point cloud data. The recognition unit 135 may recognize the object by inputting the partial point cloud data and density information to the object recognition model 123 and obtaining a label for identifying the recognized object. By doing so, the recognition unit 135 can identify Disjoin, Inside, Meet, CoveredBy, Overlap, and Container as positional relationships and improve the object recognition accuracy, similar to when recognizing an object based on these positional relationships.

また、位置関係を示すＤｉｓｊｏｉｎ、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎを第１位置関係情報とし、部分点群データに対応する点群の密度を示す密度情報を第２位置関係情報としてもよい。そして、物体認識モデル１２３は、部分点群データと、当該部分点群データに対応する位置関係を示す第１位置関係情報及び第２位置関係情報とが入力されると、認識した物体を識別するためのラベルを出力するものであってもよい。このような物体認識モデル１２３を用いて物体を認識することにより、物体の認識精度をさらに向上させることができる。 Furthermore, Disjoin, Inside, Meet, CoveredBy, Overlap, and Container, which indicate positional relationships, may be used as first positional relationship information, and density information indicating the density of the point cloud corresponding to the partial point cloud data may be used as second positional relationship information. The object recognition model 123 may then output a label for identifying the recognized object upon receiving partial point cloud data and the first and second positional relationship information indicating the positional relationships corresponding to the partial point cloud data. By recognizing objects using such an object recognition model 123, the accuracy of object recognition can be further improved.

また、上述の実施の形態において、情報処理装置１は、分割モデル１２１、物体認識モデル１２３を用いて、部分点群データの取得、物体の認識を行うこととしたが、これに限らない。予め分割する物体の種類、認識する物体のラベルが定められている場合、情報処理装置１は、ｋ－ｍｅａｎｓクラスタリングを用いて、部分点群データの取得、物体の認識を行うことしてもよい。 Furthermore, in the above-described embodiment, the information processing device 1 uses the division model 121 and the object recognition model 123 to acquire partial point cloud data and recognize objects, but it is not limited to this. If the types of objects to be divided and the labels of the objects to be recognized are predetermined, the information processing device 1 may use k-means clustering to acquire partial point cloud data and recognize objects.

［情報処理装置１による効果］
以上説明したように、本実施の形態に係る情報処理装置１は、複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得し、取得した点群データを複数の物体それぞれを示す点群データである部分点群データに分割する。情報処理装置１は、分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定し、分割された複数の部分点群データそれぞれと、当該部分点群データに対して特定した位置関係とに基づいて、複数の部分点群データそれぞれに対応する物体を認識する。このようにすることで、情報処理装置１は、物体の認識精度を向上させることができる。 [Effects of the Information Processing Device 1]
As described above, the information processing device 1 according to this embodiment acquires point cloud data containing multiple three-dimensional coordinates corresponding to each of multiple objects, and divides the acquired point cloud data into partial point cloud data, which are point cloud data representing each of the multiple objects. For each of the divided partial point cloud data, the information processing device 1 identifies the positional relationship between the object represented by the partial point cloud data and other objects, and recognizes the object corresponding to each of the divided partial point cloud data based on the positional relationship identified for each of the divided partial point cloud data. In this way, the information processing device 1 can improve the accuracy of object recognition.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes are possible within the scope of its gist. For example, all or part of the device can be configured by functionally or physically distributing and integrating them in any unit. Furthermore, new embodiments resulting from any combination of multiple embodiments are also included in the embodiments of the present invention. The effects of the new embodiments resulting from the combinations are combined with the effects of the original embodiments.

１情報処理装置
２撮影装置
３端末
１１通信部
１２記憶部
１３制御部
１２１分割モデル
１２２位置関係特定モデル
１２３物体認識モデル
１２４物体ＤＢ
１３１学習部
１３２点群データ取得部
１３３分割部
１３４位置関係特定部
１３５認識部
１３６属性特定部
１３７記憶制御部
１３８検出部
１３９通知部 1. Information processing device 2. Imaging device 3. Terminal 11. Communication unit 12. Storage unit 13. Control unit 121. Segmentation model 122. Positional relationship identification model 123. Object recognition model 124. Object DB
131 Learning Unit 132 Point Cloud Data Acquisition Unit 133 Segmentation Unit 134 Positional Relationship Identification Unit 135 Recognition Unit 136 Attribute Identification Unit 137 Memory Control Unit 138 Detection Unit 139 Notification Unit

Claims

An acquisition unit that acquires point cloud data containing multiple three-dimensional coordinates corresponding to multiple objects,
A division unit divides the point cloud data acquired by the acquisition unit into partial point cloud data, which are point cloud data representing each of multiple objects, based on the point cloud data acquired by the acquisition unit.
For each of the multiple partial point cloud data divided by the division unit, a positional relationship identification unit identifies the positional relationship between the object represented by the partial point cloud data and an object different from that object.
A recognition unit recognizes an object corresponding to each of the multiple partial point cloud data, based on each of the multiple partial point cloud data divided by the division unit and the positional relationship identified by the positional relationship identification unit for the said partial point cloud data.
An information processing device having

The position relationship identification unit identifies the position relationship corresponding to the object corresponding to the partial point cloud data by inputting the partial point cloud data divided by the division unit into a position relationship identification model that outputs position relationship information indicating the position relationship when the partial point cloud data is input, and by acquiring the position relationship information output from the position relationship identification model.
The information processing apparatus according to claim 1.

The system further includes a learning unit that generates the positional relationship identification model by learning partial point cloud data corresponding to objects whose positional relationships have been identified and positional relationship information indicating said positional relationships as training data.
The position relationship identification unit inputs the partial point cloud data divided by the division unit into the position relationship identification model generated by the learning unit, and acquires the position relationship information output from the position relationship identification model, thereby identifying the position relationship corresponding to the object indicated by the partial point cloud data.
The information processing apparatus according to claim 2.

When the recognition unit receives the partial point cloud data and positional relationship information indicating the positional relationship as input, it receives the partial point cloud data divided by the division unit and the positional relationship information indicating the positional relationship identified by the positional relationship identification unit for the partial point cloud data as input to an object recognition model that outputs a label for identifying the recognized object, and acquires the label output from the object recognition model to recognize the object corresponding to the partial point cloud data.
The information processing apparatus according to claim 1.

The system further includes a learning unit that generates the object recognition model by learning the partial point cloud data corresponding to a previously recognized object, the positional relationship corresponding to the object, and the label corresponding to the object as training data.
The recognition unit inputs the partial point cloud data divided by the division unit and the positional relationship information indicating the positional relationship identified by the positional relationship identification unit for the partial point cloud data into the object recognition model generated by the learning unit, and recognizes the object corresponding to the partial point cloud data by obtaining the label output from the object recognition model.
The information processing apparatus according to claim 4.

The system further includes a learning unit that generates a segmented model that outputs multiple subpoint cloud data in response to point cloud data input, by learning from point cloud data corresponding to multiple pre-recognized objects and multiple subpoint cloud data corresponding to each of those objects as training data.
The division unit inputs the point cloud data acquired by the acquisition unit to the division model generated by the learning unit, and acquires one or more partial point cloud data from the division model, thereby dividing the point cloud data into multiple partial point cloud data.
The information processing apparatus according to claim 1.

The positional relationship identification unit identifies the positional relationship as one of the following: a positional relationship in which the object does not overlap with the other object; a positional relationship in which at least a part of the object is concealed by the other object being adjacent to the object; a positional relationship in which the other object overlaps the top of the object; a positional relationship in which a part of the object is covered by the other object; or a positional relationship in which the object contains the other object.
The information processing apparatus according to claim 1.

The positional relationship identification unit identifies the density of the point cloud corresponding to the partial point cloud data as the positional relationship.
The information processing apparatus according to claim 1.

An attribute identification unit identifies at least one of the following as attributes of the object based on the partial point cloud data corresponding to the object recognized by the recognition unit: the type of the object, the position of the object, the direction the object is facing, the shape of the object, the area of the object, the volume of the object, and the state of the object.
A storage control unit that causes the attribute identification unit to store the attributes of the object identified by the attribute identification unit in a storage unit,
It further possesses,
The information processing apparatus according to claim 1.

The acquisition unit acquires the point cloud data for each of several different time points,
The division unit divides the point cloud data acquired by the acquisition unit for each of the multiple different time points into multiple partial point cloud data.
The positional relationship identification unit identifies the positional relationship for each of the multiple partial point cloud data divided for each of the multiple different time points,
The recognition unit recognizes an object corresponding to each of the multiple partial point cloud data corresponding to each of the multiple partial point cloud data corresponding to each of the multiple different time periods, based on each of the multiple partial point cloud data corresponding to each of the multiple different time periods and the positional relationship identified by the positional relationship identification unit for the said partial point cloud data corresponding to each of the multiple different time periods.
The attribute identification unit identifies the attributes of the object recognized by the recognition unit in accordance with the plurality of different time periods,
A detection unit detects changes in the attributes of the object based on the attributes of the object identified by the attribute identification unit in response to the aforementioned multiple different time periods,
A notification unit that notifies of changes in the attributes of the object detected by the detection unit,
It further possesses,
The information processing apparatus according to claim 9.

A computer executes
The steps include obtaining point cloud data containing multiple three-dimensional coordinates corresponding to each of multiple objects,
Based on the acquired point cloud data, the step of dividing the point cloud data into partial point cloud data, which are point cloud data representing each of multiple objects,
For each of the divided sub-point cloud data, the step is to identify the positional relationship between the object represented by the sub-point cloud data and other objects,
A step of recognizing an object corresponding to each of the multiple divided partial point cloud data based on each of the multiple divided partial point cloud data and the positional relationship identified with respect to the partial point cloud data,
An information processing method having

Computers,
An acquisition unit that acquires point cloud data containing multiple three-dimensional coordinates corresponding to each of multiple objects.
A division unit divides the point cloud data acquired by the acquisition unit into partial point cloud data, which are point cloud data representing each of multiple objects.
For each of the multiple partial point cloud data divided by the division unit, a positional relationship identification unit identifies the positional relationship between the object indicated by the partial point cloud data and an object different from that object, and
A recognition unit recognizes an object corresponding to each of the multiple partial point cloud data, based on each of the multiple partial point cloud data divided by the division unit and the positional relationship identified by the positional relationship identification unit for each of the partial point cloud data.
A program that makes it function as such.