JP7835491B2

JP7835491B2 - Information processing device, information processing method, and program

Info

Publication number: JP7835491B2
Application number: JP2025503955A
Authority: JP
Inventors: 喜宏山下
Original assignee: NEC Solution Innovators Ltd
Current assignee: NEC Solution Innovators Ltd
Priority date: 2023-03-02
Filing date: 2024-02-28
Publication date: 2026-03-25
Anticipated expiration: 2044-02-28
Also published as: WO2024181473A1; JPWO2024181473A1

Description

本開示は、動画データを処理するための情報処理装置及び情報処理方法に関し、更にはこれらを実現するためのプログラムに関する。 This disclosure relates to an information processing device and an information processing method for processing video data, and further to a program for implementing these.

従来から、対象を異なる角度から撮影して得られた複数枚の静止画像から、画像間で対応する特徴点の組を抽出し、抽出した特徴点の組を用いて、対象の３次元点群データを作成する技術が提案されている。また、複数枚の静止画像の代わりに、動画を用いて対象の３次元点群データを生成する技術も提案されている。Conventionally, techniques have been proposed to extract corresponding pairs of feature points from multiple still images obtained by photographing an object from different angles, and then use these extracted pairs of feature points to create 3D point cloud data of the object. Furthermore, techniques have also been proposed to generate 3D point cloud data of an object using video instead of multiple still images.

後者の動画を用いる技術では、前者の静止画を用いる技術のように、何度も撮影を行う必要がなく、対象の全体を動画撮影するだけでよい。このため、後者の動画を用いる技術は、プラント、橋梁といった、大型且つ複雑な形状の構造物の３次元点群データを生成する場合に有用である。Unlike the former technique which uses still images, the latter method using video does not require multiple shots; it only requires video recording of the entire object. For this reason, the latter method using video is useful when generating 3D point cloud data of large and complex structures such as plants and bridges.

ところで、動画から３次元点群データを生成する際は、移動しながら動画撮影が行われることから、撮影位置はフレーム毎に変化する。従って、フレーム間で対応する特徴点の組を抽出するためには、フレーム毎に撮影位置を特定することが必要となる。Incidentally, when generating 3D point cloud data from video, the shooting position changes from frame to frame because the video is shot while moving. Therefore, in order to extract corresponding pairs of feature points between frames, it is necessary to specify the shooting position for each frame.

例えば、特許文献１は、動画撮影を行う移動体の位置を特定する装置を開示している。特許文献１に開示された装置は、カメラを搭載した移動体の位置をＧＰＳ（Global Positioning System）受信機によって測位し、そして、各フレームの撮影時刻と測位時刻とを
比較し、比較結果に基づいて、フレーム毎の位置を特定する。 For example, Patent Document 1 discloses a device for determining the position of a moving object that is shooting video. The device disclosed in Patent Document 1 determines the position of a moving object equipped with a camera using a GPS (Global Positioning System) receiver, compares the shooting time and positioning time of each frame, and determines the position for each frame based on the comparison result.

特開２００６－２５０９１７号公報Japanese Patent Publication No. 2006-250917

しかしながら、上記特許文献１に開示された装置では、一般的なＧＰＳ測位によって移動体の位置が特定されているため、特定された位置の精度が低いという問題がある。以下に具体的に説明する。However, the device disclosed in Patent Document 1 has a problem in that the accuracy of the determined position is low because the position of the moving object is determined by general GPS positioning. This will be explained in detail below.

まず、一般的なＧＰＳ測位では、ＧＰＳ受信機が単体で、３つの測位衛星からの電波を受信する。そして、受信された電波には測位衛星によって発信時刻が付加されているので、ＧＰＳ受信機は、測位衛星毎に、ＧＰＳ受信機自体が電波を受信した時刻である受信時刻と発信時刻との差分を求め、差分に基づいて、測位衛星までの距離を算出する。その後、ＧＰＳ受信機は、各測位衛星の位置と各測位衛星までの距離とから、自身の位置を算出する。First, in typical GPS positioning, a GPS receiver receives radio waves from three positioning satellites. The received radio waves have the transmission time added by the positioning satellites. The GPS receiver then calculates the difference between the reception time (when the GPS receiver itself received the radio waves) and the transmission time for each positioning satellite, and uses this difference to calculate the distance to the positioning satellite. After that, the GPS receiver calculates its own position from the position of each positioning satellite and the distance to each positioning satellite.

このとき、ＧＰＳ受信機における時刻測定の精度は、測位衛星からの電波に付加されている時刻の精度に比べて低く、受信時刻には誤差が生じている。また、ＧＰＳ受信機が、障害物で反射された電波を受信している場合は、このことによっても、受信時刻に誤差が生じてしまう。このような状況では、ＧＰＳ受信機が算出した各測位衛星までの距離にも誤差が生じてしまうため、結果的に、上記特許文献１に開示された装置には、特定された位置の精度が低いという問題が発生する。In this case, the accuracy of time measurement in the GPS receiver is lower than the accuracy of the time added to the radio waves from the positioning satellites, resulting in an error in the reception time. Furthermore, if the GPS receiver receives radio waves reflected by obstacles, this also causes an error in the reception time. In such situations, errors also occur in the distance to each positioning satellite calculated by the GPS receiver, and as a result, the device disclosed in Patent Document 1 suffers from the problem of low accuracy in determining the specified location.

本開示の目的の一例は、動画データに撮影位置の位置情報を付加する場合において位置情報の精度を向上させることにある。One example of the purpose of this disclosure is to improve the accuracy of location information when adding location information of the shooting location to video data.

上記目的を達成するため、本開示の一側面における情報処理装置は、
動画データを撮影する移動体が複数の測位衛星から受信した測位用データを用いて、時系列に沿って、前記移動体の位置を算出し、更に、算出された前記位置を時系列の順につないで前記移動体の軌跡を生成する、第１の軌跡生成部と、
前記動画データを構成するフレームそれぞれ毎に、特徴点を抽出する、特徴点抽出部と、
前記フレーム間で対応する特徴点の組を特定し、組として特定された前記特徴点の３次元座標を算出し、算出結果を用いて、組として特定された前記特徴点の集合で構成された環境地図を生成する、環境地図生成部と、
前記環境地図を用いて、前記フレームの軌跡を生成する、第２の軌跡生成部と、
前記第１の軌跡生成部によって生成された、前記移動体の軌跡と、前記第２の軌跡生成部によって生成された、前記フレームの軌跡と、を重ね合わせ、それによって、前記フレーム毎に、当該フレームの撮影位置に該当する位置を特定する、撮影位置特定部と、
前記フレーム毎に、当該フレームに、特定された前記位置を示す情報を付加する、位置情報付加部と、
を備えている、ことを特徴とする。 To achieve the above objective, the information processing device in one aspect of this disclosure is:
A first trajectory generation unit calculates the position of a moving object that captures video data using positioning data received from multiple positioning satellites, in a time-series order, and further generates the trajectory of the moving object by connecting the calculated positions in chronological order.
A feature point extraction unit extracts feature points from each frame that makes up the aforementioned video data,
An environment map generation unit identifies corresponding sets of feature points between the aforementioned frames, calculates the three-dimensional coordinates of the identified set of feature points, and uses the calculation results to generate an environment map composed of the set of identified feature points.
A second trajectory generation unit generates the trajectory of the frame using the aforementioned environmental map,
A shooting position identification unit superimposes the trajectory of the moving object generated by the first trajectory generation unit and the trajectory of the frame generated by the second trajectory generation unit, thereby identifying the position corresponding to the shooting position of each frame.
A position information adding unit adds information indicating the specified position to each frame,
It is characterized by having the following features.

また、上記目的を達成するため、本開示の一側面における情報処理方法は、
動画データを撮影する移動体が複数の測位衛星から受信した測位用データを用いて、時系列に沿って、前記移動体の位置を算出し、更に、算出された前記位置を時系列の順につないで前記移動体の軌跡を生成する、第１の軌跡生成ステップと、
前記動画データを構成するフレームそれぞれ毎に、特徴点を抽出する、特徴点抽出ステップと、
前記フレーム間で対応する特徴点の組を特定し、組として特定された前記特徴点の３次元座標を算出し、算出結果を用いて、組として特定された前記特徴点の集合で構成された環境地図を生成する、環境地図生成ステップと、
前記環境地図を用いて、前記フレームの軌跡を生成する、第２の軌跡生成ステップと、
前記第１の軌跡生成ステップによって生成された、前記移動体の軌跡と、前記第２の軌跡生成ステップによって生成された、前記フレームの軌跡と、を重ね合わせ、それによって、前記フレーム毎に、当該フレームの撮影位置に該当する位置を特定する、撮影位置特定ステップと、
前記フレーム毎に、当該フレームに、特定された前記位置を示す情報を付加する、位置情報付加ステップと、
を有する、ことを特徴とする。 Furthermore, in order to achieve the above objectives, the information processing method in one aspect of this disclosure is:
A first trajectory generation step involves a moving object capturing video data using positioning data received from multiple positioning satellites to calculate the position of the moving object in chronological order, and then connecting the calculated positions in chronological order to generate the trajectory of the moving object.
A feature point extraction step is performed to extract feature points for each frame that makes up the aforementioned video data.
An environment map generation step involves identifying corresponding pairs of feature points between the aforementioned frames, calculating the three-dimensional coordinates of the identified pair of feature points, and using the calculation results to generate an environment map composed of the set of identified pair of feature points.
A second trajectory generation step involves generating the trajectory of the frame using the aforementioned environment map,
A shooting position identification step involves superimposing the trajectory of the moving object generated by the first trajectory generation step and the trajectory of the frame generated by the second trajectory generation step, thereby identifying the position corresponding to the shooting position of each frame.
For each frame, a position information addition step is performed, in which information indicating the specified position is added to the frame.
It is characterized by having the following:

更に、上記目的を達成するため、本開示の一側面におけるプログラムは、
コンピュータに、
動画データを撮影する移動体が複数の測位衛星から受信した測位用データを用いて、時系列に沿って、前記移動体の位置を算出し、更に、算出された前記位置を時系列の順につないで前記移動体の軌跡を生成する、第１の軌跡生成ステップと、
前記動画データを構成するフレームそれぞれ毎に、特徴点を抽出する、特徴点抽出ステップと、
前記フレーム間で対応する特徴点の組を特定し、組として特定された前記特徴点の３次元座標を算出し、算出結果を用いて、組として特定された前記特徴点の集合で構成された環境地図を生成する、環境地図生成ステップと、
前記環境地図を用いて、前記フレームの軌跡を生成する、第２の軌跡生成ステップと、
前記第１の軌跡生成ステップによって生成された、前記移動体の軌跡と、前記第２の軌跡生成ステップによって生成された、前記フレームの軌跡と、を重ね合わせ、それによって、前記フレーム毎に、当該フレームの撮影位置に該当する位置を特定する、撮影位置特定ステップと、
前記フレーム毎に、当該フレームに、特定された前記位置を示す情報を付加する、位置情報付加ステップと、
を実行させる、ことを特徴とする。 Furthermore, in order to achieve the above objectives, the program in one aspect of this disclosure is
On the computer,
A first trajectory generation step involves a moving object capturing video data using positioning data received from multiple positioning satellites to calculate the position of the moving object in chronological order, and then connecting the calculated positions in chronological order to generate the trajectory of the moving object.
A feature point extraction step is performed to extract feature points for each frame that makes up the aforementioned video data.
An environment map generation step involves identifying corresponding pairs of feature points between the aforementioned frames, calculating the three-dimensional coordinates of the identified pair of feature points, and using the calculation results to generate an environment map composed of the set of identified pair of feature points.
A second trajectory generation step involves generating the trajectory of the frame using the aforementioned environment map,
A shooting position identification step involves superimposing the trajectory of the moving object generated by the first trajectory generation step and the trajectory of the frame generated by the second trajectory generation step, thereby identifying the position corresponding to the shooting position of each frame.
For each frame, a position information addition step is performed, in which information indicating the specified position is added to the frame.
It is characterized by causing the execution of [the specified action].

以上のように本開示によれば、動画データに撮影位置の位置情報を付加する場合において位置情報の精度を向上させることができる。As described above, this disclosure makes it possible to improve the accuracy of location information when adding location information of the shooting location to video data.

図１は、情報処理装置の一例の概略構成を示す構成図である。Figure 1 is a schematic diagram showing an example of an information processing device. 図２は、情報処理装置の一例及びその周辺の装置を示す構成図である。Figure 2 is a configuration diagram showing an example of an information processing device and its surrounding equipment. 図３は、移動体の軌跡の生成処理の一例を示す図である。Figure 3 shows an example of the process for generating the trajectory of a moving object. 図４は、軌跡の重ね合わせ処理の一例を示す図である。Figure 4 shows an example of the process of overlaying trajectories. 図５は、位置情報の付加処理の一例を示す図である。Figure 5 shows an example of the process for adding location information. 図６は、情報処理装置の動作の一例を示すフロー図である。Figure 6 is a flowchart illustrating an example of the operation of an information processing device. 図７は、情報処理装置を実現するコンピュータの一例を示すブロック図である。Figure 7 is a block diagram showing an example of a computer that implements an information processing device.

（実施の形態）
以下、実施の形態における情報処理装置、情報処理方法、及びプログラムについて、図１～図７を参照しながら説明する。(Embodiment)
The information processing apparatus, information processing method, and program in the embodiment will be described below with reference to Figures 1 to 7.

［装置構成］
最初に、情報処理装置の一例の概略構成について図１を用いて説明する。図１は、情報処理装置の一例の概略構成を示す構成図である。[Device configuration]
First, we will explain the schematic configuration of an example of an information processing device using Figure 1. Figure 1 is a configuration diagram showing the schematic configuration of an example of an information processing device.

図１に示す、情報処理装置１０は、動画データからの３次元点群データの生成を支援するためのデータ生成支援装置である。図１に示すように、情報処理装置１０は、第１の軌跡生成部１１と、特徴点抽出部１２と、環境地図生成部１３と、第２の軌跡生成部１４と、撮影位置特定部１５と、位置情報付加部１６とを備えている。As shown in Figure 1, the information processing device 10 is a data generation support device for assisting in the generation of 3D point cloud data from video data. As shown in Figure 1, the information processing device 10 includes a first trajectory generation unit 11, a feature point extraction unit 12, an environment map generation unit 13, a second trajectory generation unit 14, a shooting location identification unit 15, and a location information addition unit 16.

第１の軌跡生成部１１は、まず、動画データを撮影する移動体が複数の測位衛星から受信した測位用データ（以下「第１の測位用データ」とも表記する。）を用いて、時系列に沿って、移動体の位置を算出する。次いで、第１の軌跡生成部１１は、算出された位置を時系列の順につないで移動体の軌跡を生成する。First, the first trajectory generation unit 11 calculates the position of the moving object, which is capturing video data, in chronological order using positioning data (hereinafter also referred to as "first positioning data") received from multiple positioning satellites. Next, the first trajectory generation unit 11 generates the trajectory of the moving object by connecting the calculated positions in chronological order.

特徴点抽出部１２は、移動体が撮影した動画データを構成するフレームそれぞれ毎に、画像データから特徴点を抽出する。The feature point extraction unit 12 extracts feature points from image data for each frame that makes up the video data captured by the moving object.

環境地図生成部１３は、フレーム間で対応する特徴点の組を特定し、組として特定された特徴点の３次元座標を算出する。更に、環境地図生成部１３は、算出結果を用いて、組として特定された特徴点の集合で構成された環境地図を生成する。The environment map generation unit 13 identifies corresponding pairs of feature points between frames and calculates the three-dimensional coordinates of the identified feature points. Furthermore, the environment map generation unit 13 uses the calculation results to generate an environment map composed of the set of identified feature points.

第２の軌跡生成部１４は、環境地図生成部１３が生成たした環境地図を用いて、フレームの軌跡を生成する。The second trajectory generation unit 14 generates the frame trajectory using the environment map generated by the environment map generation unit 13.

撮影位置特定部１５は、第１の軌跡生成部１１によって生成された、移動体の軌跡と、第２の軌跡生成部１４によって生成された、フレームの軌跡と、を重ね合わせる。そして、撮影位置特定部１５は、この重ね合わせによって、フレーム毎に、各フレームの撮影位置に該当する位置を特定する。The shooting position identification unit 15 superimposes the trajectory of the moving object, generated by the first trajectory generation unit 11, and the trajectory of the frame, generated by the second trajectory generation unit 14. Then, by superimposing these trajectories, the shooting position identification unit 15 identifies the position corresponding to the shooting position of each frame.

位置情報付加部１６は、フレーム毎に、各フレームに、撮影位置特定部１５が特定した位置を示す情報（以下「位置情報」と表記する。）を付加する。The location information addition unit 16 adds location information (hereinafter referred to as "location information") to each frame, indicating the location identified by the shooting location identification unit 15.

このように、実施の形態では、情報処理装置１０は、環境地図から得られたフレームの軌跡と、測位衛星からの測位用データから求めた移動体の軌跡とを、マッチングすることによって、フレーム単位での位置を特定する。このため、動画データに撮影位置の位置情報を付加する場合において位置情報の精度を向上させることができる。In this embodiment, the information processing device 10 determines the position on a frame-by-frame basis by matching the frame trajectory obtained from the environmental map with the trajectory of the moving object obtained from positioning data from positioning satellites. Therefore, the accuracy of the position information can be improved when adding position information of the shooting location to video data.

続いて、図２～図５を用いて、情報処理装置の一例の構成及び機能について具体的に説明する。図２は、情報処理装置の一例及びその周辺の装置を示す構成図である。Next, we will specifically explain the configuration and functions of an example of an information processing device using Figures 2 to 5. Figure 2 is a configuration diagram showing an example of an information processing device and its surrounding equipment.

図２に示すように、実施の形態では、動画データを撮影する移動体は、カメラを搭載した無人航空機２０である。以下においては、移動体２０とも表記する。無人航空機２０は、ＧＮＳＳ（Global Navigation Satellite System）受信機を搭載しており、測位衛星４０それぞれから測位用データ（第１の測位用データ）を受信する。無人航空機２０によって撮影された動画データは、移動体データベース２１に格納される。また、無人航空機２０のＧＮＳＳ受信機によって受信された第１の測位用データも、移動体データベース２１に格納される。As shown in Figure 2, in this embodiment, the mobile object that captures the video data is an unmanned aerial vehicle (UAV) 20 equipped with a camera. Hereafter, it will also be referred to as the mobile object 20. The UAV 20 is equipped with a GNSS (Global Navigation Satellite System) receiver and receives positioning data (first positioning data) from each of the positioning satellites 40. The video data captured by the UAV 20 is stored in the mobile object database 21. The first positioning data received by the GNSS receiver of the UAV 20 is also stored in the mobile object database 21.

基地局３０は、固定点に設置されている。基地局３０も、ＧＮＳＳ受信機を備えており、ＧＮＳＳ受信機によって、測位衛星４０それぞれから、測位用データ（第２の測位用データ）を受信する。基地局３０によって受信された第２の測位用データは、基地局データベース３１に格納される。また、基地局３０は、測位衛星それぞれから、時刻毎の測位衛星の位置を示す衛星軌道データも受信する。基地局データベース３１は、衛星軌道データも格納する。Base station 30 is installed at a fixed point. Base station 30 is also equipped with a GNSS receiver, which receives positioning data (second positioning data) from each of the positioning satellites 40. The second positioning data received by base station 30 is stored in base station database 31. Base station 30 also receives satellite orbit data from each of the positioning satellites, which indicates the position of the positioning satellite at each time point. Base station database 31 also stores the satellite orbit data.

また、各測位衛星４０は一定周波数で測位用データを送信しており、第１の測位用データ及び第２の測位用データは、設定間隔をおいて受信される。よって、移動体データベース２１は、測位衛星毎の第１の測位用データを時系列に沿って蓄積する。基地局データベース３１は、測位衛星毎の第２の測位用データ（搬送波位相データ及び航路データ）と衛星軌道データとを時系列に沿って蓄積する。Furthermore, each positioning satellite 40 transmits positioning data at a fixed frequency, and the first and second positioning data are received at set intervals. Therefore, the mobile database 21 stores the first positioning data for each positioning satellite in chronological order. The base station database 31 stores the second positioning data (carrier phase data and route data) and satellite orbit data for each positioning satellite in chronological order.

第１の軌跡生成部１１は、実施の形態では、第１の測位用データに加えて、更に、基地局３０が各測位衛星４０から受信した第２の測位用データを用いる。そして、第１の軌跡生成部１１は、測位衛星４０毎の第１の測位用データと第２の測位用データとの相対関係、及び基地局３０が設置されている固定点の位置に基づいて、時系列に沿って、無人航空機２０の位置を算出する。In this embodiment, the first trajectory generation unit 11 uses, in addition to the first positioning data, second positioning data received by the base station 30 from each positioning satellite 40. The first trajectory generation unit 11 then calculates the position of the unmanned aerial vehicle 20 in chronological order based on the relative relationship between the first positioning data and the second positioning data for each positioning satellite 40, and the position of the fixed point where the base station 30 is installed.

より詳細には、第１の軌跡生成部１１は、まず、移動体データベース２１から、蓄積されている第１の測位用データを取得する。また、第１の軌跡生成部１１は、基地局データベース３１から、蓄積されている第２の測位用データ及び衛星軌道データを取得する。More specifically, the first trajectory generation unit 11 first acquires the stored first positioning data from the mobile database 21. The first trajectory generation unit 11 also acquires the stored second positioning data and satellite orbit data from the base station database 31.

また、第１の軌跡生成部１１は、第１の測位用データの搬送波位相を含む第１の観測データと、第２の測位用データの搬送波位相を含む第２の観測データとを生成する。第１の観測データ及び第２の観測データは、それぞれ、ＧＮＳＳ受信機から測位衛星４０までの疑似距離及び搬送波位相を含むデータである。そして、第１の軌跡生成部１１は、第１の観測データ、第２の観測データ及び衛星軌道データを用いて、時系列に沿って、測位衛星毎の第１の測位用データと第２の測位用データとの相対関係を求める。更に、第１の軌跡生成部１１は、求めた相対関係、及び固定点の位置に基づいて、時系列に沿って、無人航空機２０の位置を算出する。Furthermore, the first trajectory generation unit 11 generates first observation data including the carrier phase of the first positioning data, and second observation data including the carrier phase of the second positioning data. The first and second observation data are data that includes the pseudo-distance from the GNSS receiver to the positioning satellite 40 and the carrier phase, respectively. The first trajectory generation unit 11 then uses the first observation data, the second observation data, and the satellite orbit data to determine the relative relationship between the first positioning data and the second positioning data for each positioning satellite in a time series. Furthermore, the first trajectory generation unit 11 calculates the position of the unmanned aerial vehicle 20 in a time series based on the determined relative relationship and the position of the fixed point.

ここで、第１の軌跡生成部１１による無人航空機２０の位置算出処理について以下に具体的に詳細に説明する。また、以下の説明では、下記の文献を適宜参照する。
文献：高須知二（東京海洋大学）著、「A.4 RTK-GPS及びネットワーク型RTK-GPS 測位
技術」＜https://gpspp.sakura.ne.jp/paper2005/gpssymp_2007a.pdf＞ Here, the position calculation process of the unmanned aerial vehicle 20 by the first trajectory generation unit 11 will be described in detail below. Furthermore, the following references will be made as appropriate in the following explanation.
Reference: Tomoji Takasu (Tokyo University of Marine Science and Technology), "A.4 RTK-GPS and Network-Type RTK-GPS Positioning Technology"<https://gpspp.sakura.ne.jp/paper2005/gpssymp_2007a.pdf>

まず、上述したように、観測データは、擬似距離及び搬送波位相を含むデータである。ここで、上記文献に示されるように、擬似距離は、測位コード（ＲＰＮコード）により計測された信号伝搬時間に光速を掛けたものと定義される。First, as mentioned above, the observational data includes pseudodistance and carrier phase. Here, as shown in the above-mentioned literature, pseudodistance is defined as the signal propagation time measured by the positioning code (RPN code) multiplied by the speed of light.

搬送波位相は、受信搬送波の位相とＧＮＳＳ受信機の基準発振器の位相との間の差から求められる。搬送波位相によれば、測位衛星から受信した電波が、測位衛星から発信されたときの位相から何波数で届いているかが分かるため、その波数に波長を掛けることで、測位衛星４０からの距離が算出される。The carrier phase is determined from the difference between the phase of the received carrier wave and the phase of the reference oscillator in the GNSS receiver. The carrier phase allows us to determine the wavenumber at which the radio waves received from the positioning satellite arrived, based on the phase at which they were transmitted. By multiplying this wavenumber by the wavelength, the distance from the positioning satellite 40 can be calculated.

ＧＮＳＳ受信機ｒで受信した測位衛星ｓの疑似距離（観測値）Ｐ及び搬送波位相（観測値）φは、下記の数１に示す観測方程式で表される。下記の数１において、ρは測位衛星－受信機間の幾何学距離［ｍ］、ｃは光速［ｍ／ｓ］である。幾何学距離ρは、衛星軌道データから求められる。ｄｔはＧＮＳＳ受信機の時間誤差［ｓ］であり、ｄＴは測位衛星の時計誤差［ｓ］である。Ｉは電離層遅延［ｍ］)、Ｔは対流圏遅延［ｍ］、λは搬送波
波長「ｍ」、εは観測誤差「ｍ」、Ｎは搬送波位相バイアス［サイクル数］である。 The pseudo-distance (observed value) P and carrier phase (observed value) φ of the positioning satellite s received by the GNSS receiver r are expressed by the observation equation shown in Equation 1 below. In Equation 1 below, ρ is the geometric distance between the positioning satellite and the receiver [m], and c is the speed of light [m/s]. The geometric distance ρ is obtained from satellite orbit data. dt is the time error of the GNSS receiver [s], and dT is the clock error of the positioning satellite [s]. I is the ionospheric delay [m], T is the tropospheric delay [m], λ is the carrier wavelength "m", ε is the observation error "m", and N is the carrier phase bias [number of cycles].

また、上記数１における相対測位の観測方程式において、搬送波位相の二重差（二重位相差）が求められると、搬送波位相バイアスＮは、初期位相項が消去されて整数となる。以下、搬送波位相バイアスＮは、特に「整数アンビギュアスＮ」とも表記される。Furthermore, in the observation equation for relative positioning in Equation 1 above, once the double difference of the carrier phase (double phase difference) is determined, the carrier phase bias N becomes an integer as the initial phase term is eliminated. Hereafter, the carrier phase bias N will also be referred to as "integer ambiguous N".

ここで、二つのＧＮＳＳ受信機ｕ（基地局３０）及びＧＮＳＳ受信機ｒ（無人航空機２０）において、略同時に測定した測位衛星ａ及びbの搬送波位相をφ_ｕ ^ａ、φ_ｕ ^ｂ、φ_ｒ
^ａ、φ_ｒ ^ｂとし、疑似距離をｐ_ｕ ^ａ、ｐ_ｕ ^ｂ、ｐ_ｒ ^ａ、ｐ_ｒ ^ｂとする。ここで、上付文字は測位衛星４０を示し、下付文字はＧＮＮ受信機（観測点）を示すものとする。搬送波位相二重差φ_ｕｒ ^ａｂ及び疑似距離二重差ｐ_ｕｒ ^ａｂは、以下の数２によって定義される。 Here, the carrier phases of positioning satellites a and b, measured almost simultaneously by two GNSS receivers u (base station 30) and r (unmanned aerial vehicle 20), are given by _φu ^a , _φu ^b , and φr _.
Let ^a and φ _r ^b be pseudo-distances, and p _u ^a , p _u ^b , p _r ^a , p _r ^b . Here, the superscript indicates the positioning satellite 40, and the subscript indicates the GNN receiver (observation point). The carrier phase double difference φ _ur ^ab and the pseudo-distance double difference p _ur ^ab are defined by the following equation 2.

また、上記数２は、下記数３のように変形できる。Furthermore, the above number 2 can be transformed into the following number 3.

ここで、搬送波位相二重差φ_ｕｒ ^ａｂ及び疑似距離二重差ｐ_ｕｒ ^ａｂは、上記数１の表記を使うと下記数４に示す通りとなる。 Here, the carrier phase double difference φ _ur ^ab and the pseudo-distance double difference p _ur ^ab are as shown in Equation 4 below, using the notation in Equation 1 above.

また、各ＧＮＳＳ受信機において、各測位衛星４０の測位用データは同時に受信されることを考慮すると下記数５に示す関係が成立する。Furthermore, considering that positioning data from each positioning satellite 40 is received simultaneously by each GNSS receiver, the relationship shown in Equation 5 below holds true.

更に、各測位衛星４０において、測位用データの送信時刻は略同時であり、更に、短時間内での測位衛星時計は十分安定である、ことを考慮すると、下記数６も成立する。Furthermore, considering that the transmission times of positioning data are approximately simultaneous for each positioning satellite 40, and that the positioning satellite clocks are sufficiently stable within a short period of time, the following equation 6 also holds true.

上記数４に、上記数５及び数６を適用することで、搬送波位相及び疑似距離二重差の観測方程式は下記数７に示す通りとなる。下記数７では、搬送波位相二重差から、測位衛星時計誤差及び受信機時計誤差の項は消去される。By applying equations 5 and 6 above to equation 4 above, the observation equations for carrier phase and pseudo-distance double difference are as shown in equation 7 below. In equation 7 below, the terms for positioning satellite clock error and receiver clock error are eliminated from the carrier phase double difference.

ここで、ＧＮＳＳ受信機ｕ（基地局３０）とＧＮＳＳ受信機ｒ（無人航空機２０）との距離（基線長ｕ－ｒ間）が十分近い場合を考える。十分近い二つの地点で同一時刻に同一の測位衛星４０からの測位用データを受信した場合、測位信号（測位用データの信号）の大気中の伝搬経路、各地点での電離層、及び各地点の対流圏遅延は、略同一となる。このため、下記数８に示す近似が可能となる。Here, we consider the case where the distance (baseline length u-r) between the GNSS receiver u (base station 30) and the GNSS receiver r (unmanned aerial vehicle 20) is sufficiently close. When positioning data from the same positioning satellite 40 is received at the same time at two sufficiently close locations, the atmospheric propagation path of the positioning signal (signal of positioning data), the ionosphere at each location, and the tropospheric delay at each location will be approximately the same. For this reason, the approximation shown in Equation 8 below becomes possible.

そして、上記数７に上記数８を適用すると、搬送波位相及び疑似距離二重差の観測方程式は、下記数９に示すように近似することができる。Then, by applying equation 8 to equation 7 above, the observation equations for carrier phase and pseudo-distance double difference can be approximated as shown in equation 9 below.

ここで、ＧＮＳＳ受信機ｒ（無人航空機２０）の位置をｒ_ｕとし、受信搬送波Ｌ_ｉの受信機間一重差整数アンビギュアスをＮ_ｉとする。そして、推定パラメータｘを以下の数１０で表し、二重差観測量ベクトルｙを以下の数１１で表す。 Here, let _r be the position of the GNSS receiver r (unmanned aerial vehicle 20), and let _Ni be the inter-receiver single-difference integer ambiguity of the received carrier wave _Li . Then, the estimated parameter x is represented by the following equation 10, and the double-difference observed quantity vector y is represented by the following equation 11.

上記数１０と数１１とを、上記数９に適用する。これにより、二重差観測量ベクトルｙの観測方程式と偏微分係数行列とが、以下の様に表される。Apply equations 10 and 11 above to equation 9 above. This allows the observation equation and partial derivative matrix of the double difference observable vector y to be expressed as follows.

二重差観測量の観測誤差共分散行列Ｒは、下記数１４に示す通りとなる。The observation error covariance matrix R of the double-difference observation is as shown in Equation 14 below.

第１の軌跡生成部１１は、上述した観測方程式を用いて、拡張カルマンフィルタによって、各ＧＮＳＳ受信機の未知パラメータｘの推定値ｘ_ｋハットを求める。各ＧＮＳＳ受信機ｋにおける拡張カルマンフィルタによる補正及び更新の方程式は、上記数１２～数１４を使って下記のように表される。 The first trajectory generation unit 11 uses the observation equations described above to obtain an estimated value x _k- hat of the unknown parameter x of each GNSS receiver using an extended Kalman filter. The equations for correction and updating by the extended Kalman filter in each GNSS receiver k are expressed as follows using equations 12 to 14 above.

上記数１５において、ｘ_ｋ ^－ハットは、ＧＮＳＳ受信機ｋにおける未知パラメータｘの事前推定ベクトルである。ｘ_ｋ ^＋ハットは、ＧＮＳＳ受信機ｋにおける未知パラメータｘの事後推定ベクトルである。Ｐ_ｋ ^-は、ＧＮＳＳ受信機ｋにおける事前誤差共分散行列で
ある。Ｐ_ｋ ^＋は、ＧＮＳＳ受信機ｋにおける事後誤差共分散行列である。Ｋ_ｋは、ＧＮＳＳ受信機ｋにおけるカルマンゲイン行列である。Ｉは単位行列である。 In equation 15 above, x _k ^- hat is the prior estimated vector of the unknown parameter x at the GNSS receiver k. x _k ⁺ hat is the posterior estimated vector of the unknown parameter x at the GNSS receiver k. _{P k} ^- is the prior error covariance matrix at the GNSS receiver k. _{P k} ⁺ is the posterior error covariance matrix at the GNSS receiver k. _{K k} is the Kalman gain matrix at the GNSS receiver k. I is the identity matrix.

そして、拡張カルマンフィルタによれば、各ＧＮＳＳ受信機の位置、整数アンビギュアス推定値ｘハット、その共分散行列Ｐを求めることができる。また、ここで得られる整数アンビギュアスは、整数条件の制約を考慮に入れていない実数推定値であり、同時に得られるＧＮＳＳ受信機の位置の推定値は、ＦＬＯＡＴ解と呼ばれる。ＧＮＳＳ受信機ｕ（基地局３０）は、固定されているため、その位置は予め既知である。よって、ＧＮＳＳ受信機ｒ（無人航空機２０）の位置のみが、ＦＬＯＡＴ解によって推定される。Furthermore, using the extended Kalman filter, we can determine the position of each GNSS receiver, its integer ambiguous estimate x-hat, and its covariance matrix P. The integer ambiguous values obtained here are real-valued estimates that do not take into account the constraint of integer conditions, and the simultaneously obtained estimate of the GNSS receiver positions is called the FLOAT solution. Since the GNSS receiver u (base station 30) is fixed, its position is known in advance. Therefore, only the position of the GNSS receiver r (unmanned aerial vehicle 20) is estimated by the FLOAT solution.

第１の軌跡生成部１１は、ＦＬＯＡＴ解及び共分散行列Ｐを入力とした整数最小二乗法を用いて、整数アンビギュイティの整数解を算出し、最終的なＦＩＸ解を算出する。ＦＩＸ解が、最終的な無人航空機２０の位置となる。The first trajectory generation unit 11 calculates integer solutions to integer ambiguity using the integer least squares method with the FLOAT solution and covariance matrix P as input, and calculates the final FIX solution. The FIX solution becomes the final position of the unmanned aerial vehicle 20.

具体的には、一重差整数アンビギュアスは、下記の数１６に示すように、二重差整数バイアス推定値ｘ’ハットに変換される。下記数１６において、Ｄは、一重差から二重差に変換するための変換行列である。Specifically, a single-difference integer ambiguous is transformed into a double-difference integer bias estimate x' hat, as shown in Equation 16 below. In Equation 16 below, D is the transformation matrix for transforming from single-difference to double-difference.

上記数１６は、下記数１７の様に書き換えられる。これにより、二重差整数アンビギュアス推定値ｘ’ハット及びその共分散行列Ｑは、を実数変数と整数変数とに分離される。The above number 16 can be rewritten as the following number 17. This separates the double-difference integer ambiguous estimate x' hat and its covariance matrix Q into real and integer variables.

ここで、整数最小二乗法が適用される。そして、第１の軌跡生成部１１は、下記の数１８の条件を満足し、且つ、共分散行列Ｑにより定義された距離ｒで算出された実数解Ｎハットに最も近い、整数解Ｎを、その最適整数解Ｎキャロンとする。Here, the least squares method for integers is applied. The first trajectory generation unit 11 then defines the optimal integer solution N caron as the integer solution N that satisfies the conditions of the following equation 18 and is closest to the real solution N hat calculated using the distance r defined by the covariance matrix Q.

また、実施形態においては、整数最小二乗法における整数アンビギュイティ探索には、ＬＡＭＢＤＡ(Least square Ambiguity Decorrelation Adjustment)が用いられる。この
場合、ＬＡＭＢＤＡ法によって探索された、残差最小値の整数アンビギュイティ候補と、２番目の整数アンビギュイティ候補と、それぞれの残差値とを用いて、下記の数１９に示すＲａｔｉｏテストによる検定が行われる。そして、検定結果が、閾値(一般的には３～
５)以上であれば、検定は合格として整数アンビギュイティの整数解が求まる。 Furthermore, in this embodiment, LAMBDA (Least Square Ambiguity Decorrelation Adjustment) is used for integer ambiguity search in the integer least squares method. In this case, the integer ambiguity candidate with the minimum residual value, the second integer ambiguity candidate, and their respective residual values, found by the LAMBDA method, are used to perform a Ratio test as shown in Equation 19 below. The test result then determines the threshold (generally 3-
5) If the result is 5 or higher, the test is considered successful and an integer solution to the integer ambiguity problem is obtained.

また、検定に合格した整数アンビギュイティの整数解が求まった場合は、上記数１６及び数１７を変形して得られる下記数２０に基づいて、無人航空機２０のＧＮＳＳ受信機ｒの位置のＦＩＸ解ｒ_ｕキャロンが求められる。 Furthermore, if an integer solution to the integer ambiguity that passed the test is found, the fixed solution r u Caron for the position of the GNSS receiver r of the unmanned aerial vehicle 20 can be determined based on the following equation 20, which is obtained by rearranging equations 16 _and 17 above.

実施の形態では、上述したように、第１の軌跡生成部１１は、データベースに蓄積されている測位用データ用いて、無人航空機２０の位置を算出する。よって、第１の軌跡生成部１１は、過去から未来に向う順方向、未来から過去に向かう逆方向、又は順方向及び逆方向の２方向において、無人航空機２０の位置を算出することもできる。特に、順方向と逆方向との２方向において、無人航空機２０の位置を算出した場合は、位置算出精度がよりいっそう高められることになる。In this embodiment, as described above, the first trajectory generation unit 11 calculates the position of the unmanned aerial vehicle 20 using positioning data stored in the database. Therefore, the first trajectory generation unit 11 can also calculate the position of the unmanned aerial vehicle 20 in the forward direction from the past to the future, the reverse direction from the future to the past, or in both the forward and reverse directions. In particular, when the position of the unmanned aerial vehicle 20 is calculated in both the forward and reverse directions, the position calculation accuracy is further improved.

続いて、第１の軌跡生成部１１は、測位用データから時系列に沿って無人航空機２０の位置を算出すると、図３に示すように、算出した位置の座標を時系列に沿って順につないで、無人航空機２０（図２参照）の軌跡を生成する。図３において、「○」は、測位用データから算出した無人航空機２０の位置を示している。Next, the first trajectory generation unit 11 calculates the position of the unmanned aerial vehicle 20 in chronological order from the positioning data, and then, as shown in Figure 3, connects the coordinates of the calculated position in chronological order to generate the trajectory of the unmanned aerial vehicle 20 (see Figure 2). In Figure 3, "○" indicates the position of the unmanned aerial vehicle 20 calculated from the positioning data.

また、第１の軌跡生成部１１は、無人航空機２０からＩＭＵ（慣性計測装置：Inertial
Measurement Unit）のデータを取得できる場合は、図３に示すように、取得したＩＭＵ
のデータを用いて、無人航空機の位置を補完することもできる。図３は、移動体の軌跡の生成処理の一例を示す図である。図３において、「□」は補完された位置を示している。 Furthermore, the first trajectory generation unit 11 receives data from the unmanned aerial vehicle 20 via the IMU (Inertial Measurement Unit).
If data from the Measurement Unit can be obtained, as shown in Figure 3, the acquired IMU
The data can also be used to interpolate the position of the unmanned aerial vehicle. Figure 3 shows an example of the process for generating the trajectory of a moving object. In Figure 3, "□" indicates the interpolated position.

具体的には、ＩＭＵは、加速度センサ及び角速度センサを備えた装置であり、無人航空機２０の向き及び傾きといった機体の姿勢を特定するデータを出力する。よって、第１の軌跡生成部１１は、ＩＭＵのデータから特定した無人航空機２０の向きと無人航空機２０の速度とを用いて、位置を補完する。このようにして得られた軌跡は、点群で構成されている。Specifically, the IMU is a device equipped with an acceleration sensor and an angular velocity sensor, and outputs data that identifies the attitude of the unmanned aerial vehicle 20, such as its orientation and tilt. Therefore, the first trajectory generation unit 11 uses the orientation and velocity of the unmanned aerial vehicle 20 identified from the IMU data to complete the position. The trajectory obtained in this way is composed of a point cloud.

特徴点抽出部１２は、実施の形態では、移動体データベース２１から、動画データのフレームを時系列に沿って順に取得し、取得したフレーム毎に、例えば、一般的なＦＡＳＴアルゴリズムを用いて、画像中の特徴点を抽出する。In this embodiment, the feature point extraction unit 12 sequentially acquires frames of video data from the mobile object database 21 in chronological order, and for each acquired frame, it extracts feature points from the image using, for example, a general FAST algorithm.

環境地図生成部１３は、１つのフレームを選択し、それから抽出された特徴点毎に、過去のフレームから抽出された特徴点それぞれと同一かどうかを判定し、当該特徴点と同一であると判定した特徴点とを対応付け、特徴点の組を特定する。環境地図生成部１３は、取得した全てのフレームについて、特徴点の対応付けを実行する。The environment map generation unit 13 selects one frame, and for each feature point extracted from it, it determines whether it is identical to each feature point extracted from previous frames, associates the feature point determined to be identical with the selected feature point, and identifies a pair of feature points. The environment map generation unit 13 performs this feature point association for all acquired frames.

次に、環境地図生成部１３は、フレーム毎に、そのフレームで特定された特徴点の組を用いて、そのフレームにおけるカメラ行列を算出する。そして、環境地図生成部１３は、算出したカメラ行列と、特徴点のフレームにおける２次元座標とを用いて、特徴点の３次元座標を算出する。Next, the environment map generation unit 13 calculates the camera matrix for each frame using the set of feature points identified in that frame. Then, the environment map generation unit 13 calculates the three-dimensional coordinates of the feature points using the calculated camera matrix and the two-dimensional coordinates of the feature points in the frame.

続いて、環境地図生成部１３は、カメラ行列を算出すると、フレーム毎に、カメラ行列からカメラの位置（即ち、無人航空機２０の位置）を算出し、自己位置推定を行う。その後、環境地図生成部１３は、３次元座標が算出された特徴点を用いて、３次元の点群で構成された環境地図を生成する。なお、本明細書において環境地図の生成には、既に生成されている環境地図を更新する場合も含まれる。Next, the environment map generation unit 13 calculates a camera matrix and, for each frame, calculates the camera position (i.e., the position of the unmanned aerial vehicle 20) from the camera matrix and performs self-localization. Subsequently, the environment map generation unit 13 generates an environment map composed of a three-dimensional point cloud using the feature points for which three-dimensional coordinates have been calculated. In this specification, the generation of an environment map also includes updating an already generated environment map.

第２の軌跡生成部１４は、実施の形態では、環境地図の生成時に算出したカメラの位置の座標を時系列に沿って順につないで、フレームの軌跡を生成する。このようにして得られたフレームの軌跡も、点群で構成されている。In this embodiment, the second trajectory generation unit 14 generates a frame trajectory by sequentially connecting the camera position coordinates calculated during the generation of the environmental map in chronological order. The frame trajectory obtained in this way is also composed of a point cloud.

ところで、第１の軌跡生成部１１が生成した移動体の軌跡と、第２の軌跡生成部１４が生成したフレームの軌跡と、は座標系が異なっている。このため、撮影位置特定部１５は、実施の形態では、図４に示すように、フレームの軌跡に対して変換処理（回転、並進、拡大縮小）を行い、変換処理後のフレームの軌跡を移動体の軌跡に重ねる。図４は、軌跡の重ね合わせ処理の一例を示す図である。By the way, the trajectory of the moving object generated by the first trajectory generation unit 11 and the trajectory of the frame generated by the second trajectory generation unit 14 are in different coordinate systems. For this reason, in this embodiment, the shooting position identification unit 15 performs a transformation process (rotation, translation, scaling) on the frame trajectory, as shown in Figure 4, and superimposes the transformed frame trajectory onto the trajectory of the moving object. Figure 4 is a diagram showing an example of the trajectory superposition process.

具体的には、撮影位置特定部１５は、フレームの軌跡を構成する点群と移動体の軌跡を構成する点群との誤差を最も小さくする、変換行列を算出することによって、重ね合わせを実行する。変換行列は、下記の数２１に示す通りである。数２１において、Ａが回転行列、Ｂが並進行列、Ｃがスケーリングであり、これらの積「Ａ・Ｂ・Ｃ」が変換行列となる。（ｘ_ｇ，ｙ_ｇ，ｚ_ｇ）は、移動体の軌跡上の点の座標を示し、（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）はフレームの軌跡上の点の座標を示している。 Specifically, the shooting position identification unit 15 performs superposition by calculating a transformation matrix that minimizes the error between the point cloud constituting the frame's trajectory and the point cloud constituting the moving object's trajectory. The transformation matrix is as shown in Equation 21 below. In Equation 21, A is the rotation matrix, B is the translation matrix, and C is the scaling matrix, and their product "A・B・C" is the transformation matrix. (x _g , y _g , z _g ) represents the coordinates of a point on the moving object's trajectory, and (x _c , y _c , z _c ) represents the coordinates of a point on the frame's trajectory.

続いて、撮影位置特定部１５は、算出した変換行列を上記数２１に適用することによって、移動体の軌跡の座標系（世界座標系）における、各フレームの座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）に対応する座標（ｘ_ｇ，ｙ_ｇ，ｚ_ｇ）を特定する。また、撮影位置特定部１５は、重ね合わせた後、各フレームの座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）の最近傍に位置する移動体の座標（点）を特定し、特定した座標を、対応する座標としても良い。 Next, the shooting position identification unit 15 applies the calculated transformation matrix to the above equation 21 to identify the coordinates (x _g , y _g , z _g ) corresponding to the coordinates (x _c , y _c , z _c ) of each frame in the coordinate system of the moving object's trajectory (world coordinate system). Alternatively, the shooting position identification unit 15 may identify the coordinates (points) of the moving object located in the nearest neighbor to the coordinates (x _c , y _c , z _c ) of each frame after superimposing them, and use these identified coordinates as the corresponding coordinates.

そして、位置情報付加部１６は、図５に示すように、フレーム毎に、そのフレームの座標に対応する移動体の位置（座標）を示す位置情報を付加する。図５は、位置情報の付加処理の一例を示す図である。Then, as shown in Figure 5, the position information addition unit 16 adds position information for each frame, indicating the position (coordinates) of the moving object corresponding to the coordinates of that frame. Figure 5 is a diagram showing an example of the position information addition process.

［装置動作］
次に、情報処理装置１０の動作の一例について図６を用いて説明する。図６は、情報処理装置の動作の一例を示すフロー図である。以下の説明においては、適宜図１～図５を参照する。また、実施の形態１では、情報処理装置を動作させることによって、情報処理方法が実施される。よって、実施の形態における情報処理方法の説明は、以下の情報処理装置１０の動作説明に代える。[Device operation]
Next, an example of the operation of the information processing device 10 will be explained using Figure 6. Figure 6 is a flowchart showing an example of the operation of the information processing device. In the following explanation, Figures 1 to 5 will be referred to as appropriate. In Embodiment 1, the information processing method is implemented by operating the information processing device. Therefore, the explanation of the information processing method in this embodiment will be replaced by the following explanation of the operation of the information processing device 10.

図６に示すように、最初に、第１の軌跡生成部１１が、移動体データベース２１から第１の測位用データを取得し、基地局データベース３１から第２の測位用データ及び衛星軌道データを取得する（ステップＡ１）。As shown in Figure 6, first, the first trajectory generation unit 11 acquires first positioning data from the mobile database 21 and second positioning data and satellite orbit data from the base station database 31 (step A1).

次に、第１の軌跡生成部１１は、第１の測位用データ、第２の測位用データ及び衛星軌道データを用いて、時系列に沿って、無人航空機２０の位置を算出する（ステップＡ２）。Next, the first trajectory generation unit 11 uses the first positioning data, the second positioning data, and satellite orbit data to calculate the position of the unmanned aerial vehicle 20 in chronological order (step A2).

具体的には、ステップＡ２では、第１の軌跡生成部１１は、第１の測位用データの搬送波位相を含む第１の観測データと、第２の測位用データの搬送波位相を含む第２の観測データとを生成し、そして、これらと衛星軌道データとを用いて、時系列に沿って、測位衛星毎の第１の測位用データと第２の測位用データとの相対関係を求める。そして、第１の軌跡生成部１１は、求めた相対関係、及び固定点である基地局３０の位置に基づいて、時系列に沿って、無人航空機２０の位置を算出する。Specifically, in step A2, the first trajectory generation unit 11 generates first observation data including the carrier phase of the first positioning data and second observation data including the carrier phase of the second positioning data. Using these and satellite orbit data, it determines the relative relationship between the first positioning data and the second positioning data for each positioning satellite in a time series. Then, based on the determined relative relationship and the position of the base station 30, which is a fixed point, the first trajectory generation unit 11 calculates the position of the unmanned aerial vehicle 20 in a time series.

次に、第１の軌跡生成部１１は、ステップＡ２で算出した位置の座標を時系列に沿って順につないで、無人航空機２０（図２参照）の軌跡を生成する（ステップＡ３）。ステップＡ３では、第１の軌跡生成部１１は、無人航空機２０のＩＭＵのデータから特定した無人航空機２０の向きと無人航空機２０の速度とを用いて、位置を補完することもできる。Next, the first trajectory generation unit 11 sequentially connects the position coordinates calculated in step A2 in a time series to generate the trajectory of the unmanned aerial vehicle 20 (see Figure 2) (step A3). In step A3, the first trajectory generation unit 11 can also complement the position using the orientation and speed of the unmanned aerial vehicle 20 identified from the IMU data of the unmanned aerial vehicle 20.

次に、特徴点抽出部１２が、移動体データベース２１から、動画データのフレームを時系列に沿って順に取得し、取得したフレーム毎に、例えば、一般的なＦＡＳＴアルゴリズムを用いて、画像中の特徴点を抽出する（ステップＡ４）。Next, the feature point extraction unit 12 acquires frames of video data sequentially from the mobile object database 21 in chronological order, and for each acquired frame, it extracts feature points from the image using, for example, a general FAST algorithm (step A4).

次に、環境地図生成部１３は、フレーム間で対応する特徴点の組を特定し、組として特定された特徴点の３次元座標を算出し、算出結果を用いて、特徴点の集合で構成された環境地図を生成する（ステップＡ５）。Next, the environment map generation unit 13 identifies corresponding pairs of feature points between frames, calculates the three-dimensional coordinates of the identified feature points, and uses the calculation results to generate an environment map composed of the set of feature points (step A5).

具体的には、ステップＡ５では、環境地図生成部１３は、フレーム毎に、そのフレームで特定された特徴点の組を用いて、そのフレームにおけるカメラ行列を算出する。そして、環境地図生成部１３は、算出したカメラ行列と、特徴点のフレームにおける２次元座標とを用いて、特徴点の３次元座標を算出する。更に、環境地図生成部１３は、フレーム毎に、カメラ行列からカメラの位置を算出して、自己位置推定を行い、その後、３次元座標が算出された特徴点を用いて、３次元の点群で構成された環境地図を生成する。Specifically, in step A5, the environment map generation unit 13 calculates the camera matrix for each frame using the set of feature points identified in that frame. Then, the environment map generation unit 13 calculates the three-dimensional coordinates of the feature points using the calculated camera matrix and the two-dimensional coordinates of the feature points in the frame. Furthermore, for each frame, the environment map generation unit 13 calculates the camera position from the camera matrix and performs self-localization. After that, it generates an environment map composed of a three-dimensional point cloud using the feature points for which three-dimensional coordinates have been calculated.

次に、第２の軌跡生成部１４が、ステップＡ５の環境地図の生成時に算出したカメラの位置の座標を時系列に沿って順につないで、フレームの軌跡を生成する（ステップＡ６）。Next, the second trajectory generation unit 14 connects the camera position coordinates calculated during the generation of the environment map in step A5 in chronological order to generate the frame trajectory (step A6).

次に、撮影位置特定部１５が、ステップＡ３で生成された無人航空機２０の軌跡と、ステップＡ６で生成された、フレームの軌跡と、を重ね合わせ、この重ね合わせによって、フレーム毎に、各フレームの撮影位置に該当する位置を特定する（ステップＡ７）。Next, the shooting position identification unit 15 superimposes the trajectory of the unmanned aerial vehicle 20 generated in step A3 with the trajectory of the frame generated in step A6, and by this superimposition, identifies the position corresponding to the shooting position of each frame (step A7).

その後、位置情報付加部１６は、フレーム毎に、各フレームに、ステップＡ７で特定した位置を示す位置情報を付加する（ステップＡ８）。Subsequently, the location information adding unit 16 adds location information to each frame, indicating the location identified in step A7 (step A8).

このように、実施の形態では、情報処理装置１０は、環境地図から得られたフレームの軌跡と、測位衛星からの測位用データから求めた移動体の軌跡とを、マッチングすることによって、フレーム単位での位置を特定する。更に、移動体の軌跡は、移動体単体で受信された測位用データだけではなく、移動体と基地局との両方で受信された測位用データを用いて生成されているので、移動体の軌跡の精度は、移動体単体で測位する場合に比べて向上している。このため、実施の形態によれば、ＧＰＳ受信機における測位誤差を低減できると共に、動画データに撮影位置の位置情報を付加する場合において位置情報の精度を向上させることができる。As described above, in this embodiment, the information processing device 10 determines the position on a frame-by-frame basis by matching the frame trajectory obtained from the environmental map with the trajectory of the moving object obtained from positioning data from positioning satellites. Furthermore, since the trajectory of the moving object is generated using not only positioning data received by the moving object alone, but also positioning data received by both the moving object and the base station, the accuracy of the trajectory of the moving object is improved compared to when positioning is performed by the moving object alone. For this reason, according to this embodiment, it is possible to reduce positioning errors in the GPS receiver and to improve the accuracy of position information when adding location information of the shooting location to video data.

［プログラム］
実施の形態におけるプログラムは、コンピュータに、図６に示すステップＡ１～Ａ８を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態における情報処理装置と情報処理方法とを実現することができる。この場合、コンピュータのプロセッサは、第１の軌跡生成部１１、特徴点抽出部１２、環境地図生成部１３、第２の軌跡生成部１４、撮影位置特定部１５、及び位置情報付加部１６として機能し、処理を行なう。また、コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。[program]
The program in this embodiment can be any program that causes a computer to execute steps A1 to A8 shown in Figure 6. By installing and executing this program on a computer, the information processing device and information processing method in this embodiment can be realized. In this case, the computer's processor functions as a first trajectory generation unit 11, a feature point extraction unit 12, an environmental map generation unit 13, a second trajectory generation unit 14, a shooting location identification unit 15, and a location information addition unit 16, and performs the processing. In addition to a general-purpose PC, the computer can also be a smartphone or a tablet terminal device.

また、実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、第１の軌跡生成部１１、特徴点抽出部１２、環境地図生成部１３、第２の軌跡生成部１４、撮影位置特定部１５、及び位置情報付加部１６のいずれかとして機能しても良い。Furthermore, the program in the embodiment may be executed by a computer system constructed by multiple computers. In this case, for example, each computer may function as one of the following: a first trajectory generation unit 11, a feature point extraction unit 12, an environment map generation unit 13, a second trajectory generation unit 14, a shooting location identification unit 15, and a location information addition unit 16.

［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、情報処理装置を実現するコンピュータについて図７を用いて説明する。図７は、情報処理装置を実現するコンピュータの一例を示すブロック図である。[Physical configuration]
Here, a computer that implements an information processing device by executing the program in the embodiment will be described using Figure 7. Figure 7 is a block diagram showing an example of a computer that implements an information processing device.

図７に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１
１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。 As shown in Figure 7, the computer 110 has a CPU (Central Processing Unit) 11
The system comprises a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader/writer 116, and a communication interface 117. Each of these components is connected to the others via a bus 121, enabling data communication between them.

また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）
を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。 Furthermore, the computer 110 may, in addition to or instead of the CPU 111, have a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array).
It may also be equipped with such a feature. In this embodiment, the GPU or FPGA can execute the program in the embodiment.

ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。The CPU 111 loads the program in the embodiment, which consists of a group of codes stored in the storage device 113, into the main memory 112, and performs various calculations by executing each code in a predetermined order. The main memory 112 is typically a volatile storage device such as DRAM (Dynamic Random Access Memory).

また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。Furthermore, the program in this embodiment is provided stored on a computer-readable recording medium 120. The program in this embodiment may also be distributed over the Internet via a communication interface 117.

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。Furthermore, specific examples of the storage device 113 include hard disk drives and semiconductor storage devices such as flash memory. The input interface 114 mediates data transmission between the CPU 111 and input devices 118 such as a keyboard and mouse. The display controller 115 is connected to the display device 119 and controls the display on the display device 119.

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。The data reader/writer 116 mediates data transmission between the CPU 111 and the recording medium 120, reads programs from the recording medium 120, and writes processing results from the computer 110 to the recording medium 120. The communication interface 117 mediates data transmission between the CPU 111 and other computers.

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳ
Ｄ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。 Furthermore, specific examples of the recording medium 120 include CF (Compact Flash®) and S
Examples include general-purpose semiconductor memory devices such as D (Secure Digital), magnetic recording media such as Flexible Disks, and optical recording media such as CD-ROMs (Compact Disk Read Only Memory).

なお、情報処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア、例えば、電子回路を用いることによっても実現可能である。更に、情報処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。実施の形態において、コンピュータは、図７に示すコンピュータに限定されることはない。Furthermore, the information processing device 10 can be implemented not only by a computer with a program installed, but also by using hardware corresponding to each part, such as electronic circuits. Moreover, the information processing device 10 may be partially implemented by a program and the remaining part by hardware. In this embodiment, the computer is not limited to the computer shown in Figure 7.

上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記２１）によって表現することができるが、以下の記載に限定されるものではない。Some or all of the embodiments described above can be expressed by (Appendix 1) to (Appendix 21) described below, but are not limited to the following descriptions.

（付記１）
動画データを撮影する移動体が複数の測位衛星から受信した測位用データを用いて、時系列に沿って、前記移動体の位置を算出し、更に、算出された前記位置を時系列の順につないで前記移動体の軌跡を生成する、第１の軌跡生成部と、
前記動画データを構成するフレームそれぞれ毎に、特徴点を抽出する、特徴点抽出部と、
前記フレーム間で対応する特徴点の組を特定し、組として特定された前記特徴点の３次元座標を算出し、算出結果を用いて、組として特定された前記特徴点の集合で構成された環境地図を生成する、環境地図生成部と、
前記環境地図を用いて、前記フレームの軌跡を生成する、第２の軌跡生成部と、
前記第１の軌跡生成部によって生成された、前記移動体の軌跡と、前記第２の軌跡生成部によって生成された、前記フレームの軌跡と、を重ね合わせ、それによって、前記フレーム毎に、当該フレームの撮影位置に該当する位置を特定する、撮影位置特定部と、
前記フレーム毎に、当該フレームに、特定された前記位置を示す情報を付加する、位置情報付加部と、
を備えている、ことを特徴とする情報処理装置。(Note 1)
A first trajectory generation unit calculates the position of a moving object that captures video data using positioning data received from multiple positioning satellites, in a time-series order, and further generates the trajectory of the moving object by connecting the calculated positions in chronological order.
A feature point extraction unit extracts feature points from each frame that makes up the aforementioned video data,
An environment map generation unit identifies corresponding sets of feature points between the aforementioned frames, calculates the three-dimensional coordinates of the identified set of feature points, and uses the calculation results to generate an environment map composed of the set of identified feature points.
A second trajectory generation unit generates the trajectory of the frame using the aforementioned environmental map,
A shooting position identification unit superimposes the trajectory of the moving object generated by the first trajectory generation unit and the trajectory of the frame generated by the second trajectory generation unit, thereby identifying the position corresponding to the shooting position of each frame.
A position information adding unit adds information indicating the specified position to each frame,
An information processing device characterized by having the following features.

（付記２）
前記撮影位置特定部が、前記フレームの軌跡を前記移動体の位置の軌跡に重ね合わせるための変換行列を求め、前記フレーム毎に、前記環境地図上の当該フレームの座標を前記変換行列に適用することによって、当該フレームの撮影位置に該当する位置を特定する、付記１に記載の情報処理装置。(Note 2)
The information processing device according to Appendix 1, wherein the shooting position identification unit determines a transformation matrix for superimposing the trajectory of the frame onto the trajectory of the position of the moving object, and for each frame, applies the coordinates of the frame on the environmental map to the transformation matrix to identify the position corresponding to the shooting position of the frame.

（付記３）
前記撮影位置特定部が、前記フレームの軌跡と前記移動体の位置の軌跡との誤差が最も小さくなるように、前記フレームの軌跡に対して、回転、並進、拡大、及び縮小のうち少なくとも１つを実行することによって、前記変換行列を求める、
付記２に記載の情報処理装置。(Note 3)
The shooting position identification unit determines the transformation matrix by performing at least one of rotation, translation, scaling, and reduction on the frame's trajectory so as to minimize the error between the frame's trajectory and the trajectory of the moving object's position.
The information processing device described in Appendix 2.

（付記４）
前記第１の軌跡生成部が、前記測位用データに加えて、更に、固定点に設置されている基地局が複数の前記測位衛星それぞれから受信した第２の測位用データを用い、前記測位衛星毎の前記測位用データと前記第２の測位用データとの相対関係、及び前記基地局が設置されている前記固定点の位置に基づいて、時系列に沿って、前記移動体の位置を算出する、
付記１に記載の情報処理装置。(Note 4)
The first trajectory generation unit, in addition to the positioning data, further uses second positioning data received by a base station installed at a fixed point from each of the multiple positioning satellites, and calculates the position of the moving object in a time series based on the relative relationship between the positioning data for each positioning satellite and the second positioning data, and the position of the fixed point where the base station is installed.
The information processing device described in Appendix 1.

（付記５）
前記第１の軌跡生成部が、更に、前記複数の測位衛星それぞれから前記基地局が受信した、時刻毎の測位衛星の位置を示す衛星軌道データを用い、
前記測位用データの搬送波位相を含む第１の観測データを生成し、前記第２の測位用データの搬送波位相を含む第２の観測データを生成し、
前記第１の観測データ、前記第２の観測データ、及び前記衛星軌道データを用いて、時系列に沿って、前記測位衛星毎の前記測位用データと前記第２の測位用データとの相対関係を求め、求めた前記相対関係、及び前記固定点の位置に基づいて、前記移動体の位置を算出し、
前記第１の観測データ及び前記第２の観測データは、それぞれ、前記測位衛星までの疑似距離及び搬送波位相を含む、
ことを特徴とする付記４に記載の情報処理装置。(Note 5)
The first trajectory generation unit further uses satellite orbit data indicating the position of each positioning satellite at each time interval, which is received by the base station from each of the plurality of positioning satellites.
First observation data including the carrier phase of the positioning data is generated, and second observation data including the carrier phase of the second positioning data is generated.
Using the first observation data, the second observation data, and the satellite orbit data, the relative relationship between the positioning data and the second positioning data for each positioning satellite is determined in chronological order, and the position of the moving object is calculated based on the determined relative relationship and the position of the fixed point.
The first observation data and the second observation data each include the pseudo-distance to the positioning satellite and the carrier phase,
The information processing apparatus described in Appendix 4, characterized in that it is a processing apparatus.

（付記６）
前記測位衛星毎の前記測位用データ及び前記第２の測位用データが時系列に沿って蓄積されており、
前記第１の軌跡生成部が、蓄積されている前記測位衛星毎の前記測位用データ及び前記第２の測位用データを用いて、時系列に沿って、前記測位衛星毎の前記相対関係を求め、求めた前記相対関係と前記固定点の位置とに基づいて、前記移動体の位置を算出する、
付記４に記載の情報処理装置。(Note 6)
The positioning data for each positioning satellite and the second positioning data are accumulated in chronological order.
The first trajectory generation unit uses the stored positioning data for each positioning satellite and the second positioning data to determine the relative relationship for each positioning satellite in a time series, and calculates the position of the moving object based on the determined relative relationship and the position of the fixed point.
The information processing device described in Appendix 4.

（付記７）
前記第１の軌跡生成部が、過去から未来に向う順方向、未来から過去に向かう逆方向、又は前記順方向及び前記逆方向の２方向において、前記移動体の位置を算出する、
付記６に記載の情報処理装置。(Note 7)
The first trajectory generation unit calculates the position of the moving object in a forward direction from the past to the future, a reverse direction from the future to the past, or in two directions, the forward direction and the reverse direction.
The information processing device described in Appendix 6.

（付記８）
動画データを撮影する移動体が複数の測位衛星から受信した測位用データを用いて、時系列に沿って、前記移動体の位置を算出し、更に、算出された前記位置を時系列の順につないで前記移動体の軌跡を生成する、第１の軌跡生成ステップと、
前記動画データを構成するフレームそれぞれ毎に、特徴点を抽出する、特徴点抽出ステップと、
前記フレーム間で対応する特徴点の組を特定し、組として特定された前記特徴点の３次元座標を算出し、算出結果を用いて、組として特定された前記特徴点の集合で構成された環境地図を生成する、環境地図生成ステップと、
前記環境地図を用いて、前記フレームの軌跡を生成する、第２の軌跡生成ステップと、
前記第１の軌跡生成ステップによって生成された、前記移動体の軌跡と、前記第２の軌跡生成ステップによって生成された、前記フレームの軌跡と、を重ね合わせ、それによって、前記フレーム毎に、当該フレームの撮影位置に該当する位置を特定する、撮影位置特定ステップと、
前記フレーム毎に、当該フレームに、特定された前記位置を示す情報を付加する、位置情報付加ステップと、
を有する、ことを特徴とする情報処理方法。(Note 8)
A first trajectory generation step involves a moving object capturing video data using positioning data received from multiple positioning satellites to calculate the position of the moving object in chronological order, and then connecting the calculated positions in chronological order to generate the trajectory of the moving object.
A feature point extraction step is performed to extract feature points for each frame that makes up the aforementioned video data.
An environment map generation step involves identifying corresponding pairs of feature points between the aforementioned frames, calculating the three-dimensional coordinates of the identified pair of feature points, and using the calculation results to generate an environment map composed of the set of identified pair of feature points.
A second trajectory generation step involves generating the trajectory of the frame using the aforementioned environment map,
A shooting position identification step involves superimposing the trajectory of the moving object generated by the first trajectory generation step and the trajectory of the frame generated by the second trajectory generation step, thereby identifying the position corresponding to the shooting position of each frame.
For each frame, a position information addition step is performed, in which information indicating the specified position is added to the frame.
An information processing method characterized by having the following:

（付記９）
前記撮影位置特定ステップにおいて、前記フレームの軌跡を前記移動体の位置の軌跡に重ね合わせるための変換行列を求め、前記フレーム毎に、前記環境地図上の当該フレームの座標を前記変換行列に適用することによって、当該フレームの撮影位置に該当する位置を特定する、
付記８に記載の情報処理方法。(Note 9)
In the aforementioned step of identifying the shooting position, a transformation matrix is obtained to superimpose the trajectory of the frame onto the trajectory of the position of the moving object, and for each frame, the coordinates of the frame on the environmental map are applied to the transformation matrix to identify the position corresponding to the shooting position of that frame.
The information processing method described in Appendix 8.

（付記１０）
前記撮影位置特定ステップにおいて、前記フレームの軌跡と前記移動体の位置の軌跡との誤差が最も小さくなるように、前記フレームの軌跡に対して、回転、並進、拡大、及び縮小のうち少なくとも１つを実行することによって、前記変換行列を求める、
付記９に記載の情報処理方法。(Note 10)
In the aforementioned shooting position determination step, the transformation matrix is determined by performing at least one of rotation, translation, scaling, and reduction on the frame's trajectory so as to minimize the error between the frame's trajectory and the trajectory of the moving object's position.
The information processing method described in Appendix 9.

（付記１１）
前記第１の軌跡生成ステップにおいて、前記測位用データに加えて、更に、固定点に設置されている基地局が複数の前記測位衛星それぞれから受信した第２の測位用データを用い、前記測位衛星毎の前記測位用データと前記第２の測位用データとの相対関係、及び前記基地局が設置されている前記固定点の位置に基づいて、時系列に沿って、前記移動体の位置を算出する、
付記８に記載の情報処理方法。(Note 11)
In the first trajectory generation step, in addition to the positioning data, a base station installed at a fixed point further uses second positioning data received from each of the multiple positioning satellites, and calculates the position of the moving object in chronological order based on the relative relationship between the positioning data for each positioning satellite and the second positioning data, and the position of the fixed point where the base station is installed.
The information processing method described in Appendix 8.

（付記１２）
前記第１の軌跡生成ステップにおいて、更に、前記複数の測位衛星それぞれから前記基地局が受信した、時刻毎の測位衛星の位置を示す衛星軌道データを用い、
前記測位用データの搬送波位相を含む第１の観測データを生成し、前記第２の測位用データの搬送波位相を含む第２の観測データを生成し、
前記第１の観測データ、前記第２の観測データ、及び前記衛星軌道データを用いて、時系列に沿って、前記測位衛星毎の前記測位用データと前記第２の測位用データとの相対関係を求め、求めた前記相対関係、及び前記固定点の位置に基づいて、前記移動体の位置を算出し、
前記第１の観測データ及び前記第２の観測データは、それぞれ、前記測位衛星までの疑似距離及び搬送波位相を含む、
ことを特徴とする付記１１に記載の情報処理方法。(Note 12)
In the first trajectory generation step, the base station further uses satellite orbit data indicating the position of each positioning satellite at each time interval,
First observation data including the carrier phase of the positioning data is generated, and second observation data including the carrier phase of the second positioning data is generated.
Using the first observation data, the second observation data, and the satellite orbit data, the relative relationship between the positioning data and the second positioning data for each positioning satellite is determined in chronological order, and the position of the moving object is calculated based on the determined relative relationship and the position of the fixed point.
The first observation data and the second observation data each include the pseudo-distance to the positioning satellite and the carrier phase,
The information processing method described in Appendix 11, characterized by the features described herein.

（付記１３）
前記測位衛星毎の前記測位用データ及び前記第２の測位用データが時系列に沿って蓄積されており、
前記第１の軌跡生成ステップにおいて、蓄積されている前記測位衛星毎の前記測位用データ及び前記第２の測位用データを用いて、時系列に沿って、前記測位衛星毎の前記相対関係を求め、求めた前記相対関係と前記固定点の位置とに基づいて、前記移動体の位置を算出する、
付記１１に記載の情報処理方法。(Note 13)
The positioning data for each positioning satellite and the second positioning data are accumulated in chronological order.
In the first trajectory generation step, the relative relationship for each positioning satellite is determined in chronological order using the stored positioning data for each positioning satellite and the second positioning data, and the position of the moving object is calculated based on the determined relative relationship and the position of the fixed point.
The information processing method described in Appendix 11.

（付記１４）
前記第１の軌跡生成ステップにおいて、過去から未来に向う順方向、未来から過去に向かう逆方向、又は前記順方向及び前記逆方向の２方向において、前記移動体の位置を算出する、
付記１３に記載の情報処理方法。(Note 14)
In the first trajectory generation step, the position of the moving object is calculated in the forward direction from the past to the future, the reverse direction from the future to the past, or in both the forward and reverse directions.
The information processing method described in Appendix 13.

（付記１５）
コンピュータに、
動画データを撮影する移動体が複数の測位衛星から受信した測位用データを用いて、時系列に沿って、前記移動体の位置を算出し、更に、算出された前記位置を時系列の順につないで前記移動体の軌跡を生成する、第１の軌跡生成ステップと、
前記動画データを構成するフレームそれぞれ毎に、特徴点を抽出する、特徴点抽出ステップと、
前記フレーム間で対応する特徴点の組を特定し、組として特定された前記特徴点の３次元座標を算出し、算出結果を用いて、組として特定された前記特徴点の集合で構成された環境地図を生成する、環境地図生成ステップと、
前記環境地図を用いて、前記フレームの軌跡を生成する、第２の軌跡生成ステップと、
前記第１の軌跡生成ステップによって生成された、前記移動体の軌跡と、前記第２の軌跡生成ステップによって生成された、前記フレームの軌跡と、を重ね合わせ、それによって、前記フレーム毎に、当該フレームの撮影位置に該当する位置を特定する、撮影位置特定ステップと、
前記フレーム毎に、当該フレームに、特定された前記位置を示す情報を付加する、位置情報付加ステップと、
を実行させる、プログラム。 (Note 15)
On the computer,
A first trajectory generation step involves a moving object capturing video data using positioning data received from multiple positioning satellites to calculate the position of the moving object in chronological order, and then connecting the calculated positions in chronological order to generate the trajectory of the moving object.
A feature point extraction step is performed to extract feature points for each frame that makes up the aforementioned video data.
An environment map generation step involves identifying corresponding pairs of feature points between the aforementioned frames, calculating the three-dimensional coordinates of the identified pair of feature points, and using the calculation results to generate an environment map composed of the set of identified pair of feature points.
A second trajectory generation step involves generating the trajectory of the frame using the aforementioned environment map,
A shooting position identification step involves superimposing the trajectory of the moving object generated by the first trajectory generation step and the trajectory of the frame generated by the second trajectory generation step, thereby identifying the position corresponding to the shooting position of each frame.
For each frame, a position information addition step is performed, in which information indicating the specified position is added to the frame.
A program that executes something.

（付記１６）
前記撮影位置特定ステップにおいて、前記フレームの軌跡を前記移動体の位置の軌跡に重ね合わせるための変換行列を求め、前記フレーム毎に、前記環境地図上の当該フレームの座標を前記変換行列に適用することによって、当該フレームの撮影位置に該当する位置を特定する、
付記１５に記載のプログラム。 (Note 16)
In the aforementioned step of identifying the shooting position, a transformation matrix is obtained to superimpose the trajectory of the frame onto the trajectory of the position of the moving object, and for each frame, the coordinates of the frame on the environmental map are applied to the transformation matrix to identify the position corresponding to the shooting position of that frame.
The program described in Appendix 15.

（付記１７）
前記撮影位置特定ステップにおいて、前記フレームの軌跡と前記移動体の位置の軌跡との誤差が最も小さくなるように、前記フレームの軌跡に対して、回転、並進、拡大、及び縮小のうち少なくとも１つを実行することによって、前記変換行列を求める、
付記１６に記載のプログラム。 (Note 17)
In the aforementioned shooting position determination step, the transformation matrix is determined by performing at least one of rotation, translation, scaling, and reduction on the frame's trajectory so as to minimize the error between the frame's trajectory and the trajectory of the moving object's position.
The program described in Appendix 16.

（付記１８）
前記第１の軌跡生成ステップにおいて、前記測位用データに加えて、更に、固定点に設置されている基地局が複数の前記測位衛星それぞれから受信した第２の測位用データを用い、前記測位衛星毎の前記測位用データと前記第２の測位用データとの相対関係、及び前記基地局が設置されている前記固定点の位置に基づいて、時系列に沿って、前記移動体の位置を算出する、
付記１５に記載のプログラム。 (Note 18)
In the first trajectory generation step, in addition to the positioning data, a base station installed at a fixed point further uses second positioning data received from each of the multiple positioning satellites, and calculates the position of the moving object in chronological order based on the relative relationship between the positioning data for each positioning satellite and the second positioning data, and the position of the fixed point where the base station is installed.
The program described in Appendix 15.

（付記１９）
前記第１の軌跡生成ステップにおいて、更に、前記複数の測位衛星それぞれから前記基地局が受信した、時刻毎の測位衛星の位置を示す衛星軌道データを用い、
前記測位用データの搬送波位相を含む第１の観測データを生成し、前記第２の測位用データの搬送波位相を含む第２の観測データを生成し、
前記第１の観測データ、前記第２の観測データ、及び前記衛星軌道データを用いて、時系列に沿って、前記測位衛星毎の前記測位用データと前記第２の測位用データとの相対関係を求め、求めた前記相対関係、及び前記固定点の位置に基づいて、前記移動体の位置を算出し、
前記第１の観測データ及び前記第２の観測データは、それぞれ、前記測位衛星までの疑似距離及び搬送波位相を含む、
ことを特徴とする付記１８に記載のプログラム。 (Note 19)
In the first trajectory generation step, the base station further uses satellite orbit data indicating the position of each positioning satellite at each time interval,
First observation data including the carrier phase of the positioning data is generated, and second observation data including the carrier phase of the second positioning data is generated.
Using the first observation data, the second observation data, and the satellite orbit data, the relative relationship between the positioning data and the second positioning data for each positioning satellite is determined in chronological order, and the position of the moving object is calculated based on the determined relative relationship and the position of the fixed point.
The first observation data and the second observation data each include the pseudo-distance to the positioning satellite and the carrier phase,
The program described in Appendix 18, characterized by the above.

（付記２０）
前記測位衛星毎の前記測位用データ及び前記第２の測位用データが時系列に沿って蓄積されており、
前記第１の軌跡生成ステップにおいて、蓄積されている前記測位衛星毎の前記測位用データ及び前記第２の測位用データを用いて、時系列に沿って、前記測位衛星毎の前記相対関係を求め、求めた前記相対関係と前記固定点の位置とに基づいて、前記移動体の位置を算出する、
付記１８に記載のプログラム。 (Note 20)
The positioning data for each positioning satellite and the second positioning data are accumulated in chronological order.
In the first trajectory generation step, the relative relationship for each positioning satellite is determined in chronological order using the stored positioning data for each positioning satellite and the second positioning data, and the position of the moving object is calculated based on the determined relative relationship and the position of the fixed point.
The program described in Appendix 18.

（付記２１）
前記第１の軌跡生成ステップにおいて、過去から未来に向う順方向、未来から過去に向かう逆方向、又は前記順方向及び前記逆方向の２方向において、前記移動体の位置を算出する、
付記２０に記載のプログラム。 (Note 21)
In the first trajectory generation step, the position of the moving object is calculated in the forward direction from the past to the future, the reverse direction from the future to the past, or in both the forward and reverse directions.
The program described in Appendix 20.

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。Although the present invention has been described above with reference to embodiments, the present invention is not limited to the above embodiments. Various modifications to the structure and details of the present invention can be made, as can be understood by those skilled in the art within the scope of the present invention.

この出願は、２０２３年３月２日に出願された日本出願特願２０２３－０３１９４８を基礎とする優先権を主張し、その開示の全てをここに取り込む。This application claims priority based on Japanese Patent Application No. 2023-031948, filed on 2 March 2023, and incorporates all of its disclosures herein.

以上のように本開示によれば、動画データに撮影位置の位置情報を付加する場合において位置情報の精度を向上させることができる。本開示は、動画データから対象の３次元点群データを生成するシステムに有用である。As described above, this disclosure makes it possible to improve the accuracy of location information when adding location information of the shooting position to video data. This disclosure is useful for systems that generate 3D point cloud data of an object from video data.

１０情報処理装置
１１第１の軌跡生成部
１２特徴点抽出部
１３環境地図生成部
１４第２の軌跡生成部
１５撮影位置特定部
１６位置情報付加部
２０無人航空機
２１移動体データベース２１
３０基地局
３１基地局データベース
４０測位衛星
１１０コンピュータ
１１１ＣＰＵ
１１２メインメモリ
１１３記憶装置
１１４入力インターフェイス
１１５表示コントローラ
１１６データリーダ／ライタ
１１７通信インターフェイス
１１８入力機器
１１９ディスプレイ装置
１２０記録媒体
１２１バス 10 Information processing device 11 First trajectory generation unit 12 Feature point extraction unit 13 Environment map generation unit 14 Second trajectory generation unit 15 Shooting location identification unit 16 Location information addition unit 20 Unmanned aerial vehicle 21 Mobile object database 21
30 Base station 31 Base station database 40 Positioning satellite 110 Computer 111 CPU
112 Main memory 113 Storage device 114 Input interface 115 Display controller 116 Data reader/writer 117 Communication interface 118 Input device 119 Display device 120 Recording medium 121 Bus

Claims

A first trajectory generation unit calculates the position of a moving object that captures video data using positioning data received from multiple positioning satellites, in a time-series order, and further generates the trajectory of the moving object by connecting the calculated positions in chronological order.
A feature point extraction unit extracts feature points from each frame that makes up the aforementioned video data,
An environment map generation unit identifies corresponding sets of feature points between the aforementioned frames, calculates the three-dimensional coordinates of the identified set of feature points, and uses the calculation results to generate an environment map composed of the set of identified feature points.
A second trajectory generation unit generates the trajectory of the frame using the aforementioned environmental map,
A shooting position identification unit superimposes the trajectory of the moving object generated by the first trajectory generation unit and the trajectory of the frame generated by the second trajectory generation unit , thereby identifying the position corresponding to the shooting position of each frame.
A position information adding unit adds information indicating the specified position to each frame,
An information processing device characterized by having the following features.

The shooting position identification unit determines a transformation matrix for superimposing the trajectory of the frame onto the trajectory of the moving object's position, and for each frame, it identifies the position corresponding to the shooting position of that frame by applying the coordinates of that frame on the environmental map to the transformation matrix.
The information processing apparatus according to claim 1.

The shooting position identification unit determines the transformation matrix by performing at least one of rotation, translation, scaling, and reduction on the frame's trajectory so as to minimize the error between the frame's trajectory and the trajectory of the moving object's position.
The information processing apparatus according to claim 2.

The first trajectory generation unit , in addition to the positioning data, further uses second positioning data received by a base station installed at a fixed point from each of the multiple positioning satellites, and calculates the position of the moving object in a time series based on the relative relationship between the positioning data for each positioning satellite and the second positioning data, and the position of the fixed point where the base station is installed.
The information processing apparatus according to claim 1.

The first trajectory generation unit further uses satellite orbit data indicating the position of each positioning satellite at each time interval, which is received by the base station from each of the plurality of positioning satellites.
First observation data including the carrier phase of the positioning data is generated, and second observation data including the carrier phase of the second positioning data is generated.
Using the first observation data, the second observation data, and the satellite orbit data, the relative relationship between the positioning data and the second positioning data for each positioning satellite is determined in chronological order, and the position of the moving object is calculated based on the determined relative relationship and the position of the fixed point.
The first observation data and the second observation data each include the pseudo-distance to the positioning satellite and the carrier phase,
The information processing apparatus according to feature 4.

The positioning data for each positioning satellite and the second positioning data are accumulated in chronological order.
The first trajectory generation unit uses the stored positioning data for each positioning satellite and the second positioning data to determine the relative relationship for each positioning satellite in a time series, and calculates the position of the moving object based on the determined relative relationship and the position of the fixed point.
The information processing apparatus according to claim 4.

The first trajectory generation unit calculates the position of the moving object in a forward direction from the past to the future, a reverse direction from the future to the past, or in two directions, the forward direction and the reverse direction.
The information processing apparatus according to claim 6.

A moving object capturing video data uses positioning data received from multiple positioning satellites to calculate the object's position in chronological order, and then connects the calculated positions in chronological order to generate the object's trajectory.
For each frame that makes up the aforementioned video data, feature points are extracted.
The system identifies corresponding pairs of feature points between the aforementioned frames, calculates the three-dimensional coordinates of the identified feature points, and uses the calculation results to generate an environment map composed of the set of identified feature points.
Using the aforementioned environment map, the trajectory of the frame is generated.
The trajectory of the moving object and the trajectory of the frame are superimposed, thereby identifying the position corresponding to the shooting location of each frame.
For each frame, information indicating the specified location is added to that frame.
An information processing method characterized by the following:

In identifying the shooting location, a transformation matrix is obtained to superimpose the trajectory of the frame onto the trajectory of the moving object's position, and for each frame, the coordinates of that frame on the environmental map are applied to the transformation matrix to identify the location corresponding to the shooting location of that frame.
The information processing method according to claim 8.

In determining the shooting position, the transformation matrix is obtained by performing at least one of rotation, translation, scaling, and reduction on the frame's trajectory so as to minimize the error between the frame's trajectory and the trajectory of the moving object's position.
The information processing method according to claim 9.

In generating the trajectory of the moving object, in addition to the positioning data, a base station installed at a fixed point uses second positioning data received from each of the multiple positioning satellites, and calculates the position of the moving object in chronological order based on the relative relationship between the positioning data for each positioning satellite and the second positioning data, and the position of the fixed point where the base station is installed.
The information processing method according to claim 8.

In generating the trajectory of the moving object, the base station further uses satellite orbit data indicating the position of each positioning satellite at each time interval, which is received from each of the multiple positioning satellites.
First observation data including the carrier phase of the positioning data is generated, and second observation data including the carrier phase of the second positioning data is generated.
Using the first observation data, the second observation data, and the satellite orbit data, the relative relationship between the positioning data and the second positioning data for each positioning satellite is determined in chronological order, and the position of the moving object is calculated based on the determined relative relationship and the position of the fixed point.
The first observation data and the second observation data each include the pseudo-distance to the positioning satellite and the carrier phase,
The information processing method according to feature 11.

The positioning data for each positioning satellite and the second positioning data are accumulated in chronological order.
In generating the trajectory of the moving object, the relative relationship for each positioning satellite is determined in chronological order using the stored positioning data for each positioning satellite and the second positioning data, and the position of the moving object is calculated based on the determined relative relationship and the position of the fixed point.
The information processing method according to claim 11.

In generating the trajectory of the moving object, the position of the moving object is calculated in the forward direction from the past to the future, the reverse direction from the future to the past, or in both the forward and reverse directions.
The information processing method according to claim 13.

On the computer,
A moving object capturing video data uses positioning data received from multiple positioning satellites to calculate the object's position in chronological order, and then connects the calculated positions in chronological order to generate the object's trajectory.
For each frame that makes up the aforementioned video data, feature points are extracted.
The system identifies corresponding pairs of feature points between the aforementioned frames, calculates the three-dimensional coordinates of the identified feature points, and uses the calculation results to generate an environment map composed of the set of identified feature points.
Using the aforementioned environment map, the trajectory of the frame is generated.
The trajectory of the moving object and the trajectory of the frame are superimposed, thereby identifying the position corresponding to the shooting location of each frame.
For each frame, information indicating the specified location is added to that frame.
program .

In identifying the shooting location, a transformation matrix is obtained to superimpose the trajectory of the frame onto the trajectory of the moving object's position, and for each frame, the coordinates of that frame on the environmental map are applied to the transformation matrix to identify the location corresponding to the shooting location of that frame.
The program according to claim 15.

In determining the shooting position, the transformation matrix is obtained by performing at least one of rotation, translation, scaling, and reduction on the frame's trajectory so as to minimize the error between the frame's trajectory and the trajectory of the moving object's position.
L as described in claim 16.

In generating the trajectory of the moving object, in addition to the positioning data, a base station installed at a fixed point uses second positioning data received from each of the multiple positioning satellites, and calculates the position of the moving object in chronological order based on the relative relationship between the positioning data for each positioning satellite and the second positioning data, and the position of the fixed point where the base station is installed.
The program according to claim 15.

In generating the trajectory of the moving object, the base station further uses satellite orbit data indicating the position of each positioning satellite at each time interval, which is received from each of the multiple positioning satellites.
First observation data including the carrier phase of the positioning data is generated, and second observation data including the carrier phase of the second positioning data is generated.
Using the first observation data, the second observation data, and the satellite orbit data, the relative relationship between the positioning data and the second positioning data for each positioning satellite is determined in chronological order, and the position of the moving object is calculated based on the determined relative relationship and the position of the fixed point.
The first observation data and the second observation data each include the pseudo-distance to the positioning satellite and the carrier phase,
The program according to feature 18.

The positioning data for each positioning satellite and the second positioning data are accumulated in chronological order.
In generating the trajectory of the moving object, the relative relationship for each positioning satellite is determined in chronological order using the stored positioning data for each positioning satellite and the second positioning data, and the position of the moving object is calculated based on the determined relative relationship and the position of the fixed point.
The program according to claim 18.

In generating the trajectory of the moving object, the position of the moving object is calculated in the forward direction from the past to the future, the reverse direction from the future to the past, or in both the forward and reverse directions.
The program according to claim 20.