JP7775316B2 - 学習用データ収集装置、学習用データ収集方法、及びプログラム - Google Patents

Description

本発明は、学習用データ収集装置、学習用データ収集方法、及びプログラムに関する。

港湾又は海上の物標を識別する画像認識技術が求められている。

特開２０２１－０７７２０２号公報

そのような画像認識技術を実現するには多数の学習用データが必要になるが、各画像に手作業でアノテーションを行うことは、多大な労力を要する。

本発明は、上記課題に鑑みてなされたものであり、その主な目的は、学習用データの収集が容易な学習用データ収集装置、学習用データ収集方法、及びプログラムを提供することにある。

上記課題を解決するため、本発明の一の態様の学習用データ収集装置は、船舶に設置されたカメラにより撮像された、港湾又は海上の物標を含む第１画像と、前記物標を含み、前記第１画像よりも分解能が高い第２画像とを取得する画像取得部と、前記第２画像から前記物標の種別を推定する画像認識部と、前記第１画像に、前記第２画像から推定された前記物標の種別を関連付ける関連付け部と、を備える。これによると、学習用データの収集が容易となる。

上記態様において、前記第２画像は、前記第１画像が撮像された地点よりも前記物標に近づいた地点で前記カメラにより撮像された画像であってもよい。これによると、第１画像に、物標により近づいた地点で撮像した第２画像から推定された物標の種別を関連付けることが可能となる。

上記態様において、前記第２画像は、前記第１画像の前記物標を含む範囲を前記カメラの光学ズーム機能を用いて拡大して撮像した画像であってもよい。これによると、これによると、第１画像に、光学ズーム機能を用いて拡大して撮像した第２画像から推定された物標の種別を関連付けることが可能となる。

上記態様において、前記第２画像は、前記第１画像の前記物標を含む範囲を前記カメラよりも分解能が高い別のカメラにより撮像した画像であってもよい。これによると、第１画像に、より分解能が高い別のカメラにより撮像した第２画像から推定された物標の種別を関連付けることが可能となる。

上記態様において、前記画像認識部は、前記第２画像から前記物標の種別を推定するとともに推定の確度を算出し、前記関連付け部は、前記確度が閾値以上である前記物標の種別を、前記第１画像に関連付けてもよい。これによると、第２画像から推定された、推定の確度が閾値以上の物標の種別を、第１画像に関連付けることが可能となる。

上記態様において、前記画像認識部は、前記第１画像から前記物標の種別を推定するとともに推定の確度を算出し、前記関連付け部は、前記確度が閾値未満である前記第１画像に、前記第２画像から推定された前記物標の種別を関連付けてもよい。これによると、推定の確度が閾値未満の第１画像に、第２画像から推定された物標の種別を関連付けることが可能となる。

上記態様において、前記画像認識部は、前記カメラにより撮像された画像から前記物標の種別を推定するとともに推定の確度を算出し、前記確度が閾値以上の画像を前記第２画像とし、前記確度が閾値未満の画像を前記第１画像としてもよい。これによると、推定の確度が閾値未満の画像を第１画像とし、推定の確度が閾値以上の画像を第２画像とすることが可能となる。

上記態様において、前記船舶の位置及び向きを取得する位置姿勢取得部と、前記第１画像の撮像時点における前記船舶の位置及び向き、前記第１画像で検出された前記物標の画像内位置、前記第２画像の撮像時点における前記船舶の位置及び向き、並びに前記第２画像で検出された前記物標の画像内位置に基づいて、前記第１画像で検出された前記物標と前記第２画像で検出された前記物標とを同定する同定部と、をさらに備えてもよい。これによると、第１画像で検出された物標と第２画像で検出された物標とを同定することが可能となる。

上記態様において、前記関連付け部は、前記第１画像に、前記第１画像の撮像時点における前記船舶又はその周囲の状態を表す付帯データをさらに関連付けてもよい。これによると、学習用データに付帯データをさらに含めることが可能となる。

また、本発明の他の態様の学習用データ収集方法は、船舶に設置されたカメラにより撮像された、港湾又は海上の物標を含む第１画像と、前記物標を含み、前記第１画像よりも分解能が高い第２画像とを取得し、前記第２画像から前記物標の種別を推定し、前記第１画像に、前記第２画像から推定された前記物標の種別を関連付ける。これによると、学習用データの収集が容易となる。

上記態様において、さらに、前記第１画像及び前記第２画像から推定された前記物標の種別を含むデータセットを用いて、前記物標の種別を推定するための学習済みモデルを再学習してもよい。これによると、学習済みモデルの認識精度のさらなる向上を図ることが可能となる。

また、本発明の他の態様のプログラムは、船舶に設置されたカメラにより撮像された、港湾又は海上の物標を含む第１画像と、前記物標を含み、前記第１画像よりも分解能が高い第２画像とを取得すること、前記第２画像から前記物標の種別を推定すること、及び、前記第１画像に、前記第２画像から推定された前記物標の種別を関連付けること、をコンピュータに実行させる。これによると、学習用データの収集が容易となる。

データ収集システムの例を示す図である。 データ収集装置の例を示す図である。 第１画像の例を示す図である。 第２画像の例を示す図である。 画像撮像地点の例を示す図である。 第１画像の認識結果の例を示す図である。 第２画像の認識結果の例を示す図である。 一時記憶データベースの例を示す図である。 学習用データセットの例を示す図である。 データ収集方法の例を示す図である。

以下、本発明の実施形態について、図面を参照しながら説明する。

図１は、データ収集システム１００の構成例を示すブロック図である。データ収集システム１００は、船舶に搭載され、機械学習のための学習用データを収集するシステムである。以下の説明では、データ収集システム１００が搭載された船舶を「自船」という。

データ収集システム１００は、データ収集装置１、表示部２、レーダー３、ＡＩＳ４、カメラ５、ＧＮＳＳ受信機６、ジャイロコンパス７、ＥＣＤＩＳ８、及び無線通信部９を備えている。これらの機器は、例えばＬＡＮ等のネットワークＮに接続されており、相互にネットワーク通信が可能である。

データ収集装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。データ収集装置１のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。

プログラムは、光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、インターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。

表示部２は、レーダー画像、カメラ画像、又は電子海図などを表示する。また、表示部２は、データ収集装置１により生成された表示用画像も表示する。

表示部２は、例えばタッチセンサ付き表示装置、いわゆるタッチパネルである。タッチセンサは、ユーザの指等による画面内の指示位置を検出する。これに限らず、トラックボール等により指示位置が入力されてもよい。

レーダー３は、自船の周囲に電波を発するとともにその反射波を受信し、受信信号に基づいてエコーデータを生成する。また、レーダー３は、エコーデータから物標を識別し、物標の位置及び速度を表す物標追跡データ（ＴＴデータ）を生成する。

ＡＩＳ（Automatic Identification System）４は、自船の周囲に存在する他船又は陸上の管制からＡＩＳデータを受信する。ＡＩＳに限らず、ＶＤＥＳ（VHF Data Exchange System）が用いられてもよい。ＡＩＳデータは、他船の識別符号、船名、位置、針路、船速、船種、船体長、及び行き先などを含んでいる。

カメラ５は、自船から外部を撮像して画像データを生成するデジタルカメラである。カメラ５は、例えば自船のブリッジに船首方位を向いて設置される。カメラ５は、パン・チルト機能及び光学ズーム機能を有するカメラ、いわゆるＰＴＺカメラであってもよい。

カメラ５は、例えば広角カメラであることが好ましい。また、カメラ５は、可視光カメラに限らず、赤外線カメラであってもよい。

ＧＮＳＳ受信機６は、ＧＮＳＳ（Global Navigation Satellite System）から受信した電波に基づいて自船の位置を検出する。ジャイロコンパス７は、自船の船首方位を検出する。ジャイロコンパスに限らず、ＧＰＳコンパスが用いられてもよい。

ＥＣＤＩＳ（Electronic Chart Display and Information System）８は、ＧＮＳＳ受信機６から自船の位置を取得し、電子海図上に自船の位置を表示する。また、ＥＣＤＩＳ８は、電子海図上に自船の計画航路も表示する。ＥＣＤＩＳに限らず、ＧＮＳＳプロッタが用いられてもよい。

無線通信部９は、例えば超短波帯、中短波帯、短波帯の無線設備など、他船又は陸上の管制との通信を実現するための種々の無線設備を含んでいる。

本実施形態では、データ収集装置１と表示部２は互いに独立した装置であるが、これに限らず、データ収集装置１と表示部２は一体の装置であってもよい。

本実施形態において、データ収集装置１は独立した装置であるが、これに限らず、ＥＣＤＩＳ８等の他の装置と一体であってもよい。すなわち、データ収集装置１の機能部が他の装置で実現されてもよい。

また、表示部２も独立した装置であるが、これに限らず、ＥＣＤＩＳ８等の他の装置の表示部が、データ収集装置１により生成された表示用画像を表示する表示部２として用いられてもよい。

図２は、データ収集装置１の構成例を示すブロック図である。データ収集装置１は、画像取得部１１、位置姿勢取得部１２、画像認識部１３、同定部１４、関連付け部１５、モデル保持部１６、一時記憶部１７、及びデータ記憶部１８を備えている。

データ収集装置１に含まれる機能部１１～１５は、データ収集装置１の制御部１０（processing circuitry）がプログラムに従って情報処理を実行することによって実現される。データ収集装置１に含まれる記憶部１６～１８は、データ収集装置１のメモリに確保される。

画像取得部１１は、カメラ５により撮像された画像を取得する。画像取得部１１は、カメラ５から時系列の複数の画像を順次取得し、画像認識部１３に順次提供する。時系列の複数の画像は、例えば動画像データに含まれる複数の静止画像（フレーム）である。

画像取得部１１により取得される画像は、自船が港湾海域などを航行するときにカメラ５により撮像される画像であり、港湾又は海上の物標を含む画像である。港湾の物標は、例えばクレーン等の荷捌きのための設置物、又は岸壁等の係留のための設置物などである。海上の物標は、例えば船舶や浮標等である。

具体的には、画像取得部１１は、港湾又は海上の物標を含む第１画像Ｐ１と、当該設置物を含み、第１画像Ｐ１よりも分解能が高い第２画像Ｐ２とを取得する。本実施形態では、第２画像Ｐ２は、第１画像Ｐ１が撮像された地点よりも物標に近づいた地点でカメラ５により撮像された画像である。

図３及び図４は、第１画像Ｐ１及び第２画像Ｐ２の例を示す図である。図５は、画像撮像地点の例を示す図である。Ｋ１及びＤ１は、第１画像Ｐ１が撮像された時点の自船ＳＳの位置及び方位を表し、Ｋ２及びＤ２は、第２画像Ｐ２が撮像された時点の自船ＳＳの位置及び方位を示している。

図３に示す例では、第１画像Ｐ１の画像中央に３つのクレーンＣ１～Ｃ３が比較的小さく含まれている。これに対し、図４に示す例では、第２画像Ｐ２の画像全体に２つのクレーンＣ１，Ｃ２が比較的大きく含まれている。なお、図４に示す例では、クレーンＣ３はカメラ５の画角から外れ、第２画像Ｐ２に含まれていない。

このように、第２画像Ｐ２は第１画像Ｐ１よりも分解能が高く、クレーンＣ１，Ｃ２をより識別し易い。これは、図５の例に示すように、第１画像Ｐ１は、クレーンＣ１～Ｃ３が設置された岸壁ＰＱから比較的遠い位置Ｋ１で撮像されたのに対し、第２画像Ｐ２は、岸壁ＰＱに比較的近い位置Ｋ２で撮像されたためである。

言い換えると、第１画像Ｐ１は、後段の画像認識部１３で物標の検知は可能であるものの、物標の分類まではできない画像である。一方、第２画像Ｐ２は、画像認識部１３で物標の検知が可能であり、且つ物標の分類も可能な画像である。分類が可能であるとは、例えば種別の推定の確度が十分なレベルにあることを指す。

このため、第１画像Ｐ１であるか第２画像Ｐ２であるかは、後段の画像認識部１３により判定されてもよい。すなわち、画像認識部１３による分類の結果、推定の確度が閾値未満である場合には第１画像Ｐ１とされ、推定の確度が閾値以上である場合には第２画像Ｐ２とされてもよい。

これに限らず、第２画像Ｐ２は、例えば第１画像Ｐ１で検知されたクレーンＣ１，Ｃ２の範囲を、カメラ５の光学ズーム機能を用いて拡大して撮像した画像であってもよいし、カメラ５よりも分解能が高い別のカメラにより撮像した画像であってもよい。

第２画像Ｐ２は、例えば第１画像Ｐ１で検知されたクレーンＣ１，Ｃ２の範囲を高解像度化した画像であってもよい。また、第１画像Ｐ１が赤外線カメラにより撮像された赤外線画像、第２画像Ｐ２が可視光カメラにより撮像された可視光画像であってもよい。

図２に示す位置姿勢取得部１２は、カメラ５により画像が撮像された時点の自船の位置及び向きを取得し、画像取得部１１により取得される画像に関連付ける。自船の位置は、ＧＮＳＳ受信機６により検出される自船の位置である。

自船の向きは、ジャイロコンパス７により検出される自船の船首方位である。また、自船の向きは、自船の船首方位だけでなく、不図示の姿勢センサにより検出される自船のロール又はピッチをさらに含んでもよい。

画像認識部１３は、モデル保持部１６に保持された学習済みモデルを用いて、画像取得部１１から提供される画像に含まれる物標の種別を推定する。具体的には、画像認識部１３は、画像に含まれる物標の画像内位置を検出し、物標の種別を推定し、推定の精度を算出する。

学習済みモデルは、学習用画像を入力データとし、学習用画像に含まれる物標の画像内位置及び種別を教師データとして、機械学習により予め生成される。このように生成された学習済みモデルは、画像に含まれる物標の画像内位置、物標の種別、及び推定の確度を出力する。

学習済みモデルには、例えば SSD（Single Shot MultiBox Detector）又は YOLO（You Only Look Once）等の物体検出モデルが用いられる。これに限らず、学習済みモデルには、Semantic Segmentation 又は Instance Segmentation 等の領域分割モデルが用いられてもよい。

図６及び図７は、画像認識部１３による第１画像Ｐ１及び第２画像Ｐ２の認識結果の例を示す図である。

第１画像Ｐ１に含まれるクレーンＣ１～Ｃ３は、境界ボックスＢ１～Ｂ３によって囲まれ、境界ボックスＢ１～Ｂ３には、推定された種別及びその確度が記載されたラベルＬ１～Ｌ３が付加される。

同様に、第２画像Ｐ２に含まれるクレーンＣ１，Ｃ２は、境界ボックスＢ１，Ｂ２によって囲まれ、境界ボックスＢ１，Ｂ２には、推定された種別及びその確度が記載されたラベルＬ１，Ｌ２が付加される。

第１画像Ｐ１は分解能が比較的低い画像であるため、推定の確度が比較的低い。図６の例では、クレーンＣ１，Ｃ３については、推定された種別が誤っている上、推定の確度も低い。クレーンＣ２については、推定された種別は正しいものの、推定の確度が低い。

一方、第２画像Ｐ２は分解能が比較的高い画像であるため、推定の確度が比較的高い。図７の例では、クレーンＣ１，Ｃ２については、推定された種別が正しく、且つ推定の確度も高い。

図２に示す一時記憶部１７は、第１画像Ｐ１を一時的に記憶する。本実施形態では、画像取得部１１により取得された画像のうち、画像認識部１３による認識の結果、推定の確度が閾値未満である物標を含む画像が、第１画像Ｐ１として一時記憶部１７に記憶される。

図８は、一時記憶部１７に記憶された第１画像Ｐ１を管理するための一時記憶データベースの例を示す図である。一時記憶データベースは、例えば「物標ＩＤ」、「画像」、「画像内位置」、「種別」、「確度」、「撮像位置」、「撮像方位」、「推定位置」、及び「付帯データ」等のフィールドを含んでいる。

「物標ＩＤ」は、物標を識別するための識別子である。「画像」は、第１画像Ｐ１のファイル名を表す。本例では、物標ＩＤ：００１～００３が、図６の例に示すクレーンＣ１～Ｃ３に対応するものとする。

「画像内位置」は、第１画像Ｐ１内で検出された物標の画像内位置を表す。画像内位置は、例えば物標を囲む境界ボックスの左上端点と右下端点の座標で表される。

「種別」は、画像認識部１３により推定された物標の種別を表す。本例では、物標ＩＤ：００１，００３の種別が、クレーンではなく電波塔又は橋と誤って推定されている。「確度」は、推定の確度を表す。確度は、例えば０以上１以下の値で表され、１に近いほど確度が高い。

「撮像位置」は、第１画像Ｐ１が撮像された時点の自船の位置を表す。自船の位置は、例えば緯度・経度によって表される。「撮像方位」は、第１画像Ｐ１が撮像された時点のカメラ５の撮像方位を表す。カメラ５の撮像方位は、自船の船首方位に対応する。

「推定位置」は、画像内位置、撮像位置、及び撮像方位等に基づいて算出される物標の推定位置を表す。推定位置の算出には、その他に、カメラ５の画角及び解像度等のパラメータも用いられる。

具体的には、推定位置は、始めに、画像内位置及び撮像方位から自船に対する相対位置として算出され、その後、撮像位置を用いて絶対位置に変換される。推定位置は、撮像位置と同様に、例えば緯度・経度によって表される。

「付帯データ」は、第１画像Ｐ１の撮像時点における自船又はその周囲の状態を表すデータである。付帯データは、例えば霧若しくは雨等の気象条件、又は港湾若しくはパース等の領域属性などのデータを含んでいる。

図２に示す同定部１４は、第１画像Ｐ１で検出された物標と、第２画像Ｐ２で検出された物標との同定を行う。本実施形態では、画像取得部１１により取得された画像のうち、画像認識部１３による認識の結果、検出された全ての物標の推定の確度が閾値以上である画像が、第２画像Ｐ２として同定部１４に提供される。

同定部１４は、第２画像Ｐ２を受け付けると、一時記憶部１７に記憶された第１画像Ｐ１の中から、第２画像Ｐ２で検出された物標と同一の物標を含む第１画像Ｐ１を抽出する。

同定部１４は、第１画像Ｐ１で検出された物標の推定位置と、第２画像Ｐ２で検出された物標の推定位置とが同一又は近似する場合に、２つの物標が同一であると判断する。物標の推定位置は、上述したように、画像内位置、撮像位置、及び撮像方位等に基づいて算出される。

関連付け部１５は、第１画像Ｐ１に、第２画像Ｐ２から推定された、推定の確度が閾値以上の物標の種別を関連付ける。そして、関連付け部１５は、第１画像Ｐ１及びこれに関連付けられた物標の種別を含むデータセットを、機械学習のための学習用データセットとしてデータ記憶部１８に記憶する。

具体的には、関連付け部１５は、同定部１４により一時記憶部１７から抽出された、第２画像Ｐ２と同一の物標を含む第１画像Ｐ１に、画像認識部１３により第２画像Ｐ２から推定された物標の種別を関連付ける。また、関連付け部１５は、第１画像Ｐ１に付帯データをさらに関連付けてもよい。

図９は、データ記憶部１８に記憶される学習用データセットの例を示す図である。学習用データセットは、第１画像Ｐ１、第１画像Ｐ１に含まれる物標の画像内位置及び種別、並びに付帯データを含んでいる。

このうち、物標の種別は、第２画像Ｐ２から推定された物標の種別である。すなわち、第１画像Ｐ１から推定された、推定の確度が閾値未満の物標の種別が、第２画像Ｐ２から推定された、推定の確度が閾値以上の物標の種別によって置き換えられている。

これにより、物標の分類ができない第１画像Ｐ１に、第２画像Ｐ２から推定された信頼性が高い種別を関連付けることができ、好適な学習用データセットを得ることが可能となる。

上記図８の例では、画像ＩＭＧ０１の一部の物標の種別がクレーンではなく電波塔又は橋と誤って推定されていたが、図９の例では、第２画像Ｐ２から推定された物標の種別が適用された結果、画像ＩＭＧ０１の全ての種別がクレーンとなっている。

図２の説明に戻る。データ記憶部１９に記憶された学習用データセットは、学習装置２００による学習済みモデルの再学習に用いられる。学習装置２００は、例えば陸地に設けられた１又は複数のサーバコンピュータである。

データ収集装置１は、例えば寄港時において学習装置２００との通信が確立すると、データ記憶部１８に記憶された学習用データセットを学習装置２００に転送する。また、データ収集装置１は、転送が完了した学習用データセットをデータ記憶部１８から削除し、空きを作る。

学習装置２００は、データ収集装置１から取得した学習用データセットを用いて、学習済みモデルの再学習を行う。具体的には、学習装置２００は、取得された学習用データセットに含まれる画像を入力データとし、物標の画像内位置、種別、及び付帯データを教師データとして、再学習を行う。

データ収集装置１は、学習装置２００に新バージョンの学習済みモデルが用意された場合、学習装置２００から新バージョンの学習済みモデルを取得し、モデル保持部１６に保持された旧バージョンの学習済みモデルと置き換える。

このように、データ収集装置１により収集された学習用データセットを用いて学習済みモデルの再学習を行い、さらに、データ収集装置１が再学習された学習済みモデルを用いて学習用データセットを収集するサイクルを繰り返すことにより、学習済みモデルの継続的な改善が可能となる。

図１０は、データ収集装置１において実現されるデータ収集方法の手順例を示す図である。データ収集装置１のＣＰＵは、プログラムに従って同図に示す情報処理を実行する。

まず、データ収集装置１は、カメラ５により撮像された画像を取得する（Ｓ１１、画像取得部１１としての処理）。次に、データ収集装置１は、自船の位置及び姿勢を取得し、画像に関連付ける（Ｓ１２－Ｓ１３、位置姿勢取得部１２としての処理）。

次に、データ収集装置１は、画像認識を行う（Ｓ１４、画像認識部１３にとしての処理）。具体的には、データ収集装置１は、学習済みモデルを用いて、画像に含まれる物標の画像内位置を検出し、物標の種別を推定し、推定の精度を算出する。

次に、データ収集装置１は、推定の確度が閾値未満の物標を含む画像を第１画像Ｐ１とし（Ｓ１５：ＹＥＳ）、第１画像Ｐ１及び物標に係る情報などを一時記憶データベース（図８参照）に登録して、処理を終了する。

一方、データ収集装置１は、全ての物標の推定の確度が閾値以上である画像を第２画像とし（Ｓ１５：ＮＯ）、一時記憶データベースを参照して、第２画像Ｐ２と同一の物標を含む第１画像Ｐ１が存在するか否か判定する（Ｓ１７，Ｓ１８、同定部１４としての処理）。

第２画像Ｐ２と同一の物標を含む第１画像Ｐ１が存在する場合（Ｓ１８：ＹＥＳ）、データ収集装置１は、第１画像Ｐ１に、第２画像Ｐ２から推定された、推定の確度が閾値以上の物標の種別を関連付けて保存し（Ｓ１９、関連付け部１５としての処理）、処理を終了する。

以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。

例えば、自船にカメラ５とは別のカメラを設け、別のカメラにより撮像された画像を第１画像Ｐ１とし、カメラ５により撮像された画像を第２画像Ｐ２として、第２画像Ｐ２の識別結果を第１画像Ｐ１に関連付けてもよい。これによれば、別のカメラのための学習用データセットを収集することが可能となる。この際、カメラ５と別のカメラの位置、分解能、及び画角の違い基づく視差に応じて、画像内位置を補正することが好ましい。

１ データ収集装置、２ 表示部、３ レーダー、４ ＡＩＳ、５ カメラ、６ ＧＮＳＳ受信機、７ ジャイロコンパス、８ ＥＣＤＩＳ、９ 無線通信部、１１ 画像取得部、１２ 位置姿勢取得部、１３ 画像認識部、１４ 同定部、１５ 関連付け部、１６ モデル保持部、１７ 一時記憶部、１８ データ記憶部、１００ データ収集システム、２００ 学習装置

Claims (12)

1. 船舶に設置されたカメラにより撮像された、港湾又は海上の物標を含む第１画像と、前記物標を含み、前記第１画像よりも分解能が高い第２画像とを取得する画像取得部と、
   前記第２画像から前記物標の種別を推定する画像認識部と、
   前記第１画像に、前記第２画像から推定された前記物標の種別を関連付ける関連付け部と、
   を備える、学習用データ収集装置。
2. 前記第２画像は、前記第１画像が撮像された地点よりも前記物標に近づいた地点で前記カメラにより撮像された画像である、
   請求項１に記載の学習用データ収集装置。
3. 前記第２画像は、前記第１画像の前記物標を含む範囲を前記カメラの光学ズーム機能を用いて拡大して撮像した画像である、
   請求項１に記載の学習用データ収集装置。
4. 前記第２画像は、前記第１画像の前記物標を含む範囲を前記カメラよりも分解能が高い別のカメラにより撮像した画像である、
   請求項１に記載の学習用データ収集装置。
5. 前記画像認識部は、前記第２画像から前記物標の種別を推定するとともに推定の確度を算出し、
   前記関連付け部は、前記確度が閾値以上である前記物標の種別を、前記第１画像に関連付ける、
   請求項１ないし４の何れかに記載の学習用データ収集装置。
6. 前記画像認識部は、前記第１画像から前記物標の種別を推定するとともに推定の確度を算出し、
   前記関連付け部は、前記確度が閾値未満である前記第１画像に、前記第２画像から推定された前記物標の種別を関連付ける、
   請求項１ないし５の何れかに記載の学習用データ収集装置。
7. 前記画像認識部は、前記カメラにより撮像された画像から前記物標の種別を推定するとともに推定の確度を算出し、前記確度が閾値以上の画像を前記第２画像とし、前記確度が閾値未満の画像を前記第１画像とする、
   請求項１ないし６の何れかに記載の学習用データ収集装置。
8. 前記船舶の位置及び向きを取得する位置姿勢取得部と、
   前記第１画像の撮像時点における前記船舶の位置及び向き、前記第１画像で検出された前記物標の画像内位置、前記第２画像の撮像時点における前記船舶の位置及び向き、並びに前記第２画像で検出された前記物標の画像内位置に基づいて、前記第１画像で検出された前記物標と前記第２画像で検出された前記物標とを同定する同定部と、
   をさらに備える、
   請求項１ないし７の何れかに記載の学習用データ収集装置。
9. 前記関連付け部は、前記第１画像に、前記第１画像の撮像時点における前記船舶又はその周囲の状態を表す付帯データをさらに関連付ける、
   請求項１ないし８の何れかに記載の学習用データ収集装置。
10. 船舶に設置されたカメラにより撮像された、港湾又は海上の物標を含む第１画像と、前記物標を含み、前記第１画像よりも分解能が高い第２画像とを取得し、
    前記第２画像から前記物標の種別を推定し、
    前記第１画像に、前記第２画像から推定された前記物標の種別を関連付ける、
    学習用データ収集方法。
11. さらに、前記第１画像及び前記第２画像から推定された前記物標の種別を含むデータセットを用いて、前記物標の種別を推定するための学習済みモデルを再学習する、
    請求項１０に記載の学習用データ収集方法。
12. 船舶に設置されたカメラにより撮像された、港湾又は海上の物標を含む第１画像と、前記物標を含み、前記第１画像よりも分解能が高い第２画像とを取得すること、
    前記第２画像から前記物標の種別を推定すること、及び、
    前記第１画像に、前記第２画像から推定された前記物標の種別を関連付けること、
    をコンピュータに実行させるためのプログラム。