JP7798197B2 - 検出装置、モデル生成装置、検出方法及びプログラム - Google Patents

Description

本発明は、レーダ画像のオブジェクト検出システムに関し、移動するターゲットオブジェクトによる散乱電波を測定し、スキャン中のターゲットの３Ｄレーダ画像を生成するイメージングが実行される。前記３Ｄ画像は、隠れた危険物の有無を検出、つまりチェックするために深層学習モジュールによって使用される。

従来のレーダ画像のオブジェクト検出システムの一例が非特許文献１に記載されている。この従来のオブジェクト検出システムは、レーダ信号測定手段と、画像生成手段と、オブジェクト検知手段とを備えている。具体的には、測定手段は、レーダ波を送信し、反射散乱波を受信するレーダアンテナを含む。また、生成された３Ｄレーダ画像は２Ｄに投影され、深層学習モジュールによってレーダ画像内の対象オブジェクトの有無を検出するために利用される。非特許文献１では、レーダ画像によるオブジェクト検出システムを隠蔽兵器の検知に利用している。

特許文献１には、監視オブジェクトの種類に応じて、監視オブジェクトの画像部分を抽出するための画像処理領域を設定することが記載されている。

特許文献２には、事前検査の結果に基づく画像の一部を対象人物が禁止物を所持しているか否かを判定するために利用することが開示されている。また、特許文献２には、透明画像に映るオブジェクトの形状に基づく判定方法の一例として、機械学習の利用が考えられることが記載されている。

国際公開第２００８／１３９５２９号 国際公開第２０２１／１６６１５０号

L. Carrer, "Concealed Weapon Detection: A microwave imaging approach", Master of Science Thesis, Delft University of Technology, 2012

しかしながら、非特許文献１の技術では、オブジェクトの検出に時間がかかる。特許文献１の技術は、機械学習による学習済みモデルの利用には適用できなかった。また、特許文献２には、学習済みモデルを用いて判定部の性能を低下させることなく処理時間を短縮する技術については開示されていない。

本発明の目的の一例は、学習済みモデルを検出に使用する場合に、検出精度を損なうことなくオブジェクト検出の処理時間を短縮することである。

本発明は、
３Ｄレーダ画像におけるサブジェクトの位置を特定する位置特定部と、
特定された前記サブジェクトの位置に基づく基準位置と、前記サブジェクトの種類ごとに指定された抽出サイズの１つと、を使用して、前記３Ｄレーダ画像から３Ｄサブ画像を抽出する抽出部と、
前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つの学習済みモデルを選択するモデル選択部と、
選択された前記学習済みモデルを使用して前記３Ｄサブ画像内のオブジェクトを検出する検出部と、
を備える検出装置
を提供する。

本発明は、
３Ｄレーダ画像におけるサブジェクトの位置を特定する位置特定部と、
特定された前記サブジェクトの位置に基づく基準位置と、前記サブジェクトの種類ごとに指定された抽出サイズの１つと、を使用して、前記３Ｄレーダ画像から３Ｄサブ画像を抽出する抽出部と、
前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つのモデルを選択するモデル選択部と、
前記３Ｄサブ画像と前記３Ｄサブ画像内の前記オブジェクトの位置を示す情報の組み合わせを学習データとして使用して選択された前記モデルに対して機械学習を実行する学習部と、
を備えるモデル生成装置
を提供する。

本発明は、
３Ｄレーダ画像におけるサブジェクトの位置を特定し、
特定された前記サブジェクトの位置に基づく基準位置と、前記サブジェクトの種類ごとに指定された抽出サイズの１つと、を使用して、前記３Ｄレーダ画像から３Ｄサブ画像を抽出し、
前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つの学習済みモデルを選択し、
選択された前記学習済みモデルを使用して前記３Ｄサブ画像内のオブジェクトを検出する
ことを含む、コンピュータによって行われる検出方法
を提供する。

本発明は、
３Ｄレーダ画像におけるサブジェクトの位置を特定し、
特定された前記サブジェクトの位置に基づく基準位置と、前記サブジェクトの種類ごとに指定された抽出サイズの１つと、を使用して、前記３Ｄレーダ画像から３Ｄサブ画像を抽出し、
前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つの学習済みモデルを選択し
選択された前記学習済みモデルを使用して前記３Ｄサブ画像内のオブジェクトを検出する
ことを含む検出方法をコンピュータに実行させるプログラム
を提供する。

本発明の目的は、学習済みモデルを検出に使用する場合に、検出精度を損なうことなくオブジェクト検出の処理時間を短縮することである。

図１は、レーダ画像計測システムのセットアップを説明するとともに、レーダに対するターゲットの相対位置を説明する図である。 図２は、第１実施形態に係る検出装置の機能ベースの構成を例示するブロック図である。 図３は、第１実施形態に係る検出装置を実現するコンピュータのハードウェア構成を例示するブロック図である。 図４は、第１実施形態の検出装置による処理の流れを例示するフローチャートである。 図５は、第１実施形態に係る検出装置の機能ベースの構成例を示すブロック図である。 図６は、第１実施形態に係る検出装置のサブジェクトＤＢのテーブル例を示す図である。 図７は、第１実施形態に係る検出装置のネットワークアーキテクチャＤＢの構成例を示す図である。 図８は、第１例のサブジェクトファインダを備えた検出装置の機能ベースの構成を例示するブロック図である。 図９は、第１実施形態に係る検出装置の動作例を示す図的表現である。 図１０は、実施例２のサブジェクトファインダを備えた検出装置の機能ベースの構成を例示するブロック図である。 図１１は、実施例３のサブジェクトファインダを備えた検出装置の機能ベースの構成を例示するブロック図である。 図１２は、第１実施形態に係る検出装置のサブジェクトＤＢのテーブルの他の例を示す図である。 図１３は、第１実施形態に係る検出装置の動作を例示するフローチャートである。 図１４は、第２実施形態に係るモデル生成装置の機能ベースの構成を例示するブロック図である。 図１５は、第２実施形態に係るモデル生成装置の処理の流れを例示するフローチャートである。 図１６は、第２実施形態に係るモデル生成装置の機能ベースの構成例を示すブロック図である。 図１７は、第２実施形態に係るモデル生成装置の動作を例示するフローチャートである。 図１８は、第３実施形態に係る検出装置の機能ベースの構成例を示すブロック図である。 図１９は、実施例３に係る検出装置の動作を例示するフローチャートである。

以下、本開示の実施形態について、図面を参照して詳細に説明する。尚、説明の明確化のため、各図面において同一の要素には同一の符号を付し、重複する説明は省略する。

第１実施形態

＜概略＞
まず、図１を参照して、レーダ画像用のオブジェクト検出システム９００の構成について説明する。

レーダ画像用のオブジェクト検出システム９００は次のように動作する。まず、レーダ信号の測定が行われる。測定ステップでは、レーダアンテナが特定の順序でレーダ信号を１つずつ送信し、その反射波がアンテナ受信機で受信される。測定されたレーダ信号は、レーダアンテナ情報を利用して画像生成手段により３Ｄレーダ画像を作成するために使用される。

このシステムの具体的な目的は、人物（ターゲット）９０が隠蔽された危険物を所持しているか否かを確認することである。システム９００は、ターゲット９０がスクリーニングエリア（エリア）９６内を歩いているとき、サイドパネル９４に設置された固定アンテナ（レーダ９２）によってターゲット９０を測定する。アンテナ内の送信機が１つずつ信号を送信し、受信した散乱信号が取得される。システム９００はまた、レーダ信号と同時にカメラ（カメラ９８）を使用してカメラ画像を取得する。しかし、本実施形態に係るシステム９００はカメラを含まなくてもよい。レーダ信号はアンテナ情報を使用して処理され、本来的に３Ｄのレーダ画像が生成される。隠された危険物がその人（ターゲット９０）に所持されている場合、それはレーダ画像に表示される。このように、レーダ画像は隠された危険物の検出に使用される。レーダ画像から危険物の存在を検出するには、機械学習による学習済みモデルを利用する。学習済みモデルは、深層学習モジュールに含まれていてもよい。理解できるように、ターゲット９０がまだ近くにある間に隠蔽されたオブジェクトの有無情報を取得することを期待しているため、セットアップ全体がリアルタイムで機能することが期待される。しかし、一般に学習済みモデルによる処理がボトルネックとなる。学習済みモデルへの入力画像は本来的に３Ｄであるため、３Ｄの計算複雑さの増大により処理時間が長くなることが予想される。処理時間を短縮する既存の方法は、背景技術で示唆されているように、３Ｄ画像をスケーリング又はダウンサンプリングするか、３Ｄ画像を２Ｄに投影するのみで、３Ｄ画像をより小さいサイズにサイズ変更する。しかし、これは情報の損失により学習済みモデルのパフォーマンスにも影響を与える可能性があるため、これは良い方法ではない。

前述したように、学習済みモデルを用いた検出部はリアルタイムに機能することが求められる。なぜなら、我々のターゲットは好ましい形態として移動しており、ターゲット９０がまだ検出システム９００の近くにある間に危険なオブジェクトを検出することを目指しているからである。前述したように、学習済みモデルへの入力画像は本来的に３Ｄであり、３Ｄの計算の複雑さによりリアルタイムで予測を取得することは困難である。本実施形態の検出装置１００によれば、レーダ画像に対する性能を損なうことなく、学習済みモデルの処理時間を短縮することができる。これは、元の３Ｄ画像の代わりに、抽出されたサブジェクトの３Ｄレーダ画像（３Ｄサブ画像）を学習済みモデルへの入力として使用することによって実現される。抽出されたサブジェクトの３Ｄ画像は、元の３Ｄレーダ画像と比較してサイズは縮小されているが、情報は同じである。学習済みモデルの処理時間は、特に３Ｄの場合、入力サイズの影響を受けやすいため、処理時間が短縮される。特に、本開示は、性能に影響を与えることなく入力画像サイズを縮小することにより学習済みモデルの処理を軽減する３Ｄレーダ画像用のサブジェクト抽出システムに関する。レーダ画像用のオブジェクト検出システム９００は、リアルタイムで機能できることが好ましい。

なお、サブジェクトとはターゲットを指し、オブジェクトとは有無情報を知りたい対象となるオブジェクトを指す。オブジェクトはサブジェクトの一部である場合もあるが、同じである必要はない。

＜機能ベースの構成の例＞
図２は、第１実施形態に係る検出装置１００の機能ベースの構成の一例を示す図である。第１実施形態の検出装置１００は、位置特定部１２、抽出部１４、モデル選択部１６、検出部１８を備える。位置特定部１２は、３Ｄレーダ画像におけるサブジェクトの位置を特定する。抽出部１４は、特定されたサブジェクトの位置に基づく基準位置と、サブジェクトの種類ごとに定められた抽出サイズの１つとを用いて、３Ｄレーダ画像から３Ｄサブ画像を抽出する。モデル選択部１６は、３Ｄサブ画像のサイズ及び３Ｄレーダ画像に含まれるサブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも学習済みモデルを選択する。検出部１８は、選択された学習済みモデルを用いて３Ｄサブ画像内のオブジェクトを検出する。以下に詳しく説明する。

本実施形態の検出装置１００は、オブジェクト検出システム９００に含まれてもよい。オブジェクトとしては、例えば、ターゲット９０が所持する危険物（ナイフ、銃等）が挙げられる。

まず、図１を用いてレーダ画像の取得について説明する。人物（ターゲット９０）は、サイドパネル９４に設置された固定レーダアンテナ（レーダ９２）の前でスクリーニングエリア９６を歩いているものとする。スクリーニングエリアにいるとき、ターゲットはカメラ９８の視野内にもある可能性があり、カメラ９８はレーダセンサーと同期した画像をキャプチャする。測定された散乱レーダ信号は画像化のために送信される。生成されたレーダ画像は本来的に３Ｄである。３Ｄレーダ画像は、測定された散乱レーダ信号から生成される。３Ｄレーダ画像は、検出装置１００内で生成されてもよいし、他の装置で生成されてもよい。生成された３Ｄレーダ画像はレーダ画像データベース（ＤＢ）に保存される。レーダ画像ＤＢは、１つ以上の記憶装置によって実現される。レーダ画像ＤＢは、検出装置１００に含まれてもよいし、含まれなくてもよい。

生成されたレーダ画像は、ターゲットが危険物を所持しているかどうかを検出するために使用される。検出部１８は、学習済みモデルを用いて３Ｄ画像からオブジェクトを検出する。学習済みモデルには、深層学習ネットワークが含まれる場合がある。深層学習ネットワークから短時間で、好ましくはリアルタイムで予測を取得するために、抽出部は、オブジェクトの存在を見つけるために入力として与えられるより小さいサイズの画像を抽出する。検出装置１００は、サブジェクト抽出装置とも呼ばれる。

ここで、サブジェクトとは画像を抽出する対象の全体又は一部を指し、オブジェクトとは例えば危険物を指す。上記のサブジェクトとは、画像のサブジェクト、つまり画像内で最大の面積／体積を占めるもので、例としては人間などの生体や車などの移動体などが挙げられる。一般性を失うことなく、複数のサブジェクトが存在する可能性がある。

本実施形態では、サブジェクトのアイデンティティは事前情報として検出装置１００に既知であると仮定する。例えば、３Ｄレーダ画像は、サブジェクトＩＤと対応付けられてレーダ画像ＤＢに格納される。サブジェクトＩＤは、例えば、大人、子供、高齢者などのサブジェクトの種類を示す。また、サブジェクトＩＤは、車両の種類や車種を示すものであってもよい。各画像のサブジェクトＩＤは、ターゲット９０の特徴を検出するセンサやターゲット９０を撮影するカメラ等の他の手段により特定され、レーダ画像ＤＢに格納される。

＜ハードウェア構成例＞
幾つかの実施形態において、検出装置１００に含まれる各機能部は、少なくとも１つのハードウェアコンポーネントによって実現され、各ハードウェアコンポーネントは、１つ以上の機能部を実現してもよい。幾つかの実施形態では、各機能部は少なくとも１つのソフトウェアコンポーネントで実装されてもよい。幾つかの実施形態では、各機能部は、ハードウェアコンポーネントとソフトウェアコンポーネントの組み合わせで実装されてもよい。

検出装置１００は、検出装置１００を実現するために製造された専用コンピュータで実現されてもよいし、パーソナルコンピュータ（ＰＣ）、サーバマシン、モバイル機器などの汎用コンピュータで実現されてもよい。

図３は、第１実施形態の検出装置１００を実現するコンピュータ１０００のハードウェア構成の一例を示すブロック図である
図３において、コンピュータ１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、記憶装置１０８０、入出力（Ｉ／Ｏ）インターフェース１１００、及びネットワークインターフェース１１２０を含む。

バス１０２０は、プロセッサ１０４０、メモリ１０６０、記憶装置１０８０が相互にデータを送受信するためのデータ伝送路である。プロセッサ１０４０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）などのプロセッサである。メモリ１０６０は、ＲＡＭ（Random Access Memory）等の一次記憶装置である。記憶媒体１０８０は、ハードディスクドライブ、ＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）等の二次記憶装置である。

Ｉ／Ｏインターフェースは、コンピュータ１０００とキーボード、マウス、表示装置などの周辺機器との間のインターフェースである。ネットワークインターフェースは、コンピュータ１０００が他のコンピュータと通信するための通信回線と、コンピュータ１０００との間のインターフェースである。

記憶装置１０８０は、検出装置１００の各機能部を実現するプログラムモジュールを記憶してもよい。ＣＰＵ１０４０が各プログラムモジュールを実行することにより、検出装置１００の各機能部が実現される。

＜処理の流れ＞
図４は、第１実施形態の検出装置１００の処理手順を例示するフローチャートである。

第１実施形態に係る検出方法は、コンピュータによって実行される。この検出方法は、位置特定ステップ（Ｓ１２）、抽出ステップ（Ｓ１４）、モデル選択ステップ（Ｓ１６）、検出ステップ（Ｓ１８）を含む。位置特定ステップでは、位置特定部１２が３Ｄレーダ画像におけるサブジェクトの位置を特定する。抽出ステップでは、抽出部１４が、特定されたサブジェクトの位置に基づく基準位置と、サブジェクトの種類ごとに定められた抽出サイズの１つとを用いて、３Ｄレーダ画像から３Ｄサブ画像を抽出する。モデル選択ステップにおいて、モデル選択部１６は、３Ｄサブ画像のサイズ及び３Ｄレーダ画像に含まれるサブジェクトの種類の少なくとも一方に基づいて、少なくとも学習済みモデルを選択する。検出ステップにおいて、検出部１８は、選択された学習済みモデルを用いて３Ｄサブ画像内のオブジェクトを検出する。

＜検出装置１００の構成例＞
第１実施形態に係るレーダ画像検出装置１００の構成例について、図５のブロック図を用いて詳細に説明する。

図５に示すように、第１実施形態に係る検出装置１００の構成例は、レーダ画像ＤＢ記憶部１０１、サブジェクトファインダ１０２、画像抽出部１０３、検出部１０４、サブジェクトＤＢ記憶部１０５、アプローチ選択部１０６、ネットワーク選択部１０７、ネットワークアーキテクチャＤＢ記憶部１１７を備える。

サブジェクトファインダ１０２は、位置特定部１２として機能する。画像抽出部１０３は、抽出部１４として機能する。ネットワーク選択部１０７は、モデル選択部１６として機能する。検出部１０４は、検出部１８として機能する。

レーダ画像ＤＢ記憶部１０１は、検出装置１００に含まれていてもよいし、含まれていてもよい。サブジェクトＤＢ記憶部１０５は、検出装置１００に含まれてもよいし、含まれなくてもよい。ネットワークアーキテクチャＤＢ記憶部１１７は、検出装置１００に含まれてもよいし、含まれなくてもよい。

この図の例では、検出装置１００は、抽出サイズ特定部を更に備える。抽出サイズ特定部は、少なくとも抽出サイズが複数のサブジェクトＩＤのそれぞれに対応付けられているサブジェクト情報と、３Ｄレーダ画像に含まれるサブジェクトのサブジェクトＩＤと、に基づいて、３Ｄサブ画像の抽出に使用する抽出サイズを特定する。図５のアプローチ選択部１０６は、抽出サイズ特定部として機能する。

次に、検出装置１００の動作について説明する。この操作は深層学習ネットワークの予測フェーズを説明していることに注意されたい。しかし、一般性を失うことなく、同じことを学習フェーズに拡張することができる。動作中は、上述のように３Ｄレーダ画像が計測され、レーダ画像ＤＢ記憶部１０１に記憶され、そこから１枚ずつ読み出されるものとする。次に、３Ｄレーダ画像はサブジェクトファインダ１０２に送られる。サブジェクトファインダ１０２は、サブジェクト（単一又は複数）の位置を特定し、サブジェクトの位置を３Ｄレーダ画像とともに画像抽出部１０３に渡す。サブジェクトファインダ１０２は、アプローチ選択部１０６からサブジェクトを見つける手段を受け取る。また、アプローチ選択部１０６は、抽出された画像サイズ（抽出サイズ）を画像抽出部１０３に出力する。画像抽出部１０３は、サブジェクト位置情報を用いてアプローチ選択部１０６から出力されたサイズの３Ｄサブ画像を抽出し、検出部１０４に渡す。検出部１０４は、オブジェクトの検出に深層学習モジュールを使用することができる。アプローチ選択部１０６はまた、抽出された画像サイズをネットワーク選択部１０７に渡し、ネットワーク選択部１０７は、抽出された画像サイズ及び／又はサブジェクトＩＤに基づいてＤＢから適切な深層学習ネットワークアーキテクチャを選択する。選択されたネットワークアーキテクチャは、検出部１０４への入力として与えられ、検出部１０４は、オブジェクトを検出するために、より小さいサイズの抽出画像（３Ｄサブ画像）も受け取る。検出部１０４は、３Ｄサブ画像をネットワークアーキテクチャ（学習済みモデル）に入力し、ネットワークアーキテクチャ（学習済みモデル）の出力として予測結果を取得する。検出部１０４の出力は、オブジェクトの有無情報（場合によっては位置も）を知らせる。

検出部１８は、オブジェクトの有無を示す情報、検出されたオブジェクトのクラス、及びオブジェクトの位置情報の少なくとも１つを出力してもよい。この構成において、検出部１０４から期待される出力は、注目オブジェクト（以下、「オブジェクト」と呼ぶ）の有無情報であり、そして、このオブジェクトはサブジェクトの一部であってもよいが、サブジェクトと同じである必要はない。オブジェクトの有無情報は、画像レベルのクラス（分類器）又はピクセルレベルのクラス（セグメンテーション）の形式をとることができる。更に、オブジェクトの位置を出力として与えることもできる。

レーダ画像ＤＢ記憶部１０１は、レーダ画像を提供する。レーダ画像ＤＢ記憶部１０１には、計測、生成された３Ｄレーダ画像が格納される。これは、３Ｄレーダ画像をサブジェクトファインダ１０２への入力として提供することにより、データソースとして機能する。

サブジェクトＤＢ記憶部１０５には、複数のサブジェクトサイズが予め記憶されている。各サイズはサブジェクトＩＤに関連付けられている。本構成例では、サブジェクトＤＢ記憶部１０５は、サブジェクトの各種情報（サイズ等）をサブジェクトＩＤに対応付けて表形式で記憶する。サブジェクトＤＢ記憶部１０５は、主キーとしてＩＤを使用してサブジェクトの情報を調べることができる。サブジェクトの情報の一例は、図６のサブジェクトＤＢのテーブル例に示すように、サブジェクトのサイズである。ここで、サブジェクトＤＢにおけるサブジェクトサイズとは、３Ｄレーダ画像において想定されるサブジェクトのサイズである。

また、サブジェクトＤＢ記憶部１０５には、サブジェクト位置を求めるための複数の手段が予め記憶されている。サブジェクトの位置を見つけるための各手段は、サブジェクトＩＤに関連付けられている。本構成例では、アプローチ選択部１０６は、サブジェクトＤＢ記憶部１０５から取得したサブジェクトの情報に基づいて、サブジェクトの位置を求めるアプローチを決定する。アプローチ選択部１０６は、サブジェクトの位置を見つけるための手段をサブジェクトファインダ１０２に出力する。また、アプローチ選択部１０６は、サブジェクト情報に基づいて、抽出された画像サイズとサブジェクトＩＤを画像抽出部１０３とネットワーク選択部１０７に出力する。サブジェクトの位置を見つける手段は、サブジェクトファインダ１０２の設計に依存し、手段の幾つかの例には、投影軸、位置軸（位置が見つけられる軸）などが含まれてもよい。アプローチ選択部１０６の幾つかの構成例を、サブジェクトファインダ１０２の構成例とともに説明する。

３Ｄレーダ画像がサブジェクトＩＤと対応付けられてレーダ画像ＤＢ記憶部１０１に記憶されている場合、アプローチ選択部１０６は、処理対象の３Ｄレーダ画像のサブジェクトＩＤを取得する。アプローチ選択部１０６は、取得したサブジェクトＩＤに基づいて、サブジェクトＤＢ記憶部１０５から、３Ｄレーダ画像を適用するサブジェクトのサイズとサブジェクト位置を求める手段を読み出す。

ネットワークアーキテクチャＤＢ記憶部１１７には、複数の学習済みモデルが予め記憶されている。各学習済みモデルは、３Ｄサブ画像のサイズ及びサブジェクトＩＤの少なくとも１つに関連付けられている。本構成例では、ネットワークアーキテクチャＤＢ記憶部１１７は、アーキテクチャを提供する（様々な画像サイズ、サブジェクトの種類などに対して）。ネットワークアーキテクチャＤＢ記憶部１１７は、様々な画像サイズ、サブジェクトの種類などに対する様々な学習されたネットワークアーキテクチャを含む。ネットワークアーキテクチャは、分類、オブジェクト検出、及び／又はセグメンテーションタスク用に事前学習されており、入力画像サイズ及び／又はサブジェクトＩＤによって区別できる。ネットワークアーキテクチャＤＢ記憶部１１７では、例えば、抽出された画像サイズ及び／又はサブジェクトＩＤなどのメタデータを使用することによって、ネットワークアーキテクチャについて調べることができる。ネットワークアーキテクチャＤＢ記憶部１１７に記憶されるネットワークアーキテクチャＤＢの構成例を図７に示し、図７において、異なるネットワークアーキテクチャはメタデータ情報によって区別できる。

ネットワーク選択部１０７は、アプローチ選択部１０６から受け取った抽出された画像サイズ及び／又はサブジェクトＩＤに基づいて、検出部１０４のためのネットワークアーキテクチャを選択する。ネットワークアーキテクチャは、抽出された画像サイズ及び／又はサブジェクトＩＤを検索キーとして使用して、ネットワークアーキテクチャＤＢ記憶部１１７から選択される。ネットワーク選択部１０７は、ネットワークアーキテクチャを検出部１０４に出力する。

学習された画像サイズとは異なる画像サイズにネットワークアーキテクチャを使用すると、パフォーマンスの低下につながることが理解されている。ここでは、前述の処理時間とパフォーマンス関連の理由から、画像はサイズ変更せずにネットワークアーキテクチャへの入力として与えられると想定されている。従って、抽出された画像サイズの変化に応じて、ネットワークアーキテクチャへの入力画像サイズが変化し、続いてネットワークアーキテクチャを変更する必要がある。更に、異なる種類のサブジェクトが存在する場合、各サブジェクトの種類のオブジェクトを検出するには専用のネットワークアーキテクチャが必要になる。この与えられた理由は、ネットワーク選択部１０７の必要性を示す。

検出部１０４は、ネットワーク選択部１０７からの選択されたネットワークアーキテクチャと、画像抽出部１０３からの抽出された３Ｄサブ画像に基づいて、レーダ画像内のオブジェクトの有無情報を取得する。検出部１０４は、オブジェクトの有無情報を出力する。前述したように、オブジェクトは、前述のサブジェクトの一部である場合があるが、同じでなくてもよい。また、前記深層学習モジュールは、分類器（画像ごとに単一／複数のクラスを出力）、オブジェクト検出器（画像ごとにオブジェクトのクラスと位置を出力）、又はセグメンテーションネットワーク（入力画像と同じサイズのピクセルレベルのクラスマップを出力）であることができる。検出部１０４は、オブジェクトの有無情報を画像レベルのクラス（分類）又はピクセルレベルのクラス（セグメンテーション）の形式で出力することができる。有無情報に加え、オブジェクトの位置も出力できる。

画像抽出部１０３は、サブジェクトファインダ１０２から受け取ったサブジェクト位置と、アプローチ選択部１０６から受け取った抽出された画像サイズとに基づいて、サブジェクトの３Ｄレーダ画像を抽出する。画像抽出部１０３は、サブジェクトファインダ１０２から元の３Ｄレーダ画像を受け取り、抽出を行う。画像抽出部１０３は、受信したサブジェクト位置を用いて元の３Ｄレーダ画像から画像を抽出する。画像抽出部１０３は、抽出した画像（すなわち、３Ｄサブ画像）を検出部１０４に出力する。前記サブジェクト位置は、例えば、サブジェクトの中心位置を示してもよいし、隅のいずれかを示してもよい。抽出された３Ｄサブ画像は、３Ｄレーダ画像の一部を単純に切り取った画像であってもよい。各３Ｄサブ画像には、サブジェクトの一部のみ、又はサブジェクトの全体が含まれる。画像抽出部１０３は、１つの３Ｄレーダ画像から複数の３Ｄサブ画像を生成してもよい。抽出された３Ｄサブ画像と３Ｄレーダ画像は、画質、解像度等が同じである。３Ｄレーダ画像における切り出し位置は、サブジェクトファインダ１０２から受信したサブジェクト位置に基づいて特定される。３Ｄサブ画像のサイズは、アプローチ選択部１０６から受け取った抽出サイズに基づいて特定される。

サブジェクトファインダ１０２は、アプローチ選択部１０６から受け取ったサブジェクトファインド手段と、レーダ画像ＤＢ記憶部１０１から読み出した元の３Ｄレーダ画像とに基づいて、３Ｄレーダ画像中のサブジェクトの位置を求める。サブジェクトファインダ１０２は、サブジェクト位置を画像抽出部１０３に出力する。また、サブジェクトファインダ１０２は、元のレーダ画像を画像抽出部１０３に出力する。

＜サブジェクトファインダ１０２の構成＞
次に、サブジェクトファインダ１０２及びアプローチ選択部１０６の詳細を、幾つかの構成例を用いて明らかにする。

＜＜サブジェクトファインダ１０２の第１例＞＞
本例において、３Ｄサブ画像の抽出に用いられる抽出サイズは、サブジェクト全体を抽出するためのサブジェクト抽出サイズである。基準位置は、サブジェクトの位置を示す。

サブジェクトファインダ１０２が、２Ｄプロジェクタ１０２ａとサブジェクト位置ファインダ１０２ｂの２つのサブブロックからなる、サブジェクトファインダ１０２の第１構成例を図８を参照して説明する。この手法は単一のサブジェクトを想定して説明されているが、同じことを複数のサブジェクトに拡張することができる。この例では、まず２Ｄ画像が投影によって生成され、それが処理されてサブジェクトの位置が特定される。２Ｄプロジェクタ１０２ａは、アプローチ選択部１０６からの投影軸（サブジェクトを発見する前記手段）に基づいて、投影された２Ｄ画像をサブジェクト位置ファインダ１０２ｂに出力する。２Ｄ画像は、３Ｄ画像を前記投影軸に沿って投影することによって生成される。投影は、最大投影、エネルギー投影、又はその他のものにすることができる。サブジェクト位置ファインダ１０２ｂは、２Ｄプロジェクタ１０２ａからの２Ｄ投影画像と、アプローチ選択部１０６からの位置を求める軸（サブジェクトを見つける前記手段）とに基づいて、２Ｄ画像におけるサブジェクトの位置を出力する。位置は、例えば、強度が最大である点を見つけるなど、様々な方法で見つけることができる。サブジェクトの位置は、サブジェクトファインダ１０２から画像抽出部１０３への出力として与えられる。レーダ画像全体から抽出レーダ画像を取得する全体の操作例を図９に図示する。

＜＜サブジェクトファインダ１０２の第２例＞＞
サブジェクトファインダ１０２は、例えば、フィルタリング、シャープ化などの幾つかの画像処理アルゴリズムに基づいて処理された２Ｄ画像を出力する画像処理部１０２ｅから構成される場合がある。画像処理部１０２ｅの目的は、例えば、クラスタリング、ピーク検出などの、サブジェクト位置ファインダブロックの動作を支援することである。それを図１０に示す。

＜＜サブジェクトファインダ１０２の第３例＞＞
本例では、３Ｄサブ画像の抽出に用いられる抽出サイズは、サブジェクトの一部のみを抽出する部分抽出サイズである。また、基準位置は、サブジェクトの一部の位置を示す。

サブジェクトファインダ１０２がサブジェクトの（事前に知られている）部分を発見することになっている、第１例の特殊なケースである、サブジェクトファインダ１０２のこの構成例を図１１を参照して説明する。なお、２Ｄプロジェクタ１０２ａ及びサブジェクト位置ファインダ１０２ｂの構成は、上記第１例で説明したものと同様であるため、説明を省略する。ここでの追加ブロックは、部位ファインダ１０２ｃが、サブジェクト位置ファインダ１０２ｂから受け取ったサブジェクト位置とアプローチ選択部１０６から受け取ったサブジェクトに対するサブジェクト部位の相対位置とに基づいて、サブジェクト部位の位置を画像抽出部１０３に出力する。部位ファインダ１０２ｃは、サブジェクトの（大域（global））位置情報と、単純な座標数学を用いた、サブジェクトに対する部位の相対位置とを有する場合、サブジェクト部位の（大域（global））位置を出力することができる。この構成例では、サブジェクトＤＢ記憶部１０５には、サブジェクト部位の相対位置とサブジェクト部位の大きさとの組み合わせが予め複数記憶されている。各組み合わせはサブジェクトＩＤに関連付けられる。更に、アプローチ選択部１０６は、サブジェクトＩＤを用いてサブジェクトＤＢ記憶部１０５からサブジェクトに対するサブジェクト部位の相対位置とサブジェクト部位のサイズを読み出す。サブジェクトＤＢ記憶部１０５で使用されるテーブル構成例を図１２に示す。

この構成例では、画像抽出部は、部位ファインダ１０２ｃから受け取ったサブジェクト部位の位置と、アプローチ選択部１０６から受け取った各部位の抽出画像サイズに基づいて、サブジェクトの部位の抽出画像（すなわち、３Ｄサブ画像）を検出部１０４に出力する。アプローチ選択部１０６は、サブジェクトＩＤに基づいてサブジェクトＤＢ記憶部１０５からサブジェクト部位の相対位置とサブジェクト部位のサイズを読み出す。検出部１０４は、ネットワーク選択部１０７により選択されたサブジェクト部位ごとのネットワーク（同一でも異なっていてもよい）を更に受け取る。そして、検出部１０４は、各サブジェクト部位の画像を個別に解析することにより、抽出された画像中のオブジェクトの有無情報を出力する。

次に、図１３に示すフローチャートを参照して、第１実施形態に係るレーダ画像の検出装置１００の動作モードにおける動作の一例について説明する。サブジェクト情報（サブジェクトＩＤに紐付けられたサイズ）は、サブジェクトＤＢ記憶部１０５に格納されている。更に、様々なネットワークアーキテクチャは、異なる画像サイズに対して事前学習され、ネットワークアーキテクチャＤＢ記憶部１１７に格納されている。

検出装置１００が起動すると、ステップＳ１０１において、レーダ画像ＤＢ記憶部１０１から３Ｄレーダ画像が読み込まれる。ステップＳ１０５では、サブジェクトＤＢ記憶部１０５からサブジェクト情報が読み出される。次に、アプローチ選択部１０６によりアプローチ、すなわちサブジェクトの位置を特定するためにどのような手段が必要かが特定され、画像抽出部１０３に出力として与えられる（ステップＳ１０６）。ネットワーク選択部１０７によりネットワークアーキテクチャＤＢ記憶部１１７からネットワークアーキテクチャが選択され、検出部１０４に出力される（ステップＳ１０７）。サブジェクトファインダ１０２はサブジェクト位置を見つけ、画像抽出部１０３に出力する（ステップＳ１０２）。画像抽出部１０３は、サブジェクト位置と抽出された画像サイズを用いて画像を抽出し、抽出した画像を検出部１０４に出力する（ステップＳ１０３）。検出部１０４は、分類又はセグメンテーションを使用して、抽出された３Ｄサブ画像内のオブジェクトの有無情報を予測する（ステップＳ１０４）。

以上説明したように、本開示の第１実施形態に係る検出装置１００は、サブジェクトの位置情報を利用して、より小さいサイズの画像を抽出する。これにより、学習済みモデル、すなわち検出部におけるオブジェクトの有無情報の予測の処理時間が短縮され、所望のリアルタイム動作が可能となる。画像サイズの縮小による学習済みモデルの処理時間の短縮は、（画像処理操作を実行する）サブジェクトファインダ１０２による処理時間のわずかな増加に比べてはるかに大きいことが理解できる。

第２実施形態

図１４は、第２実施形態に係るモデル生成装置２００の機能ベースの構成例を示す図である。モデル生成装置２００は、位置特定部２２と、抽出部２４と、モデル選択部２６と、学習部２８とを備える。位置特定部２２は、３Ｄレーダ画像におけるサブジェクトの位置を特定する。抽出部２４は、特定されたサブジェクトの位置に基づく基準位置と、サブジェクトの種類ごとに定められた抽出サイズの１つとを用いて、３Ｄレーダ画像から３Ｄサブ画像を抽出する。モデル選択部２６は、３Ｄサブ画像のサイズ及び３Ｄレーダ画像に含まれるサブジェクトの種類のうちの少なくとも１つに基づいて、少なくともモデルを選択する。学習部２８は、３Ｄサブ画像と、３Ｄサブ画像におけるオブジェクトの位置を示す情報との組み合わせを学習データとして、選択されたモデルに対して機械学習を実行する。以下に詳しく説明する。

位置特定部２２、抽出部２４、及びモデル選択部２６は、それぞれ第１実施形態に係る位置特定部１２、抽出部１４、及びモデル選択部１６と同様である。

モデル生成装置２００は、第１実施形態に係る検出装置１００で用いられる学習済みモデルを生成又は更新することができる。モデル生成装置２００によって生成又は更新された学習済みモデルは、検出装置１００のネットワークアーキテクチャＤＢ記憶部１１７に記憶されてもよい。

モデル生成装置２００は、第１実施形態で説明した検出装置１００を兼ねてもよい。すなわち、検出装置１００がアノテーション調整部２０９を備え、検出部１０４が学習部２０４を兼ねてもよい。この場合、学習済みモデルの出力と、正解データとしての３Ｄサブ画像内のオブジェクトの位置を示す情報とを比較することにより、検出装置１００の性能を評価してもよい。

＜ハードウェア構成例＞
幾つかの実施形態において、モデル生成装置２００に含まれる各機能部は、少なくとも１つのハードウェアコンポーネントで実現され、各ハードウェアコンポーネントは、１つ以上の機能部を実現してもよい。幾つかの実施形態では、各機能部は少なくとも１つのソフトウェアコンポーネントで実装されてもよい。幾つかの実施形態では、各機能部は、ハードウェアコンポーネントとソフトウェアコンポーネントの組み合わせで実装されてもよい。

モデル生成装置２００は、モデル生成装置２００を実現するために製造された専用コンピュータで実現されてもよいし、パーソナルコンピュータ（ＰＣ）、サーバマシン、モバイル機器などの汎用コンピュータで実現されてもよい。

モデル生成装置２００は、図３に示すコンピュータ１０００によって実現されてもよい。記憶装置１０８０は、モデル生成装置２００の各機能部を実現するプログラムモジュールを記憶してもよい。ＣＰＵ１０４０が各プログラムモジュールを実行することにより、モデル生成装置２００の各機能部が実現される。

＜処理の流れ＞
図１５は、第２実施形態のモデル生成装置２００の処理手順を示すフローチャートである。

第２実施形態に係るモデル生成方法は、コンピュータによって実行される。モデル生成方法は、位置特定ステップ（Ｓ２２）、抽出ステップ（Ｓ２４）、モデル選択ステップ（Ｓ２６）、及び学習ステップ（Ｓ２８）を含む。位置特定ステップでは、位置特定部２２が３Ｄレーダ画像におけるサブジェクトの位置を特定する。抽出ステップでは、抽出部２４が、特定されたサブジェクトの位置に基づく基準位置と、サブジェクトの種類ごとに定められた抽出サイズとを用いて、３Ｄレーダ画像から３Ｄサブ画像を抽出する。モデル選択ステップにおいて、モデル選択部２６は、３Ｄサブ画像のサイズ及び３Ｄレーダ画像に含まれるサブジェクトの種類のうちの少なくとも１つに基づいて、少なくともモデルを選択する。学習ステップにおいて、学習部２８は、３Ｄサブ画像と３Ｄサブ画像におけるオブジェクトの位置を示す情報との組み合わせを学習データとして、選択されたモデルに対して機械学習を行う。

＜モデル生成装置２００の構成例＞
次に、図１６のブロック図を参照して、第２実施形態に係るモデル生成装置２００の構成例を詳細に説明する。

図１６に示すように、第２実施形態に係るモデル生成装置２００の構成は、レーダ画像ＤＢ記憶部２０１と、サブジェクトファインダ２０２と、画像抽出部２０３と、アノテーションＤＢ記憶部２０８と、アノテーション調整部２０９、学習部２０４、サブジェクトＤＢ記憶部２０５、アプローチ選択部２０６、ネットワーク選択部２０７、ネットワークアーキテクチャＤＢ記憶部２１７を備えることができる。アノテーションＤＢ記憶部２０８は、モデル生成装置２００に含まれていてもよいし、含まれていなくてもよい。尚、レーダ画像ＤＢ記憶部２０１、サブジェクトファインダ２０２、サブジェクトＤＢ記憶部２０５、アプローチ選択部２０６、ネットワーク選択部２０７の構成と機能は、それぞれ、第１実施形態に係る、レーダ画像ＤＢ記憶部１０１、サブジェクトファインダ１０２、サブジェクトＤＢ記憶部１０５、アプローチ選択部１０６、ネットワーク選択部１０７の構成と機能と同じである。従って、説明は繰り返さない。また、画像抽出部２０３は、以下に説明する点を除き、第１実施形態に係る画像抽出部１０３と同様である。

サブジェクトファインダ２０２は、位置特定部２２として機能する。画像抽出部２０３は、抽出部２４として機能する。ネットワーク選択部２０７は、モデル選択部２６として機能する。学習部２０４は、学習部２８として機能する。

図１６のブロック図を参照して、第２実施形態に係るモデル生成装置２００の構成について説明する。この構成でも、サブジェクトのアイデンティティが事前情報としてサブジェクトファインダ２０２に知られていると仮定される。期待される出力は、有無情報に加えて、オブジェクトの位置であってもよい。このオブジェクトはサブジェクトの一部であってもよいが、サブジェクトと同じである必要はない。オブジェクトの有無や位置情報は、画像レベルのクラス（分類）やバウンディングボックス（オブジェクト検出）の形で表現できる。

この特定の実施形態は、グラウンドトゥルースオブジェクト位置が事前にわかっており、目的は、検出装置１００の性能を評価すること（予測フェーズ）、又は、検出装置１００の性能を向上させること（学習フェーズ）、又はその両方（オンライン予測と学習）である。３Ｄサブ画像におけるオブジェクトの位置を示す情報（正解データ）は、後述するようにグランドトゥルースオブジェクト位置（ground truth object position）を用いて取得される。

オブジェクトのグラウンドトゥルース位置と有無情報を総称してアノテーションと呼ぶ。抽出画像内でのサブジェクトの位置や抽出された画像サイズも変化するため、オブジェクトの位置情報も調整する必要がある。第２実施形態の目的は、抽出された画像内のサブジェクトの位置に応じてオブジェクトの位置を調整する（以下、アノテーション調整と呼ぶ）ことである。

アノテーションＤＢ記憶部２０８には、レーダ画像記憶部２０１に含まれる全てのレーダ画像のアノテーション情報がレーダ画像の名称で区別可能に格納されている。別の方法でサブジェクトの位置を特定し、アノテーション情報を予め用意しておく。

アノテーション調整部２０９は、サブジェクト位置及び画像抽出部２０３から受け取った抽出された画像サイズに基づいて、調整されたアノテーションを学習部２０４に出力する。グランドトゥルースアノテーション情報は、アノテーションＤＢ記憶部２０８から読み取られる。アノテーション調整部２０９は、アノテーション調整を支援するために、アノテーション情報の一部として元のレーダ画像サイズも受け取る。この例では、グランドトゥルース位置は、元のレーダ画像に対する長方形の境界ボックスによって指定される。調整とは、サブジェクトの位置に基づいて境界ボックスの中心を移動し、抽出された画像及び元の画像のサイズに基づいてサイズを調整することを意味する。

ネットワークアーキテクチャＤＢ記憶部２１７は、分類及び／又はオブジェクト検出のために、異なる入力画像サイズ及び／又はサブジェクトＩＤによって区別可能な、様々な学習済み又は未学習のネットワークアーキテクチャを含む。上記のアーキテクチャは、例えば、学習、パフォーマンス評価などの、当面のタスクに応じて事前学習される場合とされない場合がある。ネットワーク選択部２０７は、本開示の第１実施形態でネットワーク選択部１０７について説明したように、ネットワークアーキテクチャＤＢ記憶部２１７を利用してネットワークアーキテクチャを選択する。

学習部２０４は、モデルを含む選択されたネットワークアーキテクチャをネットワーク選択部２０７から取得する。モデルは、ニューラルネットワークを含む。学習部２０４は、画像抽出部２０３から取得した３Ｄサブ画像をネットワークアーキテクチャ（モデル）に入力する。学習部２０４は、ネットワーク選択部２０７から選択されたネットワークアーキテクチャ及び画像抽出部２０３からの抽出画像に基づいて、有無情報に加えてオブジェクトの位置を出力してもよい。更に、学習部２０４は、アノテーション調整部２０９から調整されたアノテーション情報も受信し、アーキテクチャパラメータの更新（学習）又はアーキテクチャの性能評価、又はその両方に使用することができる。学習では、３Ｄサブ画像と調整されたアノテーション情報の組み合わせが学習データとして使用される。学習部２０４は、画像レベルのクラス（分類）及びバウンディングボックス（オブジェクト検出）の形式でオブジェクトの有無及び位置情報を出力することができる。

次に、図１７に示すフローチャートを参照して、第２実施形態に係るモデル生成装置２００の運用モードにおける動作例について説明する。サブジェクト情報（ＩＤに紐付けられたサイズ）はサブジェクトＤＢ記憶部２０５に格納される。また、ネットワークアーキテクチャＤＢ記憶部２１７には、異なる画像サイズに応じた様々なネットワークアーキテクチャが記憶されている。なお、ステップＳ２０１、Ｓ２０２、Ｓ２０５、Ｓ２０６、及びＳ２０７は、本開示の第１実施形態で説明したステップＳ１０１、Ｓ１０２、Ｓ１０５、Ｓ１０６、及びＳ１０７と同様であるため、説明を省略する。

画像抽出部２０３は、サブジェクト位置と抽出画像サイズを用いて画像を抽出し、学習部２０４に出力し、更に、画像抽出部２０３は、サブジェクト位置及び抽出画像サイズをアノテーション調整部２０９に出力する（ステップＳ２０３）。アノテーション調整部２０９は、３Ｄレーダ画像の処理のために用意されたアノテーションをアノテーションＤＢ記憶部２０８から読み出し、入力されたサブジェクトの位置と抽出画像サイズを使用してアノテーションを調整し、次に、アノテーション調整部２０９は、調整されたアノテーションを学習部２０４に出力する（ステップＳ２０９）。学習部２０４は、画像抽出部２０３から抽出画像を受け取り、オブジェクトの有無情報とその位置を予測（分類／オブジェクト検出を用いてもよい）して出力する（ステップＳ２０４）。

以上説明したように、本開示の第２実施形態に係るモデル生成装置２００は、サブジェクトの位置情報を利用して、より小さいサイズの画像を抽出する。これにより、オブジェクトの有無及び位置情報を取得する処理時間が短縮され、所望のリアルタイム動作が可能となる。更に、アノテーション調整機能により、好ましくはリアルタイムでの学習者のパフォーマンス評価及び／又は更新が可能である。

第３実施形態

第３実施形態の検出装置１００は、以下に説明する点を除き、第１実施形態の検出装置１００と同様である。

第３実施形態の検出装置１００は、３Ｄレーダ画像に含まれるサブジェクトの種類を識別して、１つの抽出サイズを決定するためのサブジェクトＩＤを決定するサブジェクトＩＤ決定部を更に備える。以下に詳しく説明する。

図１８のブロック図を参照して、本開示の第３実施形態に係るレーダ画像検出装置１００の構成例について説明する。前の構成とは対照的に、この構成では、サブジェクトのアイデンティティが事前情報としてサブジェクトファインダに知られているとは想定されていない。ただし、サブジェクトのアイデンティティはリアルタイム情報として取得できる。リアルタイム操作のセットアップでは、サブジェクトのアイデンティティを事前に知ることが常に可能であるとは限らないため、実行時にサブジェクトのアイデンティティを見つける方がより現実的である。期待される出力は、第１実施形態と同様に、オブジェクトの有無情報である。このオブジェクトはサブジェクトの一部であってもよいが、サブジェクトと同じである必要はない。オブジェクトの有無は、画像レベルのクラス（分類）又はピクセルレベルのクラス（セグメンテーション）の形式で表現できる。本実施形態において、レーダ画像ＤＢ３０１に格納される３Ｄレーダ画像は、サブジェクトＩＤと対応付けられていなくてもよい。

図１８に示すように、第３実施形態に係る検出装置１００の構成のうち１つは、レーダ画像ＤＢ記憶部３０１、サブジェクトファインダ３０２、画像抽出部３０３、検出部３０４、サブジェクトＤＢ記憶部３０５、アプローチ選択部３０６、サブジェクト識別器（サブジェクトＩＤ特定部）３１０、ネットワーク選択部３０７、及びネットワークアーキテクチャＤＢ記憶部３１７を含むことができる。尚、レーダ画像ＤＢ記憶部３０１、サブジェクトファインダ３０２、画像抽出部３０３、検出部３０４、サブジェクトＤＢ記憶部３０５、アプローチ選択部３０６、ネットワーク選択部３０７、ネットワークアーキテクチャＤＢ記憶部３１７の構成と機能は、それぞれ、第１実施形態に係る、レーダ画像ＤＢ記憶部１０１、サブジェクトファインダ１０２、画像抽出部１０３、検出部１０４、サブジェクトＤＢ記憶部１０５、アプローチ選択部１０６、ネットワーク選択部１０７、ネットワークアーキテクチャＤＢ記憶部１１７の構成と機能と同じである。従って、説明は繰り返さない。

サブジェクトファインダ３０２は、レーダ９２から測定された散乱レーダ信号を取得してもよい。３Ｄレーダ画像は、レーダ画像ＤＢ記憶部３０１から取得する代わりに、検出装置１００内で生成されてもよい。

サブジェクト識別器３１０は、サブジェクト識別情報、例えばサブジェクトＩＤをアプローチ選択部３０６に出力する。サブジェクト識別器３１０は、サブジェクトを識別するために使用される追加情報を取得するために外部センサ４０に接続されてもよい。サブジェクトとは、レーダ画像ＤＢ記憶部３０１から読み出されて処理対象となる３Ｄレーダ画像に含まれるサブジェクトである。構成例の１つでは、サブジェクト識別器３１０は、撮影された光学画像を光学カメラから受け取る。外部センサ４０はカメラ９８であってもよい。サブジェクト識別器３１０は、サブジェクトを識別するために（他の手段の中でもとりわけ）オブジェクト検出手段を使用することができる。

次に、図１９に示すフローチャートを参照して、第３実施形態に係るレーダ画像の検出装置１００の動作モードにおける動作の一例について説明する。サブジェクト情報（ＩＤに紐付けられたサイズ）は、サブジェクトＤＢ記憶部３０５に格納される。また、ネットワークアーキテクチャＤＢ記憶部３１７には、異なる画像サイズに応じた様々なネットワークアーキテクチャが記憶されている。なお、ステップＳ３０１、Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５、Ｓ３０６、及びＳ３０７は、本開示の第１実施形態で説明したステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４、Ｓ１０５、Ｓ１０６、及びＳ１０７と同様である。従って、それらの説明は繰り返さない。

サブジェクト識別器３１０はサブジェクトを識別し、その識別情報をアプローチ選択部３０６に出力する。このステップでは、外部センサ情報を使用してもしなくてもよい（ステップＳ３１０）。

なお、第２実施形態で説明したモデル生成装置２００は、上述したサブジェクト識別器３１０を備えていてもよい。この場合、レーダ画像ＤＢ２０１に格納される３Ｄレーダ画像は、サブジェクトＩＤと対応付けられていなくてもよい。

以上説明したように、本開示の第３実施形態に係る検出装置１００は、サブジェクトの位置情報を利用して、より小さいサイズの画像を抽出する。これにより、オブジェクトの有無及び位置情報を取得する処理時間が短縮され、所望のリアルタイム動作が可能となる。更に、サブジェクトのアイデンティティーが事前にわかっている前提ではなく、好ましくはリアルタイムでサブジェクトを識別できる柔軟性がある。

上記で開示した実施形態の全部又は一部は、以下の付記のようにも記載できるが、これらに限定されるものではない。
１－１． ３Ｄレーダ画像におけるサブジェクトの位置を特定する位置特定部と、
特定された前記サブジェクトの位置に基づく基準位置と、前記サブジェクトの種類ごとに指定された抽出サイズの１つと、を使用して、前記３Ｄレーダ画像から３Ｄサブ画像を抽出する抽出部と、
前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つの学習済みモデルを選択するモデル選択部と、
選択された前記学習済みモデルを使用して前記３Ｄサブ画像内のオブジェクトを検出する検出部と、
を備える検出装置。
１－２．少なくとも抽出サイズが複数のサブジェクトＩＤのそれぞれに対応付けられているサブジェクト情報と、前記３Ｄレーダ画像に含まれる前記サブジェクトの前記サブジェクトＩＤと、に基づいて前記３Ｄサブ画像を抽出するために使用される前記１つの抽出サイズを決定する抽出サイズ決定部
を更に含む１－１．に記載の検出装置。
１－３．前記３Ｄレーダ画像に含まれる前記サブジェクトの種類を識別することによって、前記１つの抽出サイズを決定するために使用される前記サブジェクトＩＤを決定するサブジェクトＩＤ決定部
を更に含む１－２．に記載の検出装置。
１－４．前記３Ｄサブ画像の抽出に使用される前記１つの抽出サイズは、前記サブジェクト全体を抽出するためのサブジェクト抽出サイズである
１－１．～１－３．のいずれか１つに記載の検出装置。
１－５．前記３Ｄサブ画像の抽出に用いられる前記１つの抽出サイズは、前記サブジェクトの一部のみを抽出する部分抽出サイズであり、
前記基準位置は、前記サブジェクトの一部の位置を示す
１－１．～１－３．のいずれか１つに記載の検出装置。
１－６．前記検出部は、前記オブジェクトの有無を示す情報、検出された前記オブジェクトのクラス、及び前記オブジェクトの位置情報の少なくとも１つを出力する
１－１．～１－５．のいずれか１つに記載の検出装置。

２－１．３Ｄレーダ画像におけるサブジェクトの位置を特定する位置特定部と、
特定された前記サブジェクトの位置に基づく基準位置と、前記サブジェクトの種類ごとに指定された抽出サイズの１つと、を使用して、前記３Ｄレーダ画像から３Ｄサブ画像を抽出する抽出部と、
前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つのモデルを選択するモデル選択部と、
前記３Ｄサブ画像と前記３Ｄサブ画像内の前記オブジェクトの位置を示す情報の組み合わせを学習データとして使用して選択された前記モデルに対して機械学習を実行する学習部と、
を備えるモデル生成装置。
２－２．少なくとも抽出サイズが複数のサブジェクトＩＤのそれぞれに対応付けられているサブジェクト情報と、前記３Ｄレーダ画像に含まれる前記サブジェクトの前記サブジェクトＩＤと、に基づいて前記３Ｄサブ画像を抽出するために使用される前記１つの抽出サイズを決定する抽出サイズ決定部
を更に備える２－１．に記載のモデル生成装置。
２－３．前記３Ｄレーダ画像に含まれる前記サブジェクトの種類を識別することによって、前記１つの抽出サイズを決定するために使用される前記サブジェクトＩＤを決定するサブジェクトＩＤ決定部
を更に備える２－２．に記載のモデル生成装置。
２－４．前記３Ｄサブ画像の抽出に使用される前記１つの抽出サイズは、前記サブジェクト全体を抽出するためのサブジェクト抽出サイズである
２－１．～２－３．のいずれか１つに記載のモデル生成装置。
２－５．前記３Ｄサブ画像の抽出に用いられる前記１つの抽出サイズは、前記サブジェクトの一部のみを抽出する部分抽出サイズであり、
前記基準位置は、前記サブジェクトの一部の位置を示す
２－１．～２－３．のいずれか１つに記載の検出装置。

３－１．３Ｄレーダ画像におけるサブジェクトの位置を特定し、
特定された前記サブジェクトの位置に基づく基準位置と、前記サブジェクトの種類ごとに指定された抽出サイズの１つと、を使用して、前記３Ｄレーダ画像から３Ｄサブ画像を抽出し、
前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つの学習済みモデルを選択し
選択された前記学習済みモデルを使用して前記３Ｄサブ画像内のオブジェクトを検出する
ことを含む、コンピュータによって行われる検出方法。
３－２．少なくとも抽出サイズが複数のサブジェクトＩＤのそれぞれに対応付けられているサブジェクト情報と、前記３Ｄレーダ画像に含まれる前記サブジェクトの前記サブジェクトＩＤと、に基づいて前記３Ｄサブ画像を抽出するために使用される前記１つの抽出サイズを決定する
ことを更に含む３－１．に記載の検出方法。
３－３．前記３Ｄレーダ画像に含まれる前記サブジェクトの種類を識別することによって、前記１つの抽出サイズを決定するために使用される前記サブジェクトＩＤを決定する
ことを更に含む３－２．に記載の検出方法。
３－４．前記３Ｄサブ画像の抽出に使用される前記１つの抽出サイズは、前記サブジェクト全体を抽出するためのサブジェクト抽出サイズである
３－１．～３－３．のいずれか１つに記載の検出方法。
３－５．前記３Ｄサブ画像の抽出に用いられる前記１つの抽出サイズは、前記サブジェクトの一部のみを抽出する部分抽出サイズであり、
前記基準位置は、前記サブジェクトの一部の位置を示す
３－１．～３－３．のいずれか１つに記載の検出方法。
３－６．前記オブジェクトの有無を示す情報、検出された前記オブジェクトのクラス、及び前記オブジェクトの位置情報の少なくとも１つを出力する
ことを更に含む３－１．～３－５．のいずれか１つに記載の検出方法。

４－１．３Ｄレーダ画像におけるサブジェクトの位置を特定し、
特定された前記サブジェクトの位置に基づく基準位置と、前記サブジェクトの種類ごとに指定された抽出サイズの１つと、を使用して、前記３Ｄレーダ画像から３Ｄサブ画像を抽出し、
前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つの学習済みモデルを選択し、
選択された前記学習済みモデルを使用して前記３Ｄサブ画像内のオブジェクトを検出する
ことを含む検出方法をコンピュータに実行させるプログラム。
４－２．前記検出方法は、更に、少なくとも抽出サイズが複数のサブジェクトＩＤのそれぞれに対応付けられているサブジェクト情報と、前記３Ｄレーダ画像に含まれる前記サブジェクトの前記サブジェクトＩＤと、に基づいて前記３Ｄサブ画像を抽出するために使用される前記１つの抽出サイズを決定することを含む
４－１．に記載のプログラム。
４－３．前記検出方法は、更に、前記３Ｄレーダ画像に含まれる前記サブジェクトの種類を識別することによって、前記１つの抽出サイズを決定するために使用される前記サブジェクトＩＤを決定することを含む
４－２．に記載のプログラム。
４－４．前記３Ｄサブ画像の抽出に使用される前記１つの抽出サイズは、前記サブジェクト全体を抽出するためのサブジェクト抽出サイズである
４－１．～４－３．のいずれか１つに記載のプログラム。
４－５．前記３Ｄサブ画像の抽出に用いられる前記１つの抽出サイズは、前記サブジェクトの一部のみを抽出する部分抽出サイズであり、
前記基準位置は、前記サブジェクトの一部の位置を示す
４－１．～４－３．のいずれか１つに記載のプログラム。
４－６．前記検出方法は、更に、前記オブジェクトの有無を示す情報、検出された前記オブジェクトのクラス、及び前記オブジェクトの位置情報の少なくとも１つを出力することを含む
４－１．～４－５．のいずれか１つに記載のプログラム。

１００ 検出装置
２００ モデル生成装置
１２ 位置特定部
１４ 抽出部
１６ モデル選択部
１８ 検出部
１０１，２０１，３０１ レーダ画像ＤＢ記憶部
１０２，２０２，３０２ サブジェクトファインダ
１０３，２０３，３０３ 画像抽出部
１０４，３０４ 検出部
２２ 位置特定部
２４ 抽出部
２６ モデル選択部
２８ 学習部
２０４ 学習部
１０５，２０５，３０５ サブジェクトＤＢ記憶部
１０６，２０６，３０６ アプローチ選択部
１０７，２０７，３０７ ネットワーク選択部
１１７，２１７，３１７ ネットワークアーキテクチャＤＢ記憶部
２０９ アノテーション調整部
２０８ アノテーションＤＢ記憶部
３１０ サブジェクト識別器

Claims (10)

1. サブジェクトの種類を示すサブジェクトＩＤと対応付けられてレーダ画像データベースに格納されている、３Ｄレーダ画像における、サブジェクトの位置を特定する位置特定部と、
   少なくとも抽出サイズが複数のサブジェクトＩＤのそれぞれに対応付けられているサブジェクト情報と、前記３Ｄレーダ画像に含まれる前記サブジェクトの前記サブジェクトＩＤであって、前記レーダ画像データベースにおいて前記３Ｄレーダ画像に対応付けられた前記サブジェクトＩＤと、に基づいて３Ｄサブ画像を抽出するために使用される１つの抽出サイズを決定する抽出サイズ決定部と、
   特定された前記サブジェクトの位置に基づく基準位置と、前記１つの抽出サイズと、を使用して、前記３Ｄレーダ画像から前記３Ｄサブ画像を抽出する抽出部と、
   前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つの学習済みモデルを選択するモデル選択部と、
   選択された前記学習済みモデルを使用して前記３Ｄサブ画像内のオブジェクトを検出する検出部と、
   を備える検出装置。
2. ３Ｄレーダ画像におけるサブジェクトの位置を特定する位置特定部と、
   前記３Ｄレーダ画像と同期してキャプチャされた、前記サブジェクトを含む画像を用いて、前記３Ｄレーダ画像に含まれる前記サブジェクトの種類を識別することによって、１つの抽出サイズを決定するために使用されるサブジェクトＩＤを決定するサブジェクトＩＤ決定部と、
   少なくとも抽出サイズが複数のサブジェクトＩＤのそれぞれに対応付けられているサブジェクト情報と、前記３Ｄレーダ画像に含まれる前記サブジェクトの前記決定されたサブジェクトＩＤと、に基づいて３Ｄサブ画像を抽出するために使用される前記１つの抽出サイズを決定する抽出サイズ決定部と、
   特定された前記サブジェクトの位置に基づく基準位置と、前記１つの抽出サイズと、を使用して、前記３Ｄレーダ画像から前記３Ｄサブ画像を抽出する抽出部と、
   前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つの学習済みモデルを選択するモデル選択部と、
   選択された前記学習済みモデルを使用して前記３Ｄサブ画像内のオブジェクトを検出する検出部と、
   を備える検出装置。
3. 前記３Ｄサブ画像の抽出に使用される前記１つの抽出サイズは、前記サブジェクト全体を抽出するためのサブジェクト抽出サイズである
   請求項１または２に記載の検出装置。
4. 前記３Ｄサブ画像の抽出に用いられる前記１つの抽出サイズは、前記サブジェクトの一部のみを抽出する部分抽出サイズであり、
   前記基準位置は、前記サブジェクトの一部の位置を示す
   請求項１または２に記載の検出装置。
5. 前記検出部は、前記オブジェクトの有無を示す情報、検出された前記オブジェクトのクラス、及び前記オブジェクトの位置情報の少なくとも１つを出力する
   請求項１～４のいずれか１項に記載の検出装置。
6. サブジェクトの種類を示すサブジェクトＩＤと対応付けられてレーダ画像データベースに格納されている、３Ｄレーダ画像における、サブジェクトの位置を特定する位置特定部と、
   少なくとも抽出サイズが複数のサブジェクトＩＤのそれぞれに対応付けられているサブジェクト情報と、前記３Ｄレーダ画像に含まれる前記サブジェクトの前記サブジェクトＩＤであって、前記レーダ画像データベースにおいて前記３Ｄレーダ画像に対応付けられた前記サブジェクトＩＤと、に基づいて３Ｄサブ画像を抽出するために使用される１つの抽出サイズを決定する抽出サイズ決定部と、
   特定された前記サブジェクトの位置に基づく基準位置と、前記１つの抽出サイズと、を使用して、前記３Ｄレーダ画像から前記３Ｄサブ画像を抽出する抽出部と、
   前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つのモデルを選択するモデル選択部と、
   前記３Ｄサブ画像と前記３Ｄサブ画像内のオブジェクトの位置を示す情報の組み合わせを学習データとして使用して選択された前記モデルに対して機械学習を実行する学習部と、
   を備えるモデル生成装置。
7. サブジェクトの種類を示すサブジェクトＩＤと対応付けられてレーダ画像データベースに格納されている、３Ｄレーダ画像における、サブジェクトの位置を特定し、
   少なくとも抽出サイズが複数のサブジェクトＩＤのそれぞれに対応付けられているサブジェクト情報と、前記３Ｄレーダ画像に含まれる前記サブジェクトの前記サブジェクトＩＤであって、前記レーダ画像データベースにおいて前記３Ｄレーダ画像に対応付けられた前記サブジェクトＩＤと、に基づいて３Ｄサブ画像を抽出するために使用される１つの抽出サイズを決定し、
   特定された前記サブジェクトの位置に基づく基準位置と、前記１つの抽出サイズと、を使用して、前記３Ｄレーダ画像から前記３Ｄサブ画像を抽出し、
   前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つの学習済みモデルを選択し
   選択された前記学習済みモデルを使用して前記３Ｄサブ画像内のオブジェクトを検出する
   ことを含む、コンピュータによって行われる検出方法。
8. ３Ｄレーダ画像におけるサブジェクトの位置を特定し、
   前記３Ｄレーダ画像と同期してキャプチャされた、前記サブジェクトを含む画像を用いて、前記３Ｄレーダ画像に含まれる前記サブジェクトの種類を識別することによって、１つの抽出サイズを決定するために使用されるサブジェクトＩＤを決定し、
   少なくとも抽出サイズが複数のサブジェクトＩＤのそれぞれに対応付けられているサブジェクト情報と、前記３Ｄレーダ画像に含まれる前記サブジェクトの前記決定されたサブジェクトＩＤと、に基づいて３Ｄサブ画像を抽出するために使用される前記１つの抽出サイズを決定し、
   特定された前記サブジェクトの位置に基づく基準位置と、前記1つの抽出サイズと、を使用して、前記３Ｄレーダ画像から前記３Ｄサブ画像を抽出し、
   前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つの学習済みモデルを選択し、
   選択された前記学習済みモデルを使用して前記３Ｄサブ画像内のオブジェクトを検出する
   ことを含む、コンピュータによって行われる検出方法。
9. サブジェクトの種類を示すサブジェクトＩＤと対応付けられてレーダ画像データベースに格納されている、３Ｄレーダ画像における、サブジェクトの位置を特定し、
   少なくとも抽出サイズが複数のサブジェクトＩＤのそれぞれに対応付けられているサブジェクト情報と、前記３Ｄレーダ画像に含まれる前記サブジェクトの前記サブジェクトＩＤであって、前記レーダ画像データベースにおいて前記３Ｄレーダ画像に対応付けられた前記サブジェクトＩＤと、に基づいて３Ｄサブ画像を抽出するために使用される１つの抽出サイズを決定し、
   特定された前記サブジェクトの位置に基づく基準位置と、前記１つの抽出サイズと、を使用して、前記３Ｄレーダ画像から前記３Ｄサブ画像を抽出し、
   前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つの学習済みモデルを選択し
   選択された前記学習済みモデルを使用して前記３Ｄサブ画像内のオブジェクトを検出する
   ことを含む検出方法をコンピュータに実行させるプログラム。
10. ３Ｄレーダ画像におけるサブジェクトの位置を特定し、
    前記３Ｄレーダ画像と同期してキャプチャされた、前記サブジェクトを含む画像を用いて、前記３Ｄレーダ画像に含まれる前記サブジェクトの種類を識別することによって、１つの抽出サイズを決定するために使用されるサブジェクトＩＤを決定し、
    少なくとも抽出サイズが複数のサブジェクトＩＤのそれぞれに対応付けられているサブジェクト情報と、前記３Ｄレーダ画像に含まれる前記サブジェクトの前記決定されたサブジェクトＩＤと、に基づいて３Ｄサブ画像を抽出するために使用される前記１つの抽出サイズを決定し、
    特定された前記サブジェクトの位置に基づく基準位置と、前記1つの抽出サイズと、を使用して、前記３Ｄレーダ画像から前記３Ｄサブ画像を抽出し、
    前記３Ｄサブ画像のサイズ及び前記３Ｄレーダ画像に含まれる前記サブジェクトの種類のうちの少なくとも１つに基づいて、少なくとも１つの学習済みモデルを選択し、
    選択された前記学習済みモデルを使用して前記３Ｄサブ画像内のオブジェクトを検出する
    ことを含む検出方法をコンピュータに実行させるプログラム。