JP7235134B2 - 物体検知装置、学習方法、及び、プログラム - Google Patents

Description

本発明は、画像に含まれる物体を検知する技術に関する。

多くのパターンデータを用いて学習を行うことで、認識器の性能を向上できることが知られている。基礎となる認識器から各環境に適合させた認識器にチューニングすることも行われている。また、異なる環境に応じて認識精度を向上させる方法も各種提案されている。例えば、特許文献１には、文字の書かれている環境に応じた認識処理を行うパターン認識装置が記載されている。このパターン認識装置では、入力画像から抽出された処理対象の状態に応じて、複数登録されている認識器の中のいずれか１つ又は複数を呼び出して認識処理を行わせる。

また、認識器の性能を向上する別の方策として、特性の異なる複数の認識器を構築して、それらの出力に基づいて総合判断する方式が提案されている。例えば、特許文献２には、障害物の有無を判定する複数の判定部の判定結果に基づいて最終判定を行う障害物検出装置が記載されている。

特開２００７－０５８８８２号公報 特開２０１９－０３６２４０号公報

上記の手法では、複数の認識装置や判定装置の精度がほぼ同等であることを前提としている。このため、複数の認識装置や判定装置の精度が異なる場合には、最終的に得られる結果の精度が低下してしまう場合がある。

本発明の１つの目的は、特性の異なる複数の認識器を用いて、入力画像に応じた高精度な物体検知を可能とする物体検知装置を提供することにある。

上記の課題を解決するため、本発明の一つの観点では、物体検知装置は、
入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを出力する複数の物体検知手段と、
前記画像データに基づいて、前記複数の物体検知手段が出力するスコアを融合する際の重みを、重み算出パラメータを用いて、前記複数の物体検知手段の各々について算出する重み算出手段と、
前記重み算出手段が算出した重みのうち、予め定めた物体検知手段に対して得られた重みを０に変更して出力する重み再配分手段と、
前記重み再配分手段が変更した重みを含む、前記重み算出手段が算出した重みで、前記複数の物体検知手段が出力するスコアを前記部分領域毎に融合する融合手段と、
前記画像データの正解ラベルと、前記融合手段が融合したスコアとの差異をロスとして算出するロス算出手段と、
前記重み算出パラメータを、前記ロスが減少するように修正するパラメータ修正手段と、
を備える。

本発明の他の観点では、物体検知装置は、
入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを出力する複数の物体検知手段と、
前記画像データに基づいて、前記複数の物体検知手段が出力するスコアを融合する際の重みを、重み算出パラメータを用いて算出する重み算出手段と、
前記重み算出手段が算出した重みのうち、予め定めた物体検知手段に対して得られた重みを０に変更して出力する重み再配分手段と、
前記重み再配分手段が変更した重みを含む、前記重み算出手段が算出した重みで、前記複数の物体検知手段が出力するスコアを前記部分領域毎に融合する融合手段と、
前記画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを出力するターゲットモデルの物体検知手段と、
前記ターゲットモデルの物体検知手段の出力と、前記画像データの正解ラベルおよび前記融合手段が融合したスコアとの差異を示すロスを算出するロス算出手段と、
前記ロスが減少するように、前記ターゲットモデルの物体検知手段のパラメータを修正するパラメータ修正手段と、
を備える。

本発明のさらに他の観点では、物体検知装置の学習方法は、
入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを複数の物体検知手段から出力し、
前記画像データに基づいて、前記複数の物体検知手段が出力するスコアを融合する際の重みを、重み算出パラメータを用いて、前記複数の物体検知手段の各々について算出し、
算出された重みのうち、予め定めた物体検知手段に対して得られた重みを０に変更し、
変更された重みを含む、算出された重みで、前記複数の物体検知手段が出力するスコアを前記部分領域毎に融合し、
前記画像データの正解ラベルと、融合したスコアとの差異をロスとして算出し、
前記重み算出パラメータを、前記ロスが減少するように修正する。

本発明のさらに他の観点では、物体検知装置の学習方法は、
入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを複数の物体検知手段から出力し、
前記画像データに基づいて、前記複数の物体検知手段が出力するスコアを融合する際の重みを、重み算出パラメータを用いて算出し、
算出された重みのうち、予め定めた物体検知手段に対して得られた重みを０に変更し、
変更された重みを含む、算出された重みで、前記複数の物体検知手段が出力するスコアを前記部分領域毎に融合し、
前記画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアをターゲットモデルの物体検知手段から出力し、
前記ターゲットモデルの物体検知手段の出力と、前記画像データの正解ラベルおよび融合したスコアとの差異を示すロスを算出し、
前記ロスが減少するように、前記ターゲットモデルの物体検知手段のパラメータを修正する。

本発明によれば、特性の異なる複数の物体検知用の認識器を統合することで、入力画像に応じた高精度の物体検知が可能となる。

物体検知装置のハードウェア構成を示すブロック図である。 第１実施形態に係る学習のための物体検知装置の機能構成を示す。 アンカーボックスの概念を説明する図である。 アンカーの例を説明する図である。 第１実施形態に係る物体検知装置による学習処理のフローチャートである。 第１実施形態に係る推論のための物体検知装置の機能構成を示す。 第１実施形態に係る物体検知装置による推論処理のフローチャートである。 第２実施形態に係る学習のための物体検知装置の機能構成を示す。 第２実施形態に係る推論のための物体検知装置の機能構成を示す。 第３実施形態に係る学習のための物体検知装置の機能構成を示す。 第３実施形態の物体検知装置による学習処理のフローチャートである。 第３実施形態に係る推論のための物体検知装置の機能構成を示す。 第４実施形態に係る学習のための物体検知装置の機能構成を示す。 第４実施形態の物体検知装置を適用した場合の効果の一例を示す。 第４実施形態の物体検知装置による学習処理のフローチャートである。 第５実施形態に係る学習のための物体検知装置の機能構成を示す。 第５実施形態の物体検知装置による学習処理のフローチャートである。 第５実施形態に係る推論のための物体検知装置の機能構成を示す。 第６実施形態に係る学習のための物体検知装置の機能構成を示す。 第７実施形態に係る学習のための物体検知装置の機能構成を示す。

［第１実施形態］
次に、本発明の第１実施形態について説明する。
（ハードウェア構成）
図１は、物体検知装置のハードウェア構成を示すブロック図である。図示のように、物体検知装置１０は、インタフェース（ＩＦ）２と、プロセッサ３と、メモリ４と、記録媒体５と、データベース（ＤＢ）６と、を備える。

インタフェース２は、外部装置との通信を行う。具体的に、インタフェース２は、物体検知の対象となる画像データや学習用の画像データを外部から入力したり、物体検知の結果を外部装置へ出力する際に使用される。

プロセッサ３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又はＣＰＵとＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、物体検知装置１０の全体を制御する。メモリ４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ４は、プロセッサ３により実行される各種のプログラムを記憶する。また、メモリ４は、プロセッサ３による各種の処理の実行中に作業メモリとしても使用される。

記録媒体５は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、物体検知装置１０に対して着脱可能に構成される。記録媒体５は、プロセッサ３が実行する各種のプログラムを記録している。物体検知装置１０が学習処理を実行する際には、記録媒体５に記録されているプログラムがメモリ４にロードされ、プロセッサ３により実行される。

データベース６は、物体検知装置１０の学習処理において使用される、学習用の画像データを記憶する。学習用の画像データは、正解ラベルを含む。なお、上記に加えて、物体検知装置１０は、キーボード、マウスなどの入力機器や、表示装置などを備えていても良い。

（学習のための機能構成）
次に、学習のための物体検知装置１０の機能構成について説明する。図２は、学習のための物体検知装置１０の機能構成を示すブロック図である。なお、図２は、複数の物体検知部からの出力に対する最適な融合割合を学習する学習ステップを実行するための構成を示す。図示のように、物体検知装置１０は、画像入力部１１と、重み算出部１２と、第１の物体検知部１３と、第２の物体検知部１４と、積和部１５と、パラメータ修正部１６と、ロス算出部１７と、正解ラベル記憶部１８とを備える。画像入力部１１は、図１に示すインタフェース２により実現される、重み算出部１２、第１の物体検知部１３、第２の物体検知部１４、積和部１５、パラメータ修正部１６、および、ロス算出部１７は、図１に示すプロセッサ３により実現される。正解ラベル記憶部１８は図１に示すデータベース６により実現される。

物体検知装置１０の学習ステップでは、重み算出部１２が内部に有する重み算出のためのパラメータ（以下、「重み算出パラメータ」と呼ぶ。）を最適化する。なお、第１の物体検知部１３及び第２の物体検知部１４は、事前に学習済みであり、この学習ステップにおいて学習は行わない。

画像入力部１１には、画像データが入力される。画像データは、学習用の画像データであり、物体検知の対象となるエリアで撮影されたものである。前述のように、各画像データに対しては、その画像に含まれる物体を示す正解ラベルが予め用意されている。

第１の物体検知部１３は、例えばＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）、ＲｅｔｉｎａＮｅｔ、Ｆａｓｔｅｒ－ＲＣＮＮ（Ｒｅｇｉｏｎａｌ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などのディープラーニングによる物体検知用のニューラルネットワークに類似する構成を有する。但し、第１の物体検知部１３は、ＮＭＳ（Ｎｏｎ Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）処理を行って、検知した物体とそのスコアおよび座標情報をリスト形式などで出力する処理までは行わず、ＮＭＳ処理前のアンカーボックス毎に算出された認識対象物体のスコア情報および座標情報をそのまま出力する。ここでは、認識対象物体の有無を検証する、すべての部分領域のことを「アンカーボックス」と呼ぶ。

図３は、アンカーボックスの概念を説明する図である。図示のように、ＣＮＮの畳み込みにより得られた特徴マップ上に、スライディングウィンドウ（ｓｌｉｄｉｎｇ ｗｉｎｄｏｗ）が設定される。図３の例では、１つのスライディングウィンドウに対してｋ通りの大きさの異なるアンカーボックス（以下、単に「アンカー」とも呼ぶ。）が設定され、各アンカーに対して認識対象物体の有無が検証される。即ち、各アンカーは、すべてのスライディングウィンドウに対してｋ通りずつ設定される部分領域を指す。

アンカーの数はニューラルネットワークの構造やサイズに依存する。一例として、図４を参照して、モデルとしてＲｅｔｉｎａＮｅｔを使った場合のアンカーの例を説明する。図４は、ＲｅｔｉｎａＮｅｔの構造を示す図である。出力ネットワーク９０１の上段は、Ｗ×Ｈ×Ａ個のアンカーに対するスコア情報（Ｋ次元。つまり、Ｋ種類の認識対象）を記憶しており、下段はＷ×Ｈ×Ａ個のアンカーに対する座標情報（４次元）を記憶する。ここで、「Ｗ」はアンカー中心の横方向のバリエーション数、「Ｈ」はアンカー中心の縦方向バリエーション数、「Ａ」はアンカーの縦横サイズのバリエーション数を示す。座標情報は、認識対象物が存在する矩形領域の左右、上下４辺の座標情報を絶対値もしくはアンカーに対して一意に定められる基準位置からの相対位置で表してもよいし、上下４辺ではなく左辺と上辺および幅と高さの観点で表してもよい。

図示の出力ネットワーク９０１はｆｅａｔｕｒｅ ｐｙｒａｍｉｄ ｎｅｔ（特徴ピラミッドネット）の１層分に対して設定されたもので、ｆｅａｔｕｒｅ ｐｙｒａｍｉｄ ｎｅｔの別の階層に対しても同様にＫ次元のスコア情報と４次元の座標情報が出力される。以下、ｆｅａｔｕｒｅ ｐｙｒａｍｉｄ ｎｅｔのすべての階層に対して設定されるアンカーの数を「Ｎａ」と記すこととする。同一のアンカーに対するスコア情報と座標情報は、それらの情報を記憶するためのメモリの予め定められたメモリ位置に保存されるので、それらを容易に対応づけることができる。なお、前述のように、第１の物体検知部１３は事前に学習済みで、そのパラメータは固定されており、物体検知装置１０の学習ステップにおいて学習は行わない。

第２の物体検知部１４は、第１の物体検知部１３と同様であり、モデルの構造も同一とする。ただし、第１の物体検知部１３と第２の物体検知部１４とは、学習データが異なるか、もしくは学習時のパラメータの初期値が異なるなどの要因により、内部に所持するネットワークのパラメータは一致しておらず、認識特性も異なるものとする。

重み算出部１２は、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ：残差ネットワーク）などの回帰問題に適用可能なディープニューラルネットワークなどによって構成される。重み算出部１２は、画像入力部１１に入力された画像データに対して、第１の物体検知部１３と第２の物体検知部１４が出力するスコア情報および座標情報を融合する際の重みを決定し、それぞれの重みを示す情報を積和部１５へ出力する。基本的に、重みの次元数は用いる物体検知部の数に等しい。この場合、重み算出部１２は、第１の物体検知部１３に対する重みと第２の物体検知部１４に対する重みの総和が「１」になるように重みを算出することが好ましい。例えば、重み算出部１２は、第１の物体検知部１３に対する重みを「α」とし、第２の物体検知部１４に対する重みを「１－α」とすればよい。これにより、積和部１５における平均値算出処理を簡略化することができる。なお、物体検知部において、１つの物体に関するパラメータが２つある場合（例えば、ある物体らしいことを示すパラメータと、ある物体らしくないことを示すパラメータ）、重みの次元数は用いる物体検知部の数の２倍となる。

積和部１５は、第１の物体検知部１３および第２の物体検知部１４が出力するスコア情報および座標情報を、それぞれ対応するアンカー同士で、重み算出部１２が出力する重みに基づき積和した後に平均値を求める。なお、座標情報の積和演算は、正解ラベルに認識対象物体の存在が示されているアンカーに対してのみ行い、それ以外のアンカーに対しては計算不要である。平均値はアンカー毎かつ認識対象物体毎に算出され、Ｎａ×（ｋ＋４）次元となる。なお、積和部１５は、本発明の融合部の一例である。

正解ラベル記憶部１８は、学習用の画像データに対する正解ラベルを記憶している。具体的に、正解ラベル記憶部１８は、正解ラベルとして、各アンカーに存在する認識対象物体のクラス情報、および座標情報をアンカー毎に配列状に記憶する。正解ラベル記憶部１８は、認識対象物体が存在しないアンカーに対応する記憶エリアには、認識対象物体が存在しない旨を示すクラス情報、および座標情報を記憶する。クラス情報は、物体の種類を示すクラスコードと、そのクラスコードが示す物体が存在する確からしさを示すスコア情報とを含む。なお、学習用の画像データに対するもともとの正解情報は、入力画像に写っている認識対象物体の種類とその矩形領域を示すテキスト情報である場合が多いが、正解ラベル記憶部１８に記憶されている正解ラベルは、その正解情報をアンカー毎のクラス情報および座標情報に変換したデータとなっている。

例えば、正解ラベル記憶部１８は、ある物体が写っている矩形領域とあらかじめ定めた閾値以上の重複を有するアンカーについては、当該物体のスコアを表す正解ラベルの位置に、クラス情報として当該物体のスコアを示す値１．０を格納し、座標情報として当該アンカーの標準矩形位置に対する当該物体が写っている矩形領域の位置の相対量（左端ｘ座標のずれ量、上端ｙ座標のずれ量、幅のずれ量、高さのずれ量）を格納する。また、正解ラベル記憶部１８は、他の物体のスコアを表す正解ラベルの位置には物体が存在しない旨を示す値を格納する。また、ある物体が写っている矩形領域とあらかじめ定めた閾値以上の重複を有さないアンカーに対しては、正解ラベル記憶部１８は、物体のスコアおよび座標情報を格納する正解ラベルの位置に物体が存在しない旨を示す値を格納する。１つのアンカーに対し、クラス情報はｋ次元、座標情報は４次元となる。すべてのアンカーに対しては、クラス情報はＮａ×ｋ次元、座標情報はＮａ×４次元となる。この変換には、広く一般に公開されている物体検知課題向けのディープニューラルネットワークプログラムで使われている手法を適用することができる。

ロス算出部１７は、積和部１５が出力するＮａ×（ｋ＋４）次元のスコア情報および座標情報と、正解ラベル記憶部１８に記憶されている正解ラベルとを照合してロスの値を算出する。具体的には、ロス算出部１７は、スコア情報に関する識別ロス、および、座標情報に関する回帰ロス（Ｒｅｇｒｅｓｓｉｏｎ ｌｏｓｓ）を算出する。積和部１５が出力するＮａ×（ｋ＋４）次元の平均値は、第１の物体検知部１３がアンカー毎かつ認識対象物体毎に出力するスコア情報および座標情報と同義である。したがって、ロス算出部１７は、第１の物体検知部１３の出力に対する識別ロスの算出方法と全く等しい方法で識別ロスの値を算出することができる。ロス算出部１７は、すべてのアンカーに対するスコア情報の差分を累積して識別ロスを算出する。また、回帰ロスについては、ロス算出部１７は、いずれかの物体が存在するアンカーに対してのみ座標情報の差分を累積し、いずれの物体も存在しないアンカーに対しては座標情報の差分を考慮しない。

なお、識別ロスと回帰ロスを用いたディープニューラルネットワークの学習については以下の文献に記載されており、これを参考文献として取り込む。
”Ｌｅａｒｎｉｎｇ Ｅｆｆｉｃｉｅｎｔ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｍｏｄｅｌｓ ｗｉｔｈ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｔｉｌｌａｔｉｏｎ”，ＮｅｕｒＩＰＳ２０１７

パラメータ修正部１６は、ロス算出部１７が算出したロスを減少させるように、重み算出部１２に内在するネットワークのパラメータを修正する。この時、パラメータ修正部１６は、第１の物体検知部１３および第２の物体検知部１４のネットワークのパラメータを固定し、重み算出部１２のパラメータのみを修正する。パラメータ修正部１６は、パラメータの修正量を通常の誤差逆伝搬法により求めることができる。このようにして重み算出部１２のパラメータを学習することで、第１の物体検知部１３および第２の物体検知部１４の出力を最適に積和し、総合的に判定を行う物体検知装置を構築することが可能となる。

次に、学習のための物体検知装置１０の動作について説明する。図５は、物体検知装置１０による学習処理のフローチャートである。この処理は、図１に示すプロセッサ３が予め用意されたプログラムを実行することにより実現される。

まず、画像入力部１１に学習用の画像データが入力される（ステップＳ１１）。第１の物体検知部１３は、画像データを用いて物体検知を行い、画像中の認識対象物体のスコア情報と座標情報をアンカー毎かつ認識対象物体毎に出力する（ステップＳ１２）。同様に、第２の物体検知部１４は、画像データを用いて物体検知を行い、画像中の認識対象物体のスコア情報と座標情報をアンカー毎かつ認識対象物体毎に出力する（ステップＳ１３）。また、重み算出部１２は、画像データを読み込み、第１の物体検知部１３および第２の物体検知部１４の出力それぞれに対する重みを算出する（ステップＳ１４）。

次に、積和部１５は、第１の物体検知部１３が出力した認識対象物体のスコア情報と座標情報、並びに、第２の物体検知部１４が出力した認識対象物体のスコア情報と座標情報に、重み算出部１２が算出したそれぞれに対する重みを掛け合わせて加算し、それらの平均値を出力する（ステップＳ１５）。次に、ロス算出部１７は、得られた平均値と正解ラベルとの差を照合し、ロスを算出する（ステップＳ１６）。そして、パラメータ修正部１６は、ロスの値が減少するように、重み算出部１２に内在する重み算出パラメータを修正する（ステップＳ１７）。

物体検知装置１０は、上記のステップＳ１１～Ｓ１７を所定の条件の間だけ繰返し、処理を終了する。なお、「所定の条件」とは、繰返しの回数やロスの値の変化度合いなどに関する条件であり、多くのディープラーニングの学習手順として採用されている方法のいずれかを使用することができる。

以上のように、第１実施形態の物体検知装置１０によれば、重み算出部１２が入力画像に対する各物体検知部の得手・不得手を予測して重みを最適化し、その重みを各物体検知部の出力に乗じて平均する。よって、単体の物体検知部に比べて高精度な最終判定を行うことができる。例えば、第１の物体検知部１３は単独で歩く歩行者の検知を得意とし、第２の物体検知部１４は集団で歩く歩行者の検知を得意としている場合、入力画像にたまたま単独で歩く人が映っていたならば、重み算出部１２は第１の物体検知部１３により大きな重みを割り当てる。また、パラメータ修正部１６は、学習用の画像データの認識を得意とする物体検知部に対して重み算出部１２が大きな重みを算出するように、重み算出部１２のパラメータを修正する。

（推論のための機能構成）
次に、推論のための物体検知装置の機能構成について説明する。図６は、推論のための物体検知装置１０ｘの機能構成を示すブロック図である。なお、推論のための物体検知装置１０ｘも、基本的に図１に示すハードウェア構成で実現される。

図６に示すように、推論のための物体検知装置１０ｘは、画像入力部１１と、重み算出部１２と、第１の物体検知部１３と、第２の物体検知部１４と、積和部１５と、極大値選択部１９と、を備える。ここで、画像入力部１１、重み算出部１２、第１の物体検知部１３、第２の物体検知部１４、および、積和部１５は、図２に示す学習のための物体検知装置１０と同様である。そして、重み算出部１２は、上記の学習処理により学習されたものを使用する。

極大値選択部１９は、積和部１５が出力するＮａ×ｋ次元のスコア情報にＮＭＳ処理を施して認識対象物体の種類を同定し、そのアンカーに対応する座標情報からその位置を特定して物体検知結果を出力する。物体検知結果は、認識対象物体毎に、その種類と位置とを含む。これにより、第１の物体検知部１３および第２の物体検知部１４の出力を最適に融合して総合判断した場合の物体検知結果を得ることができる。

次に、推論のための物体検知装置１０ｘの動作について説明する。図７は、物体検知装置１０ｘによる推論処理のフローチャートである。この処理は、図１に示すプロセッサ３が予め用意されたプログラムを実行することにより実現される。

まず、画像入力部１１に学習用の画像データが入力される（ステップＳ２１）。第１の物体検知部１３は、画像データを用いて物体検知を行い、画像中の認識対象物体のスコア情報と座標情報をアンカー毎かつ認識対象物体毎に出力する（ステップＳ２２）。同様に、第２の物体検知部１４は、画像データを用いて物体検知を行い、画像中の認識対象物体のスコア情報と座標情報をアンカー毎かつ認識対象物体毎に出力する（ステップＳ２３）。また、重み算出部１２は、画像データを読み込み、第１の物体検知部１３および第２の物体検知部１４の出力それぞれに対する重みを算出する（ステップＳ２４）。

次に、積和部１５は、第１の物体検知部１３が出力した認識対象物体のスコア情報と座標情報、並びに、第２の物体検知部１４が出力した認識対象物体のスコア情報と座標情報に、重み算出部１２が算出したそれぞれに対する重みを掛け合わせて加算し、それらの平均値を出力する（ステップＳ２５）。最後に、極大値選択部１９は、平均値に対してＮＭＳ処理を施し、認識対象物体の種類とその位置を物体検知結果として出力する（ステップＳ２６）。

（変形例）
上記の第１実施形態に対しては、以下の変形例を適用することができる。
（１）上記の第１実施形態では、各物体検知部が出力するスコア情報および座標情報を用いて学習を行っているが、座標情報は用いず、スコア情報のみを用いて学習を行うこととしてもよい。

（２）上記の第１実施形態では、第１の物体検知部１３および第２の物体検知部１４の２つの物体検知部を用いたが、物体検知部は原理上３つ以上でも全く問題ない。その場合は、重み算出部１２が出力する重みの次元数（数）を、物体検知部の数と等しくすればよい。

（３）第１の物体検知部１３および第２の物体検知部１４を構成する具体的なアルゴリズムとしては、物体検知のためのディープラーニング手法であれば何を用いてもよい。また、重み算出部１２としては、回帰問題向けのディープラーニングに限らず、誤差逆伝搬法で学習できる関数、いいかえると、重みを算出する関数のパラメータで誤差関数を偏微分可能な関数、であれば何を用いても構わない。

（４）また、上記の第１実施形態は物体検知装置としたが、物体の検知に限らず、映像中で起きている事象情報とその座標情報を出力する事象検知装置としてもよい。「事象」とは、例えばあらかじめ定めた人物の振る舞いや動作、ジェスチャーのようなものや、土砂崩れや雪崩、河川の水位上昇といった自然現象などを指す。

（５）また、上記の第１実施形態では、第１の物体検知部１３と第２の物体検知部１４とはモデルの構造の等しいものを用いるものとしているが、異なるモデルを用いてもよい。ただし、その場合は、積和部１５にて、略等しい位置に対応する双方のアンカーの対応づけを工夫する必要がある。これは、異なるモデル間のアンカーは、完全一致しないためである。現実的な実装としては、第２の物体検知部１４で設定される各アンカーを第１の物体検知部１３で設定されるアンカーのいずれか１つに対応させ、第１の物体検知部１３で設定されるアンカー毎に重み付け平均を計算し、第１の物体検知部１３で設定されるアンカー毎かつ認識対象物体毎のスコア情報および座標情報を出力するようにすればよい。アンカーの対応の決め方としては、アンカーに対応する画像領域（物体が存在する矩形領域）を求め、その画像領域がもっとも過不足なく重複するアンカー同士を対応付ければよい。

［第２実施形態］
次に、本発明の第２実施形態について説明する。なお、以下に説明する学習のための物体検知装置２０及び推論のための物体検知装置２０ｘは、いずれも図１に示すハードウェア構成により実現される。

（学習のための機能構成）
図８は、第２実施形態に係る学習のための物体検知装置２０の機能構成を示すブロック図である。図示のように、学習のための物体検知装置２０は、図２に示す物体検知装置１０における重み算出部１２及びパラメータ修正部１６の代わりに、アンカー毎重み算出部２１及びアンカー毎パラメータ修正部２２を有する。これ以外は、第２実施形態の物体検知装置２０は、第１実施形態の物体検知装置１０と同一である。即ち、画像入力部１１、第１の物体検知部１３、第２の物体検知部１４、積和部１５、ロス算出部１７および正解ラベル記憶部１８は、第１実施形態の物体検知装置１０とそれぞれ同一であり、基本的に第１実施形態と同様に動作する。

アンカー毎重み算出部２１は、画像入力部１１に入力された画像データに基づいて、その画像データに設定される各アンカーに対して、第１の物体検知部１３と第２の物体検知部１４の出力に対する重みを算出し、積和部１５に出力する。ここで、第１実施形態の重み算出部１２が画像全体に対して１通りの重みを設定していたのに対し、第２実施形態のアンカー毎重み算出部２１は、画像のアンカー毎、即ち部分領域毎に、各物体検知部の出力に対する重みを算出する。画像データに設定されるアンカー数をＮａ、物体検知部の数をＮｆとすると、アンカー毎重み算出部２１が出力する倍率を示す情報の次元数はＮａ×Ｎｆ次元となる。アンカー毎重み算出部２１は、多次元の回帰問題に適用できるディープニューラルネットワークなどで構成することができる。また、アンカー毎重み算出部２１は、それぞれの物体検知部に対する近傍のアンカー同士ができるだけ近い重みを持つように、近傍のアンカーに対応する重みを平均化するような構造のネットワークを含んでもよい。

積和部１５は、第１の物体検知部１３および第２の物体検知部１４がそれぞれアンカー毎かつ認識対象物体毎に出力するスコア情報および座標情報を、同じもの同士対応づけながら、アンカー毎重み算出部２１が出力する物体検知部毎かつアンカー毎の重みに基づき積和した後に平均値を求める。平均値の次元数は、第１実施形態と等しくＮａ×（ｋ＋４）次元となる。

アンカー毎パラメータ修正部２２は、ロス算出部１７が算出したロスを減少させるようにアンカー毎重み算出部２１に含まれる物体検知部毎かつアンカー毎の重み算出パラメータを修正する。この時、第１実施形態と同様に、第１の物体検知部１３および第２の物体検知部１４のネットワークのパラメータは固定し、アンカー毎パラメータ修正部２２は、アンカー毎重み算出部２１のパラメータのみを修正する。パラメータの修正量は、通常の誤差逆伝搬法により求めることができる。

学習時において、第２実施形態の物体検知装置２０は、基本的に図５に示す第１実施形態の学習処理と同様の処理を実行する。但し、第２実施形態では、図５に示す学習処理において、ステップＳ１４でアンカー毎重み算出部２１がアンカー毎に各物体検知部の出力に対する重みを算出する。また、ステップＳ１７では、アンカー毎パラメータ修正部２２がアンカー毎に、アンカー毎重み算出部２１内の重み算出パラメータを修正する。

（推論のための機能構成）
第２実施形態における、推論のための物体検知装置の構成について説明する。図９は、第２実施形態における、推論のための物体検知装置２０ｘの機能構成を示すブロック図である。第２実施形態の推論のための物体検知装置２０ｘは、図６に示す第１実施形態の推論のための物体検知装置１０ｘにおける重み算出部１２の代わりに、アンカー毎重み算出部２１を有する。これ以外の点では、第２実施形態の推論のための物体検知装置２０ｘは、第１実施形態の推論のための物体検知装置１０ｘと同一である。よって、第２実施形態では、アンカー毎重み算出部２１がアンカー毎に重みを算出し、第１の物体検知部１３及び第２の物体検知部１４に出力する。

推論時において、第２実施形態の物体検知装置２０ｘは、基本的に図７に示す第１実施形態の学習処理と同様の処理を実行する。但し、第２実施形態では、図７に示す学習処理において、ステップＳ２４でアンカー毎重み算出部２１がアンカー毎に各物体検知部の出力に対する重みを算出する。

第２実施形態では、入力された画像データに基づいて、各物体検知部の出力の確からしさをアンカー毎、言い換えると場所毎に推測して重みを算出し、その重みを用いて各物体検知部の出力を重み付け平均する。よって、複数の物体検知部の出力を用いて、より高精度な最終判定を行うことができる。例えば、第１の物体検知部１３は単独で歩く歩行者の検知を得意とし、第２の物体検知部１４は集団で歩く歩行者の検知を得意としている場合、入力された画像に単独で歩く人と集団で歩く人が共に映っていたならば、アンカー毎重み算出部２１は単独で歩く人の位置付近に対応するアンカーには第１の物体検知部１３の出力をより重視し、集団で歩く人の位置付近に対応するアンカーには第２の物体検知部１４の出力をより重視するような重みを出力する。こうして、より高精度な最終判定が可能となる。また、アンカー毎パラメータ修正部２２は、学習用の画像データの認識を得意とする物体検知部の出力をより重視する重みをアンカー毎重み算出部２１が出力するよう、画像の部分領域毎にパラメータを修正することができる。

（変形例）
上述した第１実施形態における変形例（１）～（５）は、第２実施形態においても適用することができる。さらに、第２実施形態では、以下の変形例（６）を適用することができる。

（６）上記の第２実施形態では、アンカー毎重み算出部２１がアンカー毎に最適な重み付けを行っているが、例えばＲｅｔｉｎａＮｅｔのように各物体検知部がクラス毎に異なるバイナリ識別器を持っているならば、アンカー毎ではなくクラス毎に重みを変えられるようにしてもよい。この場合は、アンカー毎重み算出部２１に代えてクラス毎重み算出部を設け、アンカー毎パラメータ修正部２２に代えてクラス毎パラメータ修正部を設ければよい。画像データに設定されるアンカー数をＮａ、物体検知部の数をＮｆとすると、アンカー毎重み算出部２１が出力する重みの次元数はＮａ×Ｎｆ次元である。これに対し、クラス数をＮｃ次元とすると、クラス毎重み算出部が出力する重みの次元数はＮｃ×Ｎｆ次元となる。クラス毎パラメータ修正部によるクラス毎重み算出部のパラメータの学習は、通常のように出力層ニューロン側からロスを最小化するようにバックプロパゲーションを適用すればよい。この構成によれば、例えば、物体検知部毎に検知が得意なクラスが異なる場合、クラス毎に異なる最適な重み付けを行うことが可能となる。

［第３実施形態］
次に、本発明の第３実施形態について説明する。第３実施形態は、画像データの撮影環境情報を用いて、各物体検知部に対する重み付けを行うものである。なお、以下に説明する学習のための物体検知装置３０及び推論のための物体検知装置３０ｘは、いずれも図１に示すハードウェア構成により実現される。

（学習のための機能構成）
図１０は、第３実施形態に係る学習のための物体検知装置３０の機能構成を示すブロック図である。図示のように、学習のための物体検知装置３０は、図２に示す物体検知装置１０における重み算出部１２の代わりに重み算出／環境予測部３１を備え、さらに予測ロス算出部３２を追加した構成を有する。これ以外は、第３実施形態の物体検知装置３０は、第１実施形態の物体検知装置１０と同一である。即ち、画像入力部１１、第１の物体検知部１３、第２の物体検知部１４、積和部１５、ロス算出部１７および正解ラベル記憶部１８は、第１実施形態の物体検知装置１０とそれぞれ同一であり、基本的に第１実施形態と同様に動作する。

予測ロス算出部３２には、撮影環境情報が入力される。撮影環境情報は、画像入力部１１に入力される画像データが撮影された環境を示す情報である。例えば、撮影環境情報は、（ａ）画像データを撮影したカメラの設置位置の屋内外の別（屋内または屋外）、（ｂ）その時の天候（晴天、曇天、雨または雪）、（ｃ）時刻（昼または夜）、（ｄ）カメラの俯角（０～３０度、３０～６０度または６０～９０度）などである。

重み算出／環境予測部３１は、重み算出パラメータを用いて第１の物体検知部１３および第２の物体検知部１４に対する重みを算出すると同時に、撮影環境を予測するためのパラメータ（以下、「撮影環境予測パラメータ」と呼ぶ。）を用いて、入力された画像データの撮影環境を予測して予測環境情報を生成し、予測ロス算出部３２に出力する。例えば、撮影環境情報として上記（ａ）～（ｄ）の４種類のものを用いるとすれば、重み算出／環境予測部３１は、各種類の情報の属性値を１次元で表し、予測環境情報として４次元の値を出力する。重み算出／環境予測部３１は、重みと予測環境情報を算出するにあたり、計算の一部を共通化する。例えば、ディープニューラルネットワークで算出する場合、重み算出／環境予測部３１は、ネットワークの下位層を共通化し、上位層のみを重みおよび予測環境情報の算出に特化させる。即ち、重み算出／環境予測部３１はいわゆるマルチタスク学習を行う。これにより、重み算出パラメータと環境予測パラメータは、その一部が共通することとなる。

予測ロス算出部３２は、撮影環境情報と、重み算出／環境予測部３１が算出した予測環境との差異を計算し、予測ロスとしてパラメータ修正部１６に出力する。パラメータ修正部１６は、ロス算出部１７が算出したロスおよび予測ロス算出部３２が算出した予測ロスを減少させるように、重み算出／環境予測部３１に内在するネットワークのパラメータを修正する。

第３実施形態では、重み算出／環境予測部３１において、重みの算出と予測環境情報の算出に一部のネットワークを共有しているので、類似した撮影環境のモデル同士は類似した重みをもちやすくなる。その結果、重み算出／環境予測部３１における学習を安定させる効果が得られる。

なお、上記の第３実施形態では、重み算出／環境予測部３１およびパラメータ修正部１６は、第１実施形態と同様に画像全体に対して等しい重み付けを行っている。その代わりに、重み算出／環境予測部３１およびパラメータ修正部１６が、第２実施形態のようにアンカー毎（部分領域毎）に重み付けを行うように構成してもよい。

次に、学習のための物体検知装置３０の動作について説明する。図１１は、第３実施形態の物体検知装置３０による学習処理のフローチャートである。この処理は、図１に示すプロセッサ３が予め用意されたプログラムを実行することにより実現される。図５と比較するとわかるように、第３実施形態の物体検知装置３０による学習処理は、第１実施形態の物体検知装置１０による学習処理に、ステップＳ３１～Ｓ３３を追加したものとなっている。

図１１において、ステップＳ１１～Ｓ１６は、第１実施形態の学習処理と同様である。ステップＳ１６で、ロス算出部１７は、得られた平均値と正解ラベルとの差を照合し、ロスを算出してパラメータ修正部１６に出力する。一方、ステップＳ１１～Ｓ１６と並行して、ステップＳ３１～Ｓ３３が実行される。具体的には、まず、撮影環境情報が予測ロス算出部３２に入力される（ステップＳ３１）。次に、重み算出／環境予測部３１は、画像入力部１１から出力された画像データに基づいて、その画像データが撮影された環境を予測し、予測環境情報を生成して予測ロス算出部３２に出力する（ステップＳ３２）。予測ロス算出部３２は、ステップＳ３１で入力された撮影環境情報と、ステップＳ３２で入力された予測環境情報とに基づいて予測ロスを算出し、パラメータ修正部１６に出力する（ステップＳ３３）。そして、パラメータ修正部１６は、ロス算出部１７が算出したロスおよび予測ロス算出部３２が算出した予測ロスの値が減少するように、重み算出／環境予測部３１に内在するパラメータを修正する（ステップＳ１７）。物体検知装置３０は、上記のステップＳ１１～Ｓ１７及びＳ３１～３３を所定の条件の間だけ繰返し、処理を終了する。

（推論のための機能構成）
次に、第３実施形態における、推論のための物体検知装置の構成について説明する。図１２は、第３実施形態における、推論のための物体検知装置３０ｘの機能構成を示すブロック図である。第３実施形態の推論のための物体検知装置２０ｘは、図６に示す第１実施形態の推論のための物体検知装置１０ｘにおける重み算出部１２の代わりに、重み算出部３５を有する。これ以外の点では、第３実施形態の推論のための物体検知装置３０ｘは、第１実施形態の推論のための物体検知装置１０ｘと同一である。

推論時において、第３実施形態の物体検知装置３０ｘは、基本的に図７に示す第１実施形態の学習処理と同様の処理を実行する。但し、第３実施形態では、重み算出部３５は、上述の学習のための物体検知装置３０により撮影環境情報を用いて学習した内部パラメータを用いて第１の物体検知部１３及び第２の物体検知部１４に対する重みを算出し、積和部１５に入力する。この点以外では、第３実施形態の物体検知装置３０ｘは、第１実施形態の物体検知装置１０ｘと同様に動作する。よって、第３実施形態の物体検知装置３０ｘは、第１実施形態の物体検知装置１０ｘと同様に、図７に示すフローチャートに従って推論処理を行う。但し、ステップＳ２４において、重み算出部３５は、撮影環境情報を用いて学習した内部パラメータを用いて重みを算出する。

（変形例）
上述した第１実施形態における変形例（１）～（５）は、第３実施形態においても適用することができる。

［第４実施形態］
次に、本発明の第４実施形態について説明する。第４実施形態は、重み算出部により算出された重みを再配分するものである。
（機能構成）
図１３は、第４実施形態による、学習のための物体検知装置４０の機能構成を示すブロック図である。第４実施形態による学習のための物体検知装置は、図２に示す物体検知装置１０の構成に加え、重み再配分部４１を備える。また、図２に示す第１の物体検知部１３及び第２の物体検知部１４に代えて、第１～第３のの物体検知部４２～４４を備える。

重み再配分部４１は、重み算出部１２が算出した重みのうち、予め定めた物体検知部に対して得られた重みを予め定めた条件に基づいて「０」に変更すると共に、その予め定めた物体検知部以外の物体検知部に対する重みを総和が「１」となるように正規化する。なお、重み再配分部４１は、上記の再配分を行わなかった場合は、重み算出部１２が算出した重みをそのまま出力する。積和部１５は、再配分がなされた場合は、再配分された重みで第１～第３の物体検知部４２～４４が出力するスコアをアンカー毎に融合する。

ここで、「予め定めた物体検知部」とは、重み算出部１２を学習する際に用いる画像データ、もしくはその一部のデータを用いて学習し構築した物体検知部である。また、「予め定めた条件」については、例えば、画像データが１枚１枚入力されるごとに予め定めた確率に基づいて再配分を実行してもよいし、事前に何枚目の入力画像に対して再配分を実行するかをテーブル化しておき、該当する画像データに対する学習処理を行う場合にのみ再配分を実行するのでもよい。

次に、重みの具体的な再配分方法について説明する。いま、第１～第３の物体検知部４２～４４が出力するスコアをＳＣ_ｋ（ｋ＝１，２，３）とし、重み算出部１２が出力する第１～第３の物体検知部４２～４４に対する重みをｗ_ｋ（ｋ＝１，２，３）とする。また、第３の物体検知部４４（ｋ＝３）は、重み算出部１２を学習する際に用いる画像データと同一のデータを用いて学習し、構築した物体検知部であるとする。

重み再配分部４１は、例えば確率５０％で重みの再配分を行う場合、画像データが１枚入力されるごとに「０」から「１」までの一様乱数を発生させ、その値が「０．５」未満の場合は以下の計算を行い、再配分された重みｗ_ｋ’（ｋ＝１，２，３）を積和部１５で用いる重み値とする。
ｗ_３’＝ ｗ_３＊０
ｗ_ｋ’＝ ｗ_ｋ／Σｗ_ｋ （ｋ＝１，２）
一方、乱数が０．５以上の場合、重み再配分部４１は再配分を行わず、重みｗ_ｋをそのまま積和部１５で用いる重み値とする。
ｗ_ｋ’＝ ｗ_ｋ （ｋ＝１，２，３）

なお、乱数を都度発生させずに、あらかじめ乱数のテーブルを作成しておき、それを順番に参照して重み再配分の実行／不実行を決定するのでもよい。このようにすれば、乱数発生に要する演算時間を削減することができる。

（重み再配分の効果）
次に、重み再配分部４１の効果について簡単に説明する。例えば、不審人物の出現を見張る複数の映像監視現場向けにそれぞれ構築された不審人物検知部（物体検知部に相当）があり、それらの物体検知部を用いて、新たな現場向けに同様の不審人物を見張る物体検知部を構成するケースを考える。複数の映像監視現場向けにそれぞれ構築された不審人物検知部は、上述の第１の物体検知部４２及び第２の物体検知部４３に相当する。このとき、新たな映像監視現場で収集した画像データが学習データとなる。そして、このデータを用いて一般的な機械学習アルゴリズムで学習した物体検知部を、新たに物体検知部の１つとして追加して用いる構成が考えられる。これが上述の第３の物体検知部４４に相当する。

ここで、物体検知部の学習に上記の新たな映像監視現場で収集したデータを用いた場合、新たな映像監視現場で収集したデータを学習した物体検知部４４は常に完璧な認識をするため、重み算出部１２は物体検知部４４に最大の重みを与える学習を行う。しかし、これでは複数の物体検知部の出力を融合することによる検知精度の改善効果が期待できなくなってしまう。好ましいのは、の物体検知部４４に１００％依存せずに、他の物体検知部４２、４３からも有用な特性がひきだせるよう、他の物体検知部４２、４３に対して一定程度の重みが与えられることである。これを実現するため、重み再配分部４１は、確率的に物体検知部４４の出力を０倍して物体検知部４４に頼れない状態を作り、他の物体検知部４２、４３の出力を融合して望ましい出力が得られるように学習を行う。これにより、物体検知部４４以外の物体検知部４２、４３にも０以外の重みが与えられるようになり、重み再配分部４１が物体検知部４４の出力を０倍する頻度をコントロールすることで、その程度を調整することができる。その結果、物体検知部を複数統合することによる精度向上効果を享受しやすくする効果が得られる。

以下、本技術を道路監視カメラ映像からの車両検知課題に適用した場合の効果の一例を示す。監視カメラ向けにそれぞれ独立に構築した５つの車両検知部（「車両検知部１～５」とする。）をベースに、新規監視カメラ向けに当該新規監視カメラ映像を用いて車両検知部を学習し、構築した場合の車両検知性能ＡＰ（Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ）は「９１．６」であった。また、当該新規監視カメラ映像のみを用いて通常の学習手法により構築した車両検知部（「車両検知部６」とする。）の車両検知性能ＡＰは「９０．６３」であった。

このとき、車両検知部６に対する重みを、各入力画像に対して、「０～１」の範囲で「０．１」刻みに確率的に「０」に変更するようにして新規監視カメラ向け車両検知部を構築した場合の車両検知性能ＡＰを図１４に示す。この場合は確率「０．４」の割合で重みを変更した場合に最も新規監視カメラ向け車両検知部の車両検知性能ＡＰが高くなり、「９４．２６」となった。なお、確率「０」の割合で重みを変更した場合の性能は車両検知部６の性能に等しく、確率「１」の割合で重みを変更した場合の性能は車両検知部１～５を用いた場合の性能に等しいことになる。このように、重み再配分により、構築される物体検知部の性能を大幅に向上することができる。

（学習処理）
次に、学習のための物体検知装置４０の動作について説明する。図１５は、物体検知装置４０による学習処理のフローチャートである。この処理は、図１に示すプロセッサ３が予め用意されたプログラムを実行することにより実現される。

まず、画像入力部１１に学習用の画像データが入力される（ステップＳ４１）。第１の物体検知部４２は、画像データを用いて物体検知を行い、画像中の認識対象物体のスコア情報と座標情報をアンカー毎かつ認識対象物体毎に出力する（ステップＳ４２）。同様に、第２の物体検知部４３は、画像データを用いて物体検知を行い、画像中の認識対象物体のスコア情報と座標情報をアンカー毎かつ認識対象物体毎に出力する（ステップＳ４３）。同様に、第３の物体検知部４４は、画像データを用いて物体検知を行い、画像中の認識対象物体のスコア情報と座標情報をアンカー毎かつ認識対象物体毎に出力する（ステップＳ４４）。なお、第３の物体検知部４４は、物体検知装置４０の学習データと等しい学習データを用いて構築されているものとする。

次に、重み算出部１２は、画像データを読み込み、第１～第３の物体検知部４２～４４の出力それぞれに対する重みを算出する（ステップＳ４５）。重み再配分部４１は、予め定めた確率に基づき、第１～第３の物体検知部４２～４４の出力それぞれに対する重みを修正する（ステップＳ４６）。

次に、積和部１５は、第１の物体検知部４２が出力した認識対象物体のスコア情報と座標情報、並びに、第２の物体検知部４３が出力した認識対象物体のスコア情報と座標情報に、並びに、第３の物体検知部４４が出力した認識対象物体のスコア情報と座標情報に、重みを掛け合わせて加算し、それらの平均値を出力する（ステップＳ４７）。ここでの重みは、重み再配分部４１が重みを再配分した場合は再配分後の重みを採用し、重み再配分部４１が重みを変更しなかった場合は重み算出部１２が出力した重みを使用する。

次に、ロス算出部１７は、得られた平均値と正解ラベルとの差を照合し、ロスを算出する（ステップＳ４８）。そして、パラメータ修正部１６は、ロスの値が減少するように、重み算出部１２に内在する重み算出パラメータを修正する（ステップＳ４９）。

物体検知装置４０は、上記のステップＳ４１～Ｓ４９を所定の条件の間だけ繰返し、処理を終了する。なお、「所定の条件」とは、繰返しの回数やロスの値の変化度合いなどに関する条件であり、多くのディープラーニングの学習手順として採用されている方法のいずれかを使用することができる。

以上のように、第４実施形態の物体検知装置４０によれば、物体検知装置の学習データを包含するデータを学習した物体検知部が当該物体検知装置４０による融合対象に含まれる場合でも、良好に物体検知部を学習することができる。なぜならば、予め定めた確率で、物体検知装置の学習データを包含するデータを学習した物体検知部に対する重みを０に変更することで、他の物体検知部を利用する重みが得られるようになるからである。

上記の実施形態では３つの物体検知部の例について示したが、物体検知部は４つ以上であっても全く同じように処理することができる。

なお、重み再配分部４１は学習時のときにのみ利用され、推論のための機能構成は、重み再配分部４１を含まない場合の構成と全く同じでよい。

また、深層学習の既知の技術として、層の中のノードに対する重みのうちのいくつかを無効（「０」）にして学習を行う操作を、当該無効にするノードをランダムに変更しながら繰り返す「ドロップアウト（ｄｒｏｐｏｕｔ）」と呼ばれる手法が知られている。ドロップアウトは、ニューラルネットワークの過学習を防ぐことを目的として、一定の確率でランダムにニューロンを無視して、モデルの自由度を低減して学習を進める技術である。これに対し、本実施形態の重み再配分部における重みの変更は、一部の物体検知部と重み算出部の学習データが同一であるか、もしくは一部の物体検知部の学習データに重み算出部の学習データが包含される関係にあった場合に、重み算出部がその一部の物体検知部に１００％依存する重みを学習しないようにするための仕組みであり、特定の物体検知部に対する重みのみを「０」に変更するものである。ゆえに、本実施形態の手法は、ドロップアウトとは目的・適用方法・効果とも全く異なる。

［第５実施形態］
次に、本発明の第５実施形態について説明する。第５実施形態は、第４実施形態の手法により重みを再配分つつ学習して得た大規模モデルを用いて、ターゲットモデルを学習するものである。

（学習のための機能構成）
図１６は、学習のための物体検知装置５０の機能構成を示すブロック図である。物体検知装置５０は、まず複数の物体検知部を含む大規模モデルを学習するステップ（以下、「大規模モデル学習ステップ」と呼ぶ。）を実行し、次に学習済みの大規模モデルを用いてターゲットモデルを学習するステップ（以下、「ターゲットモデル学習ステップ」と呼ぶ。）を実行する。

図示のように、物体検知装置５０は、大別して、大規模モデル部５０ａと、ターゲットモデル部５０ｂとを備える。大規模モデル部５０ａは、第４実施形態の物体検知装置４０と同様の構成を有する。即ち、大規模モデル部５０ａは、重み算出部１２が算出した重みを、重み再配分部４１が再配分する構成を備える。これにより、大規模モデル部５０ａは、３つの物体検知部４２～４４の出力を最適に積和し、総合的に判定を行うことができる大規模モデルを構築することができる。なお、大規模モデル部５０ａの構成及び動作は第４実施形態の物体検知装置４０と同様であるので、ここでは説明を省略する。

一方、ターゲットモデル部５０ｂは、ターゲットモデル物体検知部５１と、ロス算出部５２と、パラメータ修正部５３とを備える。ターゲットモデル物体検知部５１は、新規に構築されるターゲットモデルの物体検知部である。ターゲットモデル物体検知部５１は、第１～第３の物体検知部４２～４４と同一の、物体検知用のニューラルネットワークに類似した構成を有する。ターゲットモデル物体検知部５１は、画像入力部１１に入力された学習用の画像データに基づいて、認識対象物体のスコア情報および座標情報をロス算出部５２に出力する。

ロス算出部５２は、ターゲットモデル物体検知部５１が出力したスコア情報および座標情報を、ロス算出部１７と同様に、正解ラベル記憶部１８に記憶されている正解ラベルと照合して識別ロスおよび回帰ロスを算出する。さらに、ロス算出部５２は、ターゲットモデル物体検知部５１が出力したスコア情報および座標情報を、積和部１５が出力するスコア情報および座標情報と照合して識別ロスおよび回帰ロスを算出する。積和部１５が出力するスコア情報および座標情報は、大規模モデルによるスコア情報および座標情報に相当する。そして、ロス算出部５２は、算出したロスをパラメータ修正部５３に供給する。

なお、学習用の画像データは、正解ラベルを有しない画像データ（「ラベルなし画像データ」と呼ぶ。）を含んでいてもよい。ラベルなし画像データについては、ロス算出部５２は、ターゲットモデル物体検知部５１が出力したスコア情報および座標情報を、積和部１５が出力するスコア情報および座標情報と照合して生成した識別ロスおよび回帰ロスのみをパラメータ修正部５３に出力すればよい。以下、ロス算出部５２が算出するロスを「ターゲットモデルロス」とも呼ぶ。

パラメータ修正部５３は、ロス算出部５２が算出したロスを減少させるように、ターゲットモデル物体検知部５１に内在するネットワークのパラメータを修正する。パラメータ修正部５３は、パラメータの修正量を通常の誤差逆伝搬法により求めることができる。

（学習処理）
次に、学習のための物体検知装置５０の動作について説明する。図１７は、物体検知装置５０による学習処理のフローチャートである。この処理は、図１に示すプロセッサ３が予め用意されたプログラムを実行することにより実現される。図１７において、ステップＳ４１～Ｓ４９は大規模モデル学習ステップに相当し、ステップＳ５１～Ｓ５６はターゲットモデル学習ステップに相当する。なお、大規模モデル学習ステップの実行中には、ターゲットモデル物体検知部５１、ロス算出部５２およびパラメータ修正部５３は動作しない。ここで、大規模モデル学習ステップＳ４１～Ｓ４９は、図１５に示す第４実施形態の物体検知装置４０による学習処理のステップＳ４１～Ｓ４９と同様であるので、ここでは説明を省略する。

物体検知装置５０は、ステップＳ４１～Ｓ４９を所定の条件の間だけ繰返し、学習を終了する。なお、「所定の条件」とは、繰返しの回数やロスの値の変化度合いなどに関する条件であり、多くのディープラーニングの学習手順として採用されている方法のいずれかを使用することができる。こうして、大規模モデルが構築される。

大規模モデル学習ステップが終了すると（ステップＳ５０：Ｙｅｓ）、次に、ターゲットモデル学習ステップが行われる。ターゲットモデル学習ステップでは、重み算出部１２の内部パラメータは、大規模モデル学習ステップで学習された値に固定される。なお、第１～第３の物体検知部４２～４４の内部パラメータも事前に学習済みの値に固定されている。

画像入力部１１に学習用の画像データが入力されると（ステップＳ５１）、大規模モデル部５０ａは、入力された画像データを用いて物体検知を行い、画像中の認識対象物体のスコア情報と座標情報をアンカー毎かつ認識対象物体毎にロス算出部５２に出力する（ステップＳ５２）。また、ターゲットモデル物体検知部５１は、入力された画像データを用いて物体検知を行い、画像中の認識対象物体のスコア情報と座標情報をアンカー毎かつ認識対象物体毎にロス算出部５２に出力する（ステップ５３１）。次に、ロス算出部５２は、ターゲットモデル物体検知部５１が出力したスコア情報および座標情報を、正解ラベル記憶部２８に記憶されている正解ラベル並びに大規模モデル部５０ａが出力したスコア情報および座標情報と比較してターゲットモデルロスを算出する（ステップＳ５４）。そして、パラメータ修正部５３は、ターゲットモデルロスの値が減少するように、ターゲットモデル物体検知部５１に内在するパラメータを修正する（ステップＳ５５）。物体検知装置５０は、上記のステップＳ５１～Ｓ５５を所定の条件の間だけ繰返し、処理を終了する。

以上のように、第５実施形態の物体検知装置５０によれば、まず、複数の学習済みの物体検知部を用いて大規模モデルを学習し、次に、その大規模モデルを用いてターゲットモデルを学習する。よって、新たな現場の環境に適した小規模で高精度なターゲットモデルを構築することが可能となる。

（推論のための機能構成）
次に、推論のための物体検知装置の機能構成について説明する。図１８は、推論のための物体検知装置５０ｘの機能構成を示すブロック図である。なお、推論のための物体検知装置５０ｘも、基本的に図１に示すハードウェア構成で実現される。

図１８に示すように、推論のための物体検知装置５０ｘは、画像入力部１１と、ターゲットモデル物体検知部５１と、極大値選択部５５と、を備える。ここで、画像入力部１１およびターゲットモデル物体検知部５１は、図１６に示す学習のための物体検知装置５０と同様である。なお、ターゲットモデル物体検知部５１は、上記のターゲットモデル学習ステップにより学習済みのものを使用する。

推論のための画像データが画像入力部１１に入力されると、ターゲットモデル物体検知部５１は、学習済みの内部パラメータを用いて物体検知を行い、認識対象物体のスコア情報と座標情報をアンカー毎かつ認識対象物体毎に出力する。極大値選択部５５は、ターゲットモデル物体検知部５１が出力するＮａ×ｋ次元のスコア情報にＮＭＳ処理を施して認識対象物体の種類を同定し、そのアンカーに対応する座標情報からその位置を特定して物体検知結果を出力する。物体検知結果は、認識対象物体毎に、その種類と位置とを含む。これにより、大規模モデルを利用して学習したターゲットモデル物体検知部５１を使用した物体検知結果を得ることができる。

［第６実施形態］
次に、本発明の第６実施形態について説明する。図１９は、第６実施形態による、学習のための物体検知装置６０の機能構成を示すブロック図である。なお、物体検知装置６０は、図１に示すハードウェア構成により実現される。

学習のための物体検知装置６０は、複数の物体検知部６１と、重み算出部６２と、重み再配分部６３と、融合部６４と、ロス算出部６５と、パラメータ修正部６６とを備える。学習用の画像データとして、正解ラベルを有する画像データが用意される。複数の物体検知部６１は、入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを出力する。重み算出部６２は、画像データに基づいて、重み算出パラメータを用いて、複数の物体検知部６１が出力するスコアを融合する際の重みを算出する。重み再配分部６３は、重み算出部６２が算出した重みのうち、予め定めた物体検知部６１に対して得られた重みを「０」に変更して出力する。融合部６４は、重み再配分部６３により変更された重みを含む、重み算出部６２が算出した重みで、複数の物体検知部６１が出力するスコアを部分領域毎に融合する。ロス算出部６５は、画像データの正解ラベルと、融合部６４が融合したスコアとの差異をロスとして算出する。そして、パラメータ修正部６６は、重み算出パラメータを、算出されたロスが減少するように修正する。

［第７実施形態］
次に、本発明の第７実施形態について説明する。図２０は、第７実施形態による、学習のための物体検知装置７０の機能構成を示すブロック図である。なお、物体検知装置７０は、図１に示すハードウェア構成により実現される。

物体検知装置７０は、複数の物体検知部７１と、重み算出部７２と、重み再配分部７３と、融合部７４と、ターゲットモデルの物体検知部７５と、ロス算出部７６と、パラメータ修正部７７とを備える。複数の物体検知部７１は、入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを出力する。重み算出部７２は、画像データに基づいて、複数の物体検知部７１が出力するスコアを融合する際の重みを、重み算出パラメータを用いて算出する。重み再配分部７３は、重み算出部７２が算出した重みのうち、予め定めた物体検知部７１に対して得られた重みを「０」に変更して出力する。融合部７４は、重み再配分部７３により変更された重みを含む、重み算出部７２が算出した重みで、複数の物体検知部７１が出力するスコアを部分領域毎に融合する。

ターゲットモデルの物体検知部７５は、画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを出力する。ロス算出部７６は、ターゲットモデルの物体検知部７５の出力と、画像データの正解ラベルおよび融合部７４が融合したスコアとの差異を示すロスを算出する。そして、パラメータ修正部７７は、そのロスが減少するように、ターゲットモデルの物体検知部７５のパラメータを修正する。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを出力する複数の物体検知部と、
前記画像データに基づいて、前記複数の物体検知部が出力するスコアを融合する際の重みを、重み算
出パラメータを用いて、前記複数の物体検知部の各々について算出する重み算出部と、
前記重み算出部が算出した重みのうち、予め定めた物体検知部に対して得られた重みを０に変更して出力する重み再配分部と、
前記重み再配分部が変更した重みを含む、前記重み算出部が算出した重みで、前記複数の物体検知部が出力するスコアを前記部分領域毎に融合する融合部と、
前記画像データの正解ラベルと、前記融合部が融合したスコアとの差異をロスとして算出するロス算出部と、
前記重み算出パラメータを、前記ロスが減少するように修正するパラメータ修正部と、
を備える物体検知装置。

（付記２）
入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを出力する複数の物体検知部と、
前記画像データに基づいて、前記複数の物体検知部が出力するスコアを融合する際の重みを、重み算出パラメータを用いて算出する重み算出部と、
前記重み算出部が算出した重みのうち、予め定めた物体検知部に対して得られた重みを０に変更して出力する重み再配分部と、
前記重み再配分部が変更した重みを含む、前記重み算出部が算出した重みで、前記複数の物体検知部が出力するスコアを前記部分領域毎に融合する融合部と、
前記画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを出力するターゲットモデルの物体検知部と、
前記ターゲットモデルの物体検知部の出力と、前記画像データの正解ラベルおよび前記融合部が融合したスコアとの差異を示すロスを算出するロス算出部と、
前記ロスが減少するように、前記ターゲットモデルの物体検知部のパラメータを修正するパラメータ修正部と、
を備える物体検知装置。

（付記３）
前記重み再配分部は、前記重み算出部が算出した重みのうち、０に変更しなかった他の重みを、その総和が１となるように正規化して出力する付記１又は２に記載の物体検知装置。

（付記４）
前記重み再配分部は、重みの再配分を予め定めた確率で行う付記１乃至３のいずれか一項に記載の物体検知装置。

（付記５）
前記重み再配分部は、前記物体検知装置を学習する際に入力される前記画像データ、又は、その一部の画像データを用いて学習し構築された前記物体検知部に対する重みを０に変更する付記１乃至４のいずれか一項に記載の物体検知装置。

（付記６）
前記重み算出部は、前記画像データの全体に対して１つの重みを算出し、
前記融合部は、前記複数の物体検知部が出力するスコアを、前記１つの重みで融合する付記１乃至５のいずれか一項に記載の物体検知装置。

（付記７）
前記重み算出部は、前記画像データの前記部分領域毎に前記重みを算出し、
前記融合部は、前記複数の物体検知部が出力するスコアを、前記部分領域毎に算出された重みで融合する付記１乃至５のいずれか一項に記載の物体検知装置。

（付記８）
前記重み算出部は、前記物体を示すクラス毎に前記重みを算出し、
前記融合部は、前記複数の物体検知部が出力するスコアを、前記クラス毎に算出された重みで融合する付記１乃至５のいずれか一項に記載の物体検知装置。

（付記９）
前記融合部は、前記複数の物体検知部が出力するスコアに、前記重み算出部が算出したそれぞれの物体検知部についての重みを乗じて加算した後、平均値を求める付記１乃至８のいずれか一項に記載の物体検知装置。

（付記１０）
前記複数の物体検知部の各々は、前記物体が存在する矩形領域の座標情報を前記部分領域毎に出力し、
前記融合部は、前記重み算出部が算出した重みで、前記物体が存在する矩形領域の座標情報を融合し、
前記ロス算出部は、前記正解ラベルと前記融合部が融合した座標情報との差異を含むロスを算出する付記１乃至９のいずれか一項に記載の物体検知装置。

（付記１１）
前記融合部は、前記複数の物体検知部が出力する前記座標情報に、前記重み算出部が算出したそれぞれの物体検知部についての重みを乗じて加算した後、平均値を求める付記１乃至１０のいずれか一項に記載の物体検知装置。

（付記１２）
前記重み算出部は、撮影環境予測パラメータを用いて、前記画像データの撮影環境を予測して予測環境情報を出力し、
前記画像データについて予め用意された撮影環境情報と、前記予測環境情報とに基づいて、撮影環境の予測ロスを算出する予測ロス算出部をさらに備え、
前記パラメータ修正部は、前記撮影環境予測パラメータを、前記予測ロスが減少するように修正する付記１乃至１１のいずれか一項に記載の物体検知装置。

（付記１３）
前記重み算出部は、前記重み算出パラメータを有する第１のネットワークと、前記撮影環境予測パラメータを有する第２のネットワークとを備え、前記第１のネットワークと前記第２のネットワークは一部が共通化されている付記１２に記載の物体検知装置。

（付記１４）
入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを複数の物体検知部から出力し、
前記画像データに基づいて、前記複数の物体検知部が出力するスコアを融合する際の重みを、重み算出パラメータを用いて、前記複数の物体検知部の各々について算出し、
算出された重みのうち、予め定めた物体検知部に対して得られた重みを０に変更し、
変更された重みを含む、算出された重みで、前記複数の物体検知部が出力するスコアを前記部分領域毎に融合し、
前記画像データの正解ラベルと、融合したスコアとの差異をロスとして算出し、
前記重み算出パラメータを、前記ロスが減少するように修正する、物体検知装置の学習方法。

（付記１５）
入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを複数の物体検知部から出力し、
前記画像データに基づいて、前記複数の物体検知部が出力するスコアを融合する際の重みを、重み算出パラメータを用いて算出し、
算出された重みのうち、予め定めた物体検知部に対して得られた重みを０に変更し、
変更された重みを含む、算出された重みで、前記複数の物体検知部が出力するスコアを前記部分領域毎に融合し、
前記画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアをターゲットモデルの物体検知部から出力し、
前記ターゲットモデルの物体検知部の出力と、前記画像データの正解ラベルおよび融合したスコアとの差異を示すロスを算出し、
前記ロスが減少するように、前記ターゲットモデルの物体検知部のパラメータを修正する、物体検知装置の学習方法。

（付記１６）
入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを複数の物体検知部から出力し、
前記画像データに基づいて、前記複数の物体検知部が出力するスコアを融合する際の重みを、重み算出パラメータを用いて、前記複数の物体検知部の各々について算出し、
算出された重みのうち、予め定めた物体検知部に対して得られた重みを０に変更し、
変更された重みを含む、算出された重みで、前記複数の物体検知部が出力するスコアを前記部分領域毎に融合し、
前記画像データの正解ラベルと、融合したスコアとの差異をロスとして算出し、
前記重み算出パラメータを、前記ロスが減少するように修正する、物体検知装置の学習処理をコンピュータに実行させるプログラムを記録した記録媒体。

（付記１７）
入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを複数の物体検知部から出力し、
前記画像データに基づいて、前記複数の物体検知部が出力するスコアを融合する際の重みを、重み算出パラメータを用いて算出し、
算出された重みのうち、予め定めた物体検知部に対して得られた重みを０に変更し、
変更された重みを含む、算出された重みで、前記複数の物体検知部が出力するスコアを前記部分領域毎に融合し、
前記画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアをターゲットモデルの物体検知部から出力し、
前記ターゲットモデルの物体検知部の出力と、前記画像データの正解ラベルおよび融合したスコアとの差異を示すロスを算出し、
前記ロスが減少するように、前記ターゲットモデルの物体検知部のパラメータを修正する、物体検知装置の学習処理をコンピュータに実行させるプログラムを記録した記録媒体。

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１０、１０ｘ、２０、２０ｘ、３０、３０ｘ、４０、５０、５０ｘ 物体検知装置
１１ 画像入力部
１２、３５ 重み算出部
１３、１４、４２、４３、４４ 物体検知部
１５ 積和部
１６、５３ パラメータ修正部
１７、５２ ロス算出部
１８ 正解ラベル記憶部
１９ 極大値選択部
２１ アンカー毎重み算出部
２２ アンカー毎パラメータ修正部
３１ 重み算出／環境予測部
３２ 予測ロス算出部
４１ 重み再配分部

Claims (17)

1. 入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを出力する複数の物体検知手段と、
   前記画像データに基づいて、前記複数の物体検知手段が出力するスコアを融合する際の重みを、重み算出パラメータを用いて、前記複数の物体検知手段の各々について算出する重み算出手段と、
   前記重み算出手段が算出した重みのうち、予め定めた物体検知手段に対して得られた重みを０に変更して出力する重み再配分手段と、
   前記重み再配分手段が変更した重みを含む、前記重み算出手段が算出した重みで、前記複数の物体検知手段が出力するスコアを前記部分領域毎に融合する融合手段と、
   前記画像データの正解ラベルと、前記融合手段が融合したスコアとの差異をロスとして算出するロス算出手段と、
   前記重み算出パラメータを、前記ロスが減少するように修正するパラメータ修正手段と、
   を備える物体検知装置。
2. 入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを出力する複数の物体検知手段と、
   前記画像データに基づいて、前記複数の物体検知手段が出力するスコアを融合する際の重みを、重み算出パラメータを用いて算出する重み算出手段と、
   前記重み算出手段が算出した重みのうち、予め定めた物体検知手段に対して得られた重みを０に変更して出力する重み再配分手段と、
   前記重み再配分手段が変更した重みを含む、前記重み算出手段が算出した重みで、前記複数の物体検知手段が出力するスコアを前記部分領域毎に融合する融合手段と、
   前記画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを出力するターゲットモデルの物体検知手段と、
   前記ターゲットモデルの物体検知手段の出力と、前記画像データの正解ラベルおよび前記融合手段が融合したスコアとの差異を示すロスを算出するロス算出手段と、
   前記ロスが減少するように、前記ターゲットモデルの物体検知手段のパラメータを修正するパラメータ修正手段と、
   を備える物体検知装置。
3. 前記重み再配分手段は、前記重み算出手段が算出した重みのうち、０に変更しなかった他の重みを、その総和が１となるように正規化して出力する請求項１又は２に記載の物体検知装置。
4. 前記重み再配分手段は、重みの再配分を予め定めた確率で行う請求項１乃至３のいずれか一項に記載の物体検知装置。
5. 前記重み再配分手段は、前記物体検知装置を学習する際に入力される前記画像データ、又は、その一部の画像データを用いて学習し構築された前記物体検知手段に対する重みを０に変更する請求項１乃至４のいずれか一項に記載の物体検知装置。
6. 前記重み算出手段は、前記画像データの全体に対して１つの重みを算出し、
   前記融合手段は、前記複数の物体検知手段が出力するスコアを、前記１つの重みで融合する請求項１乃至５のいずれか一項に記載の物体検知装置。
7. 前記重み算出手段は、前記画像データの前記部分領域毎に前記重みを算出し、
   前記融合手段は、前記複数の物体検知手段が出力するスコアを、前記部分領域毎に算出された重みで融合する請求項１乃至５のいずれか一項に記載の物体検知装置。
8. 前記重み算出手段は、前記物体を示すクラス毎に前記重みを算出し、
   前記融合手段は、前記複数の物体検知手段が出力するスコアを、前記クラス毎に算出された重みで融合する請求項１乃至５のいずれか一項に記載の物体検知装置。
9. 前記融合手段は、前記複数の物体検知手段が出力するスコアに、前記重み算出手段が算出したそれぞれの物体検知手段についての重みを乗じて加算した後、平均値を求める請求項１乃至８のいずれか一項に記載の物体検知装置。
10. 前記複数の物体検知手段の各々は、前記物体が存在する矩形領域の座標情報を前記部分領域毎に出力し、
    前記融合手段は、前記重み算出手段が算出した重みで、前記物体が存在する矩形領域の座標情報を融合し、
    前記ロス算出手段は、前記正解ラベルと前記融合手段が融合した座標情報との差異を含むロスを算出する請求項１乃至９のいずれか一項に記載の物体検知装置。
11. 前記融合手段は、前記複数の物体検知手段が出力する前記座標情報に、前記重み算出手段が算出したそれぞれの物体検知手段についての重みを乗じて加算した後、平均値を求める請求項１０に記載の物体検知装置。
12. 前記重み算出手段は、撮影環境予測パラメータを用いて、前記画像データの撮影環境を予測して予測環境情報を出力し、
    前記画像データについて予め用意された撮影環境情報と、前記予測環境情報とに基づいて、撮影環境の予測ロスを算出する予測ロス算出手段をさらに備え、
    前記パラメータ修正手段は、前記撮影環境予測パラメータを、前記予測ロスが減少するように修正する請求項１乃至１１のいずれか一項に記載の物体検知装置。
13. 前記重み算出手段は、前記重み算出パラメータを有する第１のネットワークと、前記撮影環境予測パラメータを有する第２のネットワークとを備え、前記第１のネットワークと前記第２のネットワークは一部が共通化されている請求項１２に記載の物体検知装置。
14. 入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを複数の物体検知手段から出力し、
    前記画像データに基づいて、前記複数の物体検知手段が出力するスコアを融合する際の重みを、重み算出パラメータを用いて、前記複数の物体検知手段の各々について算出し、
    算出された重みのうち、予め定めた物体検知手段に対して得られた重みを０に変更し、
    変更された重みを含む、算出された重みで、前記複数の物体検知手段が出力するスコアを前記部分領域毎に融合し、
    前記画像データの正解ラベルと、融合したスコアとの差異をロスとして算出し、
    前記重み算出パラメータを、前記ロスが減少するように修正する、物体検知装置の学習方法。
15. 入力された画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアを複数の物体検知手段から出力し、
    前記画像データに基づいて、前記複数の物体検知手段が出力するスコアを融合する際の重みを、重み算出パラメータを用いて算出し、
    算出された重みのうち、予め定めた物体検知手段に対して得られた重みを０に変更し、
    変更された重みを含む、算出された重みで、前記複数の物体検知手段が出力するスコアを前記部分領域毎に融合し、
    前記画像データに対して設定される部分領域毎に、予め定めた物体が存在する確からしさを示すスコアをターゲットモデルの物体検知手段から出力し、
    前記ターゲットモデルの物体検知手段の出力と、前記画像データの正解ラベルおよび融合したスコアとの差異を示すロスを算出し、
    前記ロスが減少するように、前記ターゲットモデルの物体検知手段のパラメータを修正する、物体検知装置の学習方法。
16. 請求項１４に記載の物体検知装置の学習方法をコンピュータに実行させるプログラム。
17. 請求項１５に記載の物体検知装置の学習方法をコンピュータに実行させるプログラム。

Images