JP7736613B2 - 学習装置、データ変化推定装置、学習方法、データ変化推定方法、学習プログラム、及びデータ変化推定プログラム - Google Patents
学習装置、データ変化推定装置、学習方法、データ変化推定方法、学習プログラム、及びデータ変化推定プログラムInfo
- Publication number
- JP7736613B2 JP7736613B2 JP2022052590A JP2022052590A JP7736613B2 JP 7736613 B2 JP7736613 B2 JP 7736613B2 JP 2022052590 A JP2022052590 A JP 2022052590A JP 2022052590 A JP2022052590 A JP 2022052590A JP 7736613 B2 JP7736613 B2 JP 7736613B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- change
- score
- indicating
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は、学習装置、データ変化推定装置、学習方法、データ変化推定方法、学習プログラム、及びデータ変化推定プログラムに関する。
従来、ニューラルネットワークを用いて、画像から抽出したい対象の領域である対象領域を抽出する技術が知られている。
例えば、特許文献１に記載の技術では、区分領域毎の特徴量を抽出する畳み込みニューラルネットワークを用いて、入力画像の区分領域毎に特徴量を抽出する。そして検査領域と重複する区分領域の各々について、重複度合いに応じた重みと抽出した特徴量とを用いて統合特徴量を求め、統合特徴量に基づいて対象領域を抽出する。
しかしながら、従来技術は、画像から対象領域を抽出するものにすぎず、過去画像などの第１データと現在画像などの第２データとを比較して、第１データと第２データとの間における対象領域の出現、消失などの変化を推定できるものではない。
そこで、本発明は、上記事情を鑑みてなされたものであり、第１データから第２データへの対象の消失又は出現を示すスコアと、第２データから第１データへの対象の消失又は出現を示すスコアとの双方を算出するスコア算出器を学習することにより、対象の消失及び出現を推定できる学習装置、学習方法、及び学習プログラムを提供することを目的とする。
また、簡易な構成で、第１データから第２データへの対象の消失又は出現を示すスコアと、第２データから第１データへの対象の消失又は出現を示すスコアとの双方を算出することにより、対象の消失及び出現を推定できるデータ変化推定装置、データ変化推定方法、及びデータ変化推定プログラムを提供することを目的とする。
上記の目的を達成するために本発明に係る学習装置は、第１データから第２データへの変化であって、データが表す対象の消失又は出現である特定の変化を示す学習データと、前記第２データから前記第１データへの前記特定の変化を示す学習データと、に基づいて、前記第１データの特徴量と、前記第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化における前記特定の変化を示すスコアを算出し、かつ、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化における前記特定の変化を示すスコアを算出するように、前記スコア算出器を学習する学習部と、を含んで構成されている。
本発明に係る学習装置によれば、学習部によって、第１データから第２データへの変化であって、データが表す対象の消失又は出現である特定の変化を示す学習データと、前記第２データから前記第１データへの前記特定の変化を示す学習データと、に基づいて、前記第１データの特徴量と、前記第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化における前記特定の変化を示すスコアを算出し、かつ、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化における前記特定の変化を示すスコアを算出するように、前記スコア算出器を学習する。
このように、前記第１データの特徴量と、前記第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化であって、データが表す対象の消失又は出現である特定の変化を示すスコアを算出し、かつ、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化における前記特定の変化を示すスコアを算出するように、前記スコア算出器を学習する。これにより、第１データから第２データへの対象の消失又は出現を示すスコアと、第２データから第１データへの対象の消失又は出現を示すスコアとの双方を算出するスコア算出器を学習することにより、対象の消失及び出現を推定できる。
本発明に係るデータ変化推定装置は、第３データから第４データへの変化であって、データが表す対象の消失又は出現である特定の変化を示す学習データと、前記第４データから前記第３データへの前記特定の変化を示す学習データと、に基づいて、前記第３データの特徴量と、前記第４データの特徴量とを所定の順に入力して、前記第３データから前記第４データへの変化における前記特定の変化を示すスコアを算出し、かつ、前記第３データの特徴量と、前記第４データの特徴量とを前記所定の順とは逆順に入力し、前記第４データから前記第３データへの変化における前記特定の変化を示すスコアを算出するように学習されたスコア算出器と、第１データの特徴量と、第２データの特徴量とを所定の順に、前記スコア算出器に入力して、前記第１データから前記第２データへの変化における前記特定の変化を示すスコアを算出し、かつ、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化における前記特定の変化を示すスコアを算出するスコア算出部と、を含んで構成されている。
本発明に係るデータ変化推定装置によれば、上記の学習装置と同様にスコア算出器を学習する。スコア算出部によって、第１データの特徴量と、第２データの特徴量とを所定の順に、学習部によって学習された前記スコア算出器に入力して、前記第１データから前記第２データへの変化における前記特定の変化を示すスコアを算出し、かつ、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化における前記特定の変化を示すスコアを算出する。
このように、第１データの特徴量と、第２データの特徴量とを所定の順に、前記スコア算出器に入力して、前記第１データから前記第２データへの変化における前記特定の変化を示すスコアを算出し、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化における前記特定の変化を示すスコアを算出する。これにより、簡易な構成で、第１データから第２データへの対象の消失又は出現を示すスコアと、第２データから第１データへの対象の消失又は出現を示すスコアとの双方を算出することにより、対象の消失及び出現を推定できる。
本発明に係るデータ変化推定装置は、第１データの特徴量と、第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化であって、データが表す対象の消失又は出現である特定の変化を示すスコアを算出し、かつ、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化における前記特定の変化を示すスコアを算出するスコア算出部と、を含んで構成されている。
本発明に係るデータ変化推定装置によれば、スコア算出部によって、第１データの特徴量と、第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化における前記特定の変化を示すスコアを算出し、かつ、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化における前記特定の変化を示すスコアを算出する。
このように、第１データの特徴量と、第２データの特徴量とを所定の順に、前記スコア算出器に入力して、前記第１データから前記第２データへの変化における前記特定の変化を示すスコアを算出し、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化における前記特定の変化を示すスコアを算出する。これにより、簡易な構成で、第１データから第２データへの対象の消失と出現との双方を推定することができる。
また、前記スコア算出器は、非対称演算を用いて、前記スコアを算出することができる。
また、前記スコア算出部は、更に、前記第１データから前記第２データへの前記特定の変化を示すスコアと、前記第２データから前記第１データへの前記特定の変化を示すスコアと、を用いて、変化なしを示すスコアと、対象の入れ替わりを示すスコアとを算出することができる。
また、上記のデータ変化推定装置は、第１データと第２データの各々について、特徴マップを抽出する特徴マップ抽出部と、前記特徴マップから、対象領域推定モデルを用いて、対象領域らしさを示す尤度のマップである対象尤度マップを推定する候補領域推定部と、前記対象尤度マップから、対象領域を抽出する対象領域抽出部と、前記特徴マップから、抽出された対象領域の特徴量を抽出する特徴量抽出部とを更に含むことができる。
また、上記のデータ変化推定装置は、スコア統合部を更に含み、前記対象領域抽出部は、前記対象尤度マップから、複数の対象領域を抽出し、前記特徴量抽出部は、前記特徴マップから、前記複数の対象領域の各々について、特徴量を抽出し、前記スコア算出部は、前記第１データの対象領域と、前記第２データの対象領域との組み合わせの各々について、前記第１データの対象領域の前記特徴量と、前記第２データの対象領域の前記特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの前記特定の変化を示すスコアを算出し、前記第１データの対象領域の前記特徴量と、前記第２データの対象領域の前記特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの前記特定の変化を示すスコアを算出し、前記スコア統合部は、前記第１データから前記第２データへの前記特定の変化を示すスコアの最大値、最小値、又は平均値、及び前記第２データから前記第１データへの前記特定の変化を示すスコアの最大値、最小値、又は平均値を算出することができる。
また、上記のデータ変化推定装置は、スコア統合部を更に含み、前記第１データは、測定位置が異なる複数の第１データであり、前記第２データは、前記複数の第１データの各々と測定位置が同一であり、かつ、測定タイミングが異なる複数の第２データであり、前記スコア算出部は、前記第１データと、前記第２データとの組み合わせの各々について、前記第１データの前記特徴量と、前記第２データの前記特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの前記特定の変化を示すスコアを算出し、前記第１データの前記特徴量と、前記第２データの前記特徴量とを前記所定の順とは逆順に前記スコア算出モデルに入力し、前記第２データから前記第１データへの前記特定の変化を示すスコアを算出し、前記スコア統合部は、前記第１データから前記第２データへの前記特定の変化を示すスコアの最大値又は最小値、及び前記第２データから前記第１データへの前記特定の変化を示すスコアの最大値又は最小値を算出することができる。
また、上記のデータ変化推定装置は、スコア統合部を更に含み、前記特徴マップ抽出部は、前記第１データと前記第２データの各々について、ニューラルネットワークにより複数種類の特徴マップを抽出し、前記特徴量抽出部は、前記第１データと前記第２データの各々について、前記複数種類の特徴マップの各々から前記特徴量を抽出し、前記スコア算出部は、前記複数種類の特徴マップの各々から抽出された前記特徴量の各々について、前記第１データの前記特徴量と、前記第２データの前記特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの前記特定の変化を示すスコアを算出し、前記第１データの前記特徴量と、前記第２データの前記特徴量とを前記所定の順とは逆順に前記スコア算出モデルに入力し、前記第２データから前記第１データへの前記特定の変化を示すスコアを算出し、前記スコア統合部は、前記複数種類の特徴マップの各々から抽出された前記特徴量の各々について算出された、前記第１データから前記第２データへの前記特定の変化を示すスコアを統合し、前記複数種類の特徴マップの各々から抽出された前記特徴量の各々について算出された、前記第２データから前記第１データへの前記特定の変化を示すスコアを統合することができる。
本発明に係る学習方法は、学習部が、第１データから第２データへの変化であって、データが表す対象の消失又は出現である特定の変化を示す学習データと、前記第２データから前記第１データへの前記特定の変化を示す学習データと、に基づいて、前記第１データの特徴量と、前記第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化における前記特定の変化を示すスコアを算出し、かつ、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化における前記特定の変化を示すスコアを算出するように、前記スコア算出器を学習する。
本発明に係るデータ変化推定方法は、スコア算出部が、第１データの特徴量と、第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化であって、データが表す対象の消失又は出現である特定の変化を示すスコアを算出し、かつ、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化における前記特定の変化を示すスコアを算出する。
本発明に係る学習プログラムは、第１データから第２データへの変化であって、データが表す対象の消失又は出現である特定の変化を示す学習データと、前記第２データから前記第１データへの前記特定の変化を示す学習データと、に基づいて、前記第１データの特徴量と、前記第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化における前記特定の変化を示すスコアを算出し、かつ、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化における前記特定の変化を示すスコアを算出するように、前記スコア算出器を学習することをコンピュータに実行させるための学習プログラムである。
本発明に係るデータ変化推定プログラムは、前記第１データの特徴量と、前記第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化であって、データが表す対象の消失又は出現である特定の変化を示すスコアを算出し、かつ、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化における前記特定の変化を示すスコアを算出することをコンピュータに実行させるためのデータ変化推定プログラムである。
以上説明したように、本発明に係る学習装置、学習方法、及び学習プログラムによれば、第１データから第２データへの対象の消失又は出現を示すスコアと、第２データから第１データへの対象の消失又は出現を示すスコアとの双方を算出するスコア算出器を学習することにより、対象の消失及び出現を推定できる、という効果が得られる。
また、本発明に係るデータ変化推定装置、データ変化推定方法、及びデータ変化推定プログラムによれば、簡易な構成で、第１データから第２データへの対象の消失又は出現を示すスコアと、第２データから第１データへの対象の消失又は出現を示すスコアとの双方を算出することにより、対象の消失及び出現を推定できる、という効果が得られる。
以下、図面を参照して本発明の実施の形態を詳細に説明する。以下、本発明の実施の形態として、入力画像内に写っている人物の所持物の有無の変化を推定する変化検出器を構築する変化検出器学習装置２と、変化検出器学習装置２で作成された変化検出器を用いて、所定の空間を撮影した画像に写った人物の所持物の変化を検出し、検出結果を報知する画像監視装置１を説明する。なお、本実施の形態では変化検出の対象物を人の所持物とする例を説明するが、本発明は、什器の有無の変化としてもよい。変化検出器学習装置２は、学習装置の一例であり、画像監視装置１は、データ変化推定装置の一例である。
＜変化検出器学習装置の構成＞
本発明の実施の形態に係る変化検出器学習装置は、事前に用意した学習データを用いて、変化検出器を学習する装置である。
本発明の実施の形態に係る変化検出器学習装置は、事前に用意した学習データを用いて、変化検出器を学習する装置である。
変化検出器学習装置は、ＣＰＵ（Central Processing Unit）と、ＧＰＵ（Graphics Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭ（Read Only Memory）と、を含むコンピュータで構成することが出来る。図１に変化検出器学習装置２のブロック図を示す。変化検出器学習装置２は、機能的には、図１に示すように、学習データ記憶手段２０、変化検出器学習手段２１、及び学習済みモデル記憶手段２２を備えている。
（学習データ記憶手段２０）
学習データ記憶手段２０には、過去画像セットから現在画像セットへの変化であって、画像が表す所持物の消失及び出現である特定の変化を示す学習データが記憶されている。
学習データ記憶手段２０には、過去画像セットから現在画像セットへの変化であって、画像が表す所持物の消失及び出現である特定の変化を示す学習データが記憶されている。
具体的には、学習データ記憶手段２０には、学習データとして、多数の変化の過去画像セット、現在画像セットと、変化情報（出現の有無、消失の有無）とが格納されている。学習データの過去画像が第１データ及び第３データの一例であり、学習データの現在画像が第２データ及び第４データの一例である。これらの学習データは次のように作られる。まず、ある人物を多視点から撮影し、各視点の動画の異なる２つの時刻ｔ１，ｔ２（ｔ１＜ｔ２）から人物領域を抽出する。時刻ｔ１の画像セットを過去画像セットとし、過去画像セットと同一人物を撮影した時刻ｔ２の画像セットを現在画像セットとする。時刻ｔ１での人物が見えている視点数がＮ１、時刻ｔ２で人物が見えている視点数をＮ２とすると、過去画像セットはＮ１枚の画像、現在画像セットはＮ２枚の画像となる。人物領域の抽出は、既存の人物検出器などを用いて、人物の全身領域を包含する矩形領域を切り抜くことで行う。切り抜かれた画像は、所定の画像サイズにリサイズする。そして、時刻ｔ１と時刻ｔ２の間での同一人物の所持物の変化情報を、この過去画像セットと現在画像セットと紐づけて保持しておく。
２つの画像を比較したときの所持物の変化には、４つの状態（消失のみ、出現のみ、消失と出現の同時、変化なし）がある。それに対して、アノテーションとしては以下のものがあれば表現できる。
・過去にはあったものが現在なくなっているかどうか：消失物の有無
・過去にはなくて、現在に新たに出現したものがあるか：出現物の有無
・過去にはなくて、現在に新たに出現したものがあるか：出現物の有無
これらの例を図２に示す。図２（ａ）のように、過去画像には所持物がなく、現在画像に所持物がある場合、所持物の変化としては（消失物なし、出現物あり）となる。逆に図２（ｂ）のように、過去画像に所持物があり、現在画像には所持物がない場合、これは（消失物あり、出現物なし）となる。また、図２（ｃ）のように、撮影された人物が所持物を持ち替えたなどの理由で過去画像と現在画像に異なる所持物がある場合、これは（消失物あり、出現物あり）となり、所持物の入れ替わりを示す。
この消失物の有無、及び出現物の有無の情報を二つのバイナリ値（消失物・出現物がある場合は１、ない場合は０）で表現し、過去画像セットから現在画像セットへの変化情報として保持する。
なお、過去画像セットと現在画像セットは、同一人物であれば、同じ場所で撮影されたものでよいし、異なる場所で撮影されたものでもよい。以上の手順を、様々な人物、様々な所持物の変化の動画に対して行い、過去画像セット、現在画像セット、及び変化情報を多数作成したものを、学習データとして学習データ記憶手段２０に格納しておく。
（変化検出器学習手段２１）
変化検出器学習手段２１は、学習データ記憶手段２０から過去画像セット、現在画像セット、及び変化情報である複数の学習データを読み込み、変化検出器の学習を行い、得られた変化検出器を学習済みモデル記憶手段２２に格納する。図３に変化検出器学習手段２１のブロック図を示す。変化検出器は、モデルの一例である。変化検出器学習手段２１は、変化検出器３０、及び学習部３１にて構成される。
変化検出器学習手段２１は、学習データ記憶手段２０から過去画像セット、現在画像セット、及び変化情報である複数の学習データを読み込み、変化検出器の学習を行い、得られた変化検出器を学習済みモデル記憶手段２２に格納する。図３に変化検出器学習手段２１のブロック図を示す。変化検出器は、モデルの一例である。変化検出器学習手段２１は、変化検出器３０、及び学習部３１にて構成される。
（変化検出器３０）
変化検出器３０は、過去画像セット及び現在画像セットを入力とし、それらの画像セット間での所持物の変化の確率値を出力するニューラルネットワークであり、特徴マップ抽出部４０、候補領域推定部４１、個別特徴抽出部４２、個別スコア算出部４３、個別スコア損失算出部４４、全体特徴抽出部４５、全体スコア算出部４６、全体スコア損失算出部４７、及び対象尤度蒸留損失算出部４８にて構成される。
変化検出器３０は、過去画像セット及び現在画像セットを入力とし、それらの画像セット間での所持物の変化の確率値を出力するニューラルネットワークであり、特徴マップ抽出部４０、候補領域推定部４１、個別特徴抽出部４２、個別スコア算出部４３、個別スコア損失算出部４４、全体特徴抽出部４５、全体スコア算出部４６、全体スコア損失算出部４７、及び対象尤度蒸留損失算出部４８にて構成される。
ここで、全体特徴抽出部４５、全体スコア算出部４６、全体スコア損失算出部４７、対象尤度蒸留損失算出部４８は、主に候補領域推定部４１の学習の安定化のために用いられる。そのため、これらと個別スコア損失算出部４４と学習部３１は学習時のみ用いられ、推論時には使われない。
（特徴マップ抽出部４０）
特徴マップ抽出部４０は、画像を入力として特徴マップを抽出する。具体的には、特徴マップ抽出部４０は、畳み込み処理、ＲｅＬＵ関数（活性化関数）、ｐｏｏｌｉｎｇ処理等にて構成されるＣＮＮ(Convolutional Neural Networks)である。本実施の形態では特徴マップ抽出部４０のネットワーク構造としてＲｅｓＮｅｔを利用する。特徴マップ抽出部４０は、入力された過去画像セット、現在画像セットのそれぞれのセットの画像ごとに、ＲｅｓＮｅｔに入力する。そして、ＲｅｓＮｅｔの最終出力である特徴マップとＲｅｓＮｅｔ内部での中間結果のいくつかの特徴マップとを合わせて、Ｎｆ個の特徴マップを出力する。これらの特徴マップは、縦、横、チャネルの次元をもつ３次元数値列の形式をしている。ＲｅｓＮｅｔで算出される特徴マップはそれぞれ縦幅、横幅が異なるが、バイリニア補間などを用いて、縦横が大きく解像度が最も高い特徴マップに合わせて、他の特徴マップをリサイズする。
特徴マップ抽出部４０は、画像を入力として特徴マップを抽出する。具体的には、特徴マップ抽出部４０は、畳み込み処理、ＲｅＬＵ関数（活性化関数）、ｐｏｏｌｉｎｇ処理等にて構成されるＣＮＮ(Convolutional Neural Networks)である。本実施の形態では特徴マップ抽出部４０のネットワーク構造としてＲｅｓＮｅｔを利用する。特徴マップ抽出部４０は、入力された過去画像セット、現在画像セットのそれぞれのセットの画像ごとに、ＲｅｓＮｅｔに入力する。そして、ＲｅｓＮｅｔの最終出力である特徴マップとＲｅｓＮｅｔ内部での中間結果のいくつかの特徴マップとを合わせて、Ｎｆ個の特徴マップを出力する。これらの特徴マップは、縦、横、チャネルの次元をもつ３次元数値列の形式をしている。ＲｅｓＮｅｔで算出される特徴マップはそれぞれ縦幅、横幅が異なるが、バイリニア補間などを用いて、縦横が大きく解像度が最も高い特徴マップに合わせて、他の特徴マップをリサイズする。
（候補領域推定部４１）
候補領域推定部４１は、特徴マップから、対象領域推定モデルを用いて、所持物を表す対象領域らしさを示す尤度のマップである初期対象尤度マップを推定する。具体的には、候補領域推定部４１で用いる対象領域推定モデルは、畳み込み処理、ＲｅＬＵ関数（活性化関数）などで構成されるＣＮＮである。候補領域推定部４１は、特徴マップ抽出部４０で算出された特徴マップを用いて、過去画像セット、現在画像セットのそれぞれのセットの画像ごとに初期対象尤度マップを算出し、それを出力する。本実施の形態では、複数ある特徴マップのうち、ＲｅｓＮｅｔから出力された特徴マップにて縦横が大きく解像度が最も高かった特徴マップを入力し、畳み込み処理、ＲｅＬＵ関数、畳み込み処理という構成のネットワーク構造を用いて、対象尤度マップを算出する。算出された初期対象尤度マップは対象らしさを表し、より対象らしければ値が大きくなる。
候補領域推定部４１は、特徴マップから、対象領域推定モデルを用いて、所持物を表す対象領域らしさを示す尤度のマップである初期対象尤度マップを推定する。具体的には、候補領域推定部４１で用いる対象領域推定モデルは、畳み込み処理、ＲｅＬＵ関数（活性化関数）などで構成されるＣＮＮである。候補領域推定部４１は、特徴マップ抽出部４０で算出された特徴マップを用いて、過去画像セット、現在画像セットのそれぞれのセットの画像ごとに初期対象尤度マップを算出し、それを出力する。本実施の形態では、複数ある特徴マップのうち、ＲｅｓＮｅｔから出力された特徴マップにて縦横が大きく解像度が最も高かった特徴マップを入力し、畳み込み処理、ＲｅＬＵ関数、畳み込み処理という構成のネットワーク構造を用いて、対象尤度マップを算出する。算出された初期対象尤度マップは対象らしさを表し、より対象らしければ値が大きくなる。
（個別特徴抽出部４２）
個別特徴抽出部４２は、対象領域抽出部４９及び個別特徴ベクトル抽出部５２から構成される。個別特徴ベクトル抽出部５２は、過去画像セット、現在画像セットのそれぞれのセットの画像ごとに、複数の対象領域の各々から抽出された特徴量ベクトルを個別特徴ベクトルとして出力する。
個別特徴抽出部４２は、対象領域抽出部４９及び個別特徴ベクトル抽出部５２から構成される。個別特徴ベクトル抽出部５２は、過去画像セット、現在画像セットのそれぞれのセットの画像ごとに、複数の対象領域の各々から抽出された特徴量ベクトルを個別特徴ベクトルとして出力する。
（個別特徴抽出部４２の対象領域抽出部４９）
対象領域抽出部４９は、初期対象尤度マップから、複数の対象領域を抽出する。具体的には、対象領域抽出部４９は、対象領域用対象マップ正規化部５０及び対象領域分割部５１から構成される。
対象領域抽出部４９は、初期対象尤度マップから、複数の対象領域を抽出する。具体的には、対象領域抽出部４９は、対象領域用対象マップ正規化部５０及び対象領域分割部５１から構成される。
（対象領域抽出部４９の対象領域用対象マップ正規化部５０）
対象領域用対象マップ正規化部５０は、正規化された初期対象尤度マップを算出する。具体的には、対象領域用対象マップ正規化部５０は、候補領域推定部４１で算出された初期対象尤度マップに対して次式のように、各ピクセルの値が０から１の値となるように正規化する。
ｗｉ，ｊ＝ｓｉｇｍｏｉｄ（αｘｉ，ｊ＋β）
対象領域用対象マップ正規化部５０は、正規化された初期対象尤度マップを算出する。具体的には、対象領域用対象マップ正規化部５０は、候補領域推定部４１で算出された初期対象尤度マップに対して次式のように、各ピクセルの値が０から１の値となるように正規化する。
ｗｉ，ｊ＝ｓｉｇｍｏｉｄ（αｘｉ，ｊ＋β）
ここで、ｓｉｇｍｏｉｄ（ ）はシグモイド関数、ｘｉ，ｊは初期対象尤度マップの座標(ｉ,ｊ)の値、α、βはスケール係数、バイアス係数である。スケール係数αとバイアス係数βは学習にて求める。ただし、事前に定めた固定の値にしてもよい。正規化された初期対象尤度マップは対象らしさを表し、より対象らしければ値が１に近づく。対象領域用対象マップ正規化部５０はこの正規化された初期対象尤度マップを、ｓｉｇｍｏｉｄ正規化対象尤度マップとして出力する。
（対象領域抽出部４９の対象領域分割部５１）
対象領域分割部５１は、特徴マップ抽出部４０で算出される特徴マップを用いて、対象領域用対象マップ正規化部５０で算出されるｓｉｇｍｏｉｄ正規化対象尤度マップを逐次的に切り出すように個別の対象領域に分割し、分割した対象領域を対象尤度部分マップとして出力する。対象尤度部分マップは、ｓｉｇｍｏｉｄ正規化対象尤度マップと同じ幅、高さで０以上の値をもつ重みマップの形式である。
対象領域分割部５１は、特徴マップ抽出部４０で算出される特徴マップを用いて、対象領域用対象マップ正規化部５０で算出されるｓｉｇｍｏｉｄ正規化対象尤度マップを逐次的に切り出すように個別の対象領域に分割し、分割した対象領域を対象尤度部分マップとして出力する。対象尤度部分マップは、ｓｉｇｍｏｉｄ正規化対象尤度マップと同じ幅、高さで０以上の値をもつ重みマップの形式である。
具体的には、対象領域分割部５１は、図４Ａに示すように、位置尤度マップ算出部７０、アピアランス尤度マップ算出部７１、対象尤度マップ算出部７２、及び変更部７３から構成される。
（対象領域分割部５１の位置尤度マップ算出部７０）
位置尤度マップ算出部７０は、まず、対象領域用対象マップ正規化部５０で算出されたｓｉｇｍｏｉｄ正規化対象尤度マップを初期対象尤度マップとする。また、位置尤度マップ算出部７０は、初期対象尤度マップから位置尤度マップを算出する。
位置尤度マップ算出部７０は、まず、対象領域用対象マップ正規化部５０で算出されたｓｉｇｍｏｉｄ正規化対象尤度マップを初期対象尤度マップとする。また、位置尤度マップ算出部７０は、初期対象尤度マップから位置尤度マップを算出する。
（対象領域分割部５１のアピアランス尤度マップ算出部７１）
アピアランス尤度マップ算出部７１は、特徴マップ及び初期対象尤度マップからアピアランスの尤度マップを算出する。具体的には、アピアランス尤度マップ算出部７１は、初期対象尤度マップを重みとして特徴マップから平均特徴量を算出し、特徴マップから、平均特徴量に対応する特徴量である尤度を表すアピアランスの尤度マップを算出する。
アピアランス尤度マップ算出部７１は、特徴マップ及び初期対象尤度マップからアピアランスの尤度マップを算出する。具体的には、アピアランス尤度マップ算出部７１は、初期対象尤度マップを重みとして特徴マップから平均特徴量を算出し、特徴マップから、平均特徴量に対応する特徴量である尤度を表すアピアランスの尤度マップを算出する。
（対象領域分割部５１の対象尤度マップ算出部７２）
対象尤度マップ算出部７２は、初期対象尤度マップと、位置尤度マップと、アピアランスの尤度マップとから、対象尤度マップを算出する。
対象尤度マップ算出部７２は、初期対象尤度マップと、位置尤度マップと、アピアランスの尤度マップとから、対象尤度マップを算出する。
（対象領域分割部５１の変更部７３）
変更部７３は、対象尤度マップが表す対象領域を、対象領域の抽出結果として記録すると共に、対象領域の尤度を所定値に変更するように、初期対象尤度マップを変更する。
変更部７３は、対象尤度マップが表す対象領域を、対象領域の抽出結果として記録すると共に、対象領域の尤度を所定値に変更するように、初期対象尤度マップを変更する。
上記の位置尤度マップ算出部７０による算出、アピアランス尤度マップ算出部７１による算出、対象尤度マップ算出部７２による算出、及び変更部７３による変更を繰り返すことにより、複数の対象領域が抽出される。
（対象領域分割部５１の動作）
図４Ｂは対象領域分割部５１の動作に関する概略のフロー図である。また、ここで説明のために、対象領域分割部に入力されるｓｉｇｍｏｉｄ正規化対象尤度マップｗｉ，ｊを初期対象尤度マップｗｉ，ｊ｜τ＝０と呼ぶ。
図４Ｂは対象領域分割部５１の動作に関する概略のフロー図である。また、ここで説明のために、対象領域分割部に入力されるｓｉｇｍｏｉｄ正規化対象尤度マップｗｉ，ｊを初期対象尤度マップｗｉ，ｊ｜τ＝０と呼ぶ。
まず、位置尤度マップ算出部７０は、初期対象尤度マップから、位置尤度マップを算出する（ステップＳＡ０）。
具体的には、まず初期対象尤度マップを重みとして次式のようにピクセル位置の重心μ、共分散行列Ｃを求めてから、それらを用いて位置尤度マップを求める。
ここで、ｐｉ，ｊは座標ｉ，ｊの位置ベクトルでｐｉ，ｊ＝［ｉ，ｊ］、Ｍｉ，ｊ
ｌｏｃは位置尤度マップの座標ｉ，ｊの値、Ｋ，ｑは距離を制御するためのパラメータである。ここで、ｑ＝２，Ｋ＝１とすると、位置尤度マップは、ガウス分布のように、なだらかな勾配を持つ重みマップになるが、本実施の形態ではｑ＝６，Ｋ＝πとする。これにより、重みマップの勾配がより急峻となり、対象と背景がより分離しやすくなる。
次に、アピアランス尤度マップ算出部７１は、特徴マップ及び初期対象尤度マップからアピアランス尤度マップを算出する（ステップＳＡ１）。
具体的には、次式のように、初期対象尤度マップを重みとして平均特徴ベクトル￣ｈ（オーバーバー付きｈ）を求め、それとの類似度マップを算出することでアピアランス尤度マップを求める。
ここで、ｈｉ，ｊは特徴マップの座標ｉ，ｊの特徴ベクトル、Ｍｉ，ｊ
ｆｅａｔはアピアランス尤度マップの座標ｉ，ｊの値である。
次に、対象尤度マップ算出部７２は、初期対象尤度マップ、位置尤度マップ、及びアピアランス尤度マップを用いて、次式にて新たな対象尤度マップを算出する（ステップＳＡ２）。
ここでＳｐＳｏｆｔｍａｘｉｊ（ ）は空間方向のｓｏｆｔｍａｘ関数であり、
である。また、ＴＳｐＳｏｆｔｍａｘは事前に設定した温度パラメータである。
である。また、ＴＳｐＳｏｆｔｍａｘは事前に設定した温度パラメータである。
次に、反復終了条件を満たすか否かを判定する（ステップＳＡ３）。反復終了条件を満たしていない場合には、上記ステップＳＡ０に戻り、新たに算出した対象尤度マップｗｉ，ｊ｜τ＝１を用いて、位置尤度マップ、アピアランス尤度マップを算出し、それをもとに対象尤度マップｗｉ，ｊ｜τ＝２を算出する（ステップＳＡ０～ＳＡ２）。
反復終了条件を満たした場合には、最終的な対象尤度マップｗｉ，ｊ｜τ＝Ｔを、出力する対象尤度部分マップのひとつとして出力用のリストなどに保持しておく（ステップＳＡ３、ステップＳＡ４）。
なお、反復終了条件としては、例えば、対象尤度マップｗｉ，ｊ｜τの変動量が事前に定めた閾値よりも小さくなったか否かや、事前に定めた反復回数に達したか否かなどを用いることができる。
上記の処理では、位置尤度マップとアピアランス尤度マップの二種類の尤度マップを用いて領域を抽出しているため、抽出される領域は、位置が近接していて、特徴が似ている（画像では見た目が似ている）領域である。また反復処理によって、位置や特徴がより似た領域に集約されていき、所持物領域の抽出精度を向上させることができる。
次に、変更部７３は、初期対象尤度マップｗｉ，ｊ｜τ＝０から対象尤度マップｗｉ，ｊ｜τ＝Ｔの領域を取り除き、初期対象尤度マップの当該領域の値を所定の値に更新する（ステップＳＡ５）。初期対象尤度マップｗｉ，ｊ｜τ＝０から対象尤度マップｗｉ，ｊ｜τ＝Ｔの領域を取り除いて所定の値に変更する方法には、例えば、次式のように、閾値以上の領域を取り除いて所定の値に変更する方法などを用いることができる。
ここで、γは事前に定めたスケール係数である。
そして、反復終了条件を満たすか否かを判定する（ステップＳＡ６）。反復終了条件を満たしていない場合には、上記ステップＳＡ０に戻り、新たに算出したｗｉ，ｊ｜τ＝０
ｎｅｗを新しい初期対象尤度マップｗｉ，ｊ｜τ＝０とし、上記の処理を繰り返すことで、対象尤度部分マップを複数抽出する（ステップＳＡ０～ＳＡ５）。
反復終了条件を満たした場合には、対象領域分割部５１はこれらを対象尤度部分マップとして出力する（ステップＳＡ６、ステップＳＡ７）。
なお、反復終了条件としては、例えば、新たに算出したｗｉ，ｊ｜τ＝０
ｎｅｗで閾値以上であるピクセルの数が事前に定めた閾値よりも小さくなったか否かや、事前に定めた反復回数に達したか否かなどを用いることができる。
上記の処理によって、対象尤度部分マップという形で対象尤度マップを複数領域に分割している。これにより、画像内に複数の所持物が存在していても、所持物ごとに領域を抽出できる。そのため、後述の個別特徴ベクトル抽出部５２で、それぞれの所持物領域の特徴量を混じることなく抽出することができ、変化検出の精度を向上させることができる。
（個別特徴抽出部４２の個別特徴ベクトル抽出部５２）
個別特徴ベクトル抽出部５２は、対象領域分割部５１で算出された対象尤度部分マップごとに、特徴ベクトルを算出し、個別特徴ベクトルとして出力する。特徴ベクトルは対象部分マップを重みとした特徴マップの重み付き平均によって算出し、また、特徴マップ抽出部４０にて算出された複数の特徴マップごとに特徴ベクトルを求める。具体的には次式によって求める。
ここで、ｗｒ，ｉ，ｊはｒ番目の対象部分マップの座標ｉ，ｊの値、ｈｆ，ｉ，ｊはｆ番目の特徴マップの座標ｉ，ｊの特徴ベクトルである。
個別特徴ベクトル抽出部５２は、対象領域分割部５１で算出された対象尤度部分マップごとに、特徴ベクトルを算出し、個別特徴ベクトルとして出力する。特徴ベクトルは対象部分マップを重みとした特徴マップの重み付き平均によって算出し、また、特徴マップ抽出部４０にて算出された複数の特徴マップごとに特徴ベクトルを求める。具体的には次式によって求める。
ここで、ｗｒ，ｉ，ｊはｒ番目の対象部分マップの座標ｉ，ｊの値、ｈｆ，ｉ，ｊはｆ番目の特徴マップの座標ｉ，ｊの特徴ベクトルである。
（個別スコア算出部４３）
個別スコア算出部４３は、複数の対象領域の各々について、当該対象領域の特徴ベクトルに基づいて個別スコアを算出する。
個別スコア算出部４３は、複数の対象領域の各々について、当該対象領域の特徴ベクトルに基づいて個別スコアを算出する。
具体的には、過去画像セットの対象領域と、現在画像セットの対象領域との組み合わせの各々について、個別特徴抽出部４２で算出された過去画像セットの対象領域の個別特徴ベクトル、現在画像セットの対象領域の個別特徴ベクトルが入力されると、スコア算出部５３及びスコア統合部５４を通して、個別スコアを統合した統合個別スコアを算出する。
（個別スコア算出部４３のスコア算出部５３）
スコア算出部５３は、過去画像セットの対象領域と、現在画像セットの対象領域との組み合わせの各々について、過去画像セットの対象領域の個別特徴ベクトルと、現在画像セットの対象領域の個別特徴ベクトルとを所定の順に、スコア算出器に入力して、過去画像セットから現在画像セットへの所持物の消失である変化を示す個別スコアを算出し、所持物の消失を示す消失スコアとする。具体的には、過去画像セット、現在画像セットの個別特徴ベクトルの様々な組み合わせで個別スコアを算出する。例えば、過去画像セットの対象領域と、現在画像セットの対象領域との組み合わせ、及び過去画像セットの画像と、現在画像セットの画像との組み合わせで、個別スコアを算出する。
スコア算出部５３は、過去画像セットの対象領域と、現在画像セットの対象領域との組み合わせの各々について、過去画像セットの対象領域の個別特徴ベクトルと、現在画像セットの対象領域の個別特徴ベクトルとを所定の順に、スコア算出器に入力して、過去画像セットから現在画像セットへの所持物の消失である変化を示す個別スコアを算出し、所持物の消失を示す消失スコアとする。具体的には、過去画像セット、現在画像セットの個別特徴ベクトルの様々な組み合わせで個別スコアを算出する。例えば、過去画像セットの対象領域と、現在画像セットの対象領域との組み合わせ、及び過去画像セットの画像と、現在画像セットの画像との組み合わせで、個別スコアを算出する。
図５にスコア算出部５３のブロック図を示す。スコア算出部５３はＮｆ個のスコア算出器６０（特徴マップ数と同じ数）を用いる。まずスコア算出器６０に過去画像の特徴ベクトル、現在画像の特徴ベクトルの全組合せで、個別スコアを算出し、消失スコア（過去画像と現在画像を比較して、過去には所持していたものが、現在はなくなっている可能性を表すスコア）とする。具体的には次式のようになる。
ここで、ｃａｌｃＳｃｏｒｅｆ（ ， ）はｆ番目の特徴マップのためのスコア算出器６０、ｈｆ,ｉ１，ｒ１ ｔ１はｉ１番目の過去画像のｆ番目の特徴マップのｒ１番目の部分領域から算出された特徴ベクトル、ｈｆ,ｉ２，ｒ２ ｔ２はｉ２番目の現在画像のｆ番目の特徴マップのｒ２番目の部分領域から算出された特徴ベクトル、ｓｆ，ｉ１，ｉ２，ｒ１，ｒ２ ｄｉｓａｐｐｅａｒはそれらから算出された消失スコアである。
ここで、ｃａｌｃＳｃｏｒｅｆ（ ， ）はｆ番目の特徴マップのためのスコア算出器６０、ｈｆ,ｉ１，ｒ１ ｔ１はｉ１番目の過去画像のｆ番目の特徴マップのｒ１番目の部分領域から算出された特徴ベクトル、ｈｆ,ｉ２，ｒ２ ｔ２はｉ２番目の現在画像のｆ番目の特徴マップのｒ２番目の部分領域から算出された特徴ベクトル、ｓｆ，ｉ１，ｉ２，ｒ１，ｒ２ ｄｉｓａｐｐｅａｒはそれらから算出された消失スコアである。
次にスコア算出部５３は、同じスコア算出器６０を用いて、スコア算出器６０に特徴ベクトルを（上記の消失スコアの算出の場合と）逆順に入力することで、現在画像セットから過去画像セットへの所持物の消失である変化、すなわち、過去画像セットから現在画像セットへの所持物の出現である変化を示す個別スコアを算出し、出現スコア（過去画像と現在画像を比較して、過去にはなかったものが、現在では新たに出現している可能性を表すスコア）とする。例えば、消失スコアの算出時に過去画像の特徴ベクトル、現在画像の特徴ベクトルの順にスコア算出器６０に入力したならば、出現スコアの算出では現在画像の特徴ベクトル、過去画像の特徴ベクトルの順にスコア算出器６０に入力する。具体的には次式のようになる。
スコア算出器６０は、ニューラルネットワークによって構成される。図６に本実施の形態のスコア算出器６０のブロック図を示す。スコア算出器６０には第一特徴ベクトル、第二特徴ベクトルが入力され、それぞれに共通の共通変換部６１を施し、そしてそれらを非対称な演算を施し、最後にスコア化処理によって、個別スコア（消失スコアまたは出現スコア）を算出する。具体的にこれらは次式のようになる。
共通変換部６１：
非対称演算部６２：
スコア化処理部６３：ｓ＝ｓｉｇｍｏｉｄ（ＦＣ（ｖ））
非対称演算部６２：
スコア化処理部６３：ｓ＝ｓｉｇｍｏｉｄ（ＦＣ（ｖ））
ここで、ｈ１は第一特徴ベクトル、ｈ２は第二特徴ベクトル、Ｌ（ ）は全結合処理やＲｅＬＵ関数などで構成される共通変換部６１、ｈ１’及びｈ２’はＤ次元ベクトル、ＦＣ（ ）は全結合処理、ｓｉｇｍｏｉｄ（ ）はｓｉｇｍｏｉｄ関数である。なお、本実施の形態の例では、ｖはスカラー値であるのでＦＣ（ ）は実質的にスケール係数α、バイアス係数βによる線形変換αｖ＋βとなる。
非対称演算部６２は、第一特徴ベクトルから第二特徴ベクトルを減算し、ＲｅＬＵ関数によって閾値処理し、それらの要素の平均値を出力する。
ここで、本実施の形態のスコア算出器６０の利点を説明する。画像を比較する従来手法としてＳｉａｍｅｓｅ Ｎｅｔｗｏｒｋがある。これは、二つの画像を入力とし画像の距離を算出するニューラルネットワークである。
一方、変化検出というタスクでは変化検出器３０に入力する画像の順番によって出力すべき値が異なる。例えば、図２（ａ）では現在画像のみ所持物があるため変化検出器３０は（消失物なし、出現物あり）と出力することが望まれる。一方、図２（ａ）の過去画像と現在画像を入れ替えると図２（ｂ）になるが、このとき変化検出器３０は（消失物あり、出現物なし）と出力することが望まれ、これは図２（ａ）とは異なる。この非対称性を実現するには、上記のスコア算出器６０では、ｃａｌｃＳｃｏｒｅ（ｈ１，ｈ２）とｃａｌｃＳｃｏｒｅ（ｈ２，ｈ１）で異なる値を出力できることが必要となる。
しかしながら、前述のＳｉａｍｅｓｅ Ｎｅｔｗｏｒｋでは画像の順番を変えて入力しても出力される距離は変わらないため、このような非対称性は実現できない。
本実施の形態のスコア算出器６０では、減算という非対称性がある演算を利用することで、ｃａｌｃＳｃｏｒｅ（ｈ１，ｈ２）とｃａｌｃＳｃｏｒｅ（ｈ２，ｈ１）で異なる値を出力でき、非対称性を実現でき、変化検出の精度を向上させることができる。
（個別スコア算出部４３のスコア統合部５４）
スコア統合部５４は、過去画像セットから現在画像セットへの所持物の消失である変化を示す個別スコアの最大値、最小値、又は平均値を統合個別スコアとして算出し、現在画像セットから過去画像セットへの所持物の消失、すなわち、過去画像セットから現在画像セットへの所持物の出現である変化を示す個別スコアの最大値、最小値、又は平均値を統合個別スコアとして算出する。
スコア統合部５４は、過去画像セットから現在画像セットへの所持物の消失である変化を示す個別スコアの最大値、最小値、又は平均値を統合個別スコアとして算出し、現在画像セットから過去画像セットへの所持物の消失、すなわち、過去画像セットから現在画像セットへの所持物の出現である変化を示す個別スコアの最大値、最小値、又は平均値を統合個別スコアとして算出する。
具体的には、スコア統合部５４は、スコア算出部５３で様々な組合せで算出された消失スコア、出現スコアをそれぞれ統合し、統合個別スコアとして出力する。スコア統合部５４は、対象領域ごと、画像ごとの順にスコアを統合していく。特徴マップについては変化検出器学習装置２ではスコア統合をせず、個別スコア損失算出部４４にてそれぞれで損失を算出する。
消失スコアの対象領域ごとの統合について説明する。まず過去画像の対象領域ごとに、現在画像の対象領域の中から最も変化がない対象領域のスコア（最小スコア）を選択する。これは最も似た所持物を表す対象領域を対応付けることに相当する。次に、過去画像の対象領域の中から最も変化がある対象領域のスコア（最大スコア）を選択する。これにより、最も変化したと判定された対象領域のスコアが選択される。これは次式のように書ける。
消失スコアの画像ごとのスコア統合は、対象領域ごとのスコア統合と同様に次式のように行う。
出現スコアの統合は消失スコアのスコア統合と同様に、次式のように行う。
対象領域軸のスコア統合：
画像軸のスコア統合：
対象領域軸のスコア統合：
画像軸のスコア統合：
スコア統合部５４は、上記の手順で得られた特徴マップごとの消失スコアｓｆ
ｄｉｓａｐｐｅａｒ、出現スコアｓｆ
ａｐｐｅａｒを統合個別スコアとして出力する。
（個別スコア損失算出部４４）
個別スコア損失算出部４４は、個別スコア算出部４３で算出された統合個別スコアと学習データである変化情報（消失物あり・なし、出現物あり・なし）を用いて損失を算出する。具体的には、次式のように特徴マップごとの消失スコア、出現スコアごとに誤差を算出し、その総和を個別スコア損失として出力する。
個別スコア損失算出部４４は、個別スコア算出部４３で算出された統合個別スコアと学習データである変化情報（消失物あり・なし、出現物あり・なし）を用いて損失を算出する。具体的には、次式のように特徴マップごとの消失スコア、出現スコアごとに誤差を算出し、その総和を個別スコア損失として出力する。
ここで、ｓｆ
ｄｉｓａｐｐｅａｒ、ｓｆ
ａｐｐｅａｒは個別スコア算出部４３で算出された統合個別スコア、ｔｄｉｓａｐｐｅａｒは消失物の有無を示すバイナリ値、ｔａｐｐｅａｒは出現物の有無を示すバイナリ値、ＣＥ（ ）は交差エントロピー誤差関数である。
個別スコア損失算出部４４はＬｐａｒｔｉａｌを個別スコア損失として出力する。
（全体特徴抽出部４５）
全体特徴抽出部４５は、全体領域用対象マップ正規化部５５、全体特徴ベクトル抽出部５６から構成される。全体特徴ベクトル抽出部５６は、過去画像セット、現在画像セットのそれぞれのセットの画像ごとに、対象尤度マップを用いて抽出された特徴量ベクトルを全体特徴ベクトルとして出力する。
全体特徴抽出部４５は、全体領域用対象マップ正規化部５５、全体特徴ベクトル抽出部５６から構成される。全体特徴ベクトル抽出部５６は、過去画像セット、現在画像セットのそれぞれのセットの画像ごとに、対象尤度マップを用いて抽出された特徴量ベクトルを全体特徴ベクトルとして出力する。
（全体特徴抽出部４５の全体領域用対象マップ正規化部５５）
全体領域用対象マップ正規化部５５は、候補領域推定部４１で算出された初期対象尤度マップに対して、各ピクセルの値の総和が１なるようにＳｐＳｏｆｔｍａｘｉｊ（ ）にて正規化し、それをｓｏｆｔｍａｘ正規化対象マップとして出力する。
全体領域用対象マップ正規化部５５は、候補領域推定部４１で算出された初期対象尤度マップに対して、各ピクセルの値の総和が１なるようにＳｐＳｏｆｔｍａｘｉｊ（ ）にて正規化し、それをｓｏｆｔｍａｘ正規化対象マップとして出力する。
（全体特徴抽出部４５の全体特徴ベクトル抽出部５６）
全体特徴ベクトル抽出部５６は、全体領域用対象マップ正規化部５５で算出されたｓｏｆｔｍａｘ正規化対象マップを重みとした特徴マップの重み付き平均によって特徴ベクトルを算出し、全体特徴ベクトルとして出力する。個別特徴ベクトル抽出部５２と同様に、特徴マップ抽出部４０にて算出された複数の特徴マップごとに特徴ベクトルを求める。具体的には次式によって求める。
ここで、ｗｉ，ｊはｓｏｆｔｍａｘ正規化対象マップの座標ｉ，ｊの値、hf,ｉ，ｊはf番目の特徴マップの座標ｉ，ｊの特徴ベクトルである。
全体特徴ベクトル抽出部５６は、全体領域用対象マップ正規化部５５で算出されたｓｏｆｔｍａｘ正規化対象マップを重みとした特徴マップの重み付き平均によって特徴ベクトルを算出し、全体特徴ベクトルとして出力する。個別特徴ベクトル抽出部５２と同様に、特徴マップ抽出部４０にて算出された複数の特徴マップごとに特徴ベクトルを求める。具体的には次式によって求める。
ここで、ｗｉ，ｊはｓｏｆｔｍａｘ正規化対象マップの座標ｉ，ｊの値、hf,ｉ，ｊはf番目の特徴マップの座標ｉ，ｊの特徴ベクトルである。
（全体スコア算出部４６）
全体スコア算出部４６は、全体特徴抽出部４５で算出された過去画像セット、現在画像セットの全体特徴ベクトルが入力されると、スコア算出部５７及びスコア統合部５８を通して、変化検出のスコアを算出する。
全体スコア算出部４６は、全体特徴抽出部４５で算出された過去画像セット、現在画像セットの全体特徴ベクトルが入力されると、スコア算出部５７及びスコア統合部５８を通して、変化検出のスコアを算出する。
（全体スコア算出部４６のスコア算出部５７）
全体スコア算出部４６のスコア算出部５７は、個別スコア算出部４３のスコア算出部５３と同様に、過去画像セット、現在画像セットの全体特徴ベクトルの様々な組合せで全体スコアを算出する。スコア算出部５７はＮｆ個のスコア算出器６０（特徴マップ数と同じ数）を用い、次のように消失スコア、出現スコアを算出する。
ここで、ｃａｌｃＳｃｏｒｅｆ（ ， ）はｆ番目の特徴マップのためのスコア算出器６０、ｈｉ１ ｔ１はｉ１番目の過去画像のｆ番目の特徴マップから算出された全体特徴ベクトル、ｈｉ２ ｔ２はｉ２番目の現在画像のｆ番目の特徴マップから算出された全体特徴ベクトル、ｓｆ，ｉ１，ｉ２ ｄｉｓａｐｐｅａｒ、ｓｆ，ｉ２，ｉ１ ａｐｐｅａｒはそれらから算出された消失スコア、出現スコアである。全体スコア算出部４６のスコア算出部５７で用いるスコア算出器６０は、ニューラルネットワークで構成され、全体スコア算出部４６のスコア算出部５７と同じ構造である。
全体スコア算出部４６のスコア算出部５７は、個別スコア算出部４３のスコア算出部５３と同様に、過去画像セット、現在画像セットの全体特徴ベクトルの様々な組合せで全体スコアを算出する。スコア算出部５７はＮｆ個のスコア算出器６０（特徴マップ数と同じ数）を用い、次のように消失スコア、出現スコアを算出する。
ここで、ｃａｌｃＳｃｏｒｅｆ（ ， ）はｆ番目の特徴マップのためのスコア算出器６０、ｈｉ１ ｔ１はｉ１番目の過去画像のｆ番目の特徴マップから算出された全体特徴ベクトル、ｈｉ２ ｔ２はｉ２番目の現在画像のｆ番目の特徴マップから算出された全体特徴ベクトル、ｓｆ，ｉ１，ｉ２ ｄｉｓａｐｐｅａｒ、ｓｆ，ｉ２，ｉ１ ａｐｐｅａｒはそれらから算出された消失スコア、出現スコアである。全体スコア算出部４６のスコア算出部５７で用いるスコア算出器６０は、ニューラルネットワークで構成され、全体スコア算出部４６のスコア算出部５７と同じ構造である。
（全体スコア算出部４６のスコア統合部５８）
全体スコア算出部４６のスコア統合部５８は、過去画像セットから現在画像セットへの所持物の消失である変化を示す全体スコアの最大値、最小値、又は平均値を統合全体スコアとして算出し、現在画像セットから過去画像セットへの所持物の消失、すなわち、過去画像セットから現在画像セットへの所持物の出現である変化を示す全体スコアの最大値、最小値、又は平均値を統合全体スコアとして算出する。
全体スコア算出部４６のスコア統合部５８は、過去画像セットから現在画像セットへの所持物の消失である変化を示す全体スコアの最大値、最小値、又は平均値を統合全体スコアとして算出し、現在画像セットから過去画像セットへの所持物の消失、すなわち、過去画像セットから現在画像セットへの所持物の出現である変化を示す全体スコアの最大値、最小値、又は平均値を統合全体スコアとして算出する。
具体的には、スコア統合部５８は、スコア算出部５７で様々な組合せで算出された消失スコア、出現スコアをそれぞれ統合し、統合全体スコアとして出力する。本スコア統合部５８は、画像ごとでのみスコアを統合していく。特徴マップについては変化検出器学習装置２ではスコア統合をせず、全体スコア損失算出部４７にてそれぞれで損失を算出する。
統合方法は、個別スコア算出部４３のスコア統合部５４と同様であり、具体的には次式のようになる。
消失スコアのスコア統合：
出現スコアのスコア統合：
消失スコアのスコア統合：
出現スコアのスコア統合：
スコア統合部５８は、上記の手順で得られた特徴マップごとの消失スコアｓｆ
ｄｉｓａｐｐｅａｒ、出現スコアｓｆ
ａｐｐｅａｒを統合全体スコアとして出力する。
（全体スコア損失算出部４７）
全体スコア損失算出部４７は、個別スコア損失算出部４４と同様に、全体スコア算出部４６で算出された統合全体スコアと学習データである変化情報（消失あり・なし、出現あり・なし）とに基づいて、全体スコア損失を算出する。具体的には、次式のように特徴マップごとの消失スコア、出現スコアごとに誤差を算出し、その総和を全体スコア損失として出力する。
全体スコア損失算出部４７は、個別スコア損失算出部４４と同様に、全体スコア算出部４６で算出された統合全体スコアと学習データである変化情報（消失あり・なし、出現あり・なし）とに基づいて、全体スコア損失を算出する。具体的には、次式のように特徴マップごとの消失スコア、出現スコアごとに誤差を算出し、その総和を全体スコア損失として出力する。
ここで、ｓｆ
ｄｉｓａｐｐｅａｒ、ｓｆ
ａｐｐｅａｒは全体スコア算出部４６で算出された統合全体スコア、ｔｄｉｓａｐｐｅａｒは消失物の有無を示すバイナリ値、ｔａｐｐｅａｒは出現物の有無を示すバイナリ値、ＣＥ（ ）は交差エントロピー誤差関数である。全体スコア損失算出部４７はＬｗｈｏｌｅを全体スコア損失として出力する。
ここで、学習時に全体特徴抽出部４５などを用いる利点について述べる。まず、本実施の形態では、候補領域推定部４１などのパラメータは乱数で初期化されるため、学習初期段階では、候補領域推定部４１で算出される対象尤度マップもあらゆる領域で抽出される場合が多く、所持物領域にのみ出るとは限らない。また、候補領域に関する学習データは与えず、変化検出器の学習を通じて自動的に候補領域推定部４１を学習させるため、候補領域推定部４１の学習は不安定になりやすい。
さらに、個別特徴ベクトル抽出部５２の処理は反復処理などを利用し、ニューラルネットワークが深くなるため、候補領域推定部４１まで損失が伝播しづらく、学習がさらに安定しないという課題がある。
そこで、本実施の形態では、全体特徴ベクトル抽出部５６でのｓｏｆｔｍａｘ正規化対象マップによる重み付き平均というシンプルな処理を通じて、変化検出問題を解かせ、その損失を候補領域推定部４１などに伝播させ、候補領域推定部４１の学習が促進される。これにより、候補領域推定部４１などの学習を安定させることができる。
（対象尤度蒸留損失算出部４８）
対象尤度蒸留損失算出部４８は、対象領域用対象マップ正規化部５０で算出されるｓｉｇｍｏｉｄ正規化対象尤度マップと全体領域用対象マップ正規化部５５で算出されるｓｏｆｔｍａｘ正規化対象マップで類似度を測り、対象尤度蒸留損失を出力する。これにより、学習中に対象領域用対象マップ正規化部５０で用いるスケール係数、バイアス係数が過大な値、過小な値となりｓｉｇｍｏｉｄ正規化対象尤度マップが対象尤度として不適当なマップになるのを防ぐことができる。
対象尤度蒸留損失算出部４８は、対象領域用対象マップ正規化部５０で算出されるｓｉｇｍｏｉｄ正規化対象尤度マップと全体領域用対象マップ正規化部５５で算出されるｓｏｆｔｍａｘ正規化対象マップで類似度を測り、対象尤度蒸留損失を出力する。これにより、学習中に対象領域用対象マップ正規化部５０で用いるスケール係数、バイアス係数が過大な値、過小な値となりｓｉｇｍｏｉｄ正規化対象尤度マップが対象尤度として不適当なマップになるのを防ぐことができる。
対象尤度蒸留損失は、具体的には次式のように求める。
ここで、ｗｉ，ｊ ｓｉｇはｓｉｇｍｏｉｄ正規化対象尤度マップの座標ｉ，ｊの値、ｗｉ，ｊ ｓｍはｓｏｆｔｍａｘ正規化対象マップの座標ｉ，ｊの値である。
ここで、ｗｉ，ｊ ｓｉｇはｓｉｇｍｏｉｄ正規化対象尤度マップの座標ｉ，ｊの値、ｗｉ，ｊ ｓｍはｓｏｆｔｍａｘ正規化対象マップの座標ｉ，ｊの値である。
また本実施の形態では学習のために誤差逆伝播法を用いるが、その際に、ｓｏｆｔｍａｘ正規化対象マップに対しては誤差情報を伝播させず、ｓｉｇｍｏｉｄ正規化対象尤度マップに対してのみ、誤差情報を伝播させる。これにより、対象領域用対象マップ正規化部５０で用いるスケール係数、バイアス係数の学習をより安定化させることができる。
（学習部３１）
学習部３１は、全体スコアと学習データとから計算される損失、及び個別スコアと学習データとから計算される損失に基づいて、特徴マップ抽出部４０、候補領域推定部４１、全体特徴抽出部４５、全体スコア算出部４６、個別特徴抽出部４２、及び個別スコア算出部４３を含む変化検出器３０を学習する。
学習部３１は、全体スコアと学習データとから計算される損失、及び個別スコアと学習データとから計算される損失に基づいて、特徴マップ抽出部４０、候補領域推定部４１、全体特徴抽出部４５、全体スコア算出部４６、個別特徴抽出部４２、及び個別スコア算出部４３を含む変化検出器３０を学習する。
また、学習部３１は、全体特徴抽出部４５で求められる正規化された対象尤度マップと、個別特徴抽出部４２で求められる正規化された対象尤度マップとから計算される損失を更に用いて、変化検出器３０の全体特徴抽出部４５及び個別特徴抽出部４２を学習する。
より具体的には、学習部３１は、個別スコア損失算出部４４で算出される個別スコア損失Ｌｐａｒｔｉａｌ、全体スコア損失算出部４７で算出される全体スコア損失Ｌｗｈｏｌｅ、対象尤度蒸留損失算出部４８で算出される対象尤度蒸留損失Ｌｓｉｍの３つの損失の和Ｌ＝Ｌｐａｒｔｉａｌ＋Ｌｗｈｏｌｅ＋Ｌｓｉｍを最小化するように、変化検出器３０のパラメータを更新する。
損失の最小化には確率的勾配法を用いる。確率的勾配法による学習では、最初に特徴マップ抽出部４０、候補領域推定部４１、対象領域用対象マップ正規化部５０、個別スコア算出部４３のスコア算出部５３、全体スコア算出部４６のスコア算出部５７のパラメータをランダムな数値などで初期化しておく。その後上記の損失をもとに誤差逆伝播法にてパラメータの勾配を算出し、その勾配をもとにパラメータを更新する。変化検出器学習装置２は、上記の学習データ読み込み、損失算出、パラメータの更新の処理を繰り返していくことで、変化検出器３０の学習を行う。反復終了条件としては、例えば、損失の変動量が事前に定めた閾値よりも小さくなったか否かや、事前に定めた反復回数に達したか否かなどを用いることができる。
学習部３１は、上述した変化検出器３０の学習において、過去画像セットの個別特徴ベクトルと、現在画像セットの個別特徴ベクトルとを所定の順にスコア算出器６０に入力して、過去画像セットから現在画像セットへの所持物の消失である変化を示す個別スコアを算出し、かつ、過去画像セットの個別特徴ベクトルと、現在画像セットの個別特徴ベクトルとを逆順にスコア算出器６０に入力し、過去画像セットから現在画像セットへの所持物の出現である変化を示す個別スコアを算出するように、スコア算出器６０を学習する。
また、学習部３１は、上述した変化検出器３０の学習において、過去画像セットの全体特徴ベクトルと、現在画像セットの全体特徴ベクトルとを所定の順にスコア算出器６０に入力して、過去画像セットから現在画像セットへの所持物の消失である変化を示す全体スコアを算出し、かつ、過去画像セットの全体特徴ベクトルと、現在画像セットの全体特徴ベクトルとを逆順にスコア算出器６０に入力し、過去画像セットから現在画像セットへの所持物の出現である変化を示す全体スコアを算出するように、スコア算出器６０を学習する。
変化検出器学習装置２は、最終的に求まった変化検出器３０のパラメータを、ネットワーク構造などと共に学習済みモデルとして、学習済みモデル記憶手段２２に格納する。
［画像監視装置の構成］
画像監視装置は、所定の空間を撮影した画像に写った人物の所持物の変化を検出し、検出結果を報知する装置である。
画像監視装置は、所定の空間を撮影した画像に写った人物の所持物の変化を検出し、検出結果を報知する装置である。
画像監視装置は、ＣＰＵと、ＧＰＵと、ＲＡＭと、後述する画像監視処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。図７に画像監視装置１のブロック図を示す。画像監視装置１は、機能的には、図７に示すように、画像取得手段１０、画像保持手段１１、検出手段１２、表示手段１３、及び学習済みモデル記憶手段１４を備えている。
画像取得手段１０は、所定の空間を異なる視点で撮影している複数の監視カメラからカラー画像を取得し、その画像を画像保持手段１１へ出力する。
画像保持手段１１は、既存の人物検知器などを用いて、入力された画像から人物領域を矩形状に切り抜き、撮影時刻の情報とともに、順次保持していく。保持していく際に、既存の顔認証技術や人物同定技術などを用いて、既に保持している画像と同一人物かどうかを判定する。同一人物であればそれらの画像を紐づけて、人物ＩＤと共に保持しておく。異なる一定以上離れた二つの時刻で同一人物の画像が一定数以上保持されている場合、画像保持手段１１は、それらの画像を時刻で分け、時刻が古い画像を過去画像セット、時刻が新しい画像を現在画像セットとして、人物ＩＤとともに出力する。なお、現在時刻より一定以上古くなった画像は破棄される。
学習済みモデル記憶手段１４には、予め変化検出器学習装置２で得られた学習済み変化検出器が記憶されている。
検出手段１２は、まず学習済みモデル記憶手段１４から学習済み変化検出器を読みこむ。次に、画像保持手段１１から過去画像セット、現在画像セット、人物ＩＤが入力されると、変化検出器を用いて、変化の確率値を推定する。図８に画像監視装置１での変化検出器１３０のブロック図を示す。なお、変化検出器学習装置２での変化検出器３０と同様の構成となる部分については、同一符号を付して詳細な説明を省略する。過去画像が第１データの一例であり、現在画像が第２データの一例である。
まず、検出手段１２に入力された過去画像セット、現在画像セットは、特徴マップ抽出部４０に入力され、各画像の特徴マップを出力する。
候補領域推定部４１は、特徴マップを用いて、初期対象尤度マップを出力する。個別特徴抽出部４２は、各画像の特徴マップと対象尤度マップが入力されると、対象領域抽出部４９及び個別特徴ベクトル抽出部５２を通じて各画像の個別特徴ベクトルを算出し、それを出力する。
対象領域抽出部４９は、対象領域用対象マップ正規化部５０、対象領域分割部５１を通じて、各画像から複数の対象領域を抽出し、対象領域を対象尤度部分マップとして出力する。
個別スコア算出部４３は、スコア算出部５３及びスコア統合部５４を通じて個別統合変化スコアを算出する。
スコア算出部５３は、過去画像セットの個別特徴ベクトルと、現在画像セットの個別特徴ベクトルとを所定の順に、スコア算出器６０に入力して、過去画像セットから現在画像セットへの所持物の消失である変化を示す個別スコアを算出し、消失スコアとする。
スコア算出部５３は、スコア算出器６０を用いて、スコア算出器６０に特徴ベクトルを逆順に入力することで、過去画像セットから現在画像セットへの所持物の出現である変化を示す個別スコアを算出し、出現スコアとする。
なお、スコア算出部５３は、更に、消失スコアと、出現スコアと、を用いて、変化なしを示すスコアと、所持物の入れ替わりを示すスコアとを算出するようにしてもよい。例えば、消失スコアと、出現スコアとの双方が小さいほど、変化なしを示すスコアが大きくなるように算出し、消失スコアと、出現スコアとの双方が大きいほど、所持物の入れ替わりを示すスコアが大きくなるように算出する。
また、画像監視装置１でのスコア統合部５４は、変化検出器学習装置２のスコア統合部５４のスコア統合処理に加え、特徴量ごとのスコアも統合する。例えば、過去画像セットの対象領域と、現在画像セットの対象領域との組み合わせ毎の個別スコアを統合し、過去画像セットの画像と、現在画像セットの画像との組み合わせ毎の個別スコアを統合し、特徴マップ毎の個別スコアを統合する。したがって、スコア統合処理は次式のようになる。
対象領域軸でのスコア統合：
画像軸のスコア統合：
特徴量軸のスコア統合：
画像軸のスコア統合：
特徴量軸のスコア統合：
消失スコアｓｄｉｓａｐｐｅａｒ、出現スコアｓａｐｐｅａｒはそれぞれ消失らしさの確率値、出現らしさの確率値であり、これらを個別スコア算出部４３は個別スコアとして出力する。
検出手段１２は、算出された個別スコアを検出結果として、過去画像セット、現在画像セット、人物ＩＤなどともに出力する。
表示手段１３は、変化の検出結果や過去画像セット、現在画像セット、人物ＩＤをディスプレイに表示するなどする。
［変化検出器学習装置２の動作］
図９は変化検出器学習装置２の動作に関する学習処理ルーチンのフロー図である。
図９は変化検出器学習装置２の動作に関する学習処理ルーチンのフロー図である。
当該学習の動作が開始されると、変化検出器学習装置２は、変化検出器３０を予め定めたネットワーク構造に設定し、そのネットワークのパラメータをランダムな数値等で初期化する（ステップＳ１０）。
変化検出器学習装置２は、学習データ記憶手段２０から、学習データとして、過去画像セット、現在画像セット、及び変化情報を読み込む（ステップＳ１１）。
変化検出器学習装置２は、変化検出器学習手段２１にて、過去画像セット、現在画像セットを変化検出器３０に入力して、確率値である個別スコアを算出し、それと学習データである変化情報を用いて損失を算出する（ステップＳ１２）。
変化検出器学習装置２は、変化検出器学習手段２１にて、算出した損失をもとに誤差逆伝播法で各パラメータの勾配を求め、その勾配を用いて、確率的勾配法にて各パラメータを更新する（ステップＳ１３）。
変化検出器学習装置２は、反復終了条件が満たされているかを判定する（ステップＳ１４）。反復終了条件が満たされた場合は変化検出器３０を学習済みモデル記憶手段２２に格納し（ステップＳ１５）、終了する。反復終了条件が満たされない場合は反復終了条件が満たされるまでステップＳ１１からステップＳ１４の動作を反復する。反復終了条件は、例えば、誤差の変動量が事前に定めた閾値よりも小さくなったか否かや、事前に定めた反復回数に達したか否かなどを用いることができる。
［画像監視装置１の動作］
図１０は画像監視装置１の動作に関する画像監視処理ルーチンのフロー図である。
図１０は画像監視装置１の動作に関する画像監視処理ルーチンのフロー図である。
動作が開始されると、画像監視装置１は、学習済みモデル記憶手段１４から変化検出器１３０の学習済みモデルを読み込む（ステップＳ２０）。
続いて、画像監視装置１は、画像取得手段１０によりカラー画像を取得する（ステップＳ２１）。取得した撮影画像は画像保持手段１１に送信される。
画像監視装置１は、画像保持手段１１にて、受信した撮影画像から、人物領域を切り抜き、保持している画像と同一人物かを判定し、同一人物であればそれらの画像を紐づけて、人物ＩＤと共に保持しておく（ステップＳ２２）。
次に、出力する画像があるか否かを判定する（ステップＳ２３）。異なる一定以上離れた二つの時刻で同一人物の画像が一定数以上保持されている場合、出力する画像があると判定し、画像保持手段１１は、それらの画像を時刻で分け、時刻が古い画像を過去画像セット、時刻が新しい画像を現在画像セットとして、人物ＩＤとともに出力する。出力する画像がない場合、画像取得手段１０による画像の取得（ステップＳ２１）に戻る。
検出手段１２にて、受信した過去画像セット、現在画像セットを変化検出器１３０に入力して検出処理の結果として個別スコアである消失スコア及び出現スコアを求め、それを過去画像セット、現在画像セット、人物ＩＤと共に表示手段１３に出力する（ステップＳ２４）。
画像監視装置１は、表示手段１３にて、取得した画像と検出結果をディスプレイに表示する（ステップＳ２５）。そして、監視員が表示された検出結果を視認して状況を判断し、異常があれば必要に応じて対処員を派遣する。
認識結果を表示後、画像取得手段１０による画像の取得（ステップＳ２１）に戻り、画像監視装置１を停止するまで、動作を続ける。
以上説明したように、本実施の形態に係る変化検出器学習装置及び画像監視装置によれば、初期対象尤度マップから、対象尤度マップを算出することと、対象尤度マップが表す対象領域を、対象領域の抽出結果として記録すると共に、対象領域の尤度を所定値に変更するように、初期対象尤度マップを変更することを繰り返す。これにより、対象領域の数が任意であっても、複数の対象領域を精度よく抽出することができる。
また、本実施の形態に係る学習装置によれば、全体スコアと学習データとから計算される損失、及び個別スコアと学習データとから計算される損失に基づいて、変化検出器を学習する。このように、対象領域の数が任意であっても、複数の対象領域を精度よく抽出する変化検出器を学習することができる。
また、本実施の形態に係る変化検出器学習装置によれば、過去画像セットの特徴ベクトルと、現在画像セットの特徴ベクトルとを所定の順にスコア算出器に入力して、過去画像セットから現在画像セットへの所持物の消失である変化を示すスコアを算出し、かつ、過去画像セットの特徴ベクトルと、現在画像セットの特徴ベクトルとを所定の順とは逆順にスコア算出器に入力し、現在画像セットから過去画像セットへの所持物の消失である変化、すわなち、過去画像セットから現在画像セットへの所持物の出現ある変化を示すスコアを算出するように、スコア算出器を学習する。これにより、過去画像セットから現在画像セットへの所持物の消失を示すスコアと、所持物の出現を示すスコアとの双方を算出するスコア算出器を学習することができる。
また、本実施の形態に係るデータ変化推定装置によれば、過去画像セットの特徴ベクトルと、現在画像セットの特徴ベクトルとを所定の順にスコア算出器に入力して、過去画像セットから現在画像セットへの所持物の消失である変化を示すスコアを算出し、過去画像セットの特徴ベクトルと、現在画像セットの特徴ベクトルとを所定の順とは逆順にスコア算出器に入力し、現在画像セットから過去画像セットへの所持物の消失である変化、すわなち、過去画像セットから現在画像セットへの所持物の出現ある変化を示すスコアを算出する。これにより、簡易な構成で、過去画像セットから現在画像セットへの所持物の消失及び出現の双方を推定することができる。
＜変形例＞
なお、本発明は、上述した実施の形態の装置構成及び作用に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
なお、本発明は、上述した実施の形態の装置構成及び作用に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
（変形例１）
上記の実施の形態では、データとしてカメラから撮影された画像を用いて、対象としての所持物の変化を検出する場合を例に説明したが、シーンの変化を検出する場合等にも適用できる。つまり、ある空間を撮影した過去と現在の画像から、その空間にある物がなくなったのか、新たに物が現れたのかを検出することができる。また、可視画像だけでなく熱画像や距離画像等を扱って変化検出を行うことにも適用できる。また、画像以外のデータを使った変化検出でも良い。例えば、データとしてマイクから得られた音を比較して、対象として異常音の出現又は消失を検出することにも適用できる。
上記の実施の形態では、データとしてカメラから撮影された画像を用いて、対象としての所持物の変化を検出する場合を例に説明したが、シーンの変化を検出する場合等にも適用できる。つまり、ある空間を撮影した過去と現在の画像から、その空間にある物がなくなったのか、新たに物が現れたのかを検出することができる。また、可視画像だけでなく熱画像や距離画像等を扱って変化検出を行うことにも適用できる。また、画像以外のデータを使った変化検出でも良い。例えば、データとしてマイクから得られた音を比較して、対象として異常音の出現又は消失を検出することにも適用できる。
（変形例２）
上記の実施の形態では、特徴マップ抽出部はニューラルネットワークで構成したが、ＨＯＧ（Histograms of Oriented Gradients）特徴量、ＬＢＰ(Local Binary Patterns)特徴量、色ヒストグラム等の特徴量を抽出するものとしてもよい。また、ＨＯＧ特徴量とＣＮＮ特徴量の併用でもよい。
上記の実施の形態では、特徴マップ抽出部はニューラルネットワークで構成したが、ＨＯＧ（Histograms of Oriented Gradients）特徴量、ＬＢＰ(Local Binary Patterns)特徴量、色ヒストグラム等の特徴量を抽出するものとしてもよい。また、ＨＯＧ特徴量とＣＮＮ特徴量の併用でもよい。
（変形例３）
上記の実施の形態では複数視点で撮影した過去画像セット、現在画像セットを用いたが、単一の視点でも良い。
上記の実施の形態では複数視点で撮影した過去画像セット、現在画像セットを用いたが、単一の視点でも良い。
また、複数視点での画像ではなく、既存の人物追跡技術等を使い、画像中の人物を追跡することによって得られる同一人物の一連の画像を画像セットとしてもよい。更に、複数視点かつ人物追跡技術を使って画像セットを構築してもよい。
（変形例４）
上記の実施の形態では、候補領域推定部に対して、全体スコア損失を通じて、個別スコア損失よりも直接的に変化検出の損失を伝播させることで、候補領域推定部の学習を促していたが、それに限らない。例えば、画像内の所持物領域のマスク画像を予め準備しておき、そのマスク画像と候補領域推定部で算出される初期対象尤度マップとの誤差を学習時の損失に加え、変化検出器を学習すればよい。その場合、全体特徴抽出部、全体スコア算出部、全体スコア損失算出部、及び対象尤度蒸留損失算出部は用いなくてもよい。
上記の実施の形態では、候補領域推定部に対して、全体スコア損失を通じて、個別スコア損失よりも直接的に変化検出の損失を伝播させることで、候補領域推定部の学習を促していたが、それに限らない。例えば、画像内の所持物領域のマスク画像を予め準備しておき、そのマスク画像と候補領域推定部で算出される初期対象尤度マップとの誤差を学習時の損失に加え、変化検出器を学習すればよい。その場合、全体特徴抽出部、全体スコア算出部、全体スコア損失算出部、及び対象尤度蒸留損失算出部は用いなくてもよい。
（変形例５）
上記の実施の形態では、対象領域分割部で、反復処理による複数の対象領域への分割によって、複数の対象尤度部分マップを算出していたが、これに限らない。
上記の実施の形態では、対象領域分割部で、反復処理による複数の対象領域への分割によって、複数の対象尤度部分マップを算出していたが、これに限らない。
例えば類似するピクセルをグルーピングしていく方法などがある。具体的にはまず、ｓｉｇｍｏｉｄ正規化対象尤度マップにおいて３×３ピクセルといった局所領域で中心が最大となる極大点を探索し、それらをリストなどに保持しておく。次に、それらと位置、特徴量の観点に置いて一定以上類似しているピクセルをグルーピングしていく。極大点同士が類似している場合にはｓｉｇｍｏｉｄ正規化対象尤度マップでの値が小さい方を極大点のリストから削除する。そして、極大点と同一グループとなったピクセルを１、そうでないピクセルを０とするマスク画像を極大点ごとに作成し、対象領域分割部ではそれらを対象尤度部分マップとして出力する。
（変形例６）
上記の実施の形態では、スコア算出器として非対称演算を用いたスコア算出器を用いたが、それに限らない。例えば、異なる特徴変換を用いたスコア算出器を用いることができる。図１１に、異なる特徴変換を用いたスコア算出器６０Ａのブロック図を示す。
上記の実施の形態では、スコア算出器として非対称演算を用いたスコア算出器を用いたが、それに限らない。例えば、異なる特徴変換を用いたスコア算出器を用いることができる。図１１に、異なる特徴変換を用いたスコア算出器６０Ａのブロック図を示す。
スコア算出器６０Ａには第一特徴ベクトル、第二特徴ベクトルが入力され、第一変換部６１Ａ、第二変換部６１Ｂにより、それぞれに異なる変換処理を施し、そして対称演算部６２Ａにより、それらを対称な演算を施し、最後にスコア化処理部６３によって、変化スコア（消失スコアまたは出現スコア）を算出する。具体的にこれらは次式のようになる。
第一変換部６１Ａ、第二変換部６１Ｂ：
対称演算部６２Ａ：
スコア化処理部６３：ｓ＝ｓｉｇｍｏｉｄ（ＦＣ（ｖ））
対称演算部６２Ａ：
スコア化処理部６３：ｓ＝ｓｉｇｍｏｉｄ（ＦＣ（ｖ））
ここで、ｈ１は第一特徴ベクトル、ｈ２は第二特徴ベクトル、Ｌ１（ ）、Ｌ２（ ）は全結合処理やＲｅＬＵ関数などで構成される第一変換、第二変換である。また、ｈ１’及びｈ２’はＤ次元ベクトル、ＦＣ（ ）は全結合処理、ｓｉｇｍｏｉｄ（ ）はｓｉｇｍｏｉｄ関数である。なお、本実施例では、ｖはスカラー値であるのでＦＣ（ ）は実質的にスケール係数α、バイアス係数βによる線形変換αｖ＋βとなる。
このスコア算出器６０Ａでは、第一特徴ベクトル、第二特徴ベクトルに対してそれぞれ異なる変換を施すことで、非対称性を実現している。
（変形例７）
上記の実施の形態では、スコア算出器をひとつだけ用いたが、それに限らない。例えば、複数のスコア算出器を用意し、それぞれで変化スコアを算出し、それらの平均値を新たな変化スコアとする方法がある。この場合、学習の際にそれぞれのスコア算出器のパラメータを異なる値で初期化することで、それぞれのスコア算出器に多様性を持たせ、変化検出の精度を向上させることができる。
上記の実施の形態では、スコア算出器をひとつだけ用いたが、それに限らない。例えば、複数のスコア算出器を用意し、それぞれで変化スコアを算出し、それらの平均値を新たな変化スコアとする方法がある。この場合、学習の際にそれぞれのスコア算出器のパラメータを異なる値で初期化することで、それぞれのスコア算出器に多様性を持たせ、変化検出の精度を向上させることができる。
（変形例８）
上記の実施の形態では画像監視装置１の個別スコア算出部のスコア統合部にて、画像毎のスコア統合を変化検出器学習装置２と同じｍａｘ－ｍｉｎ演算で統合していたが、それに限らない。例えば、変化検出器学習装置２では、ｍａｘ－ｍｉｎ演算で学習し、画像監視装置１では次式のようなｍｅａｎ－ｍｉｎ演算などの変化検出器学習装置２とは異なる統合方法を用いてもよい。
上記の実施の形態では画像監視装置１の個別スコア算出部のスコア統合部にて、画像毎のスコア統合を変化検出器学習装置２と同じｍａｘ－ｍｉｎ演算で統合していたが、それに限らない。例えば、変化検出器学習装置２では、ｍａｘ－ｍｉｎ演算で学習し、画像監視装置１では次式のようなｍｅａｎ－ｍｉｎ演算などの変化検出器学習装置２とは異なる統合方法を用いてもよい。
ｍａｘ－ｍｉｎ演算では、過去画像セットや現在画像セットなどに人物領域の切り取りに失敗するなどして入力として想定している画像と大きく異なる外れ値的な画像が含まれている場合に、その画像の影響で変化スコアが大きく変動する場合がある。ｍｅａｎ－ｍｉｎ演算では外れ値的な画像の影響を受けにくく、変化スコアがより頑健になるという利点がある。
（変形例９）
上記の実施の形態では、画像監視装置１の表示手段１３において変化検出結果を表示するとしたが、より詳細にどの場所が変化したかを表示することも可能である。変化検出器では、候補領域推定部において変化がありそうな候補領域を算出し、その領域を基にスコアを算出している。そして、最終的なスコアは、過去画像セットに含まれる複数の画像の中のある領域と、現在画像セットに含まれる複数の画像の中のある領域のペアから計算される。よって、このペアのスコアを保持しておき、最終的なスコアに寄与したものがどれかを辿れば、どの画像のどの領域が異なるか、ということを画像上に矩形などで表示することができる。
上記の実施の形態では、画像監視装置１の表示手段１３において変化検出結果を表示するとしたが、より詳細にどの場所が変化したかを表示することも可能である。変化検出器では、候補領域推定部において変化がありそうな候補領域を算出し、その領域を基にスコアを算出している。そして、最終的なスコアは、過去画像セットに含まれる複数の画像の中のある領域と、現在画像セットに含まれる複数の画像の中のある領域のペアから計算される。よって、このペアのスコアを保持しておき、最終的なスコアに寄与したものがどれかを辿れば、どの画像のどの領域が異なるか、ということを画像上に矩形などで表示することができる。
（変形例１０）
上記の実施の形態では、対象領域分割部５１が、位置尤度マップ算出部７０、アピアランス尤度マップ算出部７１、対象尤度マップ算出部７２、及び変更部７３を備えている場合を例に説明したが、これに限定されるものではない。位置尤度マップ算出部７０及びアピアランス尤度マップ算出部のうちの何れか一方を省略してもよい。
上記の実施の形態では、対象領域分割部５１が、位置尤度マップ算出部７０、アピアランス尤度マップ算出部７１、対象尤度マップ算出部７２、及び変更部７３を備えている場合を例に説明したが、これに限定されるものではない。位置尤度マップ算出部７０及びアピアランス尤度マップ算出部のうちの何れか一方を省略してもよい。
（変形例１１）
上記の実施の形態では、画像監視装置１と変化検出器学習装置２とが別々の装置である場合を例に説明したが、これに限定されるものではない。画像監視装置１が、変化検出器学習装置２の各手段を更に含むように構成してもよい。
上記の実施の形態では、画像監視装置１と変化検出器学習装置２とが別々の装置である場合を例に説明したが、これに限定されるものではない。画像監視装置１が、変化検出器学習装置２の各手段を更に含むように構成してもよい。
以上のように、当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
１ 画像監視装置
２ 変化検出器学習装置
１２ 検出手段
１４ 学習済みモデル記憶手段
２０ 学習データ記憶手段
２１ 変化検出器学習手段
２２ 学習済みモデル記憶手段
３０、１３０ 変化検出器
３１ 学習部
４０ 特徴マップ抽出部
４１ 候補領域推定部
４２ 個別特徴抽出部
４３ 個別スコア算出部
４４ 個別スコア損失算出部
４５ 全体特徴抽出部
４６ 全体スコア算出部
４７ 全体スコア損失算出部
４８ 対象尤度蒸留損失算出部
４９ 対象領域抽出部
５０ 対象領域用対象マップ正規化部
５１ 対象領域分割部
５２ 個別特徴ベクトル抽出部
５３、５７ スコア算出部
５４、５８ スコア統合部
５５ 全体領域用対象マップ正規化部
５６ 全体特徴ベクトル抽出部
６０、６０Ａ スコア算出器
７０ 位置尤度マップ算出部
７１ アピアランス尤度マップ算出部
７２ 対象尤度マップ算出部
７３ 変更部
２ 変化検出器学習装置
１２ 検出手段
１４ 学習済みモデル記憶手段
２０ 学習データ記憶手段
２１ 変化検出器学習手段
２２ 学習済みモデル記憶手段
３０、１３０ 変化検出器
３１ 学習部
４０ 特徴マップ抽出部
４１ 候補領域推定部
４２ 個別特徴抽出部
４３ 個別スコア算出部
４４ 個別スコア損失算出部
４５ 全体特徴抽出部
４６ 全体スコア算出部
４７ 全体スコア損失算出部
４８ 対象尤度蒸留損失算出部
４９ 対象領域抽出部
５０ 対象領域用対象マップ正規化部
５１ 対象領域分割部
５２ 個別特徴ベクトル抽出部
５３、５７ スコア算出部
５４、５８ スコア統合部
５５ 全体領域用対象マップ正規化部
５６ 全体特徴ベクトル抽出部
６０、６０Ａ スコア算出器
７０ 位置尤度マップ算出部
７１ アピアランス尤度マップ算出部
７２ 対象尤度マップ算出部
７３ 変更部
Claims (17)
- 第１データから第２データへの変化であって、データが表す対象の消失である変化を示す学習データと、前記第２データから前記第１データへの変化であって、データが表す対象の出現である変化を示す学習データと、に基づいて、スコア算出器を学習させる学習部を含む学習装置であって、
前記学習部は、
前記スコア算出器が、前記第１データの特徴量と、前記第２データの特徴量とを所定の順に入力として受け付けたときに、前記消失である変化を示すスコアを算出し、かつ、
前記スコア算出器が、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に入力として受け付けたときに、前記出現である変化を示すスコアを算出するように、前記スコア算出器を学習させる、
学習装置。 - 第１データから第２データへの変化であって、データが表す対象の出現である変化を示す学習データと、前記第２データから前記第１データへの変化であって、データが表す対象の消失である変化を示す学習データと、に基づいて、スコア算出器を学習させる学習部を含む学習装置であって、
前記学習部は、
前記スコア算出器が、前記第１データの特徴量と、前記第２データの特徴量とを所定の順に入力として受け付けたときに、前記出現である変化を示すスコアを算出し、かつ、
前記スコア算出器が、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に入力として受け付けたときに、前記消失である変化を示すスコアを算出するように、前記スコア算出器を学習させる、
学習装置。 - 第３データから第４データへの変化であって、データが表す対象の消失である変化を示す学習データと、前記第４データから前記第３データへの変化であって、データが表す対象の出現である変化を示す学習データと、に基づいて学習されたスコア算出器を用いてスコアを算出するスコア算出部を含むデータ変化推定装置であって、
前記スコア算出器は、
前記第３データの特徴量と、前記第４データの特徴量とを所定の順に入力として受け付けたときに、前記消失である変化を示すスコアを算出し、かつ、
前記第３データの特徴量と、前記第４データの特徴量とを前記所定の順とは逆順に入力として受け付けたときに、前記出現である変化を示すスコアを算出するように学習され、
前記スコア算出部は、
第１データの特徴量と、第２データの特徴量とを所定の順に、前記スコア算出器に入力して、前記消失である変化を示すスコアを算出し、かつ、
前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記出現である変化を示すスコアを算出する、
データ変化推定装置。 - 第３データから第４データへの変化であって、データが表す対象の出現である変化を示す学習データと、前記第４データから前記第３データへの変化であって、データが表す対象の消失である変化を示す学習データと、に基づいて学習されたスコア算出器を用いてスコアを算出するスコア算出部を含むデータ変化推定装置であって、
前記スコア算出器は、
前記第３データの特徴量と、前記第４データの特徴量とを所定の順に入力として受け付けたときに、前記出現である変化を示すスコアを算出し、かつ、
前記第３データの特徴量と、前記第４データの特徴量とを前記所定の順とは逆順に入力として受け付けたときに、前記消失である変化を示すスコアを算出するように学習され、
前記スコア算出部は、
第１データの特徴量と、第２データの特徴量とを所定の順に、前記スコア算出器に入力し、前記出現である変化を示すスコアを算出し、かつ、
前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記消失である変化を示すスコアを算出する、
データ変化推定装置。 - 第１データの特徴量と、第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化であって、データが表す対象の消失である変化を示すスコアを算出し、かつ、
前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化であって、データが表す対象の出現である変化を示すスコアを算出するスコア算出部、
を含むデータ変化推定装置。 - 第１データの特徴量と、第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化であって、データが表す対象の出現である変化を示すスコアを算出し、かつ、
前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化であって、データが表す対象の消失である変化を示すスコアを算出するスコア算出部、
を含むデータ変化推定装置。 - 前記スコア算出器は、非対称演算を用いて、前記消失である変化を示すスコア又は前記出現である変化を示すスコアを算出する請求項３～６の何れか一項記載のデータ変化推定装置。
- 前記スコア算出部は、更に、前記消失である変化を示すスコアと、前記出現である変化を示すスコアと、を用いて、変化なしを示すスコアと、対象の入れ替わりを示すスコアとを算出する請求項５～請求項７の何れか１項記載のデータ変化推定装置。
- 第１データと第２データの各々について、特徴マップを抽出する特徴マップ抽出部と、
前記特徴マップから、対象領域推定モデルを用いて、対象領域らしさを示す尤度のマップである対象尤度マップを推定する候補領域推定部と、
前記対象尤度マップから、対象領域を抽出する対象領域抽出部と、
前記特徴マップから、抽出された対象領域の特徴量を抽出する特徴量抽出部と、を更に含む請求項５～請求項８の何れか１項記載のデータ変化推定装置。 - 学習部が、第１データから第２データへの変化であって、データが表す対象の消失である変化を示す学習データと、前記第２データから前記第１データへの変化であって、データが表す対象の出現である変化を示す学習データと、に基づいて、スコア算出器を学習させる学習方法であって、
前記スコア算出器が、前記第１データの特徴量と、前記第２データの特徴量とを所定の順に入力として受け付けたときに、前記消失である変化を示すスコアを算出し、かつ、
前記スコア算出器が、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に入力として受け付けたときに、前記出現である変化を示すスコアを算出するように、前記スコア算出器を学習させる
学習方法。 - 学習部が、第１データから第２データへの変化であって、データが表す対象の出現である変化を示す学習データと、前記第２データから前記第１データへの変化であって、データが表す対象の消失である変化を示す学習データと、に基づいて、スコア算出器を学習させる学習方法であって、
前記スコア算出器が、前記第１データの特徴量と、前記第２データの特徴量とを所定の順に入力として受け付けたときに、前記出現である変化を示すスコアを算出し、かつ、
前記スコア算出器が、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に入力として受け付けたときに、前記消失である変化を示すスコアを算出するように、前記スコア算出器を学習させる
学習方法。 - スコア算出部が、第１データの特徴量と、第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化であって、データが表す対象の消失である変化を示すスコアを算出し、かつ、
前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化であって、データが表す対象の出現である変化を示すスコアを算出する
データ変化推定方法。 - スコア算出部が、第１データの特徴量と、第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化であって、データが表す対象の出現である変化を示すスコアを算出し、かつ、
前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化であって、データが表す対象の消失である変化を示すスコアを算出する
データ変化推定方法。 - 第１データから第２データへの変化であって、データが表す対象の消失である変化を示す学習データと、前記第２データから前記第１データへの変化であって、データが表す対象の出現である変化を示す学習データと、に基づいて、スコア算出器を学習させる学習プログラムであって、
前記スコア算出器が、前記第１データの特徴量と、前記第２データの特徴量とを所定の順に入力として受け付けたときに、前記消失である変化を示すスコアを算出し、かつ、
前記スコア算出器が、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に入力として受け付けたときに、前記出現である変化を示すスコアを算出するように、前記スコア算出器を学習させる
ことをコンピュータに実行させるための学習プログラム。 - 第１データから第２データへの変化であって、データが表す対象の出現である変化を示す学習データと、前記第２データから前記第１データへの変化であって、データが表す対象の消失である変化を示す学習データと、に基づいて、スコア算出器を学習させる学習プログラムであって、
前記スコア算出器が、前記第１データの特徴量と、前記第２データの特徴量とを所定の順に入力として受け付けたときに、前記出現である変化を示すスコアを算出し、かつ、
前記スコア算出器が、前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に入力として受け付けたときに、前記消失である変化を示すスコアを算出するように、前記スコア算出器を学習させる
ことをコンピュータに実行させるための学習プログラム。 - 第１データの特徴量と、第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化であって、データが表す対象の消失である変化を示すスコアを算出し、かつ、
前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化であって、データが表す対象の出現である変化を示すスコアを算出する
ことをコンピュータに実行させるためのデータ変化推定プログラム。 - 第１データの特徴量と、第２データの特徴量とを所定の順にスコア算出器に入力して、前記第１データから前記第２データへの変化であって、データが表す対象の出現である変化を示すスコアを算出し、かつ、
前記第１データの特徴量と、前記第２データの特徴量とを前記所定の順とは逆順に前記スコア算出器に入力し、前記第２データから前記第１データへの変化であって、データが表す対象の消失である変化を示すスコアを算出する
ことをコンピュータに実行させるためのデータ変化推定プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022052590A JP7736613B2 (ja) | 2022-03-28 | 2022-03-28 | 学習装置、データ変化推定装置、学習方法、データ変化推定方法、学習プログラム、及びデータ変化推定プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022052590A JP7736613B2 (ja) | 2022-03-28 | 2022-03-28 | 学習装置、データ変化推定装置、学習方法、データ変化推定方法、学習プログラム、及びデータ変化推定プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023145229A JP2023145229A (ja) | 2023-10-11 |
| JP7736613B2 true JP7736613B2 (ja) | 2025-09-09 |
Family
ID=88253515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022052590A Active JP7736613B2 (ja) | 2022-03-28 | 2022-03-28 | 学習装置、データ変化推定装置、学習方法、データ変化推定方法、学習プログラム、及びデータ変化推定プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7736613B2 (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008535041A (ja) | 2005-02-04 | 2008-08-28 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | 映像フレーム内におけるスプリアス領域の識別 |
| JP2021111033A (ja) | 2020-01-08 | 2021-08-02 | 三菱電機エンジニアリング株式会社 | 物体監視装置、物体監視プログラム、及び監視システム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5912980A (en) * | 1995-07-13 | 1999-06-15 | Hunke; H. Martin | Target acquisition and tracking |
-
2022
- 2022-03-28 JP JP2022052590A patent/JP7736613B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008535041A (ja) | 2005-02-04 | 2008-08-28 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | 映像フレーム内におけるスプリアス領域の識別 |
| JP2021111033A (ja) | 2020-01-08 | 2021-08-02 | 三菱電機エンジニアリング株式会社 | 物体監視装置、物体監視プログラム、及び監視システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023145229A (ja) | 2023-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bertasius et al. | Object detection in video with spatiotemporal sampling networks | |
| US20210264144A1 (en) | Human pose analysis system and method | |
| US8582887B2 (en) | Image processing system, learning device and method, and program | |
| CN109472205B (zh) | 商品识别方法、商品识别装置及存储介质 | |
| US20230154016A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| WO2020228446A1 (zh) | 模型训练方法、装置、终端及存储介质 | |
| CN112101195B (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
| EP3857440A1 (en) | Method and apparatus for processing video stream | |
| US20110158540A1 (en) | Pattern recognition method and pattern recognition apparatus | |
| US11544926B2 (en) | Image processing apparatus, method of processing image, and storage medium | |
| CN110276785A (zh) | 一种抗遮挡红外目标跟踪方法 | |
| JP6597914B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN106295710B (zh) | 基于非几何约束的图像局部特征匹配方法、装置及终端 | |
| US20260017805A1 (en) | Method and apparatus with object tracking using dynamic field of view | |
| CN115170794A (zh) | 一种在动态场景下的视觉slam动态特征点剔除方法及系统 | |
| CN113888586A (zh) | 一种基于相关滤波的目标跟踪方法及装置 | |
| JP7229954B2 (ja) | オブジェクト追跡装置及びオブジェクト追跡方法 | |
| CN111507286B (zh) | 一种假人检测方法及装置 | |
| CN116665311A (zh) | 行为识别方法、装置、设备及可读存储介质 | |
| JP7736613B2 (ja) | 学習装置、データ変化推定装置、学習方法、データ変化推定方法、学習プログラム、及びデータ変化推定プログラム | |
| JP7729790B2 (ja) | 対象領域抽出装置、学習装置、対象領域抽出方法、及び対象領域抽出プログラム | |
| JP7753782B2 (ja) | 判定プログラム、判定方法および情報処理装置 | |
| CN119672056A (zh) | 一种基于ai模型的影像图片边缘提取方法及系统 | |
| JP7845099B2 (ja) | 特定プログラム、特定方法および情報処理装置 | |
| CN115641318B (zh) | 一种基于图像配准的视频流变化检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240919 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250603 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250819 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250828 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7736613 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |