JP7055259B2 - ラベリング装置及び学習装置 - Google Patents

Description

本開示は、ラベリング装置及び学習装置に関する。

従来、教師あり学習に関する種々の技術が開発されている。教師あり学習における学習用データは、事前にラベリングがなされたものである。特許文献１には、学習用データに対するラベリングの状態に基づき学習性能を予測する技術が開示されている。

国際公開第２０１８／０７９０２０号

通常、学習用データに対するラベリングは、人の手作業によるものである。以下、学習用データに対するラベリングをする者を「ラベリング担当者」ということがある。また、学習用データに対するラベリングをする作業を「ラベリング作業」ということがある。

従来、画像認識（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）のうちの物体認識（Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ）において、物体検出（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）に関する種々の技術が開発されている。また、領域分割（Ｓｃｅｎｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）に関する種々の技術が開発されている。物体検出においては、「ｌａｂｅｌＩｍｇ」等のツールがラベリング作業に用いられている。領域分割においては、「Ｌａｂｅｌｂｏｘ」等のツールがラベリング作業に用いられている。

これらのツールを用いたとしても、ラベリング作業によるラベリング担当者に対する作業負荷が発生する。特に、大量の学習用データに対するラベリング作業が要求されるとき、ラベリング担当者に対する作業負荷が大きいという問題があった。

本開示は、上記のような課題を解決するためになされたものであり、ラベリング作業によるラベリング担当者に対する作業負荷を低減することを目的とする。

本開示に係るラベリング装置は、カメラによる撮像画像を示す画像信号を取得する画像信号取得部と、機械学習による学習済みの画像認識部であって、撮像画像に対する画像認識を実行する画像認識部と、画像認識の結果に基づき、撮像画像に含まれる個々の物体に対するラベリングを実行することにより、個々の物体に対応する画像データ及び個々の物体に対応するラベルデータを含む学習用データセットを生成する学習用データセット生成部と、を備えるものである。

本開示によれば、上記のように構成したので、ラベリング作業を自動化又は半自動化することができる。この結果、ラベリング担当者に対する作業負荷を低減することができる。

実施の形態１に係るラベリングシステムの要部を示すブロック図である。 実施の形態１に係るラベリング装置における画像認識部の要部を示すブロック図である。 実施の形態１に係る学習装置における学習用データベース更新部の要部を示すブロック図である。 撮像画像の例を示す説明図である。 図４に示す撮像画像に対応する第１特徴マップの例を示す説明図である。 他の撮像画像の例を示す説明図である。 図６に示す撮像画像に対応する第１特徴マップの例を示す説明図である。 図４に示す撮像画像に対応する第２特徴マップの例を示す説明図である。 「Ｍａｓｋ Ｒ－ＣＮＮ ＋ ＧＳоＣ」におけるニューラルネットワークの構造を示す説明図である。 図４に示す撮像画像に対応する第３特徴マップの例を示す説明図である。 「Ｍａｓｋ Ｒ－ＣＮＮ ＋ ＧＳоＣ」のうちの第１の畳み込みブロックにおけるニューラルネットワークの構造を示す説明図である。 比較用の物体認識による認識結果の例を示す説明図である。 実施の形態１に係る物体認識による認識結果の例を示す説明図である。 比較用の物体認識による認識精度の例、及び実施の形態１に係る物体認識による認識精度の例を示す説明図である。 信頼度マップの例を示す説明図である。 実施の形態１に係るラベリング装置の要部のハードウェア構成を示すブロック図である。 実施の形態１に係るラベリング装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係るラベリング装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係る学習装置の要部のハードウェア構成を示すブロック図である。 実施の形態１に係る学習装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係る学習装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係るラベリング装置の動作を示すフローチャートである。 実施の形態１に係る学習装置の動作を示すフローチャートである。 実施の形態１に係る他のラベリングシステムの要部を示すブロック図である。 実施の形態１に係る他のラベリングシステムの要部を示すブロック図である。 実施の形態２に係るラベリングシステムの要部を示すブロック図である。 実施の形態２に係るラベリング装置の動作を示すフローチャートである。 実施の形態２に係る他のラベリングシステムの要部を示すブロック図である。 実施の形態２に係る他のラベリングシステムの要部を示すブロック図である。

以下、この開示をより詳細に説明するために、この開示を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、実施の形態１に係るラベリングシステムの要部を示すブロック図である。図２は、実施の形態１に係るラベリング装置における画像認識部の要部を示すブロック図である。図３は、実施の形態１に係る学習装置における学習用データベース更新部の要部を示すブロック図である。図１～図３を参照して、実施の形態１に係るラベリングシステムについて説明する。

図１に示す如く、ラベリングシステム１は、カメラ２、記憶装置３、記憶装置４、ラベリング装置１００及び学習装置２００を含むものである。記憶装置３は、学習用データセット記憶部１１を有している。記憶装置４は、学習用データベース記憶部１２を有している。ラベリング装置１００は、画像信号取得部２１、画像認識部２２及び学習用データセット生成部２３を有している。学習装置２００は、学習用データベース更新部３１及び学習部３２を有している。

カメラ２は、モニタリング用のカメラである。具体的には、例えば、カメラ２は、監視カメラ、防犯カメラ又は電子ミラー用のカメラである。カメラ２は、可視光カメラ又は赤外線カメラにより構成されており、かつ、動画撮像用のカメラにより構成されている。以下、カメラ２により撮像される動画を構成する個々の静止画を「撮像画像」ということがある。

画像信号取得部２１は、撮像画像を示す画像信号を取得するものである。画像認識部２２は、当該取得された画像信号を用いて画像認識を実行するものである。ここで、画像認識部２２により実行される画像認識は、物体認識及びトラッキングを含むものである。また、画像認識部２２により実行される物体認識は、物体検出及び領域分割のうちの少なくとも一方を含むものである。

すなわち、図２に示す如く、画像認識部２２は、特徴量抽出部４１、物体認識部４２及び物体追跡部４３を有している。特徴量抽出部４１は、第１特徴量抽出部４１＿１及び第２特徴量抽出部４１＿２を有している。

第１特徴量抽出部４１＿１は、上記取得された画像信号を用いて、個々の撮像画像に対応する特徴マップ（以下「第１特徴マップ」ということがある。）を生成するものである。第１特徴マップは、互いに直行する２方向に配列された複数個の特徴量（以下「第１特徴量」ということがある。）により構成されている。

ここで、第１特徴マップは、属性毎の前景マスクに対応するものである。この場合、第１特徴量抽出部４１＿１は、例えば、ＧＳоＣ（Ｇｏｏｇｌｅ Ｓｕｍｍｅｒ ｏｆ Ｃｏｄｅ）２０１７にて開発された背景差分法（Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ）を用いて属性毎の前景マスクを生成することにより、第１特徴マップを生成する。図４は、撮像画像の例を示している。図５は、かかる撮像画像に対応する第１特徴マップであって、背景差分法に基づく第１特徴マップの例を示している。より具体的には、図５は、属性「人」に対応する前景マスクの例を示している。

または、第１特徴マップは、物体らしさ（Ｏｂｊｅｃｔｎｅｓｓ）に対応する中レベル特徴（Ｍｉｄ－ｌｅｖｅｌ Ｆｅａｔｕｒｅ）に対応するものである。すなわち、第１特徴マップにおける個々の第１特徴量は、かかる中レベル特徴を用いたものである。なお、「中レベル」とは、人の視覚モデルに基づくレベルと同等のレベルである。すなわち、「中レベル」とは、従来の物体認識に用いられる特徴のレベルに比して低いレベルである。

中レベル特徴は、例えば、アテンション（Ａｔｔｅｎｔｉｏｎ）を用いたものである。この場合、第１特徴量抽出部４１＿１は、例えば、アテンション機構を用いてアテンションマップを生成することにより、第１特徴マップを生成する。図６は、撮像画像の例を示している。図７は、かかる撮像画像に対応する第１特徴マップであって、アテンションに基づく第１特徴マップの例を示している。

または、中レベル特徴は、例えば、顕著性（Ｓａｌｉｅｎｃｙ）を用いたものである。この場合、第１特徴量抽出部４１＿１は、例えば、以下の参考文献１に記載された方法と同様の方法を用いて顕著性マップを生成することにより、第１特徴マップを生成する。すなわち、第１特徴量抽出部４１＿１は、顕著性推定を実行することにより第１特徴マップを生成する。

［参考文献１］
国際公開第２０１８／０５１４５９号

なお、中レベル特徴は、物体らしさに対応するものであれば良く、アテンション又は顕著性に限定されるものではない。また、第１特徴量抽出部４１＿１による第１特徴マップの生成方法は、上記の具体例に限定されるものではない。例えば、第１特徴量抽出部４１＿１は、画像勾配検出、顕著性推定、背景差分法、物体らしさ推定、アテンション及び領域分割のうちの少なくとも一つを用いて第１特徴マップを生成するものであっても良い。

以下、第１特徴量抽出部４１＿１が背景差分法により属性毎の前景マスクを生成する場合の例を中心に説明する。

第２特徴量抽出部４１＿２は、上記取得された画像信号を用いて、個々の撮像画像に対応する１個以上の特徴マップ（以下「第２特徴マップ」ということがある。）を生成するものである。第２特徴マップは、例えば、畳み込みニューラルネットワーク（以下「ＣＮＮ」と記載することがある。）を用いて順次生成されるものである。個々の第２特徴マップは、互いに直行する２方向に配列された複数個の特徴量（以下「第２特徴量」ということがある。）により構成されている。

ここで、第２特徴マップは、高レベル特徴（Ｈｉｇｈ－ｌｅｖｅｌ Ｆｅａｔｕｒｅ）に対応するものである。すなわち、個々の第２特徴量は、かかる高レベル特徴を用いたものである。なお、「高レベル」とは、従来の物体認識に用いられる特徴のレベルと同等のレベルである。すなわち、「高レベル」とは、人の視覚モデルに基づくレベルに比して高いレベルである。図８は、図４に示す撮像画像に対応する第２特徴マップの例を示している。

物体認識部４２は、上記生成された第１特徴マップ及び上記生成された第２特徴マップを用いて、物体認識を実行するものである。物体認識部４２により実行される物体認識は、上記のとおり、物体検出及び領域分割のうちの少なくとも一方を含むものである。

物体検出は、撮像画像に含まれる個々の物体について、回帰（Ｒｅｇｒｅｓｓｉｏｎ）により位置を推定するとともに、分類（Ｃｌａｓｓｉｆｙ）により属性を推定するものである。物体検出により、撮像画像に含まれる個々の物体について、位置及び大きさに対応する座標（ｘ，ｙ，ｗ，ｈ）に対応するバウンディングボックスを示す情報、属性に対応するラベルを示す情報、並びに個々のバウンディングボックスに対応する信頼度を示す情報などが出力される。

領域分割は、撮像画像を個々の属性に対応する領域に分割するものである。領域分割により、撮像画像がピクセル単位にて複数個の領域に分割される。領域分割により、個々の領域の面積を示す情報、及び個々の領域に対応する属性を示す情報などが出力される。

具体的には、例えば、物体認識部４２は、Ｍａｓｋ Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ ＣＮＮ）により物体検出及び領域分割の両方を実行するものである。以下、物体認識部４２にＭａｓｋ Ｒ－ＣＮＮを用いた場合の例を中心に説明する。Ｍａｓｋ Ｒ－ＣＮＮについては、以下の参考文献２に記載されている。

［参考文献２］
Kaiming He, Georgia Gkioxari, Ross Girshick, et al. "Mask R-CNN," v3, 24 Jan 2018, https://arxiv.org/pdf/1703.06870v3.pdf

図９は、第１特徴量抽出部４１＿１が背景差分法により属性毎の前景マスクを生成するものであり、かつ、物体認識部４２がＭａｓｋ Ｒ－ＣＮＮにより物体検出及び領域分割の両方を実行するものである場合における、特徴量抽出部４１及び物体認識部４２に対応するニューラルネットワークの構造の例を示している。以下、かかるニューラルネットワークを「Ｍａｓｋ Ｒ－ＣＮＮ ＋ ＧＳоＣ」と記載することがある。

図中、「ＧＳｏＣ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ」は、第１特徴量抽出部４１＿１に対応している。また、「Ｍａｓｋ Ｒ－ＣＮＮ」のうちの「Ｆａｓｔｅｒ Ｒ－ＣＮＮ」におけるＣＮＮは、第２特徴量抽出部４１＿２に対応している。また、「Ｍａｓｋ Ｒ－ＣＮＮ」におけるＣＮＮよりも後段に設けられたブロック群は、物体認識部４２に対応している。

「Ｍａｓｋ Ｒ－ＣＮＮ」のうちの「Ｆａｓｔｅｒ Ｒ－ＣＮＮ」におけるＣＮＮは、例えば、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）－１０１にＦＰＮ（Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋｓ）を組み合わせてなるネットワークを用いたものである。また、図９に示す如く、「Ｍａｓｋ Ｒ－ＣＮＮ」のうちの「Ｍａｓｋ」は、複数個の畳み込みブロック（図中「ｃｏｎｖ．」）を有している。

図９に示すニューラルネットワークは、既存の大規模データベースを用いて事前に学習済みである。具体的には、例えば、図９に示すニューラルネットワークは、Ｍｉｃｒｏｓｏｆｔ ＣＯＣＯ（Ｃｏｍｍｏｎ Ｏｂｊｅｃｔｓ ｉｎ Ｃｏｎｔｅｘｔ）を用いて事前に学習済みである。換言すれば、画像認識部２２は、かかる大規模データべースを用いて事前に学習済みである。

なお、画像認識部２２の学習に用いられたデータベースは、Ｍｉｃｒｏｓｏｆｔ ＣＯＣＯに限定されるものではない。画像認識部２２は、例えば、「ＯｐｅｎＡＩ」による公開データベースを用いて事前に学習されたものであっても良い。以下、画像認識部２２がＭｉｃｒｏｓｏｆｔ ＣＯＣＯを用いて事前に学習されたものである場合の例を中心に説明する。

かかる大規模データベースを用いた事前の学習により、撮像画像に含まれる物体のうちの学習済みの形状を有する物体について、高精度に認識することができる。また、撮像画像に含まれる物体のうちの未学習の形状を有する物体についても、ある程度の精度による物体認識を実現することができる。

ここで、物体認識部４２による物体認識においては、以下のように、第１特徴マップ及び第２特徴マップを複合してなる特徴マップ（以下「第３特徴マップ」ということがある。）が用いられるようになっている。また、物体認識部４２による物体認識においては、従来の物体認識（すなわち第３特徴マップに代えて第２特徴マップを用いる物体認識）に比して、その閾値が低い値に設定されている。以下、第３特徴マップの具体例について説明する。

〈第３特徴マップの第１具体例〉
第１特徴マップが前景マスクを用いたものであるとき、物体認識部４２は、第１特徴マップにおける個々の第１特徴量を用いて、個々の第２特徴マップにおける対応する第２特徴量に対する重み付けをする。このとき、物体認識部４２は、以下のようにして、かかる重み付けにおける重みを示す値（以下「重要度」という。）Ｗを設定する。

すなわち、物体認識部４２は、第１特徴マップにおける個々の第１特徴量と個々の第２特徴マップにおける対応する第２特徴量との類似度Ｓを算出する。類似度Ｓは、例えば、ＥＭＤ（Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅ）、コサイン類似度（Ｃｏｓｉｎｅ Ｓｉｍｉｌａｒｉｔｙ）、ＫＬＤ（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ Ｄｉｖｅｒｇｅｎｃｅ）、Ｌ２ノルム、Ｌ１ノルム及びマンハッタン距離（Ｍａｎｈａｔｔａｎ Ｄｉｓｔａｎｃｅ）のうちの少なくとも一つに基づく値である。

次いで、物体認識部４２は、当該算出された類似度Ｓを用いて、個々の第２特徴量に対応する重要度Ｗを設定する。このとき、物体認識部４２は、個々の第２特徴量について、対応する類似度Ｓが大きいほど（すなわち対応する距離が小さいほど）重要度Ｗを大きい値に設定する。換言すれば、物体認識部４２は、個々の第２特徴量について、対応する類似度Ｓが小さいほど（すなわち対応する距離が大きいほど）重要度Ｗを小さい値に設定する。

かかる重み付けがなされることにより、撮像画像における前景物に対応する領域に係る第２特徴量は、撮像画像における背景に対応する領域に係る第２特徴量に比して相対的に強められる。換言すれば、撮像画像における背景に対応する領域に係る第２特徴量は、撮像画像における前景物に対応する領域に係る第２特徴量に比して相対的に弱められる。このようにして、複数個の第１特徴マップに対応する複数個の第３特徴マップが生成される。

図１０は、このようにして生成された第３特徴マップの例を示している。図１０に示す第３特徴マップは、図４に示す撮像画像に対応するものである。すなわち、図１０に示す第３特徴マップは、図５に示す第１特徴マップを用いて図８に示す第２特徴マップに対する重み付けをすることにより生成されたものである。

かかる重み付けは、例えば、「Ｍａｓｋ Ｒ－ＣＮＮ ＋ ＧＳоＣ」のうちの「Ｍａｓｋ」における第１の畳み込みブロックにて実行される。図１１は、この場合における第１の畳み込みブロックにおけるニューラルネットワークの構造の例を示している。図１１に示す如く、かかるニューラルネットワークは、重み計算層（図中「Ｗｅｉｇｈｔ Ｃａｌｃ．」）を有している。この重み計算層により、上記のような重要度Ｗが設定される。

〈第３特徴マップの第２具体例〉
第１特徴マップが前景マスクを用いたものであるとき、物体認識部４２は、第１特徴マップにおける個々の第１特徴量と個々の第２特徴マップにおける対応する第２特徴量とについて、要素毎（Ｅｌｅｍｅｎｔ－ｗｉｓｅ）の掛け算を実行することにより内積（Ｉｎｎｅｒ Ｐｒｏｄｕｃｔ）を演算する。

かかる演算がなされることにより、撮像画像における前景物に対応する領域に係る第２特徴量は、撮像画像における背景に対応する領域に係る第２特徴量に比して相対的に強められる。換言すれば、撮像画像における背景に対応する領域に係る第２特徴量は、撮像画像における前景物に対応する領域に係る第２特徴量に比して相対的に弱められる。このようにして、複数個の第１特徴マップに対応する複数個の第３特徴マップが生成される。

かかる演算は、例えば、「Ｍａｓｋ Ｒ－ＣＮＮ ＋ ＧＳоＣ」のうちの「Ｍａｓｋ」における第１の畳み込みブロックにて実行される。

〈第３特徴マップの第３具体例〉
第１特徴マップがアテンションを用いたものであるとき、物体認識部４２は、第１特徴マップにおける個々の第１特徴量を用いて、個々の第２特徴マップにおける対応する第２特徴量に対する重み付けをする。このとき、物体認識部４２は、以下のようにして重要度Ｗを設定する。

すなわち、物体認識部４２は、ＧＡＰ（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）を用いて、個々の第２特徴マップにおける代表値を選択する。物体認識部４２は、当該選択された代表値に基づき重要度Ｗを設定する。すなわち、物体認識部４２は、当該選択された代表値に応じた値に重要度Ｗを設定する。

かかる重み付けがなされることにより、複数個の第２特徴マップに対応する複数個の第３特徴マップが生成される。または、１個の第２特徴マップに対応する１個の第３特徴マップが生成される。

かかる重み付けは、例えば、「Ｍａｓｋ Ｒ－ＣＮＮ ＋ ＧＳоＣ」のうちの「Ｍａｓｋ」における第１の畳み込みブロックにて実行される。この場合における第１の畳み込みブロックにおけるニューラルネットワークは、図１１に示す構造に対して、重み計算層に代えてＧＡＰ層を有するものとなる。これにより、上記のような重要度Ｗが設定される。

第１具体例、第２具体例又は第３具体例により生成された第３特徴マップを物体認識に用いることにより、第２特徴マップを物体認識に用いる場合に比して、背景の一部が物体であると認識される誤認識の発生を回避することができる。そして、上記のように低い閾値を用いつつ誤認識の発生を抑制することができるため、物体を高精度に認識することができる。特に、未学習の形状を有する物体に対する認識精度を向上することができる。

なお、「Ｍａｓｋ Ｒ－ＣＮＮ ＋ ＧＳоＣ」のうちの「Ｍａｓｋ」における第１の畳み込みブロックは、通常、Ｃｏｎｖｏｌｕｔｉｏｎを実行する工程（以下「第１工程」ということがある。）、Ｄｅｃｏｎｖｏｌｕｔｉｏｎを実行する工程（以下「第２工程」ということがある。）及びＰｏｉｎｔ－ｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎを実行する工程（以下「第３工程」ということがある。）を含むものである。第１具体例に係る重み付けは、第１工程にて実行されるものであっても良く、又は第３工程にて実行されるものであっても良い。第２具体例に係る演算は、第１工程にて実行されるものであっても良く、又は第３工程にて実行されるものであっても良い。第３具体例に係る重み付けは、第１工程にて実行されるものであっても良く、又は第３工程にて実行されるものであっても良い。

すなわち、第１具体例に係る重み付け、第２具体例に係る演算又は第３具体例に係る重み付けは、ニューラルネットワークの層数等に応じて、第１工程にて実行するのが好適である場合もあるし、又は第３工程にて実行するのが好適である場合もある。これらの工程のうちのより好適な工程が選択されるものであれば良い。

以下、第３特徴マップを用いて物体検出及び物体認識を実行する物体認識を「実施の形態１に係る物体認識」ということがある。すなわち、実施の形態１に係る物体認識は、「Ｍａｓｋ Ｒ－ＣＮＮ ＋ ＧＳоＣ」を用いるものである。これに対して、第２特徴マップを用いて物体検出及び領域分割を実行する物体認識を「比較用の物体認識」ということがある。すなわち、比較用の物体認識は、「Ｍａｓｋ Ｒ－ＣＮＮ」を用いるものである。

図１２は、比較用の物体認識による認識結果の例を示している。これに対して、図１３は、実施の形態１に係る物体認識による認識結果の例を示している。より具体的には、図１３は、属性「人」に係る認識結果の例を示している。これらの認識結果は、図４に示す撮像画像に対応するものである。

ここで、図１４を参照して、「Ｍａｓｋ Ｒ－ＣＮＮ ＋ ＧＳоＣ」を用いたことによる効果について説明する。すなわち、「Ｍａｓｋ Ｒ－ＣＮＮ」を用いた場合に比して物体認識の精度が向上する効果について説明する。

図１４に示す表の左半部は、比較用の物体認識による認識精度に係る実験結果を示している。これに対して、図１４に示す表の右半部は、実施の形態１に係る物体認識による認識精度に係る実験結果を示している。これらの実験は、ＭＯＴ１６ベンチマークにおける５３１７フレーム分の評価用データを用いたものである。

表中の各欄における数値はｍＡＰ（ｍｅａｎ Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ）を示しており、その単位は％である。また、表中の「ｖｉｓｉｂｉｌｉｔｙ ＞ ０．Ｘ」は、その物体の全体のうちのＸ割を超える部位が画像に写っている物体のみを認識の対象としたことを示している。換言すれば、その物体の全体のうちのＸ割以下の部位しか画像に写っていない物体は認識の対象から除外したことを示している。

図１４に示す如く、「Ｍａｓｋ Ｒ－ＣＮＮ ＋ ＧＳоＣ」を用いることにより、「Ｍａｓｋ Ｒ－ＣＮＮ」を用いた場合に比して、ｍＡＰの値が大きく上昇している。すなわち、物体認識の精度が大きく向上している。

物体追跡部４３は、物体認識部４２による物体認識の結果を時系列的に用いることにより、撮像画像に含まれる個々の物体に対するトラッキングを実行するものである。これにより、個々の物体について、カメラ２により撮像される動画における見かけの形状の変化による認識精度の低下を抑制することができる。

すなわち、例えば、ある物体が移動することにより、カメラ２により撮像される動画において、当該物体の見かけの形状が時間的に変化することがある。このとき、あるタイミングにおける撮像画像においては当該物体の見かけの形状が学習済みの形状となり、他のタイミングにおける撮像画像においては当該物体の形状が未学習の形状となることがある。そして、後者のタイミングにおける物体認識により当該物体が認識されないことにより、当該物体の認識が時間的に不安定になることがある。

これに対して、当該物体に対するトラッキングを実行することにより、後者のタイミングにおいても当該物体を認識することができる。これにより、当該物体の認識を時間的に安定させることができる。この結果、当該物体の認識精度を更に向上することができる。

物体追跡部４３によるトラッキングは、例えば、以下のようなものである。すなわち、物体追跡部４３は、第Ｎのフレーム（Ｎは任意の整数である。）に対応する撮像画像に対する物体検出の結果に基づき、個々の物体に対応する属性、個々の物体に対応する座標、及び個々の小領域における背景に対する前景の母集団比率について、ＫＬＤ等の距離に基づく損失（Ｔｒａｃｋｉｎｇ－ｌｏｓｓ）による回帰を実行する。これにより、物体追跡部４３は、第Ｎ＋１のフレームに対応する撮像画像における各物体の位置及び大きさを予測する。

次いで、物体追跡部４３は、かかる予測の結果と第Ｎ＋１のフレームに対応する撮像画像に対する物体検出の結果とを比較することにより、第Ｎのフレームに対応する撮像画像に対する物体検出により検出されており、かつ、第Ｎ＋１のフレームに対応する撮像画像に対する物体検出により検出されていない物体を検出する。これにより、第Ｎ＋１のフレームに対応する撮像画像に含まれているにもかかわらず物体検出により検出されなかった物体について、継続的に検出することができる。

このほか、物体追跡部４３によるトラッキングには、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

学習用データセット生成部２３は、物体認識部４２による物体認識の結果及び物体追跡部４３によるトラッキングの結果に基づき、撮像画像に含まれる個々の物体に対応する学習用データセットを生成するものである。

ここで、学習用データセットは、個々の物体に対応するバウンディングボックス内の画像を示すデータ（以下「画像データ」という。）、個々の物体の属性に対応するラベルを示すデータ（以下「ラベルデータ」という。）、及び個々の物体に対応する領域に対応するマスクを示すデータ（以下「マスクデータ」という。）などを含むものである。かかる学習用データセットを生成するということは、撮像画像に含まれる個々の物体に対するラベリングをすることであるといえる。

これに加えて、学習用データセットは、後述する優先度付与部５３による優先度Ｐの付与に用いられるデータ（以下「優先度付与用データ」という。）を含むものである。優先度付与用データは、例えば、個々の物体に係る物体認識の信頼度を示すデータ（以下「信頼度データ」という。）を含むものである。

なお、優先度付与用データは、信頼度データに限定されるものではない。優先度付与用データは、例えば、信頼度データに代えて又は加えて、個々の物体に係る大きさを示すデータ、個々の物体に係る高次元画像特徴を示すデータ、個々の物体に係る低次元画像特徴を示すデータ、個々の物体に係る物体らしさを示すデータ、個々の物体に係る顕著性推定の結果を示すデータ及び個々の物体に係るアテンションを示すデータのうちの少なくとも一つを含むものであっても良い。

以下、学習用データセットが画像データ、ラベルデータ、マスクデータ及び信頼度データを含む場合の例を中心に説明する。

ここで、上記のとおり、物体認識部４２は、第３特徴マップを物体認識に用いるものである。これにより、背景の一部が物体であると認識される誤認識の発生を回避することができる。この結果、学習用データセット生成部２３において、Ｆｏｃａｌ ＬｏｓｓにおけるＥａｓｙ Ｅｘａｍｐｌｅに相当する学習用データセットが生成されるのを回避することができる。すなわち、背景に対応する画像データを含む学習用データセットが生成されるのを回避することができる。このため、後述する学習部３２による画像認識部２２の再学習又は追加学習において、かかる学習の収束を早めることができる。

学習用データセット記憶部１１は、学習用データセット生成部２３により生成された学習用データセットを記憶するものである。学習用データベース更新部３１は、学習用データセット記憶部１１に記憶されている学習用データセットを用いて、学習用データベース記憶部１２に記憶されている学習用データベースを更新するものである。

すなわち、図３に示す如く、学習用データベース更新部３１は、学習用データセット取得部５１、学習用データセット取得部５２、優先度付与部５３及び学習用データセット追加部５４を有している。

学習用データセット取得部５１は、学習用データセット記憶部１１に記憶されている学習用データセット（以下「第１学習用データセット」ということがある。）を取得するものである。学習用データセット取得部５２は、学習用データベース記憶部１２に記憶されている学習用データベースに含まれる複数個の学習用データセット（以下「第２学習用データセット」ということがある。）を取得するものである。

優先度付与部５３は、上記取得された第１学習用データセットに対して、後述する学習部３２による再学習又は追加学習における優先度Ｐを付与するものである。このとき、優先度付与部５３は、上記取得された複数個の第２学習用データセットにおける分布Ｄのばらつきに基づき、高い学習価値を有するデータセットの学習優先度が高くなるように（すなわち低い学習価値を有するデータセットの学習優先度が低くなるように）優先度Ｐを付与するようになっている。

ここで、分布Ｄは、優先度付与用データに基づく分布である。具体的には、例えば、分布Ｄは、信頼度データに基づく信頼度マップにおける分布である。図１５は、信頼度マップの例を示している。この場合、優先度付与部５３は、例えば、以下のようにして優先度Ｐを設定する。

すなわち、優先度付与部５３は、信頼度マップにおけるばらつきに基づき、上記取得された複数個の第２学習用データセットを、高い信頼度を有するデータセットが十分に蓄積されているデータセット群（以下「第１データセット群」という。）、高い信頼度を有するデータセットがある程度蓄積されているデータセット群（以下「第２データセット群」という。）、及び高い信頼度を有するデータセットが不足しているデータセット群（以下「第３データセット群」という。）に分類する。かかる分類は、例えば、ラベルデータが示すラベル（すなわち対応する物体の属性）又はマスクデータが示すマスクの形状（すなわち対応する物体の見かけの形状）に基づくものである。

次いで、優先度付与部５３は、上記取得された第１学習用データセットが第１データセット群、第２データセット群及び第３データセット群のうちのいずれに分類されるべきものであるかを判定する。かかる判定は、例えば、ラベルデータが示すラベル（すなわち対応する物体の属性）又はマスクデータが示すマスクの形状（すなわち対応する物体の見かけの形状）に基づくものである。

上記取得された第１学習用データセットが第１データセット群に分類されるべきものである場合、かかる第１学習用データセットは、低い学習価値を有していると考えられる。そこで、優先度付与部５３は、かかる第１学習用データの優先度Ｐを低い値に設定する。また、上記取得された第１学習用データセットが第２データセット群に分類されるべきものである場合、かかる第１学習用データセットは、中程度の学習価値を有していると考えられる。そこで、優先度付与部５３は、かかる第１学習用データの優先度Ｐを中程度の値に設定する。また、上記取得された第１学習用データセットが第３データセット群に分類されるべきものである場合、かかる第１学習用データセットは、高い学習価値を有していると考えられる。そこで、優先度付与部５３は、かかる第１学習用データの優先度Ｐを高い値に設定する。

なお、分布Ｄは優先度付与用データに基づく分布であれば良く、信頼度データに基づく分布に限定されるものではない。例えば、分布Ｄは、信頼度、大きさ、高次元画像特徴、低次元画像特徴、物体らしさ、顕著性推定及びアテンションのうちの少なくとも一つに基づく分布であっても良い。

また、優先度付与部５３による優先度Ｐの付与方法は、上記の具体例に限定されるものではない。優先度付与部５３は、高い学習価値を有するデータセットの学習優先度が高くなるように（すなわち低い学習価値を有するデータセットの学習優先度が低くなるように）優先度Ｐを付与するものであれば良い。

学習用データセット追加部５４は、上記取得された第１学習用データセットに上記付与された優先度Ｐを示すデータ（以下「優先度データ」という。）を追記してなるデータセット（以下「第３学習用データセット」ということがある。）を生成するものである。学習用データセット追加部５４は、当該生成された第３学習用データセットを学習用データベース記憶部１２に記憶されている学習用データベースに追加することにより、かかる学習用データベースを更新するものである。

なお、学習用データセット追加部５４は、所定値未満の優先度Ｐに対応する第３学習用データセットについては、学習用データベースに対する追加対象から除外するものであっても良い。これにより、低い学習価値を有するデータセットが学習用データベースに追加されるのを回避することができる。

なお、学習用データセット追加部５４は、第１学習用データセットに優先度Ｐを付与するのと同様にして、個々の第２学習用データに優先度Ｐを付与し直すものであっても良い。これにより、学習用データセット追加部５４は、学習用データベースにおける優先度Ｐを全体的に調整するものであっても良い。

なお、カメラ２を含むシステム（例えば監視システム、防犯システム又は電子ミラー）が稼働を開始した直後のタイミング等においては、学習用データベースに学習用データが１個も含まれていない可能性がある。このような場合、学習用データベース更新部３１は、上記のようにして生成された第３学習用データセットを学習用データベース記憶部１２に新たに記憶させることにより、学習用データベースを新規作成するものであっても良い。その後、学習用データベース更新部３１は、新たに生成された第３学習用データセットを学習用データベースに随時追加することにより、学習用データベースを更新するものであっても良い。すなわち、学習用データベース更新部３１は、学習用データベースを生成及び更新するものであっても良い。

学習部３２は、学習用データベース記憶部１２に記憶されている学習用データベースを用いて（すなわちに学習用データベース更新部３１より更新された学習用データベースを用いて）、画像認識部２２の再学習又は追加学習を実行するものである。以下、再学習又は追加学習を総称して「再学習等」ということがある。

すなわち、上記のとおり、画像認識部２２は、既存の大規模データべースを用いて事前に学習済みである。これに加えて、画像認識部２２は、上記更新された学習用データベースを用いて学習自在なものである。そこで、学習部３２は、画像認識部２２について、上記更新された学習用データベースを用いて再学習等をするものである。

第１特徴量抽出部４１＿１の再学習等は、例えば、教師あり学習又は教師なし学習によるものである。したがって、第１特徴量抽出部４１＿１の再学習等には、教師あり学習又は教師なし学習に係る公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

第２特徴量抽出部４１＿２の再学習等は、例えば、教師あり学習によるものである。したがって、第２特徴量抽出部４１＿２の再学習等には、教師あり学習に係る公知の種々の技術を用いることができる。また、上記のとおり、第２特徴量抽出部４１＿２は、ＣＮＮを用いるものである。このため、第２特徴量抽出部４１＿２の再学習等は、深層学習によるものであっても良い。したがって、第２特徴量抽出部４１＿２の再学習等には、深層学習に係る公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

物体認識部４２の再学習等は、例えば、教師あり学習によるものである。したがって、物体認識部４２の再学習等には、教師あり学習に係る公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

ここで、上記の通り、学習用データベースに含まれる個々の学習用データセットには、優先度Ｐが付与されている。そこで、学習部３２は、付与された優先度Ｐに応じて、学習用データセット毎に又はラベル毎に、再学習等における学習率（Ｌｅａｒｎｉｎｇ Ｒａｔｅ）ηを異ならしめるものであっても良い。例えば、学習部３２は、付与された優先度Ｐが高いほど学習率ηを高くする（すなわち付与された優先度Ｐが低いほど学習率ηを低くする）ものであっても良い。

または、学習部３２は、付与された優先度Ｐに応じて、学習用データベースに含まれる複数個の学習用データセットのうちの一部の学習用データセットについてデータ拡張（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）を実行するものであっても良い。例えば、学習部３２は、付与された優先度Ｐが高い学習用データセットについてデータ拡張を実行する。データ拡張には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

かかる学習率ηの設定又はデータ拡張により、学習用データベース記憶部１２に記憶されている学習用データベース（すなわち既存の大規模データベースに比して小規模のデータベース）を用いて、効率の良い再学習等を実現することができる。

なお、上記更新された学習用データベースは、上記既存の大規模データベースに比して小規模なデータベースである。また、上記更新された学習用データベースは、上記既存の大規模データベースに含まれる画像と異なる画像（すなわちカメラ２による撮像画像）に基づくものである。また、上記更新された学習用データベースは、上記既存の大規模データベースに含まれるラベルと異なるラベルを含み得るものである。

したがって、学習部３２による画像認識部２２の再学習等は、転移学習（Ｔｒａｎｓｆｅｒ Ｌｅａｒｎｉｎｇ）によるものであっても良い。換言すれば、学習部３２による画像認識部２２の再学習等には、転移学習に係る公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

また、学習部３２による画像認識部２２の再学習等は、ファインチューニング（Ｆｉｎｅ Ｔｕｎｉｎｇ）によるものであっても良い。換言すれば、学習部３２による画像認識部２２の再学習等には、ファインチューニングに係る公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

また、学習部３２による画像認識部２２の再学習等は、Ｆｅｗ－ｓｈｏｔ Ｌｅａｒｎｉｎｇによるものであっても良い。換言すれば、学習部３２による画像認識部２２の再学習等には、Ｆｅｗ－ｓｈｏｔ Ｌｅａｒｎｉｎｇに係る公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

また、学習部３２による画像認識部２２の再学習等は、メタ学習（Ｍｅｔａ－ｌｅａｒｎｉｎｇ）によるものであっても良い。換言すれば、学習部３２による画像認識部２２の再学習等には、メタ学習に係る公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

また、学習部３２による画像認識部２２の再学習等は、蒸留（Ｄｉｓｔｉｌｌａｔｉｏｎ）によるものであっても良い。換言すれば、学習部３２による画像認識部２２の再学習等には、蒸留に係る公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

カメラ２を含むシステム（例えば監視システム、防犯システム又は電子ミラー）が稼働しているとき、学習部３２による再学習等が繰り返し実行されることにより、画像認識部２２による画像認識は、カメラ２が設置された場所の環境に次第に適合していく。これにより、学習用データセット生成部２３によるラベリングの精度が次第に向上していく。

以下、画像信号取得部２１が有する機能を総称して「画像信号取得機能」ということがある。また、かかる画像信号取得機能に「Ｆ１」の符号を用いることがある。また、画像信号取得部２１により実行される処理を総称して「画像信号取得処理」ということがある。

以下、画像認識部２２が有する機能を総称して「画像認識機能」ということがある。また、かかる画像認識機能に「Ｆ２」の符号を用いることがある。また、画像認識部２２により実行される処理を総称して「画像認識処理」ということがある。

以下、学習用データセット生成部２３が有する機能を総称して「学習用データセット生成機能」ということがある。また、かかる学習用データセット生成機能に「Ｆ３」の符号を用いることがある。また、学習用データセット生成部２３により実行される処理を総称して「学習用データセット生成処理」ということがある。

以下、学習用データベース更新部３１が有する機能を総称して「学習用データベース更新機能」ということがある。また、かかる学習用データベース更新機能に「Ｆ１１」の符号を用いることがある。また、学習用データベース更新部３１により実行される処理を総称して「学習用データベース更新処理」ということがある。

以下、学習部３２が有する機能を総称して「学習機能」ということがある。また、かかる学習機能に「Ｆ１２」の符号を用いることがある。また、学習部３２により実行される処理を総称して「学習処理」ということがある。

次に、図１６～図１８を参照して、ラベリング装置１００の要部のハードウェア構成について説明する。

図１６に示す如く、ラベリング装置１００は、プロセッサ６１及びメモリ６２を有している。メモリ６２には、複数個の機能Ｆ１～Ｆ３に対応するプログラムが記憶されている。プロセッサ６１は、メモリ６２に記憶されているプログラムを読み出して実行する。これにより、複数個の機能Ｆ１～Ｆ３が実現される。

または、図１７に示す如く、ラベリング装置１００は、処理回路６３を有している。処理回路６３は、複数個の機能Ｆ１～Ｆ３に対応する処理を実行する。これにより、複数個の機能Ｆ１～Ｆ３が実現される。

または、図１８に示す如く、ラベリング装置１００は、プロセッサ６１、メモリ６２及び処理回路６３を有している。メモリ６２には、複数個の機能Ｆ１～Ｆ３のうちの一部の機能に対応するプログラムが記憶されている。プロセッサ６１は、メモリ６２に記憶されているプログラムを読み出して実行する。これにより、かかる一部の機能が実現される。また、処理回路６３は、複数個の機能Ｆ１～Ｆ３のうちの残余の機能に対応する処理を実行する。これにより、かかる残余の機能が実現される。

プロセッサ６１は、１個以上のプロセッサにより構成されている。個々のプロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を用いたものである。

メモリ６２は、１個以上の不揮発性メモリにより構成されている。または、メモリ６２は、１個以上の不揮発性メモリ及び１個以上の揮発性メモリにより構成されている。すなわち、メモリ６２は、１個以上のメモリにより構成されている。個々のメモリは、例えば、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープ又は磁気ドラムを用いたものである。より具体的には、個々の揮発性メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いたものである。また、個々の不揮発性メモリは、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ソリッドステートドライブ、ハードディスクドライブ、フレキシブルディスク、コンパクトディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ブルーレイディスク又はミニディスクを用いたものである。

処理回路６３は、１個以上のデジタル回路により構成されている。または、処理回路６３は、１個以上のデジタル回路及び１個以上のアナログ回路により構成されている。すなわち、処理回路６３は、１個以上の処理回路により構成されている。個々の処理回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。

ここで、プロセッサ６１が複数個のプロセッサにより構成されているとき、複数個の機能Ｆ１～Ｆ３と複数個のプロセッサとの対応関係は任意である。すなわち、複数個のプロセッサの各々は、複数個の機能Ｆ１～Ｆ３のうちの対応する１個以上の機能に対応するプログラムを読み出して実行するものであっても良い。プロセッサ６１は、個々の機能Ｆ１～Ｆ３に対応する専用のプロセッサを含むものであっても良い。

また、メモリ６２が複数個のメモリにより構成されているとき、複数個の機能Ｆ１～Ｆ３と複数個のメモリとの対応関係は任意である。すなわち、複数個のメモリの各々は、複数個の機能Ｆ１～Ｆ３のうちの対応する１個以上の機能に対応するプログラムを記憶するものであっても良い。メモリ６２は、個々の機能Ｆ１～Ｆ３に対応する専用のメモリを含むものであっても良い。

また、処理回路６３が複数個の処理回路により構成されているとき、複数個の機能Ｆ１～Ｆ３と複数個の処理回路との対応関係は任意である。すなわち、複数個の処理回路の各々は、複数個の機能Ｆ１～Ｆ３のうちの対応する１個以上の機能に対応する処理を実行するものであっても良い。処理回路６３は、個々の機能Ｆ１～Ｆ３に対応する専用の処理回路を含むものであっても良い。

次に、図１９～図２１を参照して、学習装置２００の要部のハードウェア構成について説明する。

図１９に示す如く、学習装置２００は、プロセッサ７１及びメモリ７２を有している。メモリ７２には、複数個の機能Ｆ１１，Ｆ１２に対応するプログラムが記憶されている。プロセッサ７１は、メモリ７２に記憶されているプログラムを読み出して実行する。これにより、複数個の機能Ｆ１１，Ｆ１２が実現される。

または、図２０に示す如く、学習装置２００は、処理回路７３を有している。処理回路７３は、複数個の機能Ｆ１１，Ｆ１２に対応する処理を実行する。これにより、複数個の機能Ｆ１１，Ｆ１２が実現される。

または、図２１に示す如く、学習装置２００は、プロセッサ７１、メモリ７２及び処理回路７３を有している。メモリ７２には、複数個の機能Ｆ１１，Ｆ１２のうちの一部の機能に対応するプログラムが記憶されている。プロセッサ７１は、メモリ７２に記憶されているプログラムを読み出して実行する。これにより、かかる一部の機能が実現される。また、処理回路７３は、複数個の機能Ｆ１１，Ｆ１２のうちの残余の機能に対応する処理を実行する。これにより、かかる残余の機能が実現される。

プロセッサ７１の具体例は、プロセッサ６１の具体例と同様である。メモリ７２の具体例は、メモリ６２の具体例と同様である。処理回路７３の具体例は、処理回路６３の具体例と同様である。このため、詳細な説明は省略する。

ここで、プロセッサ７１が複数個のプロセッサにより構成されているとき、複数個の機能Ｆ１１，Ｆ１２と複数個のプロセッサとの対応関係は任意である。すなわち、複数個のプロセッサの各々は、複数個の機能Ｆ１１，Ｆ１２のうちの対応する１個以上の機能に対応するプログラムを読み出して実行するものであっても良い。プロセッサ７１は、個々の機能Ｆ１１，Ｆ１２に対応する専用のプロセッサを含むものであっても良い。

また、メモリ７２が複数個のメモリにより構成されているとき、複数個の機能Ｆ１１，Ｆ１２と複数個のメモリとの対応関係は任意である。すなわち、複数個のメモリの各々は、複数個の機能Ｆ１１，Ｆ１２のうちの対応する１個以上の機能に対応するプログラムを記憶するものであっても良い。メモリ７２は、個々の機能Ｆ１１，Ｆ１２に対応する専用のメモリを含むものであっても良い。

また、処理回路７３が複数個の処理回路により構成されているとき、複数個の機能Ｆ１１，Ｆ１２と複数個の処理回路との対応関係は任意である。すなわち、複数個の処理回路の各々は、複数個の機能Ｆ１１，Ｆ１２のうちの対応する１個以上の機能に対応する処理を実行するものであっても良い。処理回路７３は、個々の機能Ｆ１１，Ｆ１２に対応する専用の処理回路を含むものであっても良い。

次に、図２２のフローチャートを参照して、ラベリング装置１００の動作について説明する。

まず、画像信号取得部２１が画像信号取得処理を実行する（ステップＳＴ１）。次いで、画像認識部２２が画像認識処理を実行する（ステップＳＴ２）。次いで、学習用データセット生成部２３が学習用データセット生成処理を実行する（ステップＳＴ３）。

次に、図２３のフローチャートを参照して、学習装置２００の動作について説明する。

まず、学習用データベース更新部３１が学習用データベース更新処理を実行する（ステップＳＴ１１）。次いで、学習部３２が学習処理を実行する（ステップＳＴ１２）。

次に、図２４を参照して、ラベリングシステム１の変形例について説明する。

図２４に示す如く、学習装置２００は、ラベリング装置１００を含むものであっても良い。すなわち、学習装置２００は、画像信号取得部２１、画像認識部２２、学習用データセット生成部２３、学習用データベース更新部３１及び学習部３２を有するものであっても良い。

次に、図２５を参照して、ラベリングシステム１の他の変形例について説明する。

図２５に示す如く、ラベリング装置１００は、学習装置２００を含むものであっても良い。すなわち、ラベリング装置１００は、画像信号取得部２１、画像認識部２２、学習用データセット生成部２３、学習用データベース更新部３１及び学習部３２を有するものであっても良い。

次に、ラベリングシステム１の他の変形例について説明する。

ラベリング装置１００は、カメラ２と一体に構成されているものであっても良い。また、学習装置２００は、カメラ２と一体に構成されているものであっても良い。これにより、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）カメラを実現することができる。

ラベリング装置１００は、カメラ２と通信自在なサーバにより構成されているものであっても良い。また、学習装置２００は、カメラ２と通信自在なサーバにより構成されているものであっても良い。かかるサーバは、エッジサーバを用いたものであっても良い。これにより、エッジＡＩカメラを実現することができる。

以上のように、実施の形態１に係るラベリング装置１００は、カメラ２による撮像画像を示す画像信号を取得する画像信号取得部２１と、機械学習による学習済みの画像認識部２２であって、撮像画像に対する画像認識を実行する画像認識部２２と、画像認識の結果に基づき、撮像画像に含まれる個々の物体に対するラベリングを実行することにより、個々の物体に対応する画像データ及び個々の物体に対応するラベルデータを含む学習用データセットを生成する学習用データセット生成部２３と、を備える。これにより、カメラ２による撮像画像を用いて学習用データセットを生成するにあたり、ラベリング作業を自動化することができる。この結果、ラベリング担当者に対する作業負荷を低減することができる。

また、画像認識部２２は、既存の大規模データベースを用いて学習済みである。これにより、学習済みの物体に対して高精度な物体認識を実現することができるのはもちろんのこと、未学習の物体に対してもある程度の精度による物体認識を実現することができる。

また、画像認識部２２は、撮像画像に対応する第１特徴マップを生成する第１特徴量抽出部４１＿１と、撮像画像に対応する第２特徴マップを生成する第２特徴量抽出部４１＿２と、第１特徴マップ及び第２特徴マップを用いて物体認識を実行する物体認識部４２と、を有し、第１特徴マップは、前景マスクに対応するものであり、又は物体らしさに対応する中レベル特徴に対応するものであり、第２特徴マップは、高レベル特徴に対応するものである。第２特徴マップに加えて第１特徴マップを用いることにより、物体認識の精度を向上することができる。特に、未学習の物体に対する物体認識の精度を向上することができる。

また、画像認識部２２は、物体認識の結果を時系列的に用いることにより個々の物体に対するトラッキングを実行する物体追跡部４３を有する。これにより、個々の物体を更に高精度に認識することができる。

また、実施の形態１に係る学習装置２００は、ラベリング装置１００用の学習装置２００であって、学習用データセット生成部２３により生成された学習用データセットを学習用データベースに追加することにより、学習用データベースを更新する学習用データベース更新部３１と、学習用データベースを用いて、画像認識部２２の再学習又は追加学習を実行する学習部３２と、を備える。これにより、画像認識部２２について、転移学習、ファインチューニング、Ｆｅｗ－ｓｈｏｔ Ｌｅａｒｎｉｎｇ、メタ学習又は蒸留による再学習等を実現することができる。この結果、画像認識の精度を次第に向上することができるとともに、ラベリングの精度を次第に向上することができる。また、ラベリング作業を自動化するにあたり、Ａｃｔｉｖｅ ＬｅａｒｎｉｎｇにおけるＯｒａｃｌｅに相当する人を不要とすることができる。

また、学習用データベース更新部３１は、学習用データベースに含まれる複数個の学習用データセットにおける分布Ｄのばらつきに基づき、学習用データセット生成部２３により生成された学習用データセットに優先度Ｐを付与する。かかる優先度Ｐを用いることにより、既存の大規模データベースに比して小規模である学習用データベースを用いて、効率の良い再学習等を実現することができる。

また、学習部３２は、優先度Ｐに応じて再学習又は追加学習における学習率ηを設定する。これにより、効率の良い再学習等を実現することができる。

また、学習部３２は、優先度Ｐに応じて学習用データベースにおけるデータ拡張を実行する。これにより、効率の良い再学習等を実現することができる。

実施の形態２．
図２６は、実施の形態２に係るラベリングシステムの要部を示すブロック図である。図２６を参照して、実施の形態２に係るラベリングシステムについて説明する。なお、図２６において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。

図２６に示す如く、ラベリングシステム１ａは、カメラ２、記憶装置３、記憶装置４、出力装置５、入力装置６、ラベリング装置１００ａ及び学習装置２００を含むものである。ラベリング装置１００ａは、画像信号取得部２１、画像認識部２２、学習用データセット生成部２３ａ及びユーザインタフェース制御部（以下「ＵＩ制御部」と記載する。）２４を有している。

出力装置５は、例えば、ディスプレイ又はスピーカにより構成されている。入力装置６は、出力装置５に対応するデバイスにより構成されている。例えば、出力装置５がディスプレイにより構成されている場合、入力装置６は、タッチパネル及びタッチペンにより構成されている。または、例えば、出力装置５がスピーカにより構成されている場合、入力装置６は、マイクにより構成されている。

ＵＩ制御部２４は、出力装置５を用いて、画像認識部２２による画像認識の結果を出力する制御を実行するものである。また、ＵＩ制御部２４は、入力装置６を用いた操作の入力であって、かかる画像認識の結果を修正する操作（以下「修正操作」ということがある。）の入力を受け付ける処理を実行するものである。

具体的には、例えば、ＵＩ制御部２４は、ディスプレイを用いて、画像認識部２２による画像認識の結果を示す画像を含む画面（以下「修正画面」ということがある。）を表示する制御を実行する。また、ＵＩ制御部２４は、タッチパネル及びタッチペンを用いた修正操作の入力を受け付ける処理を実行する。すなわち、ＵＩ制御部２４は、修正画面に対する手書き入力による修正操作の入力を受け付ける処理を実行する。

または、例えば、ＵＩ制御部２４は、スピーカを用いて、画像認識部２２による画像認識の結果を示す音声を出力する制御を実行する。また、ＵＩ制御部２４は、マイクを用いた修正操作の入力を受け付ける処理を実行する。すなわち、ＵＩ制御部２４は、音声入力による修正操作の入力を受け付ける処理を実行する。この場合、修正操作の入力を受け付ける処理には、音声認識に係る公知の種々の技術を用いることができる。

ここで、修正操作の入力に係るＵＩは、対話型ＵＩを用いたものであっても良い。これにより、ラベリング担当者は、画像認識部２２による画像認識の結果を容易に修正することができる。

学習用データセット生成部２３ａは、学習用データセット生成部２３により生成される学習用データセットと同様の学習用データセットを生成するものである。すなわち、学習用データセット生成部２３ａは、画像認識部２２による画像認識の結果に基づき、画像データ、ラベルデータ、マスクデータ及び信頼度データなどを含む第１学習用データセットを生成する。学習用データセット生成部２３ａは、当該生成された第１学習用データセットに優先度データを追加することにより、第３学習用データセットを生成する。学習用データセット生成部２３ａは、当該生成された第３学習用データセットを学習用データセット記憶部１１に記憶させる。

ただし、学習用データセット生成部２３ａは、画像認識部２２による画像認識の結果が修正操作により修正された場合、かかる修正の結果に基づく第１学習用データを生成するようになっている。

以下、学習用データセット生成部２３ａが有する機能を総称して「学習用データセット生成機能」ということがある。また、かかる学習用データセット生成機能に「Ｆ３ａ」の符号を用いることがある。また、学習用データセット生成部２３ａにより実行される処理を総称して「学習用データセット生成処理」ということがある。

以下、ＵＩ制御部２４が有する機能を総称して「ＵＩ制御機能」ということがある。また、かかるＵＩ制御機能に「Ｆ４」の符号を用いることがある。また、ＵＩ制御部２４により実行される制御及び処理を総称して「出力制御及び操作入力処理」ということがある。

ラベリング装置１００ａの要部のハードウェア構成は、実施の形態１にて図１６～図１８を参照して説明したものと同様である。このため、詳細な説明は省略する。すなわち、ラベリング装置１００ａは、複数個の機能Ｆ１，Ｆ２，Ｆ３ａ，Ｆ４を有している。複数個の機能Ｆ１，Ｆ２，Ｆ３ａ，Ｆ４の各々は、プロセッサ６１及びメモリ６２により実現されるものであっても良く、又は処理回路６３により実現されるものであっても良い。

次に、図２７のフローチャートを参照して、ラベリング装置１００ａの動作について説明する。なお、図２７において、図２２に示すステップと同様のステップには同一符号を付して説明を省略する。

まず、ステップＳＴ１の処理が実行される。次いで、ステップＳＴ２の処理が実行される。次いで、ＵＩ制御部２４が出力制御及び操作入力処理を実行する（ステップＳＴ４）。次いで、学習用データセット生成部２３ａが学習用データセット生成処理を実行する（ステップＳＴ３ａ）。

次に、図２８を参照して、ラベリングシステム１ａの変形例について説明する。

図２８に示す如く、学習装置２００は、ラベリング装置１００ａを含むものであっても良い。すなわち、学習装置２００は、画像信号取得部２１、画像認識部２２、学習用データセット生成部２３ａ、ＵＩ制御部２４、学習用データベース更新部３１及び学習部３２を有するものであっても良い。

次に、図２９を参照して、ラベリングシステム１ａの他の変形例について説明する。

図２９に示す如く、ラベリング装置１００ａは、学習装置２００を含むものであっても良い。すなわち、ラベリング装置１００ａは、画像信号取得部２１、画像認識部２２、学習用データセット生成部２３ａ、ＵＩ制御部２４、学習用データベース更新部３１及び学習部３２を有するものであっても良い。

次に、ラベリングシステム１ａの他の変形例について説明する。

ラベリング装置１００ａは、カメラ２と一体に構成されているものであっても良い。また、学習装置２００は、カメラ２と一体に構成されているものであっても良い。これにより、ＡＩカメラを実現することができる。

ラベリング装置１００ａは、カメラ２と通信自在なサーバにより構成されているものであっても良い。また、学習装置２００は、カメラ２と通信自在なサーバにより構成されているものであっても良い。かかるサーバは、例えば、エッジサーバを用いたものであっても良い。これにより、エッジＡＩカメラを実現することができる。

以上のように、実施の形態２に係るラベリング装置１００ａは、画像認識の結果を出力する制御を実行するとともに、画像認識の結果を修正する操作の入力を受け付ける処理を実行するＵＩ制御部２４を備え、学習用データセット生成部２３ａは、操作による修正の結果に基づき学習用データセットを生成する。これにより、カメラ２による撮像画像を用いて学習用データセットを生成するにあたり、ラベリング作業を半自動化することができる。換言すれば、ラベリング担当者によるラベリング作業をサポートすることができる。この結果、ラベリング担当者に対する作業負荷を低減することができる。

また、ＵＩ制御部２４は、画像認識の結果を示す画像を含む画面を表示する制御を実行するとともに、画面に対する手書き入力による操作の入力を受け付ける処理を実行する。かかるＵＩを用いることにより、画像認識の結果を容易に修正することができる。

また、ＵＩ制御部２４は、画像認識の結果を示す音声を出力する制御を実行するとともに、音声入力による操作の入力を受け付ける処理を実行する。かかるＵＩを用いることにより、画像認識の結果を容易に修正することができる。

なお、本願開示はその開示の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

本開示に係るラベリング装置及び学習装置は、例えば、監視システム、防犯システム又は電子ミラーに用いることができる。

１，１ａ ラベリングシステム、２ カメラ、３ 記憶装置、４ 記憶装置、５ 出力装置、６ 入力装置、１１ 学習用データセット記憶部、１２ 学習用データベース記憶部、２１ 画像信号取得部、２２ 画像認識部、２３，２３ａ 学習用データセット生成部、２４ ＵＩ制御部、３１ 学習用データベース更新部、３２ 学習部、４１ 特徴量抽出部、４１＿１ 第１特徴量抽出部、４１＿２ 第２特徴量抽出部、４２ 物体認識部、４３ 物体追跡部、５１ 学習用データセット取得部、５２ 学習用データセット取得部、５３ 優先度付与部、５４ 学習用データセット追加部、６１ プロセッサ、６２ メモリ、６３ 処理回路、７１ プロセッサ、７２ メモリ、７３ 処理回路、１００，１００ａ ラベリング装置、２００ 学習装置。

Claims (26)

1. カメラによる撮像画像を示す画像信号を取得する画像信号取得部と、
   機械学習による学習済みの画像認識部であって、前記撮像画像に対する画像認識を実行する前記画像認識部と、
   前記画像認識の結果に基づき、前記撮像画像に含まれる個々の物体に対するラベリングを実行することにより、前記個々の物体に対応する画像データ及び前記個々の物体に対応するラベルデータを含む学習用データセットを生成する学習用データセット生成部と、
   を備えるラベリング装置。
2. 前記画像認識部は、既存の大規模データベースを用いて学習済みであることを特徴とする請求項１記載のラベリング装置。
3. 前記画像認識部は、前記撮像画像に対応する第１特徴マップを生成する第１特徴量抽出部と、前記撮像画像に対応する第２特徴マップを生成する第２特徴量抽出部と、前記第１特徴マップ及び前記第２特徴マップを用いて物体認識を実行する物体認識部と、を有し、
   前記第１特徴マップは、前景マスクに対応するものであり、又は物体らしさに対応する中レベル特徴に対応するものであり、
   前記第２特徴マップは、高レベル特徴に対応するものである
   ことを特徴とする請求項１記載のラベリング装置。
4. 前記第１特徴量抽出部は、画像勾配検出、顕著性推定、背景差分法、物体らしさ推定、アテンション及び領域分割のうちの少なくとも一つを用いて前記第１特徴マップを生成することを特徴とする請求項３記載のラベリング装置。
5. 前記物体認識部は、前記第１特徴マップにおける個々の第１特徴量を用いて前記第２特徴マップにおける対応する第２特徴量に対する重み付けを実行することを特徴とする請求項３記載のラベリング装置。
6. 前記物体認識部は、前記個々の第１特徴量と前記対応する第２特徴量との類似度に基づき前記重み付けにおける重要度を設定することを特徴とする請求項５記載のラベリング装置。
7. 前記類似度は、ＥＭＤ、コサイン類似度、ＫＬＤ、Ｌ２ノルム、Ｌ１ノルム及びマンハッタン距離のうちの少なくとも一つに基づく値であることを特徴とする請求項６記載のラベリング装置。
8. 前記物体認識部は、前記第１特徴マップがアテンションを用いたものである場合、前記第１特徴マップにおける代表値を選択して、前記代表値に基づき前記重み付けにおける重要度を設定することを特徴とする請求項５記載のラベリング装置。
9. 前記物体認識は、物体検出及び領域分割のうちの少なくとも一方を含み、
   前記物体検出は、前記個々の物体の位置を回帰により推定するとともに、前記個々の物体の属性を分類により推定するものであり
   前記領域分割は、前記撮像画像を個々の属性に対応する領域に分割するものである
   ことを特徴とする請求項３記載のラベリング装置。
10. 前記画像認識部は、前記物体認識の結果を時系列的に用いることにより前記個々の物体に対するトラッキングを実行する物体追跡部を有することを特徴とする請求項３記載のラベリング装置。
11. 前記第１特徴量抽出部は、教師あり学習又は教師なし学習により学習自在であることを特徴とする請求項３記載のラベリング装置。
12. 前記第２特徴量抽出部は、教師あり学習により学習自在であることを特徴とする請求項３記載のラベリング装置。
13. 前記第２特徴量抽出部は、深層学習により学習自在であることを特徴とする請求項３記載のラベリング装置。
14. 前記第２特徴量抽出部は、畳み込みニューラルネットワークを用いるものであることを特徴とする請求項３記載のラベリング装置。
15. 前記物体認識部は、教師あり学習により学習自在であることを特徴とする請求項３記載のラベリング装置。
16. 前記画像認識の結果を出力する制御を実行するとともに、前記画像認識の結果を修正する操作の入力を受け付ける処理を実行するＵＩ制御部を備え、
    前記学習用データセット生成部は、前記操作による修正の結果に基づき前記学習用データセットを生成する
    ことを特徴とする請求項１記載のラベリング装置。
17. 前記ＵＩ制御部は、前記画像認識の結果を示す画像を含む画面を表示する制御を実行するとともに、前記画面に対する手書き入力による前記操作の入力を受け付ける処理を実行することを特徴とする請求項１６記載のラベリング装置。
18. 前記ＵＩ制御部は、前記画像認識の結果を示す音声を出力する制御を実行するとともに、音声入力による前記操作の入力を受け付ける処理を実行することを特徴とする請求項１６記載のラベリング装置。
19. 前記カメラは、モニタリング用カメラであることを特徴とする請求項１記載のラベリング装置。
20. 前記カメラは、監視カメラ、防犯カメラ又は電子ミラー用カメラであることを特徴とする請求項１９記載のラベリング装置。
21. 請求項１記載のラベリング装置用の学習装置であって、
    前記学習用データセット生成部により生成された学習用データセットを学習用データベースに追加することにより、前記学習用データベースを更新する学習用データベース更新部と、
    前記学習用データベースを用いて、前記画像認識部の再学習又は追加学習を実行する学習部と、
    を備えることを特徴とする学習装置。
22. 前記学習用データベース更新部は、前記学習用データベースに含まれる複数個の学習用データセットにおける分布のばらつきに基づき、前記学習用データセット生成部により生成された学習用データセットに優先度を付与することを特徴とする請求項２１記載の学習装置。
23. 前記優先度は、前記学習用データセット生成部により生成された学習用データセットが有する学習価値に応じた値に設定されることを特徴とする請求項２２記載の学習装置。
24. 前記分布は、信頼度、大きさ、高次元画像特徴、低次元画像特徴、物体らしさ、顕著性推定及びアテンションのうちの少なくとも一つに基づくものであることを特徴とする請求項２２記載の学習装置。
25. 前記学習部は、前記優先度に応じて前記再学習又は前記追加学習における学習率を設定することを特徴とする請求項２２記載の学習装置。
26. 前記学習部は、前記優先度に応じて前記学習用データベースにおけるデータ拡張を実行することを特徴とする請求項２２記載の学習装置。

Images