JP7363382B2

JP7363382B2 - 解析装置、解析プログラム及び解析方法

Info

Publication number: JP7363382B2
Application number: JP2019200864A
Authority: JP
Inventors: 智規久保田; 鷹詔中尾; 康之村田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2019-11-05
Filing date: 2019-11-05
Publication date: 2023-10-18
Anticipated expiration: 2039-11-05
Also published as: JP2021076925A; US11436431B2; US20210133484A1

Description

本発明は、解析装置、解析プログラム及び解析方法に関する。

近年、ＣＮＮ（Convolutional Neural Network）を用いた画像認識処理において、誤ったラベルが推論された場合の誤推論の原因を解析する解析技術が提案されている。一例として、スコア最大化法（Activation Maximization）が挙げられる。また、画像認識処理において推論時に注目される画像箇所を解析する解析技術が提案されている。一例として、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法等が挙げられる。

スコア最大化法は、推論の正解ラベルが最大スコアとなるように入力画像を変更した際の変更部分を、誤推論の原因となる画像箇所として特定する方法である。また、ＢＰ法やＧＢＰ法は、推論したラベルから逆伝播し、入力画像までたどることで、推論の際に反応した特徴部分を可視化する方法である。

特開２０１８－０９７８０７号公報特開２０１８－０４５３５０号公報 Ramprasaath R. Selvariju, et al.: Grad-cam: Visual explanations from deep networks via gradient-based localization. The IEEE International Conference on Computer Vision (ICCV), pp. 618-626, 2017.

しかしながら、上述した解析技術の場合、いずれも誤推論の原因となる画像箇所を十分な精度で特定することができないという問題がある。

一つの側面では、誤推論の原因となる画像箇所を特定する際の精度を向上させることを目的としている。

一態様によれば、解析装置は、
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成するマップ生成部と、
前記第３のマップの画素値に基づいて、前記誤推論画像において誤推論の原因となる画像箇所を特定する特定部と、を有し、
前記画像生成部は、前記誤推論画像に複数の推論対象が含まれる場合、該複数の推論対象全ての推論時の正解ラベルのスコアを最大化させた１のリファイン画像を生成する。

誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。

解析装置の機能構成の一例を示す図である。解析装置のハードウェア構成の一例を示す図である。誤推論原因抽出部の機能構成の一例を示す図である。画像リファイナ部の処理の具体例を示す図である。推論部の処理の具体例を示す図である。リファイン画像内のオブジェクトの位置及び大きさの算出方法の一例を示す図である。リファイン画像内のオブジェクトの存在確率の一例を示す図である。リファイン画像内のオブジェクトのＩｏＵの算出方法の一例を示す図である。誤差演算部の処理の具体例を示す図である。マップ生成部の処理の概要を示す図である。選択的ＢＰ法を用いた重要特徴マップの生成方法の一例を示す図である。スーパーピクセル分割部の処理の具体例を示す図である。重要スーパーピクセル決定部の処理の具体例を示す図である。領域抽出部及び合成部の処理の具体例を示す図である。誤推論原因抽出処理の流れを示す第１のフローチャートである。誤推論原因抽出処理の流れを示す第２のフローチャートである。スコア最大化リファイン画像生成処理の流れを示すフローチャートである。誤推論原因抽出処理の具体例を示す図である。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

［第１の実施形態］
＜解析装置の機能構成＞
はじめに、第１の実施形態に係る解析装置の機能構成について説明する。図１は、解析装置の機能構成の一例を示す図である。解析装置１００には、解析プログラムがインストールされており、当該プログラムが実行されることで、解析装置１００は、推論部１１０、誤推論画像抽出部１２０、誤推論原因抽出部１４０として機能する。

推論部１１０は、学習済みのＣＮＮを用いて画像認識処理を行う。具体的には、推論部１１０は、入力画像１０が入力されることで、入力画像１０に含まれるオブジェクト（推論対象）の種類（本実施形態では、車両の種類）を示すラベルを推論し、推論したラベルを出力する。

誤推論画像抽出部１２０は、入力画像１０に含まれるオブジェクトの種類を示すラベル（正解ラベル）と、推論部１１０により推論されたラベルとが一致するか否かを判定する。また、誤推論画像抽出部１２０は、一致しないと判定した（誤ったラベルが推論された）入力画像を、"誤推論画像"として抽出し、誤推論画像格納部１３０に格納する。

あるいは、誤推論画像抽出部１２０は、入力画像１０に含まれるオブジェクトの正解位置と、推論部１１０により推論されたオブジェクトの位置とが一致するか否かを判定する。また、誤推論画像抽出部１２０は、オブジェクトの正解位置と、推論されたオブジェクトの位置とがずれていると判定された入力画像、または、オブジェクトの位置が推論されなかった入力画像を、"誤推論画像"として抽出し、誤推論画像格納部１３０に格納する。なお、オブジェクトの正解位置は、例えば、入力画像１０に教師情報として付加されていてもよいし、正しく推論できる状態で推論することで取得してもよい。あるいは、他の手段を用いてオブジェクトの正解位置を特定してもよい。

誤推論原因抽出部１４０は、誤推論画像について、誤推論の原因となる画像箇所を特定し、誤推論原因情報を出力する。具体的には、誤推論原因抽出部１４０は、リファイン画像生成部１４１と、マップ生成部１４２と、特定部１４３とを有する。

リファイン画像生成部１４１は画像生成部の一例である。リファイン画像生成部１４１は、誤推論画像格納部１３０に格納された誤推論画像を読み出す。また、リファイン画像生成部１４１は、読み出した誤推論画像から、推論の正解ラベルのスコアを最大化させたスコア最大化リファイン画像を生成する。

マップ生成部１４２は、誤推論の原因を解析する既知の解析技術等を用いて、正解ラベルを推論するための各画素の重要度を示すマップを生成する。

特定部１４３は、誤推論画像を複数の領域に分割し、分割した複数の領域のうち、生成されたマップに基づいて規定した領域を、生成されたスコア最大化リファイン画像で置き換える。また、特定部１４３は、当該領域をスコア最大化リファイン画像で置き換えた誤推論画像を入力してラベルを推論し、推論したラベルのスコアから、置き換えの効果を判定する。

また、特定部１４３は、領域を更新しながらラベルを推論し、推論したラベルのスコアから、誤推論の原因となる画像箇所を領域単位で特定する。更に、特定部１４３は、領域単位で特定した誤推論の原因となる画像箇所を、誤推論原因情報として出力する。

このように、
・既知の解析技術を用いて、正解ラベルを推論するための各画素の重要度を示すマップを生成し、
・生成したマップに基づいて規定した領域を、スコア最大化リファイン画像で置き換え、
・置き換えの効果を参照しながら、誤推論の原因となる画像箇所を特定する、
ことで、誤推論原因抽出部１４０によれば、誤推論の原因となる画像箇所を精度よく特定することができる。

＜解析装置のハードウェア構成＞
次に、解析装置１００のハードウェア構成について説明する。図２は、解析装置のハードウェア構成の一例を示す図である。図２に示すように、解析装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。

また、解析装置１００は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、解析装置１００の各ハードウェアは、バス２０９を介して相互に接続されている。

ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、解析プログラム等）を実行する演算デバイスである。なお、図２には示していないが、演算デバイスとしてアクセラレータ（例えば、ＧＰＵ（Graphics Processing Unit）など）を組み合わせてもよい。

ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置２０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。例えば、誤推論画像格納部１３０は、補助記憶装置２０４において実現される。

表示装置２０５は、誤推論原因情報等を含む各種表示画面を表示する表示デバイスである。操作装置２０６は、解析装置１００のユーザが解析装置１００に対して各種指示を入力するための入力デバイスである。

Ｉ／Ｆ装置２０７は、例えば、不図示のネットワークと接続するための通信デバイスである。

ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。あるいは、補助記憶装置２０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。

＜誤推論原因抽出部の機能構成＞
次に、第１の実施形態に係る解析装置１００において実現される機能のうち、誤推論原因抽出部１４０の機能構成の詳細について説明する。図３は、誤推論原因抽出部の機能構成の一例を示す図である。以下、誤推論原因抽出部１４０の各部（リファイン画像生成部１４１、マップ生成部１４２、特定部１４３）の詳細について説明する。

（１）リファイン画像生成部の詳細
はじめに、リファイン画像生成部１４１の詳細について説明する。図３に示すように、リファイン画像生成部１４１は、画像リファイナ部３０１、画像誤差演算部３０２、推論部３０３、誤差演算部３０４を有する。

画像リファイナ部３０１は、例えば、画像の生成モデルとしてＣＮＮを用いて、誤推論画像からリファイン画像を生成する。

なお、画像リファイナ部３０１では、生成したリファイン画像を用いて推論した際に、正解ラベルのスコアが最大となるように、誤推論画像を変更する。また、画像リファイナ部３０１では、画像の生成モデルを用いてリファイン画像を生成するにあたり、例えば、誤推論画像に含まれるオブジェクトに関する情報が、オブジェクト（推論対象）に関する正解情報に近づくように、リファイン画像を生成する。更に、画像リファイナ部３０１では、画像の生成モデルを用いてリファイン画像を生成するにあたり、例えば、誤推論画像からの変更量（リファイン画像と誤推論画像との差分）が小さくなるように、リファイン画像を生成する。

より具体的には、画像リファイナ部３０１では、
・生成したリファイン画像を用いて推論した際のスコアと、正解ラベルのスコアを最大化したスコアとの誤差であるスコア誤差と、
・生成したリファイン画像を用いてラベルを推論した際のオブジェクト（推論対象）に関する情報と、正解ラベルのオブジェクトに関する正解情報との誤差であるオブジェクト誤差と、
・生成したリファイン画像と誤推論画像との差分である画像差分値（例えば、画像差分（Ｌ１差分）やＳＳＩＭ（Structural Similarity）やそれらの組み合わせ）と、
が最小化するようにＣＮＮの学習を行う。

画像誤差演算部３０２は、誤推論画像と、ＣＮＮの学習中に画像リファイナ部３０１より出力されるリファイン画像との差分を算出し、画像差分値を、画像リファイナ部３０１に入力する。画像誤差演算部３０２では、例えば、画素ごとの差分（Ｌ１差分）演算やＳＳＩＭ（Structural Similarity）演算を行うことにより、画像差分値を算出し、画像リファイナ部３０１に入力する。

推論部３０３は、学習済みのＣＮＮを用いて画像認識処理を行う。推論部３０３が有する学習済みのＣＮＮは、画像リファイナ部３０１により生成されたリファイン画像（またはスコア最大化リファイン画像）、または重要スーパーピクセル決定部３２２で生成された合成画像を入力してラベルを推論し、スコアを算出する。なお、ここでいう合成画像とは、誤推論画像のうち、マップ生成部１４２で生成されたマップ（重要特徴指標マップ）に基づいて規定した領域を、スコア最大化リファイン画像で置き換えた誤推論画像を指すものとする。

また、推論部３０３は、リファイン画像を入力してラベルを推論する際、リファイン画像内のオブジェクトに関する情報を算出し、スコアとともに、誤差演算部３０４に通知する。

更に、推論部３０３は、合成画像を入力してラベルを推論する際、スコアを重要スーパーピクセル評価部３２３に通知する。

誤差演算部３０４は、推論部３０３より通知されたスコアと、正解ラベルのスコアを最大化したスコアとの誤差であるスコア誤差を算出し、画像リファイナ部３０１に通知する。また、誤差演算部３０４は、推論部３０３より通知されたオブジェクトに関する情報と、正解ラベルのオブジェクトに関する正解情報との誤差であるオブジェクト誤差を算出し、画像リファイナ部３０１に通知する。

誤差演算部３０４により通知されたスコア誤差及びオブジェクト誤差は、画像誤差演算部３０２により通知された画像差分値とともに、画像リファイナ部３０１において、ＣＮＮの学習に用いられる。

このように、ＣＮＮの学習において、オブジェクト誤差を用いることで、画像リファイナ部３０１によれば、スコア最大化リファイン画像を適切に生成することができる。

なお、画像リファイナ部３０１が有するＣＮＮの学習中に画像リファイナ部３０１から出力されるリファイン画像は、リファイン画像格納部３０５に格納される。画像リファイナ部３０１が有するＣＮＮの学習は、
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、あるいは、
・オブジェクト誤差が所定の閾値より小さくなるまで、
行われる。これにより、推論部３０３より出力される正解ラベルのスコアが最大化した際のリファイン画像であるスコア最大化リファイン画像が、リファイン画像格納部３０５に格納される。

（２）マップ生成部の詳細
次に、マップ生成部１４２の詳細について説明する。図３に示すように、マップ生成部１４２は、重要特徴マップ生成部３１１、劣化尺度マップ生成部３１２、重畳部３１３を有する。

重要特徴マップ生成部３１１は、スコア最大化リファイン画像が入力され、ラベルが推論された際の推論部構造情報を、推論部３０３より取得する。また、重要特徴マップ生成部３１１は、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法または選択的ＢＰ法を用いることで、推論部構造情報に基づいて"グレイスケール化重要特徴マップ"を生成する。グレイスケール化重要特徴マップは第２のマップの一例であり、スコア最大化リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップを、グレイスケール化したものである。

なお、ＢＰ法は、推論したラベルが正解する入力画像（ここでは、スコア最大化リファイン画像）の推論を行うことで得た各スコアから各ラベルの誤差を計算し、入力層まで逆伝播して得られる勾配情報の大小を画像化することで、特徴部分を可視化する方法である。また、ＧＢＰ法は、勾配情報の大小のうち正値のみを画像化することで、特徴部分を可視化する方法である。

更に、選択的ＢＰ法は、正解ラベルの誤差のみを最大にしたうえで、ＢＰ法またはＧＢＰ法を用いて処理を行う方法である。選択的ＢＰ法の場合、正解ラベルのスコアに影響を与える特徴部分のみが可視化される。

劣化尺度マップ生成部３１２は、誤推論画像とスコア最大化リファイン画像とに基づいて、第１のマップの一例である"劣化尺度マップ"を生成する。劣化尺度マップは、スコア最大化リファイン画像を生成する際に変更がなされた各画素の変更度合いを示している。

重畳部３１３は、重要特徴マップ生成部３１１において生成されたグレイスケール化重要特徴マップと、劣化尺度マップ生成部３１２において生成された劣化尺度マップとを重畳し、第３のマップの一例である"重要特徴指標マップ"を生成する。重要特徴指標マップは、正解ラベルを推論するための各画素の重要度を示している。

（３）特定部の詳細
次に、特定部１４３の詳細について説明する。図３に示すように、特定部１４３は、スーパーピクセル分割部３２１、重要スーパーピクセル決定部３２２、重要スーパーピクセル評価部３２３を有する。

スーパーピクセル分割部３２１は、誤推論画像を、誤推論画像に含まれるオブジェクト（本実施形態では車両）の要素オブジェクト（本実施形態では、車両の部品）ごとの領域である"スーパーピクセル"に分割し、スーパーピクセル分割情報を出力する。なお、誤推論画像をスーパーピクセルに分割するにあたっては、既存の分割機能を利用するか、あるいは、車両の部品ごとに分割するように学習したＣＮＮ等を利用する。

重要スーパーピクセル決定部３２２は、スーパーピクセル分割部３２１により出力されたスーパーピクセル分割情報に基づいて、重畳部３１３により生成された重要特徴指標マップの各画素の画素値を、スーパーピクセルごとに加算する。

また、重要スーパーピクセル決定部３２２は、各スーパーピクセルのうち、加算値が所定の条件を満たす（重要特徴指標閾値以上）のスーパーピクセルを抽出する。また、重要スーパーピクセル決定部３２２は、抽出したスーパーピクセルの中から選択したスーパーピクセルを組み合わせたスーパーピクセル群を、変更可能領域（スコア最大化リファイン画像によって置き換えられる第１の領域）と規定する。また、重要スーパーピクセル決定部３２２は、組み合わせたスーパーピクセル群以外のスーパーピクセル群を、変更不可領域（スコア最大化リファイン画像によって置き換えられない第２の領域）と規定する。

更に、重要スーパーピクセル決定部３２２は、誤推論画像から、変更不可領域に対応する画像部分を抽出するとともに、スコア最大化リファイン画像から、変更可能領域に対応する画像部分を抽出し、両者を合成することで、合成画像を生成する。

なお、重要スーパーピクセル決定部３２２では、変更可能領域及び変更不可領域を規定する際に用いる重要特徴指標閾値を徐々に下げることで、抽出するスーパーピクセルの数を増やす（変更可能領域を広げ、変更不可領域を狭めていく）。また、重要スーパーピクセル決定部３２２では、抽出したスーパーピクセルの中から選択するスーパーピクセルの組み合わせを変えながら、規定する変更可能領域及び変更不可領域を更新する。

重要スーパーピクセル評価部３２３は、重要スーパーピクセル決定部３２２において生成された合成画像が推論部３０３に入力されるごとに推論される正解ラベルのスコアを取得する。

上述したように、重要スーパーピクセル決定部３２２では、重要特徴指標閾値を下げる回数、スーパーピクセルの組み合わせの数、に応じた数の合成画像を生成する。このため、重要スーパーピクセル評価部３２３では、当該数に応じた数の正解ラベルのスコアを取得する。

また、重要スーパーピクセル評価部３２３は、取得したスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。

このとき、重要スーパーピクセル評価部３２３では、面積がなるべく小さくなるように、変更可能領域を特定する。例えば、重要スーパーピクセル評価部３２３では、推論部３０３より取得したスコアを評価する際、重要特徴指標閾値を下げる前のスーパーピクセルあるいはスーパーピクセルの組み合わせのうち、面積が小さいものから優先して評価する。また、重要スーパーピクセル評価部３２３では、重要特徴指標閾値が下がることで、正解ラベルが推論されるようになった時点での変更可能領域（正解ラベルを推論可能な限界の重要特徴指標閾値により抽出され、面積が最小の変更可能領域）を特定する。

＜誤推論原因抽出部の各部の処理の具体例＞
次に、誤推論原因抽出部１４０の各部（リファイン画像生成部１４１、マップ生成部１４２、特定部１４３）の処理の具体例について説明する。なお、以下では、誤推論画像に、推論対象として、複数のオブジェクト（複数の車両）が含まれているものとして説明を行う。

（１）リファイン画像生成部の処理の具体例
はじめに、リファイン画像生成部１４１の各部（ここでは、画像リファイナ部３０１、推論部３０３、誤差演算部３０４）の処理の具体例について説明する。

（１－１）画像リファイナ部の処理の具体例
図４は、画像リファイナ部の処理の具体例を示す図である。図４に示すように、画像リファイナ部３０１には、誤推論画像４１０が入力される。画像リファイナ部３０１では、入力された誤推論画像４１０に含まれる、それぞれのオブジェクト（車両４１１、４１２）についてスコア最大化リファイン画像を生成する。

なお、図４において、
・車両４１１は、正解ラベル＝"車種Ａ"のところ、"車種Ｂ"と誤推論した車両、
・車両４１２は、正解ラベル＝"車種Ｂ"のところ、"車種Ｃ"と誤推論した車両、
であるとする。

画像リファイナ部３０１は、車両４１１、車両４１２について、スコア最大化リファイン画像を生成する際、２通りの生成方法（第１及び第２の生成方法）のうちのいずれかの生成方法を選択的に実行する。

画像リファイナ部３０１が実行する第１の生成方法は、誤推論画像に含まれる全てのオブジェクトの正解ラベルのスコアが最大となるように、スコア最大化リファイン画像を生成する方法である。

図４（ａ）は、画像リファイナ部３０１が、誤推論画像４１０に対して、第１の生成方法によりスコア最大化リファイン画像を生成した様子を示している。図４（ａ）の例の場合、
・車両４１１のヘッドライト４２１の色、道路標示４２２の色、車両４１１のフロントグリル４２３の色、フロントグリル４２３と左側ヘッドライト４２１との間の車体４２４の色、
・車両４１２のフロントグリル４２５の色、道路標示４２６の色、
を変更することで、車両４１１を"車種Ａ"、車両４１２を"車種Ｂ"と正しく推論可能な、１のスコア最大化リファイン画像４２０が生成されたことを示している。

一方、画像リファイナ部３０１が実行する第２の生成方法は、誤推論画像に含まれるオブジェクトごとに、スコアが最大化するように、スコア最大化リファイン画像を生成する方法である。第２の生成方法によれば、誤推論画像に含まれるオブジェクトの数に応じた数のスコア最大化リファイン画像が生成される。

図４（ｂ－１）は、画像リファイナ部３０１が、誤推論画像４１０に含まれる車両４１１に対して、第２の生成方法によりスコア最大化リファイン画像を生成した様子を示している。図４（ｂ－１）の例の場合、
・車両４１１のヘッドライト４２１の色、
・フロントグリル４２３の色、
・フロントグリル４２３と左側ヘッドライト４２１との間の車体４２４の色、
を変更することで、車両４１１を"車種Ａ"と正しく推論することが可能なスコア最大化リファイン画像４３０が生成されたことを示している。

また、図４（ｂ－２）は、画像リファイナ部３０１が、誤推論画像４１０に含まれる車両４１２に対して、第２の生成方法によりスコア最大化リファイン画像を生成した様子を示している。図４（ｂ－２）の例の場合、車両４１２のフロントグリル４２５の色を変更することで、車両４１２を"車種Ｂ"と正しく推論可能なスコア最大化リファイン画像４４０が生成されたことを示している。

（１－２）推論部の処理の具体例
図５は、推論部の処理の具体例を示す図である。具体的には、図５の例は、画像リファイナ部３０１において、第１の生成方法により生成されたリファイン画像５００（スコア最大化リファイン画像を生成する途中過程で生成されるリファイン画像）を推論部３０３に入力した様子を示している。

図５に示すように、推論部３０３では、車両４１１のラベル、スコアに加えて、車両４１１に関する情報として、"位置及び大きさ"、"存在確率"、"ＩｏＵ"、"Ｐｒ"を算出する。同様に、推論部３０３では、車両４１２のラベル、スコアに加えて、車両４１２に関する情報として、"位置及び大きさ"、"存在確率"、"ＩｏＵ"、"Ｐｒ"を算出する。

以下、推論部３０３が算出する、オブジェクトに関する情報（車両４１１、４１２に関する情報）について、図６～図８を用いて詳説する。

（ｉ）位置及び大きさ
図６は、リファイン画像内のオブジェクトの位置及び大きさの算出方法の一例を示す図である。推論部３０３では、リファイン画像５００に含まれるオブジェクト（車両４１１、４１２）の外接矩形６０１、６０２を特定することで、オブジェクトの位置及び大きさを算出する。

なお、推論部３０３は、オブジェクトの位置及び大きさの算出方法として、３通りの算出方法（第１乃至第３の算出方法）を有しており、いずれかの算出方法により、オブジェクトの位置及び大きさを算出するものとする。

推論部３０３が有する第１の算出方法は、外接矩形６０１、６０２それぞれの、左上頂点の座標、右下頂点の座標を算出する方法である。第１の算出方法によれば、符号６１１に示すように、
・車両４１２の位置及び大きさとして、（ｘ_１１，ｙ_１１）、（ｘ_１２，ｙ_１２）が、
・車両４１１の位置及び大きさとして、（ｘ_２１，ｙ_２１）、（ｘ_２２，ｙ_２２）が、
それぞれ算出される。

一方、推論部３０３が有する第２の算出方法は、外接矩形６０１、６０２それぞれの、特定の位置からの左上頂点までの距離、右下頂点までの距離を算出する方法である。第２の算出方法によれば、符号６１２に示すように、
・車両４１２の位置及び大きさとして、ｄｘ_１１、ｄｙ_１１、ｄｘ_１２、ｄｙ_１２が、
・車両４１１の位置及び大きさとして、ｄｘ_２１、ｄｙ_２１、ｄｘ_２２、ｄｙ_２２が、
それぞれ算出される。

一方、推論部３０３が有する第３の算出方法は、外接矩形６０１、６０２それぞれの、左上頂点の座標、高さ、幅を算出する方法である。第３の算出方法によれば、符号６１３に示すように、
・車両４１２の位置及び大きさとして、（ｘ_１，ｙ_１）、ｈ_１、ｗ_１が、
・車両４１１の位置及び大きさとして、（ｘ_２，ｙ_２）、ｈ_２、ｗ_２が、
それぞれ算出される。

なお、図６では、３通りの算出方法を例示したが、推論部３０３は、図６に示した算出方法以外の算出方法により、リファイン画像内のオブジェクトの位置及び大きさを算出してもよい。

例えば、第２の算出方法では、特定の位置を基準としたが、特定の位置として、基準となる矩形の左上頂点を用いてもよい（第４の算出方法）。

また、第３の算出方法では、外接矩形の左上頂点の座標を算出したが、外接矩形の中心位置の座標を算出してもよい（第５の算出方法）。

（ｉｉ）存在確率
図７は、リファイン画像内のオブジェクトの存在確率の一例を示す図である。推論部３０３では、リファイン画像５００を複数のブロックに分割し、それぞれのブロックについてオブジェクトが存在する確率を算出する。

図７において、符号７００は、破線で示すそれぞれのブロックについて、車両４１１、４１２の存在確率を算出した様子を示している。

（ｉｉｉ）ＩｏＵ及びＰｒ
ＩｏＵ（Intersection over Union）は、推論部３０３がリファイン画像５００において、車両４１１、４１２を正しく検出できたか否かを示す評価指標である。図８は、リファイン画像内のオブジェクトのＩｏＵの算出方法の一例を示す図である。図８に示すように、推論部３０３において推論された車両４１１の外接矩形６０１に対して、正解外接矩形８０１が与えられたとすると、車両４１１のＩｏＵは、下式により算出することができる。
（式１）
車両４１１のＩｏＵ＝ＡｏＯ_１／ＡｏＵ_１
ただし、ＡｏＯ_１は、推論部３０３において推論された車両４１１の外接矩形６０１と、正解外接矩形８０１とが重なっている部分の面積を指す。また、ＡｏＵ_１は、推論部３０３において推論された車両４１１の外接矩形６０１と、正解外接矩形８０１との和集合の面積を指す。

同様に、推論部３０３において推論された車両４１２の外接矩形６０２に対して、正解外接矩形８０２が与えられたとすると、車両４１２のＩｏＵは、下式により算出することができる。
（式２）
車両４１２のＩｏＵ＝ＡｏＯ_２／ＡｏＵ_２
ただし、ＡｏＯ_２は、推論部３０３において推論された車両４１２の外接矩形６０２と、正解外接矩形８０２とが重なっている部分の面積を指す。また、ＡｏＵ_２は、推論部３０３において推論された車両４１２の外接矩形６０２と、正解外接矩形８０２との和集合の面積を指す。

一方、Ｐｒは、推論部３０３において推論された車両４１１（または４１２）の外接矩形６０１（または６０２）に、車両４１１（または４１２）が含まれる確率を指す。なお、車両４１１、４１２のＩｏＵと、Ｐｒとをかけ合わせることで、推論部３０３において推論された車両４１１（または４１２）の外接矩形６０１（または６０２）の信頼度を算出することができる。

（１－３）誤差演算部の処理の具体例
図９は、誤差演算部の処理の具体例を示す図である。図９に示すように、誤差演算部３０４に対しては、リファイン画像が入力されることで推論部３０３がラベルを推論した際に算出した、スコア、オブジェクトに関する情報（位置及び大きさ、存在確率、ＩｏＵ、Ｐｒ）を入力することができる。

図９に示すように、誤差演算部３０４では、入力可能なスコア、オブジェクトに関する情報を用いて、スコア誤差、オブジェクト誤差を算出する。具体的には、誤差演算部３０４では、
・生成したリファイン画像を用いて推論した際のスコアと、正解ラベルのスコアを最大化したスコアとの誤差であるスコア誤差、
・生成したリファイン画像を用いてラベルを推論した際のオブジェクトに関する情報と、正解ラベルのオブジェクトに関する正解情報との誤差であるオブジェクト誤差として、
・位置及び大きさの誤差、
・存在確率の誤差（＝（オブジェクトが存在する領域の存在確率と１．０との差分）＋（オブジェクトが存在しない領域の存在確率と０．０との差分））、
・信頼度（＝ＩｏＵ×Ｐｒ）、
を算出する。

なお、誤差演算部３０４は、推論部３０３から通知されるスコア、及び、オブジェクトに関する情報のうち、スコア誤差またはオブジェクト誤差の算出に用いる項目を予め設定することができるものとする。図９の例は、誤差演算部３０４に、スコア、ＩｏＵ、Ｐｒが入力されるように設定されているため、誤差演算部３０４では、スコア誤差と信頼度とが、画像リファイナ部３０１に通知されることを示している。

（２）マップ生成部の処理の具体例
次に、マップ生成部１４２の処理の具体例について説明する。

（２－１）マップ生成部の各部の処理の概要
はじめに、マップ生成部１４２の各部（重要特徴マップ生成部３１１、劣化尺度マップ生成部３１２、重畳部３１３の）の処理の概要について説明する。図１０は、マップ生成部の処理の概要を示す図である。

図１０に示すように、マップ生成部１４２において重要特徴マップ生成部３１１は、推論部３０３がスコア最大化リファイン画像を入力してラベルを推論した際の推論部構造情報１００１を、推論部３０３から取得する。また、重要特徴マップ生成部３１１は、取得した推論部構造情報１００１に基づいて、例えば、選択的ＢＰ法を用いて重要特徴マップを生成する。

なお、重要特徴マップ生成部３１１では、スコア最大化リファイン画像に含まれるオブジェクトごとに、重要特徴マップを生成する。スコア最大化リファイン画像４２０の場合、車両４１１と車両４１２の２つのオブジェクトが含まれていることから、重要特徴マップ生成部３１１では、例えば、選択的ＢＰ法を用いて、２つの重要特徴マップを生成する（詳細は後述）。

また、重要特徴マップ生成部３１１では、２つのオブジェクトについて生成した２つの重要特徴マップをそれぞれグレイスケール化し、オブジェクト単位グレイスケール化重要特徴マップ１０１１、１０１２を生成する。

図１０に示すオブジェクト単位グレイスケール化重要特徴マップ１０１１、１０１２は、それぞれ、０から２５５の画素値でグレイスケール化されている。このため、オブジェクト単位グレイスケール化重要特徴マップ１０１１、１０１２において、画素値が２５５に近い画素は、推論時に注目度合いが高い画素（注目画素）であり、画素値が０に近い画素は、推論時に注目度合いが低い画素（非注目画素）である。

一方、劣化尺度マップ生成部３１２は、リファイン画像格納部３０５よりスコア最大化リファイン画像４２０を読み出し、オブジェクトごとに、誤推論画像４１０との間でＳＳＩＭ（Structural Similarity）演算を行う。

スコア最大化リファイン画像４２０の場合、車両４１１と車両４１２の２つのオブジェクトが含まれていることから、劣化尺度マップ生成部３１２では、２つのオブジェクト単位劣化尺度マップ１０２１、１０２２を生成する。オブジェクト単位劣化尺度マップ１０２１、１０２２は０から１の値をとり、画素値が１に近いほど、変更度合いが小さいことを表し、画素値が０に近いほど、変更度合いが大きいことを表す。

重畳部３１３は、重要特徴マップ生成部３１１により生成された、オブジェクト単位グレイスケール化重要特徴マップ１０１１、１０１２と、劣化尺度マップ生成部３１２により生成された、オブジェクト単位劣化尺度マップ１０２１、１０２２とを取得する。また、重畳部３１３は、オブジェクト単位重要特徴指標マップ１０３１、１０３２を生成する。

具体的には、重畳部３１３は、下式に基づいて、オブジェクト単位重要特徴指標マップ１０３１、１０３２を生成する。
（式３）
オブジェクト単位重要特徴指標マップ＝オブジェクト単位グレイスケール化重要特徴マップ×（１－オブジェクト単位劣化尺度マップ）
上式において、（１－オブジェクト単位劣化尺度マップ）の項は、０から１の値をとり、１に近いほど変更度合いが大きく、０に近いほど変更度合いが小さい。つまり、オブジェクト単位重要特徴指標マップ１０３１、１０３２は、推論時に注目した各画素の注目度合いを示すオブジェクト単位グレイスケール化重要特徴マップに、変更度合いの大小による強弱をつけることで生成されたものである。

具体的には、オブジェクト単位重要特徴指標マップ１０３１、１０３２は、
・オブジェクト単位劣化尺度マップ１０２１、１０２２において変更度合いが小さい部分について、オブジェクト単位グレイスケール化重要特徴マップの画素値を小さくし、
・オブジェクト単位劣化尺度マップ１０２１、１０２２において変更度合いが大きい部分について、オブジェクト単位グレイスケール化重要特徴マップの画素値を大きくする、
ことで生成される。

なお、より見やすくするために、オブジェクト単位重要特徴指標マップは白黒を反転させてもよい。図１０に示すオブジェクト単位重要特徴指標マップは、下式に基づいて白黒を反転させたものを表示している。
（式４）
（反転した）オブジェクト単位重要特徴指標マップ＝２５５－［オブジェクト単位グレイスケール化重要特徴マップ×（１－オブジェクト単位劣化尺度マップ）］
ここで、重畳部３１３が、上式に基づいて、オブジェクト単位グレイスケール化重要特徴マップ１０１１、１０１２とオブジェクト単位劣化尺度マップ１０２１、１０２２とを重畳することによる利点について説明する。

上述したように、重要特徴マップ生成部３１１において生成される、オブジェクト単位グレイスケール化重要特徴マップ１０１１、１０１２は、正解ラベルのスコアが最大となった際に、推論部３０３が注目した注目部分に他ならない。

一方、劣化尺度マップ生成部３１２において生成される、オブジェクト単位劣化尺度マップ１０２１、１０２２は、正解ラベルのスコアが最大化するように誤推論画像を変更した際の変更部分を表しており、誤推論の原因となる部分を表している。ただし、劣化尺度マップ生成部３１２において生成されるオブジェクト単位劣化尺度マップ１０２１、１０２２は、正解ラベルを推論するための最小限の部分ではない。

重畳部３１３では、正解ラベルのスコアが最大化するように誤推論画像を変更した際の変更部分と、推論部３０３が注目した注目部分とを重畳することで、正解ラベルを推論するための最小限の部分を、正解ラベルを推論するための重要な部分として可視化する。

なお、図１０の例では、画像リファイナ部３０１が、第２の生成方法によりスコア最大化リファイン画像を生成する場合について示した。第２の生成方法の場合、図１０に示すように、オブジェクトごとに劣化尺度マップが生成されるため、対応するオブジェクト単位グレイスケール化重要特徴マップに重畳することで、オブジェクト単位重要特徴指標マップが生成されることになる。

一方、画像リファイナ部３０１が、第１の生成方法によりスコア最大化リファイン画像を生成する場合、劣化尺度マップ生成部３１２では、全てのオブジェクトを含む大きさの１の劣化尺度マップを生成する。この場合、重畳部３１３では、当該１の劣化尺度マップを共通に用いて、各オブジェクトのオブジェクト単位グレイスケール化重要特徴マップを重畳する。これにより、オブジェクトごとのオブジェクト単位重要特徴指標マップが生成されることになる。

（２－２）選択的ＢＰ法を用いた重要特徴マップの生成方法の詳細
次に、重要特徴マップ生成部３１１が、選択的ＢＰ法を用いて、オブジェクトごとに重要特徴マップを生成する生成方法の詳細について説明する。上述したように、重要特徴マップ生成部３１１では、スコア最大化リファイン画像に含まれるオブジェクトごとに、重要特徴マップを生成する。

図１１は、選択的ＢＰ法を用いた重要特徴マップの生成方法の一例を示す図である。このうち、図１１（ａ）は、スコア最大化リファイン画像４２０に含まれる全てのオブジェクトについての重要特徴マップを生成する様子を示したものである。

上述したように、スコア最大化リファイン画像４２０には、２つのオブジェクト（車両４１１、４１２）が含まれ、互いに異なる車種である。このため、２つのオブジェクトに対して同時に選択的ＢＰ法を用いると、２つのオブジェクトに対する注目領域の情報が互いに混在した重要特徴マップが生成されることになる。

一方、図１１（ｂ）は、スコア最大化リファイン画像４２０に含まれる、２つのオブジェクトについて、別々に重要特徴マップを生成する様子を示したものである。図１１（ｂ）に示すように、２つのオブジェクトに対して別々に選択的ＢＰ法を用いることで、２つのオブジェクトに対する注目領域の情報が混在することなく、重要特徴マップを生成することができる。

このようなことから、重要特徴マップ生成部３１１では、スコア最大化リファイン画像に含まれるオブジェクトごとに、別々に重要特徴マップを生成する。この結果、重要特徴マップ生成部３１１によれば、スコア最大化リファイン画像に複数のオブジェクトが含まれていた場合であっても、適切な重要特徴マップを生成することができる。

（３）特定部の処理の具体例
次に、特定部１４３の各部（ここでは、スーパーピクセル分割部３２１、重要スーパーピクセル決定部３２２）の処理の具体例について説明する。

（３－１）スーパーピクセル分割部の処理の具体例
はじめに、特定部１４３に含まれるスーパーピクセル分割部３２１の処理の具体例について説明する。図１２は、スーパーピクセル分割部の処理の具体例を示す図である。図１２に示すように、スーパーピクセル分割部３２１は、例えば、ＳＬＩＣ（Simple Linear Iterative Clustering）処理を行う分割部１２１０を有する。

分割部１２１０は、誤推論画像５１１をオブジェクトごとに取得し、オブジェクト単位誤推論画像１２０１、１２０２それぞれに含まれるオブジェクトについて、要素オブジェクトごとの領域であるスーパーピクセルに分割する。また、スーパーピクセル分割部３２１は、分割部１２１０によりスーパーピクセルに分割されることで生成された、オブジェクト単位スーパーピクセル分割情報１２１１、１２１２を出力する。

なお、図１２の例では、画像リファイナ部３０１が、第２の生成方法によりスコア最大化リファイン画像を生成する場合について示した。第２の生成方法の場合、オブジェクトの数に応じた数のオブジェクト単位重要特徴指標マップが生成されるため、スーパーピクセル分割部３２１においても、オブジェクトの数に応じた数のオブジェクト単位スーパーピクセル分割情報が生成されることになる。

一方、画像リファイナ部３０１が、第１の生成方法によりスコア最大化リファイン画像を生成する場合、スーパーピクセル分割部３２１では、全てのオブジェクトを含む大きさの１のスーパーピクセル分割情報を生成する。

（３－２）重要スーパーピクセル決定部の処理の具体例
次に、特定部１４３に含まれる重要スーパーピクセル決定部３２２の処理の具体例について説明する。図１３は、重要スーパーピクセル決定部の処理の具体例を示す図である。

図１３に示すように、重要スーパーピクセル決定部３２２は、領域抽出部１３２０、合成部１３３０を有する。

重要スーパーピクセル決定部３２２では、重畳部３１３より出力された、オブジェクト単位重要特徴指標マップ１０３１、１０３２と、スーパーピクセル分割部３２１より出力されたオブジェクト単位スーパーピクセル分割情報１２１１、１２１２とを重ね合わせる。これにより、重要スーパーピクセル決定部３２２では、オブジェクト単位重要スーパーピクセル画像１３０１、１３０２を生成する。なお、図１３では、オブジェクト単位重要特徴指標マップ１０３１、１０３２として、（白黒を反転した）重要特徴指標マップを用いた場合を示している。

また、重要スーパーピクセル決定部３２２では、生成したオブジェクト単位重要スーパーピクセル画像１３０１内のスーパーピクセルごとに、オブジェクト単位重要特徴指標マップ１０３１の各画素の画素値を加算する。同様に、重要スーパーピクセル決定部３２２では、生成したオブジェクト単位重要スーパーピクセル画像１３０２内のスーパーピクセルごとに、オブジェクト単位重要特徴指標マップ１０３２の各画素の画素値を加算する。なお、図１３において、オブジェクト単位重要スーパーピクセル画像１３１１、１３１２は、それぞれのオブジェクトについて、スーパーピクセルごとの加算値の一例を明示したものである。

また、重要スーパーピクセル決定部３２２では、各スーパーピクセルについて、加算値が、重要特徴指標閾値以上であるかを判定し、加算値が重要特徴指標閾値以上であると判定したスーパーピクセルを抽出する。

また、重要スーパーピクセル決定部３２２は、抽出したスーパーピクセルの中から、選択したスーパーピクセルを組み合わせたスーパーピクセル群を、オブジェクト単位変更可能領域と規定する。図１３のオブジェクト単位重要スーパーピクセル画像１３１１に含まれる斜線領域は、変更可能領域の一例を示している。また、重要スーパーピクセル決定部３２２は、組み合わせたスーパーピクセル群以外のスーパーピクセル群を、オブジェクト単位変更不可領域と規定する。

更に、重要スーパーピクセル決定部３２２は、規定したオブジェクト単位変更可能領域及びオブジェクト単位変更不可領域を、オブジェクトごとに領域抽出部１３２０に通知する。

領域抽出部１３２０は、オブジェクト単位誤推論画像１２０１、１２０２から、オブジェクト単位変更不可領域に対応する画像部分を抽出する。また、領域抽出部１３２０は、オブジェクト単位スコア最大化リファイン画像１３２１、１３２２から、オブジェクト単位変更可能領域に対応する画像部分を抽出する。

合成部１３３０は、
・オブジェクト単位スコア最大化リファイン画像１３２１から抽出した、オブジェクト単位変更可能領域に対応する画像部分と、
・オブジェクト単位誤推論画像１２０１から抽出した、オブジェクト単位変更不可領域に対応する画像部分と、
を合成し、オブジェクト単位部分合成画像を生成する。

同様に、合成部１３３０は、
・オブジェクト単位スコア最大化リファイン画像１３２２から抽出した、オブジェクト単位変更可能領域に対応する画像部分と、
・オブジェクト単位誤推論画像１２０２から抽出した、オブジェクト単位変更不可領域に対応する画像部分と、
を合成し、オブジェクト単位部分合成画像を生成する。

また、合成部１３３０は、オブジェクトの数に応じた数のオブジェクト単位部分合成画像を合体することで、合成画像を生成する。

図１４は、領域抽出部及び合成部の処理の具体例を示す図である。図１４では、説明の簡略化のため、所定の１のオブジェクト（ここでは、車両４１１）に対する、領域抽出部及び合成部の処理の具体例を示している。

図１４において、上段は、領域抽出部１３２０が、オブジェクト単位スコア最大化リファイン画像１３２１から、オブジェクト単位変更可能領域１４０１（白色部分）の画像を抽出した様子を示している。

一方、図１４において、下段は、領域抽出部１３２０が、オブジェクト単位誤推論画像１２０１から、オブジェクト単位変更不可領域１４０１'（白色部分）の画像を抽出した様子を示している。なお、図１４において、オブジェクト単位変更不可領域１４０１'は、オブジェクト単位変更可能領域１４０１の白色部分と黒色部分とを反転したものである（説明の便宜上、図１４の下段では、白色部分を、変更不可領域としている）。

合成部１３３０は、図１４に示すように、
・オブジェクト単位スコア最大化リファイン画像１３２１のオブジェクト単位変更可能領域１４０１の画像部分と、
・オブジェクト単位誤推論画像１２０１のオブジェクト単位変更不可領域１４０１'の画像部分と、
を合成し、オブジェクト単位部分合成画像１４２１を生成する。

このように、特定部１４３によれば、オブジェクト単位誤推論画像のうち、オブジェクト単位スコア最大化リファイン画像で置き換える領域を、スーパーピクセル単位で特定することができる。

なお、図１３、図１４の例では、画像リファイナ部３０１が、第２の生成方法によりスコア最大化リファイン画像を生成する場合について示した。第２の生成方法の場合、図１３に示すように、オブジェクトごとの大きさのオブジェクト単位スーパーピクセル分割情報及びオブジェクト単位特徴指標マップが生成される。このため、オブジェクトごとの大きさのオブジェクト単位重要スーパーピクセル画像が生成される。

この結果、オブジェクト単位重要特徴指標マップの画素値も、オブジェクト単位重要スーパーピクセル画像を用いて、オブジェクトごとに加算する。また、変更可能領域及び変更不可領域も、オブジェクト単位重要スーパーピクセル画像を用いて、それぞれのオブジェクトについて規定される。更に、オブジェクトごとの大きさのオブジェクト単位部分合成画像を合体することで、全てのオブジェクトを含む大きさの１の合成画像が生成される。

一方、画像リファイナ部３０１が、第１の生成方法によりスコア最大化リファイン画像を生成する場合、全てのオブジェクトを含む大きさの１のスーパーピクセル分割情報が生成される。このため、重要スーパーピクセル決定部３２２では、１のスーパーピクセル分割情報に対して、オブジェクトごとの大きさのオブジェクト単位重要特徴指標マップをそれぞれ重畳する。これにより、全てのオブジェクトを含む大きさのオブジェクト単位重要スーパーピクセル画像が、オブジェクトの数だけ生成される。

この結果、オブジェクト単位重要特徴指標マップの画素値も、全てのオブジェクトを含む大きさのオブジェクト単位重要スーパーピクセル画像を用いて、オブジェクトごとに加算する。また、変更可能領域及び変更不可領域も、全てのオブジェクトを含む大きさのオブジェクト単位重要スーパーピクセル画像を用いて、それぞれのオブジェクトについて規定される。

なお、全てのオブジェクトを含む大きさのオブジェクト単位重要スーパーピクセル画像を用いて変更可能領域及び変更不可領域を規定した場合、合成部１３３０では、
・全てのオブジェクトを含む大きさのオブジェクト単位部分合成画像と、
・全てのオブジェクトを含む大きさのオブジェクト単位部分合成画像を合体した、１の合成画像と、
を生成することができる。

このため、重要スーパーピクセル評価部３２３では、全てのオブジェクトを含む大きさのオブジェクト単位部分合成画像が推論部３０３に入力されることで推論される正解ラベルのスコアを取得し、オブジェクトごとに誤推論原因情報を出力してもよい。あるいは、１の合成画像を推論部３０３が入力されることで推論される正解ラベルのスコアを取得し、全てのオブジェクトについての誤推論原因情報を出力してもよい。

＜誤推論原因抽出処理の流れ＞
次に、誤推論原因抽出部１４０による誤推論原因抽出処理の流れについて説明する。図１５及び図１６は、誤推論原因抽出処理の流れを示す第１及び第２のフローチャートである。

ステップＳ１５０１において、誤推論原因抽出部１４０の各部は、初期化処理を行う。具体的には、画像リファイナ部３０１は、ＣＮＮの学習回数をゼロに設定するとともに、最大学習回数をユーザが指示した値に設定する。また、画像リファイナ部３０１は、スコア最大化リファイン画像を生成する際のモード（全てのオブジェクトを対象にスコアを最大化するモード、または、個別のオブジェクトを対象にスコアを最大化するモードのいずれか）を設定する。また、誤差演算部３０４は、オブジェクトに関する情報のうち、オブジェクト誤差の算出に用いる情報を設定する。更に、重要スーパーピクセル決定部３２２は、重要特徴指標閾値及びその下限値を、ユーザが指示した値に設定する。

ステップＳ１５０２において、画像リファイナ部３０１は、スコア最大化リファイン画像生成処理を実行する。なお、スコア最大化リファイン画像生成処理の詳細は、後述する。

ステップＳ１５０３において、重要特徴マップ生成部３１１は、推論部３０３よりスコア最大化リファイン画像を入力してラベルが推論された際の推論部構造情報を、オブジェクトごとに取得する。また、重要特徴マップ生成部３１１は、取得した推論部構造情報に基づいて、オブジェクト単位グレイスケール化重要特徴マップを生成する。

ステップＳ１５０４において、劣化尺度マップ生成部３１２は、オブジェクト単位誤推論画像と、オブジェクト単位スコア最大化リファイン画像とに基づいて、オブジェクト単位劣化尺度マップを生成する。

ステップＳ１５０５において、重畳部３１３は、オブジェクト単位グレイスケール化重要特徴マップと、オブジェクト単位劣化尺度マップとに基づいて、オブジェクト単位重要特徴指標マップを生成する。

ステップＳ１５０６において、スーパーピクセル分割部３２１は、誤推論画像をオブジェクトごとにスーパーピクセルに分割し、オブジェクト単位スーパーピクセル分割情報を生成する。

ステップＳ１５０７において、重要スーパーピクセル決定部３２２は、オブジェクト単位重要特徴指標マップの各画素の画素値を、スーパーピクセルごとに加算する。

ステップＳ１５０８において、重要スーパーピクセル決定部３２２は、加算値が重要特徴指標閾値以上となるスーパーピクセルを抽出し、抽出したスーパーピクセルの中から選択したスーパーピクセルを組み合わせ、オブジェクト単位変更可能領域を規定する。また、重要スーパーピクセル決定部３２２は、組み合わせたスーパーピクセル群以外のスーパーピクセルを、オブジェクト単位変更不可領域と規定する。

続いて、図１６のステップＳ１６０１において、重要スーパーピクセル決定部３２２は、リファイン画像格納部３０５から、オブジェクト単位スコア最大化リファイン画像を読み出す。

ステップＳ１６０２において、重要スーパーピクセル決定部３２２は、オブジェクト単位スコア最大化リファイン画像から、オブジェクト単位変更可能領域に対応する画像部分を抽出する。

ステップＳ１６０３において、重要スーパーピクセル決定部３２２は、オブジェクト単位誤推論画像から、オブジェクト単位変更不可領域に対応する画像部分を抽出する。

ステップＳ１６０４において、重要スーパーピクセル決定部３２２は、オブジェクト単位変更可能領域に対応する画像部分と、オブジェクト単位変更不可領域に対応する画像部分とを合成し、オブジェクト単位部分合成画像を生成する。また、重要スーパーピクセル決定部３２２は、オブジェクト単位部分合成画像を合体し、合成画像を生成する。

ステップＳ１６０５において、推論部３０３は、合成画像を入力してラベルを推論し、各オブジェクトの正解ラベルのスコアを算出する。また、重要スーパーピクセル評価部３２３は、推論部３０３により算出された正解ラベルのスコアを取得する。

ステップＳ１６０６において、重要スーパーピクセル決定部３２２は、重要特徴指標閾値が下限値に到達したか否かを判定する。ステップＳ１６０６において、下限値に到達していないと判定した場合には（ステップＳ１６０６においてＮｏの場合には）、ステップＳ１６０７に進む。

ステップＳ１６０７において、重要スーパーピクセル決定部３２２は、重要特徴指標閾値を下げた後、図１５のステップＳ１５０８に戻る。

一方、ステップＳ１６０６において、下限値に到達したと判定した場合には（ステップＳ１６０６においてＹｅｓの場合には）、ステップＳ１６０８に進む。

ステップＳ１６０８において、重要スーパーピクセル評価部３２３は、取得した各オブジェクトの正解ラベルのスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（オブジェクト単位変更可能領域）を特定し、誤推論原因情報として出力する。

＜スコア最大化リファイン画像生成処理の詳細＞
次に、誤推論原因抽出処理（図１５）のスコア最大化リファイン画像生成処理（ステップＳ１５０２）の詳細について説明する。図１７は、スコア最大化リファイン画像生成処理の流れを示すフローチャートである。

ステップＳ１７０１において、画像リファイナ部３０１は、スコア最大化リファイン画像生成処理のモードを判定する。ステップＳ１７０１において、全てのオブジェクトを対象にスコアを最大化するモードが設定されていると判定した場合には、ステップＳ１７１１に進む。

ステップＳ１７１１において、画像リファイナ部３０１は、誤推論画像からリファイン画像を生成し、リファイン画像格納部３０５に格納する。

ステップＳ１７１２において、推論部３０３は、リファイン画像を入力してラベルを推論し、全てのオブジェクトの正解ラベルのスコアを算出する。

ステップＳ１７１３において、画像リファイナ部３０１は、誤差演算部３０４が算出した全てのオブジェクトについてのスコア誤差及びオブジェクト誤差と、画像誤差演算部３０２が算出した画像差分値とを用いてＣＮＮの学習を行う。

ステップＳ１７１４において、画像リファイナ部３０１は、学習回数が最大学習回数を超えたか否かを判定する。ステップＳ１７１４において、学習回数が最大学習回数を超えていないと判定した場合には（ステップＳ１７１４においてＮｏの場合には）、ステップＳ１７１１に戻り、リファイン画像の生成を継続する。

一方、ステップＳ１７１４において、学習回数が最大学習回数を超えたと判定した場合には（ステップＳ１７１４においてＹｅｓの場合は）、図１５のステップＳ１５０３に戻る。なお、この時点で、リファイン画像格納部３０５には、１のスコア最大化リファイン画像が格納されている。

一方、ステップＳ１７０１において、個別のオブジェクトを対象にスコアを最大化するモードが設定されていると判定した場合には、ステップＳ１７２１に進む。

ステップＳ１７２１において、画像リファイナ部３０１は、誤推論画像内の所定の１のオブジェクトについてリファイン画像を生成し、リファイン画像格納部３０５に格納する。

ステップＳ１７２２において、推論部３０３は、リファイン画像を入力してラベルを推論し、所定のオブジェクトの正解ラベルのスコアを算出する。

ステップＳ１７２３において、画像リファイナ部３０１は、誤差演算部３０４が算出した所定の１のオブジェクトについてのスコア誤差及びオブジェクト誤差と、画像誤差演算部３０２が算出した画像差分値とを用いてＣＮＮの学習を行う。

ステップＳ１７２４において、画像リファイナ部３０１は、学習回数が最大学習回数を超えたか否かを判定する。ステップＳ１７２４において、学習回数が最大学習回数を超えていないと判定した場合には（ステップＳ１７２４においてＮｏの場合には）、ステップＳ１７２１に戻り、リファイン画像の生成を継続する。

一方、ステップＳ１７２４において、学習回数が最大学習回数を超えたと判定した場合には（ステップＳ１７２４においてＹｅｓの場合は）、ステップＳ１７２５に進む。なお、この時点で、リファイン画像格納部３０５には、所定の１のオブジェクトについてのスコア最大化リファイン画像が格納されている。

ステップＳ１７２５において、画像リファイナ部３０１は、誤推論画像に含まれる全てのオブジェクトについて、スコア最大化リファイン画像を生成したか否かを判定する。

ステップＳ１７２５において、スコア最大化リファイン画像を生成していないオブジェクトがあると判定した場合には（ステップＳ１７２５においてＮｏの場合には）、ステップＳ１７２６に進む。

ステップＳ１７２６において、画像リファイナ部３０１は、スコア最大化リファイン画像を生成すべき次のオブジェクトを、所定の１のオブジェクトとして選択し、ステップＳ１７２１に戻る。

一方、ステップＳ１７２５において、全てのオブジェクトについて、スコア最大化リファイン画像を生成したと判定した場合には（ステップＳ１７２５においてＹｅｓの場合には）、図１５のステップＳ１５０３に戻る。なお、この時点で、リファイン画像格納部３０５には、オブジェクトの数に応じた数のスコア最大化リファイン画像が格納されている。

＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出処理の具体例について説明する。図１８は、誤推論原因抽出処理の具体例を示す図である。

図１８に示すように、はじめに、リファイン画像生成部１４１により、誤推論画像からスコア最大化リファイン画像が生成されると、マップ生成部１４２では、オブジェクト単位重要特徴指標マップを生成する。

続いて、誤推論画像がオブジェクト単位で読み出されると、スーパーピクセル分割部３２１では、オブジェクト単位スーパーピクセル分割情報を生成する。

続いて、重要スーパーピクセル決定部３２２では、オブジェクト単位重要特徴指標マップの画素値を、オブジェクト単位スーパーピクセル分割情報に基づいて分割されたスーパーピクセルごとに加算し、オブジェクト単位重要スーパーピクセル画像を生成する。

続いて、重要スーパーピクセル決定部３２２では、重要特徴指標閾値のもと、オブジェクト単位重要スーパーピクセル画像において、オブジェクト単位変更可能領域及びオブジェクト単位変更不可領域を規定する。なお、重要スーパーピクセル決定部３２２では、重要特徴指標閾値を変えるとともに、重要特徴指標閾値を超えるスーパーピクセルの中から選択するスーパーピクセルの組み合わせを変える。これにより、重要スーパーピクセル決定部３２２では、複数のオブジェクト単位変更可能領域とオブジェクト単位変更不可領域との組を生成する。また、重要スーパーピクセル決定部３２２では、生成した複数のオブジェクト単位変更可能領域とオブジェクト単位変更不可領域との組それぞれを用いて、オブジェクト単位スコア最大化リファイン画像とオブジェクト単位誤推論画像とを合成する。更に、重要スーパーピクセル決定部３２２では、オブジェクト単位部分合成画像を合体することで合成画像を生成する。

続いて、重要スーパーピクセル評価部３２３では、生成された合成画像を入力して推論部３０３が推論した正解ラベルのスコアを取得する。これにより、重要スーパーピクセル評価部３２３では、取得した正解ラベルのスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（オブジェクト単位変更可能領域）を特定し、誤推論原因情報として出力する。

以上の説明から明らかなように、第１の実施形態に係る解析装置１００は、画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたスコア最大化リファイン画像を生成する。

また、第１の実施形態に係る解析装置１００は、正解ラベルを推論するための各画素の重要度を示す重要特徴指標マップを生成する。

また、第１の実施形態に係る解析装置１００は、重要特徴指標マップの画素値に基づいて変更可能領域を規定し、規定した変更可能領域を、スコア最大化リファイン画像で置き換える。

また、第１の実施形態に係る解析装置１００は、置き換えの効果を参照しながら、誤推論の原因となる画像箇所を特定する。

これにより、第１の実施形態によれば、誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。

また、第１の実施形態に係る解析装置１００は、誤推論画像に含まれるオブジェクトに関する情報（位置及び大きさ、存在確率、ＩｏＵ、Ｐｒ）を用いて、誤推論画像からスコア最大化リファイン画像を生成する。これにより、第１の実施形態によれば、スコア最大化リファイン画像を適切に生成することができる。

また、第１の実施形態に係る解析装置１００は、スコア最大化リファイン画像に複数のオブジェクトが含まれる場合、オブジェクトごとに重要特徴指標マップを生成する。これにより、第１の実施形態によれば、スコア最大化リファイン画像に複数のオブジェクトが含まれていた場合でも、重要特徴指標マップを適切に生成することができる。

［第２の実施形態］
上記第１の実施形態では、誤推論画像に２つのオブジェクトが含まれる場合について説明したが、誤推論画像に１つのオブジェクトが含まれる場合においても適用可能であることはいうまでもない。また、誤推論画像に３つ以上の複数のオブジェクトが含まれる場合においても適用可能であることはいうまでもない。

また、上記第１の実施形態では、誤推論画像に含まれる２つのオブジェクトが、いずれも車両である場合について説明した。しかしながら、誤推論画像に含まれる２つのオブジェクトは、車両に限定されず、車両以外のオブジェクトであってもよい。

また、上記第１の実施形態では、オブジェクト単位重要スーパーピクセル画像１３１１、１３１２に対して、重要特徴指標閾値を一律に設定するものとして説明した。しかしながら、オブジェクト単位重要スーパーピクセル画像１３１１と、オブジェクト単位重要スーパーピクセル画像１３１２とで、異なる重要特徴指標閾値を設定してもよい。また、上記第１の実施形態では、重要特徴指標閾値を下げる際、オブジェクト単位重要スーパーピクセル画像１３１１とオブジェクト単位重要スーパーピクセル画像１３１２とで、下げ幅を一律にするものとして説明した。しかしながら、オブジェクト単位重要スーパーピクセル画像１３１１とオブジェクト単位重要スーパーピクセル画像１３１２とで、重要特徴指標閾値の下げ幅を変えてもよい。

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成するマップ生成部と、
前記第３のマップの画素値に基づいて、前記誤推論画像において誤推論の原因となる画像箇所を特定する特定部と、を有し、
前記画像生成部は、推論時に算出する、前記誤推論画像に含まれる推論対象に関する情報を用いて、前記誤推論画像から前記リファイン画像を生成する解析装置。
（付記２）
前記画像生成部は、推論時に、前記推論対象に関する情報として、前記誤推論画像における推論対象の位置及び大きさ、存在確率、推論対象を正しく検出できたか否かを示す評価指標、推論対象が外接矩形に含まれる確率、のいずれかを算出する、付記１に記載の解析装置。
（付記３）
前記画像生成部は、推論時に算出する前記推論対象に関する情報と、前記誤推論画像に含まれる推論対象に関する正解情報との誤差を用いて、前記誤推論画像から前記リファイン画像を生成する、付記１に記載の解析装置。
（付記４）
前記画像生成部は、前記誤推論画像に複数の推論対象が含まれる場合、該複数の推論対象全ての推論時の正解ラベルのスコアを最大化させた１のリファイン画像を生成する、付記１乃至３のいずれかの付記に記載の解析装置。
（付記５）
前記マップ生成部は、前記１のリファイン画像に含まれる複数の推論対象それぞれについて、前記第１のマップを生成することで、推論対象の数に応じた数の前記第３のマップを生成する、付記４に記載の解析装置。
（付記６）
前記画像生成部は、前記誤推論画像に複数の推論対象が含まれる場合、１の推論対象の推論の正解ラベルのスコアを最大化させる処理を、推論対象の数に応じて繰り返すことで、推論対象の数に応じた数のリファイン画像を生成する、付記１乃至３のいずれかの付記に記載の解析装置。
（付記７）
前記マップ生成部は、複数の推論対象それぞれの前記リファイン画像について、前記第１のマップ及び前記第２のマップを生成することで、推論対象の数に応じた数の前記第３のマップを生成する、付記６に記載の解析装置。
（付記８）
前記特定部は、推論対象の数に応じた数の前記第３のマップの画素値に基づいて、前記複数の推論対象それぞれについて、前記リファイン画像に置き換えられる前記誤推論画像の第１の領域と、前記リファイン画像に置き換えられない前記誤推論画像の第２の領域とを規定し、規定した第１の領域を前記リファイン画像で置き換えることで、前記複数の推論対象それぞれについて部分合成画像を生成する、付記５または７に記載の解析装置。
（付記９）
前記特定部は、前記複数の推論対象それぞれについて生成した部分合成画像を合体することで合成画像を生成し、生成した合成画像について推論された正解ラベルのスコアに基づいて、前記リファイン画像に置き換えられる前記誤推論画像の第１の領域から所定の領域を特定することで、前記誤推論画像において誤推論の原因となる画像箇所を特定する、付記８に記載の解析装置。
（付記１０）
複数の推論対象全ての推論時の正解ラベルのスコアを最大化させた１のリファイン画像を生成するモードと、１の推論対象の推論時の正解ラベルのスコアを最大化させる処理を、推論対象の数に応じて繰り返すことで、推論対象の数に応じた数のリファイン画像を生成するモードと、を有する付記８に記載の解析装置。
（付記１１）
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成し、
前記第３のマップの画素値に基づいて、前記誤推論画像において誤推論の原因となる画像箇所を特定する、処理をコンピュータに実行させるための解析プログラムであって、
推論時に算出する、前記誤推論画像に含まれる推論対象に関する情報を用いて、前記誤推論画像から前記リファイン画像を生成する、解析プログラム。
（付記１２）
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成し、
前記第３のマップの画素値に基づいて、前記誤推論画像において誤推論の原因となる画像箇所を特定する、処理をコンピュータが実行する解析方法であって、
推論時に算出する、前記誤推論画像に含まれる推論対象に関する情報を用いて、前記誤推論画像から前記リファイン画像を生成する、解析方法。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００：解析装置
１４０：誤推論原因抽出部
１４１：リファイン画像生成部
１４２：マップ生成部
１４３：特定部
３０１：画像リファイナ部
３０２：画像誤差演算部
３０３：推論部
３０４：誤差演算部
３１１：重要特徴マップ生成部
３１２：劣化尺度マップ生成部
３１３：重畳部
３２１：スーパーピクセル分割部
３２２：重要スーパーピクセル決定部
３２３：重要スーパーピクセル評価部
１２１０：分割部
１３２０：領域抽出部
１３３０：合成部

Claims

画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成するマップ生成部と、
前記第３のマップの画素値に基づいて、前記誤推論画像において誤推論の原因となる画像箇所を特定する特定部と、を有し、
前記画像生成部は、前記誤推論画像に複数の推論対象が含まれる場合、該複数の推論対象全ての推論時の正解ラベルのスコアを最大化させた１のリファイン画像を生成する、解析装置。
前記画像生成部は、推論時に算出する、前記誤推論画像に含まれる推論対象に関する情報を用いて前記リファイン画像を生成し、前記推論対象に関する情報として、前記誤推論画像における推論対象の位置及び大きさ、存在確率、推論対象を正しく検出できたか否かを示す評価指標、推論対象が外接矩形に含まれる確率、のいずれかを算出する、請求項１に記載の解析装置。
前記画像生成部は、推論時に算出する前記推論対象に関する情報と、前記誤推論画像に含まれる推論対象に関する正解情報との誤差を用いて、前記誤推論画像から前記リファイン画像を生成する、請求項２に記載の解析装置。
前記マップ生成部は、前記１のリファイン画像に含まれる複数の推論対象それぞれについて、前記第１のマップを生成することで、推論対象の数に応じた数の前記第３のマップを生成する、請求項１に記載の解析装置。
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成し、
前記第３のマップの画素値に基づいて、前記誤推論画像において誤推論の原因となる画像箇所を特定する、処理をコンピュータに実行させるための解析プログラムであって、
前記誤推論画像に複数の推論対象が含まれる場合、該複数の推論対象全ての推論時の正解ラベルのスコアを最大化させた１のリファイン画像を生成する、解析プログラム。
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成し、
前記第３のマップの画素値に基づいて、前記誤推論画像において誤推論の原因となる画像箇所を特定する、処理をコンピュータが実行する解析方法であって、
前記誤推論画像に複数の推論対象が含まれる場合、該複数の推論対象全ての推論時の正解ラベルのスコアを最大化させた１のリファイン画像を生成する、解析方法。