JP6158882B2

JP6158882B2 - 生成装置、生成方法、及び生成プログラム

Info

Publication number: JP6158882B2
Application number: JP2015184742A
Authority: JP
Inventors: 直晃山下
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2015-09-18
Filing date: 2015-09-18
Publication date: 2017-07-05
Anticipated expiration: 2035-09-18
Also published as: JP2017059090A

Description

本発明は、生成装置、生成方法、及び生成プログラムに関する。

従来、ニューラルネットワークによる画像の特徴抽出に関する技術が提供されている。例えば、畳み込みニューラルネットワーク（Convolutional Neural Network）により、画像の顕著性マップを生成する技術が提供されている。

Karen Simonyan, Andrea Vedaldi, Andrew Zisserman, "Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps", International Conference on Machine Learning(ICLR), Apr14-16, 2014, Banff, Canada. Misha Denil, Alban Demiraj, Nando de Freitas, "Extraction of Salient Sentences from Labelled Documents", International Conference on Machine Learning(ICLR), Apr14-16, 2015, San Diego, USA.

しかしながら、上記の従来技術では画像を適切に認識するために用いる情報が生成されるとは限らない。例えば、ニューラルネットワークにおける情報から画像を適切に認識するために用いる情報が生成されるとは限らない。

本願は、上記に鑑みてなされたものであって、ニューラルネットワークにおける情報から画像を適切に認識するために用いる情報を生成する生成装置、生成方法、及び生成プログラムを提供することを目的とする。

本願に係る生成装置は、画像中の所定の対象を認識するニューラルネットワークの中間層における中間画像群から、前記所定の対象の認識率向上に寄与する中間画像を抽出する抽出部と、前記抽出部により抽出された前記中間画像を合成した合成画像を生成する生成部と、を備えたことを特徴とする。

実施形態の一態様によれば、ニューラルネットワークにおける情報から画像を適切に認識するために用いる情報を生成することができるという効果を奏する。

図１は、実施形態に係る生成処理の一例を示す図である。図２は、実施形態に係る生成装置の構成例を示す図である。図３は、実施形態に係る学習情報記憶部の一例を示す図である。図４は、実施形態に係る画像情報記憶部の一例を示す図である。図５は、実施形態に係る中間画像群の取得の一例を示すフローチャートである。図６は、実施形態に係る合成画像の生成の一例を示すフローチャートである。図７は、実施形態に係る画像の加工の一例を示すフローチャートである。図８は、実施形態に係る端末装置における加工画像の表示例を示す図である。図９は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る生成装置、生成方法、及び生成プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法、及び生成プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

（実施形態）
〔１．生成処理〕
まず、図１を用いて、実施形態に係る生成処理の一例について説明する。図１は、実施形態に係る生成処理の一例を示す図である。図１に示す生成装置１００は、画像に含まれる所定の対象を認識し、その所定の対象が含まれる領域に基づいて画像を加工する。具体的には、生成装置１００は、画像に含まれる犬の顔を認識し、画像中の犬の顔が含まれる領域をトリミングする。また、生成装置１００がトリミングにより生成した画像は、例えば所定のコンテンツの画像として配信されるが、詳細は後述する。

図１に示すように、生成装置１００には、画像ＩＭ１１が入力される（ステップＳ１１）。すなわち、生成装置１００は、犬が写った画像ＩＭ１１を取得する。画像ＩＭ１１を取得した生成装置１００は、所定の学習器に画像ＩＭ１１を入力する。

ここで、生成装置１００が用いる学習器について説明する。生成装置１００が用いる学習器は、例えば、入力されたデータに対する演算結果を出力する複数のノードを多層に接続した学習器であって、教師あり学習により抽象化された画像の特徴を学習された学習器である。例えば、学習器は、複数のノードを有する層を多段に接続したニューラルネットワークであり、いわゆるディープラーニングの技術により実現されるＤＮＮ（Deep Neural Network）であってもよい。また、画像の特徴とは、画像に含まれる文字の有無、色、構成等、画像内に現れる具体的な特徴のみならず、撮像されている物体が何であるか、画像がどのような利用者に好かれるか、画像の雰囲気等、抽象化（メタ化）された画像の特徴をも含む概念である。

例えば、学習器は、ディープラーニングの技術により、以下のような学習手法により生成される。例えば、学習器は、各ノードの間の接続係数が初期化され、様々な特徴を有する画像が入力される。そして、学習器は、学習器における出力と、入力した画像との誤差が少なくなるようにパラメータ（接続係数）を補正するバックプロパゲーション（誤差逆伝播法）等の処理により生成される。例えば、学習器は、所定の損失（ロス）関数を最小化するようにバックプロパゲーション等の処理を行うことにより生成される。上述のような処理を繰り返すことで、学習器は、入力された画像をより良く再現できる出力、すなわち入力された画像の特徴を出力することができる。

なお、学習器の学習手法については、上述した手法に限定されるものではなく、任意の公知技術が適用可能である。また、学習器の学習を行う際に用いられる画像は、犬が含まれる画像や犬が含まれない画像等の種々の画像のデータセットを利用してもよい。また、学習器に対する画像の入力方法、学習器が出力するデータの形式、学習器に対して明示的に学習させる特徴の内容等は、任意の手法が適用できる。すなわち、生成装置１００は、画像から抽象化された特徴を示す特徴量を算出できるのであれば、任意の学習器を用いることができる。

図１では、生成装置１００は、入力画像の局所領域の畳み込みとプーリングとを繰り返す、いわゆる畳み込みニューラルネットワーク（Convolutional Neural Network）による学習器ＬＥを用いるものとする。以下では、畳み込みニューラルネットワークをＣＮＮと記載する場合がある。例えば、ＣＮＮによる学習器ＬＥは、画像から特徴を抽出して出力する機能に加え、画像内に含まれる文字や撮像対象等の位置的変異に対し、出力の不変性を有する。このため、学習器ＬＥは、画像の抽象化された特徴を精度良く算出することができる。

具体的には、図１では、生成装置１００は、画像に犬が含まれるかを識別する識別器（モデル）である学習器ＬＥを用いる。すなわち、図１では、生成装置１００は、上述のような所定の学習処理により生成済みの学習器ＬＥを用いるものとする。なお、図１では、生成装置１００が犬を識別する学習器ＬＥを用いる場合を示すが、生成装置１００は、どのような学習器を用いてもよい。例えば、犬や猫等を含む複数の対象のうち、画像にどの対象が含まれるかを識別する学習器を用いてもよい。また、学習器ＬＥを生成する際に用いられた損失関数を損失関数Ｌとして、以下説明する。なお、損失関数Ｌは、学習器ＬＥの認識の精度を示すものであれば、どのような関数であってもよい。

図１では、画像ＩＭ１１を取得した生成装置１００は、学習器ＬＥに画像ＩＭ１１を入力する（ステップＳ１２）。例えば、画像ＩＭ１１が入力された学習器ＬＥは、画像ＩＭ１１に犬が含まれるかを識別する（ステップＳ１３）。図１では、画像ＩＭ１１には犬が含まれるため、学習器ＬＥは、画像ＩＭ１１に犬が写っていることを示す識別情報ＩＲを生成する。なお、ステップＳ１３は、学習器ＬＥの動作を説明するための処理であり、行われなくてもよい。

ここで、学習器ＬＥは、ＣＮＮにより生成された学習器であり、複数の中間層Ａ〜Ｃ等を含む。そこで、生成装置１００は、画像ＩＭ１１を学習器ＬＥに入力した際に所定の中間層における情報（以下、「中間画像」とする）を取得する。図１では、生成装置１００は、画像ＩＭ１１を学習器ＬＥに入力した際に中間層Ｂにおける中間画像を取得する（ステップＳ１４）。具体的には、生成装置１００は、中間画像ＭＭ１１〜ＭＭ１９を含む中間画像群ＭＧ１０を取得する。なお、図１では、中間画像ＭＭ１１〜ＭＭ１９において特徴を示す領域は、色が濃い態様で示す。例えば、中間画像ＭＭ１２は、中央部に特徴を示す領域が含まれることを示す。また、例えば、中間画像ＭＭ１６は、略特徴を示す領域が含まれないことを示す。

そして、生成装置１００は、中間画像群ＭＧ１０から、所定の対象の認識率向上に寄与する中間画像を抽出する（ステップＳ１５）。図１では、生成装置１００は、中間画像群ＭＧ１０から、犬の認識率向上に寄与する中間画像を抽出する。例えば、生成装置１００は、中間画像群ＭＧ１０に含まれる中間画像ＭＭ１１〜ＭＭ１９の各々への加工に応じた犬の認識率の変化に基づいて、中間画像を抽出する。ここでいう中間画像の加工とは、中間画像の輝度を所定の値だけ増加させること等、目的に応じて種々の手段により行われてもよい。また、中間画像の加工とは、実際に中間画像の輝度等を変化させる操作に限らず、下記の式（１）や式（２）等において所定の値を算出するために行う概念的な操作であってもよい。また、加工により犬の認識率の変化を生じさせる中間画像は、犬の認識に影響を持つ中間画像であることが推定される。そのため、生成装置１００は、加工により犬の認識率の変化を生じさせる中間画像を抽出する。なお、図１に示す例では、生成装置１００は、加工により犬の認識率を向上させる中間画像を抽出する。

ここで、生成装置１００は、各中間画像が加工により犬の認識率を向上させるかどうかを損失関数Ｌの変化により判定する。損失関数Ｌの変化は、例えば以下の式（１）により導出される。

ここで、上記式（１）中の「Ｉ」は画像を示し、「ｆ」はどの中間画像かを示し、「ｘ」及び「ｙ」はピクセルのインデックスを示す。以下の記載においては、「ｘ，ｙ」の記載を省略する。すなわち、図１では、「Ｉ^ｆ」には、中間画像ＭＭ１１〜ＭＭ１９のいずれかが対応する。

また、上記式（１）の右辺中の第１項「Ｌ（Ｉ^ｆ＋δ^ｆ）」は、「Ｉ^ｆ」に対応する中間画像ＭＭ１１〜ＭＭ１９のいずれかを加工した場合の損失関数Ｌの値を示す。また、上記式（１）の右辺中の第２項「Ｌ（Ｉ^ｆ）」は、中間画像ＭＭ１１〜ＭＭ１９のいずれにも加工を加えていない場合の損失関数Ｌの値を示す。例えば、「Ｉ^ｆ」を中間画像ＭＭ１１とした場合、上記式（１）の右辺中の第２項「Ｌ（Ｉ^ｆ＋δ^ｆ）」は、中間画像ＭＭ１１を加工した場合の損失関数Ｌの値を示す。すなわち、上記式（１）は、ある中間画像を加工した場合における損失関数Ｌの変化を示す。

例えば、ある中間画像を加工により上記式（１）の左辺の値がマイナス値となった場合、その中間画像は、損失関数Ｌをより小さくする、すなわち、犬の認識率の向上に寄与する中間画像と判定される。そこで、生成装置１００は、加工により上記式（１）の左辺の値がマイナス値となった中間画像を抽出する。図１では、生成装置１００は、中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を抽出する。

そして、生成装置１００は、ステップＳ１５で抽出した中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を合成する（ステップＳ１６）。図１では、生成装置１００は、中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を合成することにより、合成画像ＣＭ１１を生成する。

例えば、生成装置１００は、以下の式（２）を用いて、ステップＳ１５〜ステップＳ１６の処理を行ってもよい。例えば、生成装置１００は、以下の式（２）を用いて、中間画像群ＭＧ１０から中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を抽出しながら、合成画像ＣＭ１１を生成してもよい。

ここで、上記式（２）中の「Ｆ」は中間画像ＭＭ１１〜ＭＭ１９を含む中間画像群ＭＧ１０を示す。また、上記式（２）中の「ＣＩ_ｘ、ｙ」は合成画像を示す。上述の式（２）を用いて、生成装置１００は、合成画像ＣＭ１１を生成する。具体的には、生成装置１００は、以下の式（２）を用いて、中間画像群「Ｆ」から上記式（１）の左辺の値がマイナス値となる中間画像のみを抽出し、抽出した中間画像から合成画像を生成する。図１の例では、生成装置１００は、以下の式（２）を用いて、中間画像群ＭＧ１０から上記式（１）の左辺の値がマイナス値となる中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を抽出し、抽出した中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８から合成画像ＣＭ１１を生成する。すなわち、生成装置１００は、特徴を示す領域ＡＲ１１を含む合成画像ＣＭ１１を生成する。

また、例えば、生成装置１００は、中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を合成する際に、各中間画像の影響度に応じた重み付けを行ってもよい。

例えば、生成装置１００は、以下の式（３）を用いて、中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を合成した合成画像ＣＭ１１を生成してもよい。

ここで、上記式（３）中の「Ｆ」はステップＳ１５において抽出された中間画像を含む中間画像群を示す。また、上記式（３）の右辺中の絶対値により示される値（｜ΔＬ^ｆ｜）が、各中間画像の重みに対応する。また、上記式（３）中の「ＣＩ_ｘ、ｙ」は合成画像を示す。上述の式（３）を用いて、生成装置１００は、ステップＳ１５において抽出された中間画像から合成画像を生成する。図１の例では、上記式（３）中の「Ｆ」は中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を含む中間画像群に対応する。図１の例では、上記式（３）中の「ＣＩ_ｘ、ｙ」は合成画像ＣＭ１１に対応する。すなわち、上述の式（３）を用いて、生成装置１００は、中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８から合成画像ＣＭ１１を生成する。すなわち、生成装置１００は、特徴を示す領域ＡＲ１１を含む合成画像ＣＭ１１を生成する。なお、上記式（３）は、重み付けの一例であって、上記式（１）の左辺の値が小さい程（犬の認識率の向上に寄与度が高い程）、重み付けが重くなるように合成画像ＣＭ１１を生成すれば、どのような重み付けであってもよい。

その後、生成装置１００は、合成画像ＣＭ１１を用いて、画像ＩＭ１１の特徴、すなわち犬の顔を含む領域を特定する（ステップＳ１７）。すなわち、生成装置１００は、画像ＩＭ１１の特徴、すなわち犬の顔を含む領域ＡＲ１１を特定する。

そして、生成装置１００は、画像ＩＭ１１のうち犬の顔を含む領域ＡＲ１１をトリミングする（ステップＳ１８）。これにより、生成装置１００は、犬の顔を含む画像（以下、「加工画像ＩＭ１２」とする場合がある）を生成する。

上述したように、生成装置１００は、ニューラルネットワーク（図１ではＣＮＮ）における情報から画像を適切に認識するために用いる情報を生成する。図１では、生成装置１００は、ＣＮＮの中間層における中間画像群ＭＧ１０から、犬の認識率向上に寄与する中間画像を抽出する。そして、生成装置１００は、抽出した中間画像を合成することにより、合成画像を生成する。すなわち、生成装置１００は、犬の認識率向上に寄与する中間画像のみを用いて合成画像を生成する。したがって、生成装置１００は、犬の特徴領域を精度よく示す合成画像を生成することができる。これにより、生成装置１００は、画像に含まれる犬の顔を認識し、画像中の犬の顔が含まれる領域をトリミングすることができる。

なお、上記例においては、加工により上記式（１）の左辺の値がマイナス値となる中間画像を抽出する場合を示したが、生成装置１００は、加工により上記式（１）の左辺の値がプラス値となる中間画像を抽出してもよい。この場合、抽出された中間画像は、損失関数Ｌをより大きくする、すなわち、犬の認識率に影響を与える中間画像と判定される。そこで、生成装置１００は、加工により上記式（１）の左辺の値がプラス値となった中間画像を抽出して、合成画像を生成してもよい。

また、生成装置１００は、加工により上記式（１）の左辺の値が所定の負の閾値以下のマイナス値となる中間画像と所定の正の閾値以上のプラス値となる中間画像との両方を抽出してもよい。すなわち、生成装置１００は、加工により上記式（１）の左辺の値に基づく変化量が所定の範囲外となる中間画像を抽出する。すなわち、生成装置１００は、加工により上記式（１）の左辺の値に基づく変化量が所定の範囲内となる、すなわち犬の認識率に与える影響が小さい中間画像以外の中間画像を抽出する。これにより、生成装置１００は、犬の認識率に与える影響が大きい中間画像を抽出する。また、この場合、生成装置１００は、所定の正規化を行うことにより、負の閾値以下のマイナス値となる中間画像と所定の正の閾値以上のプラス値となる中間画像との両方から合成画像を生成してもよい。

〔２．生成装置の構成〕
次に、図２を用いて、実施形態に係る生成装置１００の構成について説明する。図２は、実施形態に係る生成装置１００の構成例を示す図である。図２に示すように、生成装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、生成装置１００は、生成装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、端末装置１０との間で情報の送受信を行う。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図２に示すように、学習情報記憶部１２１と、画像情報記憶部１２２とを有する。

（学習情報記憶部１２１）
実施形態に係る学習情報記憶部１２１は、学習に関する各種情報を記憶する。例えば、図３では、学習情報記憶部１２１は、所定の学習処理により生成された学習器ＬＥに関する学習情報（モデル）を記憶する。図３に、実施形態に係る学習情報記憶部１２１の一例を示す。図３に示す学習情報記憶部１２１は、「重み（ｗ_ｉｊ）」を記憶する。

例えば、図３に示す例において、「重み（ｗ_１１）」は「０．２」であり、「重み（ｗ_１２）」は「−０．３」であることを示す。また、図３に示す例において、「重み（ｗ_２１）」は「０．５」であり、「重み（ｗ_２２）」は「１．３」であることを示す。

なお、「重み（ｗ_ｉｊ）」は、例えば、学習器ＬＥにおけるニューロンｙ_ｉからニューロンｘ_ｊへのシナプス結合係数であってもよい。また、学習情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

（画像情報記憶部１２２）
実施形態に係る画像情報記憶部１２２は、画像に関する各種情報を記憶する。図４に、実施形態に係る画像情報記憶部１２２の一例を示す。図４に示す画像情報記憶部１２２は、「画像ＩＤ」、「画像」といった項目を有する。

「画像ＩＤ」は、画像を識別するための識別情報を示す。「画像」は、画像情報を示す。具体的には、「画像」は、トリミングにより生成した画像を示す。図４では、説明のため画像ＩＤにより識別される画像を図示するが、「画像」としては、画像の格納場所を示すファイルパス名などが格納されてもよい。

例えば、図４に示す例において、画像ＩＤ「ＩＭ１２」により識別される画像は、対象「犬」を含む画像であることを示す。なお、画像情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、画像情報記憶部１２２は、画像を生成した日時に関する情報を記憶してもよい。また、例えば、画像情報記憶部１２２は、画像に含まれる対象に関する情報を記憶してもよい。図４では、画像ＩＤ「ＩＭ１２」により識別される画像には、犬が含まれることを示す情報を記憶してもよい。また、例えば、画像情報記憶部１２２は、取得した元となる画像を記憶してもよい。

（制御部１３０）
図２の説明に戻って、制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、生成装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図２に示すように、制御部１３０は、取得部１３１と、抽出部１３２と、生成部１３３と、加工部１３４と、送信部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。

（取得部１３１）
取得部１３１は、画像を取得する。例えば、取得部１３１は、外部の情報処理装置から画像を取得する。図１では、取得部１３１は、外部の情報処理装置から画像ＩＭ１１を取得する。なお、画像情報記憶部１２２に元となる画像（例えば、画像ＩＭ１１）が記憶される場合、取得部１３１は、画像情報記憶部１２２から画像（例えば、画像ＩＭ１１）を取得してもよい。

（抽出部１３２）
抽出部１３２は、画像中の所定の対象を認識するニューラルネットワークの中間層における中間画像群から、所定の対象の認識率向上に寄与する中間画像を抽出する。例えば、抽出部１３２は、画像に含まれる犬を認識するニューラルネットワークの中間層における中間画像群から、犬の認識率向上に寄与する中間画像を抽出する。また、例えば、抽出部１３２は、畳み込み処理及びプーリング処理を行うニューラルネットワークの中間層における中間画像群から、所定の対象の認識率向上に寄与する中間画像を抽出する。例えば、抽出部１３２は、ＣＮＮの中間層における中間画像群から、所定の対象の認識率向上に寄与する中間画像を抽出する。

また、例えば、抽出部１３２は、中間画像群に含まれる中間画像の各々への加工に応じた所定の対象の認識率の変化に基づいて、中間画像を抽出する。例えば、抽出部１３２は、加工により所定の対象の認識率を向上させる中間画像を抽出する。例えば、抽出部１３２は、加工により上記式（１）の左辺の値がマイナス値となった中間画像を抽出する。図１では、抽出部１３２は、ＣＮＮの中間層における中間画像群ＭＧ１０から、犬の認識率向上に寄与する中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を抽出する。

（生成部１３３）
生成部１３３は、抽出部１３２により抽出された中間画像を合成した合成画像を生成する。例えば、生成部１３３は、加工による所定の対象の認識率の変化に応じて重み付けした中間画像を合成した合成画像を生成する。例えば、生成部１３３は、上記式（２）を用いて、加工による所定の対象の認識率の変化に応じて重み付けした中間画像を合成した合成画像を生成する。図１では、生成部１３３は、中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を合成した合成画像ＣＭ１１を生成する。

（加工部１３４）
加工部１３４は、合成画像に基づいて、画像から所定の対象が含まれる領域の画像を取り出す。例えば、加工部１３４は、合成画像に基づいて、画像から犬の顔が含まれる領域の画像を取り出す。図１では、加工部１３４は、合成画像ＣＭ１１を用いて特定された画像ＩＭ１１の特徴、すなわち犬の顔を含む領域ＡＲ１１をトリミングする。例えば、加工部１３４は、画像ＩＭ１１のうち犬の顔を含む領域ＡＲ１１をトリミングする。これにより、加工部１３４は、犬の顔を含む加工画像ＩＭ１２を生成する。

（送信部１３５）
送信部１３５は、外部の情報処理装置へ各種情報を送信する。例えば、送信部１３５は、加工部１３４により生成された画像を外部の情報処理装置へ送信する。図１では、送信部１３５は、加工画像ＩＭ１２を配信する。また、送信部１３５は、生成装置１００がコンテンツを配信する場合、コンテンツを要求した端末装置へ加工画像ＩＭ１２を含むコンテンツを送信してもよい。

〔３．中間画像の取得処理のフロー〕
ここで、図５を用いて、実施形態に係る生成装置１００による中間画像の取得処理の手順について説明する。図５は、実施形態に係る中間画像群の取得の一例を示すフローチャートである。

図５に示すように、生成装置１００は、画像を取得する（ステップＳ１０１）。図１では、生成装置１００は、画像ＩＭ１１を取得する。その後、生成装置１００は、ステップＳ１０１で取得した画像を学習器に入力する（ステップＳ１０２）。図１では、生成装置１００は、取得した画像ＩＭ１１を学習器ＬＥに入力する。

その後、生成装置１００は、入力した画像における中間層から中間画像群を取得する（ステップＳ１０３）。図１では、生成装置１００は、画像ＩＭ１１を学習器ＬＥに入力した際に中間層Ｂにおける中間画像群ＭＧ１０を取得する。例えば、生成装置１００は、画像ＩＭ１１を学習器ＬＥに入力した際に中間層Ｂにおける中間画像ＭＭ１１〜ＭＭ１９を取得する。

〔４．合成画像の生成処理のフロー〕
次に、図６を用いて、実施形態に係る生成装置１００による合成画像の生成処理の手順について説明する。図６は、実施形態に係る合成画像の生成の一例を示すフローチャートである。

図６に示すように、生成装置１００は、変数ｎを１に設定する（ステップＳ２０１）。その後、生成装置１００は、中間画像群ＭＧ１０からｎ番目の中間画像を選択する（ステップＳ２０２）。例えば、図１の場合、生成装置１００は、中間画像群ＭＧ１０から、ｎに応じて中間画像ＭＭ１１〜ＭＭ１９のいずれかを選択する。例えば、図１の場合、生成装置１００は、中間画像群ＭＧ１０から１番目（ｎ＝１）の中間画像ＭＧ１１を選択する。

そして、生成装置１００は、選択した中間画像を加工する（ステップＳ２０３）。例えば、生成装置１００は、選択した中間画像の輝度を所定の値だけ増加させる。図１では、生成装置１００は、選択した中間画像ＭＭ１１の輝度を所定の値だけ増加させる。

その後、生成装置１００は、選択した中間画像への加工により認識率が向上したかを判定する（ステップＳ２０４）。例えば、生成装置１００は、選択した中間画像を加工により上記式（１）の左辺の値がマイナス値となった場合、選択した中間画像は、損失関数Ｌをより小さくする、すなわち、犬の認識率の向上に寄与する中間画像と判定する。

生成装置１００は、選択した中間画像への加工により認識率が向上したと判定した場合（ステップＳ２０４：Ｙｅｓ）、選択した中間画像を抽出する（ステップＳ２０５）。図１では、例えば、生成装置１００は、選択した中間画像ＭＭ１２への加工により認識率が向上したと判定した場合、中間画像ＭＭ１２を抽出画像群ＭＧ１１として抽出する。その後、ステップＳ２０６以降の処理を行う。

一方、生成装置１００は、選択した中間画像への加工により認識率が向上しないと判定した場合（ステップＳ２０４：Ｎｏ）、その中間画像を抽出することなく、ステップＳ２０６以降の処理を行う。図１では、例えば、生成装置１００は、選択した中間画像ＭＭ１１への加工により認識率が向上しないと判定した場合、中間画像ＭＭ１１を抽出画像群ＭＧ１１として抽出することなく、ステップＳ２０６以降の処理を行う。

その後、生成装置１００は、中間画像群の全中間画像が選択済みかどうかを判定する（ステップＳ２０６）。中間画像群の全中間画像が選択済みでない場合（ステップＳ２０６：Ｎｏ）、生成装置１００は、変数ｎを１加算する（ステップＳ２０７）。その後、生成装置１００は、ステップＳ２０２に戻り処理を繰り返す。

一方、中間画像群の全中間画像が選択済みである場合（ステップＳ２０６：Ｙｅｓ）、生成装置１００は、抽出した中間画像の合成により、合成画像を生成する（ステップＳ２０８）。図１では、生成装置１００は、抽出画像群ＭＧ１１に含まれる中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を合成することにより、合成画像ＣＭ１１を生成する。例えば、生成装置１００は、上記式（２）を用いて、中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を合成した合成画像ＣＭ１１を生成してもよい。

〔５．合成画像を用いた画像加工処理のフロー〕
次に、図７を用いて、実施形態に係る生成装置１００による合成画像を用いた画像の加工処理の手順について説明する。図７は、実施形態に係る画像の加工の一例を示すフローチャートである。

図７に示すように、生成装置１００は、画像を取得する（ステップＳ３０１）。図１では、生成装置１００は、画像ＩＭ１１を取得する。例えば、生成装置１００は、画像情報記憶部１２２から画像ＩＭ１１を取得してもよい。その後、生成装置１００は、ステップＳ３０１で取得した画像に対応する合成画像を取得する（ステップＳ３０２）。図１では、生成装置１００は、学習器ＬＥから抽出した中間画像ＭＭ１２、ＭＭ１４、ＭＭ１７、ＭＭ１８を合成した合成画像ＣＭ１１を取得する。

その後、生成装置１００は、合成画像に基づいて画像中の特徴領域を特定する（ステップＳ３０３）。図１では、生成装置１００は、合成画像ＣＭ１１を用いて、画像ＩＭ１１の特徴、すなわち犬の顔を含む領域を特定する。すなわち、生成装置１００は、画像ＩＭ１１の特徴、すなわち犬の顔を含む領域ＡＲ１１を特定する。

その後、生成装置１００は、特定した特徴領域に基づいて画像を加工する（ステップＳ３０４）。図１では、生成装置１００は、画像ＩＭ１１のうち犬の顔を含む領域ＡＲ１１をトリミングする。これにより、生成装置１００は、犬の顔を含む加工画像ＩＭ１２を生成する。

〔６．画像の表示例〕
次に、図８を用いて、生成装置１００により生成された加工画像ＩＭ１２の表示例を示す。図８は、実施形態に係る端末装置における加工画像の表示例を示す図である。

図８に示す端末装置１０には、所定のコンテンツ配信装置から配信されたコンテンツＣＴ１１〜ＣＴ１４が表示される。なお、生成装置１００がコンテンツを配信する場合、コンテンツＣＴ１１〜ＣＴ１４は生成装置１００から端末装置１０へ送信されてもよい。

図８に示す例においては、コンテンツＣＴ１４の画像には加工画像ＩＭ１２が用いられる。このように、加工画像ＩＭ１２は、端末装置１０においてスクロール方向に並べて表示されるコンテンツの画像として用いられてもよい。

〔７．効果〕
上述してきたように、実施形態に係る生成装置１００は、抽出部１３２と、生成部１３３とを有する。抽出部１３２は、画像中の所定の対象を認識するニューラルネットワークの中間層における中間画像群から、所定の対象の認識率向上に寄与する中間画像を抽出する。生成部１３３は、抽出部１３２により抽出された中間画像を合成した合成画像を生成する。

これにより、実施形態に係る生成装置１００は、ニューラルネットワークの中間層における中間画像群から、所定の対象の認識率向上に寄与する中間画像を抽出する。そして、生成装置１００は、抽出した中間画像を合成することにより、合成画像を生成する。すなわち、生成装置１００は、所定の対象の認識率向上に寄与する中間画像を用いて適切に合成画像を生成する。このように、生成装置１００は、ニューラルネットワークにおける情報から画像を適切に認識するために用いる情報を生成することができる。

また、実施形態に係る生成装置１００において、抽出部１３２は、中間画像群に含まれる中間画像の各々への加工に応じた所定の対象の認識率の変化に基づいて、中間画像を抽出する。

これにより、実施形態に係る生成装置１００は、ニューラルネットワークの中間層における中間画像群から、加工に応じた所定の対象の認識率の変化に基づいて中間画像を抽出する。したがって、生成装置１００は、所定の対象の認識率向上に寄与する中間画像を用いて適切に合成画像を生成することができる。

また、実施形態に係る生成装置１００において、抽出部１３２は、加工により所定の対象の認識率を向上させる中間画像を抽出する。

これにより、実施形態に係る生成装置１００は、ニューラルネットワークの中間層における中間画像群から、加工により所定の対象の認識率を向上させる中間画像を抽出する。したがって、生成装置１００は、所定の対象の認識率向上に寄与する中間画像を用いて適切に合成画像を生成することができる。

また、実施形態に係る生成装置１００において、生成部１３３は、加工による所定の対象の認識率の変化に応じて重み付けした中間画像を合成した合成画像を生成する。

これにより、実施形態に係る生成装置１００は、加工による所定の対象の認識率の変化に応じて重み付けすることにより、ニューラルネットワークの中間層における中間画像を用いて適切に合成画像を生成することができる。

また、実施形態に係る生成装置１００は、加工部１３４を有する。加工部１３４は、生成部１３３により生成された合成画像に基づいて、画像を加工する。

これにより、実施形態に係る生成装置１００は、画像に含まれる対象を含む特徴領域を示す合成画像に基づいて、適切に画像を加工することができる。

また、実施形態に係る生成装置１００において、加工部１３４は、合成画像に基づいて、画像から所定の対象が含まれる領域の画像を取り出す。

これにより、実施形態に係る生成装置１００は、画像に含まれる対象を含む特徴領域を示す合成画像に基づいて、画像中の対象が含まれる領域を適切に取り出す（トリミングする）ことができる。

また、実施形態に係る生成装置１００において、抽出部１３２は、畳み込み処理及びプーリング処理を行うニューラルネットワークの中間層における中間画像群から、所定の対象の認識率向上に寄与する中間画像を抽出する。

これにより、実施形態に係る生成装置１００は、畳み込みニューラルネットワーク（ＣＮＮ）の中間層における中間画像群から、加工により所定の対象の認識率を向上させる中間画像を抽出する。したがって、生成装置１００は、所定の対象の認識率向上に寄与する中間画像を用いて適切に合成画像を生成することができる。

〔８．ハードウェア構成〕
上述してきた実施形態に係る生成装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る生成装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

以上、本願の実施形態を図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔９．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１００生成装置
１２１学習情報記憶部
１２２画像情報記憶部
１３０制御部
１３１取得部
１３２抽出部
１３３生成部
１３４加工部
１３５送信部

Claims

画像中の所定の対象を認識するニューラルネットワークの中間層における中間画像群から、前記中間画像群に含まれる中間画像の各々への加工に応じた前記所定の対象の認識率の変化に基づいて、前記所定の対象の認識率向上に寄与する中間画像を抽出する抽出部と、
前記抽出部により抽出された前記中間画像を合成した合成画像を生成する生成部と、
を備えることを特徴とする生成装置。
前記抽出部は、
前記加工により前記所定の対象の認識率を向上させる前記中間画像を抽出する
ことを特徴とする請求項１に記載の生成装置。
前記生成部は、
前記加工による前記所定の対象の認識率の変化に応じて重み付けした前記中間画像を合成した合成画像を生成する
ことを特徴とする請求項１または請求項２に記載の生成装置。
前記生成部により生成された前記合成画像に基づいて、前記画像を加工する加工部、
をさらに備えることを特徴とする請求項１〜３のいずれか１項に記載の生成装置。
前記加工部は、
前記合成画像に基づいて、前記画像から前記所定の対象が含まれる領域の画像を取り出す
ことを特徴とする請求項４に記載の生成装置。
前記抽出部は、
畳み込み処理及びプーリング処理を行うニューラルネットワークの中間層における中間画像群から、前記所定の対象の認識率向上に寄与する中間画像を抽出する
ことを特徴とする請求項１〜５のいずれか１項に記載の生成装置。
コンピュータが実行する生成方法であって、
画像中の所定の対象を認識するニューラルネットワークの中間層における中間画像群から、前記中間画像群に含まれる中間画像の各々への加工に応じた前記所定の対象の認識率の変化に基づいて、前記所定の対象の認識率向上に寄与する中間画像を抽出する抽出工程と、
前記抽出工程により抽出された前記中間画像を合成した合成画像を生成する生成工程と、
を含むことを特徴とする生成方法。
画像中の所定の対象を認識するニューラルネットワークの中間層における中間画像群から、前記中間画像群に含まれる中間画像の各々への加工に応じた前記所定の対象の認識率の変化に基づいて、前記所定の対象の認識率向上に寄与する中間画像を抽出する抽出手順と、
前記抽出手順により抽出された前記中間画像を合成した合成画像を生成する生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。