JP6573233B2

JP6573233B2 - 認識容易性指標算出装置、方法、及びプログラム

Info

Publication number: JP6573233B2
Application number: JP2016141829A
Authority: JP
Inventors: 数藤　恭子; 恭子数藤; 和彦村崎; 崇之梅田; 光太山口; 岡谷　貴之; 貴之岡谷
Original assignee: Tohoku University NUC; Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: Tohoku University NUC; NTT Inc; NTT Inc USA
Priority date: 2016-07-19
Filing date: 2016-07-19
Publication date: 2019-09-11
Anticipated expiration: 2036-07-19
Also published as: JP2018013886A

Description

本発明は、認識容易性指標算出装置、方法、及びプログラムに関する。

信頼度の低いタグが付与された大量の画像データの例として、ソーシャルネットワークサービス（ＳＮＳ）に各ユーザがタグ付きで投稿する画像データ等がある。サービスユーザが自由に付与したタグは非常に多様であり、そうしたタグ付きの画像はコンピュータによる画像認識のための教師データとして有用でありながら、どのようなタグが真に有用かを整理することが課題となる。

例えば、非特許文献１の従来技術では、ウェブから収集したタグ付きの画像データセットから、画像特徴が高い相関をもつ画像のタグ同士は意味的に近いとみなし、それらのタグをもつ画像群を利用してタグ識別器を更新する。

Chen, X., Shrivastava, A., Gupta, A., "Neil: Extracting visual knowledge from web data.", In: ICCV. (Dec 2013) p.1409-1416

上記の非特許文献１の技術では、タグの有無と画像特徴の近さとに着目し、それによって信頼度の低いタグが付けられた大量の画像データの認識を容易にしているが、タグの視覚的な認識容易性の指標を抽出していないため、画像に付与されたタグが有用であるか否かを判別することができず、認識が容易なタグを特定することができない。

本発明は、上記問題点を解決するために成されたものであり、認識が容易なタグを特定することができる認識容易性指標算出装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る認識容易性指標算出装置は、画像に含まれる特定の物体を表すタグが付与された画像の集合であるポジティブセット及び前記タグが付与されていない画像の集合であるネガティブセットに基づいて、前記画像から得られる複数の画像特徴の各々に対し、前記ポジティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムとを生成する画像特徴生成部と、前記画像特徴生成部によって生成された、複数の前記画像特徴の各々についての、前記ポジティブセットの前記ヒストグラムと前記ネガティブセットの前記ヒストグラムとの間の距離を計算する画像特徴分布比較部と、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記画像特徴を画像特徴記述子として選択する特徴記述子選択部と、前記ポジティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子、及び前記ネガティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子に基づいて、前記画像特徴記述子から前記画像に前記特定の物体が含まれているか否かを識別するための識別器を学習する学習部と、前記ポジティブセットに含まれる画像から得られる前記画像特徴記述子と、前記ネガティブセットに含まれる画像から得られた前記画像特徴記述子と、前記学習部によって得られた前記識別器とに基づいて、前記ポジティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ポジティブセットの画像に対して前記特定の物体が含まれている度合いを表す第１の信頼度が、予め定められた第１の値以上である前記ポジティブセットの画像を高信頼データとして取得し、前記ネガティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ネガティブセットの画像に対して前記特定の物体が含まれていない度合いを表す第２の信頼度が、予め定められた第２の値以上である前記ネガティブセットの画像を前記高信頼データとして取得する信頼度算出部と、前記信頼度算出部によって得られた前記高信頼データに含まれる画像から得られる複数の前記画像特徴に基づいて、前記学習部によって得られた前記識別器を更新し認識容易性評価用識別器として得る認識容易性評価用識別学習部と、前記ポジティブセットの各画像と、前記ネガティブセットの各画像と、前記認識容易性評価用識別学習部によって得られた前記認識容易性評価用識別器とに基づいて、前記ポジティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていると識別される割合を表す第１の正解率と、前記ネガティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、前記第１の正解率と前記第２の正解率との比を、前記タグの認識容易性指標として算出する正解率算出部と、を含んで構成されている。

本発明に係る認識容易性指標算出方法は、画像特徴生成部が、画像に含まれる特定の物体を表すタグが付与された画像の集合であるポジティブセット及び前記タグが付与されていない画像の集合であるネガティブセットに基づいて、前記画像から得られる複数の画像特徴の各々に対し、前記ポジティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムとを生成するステップと、画像特徴分布比較部が、前記画像特徴生成部によって生成された、複数の前記画像特徴の各々についての、前記ポジティブセットの前記ヒストグラムと前記ネガティブセットの前記ヒストグラムとの間の距離を計算するステップと、特徴記述子選択部が、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記画像特徴を画像特徴記述子として選択するステップと、学習部が、前記ポジティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子、及び前記ネガティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子に基づいて、前記画像特徴記述子から前記画像に前記特定の物体が含まれているか否かを識別するための識別器を学習するステップと、信頼度算出部が、前記ポジティブセットに含まれる画像から得られる前記画像特徴記述子と、前記ネガティブセットに含まれる画像から得られた前記画像特徴記述子と、前記学習部によって得られた前記識別器とに基づいて、前記ポジティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ポジティブセットの画像に対して前記特定の物体が含まれている度合いを表す第１の信頼度が、予め定められた第１の値以上である前記ポジティブセットの画像を高信頼データとして取得し、前記ネガティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ネガティブセットの画像に対して前記特定の物体が含まれていない度合いを表す第２の信頼度が、予め定められた第２の値以上である前記ネガティブセットの画像を前記高信頼データとして取得するステップと、認識容易性評価用識別学習部が、前記信頼度算出部によって得られた前記高信頼データに含まれる画像から得られる複数の前記画像特徴に基づいて、前記学習部によって得られた前記識別器を更新し認識容易性評価用識別器として得るステップと、正解率算出部が、前記ポジティブセットの各画像と、前記ネガティブセットの各画像と、前記認識容易性評価用識別学習部によって得られた前記認識容易性評価用識別器とに基づいて、前記ポジティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていると識別される割合を表す第１の正解率と、前記ネガティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、前記第１の正解率と前記第２の正解率との比を、前記タグの認識容易性指標として算出するステップと、を含んで実行することを特徴とする。

また、本発明の前記画像特徴生成部は、前記ポジティブセット及び前記ネガティブセットと、予め学習されたニューラルネットワークとに基づいて、前記ポジティブセットに含まれる画像の各々及び前記ネガティブセットに含まれる画像の各々を前記ニューラルネットワークへ入力し、前記画像から得られる複数の画像特徴の各々としての前記ニューラルネットワークの各ユニットの出力に対し、前記ポジティブセットに含まれる画像の各々についての前記ユニットの出力の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記ユニットの出力の分布を表すヒストグラムとを生成し、前記特徴記述子選択部は、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記ユニットの出力を画像特徴記述子として選択するようにしてもよい。

また、前記ニューラルネットワークにはＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を用いるようにしてもよい。

本発明に係るプログラムは、コンピュータを、上記の認識容易性指標算出装置の各部として機能させるためのプログラムである。

本発明の映像パターン学習装置、方法、及びプログラムによれば、画像から得られる複数の画像特徴の各々に対し、ポジティブセットに含まれる画像の各々についての画像特徴の分布を表すヒストグラムと、ネガティブセットに含まれる画像の各々についての画像特徴の分布を表すヒストグラムとの間の距離を計算し、計算された距離について上位Ｎ個の画像特徴を画像特徴記述子として選択し、ポジティブセットに含まれる画像から得られる画像特徴記述子、及びネガティブセットに含まれる画像から得られる画像特徴記述子に基づいて、画像に対しタグが表す特定の物体が含まれているか否かを識別するための識別器を学習し、識別器の出力に応じて高信頼データとして取得し、高信頼データに含まれる画像から得られる複数の画像特徴に基づいて、識別器を更新し認識容易性評価用識別器として取得し、ポジティブセットの各画像を認識容易性評価用識別器に入力した場合に、画像に対してタグが表す特定の物体が含まれていると識別される割合を表す第１の正解率と、ネガティブセットの各画像を認識容易性評価用識別器に入力した場合に、画像に対してタグが表す特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、第１の正解率と第２の正解率との比を、タグの認識容易性指標として算出することにより、認識が容易なタグを特定することができる、という効果が得られる。

本発明の実施の形態に係る認識容易性指標算出装置の構成を示すブロック図である。本発明の実施の形態に係る認識容易性指標算出装置の高信頼データ生成部の一構成例を示す図である。本発明の実施の形態に係る認識容易性指標算出装置の認識容易性指標算出部の一構成例を示す図である。本発明の実施の形態に係る認識容易性指標算出装置における認識容易性指標算出処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

本発明の実施の形態では、信頼度の低いタグが付与された大量の画像データから、視覚的に認識が容易なタグを選択する技術に関する。具体的には、信頼度の低いタグが付与された大量の画像データに対し、画像データから得られる画像特徴とタグとの関係性に基づいて、視覚的に認識が容易なタグを選択する。

本発明の実施の形態では、タグの有無による画像特徴の分布の変化を用いてタグの認識容易性を評価する。具体的には、何らかの局所的な画像特徴記述子を画像集合に適用し、あるタグが付与された画像集合から得られる画像特徴の分布と、タグが付与されていない画像集合から得られる画像特徴の分布との間の距離を算出し、最も距離が離れているものから認識容易なタグであるとして選出する。

このとき、画像特徴記述子を複数用意することで、分布間の距離の大きいタグと同時に分布間の距離の大きな画像特徴記述子を得ることができる。これは、視覚的な認識において有用な画像特徴記述子であると見ることができる。

＜本発明の実施の形態に係る認識容易性指標算出装置の構成＞

次に、本発明の実施の形態に係る認識容易性指標算出装置の構成について説明する。図１に示すように、本発明の実施の形態に係る認識容易性指標算出装置１００は、ＣＰＵと、ＲＡＭと、後述する認識容易性指標算出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この認識容易性指標算出装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部４０とを備えている。

入力部１０は、低信頼タグ付き画像集合Ｄを受け付ける。タグは、画像に特定の物体が含まれていることを表す。低信頼タグ付き画像集合Ｄには、タグｕ毎に、タグｕが付与された画像の集合であるポジティブセットＤ_ｕ ^＋と、タグｕが付与されていない画像の集合であるネガティブセットＤ_ｕ ⁻とが含まれている。

本実施の形態では、低信頼タグ付き画像集合Ｄとして、ＳＮＳに投稿されたファッションコーディネート画像と関連するタグとのセットを想定する。本実施の形態で想定するファッションコーディネート画像とタグのセットとを含む画像集合のような低信頼タグ付き画像集合Ｄでは、信頼度の低いタグ付けがなされている。例えば、ポジティブセットＤ_ｕ ^＋には、実際にはタグｕが含まれていない画像が存在する場合や、ネガティブセットＤ_ｕ ⁻には、実際にはタグｕが含まれる画像が存在する場合があり得る。

演算部２０は、画像集合データベース２２と、高信頼データ生成部２４と、認識容易性指標算出部２６とを備えている。

画像集合データベース２２は、入力部１０によって受け付けた、各タグｕのポジティブセットＤ_ｕ ^＋とネガティブセットＤ_ｕ ⁻とを含む低信頼タグ付き画像集合Ｄが格納される。

高信頼データ生成部２４は、画像集合データベース２２に格納された、ポジティブセットＤ_ｕ ^＋とネガティブセットＤ_ｕ ⁻とを入力として高信頼データを生成する。そして、高信頼データ生成部２４は、ポジティブセットＤ_ｕ ^＋とネガティブセットＤ_ｕ ⁻とから、高信頼データとしてポジティブセットＤ_ｕC ^＋とネガティブセットＤ_ｕC ⁻とを抽出する。高信頼データ生成部２４は、図２に示すように、画像特徴生成部２４０と、画像特徴分布比較部２４２と、特徴記述子選択部２４４と、学習部２４６と、信頼度算出部２４８とを備えている。

画像特徴生成部２４０は、タグｕ毎に、画像集合データベース２２に格納されているポジティブセットＤ_ｕ ^＋及びネガティブセットＤ_ｕ ⁻と、予め学習されたニューラルネットワークとに基づいて、ポジティブセットＤ_ｕ ^＋及びネガティブセットＤ_ｕ ⁻に含まれる全ての画像に対し、画像特徴を生成する。

具体的には、まず、画像特徴生成部２４０は、画像集合データベース２２に格納されたポジティブセットＤ_ｕ ^＋に含まれる画像の各々及びネガティブセットＤ_ｕ ⁻に含まれる画像の各々を、予め学習されたニューラルネットワークへ入力する。

本実施の形態では、画像から得られる各画像特徴として、予め学習されたニューラルネットワークの各ユニットの出力を用いる場合を例に説明する。また、予め学習されたニューラルネットワークとして、Convolutional Neural Network（ＣＮＮ）を用いる場合を例に説明する。ＣＮＮは局所的な画像特徴記述子としてみなすことができる。ＣＮＮは内部に多数のフィルタを保持しており、それぞれのフィルタの出力を異なる特徴記述子として用いることができる。なお、本実施の形態では、ＣＮＮのフィルタは物体認識のための画像データセットなどを用いて事前に学習されたものを用いる。以下では、ＣＮＮの各層において用いられるフィルタをユニットと呼ぶ。

次に、画像特徴生成部２４０は、画像から得られる各画像特徴としてのニューラルネットワークの各ユニットｉの出力に対し、ポジティブセットＤ_ｕ ^＋に含まれる画像の各々についての当該ユニットｉの出力の分布を表すヒストグラムＰ_ｉ ^＋と、ネガティブセットＤ_ｕ ⁻に含まれる画像の各々についての当該ユニットｉの出力の分布を表すヒストグラムＰ_ｉ ⁻とを生成する。

画像特徴分布比較部２４２は、タグｕ毎に、複数のユニットｉの各々について、画像特徴生成部２４０によって生成されたポジティブセットＤ_ｕ ^＋のヒストグラムＰ_ｉ ^＋とネガティブセットＤ_ｕ ⁻のヒストグラムＰ_ｉ ⁻との間の距離を計算する。

本実施の形態では、ヒストグラムＰ_ｉ ^＋とヒストグラムＰ_ｉ ⁻と間の距離として、カルバック・ライブラー距離（以下、ＫＬ距離と称する）を用いる場合を例に説明する。

画像集合データベース２２に格納された低信頼タグ付き画像集合Ｄから得られる、タグｕに対する、ポジティブセットＤ_ｕ ^＋とネガティブセットＤ_ｕ ⁻との間のＫＬ距離Ｓ_ｉ（ｕ│Ｄ）は、ヒストグラムの各ｂｉｎをｘとして以下の式（１）に示すように求められる。なお、ｘは各ユニットから出力される値を表す。

例えば、ｕが視覚的に認識容易でないタグである場合、ポジティブセットＤ_ｕ ^＋の画像特徴の分布はランダムに近くなり、ポジティブセットＤ_ｕ ^＋の画像特徴の分布とネガティブセットＤ_ｕ ⁻の画像特徴の分布との差は小さくなる。一方、ｕが視覚的に認識容易なタグである場合、ポジティブセットＤ_ｕ ^＋の画像特徴の分布とネガティブセットＤ_ｕ ⁻の画像特徴の分布との差が大きくなる。

そのため、例えば「赤」「白」といった色の名前のタグや、「ボーダー」「花柄」といったテクスチャのタグの場合、ＫＬ距離Ｓ_ｉ（ｕ│Ｄ）の値は大きくなる。

そして、画像特徴分布比較部２４２は、複数のユニットの各々についての、ＫＬ距離Ｓ_ｉ（ｕ│Ｄ）を出力する。

特徴記述子選択部２４４は、タグｕ毎に、画像特徴分布比較部２４２によって計算された距離について上位Ｎ個のユニットの出力を画像特徴記述子として選択する。

具体的には、特徴記述子選択部２４４は、画像特徴分布比較部２４２によって計算されたＫＬ距離Ｓ_ｉ（ｕ│Ｄ）を入力として、ＫＬ距離Ｓ_ｉ（ｕ│Ｄ）の値が大きい方からＮ個のユニットの出力を画像特徴記述子として選択し、選択されたＫＬ距離Ｓ_ｉ（ｕ│Ｄ）の上位Ｎ個の集合をθ_ｕとする。

学習部２４６は、タグｕ毎に、ポジティブセットＤ_ｕ ^＋に含まれる画像から得られる、特徴記述子選択部２４４によって選択された画像特徴記述子、及びネガティブセットＤ_ｕ ⁻に含まれる画像から得られる、特徴記述子選択部２４４によって選択された画像特徴記述子に基づいて、画像特徴記述子から、画像に、タグｕが表す特定の物体が含まれているか否かを識別するための識別器ｆを学習する。

具体的には、学習部２４６は、特徴記述子選択部２４４で選択された各ユニットの出力ｙ_ｉ（ｕ│Ｄ），ｉ∈θ_ｕを画像特徴記述子として、ポジティブセットＤ_ｕ ^＋とネガティブセットＤ_ｕ ⁻に対し、初期の２クラスの識別器ｆを生成する。２クラスの識別器ｆの生成には、例えばナイーブベイズ識別器、ロジスティック回帰、ＳＶＭ等を用いることができる。

信頼度算出部２４８は、タグｕ毎に、ポジティブセットＤ_ｕ ^＋に含まれる画像から得られる画像特徴記述子と、ネガティブセットＤ_ｕ ⁻に含まれる画像から得られた画像特徴記述子と、学習部２４６によって得られた識別器ｆとに基づいて、高信頼データとしてポジティブセットＤ_ｕC ^＋とネガティブセットＤ_ｕC ⁻とを取得する。

具体的には、信頼度算出部２４８は、ポジティブセットＤ_ｕ ^＋及びネガティブセットＤ_ｕ ⁻に対し、学習部２４６によって得られた識別器ｆを用いた識別を実施し、識別器ｆの出力値を信頼度として算出する。

例えば、信頼度算出部２４８は、ポジティブセットＤ_ｕ ^＋の画像から得られる画像特徴記述子を、学習部２４６によって得られた識別器ｆに入力し、ポジティブセットＤ_ｕ ^＋の画像に対してタグｕが表す特定の物体が含まれている度合いを表す第１の信頼度を算出する。

また、信頼度算出部２４８は、ネガティブセットＤ_ｕ ⁻の画像から得られる画像特徴記述子を、学習部２４６によって得られた識別器ｆに入力し、ネガティブセットＤ_ｕ ⁻の画像に対してタグｕが表す特定の物体が含まれていない度合いを表す第２の信頼度を算出する。

そして、信頼度算出部２４８は、算出された信頼度の高さに応じて画像を順位づけし、ポジティブセットＤ_ｕ ^＋とネガティブセットＤ_ｕ ⁻のうち信頼度が一定以上であるもののみを抽出したセットを、高信頼データのポジティブセットＤ_ｕC ^＋とネガティブセットＤ_ｕC ⁻とする。

具体的には、信頼度算出部２４８は、第１の信頼度が予め定められた第１の値以上であるポジティブセットＤ_ｕ ^＋の画像を高信頼データＤ_ｕC ^＋として取得する。また、信頼度算出部２４８は、第２の信頼度が予め定められた第２の値以上であるネガティブセットＤ_ｕ ⁻の画像を高信頼データＤ_ｕC ⁻として取得する。

認識容易性指標算出部２６は、タグｕ毎に、高信頼データ生成部２４によって出力された高信頼データ（Ｄ_ｕC ^＋，Ｄ_ｕC ⁻）に基づいて、当該タグｕについての認識容易性指標Ｖを算出する。認識容易性指標算出部２６は、図３に示すように、認識容易性評価用識別器学習部２６０と、正解率算出部２６２とを備えている。

認識容易性評価用識別器学習部２６０は、タグｕ毎に、信頼度算出部２４８によって得られた高信頼データ（Ｄ_ｕC ^＋，Ｄ_ｕC ⁻）と、ＣＮＮとに基づいて、高信頼データ（Ｄ_ｕC ^＋，Ｄ_ｕC ⁻）に含まれる画像から得られるＣＮＮの全てのユニットの出力に基づいて、学習部２４６によって得られた識別器ｆを更新し認識容易性評価用識別器ｆ^￣として得る。

具体的には、認識容易性評価用識別器学習部２６０は、高信頼データのポジティブセットＤ_ｕC ^＋とネガティブセットＤ_ｕC ⁻とを用いて、高信頼データ（Ｄ_ｕC ^＋，Ｄ_ｕC ⁻）をＣＮＮに入力し、ＣＮＮの全てのユニットの出力ｙ_ｉ（ｕ│Ｄ）を入力として識別器ｆを学習させて更新し、認識容易性評価用識別器ｆ^￣とする。

正解率算出部２６２は、タグｕ毎に、認識容易性評価用識別器学習部２６０によって更新された識別器ｆ^￣に、ＣＮＮの全てのユニットの出力ｙ_ｉ（ｕ│Ｄ）を入力し、タグｕが表す特定の物体の有無を識別して、タグｕの認識容易性指標を算出する。

具体的には、正解率算出部２６２は、ポジティブセットＤ_ｕ ^＋の各画像と、ネガティブセットＤ_ｕ ⁻の各画像と、認識容易性評価用識別器学習部２６０によって得られた認識容易性評価用識別器ｆ^￣とに基づいて、ポジティブセットＤ_ｕ ^＋の各画像を認識容易性評価用識別器ｆ^￣に入力した場合に、画像に対してタグｕが表す特定の物体が含まれていると識別される割合を表す第１の正解率と、ネガティブセットＤ_ｕ ⁻の各画像を認識容易性評価用識別器ｆ^￣に入力した場合に、画像に対してタグｕが表す特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出する。

そして、正解率算出部２６２は、第１の正解率と第２の正解率との比を、タグの認識容易性指標として算出する。

画像に付与された複数のタグのうちのあるタグの正解率のバランスは、そのタグと見た目の相関が強いかどうかを示すと考えられる。ポジティブセットＤ_ｕ ^＋とネガティブセットＤ_ｕ ⁻との正解率が変わらなければ、タグｕは見た目との相関は弱く、正解率が大きく変わる場合は、タグｕと見た目の相関は強いと考えられる。

そこで、認識容易性評価用識別器ｆ^￣を用いて、ポジティブセットＤ_ｕ ^＋の正解率とネガティブセットＤ_ｕ ⁻の正解率との比として、視覚的な認識容易性指標Ｖ（ｕ，ｆ^￣）を定義する。このとき、ポジティブセットＤ_ｕ ^＋とネガティブセットＤ_ｕ ⁻との数の不均衡の影響を低減するため、それぞれの数が同じになるようにＤ_ｕ ^＋，Ｄ_ｕ ⁻をリサンプリングしてもよい。

本実施の形態では、認識容易性指標Ｖ（ｕ，ｆ^￣）を、認識容易性評価用識別器ｆ^￣を用いたデータＤ_ｕ ^＋，Ｄ_ｕ ⁻の正解率（accuracy）により以下の式（２）に示すように定義する。

出力部４０は、認識容易性評価用識別器学習部２６０によって得られた、各タグｕについての認識容易性指標Ｖ（ｕ，ｆ^￣）を結果として出力する。

出力部４０により出力された認識容易性指標を用いて、認識容易性指標が高いタグを選択して画像認識器を学習させることで、ノイズが多い学習データセットをそのまま用いて画像認識器を学習するよりも、高精度な画像認識器を構築することが可能である。

＜本発明の実施の形態に係る認識容易性指標算出装置の作用＞

次に、本発明の実施の形態に係る認識容易性指標算出装置１００の作用について説明する。入力部１０において低信頼タグ付き画像集合Ｄを受け付けて画像集合データベース２２に格納すると、認識容易性指標算出装置１００は、タグｕ毎に、図４に示す認識容易性指標算出処理ルーチンを実行する。

まず、ステップＳ１００において、画像特徴生成部２４０は、画像集合データベース２２に格納された、ポジティブセットＤ_ｕ ^＋とネガティブセットＤ_ｕ ⁻とを取得する。

次に、ステップＳ１０２において、画像特徴生成部２４０は、上記ステップＳ１００で取得したポジティブセットＤ_ｕ ^＋に含まれる画像の各々及びネガティブセットＤ_ｕ ⁻に含まれる画像の各々を、ＣＮＮへ入力する。そして、画像特徴生成部２４０は、ＣＮＮの各ユニットｉの出力に対し、ポジティブセットＤ_ｕ ^＋に含まれる画像の各々についての当該ユニットｉの出力の分布を表すヒストグラムＰ_ｉ ^＋と、ネガティブセットＤ_ｕ ⁻に含まれる画像の各々についての当該ユニットｉの出力の分布を表すヒストグラムＰ_ｉ ⁻とを生成する。

ステップＳ１０４において、画像特徴分布比較部２４２は、上記ステップＳ１０２で生成された、複数のユニットの各々についての、ポジティブセットＤ_ｕ ^＋のヒストグラムＰ_ｉ ^＋とネガティブセットＤ_ｕ ⁻のヒストグラムＰ_ｉ ⁻との間の距離を、上記式（１）に従って計算する。

ステップＳ１０６において、特徴記述子選択部２４４は、上記ステップＳ１０４で計算された距離について上位Ｎ個のユニットを画像特徴記述子θ_ｕとして選択する。

ステップＳ１０８において、学習部２４６は、ポジティブセットＤ_ｕ ^＋に含まれる画像から得られる、上記ステップＳ１０６で選択された画像特徴記述子、及びネガティブセットＤ_ｕ ⁻に含まれる画像から得られる、上記ステップＳ１０６で選択された画像特徴記述子に基づいて、画像特徴記述子から画像に対しタグｕが表す特定の物体が含まれているか否かを識別するための識別器ｆを学習する。

ステップＳ１１０において、信頼度算出部２４８は、ポジティブセットＤ_ｕ ^＋に含まれる画像から得られる画像特徴記述子と、ネガティブセットＤ_ｕ ⁻に含まれる画像から得られた画像特徴記述子と、上記ステップＳ１０８で得られた識別器ｆとに基づいて信頼度を算出する。そして、信頼度算出部２４８は、信頼度が一定以上であるポジティブセットＤ_ｕC ^＋とネガティブセットＤ_ｕC ⁻とを高信頼データとして取得する。

ステップＳ１１２において、認識容易性評価用識別器学習部２６０は、上記ステップＳ１１０で得られた高信頼データ（Ｄ_ｕC ^＋，Ｄ_ｕC ⁻）と、ＣＮＮとに基づいて、高信頼データ（Ｄ_ｕC ^＋，Ｄ_ｕC ⁻）に含まれる画像から得られる全てのユニットの出力を用いて、上記ステップＳ１０８で得られた識別器ｆを更新し認識容易性評価用識別器ｆ^￣として得る。

ステップＳ１１４において、正解率算出部２６２は、ポジティブセットＤ_ｕ ^＋の各画像と、ネガティブセットＤ_ｕ ⁻の各画像と、上記ステップＳ１１２で得られた認識容易性評価用識別器ｆ^￣とに基づいて、上記式（２）に示す、タグｕの認識容易性指標Ｖ（ｕ，ｆ^￣）を算出する。

ステップＳ１１６において、出力部４０は、上記ステップＳ１１４で得られた、タグｕについての認識容易性指標Ｖ（ｕ，ｆ^￣）を結果として出力し処理を終了する。

＜実験例＞

表１は、実際の海外の商品画像のデータセットに、本実施の形態を適用した場合の結果の例である。なお、表１に示す結果は、認識容易性指標Ｖ（ｕ，ｆ^￣）が予め設定された閾値よりも大きいタグを「認識容易性が高いタグ」とし、認識容易性指標Ｖ（ｕ，ｆ^￣）が予め設定された閾値以下のタグを「認識容易性が低いタグ」としている。

表１に示すように、認識容易性が高いものには色やテクスチャなどの画像と相関が高いと思われるタグが含まれており、認識容易性が低いものには抽象的なタグが含まれている。

以上説明したように、本発明の実施の形態に係る認識容易性指標算出装置によれば、画像から得られるＣＮＮの各ユニットの出力に対し、ポジティブセットに含まれる画像の各々についてのユニットの出力の分布を表すヒストグラムと、ネガティブセットに含まれる画像の各々についてのユニットの出力の分布を表すヒストグラムとの間の距離を計算し、計算された距離について上位Ｎ個のユニットを画像特徴記述子として選択し、ポジティブセットに含まれる画像から得られる画像特徴記述子、及びネガティブセットに含まれる画像から得られる画像特徴記述子に基づいて、画像に対しタグが表す特定の物体が含まれているか否かを識別するための識別器を学習し、識別器の出力に応じて高信頼データとして取得し、高信頼データに含まれる画像から得られる全てのユニットの出力に基づいて、識別器を更新し認識容易性評価用識別器として取得し、ポジティブセットの各画像を認識容易性評価用識別器に入力した場合に、画像に対してタグが表す特定の物体が含まれていると識別される割合を表す第１の正解率と、ネガティブセットの各画像を認識容易性評価用識別器に入力した場合に、画像に対してタグが表す特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、第１の正解率と第２の正解率との比を、タグの認識容易性指標として算出することにより、認識が容易なタグを特定することができる。

また、本発明の実施の形態によって、信頼度の低いタグが付与された大量の画像データから視覚的な認識が容易なタグを選び出すことができる。

上述のようにして得られたタグは、画像から自動で認識できる可能性が高く、得られたタグが付与された画像に基づいて画像認識器を学習することで、高精度なタグ認識器を構築できることが期待される。これによって、タグの付与されていない画像に新たにタグを付与する認識システムを構築する際に、多種多様なタグ候補から信頼度が高くなるであろうタグのみを事前に選び出すことで、システム利用者の満足度を高めることができると考えられる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上記の実施の形態は、画像から得られる各画像特徴として、予め学習されたニューラルネットワークの各ユニットの出力を用いる場合を例に説明したが、これに限定されるものではなく、他の画像特徴を用いてもよい。

また、上記の実施の形態は、例えば画像検索に用いることができる。タグが付与されたある画像集合から獲得されたタグは、同じドメインの別の画像集合においても有用であると考えられるため、上記の実施の形態によってタグが付与されていない画像集合に対して自動でタグ付けを行うことで、信頼度の高いタグベースの画像検索を実現することができる。

また、上述した実施の形態では、ニューラルネットワークとしてＣＮＮを用いる場合を例に説明したがこれに限定されるものではなく、他のニューラルネットワークを用いてもよい。

また、上述した実施の形態では、ヒストグラム間の距離としてカルバック・ライブラー距離を用いる場合を例に説明したがこれに限定されるものではなく、他の距離を用いてもよい。

上述の認識容易性指標算出装置１００は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０入力部
２０演算部
２２画像集合データベース
２４高信頼データ生成部
２６認識容易性指標算出部
４０出力部
１００認識容易性指標算出装置
２４０画像特徴生成部
２４２画像特徴分布比較部
２４４特徴記述子選択部
２４６学習部
２４８信頼度算出部
２６０認識容易性評価用識別器学習部
２６２正解率算出部

Claims

画像に含まれる特定の物体を表すタグが付与された画像の集合であるポジティブセット及び前記タグが付与されていない画像の集合であるネガティブセットに基づいて、前記画像から得られる複数の画像特徴の各々に対し、前記ポジティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムとを生成する画像特徴生成部と、
前記画像特徴生成部によって生成された、複数の前記画像特徴の各々についての、前記ポジティブセットの前記ヒストグラムと前記ネガティブセットの前記ヒストグラムとの間の距離を計算する画像特徴分布比較部と、
前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記画像特徴を画像特徴記述子として選択する特徴記述子選択部と、
前記ポジティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子、及び前記ネガティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子に基づいて、前記画像特徴記述子から前記画像に前記特定の物体が含まれているか否かを識別するための識別器を学習する学習部と、
前記ポジティブセットに含まれる画像から得られる前記画像特徴記述子と、前記ネガティブセットに含まれる画像から得られた前記画像特徴記述子と、前記学習部によって得られた前記識別器とに基づいて、
前記ポジティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ポジティブセットの画像に対して前記特定の物体が含まれている度合いを表す第１の信頼度が、予め定められた第１の値以上である前記ポジティブセットの画像を高信頼データとして取得し、
前記ネガティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ネガティブセットの画像に対して前記特定の物体が含まれていない度合いを表す第２の信頼度が、予め定められた第２の値以上である前記ネガティブセットの画像を前記高信頼データとして取得する信頼度算出部と、
前記信頼度算出部によって得られた前記高信頼データに含まれる画像から得られる複数の前記画像特徴に基づいて、前記学習部によって得られた前記識別器を更新し認識容易性評価用識別器として得る認識容易性評価用識別学習部と、
前記ポジティブセットの各画像と、前記ネガティブセットの各画像と、前記認識容易性評価用識別学習部によって得られた前記認識容易性評価用識別器とに基づいて、前記ポジティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていると識別される割合を表す第１の正解率と、前記ネガティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、前記第１の正解率と前記第２の正解率との比を、前記タグの認識容易性指標として算出する正解率算出部と、
を含む認識容易性指標算出装置。
前記画像特徴生成部は、前記ポジティブセット及び前記ネガティブセットと、予め学習されたニューラルネットワークとに基づいて、前記ポジティブセットに含まれる画像の各々及び前記ネガティブセットに含まれる画像の各々を前記ニューラルネットワークへ入力し、前記画像から得られる複数の画像特徴の各々としての前記ニューラルネットワークの各ユニットの出力に対し、前記ポジティブセットに含まれる画像の各々についての前記ユニットの出力の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記ユニットの出力の分布を表すヒストグラムとを生成し、
前記特徴記述子選択部は、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記ユニットの出力を画像特徴記述子として選択する
請求項１に記載の認識容易性指標算出装置。
前記ニューラルネットワークにはＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を用いる
請求項２に記載の認識容易性指標算出装置。
画像特徴生成部が、画像に含まれる特定の物体を表すタグが付与された画像の集合であるポジティブセット及び前記タグが付与されていない画像の集合であるネガティブセットに基づいて、前記画像から得られる複数の画像特徴の各々に対し、前記ポジティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムとを生成するステップと、
画像特徴分布比較部が、前記画像特徴生成部によって生成された、複数の前記画像特徴の各々についての、前記ポジティブセットの前記ヒストグラムと前記ネガティブセットの前記ヒストグラムとの間の距離を計算するステップと、
特徴記述子選択部が、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記画像特徴を画像特徴記述子として選択するステップと、
学習部が、前記ポジティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子、及び前記ネガティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子に基づいて、前記画像特徴記述子から前記画像に前記特定の物体が含まれているか否かを識別するための識別器を学習するステップと、
信頼度算出部が、前記ポジティブセットに含まれる画像から得られる前記画像特徴記述子と、前記ネガティブセットに含まれる画像から得られた前記画像特徴記述子と、前記学習部によって得られた前記識別器とに基づいて、
前記ポジティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ポジティブセットの画像に対して前記特定の物体が含まれている度合いを表す第１の信頼度が、予め定められた第１の値以上である前記ポジティブセットの画像を高信頼データとして取得し、
前記ネガティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ネガティブセットの画像に対して前記特定の物体が含まれていない度合いを表す第２の信頼度が、予め定められた第２の値以上である前記ネガティブセットの画像を前記高信頼データとして取得するステップと、
認識容易性評価用識別学習部が、前記信頼度算出部によって得られた前記高信頼データに含まれる画像から得られる複数の前記画像特徴に基づいて、前記学習部によって得られた前記識別器を更新し認識容易性評価用識別器として得るステップと、
正解率算出部が、前記ポジティブセットの各画像と、前記ネガティブセットの各画像と、前記認識容易性評価用識別学習部によって得られた前記認識容易性評価用識別器とに基づいて、前記ポジティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていると識別される割合を表す第１の正解率と、前記ネガティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、前記第１の正解率と前記第２の正解率との比を、前記タグの認識容易性指標として算出するステップと、
を含む認識容易性指標算出方法。
コンピュータを、請求項１〜請求項３の何れか１項に記載の認識容易性指標算出装置の各部として機能させるためのプログラム。