JP6190887B2

JP6190887B2 - 画像検索システムおよび情報記録媒体

Info

Publication number: JP6190887B2
Application number: JP2015540296A
Authority: JP
Inventors: 裕樹渡邉; 廣池　敦; 敦廣池
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2013-10-02
Filing date: 2013-10-02
Publication date: 2017-08-30
Anticipated expiration: 2033-10-02
Also published as: US20160217158A1; WO2015049732A1; JPWO2015049732A1; US11157550B2; CN105612513A

Description

本発明は、類似画像検索技術に関するものである。

ＩＴインフラの発展に伴い、大量のマルチメディアデータ（文書、映像・画像、音声、種々のログデータなど）が大規模なストレージに蓄積されるようになった。蓄積された大量のデータから効率的に情報を引き出すために、個々のメディアデータに関しては、様々な情報抽出／検索技術が考案され、実用化されてきた。

画像に対する情報抽出の例として、画像内のオブジェクトを認識し、その名称を出力する画像認識技術が研究されている。このような画像認識技術では、事前に画像とその画像を説明するタグを大量に登録した「辞書」を用意し、新たに入力された画像の特徴が辞書内のどの画像と一致するかを調べることで、入力された画像に対するタグを推定する。また、辞書内の全ての画像と照合するのでなく、辞書内の画像とタグを学習データとして機械学習を行い、生成された識別器を用いてタグを推定する方法も用いられる。いずれの方法においても、画像とタグの大量のペアを用意する必要があり、人手での作業が発生する。認識対象が多くなると、辞書を作成する人的コストが増大するため、効率的な辞書作成方法が求められている。

画像認識技術に近い技術として、類似画像検索技術が知られている。類似画像検索は与えられた画像と特徴の近い画像を、データベースから探索し、類似度順に並び替えて出力する技術である。画像認識用の辞書作成において、類似する顔に一括でタグを付与することができれば、辞書を効率的に作成することができる。また、タグ付与済みの複数の画像をクエリとして、類似画像検索を行うことで、多彩な画像を一度に取得することができ、作業効率をさらに高めることができる。その反面で、もしクエリ集合に類似画像に適さない画像が含まれる場合は、検索結果のなかにノイズが含まれる可能性が高くなり、かえって作業効率が落ちる危険性がある。そのため、クエリ集合の質を高める技術が求められる。

多数のクエリを与えたときに、検索結果をクエリにフィードバックさせる方法として、特許文献１では、入力された動画から複数のショットを取り出して、これにより抽出された特徴量をクエリとして動画を検索することが開示されている。検索結果をユーザが評価し、適合する動画に含まれる高類似度のショットのみを選択し、これにより選択されたショットの特徴を検索クエリ特徴に追加することで検索クエリ特徴を更新する。この結果、不要なショットに伴う誤検索を減少させることができる。

特開２００８−２４２９６５号

特許文献１は、内部では複数のショットを用いた検索をしているが、最終的には動画単位で類似性の高い検索結果を得ることを目的としているため、辞書作成の用途のように、多彩なバリエーションの画像を集めるという目的には適さない。また、クエリの重要度の判定には、ユーザによる評価が必要となり、ユーザの作業を効率化するものではない。

本発明は、上記のような課題に鑑みてなされたものであり、多数のクエリを用いた高精度な類似画像検索を行うことのできる画像検索技術を提供することを目的とする。また、そのために検索結果をクエリ集合にフィードバックする方法である。

上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、画像検索システムであって、検索対象となる画像から抽出された検索用画像特徴量が蓄積された記憶部と、複数の画像がクエリ画像として入力される入力部と、前記クエリ画像から画像特徴量を抽出する抽出部と、前記画像特徴量を用いて前記記憶部内の前記検索用画像特徴量を検索する検索部と、前記画像特徴量と類似する前記検索用画像特徴量を抽出した元画像を検索結果として表示する表示部と、前記検索結果を元に前記クエリ画像の重要度を判定する判定部と、を備えることを特徴とする。

あるいは、画像検索方法であって、検索対象となる画像から抽出された検索用画像特徴量が蓄積される記憶ステップと、複数の画像がクエリ画像として入力される入力ステップと、前記クエリ画像から画像特徴量を抽出する抽出ステップと、前記画像特徴量を用いて前記検索用画像特徴量を検索する検索ステップと、前記画像特徴量と類似する前記検索用画像特徴量を抽出した元画像を検索結果として表示する表示ステップと、前記検索結果を元に前記クエリ画像の重要度を判定する判定ステップと、を有することを特徴とする。

本発明に係る画像検索装置によれば、入力された多数のクエリをグループ化し、重要度に応じて並び替えられたグループごとに類似画像検索結果を得ることができる上記した以外の課題、構成、および効果は、以下の実施形態の説明により明らかになるであろう。

実施形態１に係る画像検索システム１００の構成図である。画像データベース１０８の構成とデータ例を示す図である。検索クエリ生成部１０９における画像特徴量の抽出処理について説明するための図である。類似画像検索部１１０における類似画像検索のためのクラスタリングを説明するための図である。類似画像検索部１１０におけるクラスタリングを用いた類似ベクトル検索を説明するための図である。画像検索装置１０５が、類似画像検索の結果を用いてクエリをグループに分類する処理を説明するための図である。画像検索装置１０５が、類似画像検索の結果を用いてクエリをグループに分類する処理を説明するためのフローチャートである。画像検索装置１０５を、画像のタグ付与ツールに適用し、クエリ集合へのフィードバックを行う様子を説明するための図である。画像検索装置１０５を適用した画像のタグ付与ツールにおいて、クエリ集合へのフィードバックを行う処理手順を説明するためのフローチャートである。画像検索装置１０５を適用した画像のタグ付与ツールの操作画面の構成例を示す図である。画像検索装置１０５を適用した画像のタグ付与ツールにおいて、クエリ集合へのフィードバックを行う処理における各機能部間の処理シーケンスを説明するための図である。画像検索装置１０５を用いた映像解析を説明するための図である。画像検索装置１０５を用いた映像解析の処理手順を説明するためのフローチャートである。画像検索装置１０５を用いた部分類似画像検索を説明するための図である。画像検索装置１０５を用いた部分類似画像検索の処理手順を説明するためのフローチャートである。実施形態４に係るコンテンツクラウドシステム１６００の概略図である。

＜システム構成＞
図１は、本発明の実施形態１に係る画像検索システム１００の構成図である。画像検索システム１００は、ユーザが入力した複数のクエリ画像に対して、クエリのグループを形成し、グループごとに検索結果をまとめることで、検索クエリの質を向上させることを目的とするシステムである。

画像検索システム１００は、画像・映像蓄積装置１０１，入力装置１０２、表示装置１０３，データ格納装置１０４、画像検索装置１０５を備える。また、図１には図示していないが、撮影された画像を直接入力できるよう、カメラを備えてもよい。

画像・映像記憶装置１０１は、画像データや映像（動画像）データを保存する記憶媒体であり、コンピュータ内蔵のハードディスクドライブ、ＮＡＳ（ＮｅｔｗｏｒｋＡｔｔａｃｈｅｄＳｔｏｒａｇｅ）やＳＡＮ（ＳｔｏｒａｇｅＡｒｅａＮｅｔｗｏｒｋ）などのネットワークで接続されたストレージシステムを用いて構成することができる。また、例えば、カメラから継続的に入力される映像データを一時的に保持するキャッシュメモリであっても良い。

入力装置１０２は、マウス、キーボード、タッチデバイスなど、ユーザの操作を画像検索装置１０５に伝えるための入力インタフェースである。表示装置１０３は、液晶ディスプレイなどの出力インタフェースであり、画像検索装置１０５の検索結果の表示、ユーザとの対話的操作などのために用いられる。データ格納装置１０４は、画像検索装置１０５の検索結果を記録するストレージであり、検索結果を上位のアプリケーションで利用するために用いられる。検索結果は、検索で得られる画像データであってもよいし、画像データに付与されたタグであってもよい。

画像検索装置１０５は、与えられた複数のクエリ画像を用いて類似画像検索を行い、検索過程で得られるデータ分布情報に従ってクエリをグループ化し、グループの重要度を判定し、その重要度でグループを並び替え、グループ毎に検索結果を出力する。検索クエリとして画像データを直接与えてもよいし、指定した条件に該当する画像をデータベースから取得して、これをクエリとしてもよい。また、グループ化された検索結果と検索クエリの関係性から、好ましくない検索結果の要因となるクエリのグループを特定し、該当クエリを検索クエリから除外する機能をもつ。クエリの個数は１つ以上であればよいが、数十から数百のクエリが与えられ、ユーザが全てのクエリを確認することが困難な状況において、本発明が効果的となる。画像検索装置１０５は、画像入力部１０６、ユーザ操作入力部１０７、画像データベース１０８、検索クエリ生成部１０９、類似画像検索部１１０、クエリ分類部１１１、クエリブループ重要度判定部１１２、検索結果生成部１１３、データ出力部１１４、を備える。

画像入力部１０６は、画像・映像記憶装置１０１から、画像・映像データを読み出し、画像検索装置１０５内部で使用するデータ形式に変換する。この際、映像データは複数のフレームに分解される。読み込まれたデータは、ユーザが画像データベース１０５にデータを登録する際には画像データベース１０５に送られ、検索処理を行う際には検索クエリ生成部１０９に送られる。

ユーザ操作入力部１０７は、ユーザによる入力装置１０２の操作を検知し、その信号を検索クエリ生成部１０９、検索結果生成部１１３に伝え、各部の処理の実行を制御したり、処理に用いるパラメータを変更したりする。

画像データベース１０８は、画像データとその特徴量、タグを保存するデータベースである。特徴量は、画像の見た目の類似性に基づく検索に必要なデータである。ここでいうタグとは、指定した条件で画像を絞り込むために使用されるデータである。例えば、画像中の人物の名前、撮影日時、シーン分類（屋内／屋外、日中／夜間など）、である。必要に応じて一つの画像が複数個のタグを持っても良い。画像データベース１０８へのアクセスは、画像入力部１０６からのデータ登録時、検索クエリ生成部１０９と類似画像検索部１１０からの検索時、検索結果生成部１１３からのデータ更新時に発生する。画像データベース１０８の構造について、詳しくは図２の説明として後述する。

検索クエリ生成部１０９は、類似画像検索に必要な画像特徴量を生成する。画像特徴量は、画像の見た目の特徴を表す数値情報であり、固定長のベクトルで表される。詳しくは図３の説明として後述する。画像検索装置１０５への入力が１枚以上の画像の場合は、各画像から画像特徴量を計算する。入力がタグの場合は、該当するタグが付与された画像の特徴量を画像データベース１０８から読みだす。以上で生成された複数の特徴量を検索クエリとして類似画像検索部１１０に送る。

類似画像検索部１１０は、与えられた複数の特徴量に対して、それぞれ画像データベース１０８から類似ベクトルを検索する。ベクトルの類似度は、例えば、ベクトル間のユークリッド距離が小さいほど類似度が高い、と定義する。類似ベクトルの検索は、あらかじめデータを分類しておくことで、高速化できる。詳しくは図４、図５の説明として後述する。類似画像検索部１１０の出力は、クエリ毎の類似画像とその類似度、検索に使用された分類情報、である。画像検索装置１０５において、全体の処理が終了するまでは、クエリと検索結果の関係が保持されるものとする。

クエリ分類部１１１は、類似画像検索部１１０から出力された分類情報を元にクエリまたはクエリ集合を複数のグループに分類する。この結果、画像の見た目の特徴の近い、すなわち画像特徴量であるベクトルの値が近いクエリ同士は同一のグループに分類される。各グループのメンバ数が所定数に満たない場合は、類似するグループを統合してもよい。

クエリグループ重要度判定部１１２では、グループの重要度を計算する。重要度の計算方法は、例えば、グループに属するクエリの数や、検索結果の画像の類似度を用いることが考えられるが、具体的な算出方法はアプリケーションによって異なる。

検索結果生成部１１３では、グループを重要度順に並び替え、グループ内では検索結果を類似度順に並び替えて、グループごとに検索結果を出力する。出力データは、類似画像そのものでも良いし、類似画像に付与されたタグ、そのタグを集計して得られるタグ毎のスコアデータでも良い。検索結果生成部１１３は、ユーザの指示に応じて、グループに属する類似画像に一括でタグを付与して、画像データベース１０８の該当画像にタグを追加することができる。また、グループに属するクエリが、検索に適さないものであるとユーザが判断した場合は、画像データベース１０８の該当画像からタグを削除することができる。この結果、以降の検索処理では、検索クエリ生成部１０９では不適正なクエリが使用されなくなる。

データ出力部１１４は、上記の処理において得られたクエリ、グループ情報、検索結果を必要に応じて整形／データ変換し、表示装置１０３とデータ格納装置１０４に出力する。

図２は、画像データベース１０８の構成とデータ例を示す図である。ここではテーブル形式の構成例を示すが、データ形式は任意でよい。

画像データベース１０８は、画像テーブル２００は、画像ＩＤフィールド２０１、画像データフィールド２０２、画像特徴量フィールド２０３、タグフィールド２０４を有する。

画像ＩＤフィールド２０１は、各画像データの識別番号を保持する。画像データフィールド２０２は、画像データをバイナリ形式で保持するフィールドであり、ユーザが検索結果を確認する際に用いられる。画像特徴量フィールド２０３は、画像特徴量データを保持する。画像特徴量は、画像そのものの持つ色や形状などの特徴を数値化した、固定長の数値ベクトルデータである。画像特徴量フィールドを複数用意し、例えば、形状特徴量と色特徴を別のフィールドで管理しても良い。タグフィールド２０４は、条件検索用の数値データや文字列データを保持する。図２の例では、画像データフィールド２０２に顔画像、タグフィールド２０４に人物名の文字列を表記しているが、画像データフィールド２０２には風景写真、物品の写真、イラスト、図面など任意の画像を登録でき、タグフィールド２０４には、例えば、シーン名、撮影日時、物品名、属性情報など、任意のデータを登録できる。また、１つの登録画像に対して、複数のタグを登録しても良い。

＜各部の動作＞
以上、画像検索システム１００の全体構成を説明した。以下では画像検索システム１００の動作原理を概説した上で、各機能部の詳細動作を説明する。

（類似画像検索の説明）
図３は、画像検索システム１００で用いる画像特徴量の抽出手順の一例である。本手法では、まず入力画像から複数の解像度の画像を生成する。次に、各解像度の画像を領域分割する。各領域に含まれる特徴的なエッジパターンの数を集計することでヒストグラムをつくり、これを多次元のベクトルとする。パターン毎の分布の偏りを補正するための正規化を行い、得られた数千次元のベクトルを主成分分析などにより次元圧縮することで、システムが扱いやすい数百次元程度の固定長ベクトルデータとして保存する。このようにして得られたベクトルデータは、見た目の似た画像間で近い値になるため、類似画像検索に用いることができる。なお、画像の見た目の特徴を表すベクトルデータであれば、一般に広く知られているＭＰＥＧ−７で規定されているエッジヒストグラム特徴など、他の特徴量を用いてもよい。

類似画像検索は、画像特徴量のベクトル間の類似度を評価することで、似たデータを探索する処理である。２つのｎ次元ベクトルＸとＹの非類似度ｄは、例えば、数１のように、ユークリッド距離の２乗で求めることができる。ＸｉとＹｉは、それぞれベクトルＸとベクトルＹのｉ番目の要素である。

・・・数１

類似画像を得るには、基本的には、データベース内の全ての画像に対して、数１を用いてクエリ画像の特徴量との非類似度を求め、非類似度の小さい順にソーティングして出力すればよい。しかし、データ量に応じて処理時間が線形に増加するため、大規模なデータベースを検索することは困難である。そこで、予め似たデータを集めたグループを生成するクラスタリング処理を事前に行なっておく。クラスタリングの手法として、例えば、Ｋ−ｍｅａｎｓ法が知られている。Ｋ−ｍｅａｎｓ法は、クラスタの平均値を用いて、データ集合を与えられたクラスタ数Ｋ個のクラスタに自動分割する手法である。

図４は、データのクラスタリングを説明する図である。図４（ａ）の４０１は特徴量空間を表しており、データベースに登録された特徴量ベクトル４０２がマッピングされている。クラスタリング処理を行うと、図４（ｂ）のようにベクトル間の距離の近い特徴量でクラスタ４０３が形成される。画像データベース１０８において、クラスタの情報は、クラスタに属する特徴量へのポインタと、クラスタに属する全特徴量の平均値ベクトル４０３で管理される。また、各クラスタには識別番号が与えられる。

図５は、クラスタリングを用いた検索を説明する図である。検索時には、まず、図５（ａ）のように、クエリ５０１とクラスタの平均ベクトルとの距離を求め、距離の近いクラスタ（近傍クラスタ）を１つ以上選択する。図の例ではクラスタＡが選択される。次に、選択された近傍クラスタに属する全ての特徴量とクエリ５０１との距離を計算し、距離の近い順に並び替え、これらの特徴量の元となった画像を類似画像として出力する。クラスタリング済みのデータベースを用いることで、大規模データベースに対する類似画像検索の高速化を実現することができる。例えば、２００次元の特徴量を用いて、４００万件の画像データベースから上位１０００枚の類似画像を検索する処理は、一般的なＰＣサーバを用いた場合でも、１０ミリ秒程度で実行できる。

以上に述べた手順に従うと、画像の見た目の特徴を表す固定長ベクトルの特徴量表現であれば、どのような特徴量を用いても類似画像検索を実現することができるが、データベース画像とクエリ画像の特徴量は同一のアルゴリズムで抽出される必要がある。

図６は、画像検索装置１０５が複数のクエリをグループ化し、グループの重要度に従って並び替える処理を説明するための図である。

まず、複数のクエリ画像６０１が与えられると、各画像から画像特徴量を計算し、画像データベース１０８から類似画像検索結果６０２を取得する。検索結果６０２は、類似画像とその類似度、およびクラスタリングを用いた検索において選択された最近傍クラスタの識別番号から構成される。類似度ｓは、特徴量空間内での距離が小さいほど大きい値となる。例えば、（数２）で計算すると、類似度ｓは０〜１の値域の実数値であり、ｓが大きいほどクエリ画像と類似画像とが似ている、と解釈できる。ここで、ｅは自然対数の底である。ユーザに表示する際には、図６のように、ｓを１００倍した値のパーセント表示にしてもよい。

…数２

次に、クエリと検索結果のペアをグループ化する。図６の例では、共通の最近傍クラスタ番号を持つペアを同じグループ６０３に集める。図６ではグループ化の手段の一例として、クラスタの情報を用いた方法を示したが、何らかの観点でクエリをグループ化できれば、本手法を適用可能である。例えば、類似画像に付与されたタグ情報が共通するクエリをグループにまとめてもよい。

全てのクエリがグループに振り分けられた後、グループの重要度を算出し、重要度に従ってグループを並び替える。重要度は、例えば、グループに属するクエリの数、類似度の高い類似画像の数などを用いて計算する。

最後に、グループに属する検索結果から類似画像を取り出し、例えば、類似度の高い順に並び替え、グループごとの検索結果として出力する。

以上の処理により、複数のクエリについての類似画像を一括で表示する場合に比べ、特徴の近い類似画像をグループごとにまとめて確認することができるため、検索結果の質が向上する。また、クエリと検索結果のペアを保持することで、好ましくない検索結果の要因となるクエリを発見することが容易になる。このような不適切なクエリを、クエリ集合から除外する例については図８の説明として後述する。

図７は、画像検索装置１０５が、複数のクエリをグループ化し、グループの重要度に従って並び替えて検索結果を出力する処理手順を表したフローチャートである。以下、図７の各ステップについて説明する。
（図７：ステップＳ７０１）
画像検索装置１０５への入力の種類によって処理を分岐する。入力が１枚以上の画像の場合はステップＳ７０２に移動し、画像のタグに対する条件であればステップＳ７０４へ移動する。
（図７：ステップＳ７０２）
画像入力部１０６は、画像・映像記憶装置１０１から１枚以上の画像データを読み出し、装置内で利用可能なデータ形式に変換する。映像データの場合は、所定の間隔でフレームを抽出し、複数枚の画像データとして扱う。
（図７：ステップＳ７０３）
検索クエリ生成部１０９は、ステップＳ７０２で読み出された各画像から画像特徴量を抽出する。
（図７：ステップＳ７０４）
検索クエリ生成部１０９は、ユーザ操作入力部１０７から与えられたユーザ指定の条件に一致するタグを持つ画像の特徴量を、画像データベース１０８から読みだす。
（図７：ステップＳ７０５〜Ｓ７０８）
類似画像検索部１１０とクエリ分類部１１１は、全ての特徴量に対して、ステップＳ７０５〜Ｓ７０６を実施する。
（図７：ステップＳ７０６）
類似画像検索部１１０は、与えられた特徴量をクエリとして、画像データベース１０８から類似画像を取得する。また、クラスタリングを用いた検索において使用された最近傍クラスタの識別番号をあわせて検索結果として出力する。
（図７：ステップＳ７０７）
クエリ分類部１１１は、検索結果の最近傍クラスタの識別番号に従って、クエリと検索結果のペアを該当グループに振り分ける。
（図７：ステップＳ７０９〜Ｓ７１１）
クエリグループ重要度判定部１１２は、ステップＳ７０７で生成された全てのグループに対して、ステップＳ７１０を実施する。
（図７：ステップＳ７１０）
クエリグループ重要度判定部１１２は、グループに属するクエリの数や、類似画像の類似度に従って、グループの重要度を算出する。
（図７：ステップＳ７１２）
検索結果生成部１１３は、重要度に従ってグループを並び替える。
（図７：ステップＳ７１３）
検索結果生成部１１３は、グループ内の類似画像を類似度順に並び替え、グループ毎に検索結果を生成する。この結果をデータ出力部１１４が、外部のデバイスに出力して本処理フローを終了する。アプリケーションに応じて、表示装置１０３に表示しても良いし、データ格納装置１０４に出力しても良い。

図８は、画像検索装置１０５を、顔画像へのタグ付け支援ツールへ応用した例であり、検索結果のクエリ集合へのフィードバックを説明する図である。ここでは、説明を容易にするため、人物の顔画像を対象としているが、物品やシーンに対してタグを付与する場合も同様である。顔画像に人物名タグが付与されることで、名前の入力による人物検索や、人物の出現頻度による統計解析が可能になる。ただ、大量の画像に対してユーザが人物を判定し、タグを付与することは困難である。

この課題に対して、類似画像検索を用いて得られた類似顔に対して一括でタグを付与することで、タグ付作業を効率化することができる。このとき図８の８０２のように、入力された人物名８０１に該当するタグが付与された顔画像８０２をクエリとして複数使用することで、一度に多様なバリエーションの顔を得ることができる。しかし、図８の８０３のように、全ての検索結果を類似度順に表示すると、クエリにノイズが含まれた場合に、適切ではない検索結果画像に誤ってタグを付与してしまう可能性が高い。また、異なる特徴の顔画像が入り乱れて表示されるため、検索結果を確認することが困難になる。

本発明の画像検索装置１０５を用いれば、同様の特徴をもつ検索結果をクエリ毎にグループにまとめて表示することができ、視認性が高まる。図８の例では、検索結果８０４、８０５は全ての検索結果が指定された人物であることが確認できるため、グループ内の類似画像に一括でタグを付与する。検索結果８０６については、一部に異なる人物が含まれるため、個別にタグを付与する。このように新しくタグが付与された画像は、次回以降での検索においてクエリとして使用される。

検索結果８０７には、指定された人物の顔画像が全く含まれておらず、この結果の要因となったクエリが類似画像検索のクエリとして不適切であることが推測される。画像検索装置１０５では、クエリと検索結果のペアを対応付けて管理するため、検索結果からクエリを逆探索することができる。この結果、検索結果807が検索される要因となった不適正なクエリ８０９からタグを除外し、以降の作業ではクエリとして使用されなくなる。

図8では図示していないが、検索結果804-807とそれぞれの検索キーとなったクエリとを対応付けるように表示をしても良い。これにより、さらに視認性が向上する。図９は、クエリのグループ化を用いた画像へのタグ付与処理と、検索結果のクエリ集合へのフィードバックの処理手順を説明するフローチャートである。以下、図９の各ステップについて説明する。
（図９：ステップＳ９０１）
入力部１０７から与えられたタグを持つ画像の特徴量を画像データベース１０８から読み出す。
（図９：ステップＳ９０２）
画像検索装置１０５は、ステップＳ９０１で生成された１つ以上のクエリを用いて、グループ化されたクエリと検索結果を出力する。この処理は図７のＳ７０５〜Ｓ７１３と同様である。
（図９：ステップＳ９０３）
データ出力部１１４は、得られた検索結果を表示装置１０３に表示する。ユーザ操作入力部は、ユーザが入力装置１０２を用いてシステムに指示を送るまで待機する。
（図９：ステップＳ９０４）
ユーザの指示内容によって処理を分岐する。グループ内の検索結果に対して一括でタグを付与する場合はステップＳ９０５へ移動し、グループ内の検索結果に対して個別にタグを付与する場合はステップＳ９０８へ移動し、グループのクエリからタグを削除する場合はステップＳ９１１へ移動する。
（図９：ステップＳ９０５〜Ｓ９０７）
検索結果生成部１１３は、ユーザに選択されたグループ内の全ての類似画像に対して、ステップＳ９０６を実施する。
（図９：ステップＳ９０６）
ユーザに選択されたグループ内の全ての類似画像に対して、ステップＳ９０１でクエリの条件として使用されたタグを付与し、画像データベース１０８のタグフィールド２０４に格納する。
（図９：ステップＳ９０８〜Ｓ９１０）
検索結果生成部１１３は、ユーザに選択された全ての類似画像に対して、ステップＳ９０９を実施しタグ付けを行う。
（図９：ステップＳ９０９）
ユーザに選択された全ての類似画像に対して、ステップＳ９０１でクエリの条件として使用されたタグを付与し、画像データベース１０８のタグフィールド２０４に格納する。
（図９：ステップＳ９１１〜Ｓ９１３）
検索結果生成部１１３は、ユーザに選択されたグループ内のクエリ画像に対して、ステップＳ９１２を実施する。
（図９：ステップＳ９１２）
ユーザに選択されたグループ内のクエリ画像に対して、ステップＳ９０１でクエリの条件として使用されたタグを、画像データベース１０８のタグフィールド２０４から削除する。

図１０は、クエリのグループ化を用いた画像へのタグ付与のために使用する操作画面である。本画面は、表示装置１０３上で提供することができる。ユーザは、入力装置１０２を用いて、画面に表示されたカーソル１００７を操作することにより、ユーザ操作入力部１０７に操作情報を送る。

図１０の操作画面は、タグ入力領域１００１、画像読込ボタン１００２、画像ファイル選択ボタン１００３、クエリ画像表示領域１００４、検索ボタン１００５、検索結果表示領域１００６、一括タグ付ボタン１００８、クエリ表示ボタン１００９、クエリタグ削除ボタン１０１０を有する。

ユーザは、まず、システムに対して検索クエリの集合を与える。クエリの与え方はタグを指定する方法と、画像ファイルを直接与える方法がある。タグを指定する場合は、ユーザはタグ入力領域１００１に、人物名などのタグを入力する。画像読込ボタン１００２をクリックすると、画像データベースに登録された画像から指定したタグを持つ画像が読み込まれ、クエリ画像表示領域１００４に表示される。クエリが多数ある場合には、画面のように所定数毎のページで表示しても良い。

画像ファイルを直接与える場合には、ユーザは画像ファイル選択ボタン１００３をクリックする。入力方法は、例えば、ファイルシステムのファイルパスを指定するダイアログを用いてもよいし、ドラッグ＆ドロップによる直感的な入力操作にしてもよい。読み込まれた画像は、クエリ表示領域１００４に表示される。

次にユーザが、検索ボタン１００５をクリックすると、指定されたクエリ集合を用いて類似画像検索が実施され、検索結果表示領域１００５にグループ毎の類似画像が表示される。グループは、重要度で並び替えて表示される。ユーザが以降の操作の判断材料として利用するために重要度の数値を表示しても良い。また、ユーザの要求によっては、グループの枠を取り外して、全ての類似画像を一覧で表示するように切り替えるチェックボックス（図の「分類表示」）を加えても良い。

ユーザは検索結果を確認し、グループに属する類似画像が全て該当人物の顔であれば、グループを選択する。選択方法は、例えば、グループの右上にチェックボックを用意して、それをクリックすればよい。グループの一部に別の人物の顔が含まれる場合は、類似画像を個別に選択していく。グループの選択と同様に、類似画像の右上のチェックボックスをクリックする。

以上の手順で、該当人物の類似画像が選択された後、一括タグ付ボタン１００８をクリックすると、選択されたグループに属する類似画像と、個別に選択した類似画像に対して、タグ入力領域１００１で指定したタグが付与され、画像データベース１０８のタグフィールド２０４が更新される。

また、検索の結果、好ましくない結果を多く含むグループが確認できた場合は、そのグループを選択し、クエリ表示ボタン１００９をクリックすることで、クエリ画像表示領域１００４にそのグループのクエリのみを表示することができる。クエリタグ削除ボタン１０１０をクリックすることで、不適切なクエリのタグを削除することができる。

図１１は、画像検索システム１００が、グループ化されたクエリ毎の検索結果を生成し、クエリへフィードバックする処理における、ユーザ１１０１、計算機１１０２、画像データベース１０８の処理シーケンスを説明する図である。以下、図１１の各ステップについて説明する。
［クエリ生成処理］（図１１：ステップＳ１１０３〜Ｓ１１０６）
ユーザ１１０１は、入力装置１０２を介してタグを計算機１１０２に入力する（Ｓ１１０３）。計算機１１０２は、検索クエリ生成部１０９において、入力されたタグに一致する画像を取得するための要求を画像データベース１０８に送る（Ｓ１１０４）。画像データベース１０８は、登録済みの画像から、指定されたタグを持つ画像を探索し、結果の画像の特徴量を計算機１１０２に返す（Ｓ１１０５）。読み出された画像が以降の処理ではクエリ集合となり、ユーザ１１０１に提示される（Ｓ１１０６）。
［類似画像検索処理］（図１１：ステップＳ１１０７〜Ｓ１１１３）
ユーザ１１０１は、提示されたクエリを用いて検索処理の実行要求を計算機１１０２に送る（Ｓ１１０７）。計算機１１０２は、ステップＳ１１０５で得られた各画像特徴量をクエリとして、画像データベース１０８に対して、類似画像検索の要求を送る（Ｓ１１０８）。画像データベース１０８は、特徴量の近い画像を所定数だけ探索し、計算機１１０２に返す（Ｓ１１０９）。計算機は、図６と図７で述べた処理手順に従って、検索結果をグループ化し（Ｓ１１１０）、グループ毎に重要度を算出し（Ｓ１１１１）、グループを重要度で並び替え（Ｓ１１１２）、ユーザ１１０１に、グループごとの検索結果を返す（Ｓ１１１３）。
［クエリ更新処理］（図１１：ステップＳ１１１４〜Ｓ１１１７）
ユーザ１１０１は、検索結果を確認し、グループごとに類似画像へのタグの付与、またはクエリのタグの削除の要求を計算機１１０２に送る（Ｓ１１１４）。検索結果生成部１１３はユーザの指示に従い、画像データベース１０８に対して、タグフィールドの更新の要求を送る（Ｓ１１１５）。画像データベース１０８は、指定された画像に対してタグを追加／削除し、タグフィールドの更新完了の通知を計算機１１０２に返す（Ｓ１１１６）。計算機１１０２は、ユーザ１１０１にクエリ集合へのフィードバックが完了したことを提示する（Ｓ１１１７）。

以上の処理により、ユーザ１１０１が新たにステップ１１０３からの処理を開始すると、更新されたタグによる検索が可能になり、精度の高い検索結果を得ることができる。

以上を踏まえ、本実施例に記載の画像検索システムは、検索対象となる画像から抽出された検索用画像特徴量が蓄積された記憶部108と、複数の画像がクエリ画像として入力される入力部107と前記クエリ画像から画像特徴量を抽出する抽出部となるクエリ生成部109と、前記画像特徴量を用いて前記記憶部内の前記検索用画像特徴量を検索する検索部110と、前記画像特徴量と類似する前記検索用画像特徴量を抽出したもとの画像を検索結果として表示する表示部103と、前記検索結果を元に前記クエリ画像の重要度を判定する判定部112と、を有することを特徴とする。

係る特徴により、複数のクエリについての類似画像を一括で表示する場合に比べ、特徴の近い類似画像をグループごとにまとめて確認することができるため、検索結果の質が向上する。

実施例１では、画像検索装置１０５を用いて、多数のクエリをグループに分類し、グループごとの検索結果を用いて、画像データベース１０８のタグを更新することで、クエリの精度を高める方法について説明した。本発明の画像検索装置１０５のクエリ分類機能を利用すると、入力された多数の画像に含まれる共通のオブジェクトを精度よく認識し、入力画像集合に対する有用な解析結果を生成することが可能となる。以下、本実施例では、１台以上のカメラから撮影された所定時間の連続フレームを入力とした、映像解析への応用について説明する。

図１２は、カメラ映像中の車両の車種を解析する処理を説明するための図である。画像検索装置１０５への入力は、１台以上のカメラから取得された所定時間の連続するフレーム１２０１である。フレームは、例えば１秒おきに１枚、のように所定の間隔で抽出してもよい。また、リアルタイムにカメラから映像を取得するのではなく、画像・映像蓄積装置１０１に動画ファイル形式で保存されたデータを入力としてもよい。画像データベース１０８にはあらかじめ、車両の画像とタグとして車種の情報を登録しておく。

検索クエリ生成部１０９は、入力されたフレームから車両の含まれる部分領域をクエリオブジェクトとして検出する。画像からの車両領域の抽出は、公知の手段を用いる。例えば、機械学習によって生成した車両専用の識別器を用いて、走査窓を動かしながら画像中の部分領域をしらみつぶしにチェックしていく方法が知られている。

各フレームから得られた複数のクエリオブジェクト、本実施例では車両画像がクエリとなり、本発明の画像検索装置１０５によってグループ化される（１２０２）。各車両画像に関しては、まず、類似画像検索により、検索結果である類似画像が得られる。また、その類似画像に付与されたタグの情報を集計することで、検索キーとして用いたクエリ画像に付与されているタグを推定することができる。推定の方法としては、例えば、得られた類似画像数が１０枚のうち、５枚に車種Ａ、３枚に車種Ｂ、２枚に車種Ｃのタグが付与されていたとすると、車種Ａらしさのスコアは５０％、車種Ｂのスコアは３０％、車種Ｃのスコアは２０％、のように、クエリ画像に付与されたタグの推定結果を出すことができる。スコアの算出において、類似度やデータベース中の該当者数の出現頻度に応じて重み付けをしてもよい。

以上によってクエリ毎に個別の推定結果１２０３が得られる。しかし、シーンによっては背景や遮蔽物の影響が大きく、推定精度が低下する可能性がある。

そこで、グループの分類に従って、推定結果を統合することで、クエリに含まれるノイズの影響を軽減させ、ユーザにとって有用な解析結果のみを提示することが可能になる（１２０４）。推定結果の統合方法は、例えば、個々の推定結果の単純な平均値でもよいし、車種間のスコア差が最も大きくなる推定結果を採用しても良い。

図１３は、画像検索装置１０５が、クエリ分類を用いた映像解析を行う処理手順を説明するためのフローチャートである。以下、図１３の各ステップについて説明する。
（図１３：ステップＳ１３０１）
画像入力部１０６は、画像・映像蓄積装置１０１から、映像データを読み出し、所定間隔でフレームを抽出する。画像検索システム１００に１台以上のカメラが接続された場合は、画像・映像蓄積装置１０１をキャッシュメモリとして機能させ、所定時間の映像データを入力とする。
（図１３：ステップＳ１３０２）
検索クエリ生成部１０９は、複数のフレームから車両領域を検出し、検出された領域の画像から画像特徴量を抽出する。
（図１３：ステップＳ１３０３）
画像検索装置１０５は、ステップＳ１３０２で生成された１つ以上のクエリを用いて、グループ化されたクエリと検索結果を出力する。この処理は図７のＳ７０５〜Ｓ７１１と同様であるが、検索結果には、類似画像のタグ情報も付随されるものとする。
（図１３：ステップＳ１３０４）
検索結果生成部１１３は、各クエリの検索結果から、タグを推定し、タグごとのスコアを算出する。タグの推定方法は、図１２で説明したとおりである。
（図１３：ステップＳ１３０５）
検索結果生成部１１３は、グループごとに、個々のタグ推定結果を統合する。
（図１３：ステップＳ１３０６）
データ出力部１１４は、外部のデバイスに推定結果を出力して本処理フローを終了する。アプリケーションに応じて、表示装置１０３に表示しても良いし、データ格納装置１０４に出力しても良い。例えば、画面に出力する際は、推定結果と、その該当するシーンを並べて表示しても良い。

本発明の画像検索装置１０５について、実施例１では画像へのタグ付与作業への適用について述べ、実施例２ではタグの自動推定機能への応用について述べた。本実施例では、より高度な類似画像検索を実現する方法について述べる。

これまでの実施例で述べてきた類似画像検索では、入力された画像の全体の特徴が類似する画像をデータベースから検索することができた。これに対して、画像の部分領域に着目して、部分が類似する画像を見つけることが出来れば、多様なアプリケーションに応用可能である。例えば、図形商標検索・審査システムにおいては、審査対象の図形の一部に、公知の図形商標と酷似する部分があることを自動的に検出することができれば、審査業務を効率化される。

図１４は、部分類似画像検索を説明するための図である。画像の部分領域を検索対象にするために、画像データベース１０８に保存されている画像に対して、あらかじめ要素図形をクエリオブジェクトとして抽出しておき、要素図形毎に特徴量と抽出もとの画像へのポインタ（画像ＩＤ）を保存しておく（１４０１）。要素図形の抽出方法は、例えば、図形作成ツールによって作られた図形であれば、図形コンポーネントの情報を利用することができるし、その他任意の画像データに関しても公知の画像認識手法によって要素図形に分解することが可能である。

検索時には、クエリ１４０２のような複合図形が与えられると、同様の手法で要素図形を抽出し、抽出された全ての要素図形をクエリとして、類似画像検索をかける。検索対象は、画像データベース１０８の要素図形１４０１である。この結果、実施例１と同様の方法で、クエリが複数のグループに分類される（１４０３）。グループの重要度の計算方法としては、例えば、クエリの数に加えて、データベース中の類似要素図形の数を考慮しても良い。例えば、図１４の場合、単純な円要素はクエリに多数含まれているが、データベース中のほとんどの図形にも含まれるありふれた要素図形であるため、グループの重要度を下げている。検索結果は図１４の１４０４のように、類似要素図形の抽出元の全体図を表示してもよい。

以上の処理により、ユーザは着目する要素毎に検索結果を閲覧することができ、部分類似画像検索結果の質を高めることができる。
図１５は、画像検索装置１０５が、クエリ分類を用いて、部分類似画像検索を行う処理手順を説明するためのフローチャートである。以下、図１５の各ステップについて説明する。
（図１５：ステップＳ１５０１）
検索クエリ生成部１０９は、画像入力部１０６から入力された図形から、要素図形を抽出し、各要素図形から画像特徴量を計算し、クエリとする。
（図１５：ステップＳ１５０２）
画像検索装置１０５は、ステップＳ１５０２で生成された１つ以上のクエリを用いて、グループ化されたクエリと検索結果を出力する。この処理は図７のＳ７０５〜Ｓ７１１と同様である。
（図１５：ステップＳ１５０３）
クエリグループ重要度判定部１１２は、グループに含まれるクエリの数と、データベース中の要素図形の使用頻度から重要度を算出する。データベース内の要素図形の使用頻度は、例えば、類似度が一定以上の類似画像が何件見つかったか、で判断する。
（図１５：ステップＳ１５０４）
検索結果生成部１１３は、グループを重要度で並び替える。また、グループ内の類似画像を類似度順に並び替える。ここで、類似画像そのものではなく、要素図形の抽出元の画像を検索結果として使用しても良い。
（図１５：ステップＳ１５０５）
データ出力部１１４は、外部のデバイスに推定結果を出力して本処理フローを終了する。アプリケーションに応じて、表示装置１０３に表示しても良いし、データ格納装置１０４に出力しても良い。

本発明の実施形態４では、画像検索システム１００をコンテンツクラウドシステムへ組み込んだ構成例について説明する。以下ではまず、コンテンツクラウドシステムの概要を説明し、その後、画像検索システム１００を解析モジュールとしてコンテンツクラウドシステムへ組み込む方法について説明する。画像検索システム１００の構成は実施形態１〜３と同様である。

図１６は、本実施形態３に係るコンテンツクラウドシステム１６００の概略図である。コンテンツクラウドシステム１６００は、ＥｘｔｒａｃｔＴｒａｎｓｆｏｒｍＬｏａｄ（ＥＴＬ）モジュール１６０３、コンテンツストレージ１６０４、検索エンジン１６０５、メタデータサーバ１６０６、マルチメディアサーバ１６０７を有する。コンテンツクラウドシステムは１つ以上のＣＰＵ、メモリ、記憶装置を備えた一般的な計算機上で動作し、システム自体は様々なモジュールで構成されている。また、それぞれのモジュールが独立した計算機で実行されることもあり、その場合、各ストレージとモジュール間はネットワーク等で接続されおり、それらを介してデータ通信を行う分散処理で実現される。

アプリケーションプログラム１６０８は、ネットワーク等を経由してコンテンツクラウドシステム１６００に対してリクエストを送り、コンテンツクラウドシステム１６００はリクエストに応じた情報をアプリケーション１６０８に送信する。

コンテンツクラウドシステム１６００は、入力として映像データ、画像データ、文書データ、音声データなどの任意の形式のデータ１６０１を受け取る。データ１６０１は、例えば、図形商標とその広報文書、ウェブサイトの画像とＨＴＭＬ文書、クローズドキャプションまたは音声付き映像データなどであり、構造化されたデータでもよいし非構造化データでもよい。コンテンツクラウドシステム１６００へ入力されるデータはストレージ１６０２に一時的に蓄えられる。

ＥＴＬ１６０３は、ストレージ１６０２を監視しており、ストレージ１６０２へデータ１６０１が格納されると、ファイルシステムから得られる情報（メタデータ）をコンテンツストレージ１６０４にアーカイブ化して保存する。

コンテンツストレージ１６０４は、ＥＴＬ１６０３が抽出した情報およびストレージ１６０２に一時的に蓄えられている処理前のデータ１６０１を保存する。

検索エンジン１６０５は、アプリケーションプログラム１６０８からのリクエストがあると、例えばテキスト検索であれば、ＥＴＬ１６０３が作成したインデックスを元にテキスト検索を実施し、検索結果をアプリケーションプログラム１６０８に送信する。検索エンジン１６０５のアルゴリズムに関しては、公知の技術を適用することができる。検索エンジン１６０５はテキストだけでなく、画像、音声などのデータを検索するモジュールを搭載することもできる。

メタデータサーバ１６０６は、ＲＤＢ（ＲｅｌａｔｉｏｎａｌＤａｔａＢａｓｅ）に蓄えられたメタデータを管理する。例えば、ＥＴＬ１６０３が抽出した、データのファイル名、データ登録年月日、元データの種類、メタデータテキスト情報、などがＲＤＢに登録されていると仮定する。アプリケーション１６０８からリクエストの要求があると、メタデータサーバ１６０６はそのリクエストに従って、ＲＤＢ内の情報をアプリケーション１６０８に送信する。

マルチメディアサーバ１６０７は、コンテンツストレージ１６０４にアーカイブ化されたデータに対して、そのデータに合わせた情報抽出処理モジュール１６０９を動作させ、データの内容に関するメタデータを抽出する。

情報抽出処理モジュール１６０９は、例えば、テキストのインデックスモジュール、画像認識モジュールなどで構成されている。メタデータの例としては、時刻、Ｎ−ｇｒａｍインデックス、画像認識結果（物体名、画像中の領域座標）、画像特徴量とその関連語、音声認識結果、などが該当する。情報抽出モジュール１６０９として、何らかの情報（メタデータ）抽出を行うプログラムすべてを用いることができ、公知の技術を採用することができるので、ここでは情報抽出処理モジュール１６０９の説明を省略する。

各メディアデータから抽出されたメタデータは、互いに関連付けられ、グラフ形式で構造化されたグラフＤＢ１６１１に蓄積される。関連図付けの一例としては、コンテンツストレージ１６０４に蓄えられた「リンゴ」という音声認識結果に対して、元の音声ファイル、画像データ、関連語などの対応関係をネットワーク形式で表現することができる。マルチメディアサーバ１６０７は、アプリケーション１６０８からのリクエストがあると、それに応じたメタ情報をアプリケーション１６０８に送信する。例えば、「リンゴ」というリクエストがあると、構築されたグラフ構造に基づき、リンゴを含む画像、平均相場、アーティストの曲名、などのネットワークグラフ上で関連付けられたメタ情報を提供する。

上記のコンテンツクラウドシステム１６００において、画像検索システム１００は、２通りの方法で利用される。第一に、情報抽出に必要な辞書データ１６１０を作成するモジュールとしての利用方法である。実施例１のように、画像に対してタグを付与する作業を効率化することが出来れば、高精度な情報抽出が実現される。第二に、情報抽出処理モジュール１６０９自体の機能として利用する方法である。実施例２のように、映像データが与えられた際に、推定されたタグとそのスコアをグラフＤＢに登録させることで、情報抽出処理モジュールとして動作させることができる。マルチメディアサーバ１６０７に複数の情報抽出処理モジュール１６０９が組み込まれる場合は、１台の計算機のリソースをシェアしてもよいし、モジュール毎に独立した計算機を用いてもよい。
＜実施の形態４：まとめ＞
以上のように、本発明に係る画像検索システム１００は、コンテンツクラウドシステム１６００の構成要素として適用することができる。コンテンツクラウドシステム１６００は、各メディアデータに共通して利用可能なメタデータを生成することにより、メディア間にまたがって情報を統合することができる。これにより、付加価値がより高い情報をユーザへ提供することが期待される。

本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ｄての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。

上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

１００：画像検索システム、
１０１：画像・映像記憶装置、
１０２：入力装置、
１０３：表示装置、
１０４：データ格納装置、
１０５：画像検索装置、
１０６：画像入力部、
１０７：ユーザ操作入力部、
１０８：画像データベース、
１０９：検索クエリ生成部、
１１０：類似画像検索部、
１１１：クエリ分類部、
１１２：クエリグループ重要度判定部、
１１３：検索結果生成部、
１１４：データ出力部、
１６００：コンテンツクラウドシステム。

Claims

検索対象となる画像から抽出された検索用画像特徴量が蓄積された記憶部と、
複数の画像がクエリ画像として入力される入力部と、
前記クエリ画像から画像特徴量を抽出する抽出部と、
前記画像特徴量を用いて前記記憶部内の前記検索用画像特徴量を検索する検索部と、
前記画像特徴量と類似する前記検索用画像特徴量を抽出した元の画像を検索結果として表示する表示部と、
複数の前記クエリ画像を複数のグループに分類する分類部と、
前記グループの重要度を求めるグループ重要度判定部と、
前記グループを前記重要度の順に並び替え、前記グループ内では前記検索結果を類似度の順に並び替えて、前記グループごとに前記検索結果を出力する検索結果生成部と、
を有する画像検索システム。
請求項１に記載の画像検索システムであって、
前記記憶部には、さらに前記画像のタグ情報が蓄積され、
前記表示部は、前記クエリ画像と前記検索結果である元の画像とを対応付けて表示することを特徴とする画像検索システム。
請求項１に記載の画像検索システムであって、
前記記憶部は、前記画像および前記画像の一部から抽出した検索対象オブジェクトと蓄積し、前記画像および前記検索対象オブジェクトから抽出されたそれぞれの前記検索用画像特徴量を蓄積し、
前記抽出部は、前記クエリ画像の一部をクエリオブジェクトとして抽出し、前記クエリオブジェクトから前記画像特徴量を抽出することを特徴とする、画像検索システム。
コンピュータに、
検索対象となる画像から抽出された検索用画像特徴量が蓄積される記憶ステップと、
複数の画像がクエリ画像として入力される入力ステップと、
前記クエリ画像から画像特徴量を抽出する抽出ステップと、
前記画像特徴量を用いて、蓄積された前記検索用画像特徴量を検索する検索ステップと、
前記画像特徴量と類似する前記検索用画像特徴量を抽出した元の画像を検索結果として表示する表示ステップと、
複数の前記クエリ画像を複数のグループに分類する分類ステップと、
前記グループの重要度を求める重要度判定ステップと、
前記グループを前記重要度の順に並び替え、前記グループ内では前記検索結果を類似度の順に並び替えて、前記グループごとに前記検索結果を出力する検索結果生成ステップと、
を実行させることを特徴とするプログラムが記録された情報記録媒体。
請求項４に記載の情報記録媒体であって、
前記記憶ステップでは、さらに前記画像のタグ情報が蓄積され、
前記表示ステップは、前記クエリ画像と前記検索結果である元の画像とを対応付けて表示することを特徴とする特徴とするプログラムが記録された情報記録媒体。
請求項４に記載の情報記録媒体であって、
前記記憶ステップは、前記画像および前記画像の一部から抽出した検索対象オブジェクトと蓄積し、前記画像および前記検索対象オブジェクトから抽出されたそれぞれの前記検索用画像特徴量を蓄積し、
前記抽出ステップは、前記クエリ画像の一部をクエリオブジェクトとして抽出し、前記クエリオブジェクトから前記画像特徴量を抽出することを特徴とするプログラムが記録された情報記録媒体。