JP4632830B2

JP4632830B2 - 画像検索方法及び画像検索装置

Info

Publication number: JP4632830B2
Application number: JP2005086748A
Authority: JP
Inventors: 大樹工藤; 博文西川; 嘉明加藤
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-08-19
Filing date: 2005-03-24
Publication date: 2011-02-16
Anticipated expiration: 2025-03-24
Also published as: JP2007199749A

Description

この発明は、検索対象となる画像の中から、ユーザが指定した画像と類似した画像を見つけ出す画像検索方法及び画像検索装置に関するものである。

従来から、画像の検索においてはその画像に関連するキーワードを用いた検索が一般的である。また、検索のキーとなる基準画像をもとにより直感的に類似する画像を検索する手段としては、基準画像から、色、テクスチャ、輪郭等の特徴量を抽出し、それに基づいて検索を行う方法がある。一方で、基準画像を領域に分割して領域毎に画像特徴量を抽出し、検索対象となる画像と類似度計算を行う方法も提案されている。

一般的に、撮影された画像には被写体部分と背景部分が存在している。画像全体から特徴量を抽出した場合は、その特徴量には被写体の特徴量と背景の特徴量が混在している。そのため、特に背景部分が大きな領域を占める画像の場合には、その背景の特徴量が著しく検索精度を下げる要因となっている。

この問題を解決するために、特許文献１では、画像を幾つかの領域に分割して特徴量を抽出し、類似度計算する方法が提案されている。

特開２００４−２１４３０号公報

しかし、特許文献１の方法では領域分割の手法は矩形であり、明確な被写体領域の特定方法は示されていない。また、画像の特徴量には大変多くの種類があり、色、形状、テクスチャ等、それぞれが画像の異なった特徴を示している。類似度の計算において重視するべき特徴量は、検索対象の画像やユーザの嗜好によって異なるので所望の結果を得られにくい。更に、参照画像数が膨大な場合、多くの特徴量の全てに関して類似度計算を行うと、大規模な計算処理が必要になり、検索システムの高コスト化やユーザの利便性を損ねかねないという課題があった。

この発明は上記のような課題を解決するためになされたもので、特徴量同士の相互利用により、特徴量抽出及び類似度計算の高速化を図ると共に、適応的な領域分割と適切な特徴量の選択により、検索精度と速度の向上させた画像検索方法及び画像検索装置を得ることを目的とする。

この発明に係る画像検索方法及び画像検索装置は、検索のキーとなる基準画像から色配置特徴量、代表的色の特徴量、領域分割特徴量、形状特徴量を抽出する手段と、前記特徴量を相互利用することにより、画像の注目領域を特定する手段を備える。

この発明によれば、画像の特徴量の抽出と類似度計算を高速に行うことができると共に、適切な領域分割と特徴量の選択が可能になり、検索精度が向上する効果が得られる。

実施の形態１．
図１は、この発明の実施の形態１における画像検索方法を示すブロック図である。本画像検索方法は、入力された検索のキーとなる基準画像、以下基準画像１０１をブロックに分割し、ブロック毎の平均色を計算し、色の配置に関する特徴量、以下色配置特徴量１０２を抽出する色配置抽出部２０１と、画像の代表色を計算し、画像の代表色を示す特徴量、以下代表色特徴量１０３を抽出する代表色抽出部２０２と、基準画像１０１中の各画素の色を前記代表色に置き換えた画像、以下置換画像１０４を作成する画素置換部２０３と、置換画像１０４から画像中の注目される領域である注目領域と注目されない領域である非注目領域を推定して、領域を分割した特徴量、以下領域分割特徴量１０５を抽出する領域分割部２０４と、画像中の物体の形状を計算し、形状の特徴量、以下形状特徴量１０６を抽出する形状抽出部２０５と、抽出された前記各特徴量を格納する特徴量バッファ２０６と、参照画像群の各特徴量のデータベースである特徴量データベース２０７と、基準画像と参照画像の特徴量から類似度を計算する画像類似度計算部２０８を有している。

色配置抽出部２０１に入力された基準画像１０１は矩形に分割され、ブロック毎に平均色、以下ブロック平均色を算出し、色配置特徴量１０２となる。

色配置特徴量１０２と基準画像１０１を用いて、代表色抽出部２０２では、代表色特徴量１０３として画像の代表色、以下画像代表色を抽出する。代表色を抽出する際にはクラスタリングが用いられることが多い。例えば、代表色抽出部２０２では、色配置特徴量１０２の情報をクラスタリングの初期値に用いることで、画像代表色の抽出の高速化が可能である。従来は、代表色を抽出する際に何れの情報もなかったため、抽出の計算処理に時間がかかるという問題があった。前記ブロック平均色を用いることで、代表色抽出部２０２では代表色を抽出する際の計算処理の高速化が可能となる。

更に、画素置換部２０３において、基準画像１０１の各画素を画像代表色に置換し、置換画像１０４を作成する。図２は画像代表色をもとに基準画像から置換画像を作成する場合の例であり、図中左の基準画像から右の置換画像を作成している。図２ではグレースケール画像の画像代表色を白、黒の二値として置換を行っている。

この置換画像１０４を領域分割部２０４に入力する。置換画像１０４は基準画像１０１よりも遥かに少ない色数で表現されており、置換画像１０４を用いることにより、対象画像を高速に注目領域と非注目領域に領域分割することが可能となる。具体的には、それぞれの代表色の部分をオブジェクト１、オブジェクト２・・・、オブジェクトｘとし、中心にあるオブジェクトを注目領域とする、或いは画像代表色の輝度が高いオブジェクトを注目領域とする、等の方法がある。この領域分割特徴量１０５には、画像を領域に分割した際の各領域の位置情報、その領域が注目領域か非注目領域か等の情報が含まれている。

領域分割特徴量１０５と置換画像１０４を形状抽出部２０５に入力して各オブジェクトの形状抽出を行う。領域分割特徴量１０５を用いることで、前述のように注目領域と非注目領域の位置情報がわかる。従来のように基準画像から直接に形状を計算する方法よりも、高速に形状を計算し、形状特徴量１０６を抽出することができる。

前記方法で抽出した各特徴量（色配置特徴量、代表色特徴量、領域分割特徴量、形状特徴量）１０７は特徴量バッファ２０６に格納される。そして、特徴量データベース２０７に保存されている、参照画像の各特徴量１０８と画像類似度計算部２０８で類似度計算を行い、画像類似度を算出し、類似度計算結果１０９を出力する。

以上のように、この実施の形態１によれば、画像特徴量を抽出する際に他の画像特徴量を用いることで、各特徴量の高速な検索が可能となる。検索の際に有効な特徴量は画像によって異なる上、特徴量には抽出の計算処理に時間を要するものも多い。実施の形態１では、色配置特徴量を用いて代表色特徴量を、領域分割特徴量と置換画像により形状特徴量をそれぞれ高速に抽出している。その結果、画像の多数の特徴量を短時間で抽出することができるので、高速で高精度の画像検索が可能となる効果が得られる。

実施の形態２．
図３はこの発明の実施の形態２における画像検索方法を示したブロック図である。本画像検索方法は、基準画像１０１から領域分割特徴量１０５を抽出する領域分割部２０４と、領域分割特徴量１０５と基準画像１０１から代表色特徴量１０３を抽出する代表色抽出部２０２と、置換画像１０４を作成する画素置換部２０３と、置換画像１０４と領域分割特徴量１０５より形状特徴量１０６を抽出する形状抽出部２０５と、前記各特徴量を格納する特徴量バッファ２０６と、参照画像群の各特徴量のデータベースである特徴量データベース２０７と、基準画像と参照画像の特徴量から類似度を計算する画像類似度計算部２０８を有している。

実施の形態２では、先ずユーザに基準画像１０１における注目領域を指定させた上で、上記実施の形態１に類する検索を行う。図４はユーザによる簡単な注目領域指定の様子である。ユーザはごく簡易に、画像における注目領域、例えば注目物となる被写体、または被写体の注目部分（図中枠内の花の部分）の領域を矩形で指定するのみでよい。

このユーザによる注目領域指定情報１１０をもとに、領域分割部２０４で基準画像１０１を注目領域と非注目領域に領域分割し、領域分割特徴量１０５を抽出する。この領域分割特徴量１０５には、画像を領域に分割した際の各領域の位置情報、その領域が注目領域か非注目領域か等の情報が含まれている。

領域分割特徴量１０５と基準画像１０１から、代表色抽出部２０２で基準画像１０１の代表色、即ち代表色特徴量１０３を抽出する。ここでは、ユーザによって指定された領域、即ち注目領域では、高精度の代表色抽出を行い、指定されなかった領域、即ち非注目領域では、速度を重視した画像代表色抽出を行う。従って、全領域で高精度の画像代表色抽出を行う場合よりも、高速でありながら類似度計算時の精度を落とすことなく画像代表色の抽出ができる。

更に画素置換部２０３で、基準画像１０１の画素を画像代表色に置き換え、置換画像１０４を作成する。

この置換画像１０４と領域分割特徴量１０５を用いて、形状抽出部２０５で形状特徴量１０６を抽出する。実施の形態１と同様に、領域分割特徴量１０５を用いることで高速な形状の計算と形状特徴量１０６の抽出が可能になる。

前記方法で抽出した各特徴量１０７は特徴量バッファ２０６に格納される。そして、特徴量データベース２０７に保存されている、参照画像の各特徴量１０８と画像類似度計算部２０８で類似度計算を行い、画像類似度を算出し、類似度計算結果１０９を出力する。

以上のように、この実施の形態２によれば、画像特徴量を抽出する際に他の画像特徴量を用いることで、各特徴量の高速な検索が可能となる。また、ユーザがごく簡易に基準画像の注目領域を指定するのみで、注目領域指定情報により、基準画像から代表色特徴量が高速で高精度に抽出できる。更に、領域分割特徴量により置換画像から高速に形状特徴量を抽出できる。その結果、画像の多数の特徴量を短時間で抽出することができるので、高速で高精度の画像検索が可能となる効果が得られる。

実施の形態３．
図５はこの発明の実施の形態３における画像検索方法を示したブロック図である。本画像検索方法は、入力する基準画像１０１から色配置特徴量１０２を抽出する色配置抽出部２０１と、色配置特徴量１０２から基準画像１０１の注目領域を推定する注目領域推定部２０９と、ユーザによる注目領域判定を行う注目領域判定部２１０と、基準画像１０１から領域分割特徴量１０５を抽出する領域分割部２０４と、基準画像１０１から代表色特徴量１０３を抽出する代表色抽出部２０２と、置換画像１０４を作成する画素置換部２０３と、置換画像１０４から形状特徴量１０６を抽出する形状抽出部２０５と、前記各特徴量を格納する特徴量バッファ２０６と、参照画像群の各特徴量のデータベースである特徴量データベース２０７と、基準画像と参照画像の特徴量から類似度を計算する画像類似度計算部２０８を有している。

色配置抽出部２０１に入力された基準画像１０１は、矩形に分割され、ブロック平均色を算出し、色配置特徴量１０２となる。

この色配置特徴量１０２を注目領域推定部２０９に入力する。色配置抽出部２０１から、注目領域推定部２０９、及びその後の注目領域判定部２１０までの、ユーザによる注目領域判定のフローチャートを図６に示す。

先ずステップＳＴ１０１において、入力された基準画像１０１の画像信号から色配置抽出部２０１で色配置特徴量１０２を抽出する。次にステップＳＴ１０２において、注目領域推定部２０９で色配置特徴量１０２から注目物の含まれる領域、即ち注目領域を推定する。次にステップＳＴ１０３において、ＳＴ１０２で推定された注目領域をユーザに提示する。ここで提示される情報を以下、注目領域推定情報１１１とする。次にステップＳＴ１０４において、注目領域判定部２１０でユーザは提示された注目領域が正しいか否かの判定を行い、正しければ領域分割部２０４へ移行する。正しくない場合はステップＳＴ１０６へ進む。ステップＳＴ１０６では、注目領域の第２候補を提示する。若しくは抽出パラメータやアルゴリズムを変更して、注目領域推定部２０９で再度注目領域の推定を行い、注目領域としてユーザに判定されるまで注目領域の推定と提示を繰り返す。色配置特徴量を用いた注目領域の具体的な推定方法としては、色配置の輝度の高い部分を注目領域と推定する方法や、色配置の中心にある色と近い色の部分を注目領域とする方法が例として挙げられる。

注目領域判定部２１０で得られたユーザによる注目領域判定結果１１２をもとに、領域分割部２０４で注目領域と非注目領域の分割を行い、領域分割特徴量１０５を抽出する。この領域分割特徴量１０５には、画像を領域に分割した際の各領域の位置情報、その領域が注目領域か非注目領域か等の情報が含まれている。

続いて、領域分割特徴量１０５と基準画像１０１から、代表色抽出部２０２で基準画像１０１の画像代表色、即ち代表色特徴量１０３を抽出する。ここでは、実施の形態２と同様に、ユーザによって注目領域と判定された領域では高精度の代表色抽出を行い、それ以外の領域、即ち非注目領域では、速度を重視した画像代表色抽出を行う。従って、全領域で高精度の画像代表色抽出を行う場合よりも、高速でありながら類似度計算時の精度を落とすことなく画像代表色の抽出ができる。

更に画素置換部２０３で、基準画像１０１と代表色特徴量１０３から置換画像１０４を作成する。

次に形状抽出部２０５で、置換画像１０４と領域分割特徴量１０５から形状特徴量１０６を抽出する。実施の形態１、２と同様に、領域分割特徴量１０５を用いることで高速な形状の計算と形状特徴量１０６の抽出が可能になる。

以上のように、この実施の形態３によれば、注目領域の自動推定とユーザによる判定により、基準画像から代表色特徴量が高速で高精度に抽出できる。更に、領域分割特徴量により置換画像から高速に形状特徴量を抽出できる。その結果、画像の多数の特徴量を短時間で抽出することができるので、ユーザの入力の負担を抑えつつ、高速で高精度の画像検索が可能となる効果が得られる。

実施の形態４．
図７はこの発明の実施の形態４における画像検索方法を示したフローチャートである。このフローチャートでＳＴ２０２以降の部分が、実施の形態１〜３における画像類似度計算部２０８での計算方法について示している。

先ず、ステップＳＴ２０１において入力された基準画像１０１の画像信号から、前述の各種特徴量を抽出する。次にステップＳＴ２０２において、特徴量データベース２０７にアクセスし、参照画像について特徴量を参照し、画像類似度計算部２０８で類似度計算を行う。この類似度計算結果１０９は特徴量バッファ２０６に格納される。ステップＳＴ２０３では、高速な類似度計算が可能な特徴量、例えば比較的データ量の少ない特徴量等に限り、特徴量データベース２０７から参照画像の特徴量を参照し、類似度計算を行う。次にステップＳＴ２０４では、ＳＴ２０３で算出された類似度が閾値よりも高いか否かを判定し、高い場合はＳＴ２０５へ進み、低い場合はＳＴ２０６に進む。ステップＳＴ２０５では、一部の特徴量の類似度が閾値以上と判定された参照画像について、他の特徴量に関しても類似度計算を行い、計算結果を特徴量バッファ２０６に格納する。ステップＳＴ２０６において、参照画像中の全ての画像の類似度を参照していれば、特徴量バッファ２０６に格納した類似度計算結果１０９を出力する。全ての画像を参照していなければ、ステップＳＴ２０２に戻る。

以上のように、この実施の形態４によれば、膨大な特徴量データベースを参照する場合でも、一部の特徴量のみで参照画像を絞り込み、その後絞り込まれた参照画像のみについて、残りの特徴量で類似度計算することができる。その結果、類似度計算すべき特徴量を減らすことができるので、高速な画像検索が可能となる効果が得られる。

実施の形態５．
図８は前述の実施の形態１〜３における、画像類似度計算部２０８での計算方法について説明している。上図が基準画像を、下図が参照画像を示す。従来は基準画像を矩形に複数分割して得たブロックの特徴量を、参照画像の対応する位置のブロックの特徴量、若しくはその周辺のブロックの特徴量と類似度計算していた。従って、基準画像と参照画像においてそれぞれの注目領域の位置が著しく異なる場合には、高精度の検索は困難であった。

実施の形態５では、置換画像１０４での自動抽出（実施の形態１参照）、またはユーザによる注目領域指定情報１１０（実施の形態２）、或いは推定された注目領域のユーザによる注目領域判定結果１１２（実施の形態３）により、図８に示すように、抽出した注目領域（被写体等）同士、及び非注目領域（背景等）同士による類似度計算を行うことができる。

以上のように、実施の形態５によれば、基準画像と参照画像の注目領域の位置がそれぞれの画像内で異なっている場合でも、直接に注目領域同士による類似度計算を行うことで、高精度な画像検索を行うことが可能となる効果が得られる。

実施の形態６．
図９はこの発明の実施の形態６における画像検索方法を示したフローチャートである。このフローチャートでＳＴ３０２以降の部分が、実施の形態１〜３における画像類似度計算部２０８での計算方法について示している。

先ずステップＳＴ３０１において、入力された基準画像１０１の画像信号から前述の各特徴量を抽出する。次にステップＳＴ３０２において、特徴量データベース２０７中の代表的な画像、以下代表画像と、基準画像１０１の特徴量の類似度計算を画像類似度計算部２０８で行う。ここで、代表画像は特徴量データベース２０７中に予め登録されているものとする。代表画像には、特徴量データベース２０７中の様々な画像を分類する際に、各分類の代表となるような画像を選ぶものとする。次にステップＳＴ３０３において、ＳＴ３０２における類似度計算結果１０９を出力する。次にステップＳＴ３０４では、出力された代表画像との類似度計算結果１０９から、最も類似していると思われる代表画像をユーザから選択入力する。次にステップＳＴ３０５では、ＳＴ３０４で選ばれた代表画像における各特徴量の類似度から、重要な特徴量、即ち最もユーザが重視していると思われる特徴量を推定し、各特徴量の重み付けを設定する。例えば、類似度が高い順に特徴量に重み付けを設定する方法がある。次にステップＳＴ３０６では、全ての参照画像について基準画像との類似度計算を行い、ＳＴ３０５で設定された重み付けを用いて、各特徴量の類似度から総合的な類似度を算出する。

以上のように、この実施の形態６によれば、特徴量データベースから代表的な画像を選択し、ユーザが簡易な入力作業、即ち最も類似した画像の選択を行うことのみで、膨大な画像から、ユーザがより所望する検索結果を得ることができる。即ち、より高精度の画像検索が可能となる効果が得られる。

実施の形態７．
図１０はこの発明の実施の形態７における画像検索方法を示すブロック図である。基準画像からサブサンプリング等の処理により、解像度を小さくした画像（以下、縮小画像）１１３を作成する画像縮小部２１１と、基準画像信号及び縮小画像信号からそれぞれ色配置特徴量１０２、縮小画像色配置特徴量１１４を抽出する第１、第２の色配置抽出部２０１と、基準画像信号及び縮小画像信号からそれぞれ代表色特徴量１０３、縮小画像代表色特徴量１１５を抽出する第１、第２の代表色抽出部２０２と、縮小画像１１３中の各画素の色を前記代表色に置き換えた画像（以下、置換縮小画像）１１６を作成する画素置換部２０３と、置換縮小画像１１６から画像中の注目される領域である注目領域と注目されない領域である非注目領域を推定して、領域分割特徴量１０５を抽出する領域分割部２０４と、抽出された前記各特徴量を格納する特徴量バッファ２０６と、参照画像群の各特徴量データベース２０７と、基準画像１０１と参照画像の各特徴量から類似度を計算する類似度計算部２０８を有している。

実施の形態７では、非常に高い解像度（数千画素×数千ライン以上）の超高精細画像の検索を行う場合を想定している。超高精細画像データにおいては、全ての画素から特徴量を抽出することは処理時間の観点から困難である。その一方で、こうした超高精細画像データは芸術作品の電子アーカイブ等に用いられ、各作品のタッチ、作風を良く表現することが求められる。そのためには、作品全体を表す特徴量と、各作品の細部（一部）を表す特徴量が必要である。細部を表す特徴量に関しては、高解像度のデータから特徴量を抽出する必要がある。そこで、以下に、実施の形態１に準ずる方法で、処理時間を削減し、かつ各作品を的確に表す特徴量を抽出する方法を示す。

先ず、画像縮小部２１１において、入力する基準画像１０１のサブサンプリングを行い、縮小画像１１３を作成する。

第１の色配置特徴量抽出部２０１において、縮小画像１１３から縮小画像色配置特徴量１１４を抽出する。

第１の代表色抽出部２０２において、縮小画像１１３と縮小画像色配置特徴量１１４から縮小画像代表色特徴量１１５を抽出する。実施の形態１で述べたように、クラスタリングの初期値に縮小画像色配置特徴量１１４を用いることで、縮小画像代表色特徴量１１５抽出の高速化が可能である。

縮小画像１１３からの抽出ではあるが、この縮小画像色配置特徴量１１４及び縮小画像代表色特徴量１１５は、基準画像１０１全体の大まかな色配置を表すのに充分である。

更に、画素置換部２０３において、縮小画像１１３と縮小画像代表色特徴量１１５から縮小画像１１３の各画素を縮小画像代表色特徴量１１５で置換し、置換縮小画像１１６を作成する。

置換縮小画像１１６を領域分割部２０４に入力し、注目領域と非注目領域に分割して、領域分割特徴量１０５を抽出する。

基準画像１０１と領域分割特徴量１０５を用いて、注目領域の詳細な色配置特徴量１０２、代表色特徴量１０３、形状特徴量１０６をそれぞれ第２の色配置抽出部２０１、第２の代表色抽出部２０２、形状抽出部２０５から抽出する。場合によっては、テクスチャ等、他の特徴量の抽出を行ってもよい。

このように、領域を分割することで、基準画像１０１から直接特徴量を抽出する領域を削減することで、処理時間の増大を抑えながら、注目領域においては各作品（基準画像１０１）を的確に表す特徴量を抽出することができる。

以上で抽出した各特徴量１０７（画像全体を表す縮小画像色配置特徴量１１４、縮小画像代表色特徴量１１５、注目領域と非注目領域を表す領域分割特徴量１０５、注目領域を詳細に表す色配置特徴量１０２、代表色特徴量１０３、形状特徴量１０６）は特徴量バッファ２０６に格納される。特徴量データベース２０７に格納されている参照画像の各特徴量１０８と類似度計算部２０８で類似度計算を行い、画像類似度を算出し、類似度計算結果１０９を出力する。

以上のように、この実施の形態７によれば、画像全体を表す特徴量を抽出する際に、サブサンプリングによる、縮小画像１１３を用いることで高速化を図り、高速に抽出した特徴量から注目領域を推定し、注目領域からは詳細な特徴量を抽出することで、超高精細画像を高速、高精度に検索することが可能である。

なお、実施の形態１〜７において、画像特徴量データベースには参照画像とその特徴量の両方が格納されている。データベースの別形態として、参照画像のみを格納したデータベースを別に設け、画像特徴量データベースには参照画像の特徴量のみを格納し、前記参照画像と特徴量を関連付けしておく、という構成をとってもよい。この構成により、類似度計算結果から画像特徴量データベースを参照した後、前記関連付けにより参照画像データベースを参照するという方法をとることも可能である。

この発明の実施の形態１における画像検索方法を示すブロック図である。この発明の実施の形態１による、基準画像とそれをもとに作成した置換画像を示す図である。この発明の実施の形態２における画像検索方法を示したブロック図である。この発明の実施の形態２における、ユーザによる簡単な注目領域指定の様子を示す図である。この発明の実施の形態３における画像検索方法を示したブロック図である。この発明の実施の形態３における、ユーザによる注目領域判定のフローチャートである。この発明の実施の形態４における画像検索方法を示したフローチャートである。この発明の実施の形態５における、類似度計算部の計算方法について説明した図である。この発明の実施の形態６における画像検索方法を示したフローチャートである。この発明の実施の形態７における画像検索方法を示すブロック図である。

符号の説明

１０１基準画像、１０２色配置特徴量、１０３代表色特徴量、１０４置換画像、１０５領域分割特徴量、１０６形状特徴量、１０７基準画像の各特徴量、１０８参照画像の各特徴量、１０９類似度計算結果、１１０注目領域指定情報、１１１注目領域推定情報、１１２注目領域判定結果、１１３縮小画像、１１４縮小画像色配置特徴量、１１５縮小画像代表色特徴量、１１６置換縮小画像、２０１色配置抽出部、２０２代表色抽出部、２０３画素置換部、２０４領域分割部、２０５形状抽出部、２０６特徴量バッファ、２０７特徴量データベース、２０８画像類似度計算部、２１１画像縮小部。

Claims

演算処理手段及び特徴量バッファを有する画像検索装置によって実行され、検索の対象となる参照画像群から検索キーである基準画像に類似する画像を検索するための画像検索方法において、
前記演算処理手段が、前記基準画像をブロックに分割し、ブロック毎の平均色を示す色配置特徴量を抽出して前記特徴量バッファに格納するステップと、
前記演算処理手段が、前記色配置特徴量を用いて前記基準画像から、前記基準画像全体の代表色を示す代表色特徴量を抽出して前記特徴量バッファに格納するステップと、
前記演算処理手段が、前記基準画像の画素を前記代表色特徴量で示される代表色で置き換えた置換画像を作成するステップと、
前記演算処理手段が、前記置換画像を注目領域及び非注目領域に領域分割して、注目領域及び非注目領域とそれぞれの位置情報を含む領域分割特徴量を抽出して前記特徴量バッファに格納するステップと、
前記演算処理手段が、前記置換画像と前記領域分割特徴量から前記注目領域と前記非注目領域の形状を抽出し、形状特徴量として前記特徴量バッファに格納するステップと、
前記演算処理手段が、前記特徴量バッファに格納された前記各特徴量と、前記参照画像群の各特徴量から類似度を計算するステップとを備えることを特徴とする画像検索方法。
前記類似度を計算するステップにおいて、前記抽出した複数の特徴量のうち高速に類似度計算が可能な特徴量を用いて前記参照画像を絞り込み、
絞り込んだ参照画像に対して、残る特徴量から前記基準画像との類似度を算出することを特徴とする請求項１記載の画像検索方法。
前記類似度を計算するステップにおいて、前記参照画像の注目領域を抽出し、前記基準画像と前記参照画像で抽出した注目領域同士の類似度を計算することを特徴とする請求項１記載の画像検索方法。
前記類似度を計算するステップにおいて、予め登録されている前記参照画像群の代表画像を用いて前記基準画像との類似度計算を行ってその結果をユーザに提示し、
ユーザにより選択された前記代表画像から前記各特徴量の重み付けを設定し、重み付けされた前記各特徴量を用いて前記基準画像と前記参照画像の類似度を計算することを特徴とする請求項１記載の画像検索方法。
演算処理手段及び特徴量バッファを有する画像検索装置によって実行され、検索の対象となる参照画像群から検索キーである基準画像に類似する画像を検索するための画像検索方法において、
前記演算処理手段が、入力された基準画像の注目領域指定情報を用いて、前記基準画像を注目領域及び非注目領域に領域分割して、注目領域及び非注目領域とそれぞれの位置情報を含む領域分割特徴量を抽出して前記特徴量バッファに格納するステップと、
前記演算処理手段が、前記領域分割特徴量を用いて前記基準画像から、前記基準画像全体の代表色を示す代表色特徴量を抽出して前記特徴量バッファに格納するステップと、
前記基準画像の画素を前記代表色特徴量で示される代表色で置き換えた置換画像を作成するステップと、
前記演算処理手段が、前記置換画像と前記領域分割特徴量から前記注目領域と前記非注目領域の形状を抽出し、形状特徴量として前記特徴量バッファに格納するステップと、
前記演算処理手段が、前記特徴量バッファに格納された前記各特徴量と、参照画像群の各特徴量から類似度を計算するステップとを備えることを特徴とする画像検索方法。
前記類似度を計算するステップにおいて、前記抽出した複数の特徴量のうち高速に類似度計算が可能な特徴量を用いて前記参照画像を絞り込み、
絞り込んだ参照画像に対して、残る特徴量から前記基準画像との類似度を算出することを特徴とする請求項５記載の画像検索方法。
前記類似度を計算するステップにおいて、前記参照画像の注目領域を抽出し、前記基準画像と前記参照画像で抽出した注目領域同士の類似度を計算することを特徴とする請求項５記載の画像検索方法。
前記類似度を計算するステップにおいて、予め登録されている前記参照画像群の代表画像を用いて前記基準画像との類似度計算を行ってその結果をユーザに提示し、
ユーザにより選択された前記代表画像から前記各特徴量の重み付けを設定し、重み付けされた前記各特徴量を用いて前記基準画像と前記参照画像の類似度を計算することを特徴とする請求項５記載の画像検索方法。
演算処理手段及び特徴量バッファを有する画像検索装置によって実行され、検索の対象となる参照画像群から検索キーである基準画像に類似する画像を検索するための画像検索方法において、
前記演算処理手段が、前記基準画像をブロックに分割し、ブロック毎の平均色を示す色配置特徴量を抽出して前記特徴量バッファに格納するステップと、
前記演算処理手段が、前記色配置特徴量から基準画像中の注目領域を推定するステップと、
前記演算処理手段が、推定された注目領域が正しいか否かの判定を受けて、前記基準画像を注目領域及び非注目領域に領域分割して、注目領域及び非注目領域とそれぞれの位置情報を含む領域分割特徴量を抽出して前記特徴量バッファに格納するステップと、
前記演算処理手段が、前記領域分割特徴量を用いて基準画像から、前記基準画像全体の代表色を示す代表色特徴量を抽出して前記特徴量バッファに格納するステップと、
前記演算処理手段が、前記基準画像の画素を前記代表色特徴量で示される代表色で置き換えた置換画像を作成するステップと、
前記演算処理手段が、前記置換画像と前記領域分割特徴量から前記注目領域と前記非注目領域の形状を抽出し、形状特徴量として前記特徴量バッファに格納するステップと、
前記演算処理手段が、前記特徴量バッファに格納された前記各特徴量と、前記参照画像群の各特徴量から類似度を計算するステップと
を備えることを特徴とする画像検索方法。
前記類似度を計算するステップにおいて、前記抽出した複数の特徴量のうち高速に類似度計算が可能な特徴量を用いて前記参照画像を絞り込み、
絞り込んだ参照画像に対して、残る特徴量から前記基準画像との類似度を算出することを特徴とする請求項９記載の画像検索方法。
前記類似度を計算するステップにおいて、前記参照画像の注目領域を抽出し、前記基準画像と前記参照画像で抽出した注目領域同士の類似度を計算することを特徴とする請求項９記載の画像検索方法。
前記類似度を計算するステップにおいて、予め登録されている前記参照画像群の代表画像を用いて前記基準画像との類似度計算を行ってその結果をユーザに提示し、
ユーザにより選択された前記代表画像から前記各特徴量の重み付けを設定し、重み付けされた前記各特徴量を用いて前記基準画像と前記参照画像の類似度を計算することを特徴とする請求項９記載の画像検索方法。
検索の対象となる参照画像群から検索キーである基準画像に類似する画像を検索するための画像検索装置において、
前記基準画像をブロックに分割し、ブロック毎の平均色を示す色配置特徴量を抽出する色配置抽出部と、
前記色配置特徴量を用いて前記基準画像から、前記基準画像全体の代表色を示す代表色特徴量を抽出する代表色抽出部と、
前記基準画像の画素を前記代表色特徴量で示される代表色で置き換えた置換画像を作成する画素置換部と、
前記置換画像を注目領域及び非注目領域に領域分割して、注目領域及び非注目領域とそれぞれの位置情報を含む領域分割特徴量を抽出する領域分割部と、
前記置換画像と前記領域分割特徴量から前記注目領域と前記非注目領域の形状を抽出し、形状特徴量として出力する形状抽出部と、
抽出した前記各特徴量と、前記参照画像群の各特徴量から類似度を計算する画像類似度計算部とを備えることを特徴とする画像検索装置。
検索の対象となる参照画像群から検索キーである基準画像に類似する画像を検索するための画像検索装置において、
入力された基準画像の注目領域指定情報を用いて、前記基準画像を注目領域及び非注目領域に領域分割して、注目領域及び非注目領域とそれぞれの位置情報を含む領域分割特徴量を抽出する領域分割部と、
前記領域分割特徴量を用いて前記基準画像から、前記基準画像全体の代表色を示す代表色特徴量を抽出する代表色抽出部と、
前記基準画像の画素を前記代表色特徴量で示される代表色で置き換えた置換画像を作成する画素置換部と、
前記置換画像と前記領域分割特徴量から前記注目領域と非注目領域の形状を抽出し、形状特徴量として出力する形状抽出部と、
抽出した前記各特徴量と、参照画像群の各特徴量から類似度を計算する画像類似度計算部とを備えることを特徴とする画像検索装置。
検索の対象となる参照画像群から検索キーである基準画像に類似する画像を検索するための画像検索装置において、
前記基準画像をブロックに分割し、ブロック毎の平均色を示す色配置特徴量を抽出する色配置抽出部と、
前記色配置特徴量から基準画像中の注目領域を推定する注目領域推定部と、
推定された注目領域が正しいか否かの判定を受けて、前記基準画像を注目領域及び非注目領域に領域分割して、注目領域及び非注目領域とそれぞれの位置情報を含む領域分割特徴量を抽出する領域分割部と、
前記領域分割特徴量を用いて基準画像から、前記基準画像全体の代表色を示す代表色特徴量を抽出する代表色抽出部と、
前記基準画像の画素を前記代表色特徴量で示される代表色で置き換えた置換画像を作成する画素置換部と、
前記置換画像と前記領域分割特徴量から前記注目領域と前記非注目領域の形状を抽出し、形状特徴量として出力する形状抽出部と、
抽出した前記各特徴量と、前記参照画像群の各特徴量から類似度を計算する画像類似度計算部とを備えることを特徴とする画像検索装置。