JP6589082B2 - 類似画像検索システム - Google Patents

Description

本発明は、類似画像検索システム及び類似画像検索方法に係り、特に、映像監視システムの人物の検索のためのユーザインタフェースを使い勝手のよいものにする用途に用いて好適な類似画像検索システム及び類似画像検索方法に関する。

従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて、注意をしたり、あるいは映像を録画・保存するものである。

映像監視システムでの映像の録画・保存において、記録媒体には従来のビデオテープ媒体から、ハードディスクドライブ（ＨＤＤ；Hard Disk Drive）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。
記録媒体の大容量化は録画できる映像の量を飛躍的に増大させ、より多地点や長時間の録画を可能にしつつある反面、録画画像を目視でチェックする負担の増加が問題として顕在化しつつある。

このような背景から、所望の映像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象（イベント）の発生を画像認識技術を用いてリアルタイムに自動検知して映像とともに記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。
人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に録画画像中から人物登場画像を探し出せる機能である。機能面から人物検索機能は、以下の２種類に大別される。

一つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場（イベント）の有無を、単純に探し出す機能である。検索結果にはイベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像（人物登場画像）等を提示する。なお、この検索のクエリには、イベント発生時刻や撮像装置番号等を、検索対象範囲を絞込むための情報として与える場合が多い。以下では、この検索対象範囲を絞込むための情報を、「絞込みパラメータ」ということにする。

二つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、あるいは他の地点の撮像装置で撮影されていないかどうかを、録画画像中から探し出す機能である。検索結果には、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像（人物登場画像）、後述の類似度等を反映させる。

特定人物の指定は、探したい人物が映った画像（以降、検索キー画像）をユーザが１ケ指定することで実施される。検索キー画像は、録画画像や外部装置からの任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、録画画像中の人物の画像特徴量と照合し、その類似性（類似度）を求め、同一人物判定を実施することにより実現される。録画画像中の人物特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索のクエリにおいても、絞込みパラメータを与えることが可能である場合が多い。

両検索機能のどちらにおいても、検索結果には録画画像を取り出すためのリンケージ情報が付与されており、検索結果から録画画像の頭出し再生が可能になっている。
カメラの前を人物が数秒かけて通るとき、複数枚の画像が記録される。例えば毎秒５枚撮影している防犯カメラシステムの前を３秒かけて通った場合、１５枚の画像が記録される。このとき、両検索機能のどちらにおいても、検索結果を表示する際、ユーザが様々な当該人物の様子を知りたい場合において、時間的に近い映像が多数表示されると、ユーザは検索結果のページ送りを何度も行うことになり、不便である。このようなことを避けるため、時間的に近い検索結果をひとまとめにして表示する機能がある。この機能は時間縮約と呼ばれる。

特許文献１には、このように検索キー画像指定を指定して、検索結果の画像から選択して、別の表示領域に表示して、それを次のキー画像にするなどしてユーザの利便性を高めるようにした画像検索装置が開示されている。

特開２００９−１２３１９６号公報

従来からある時間縮約機能のみでは、防犯カメラシステムにおいて多数のカメラが施設の各所に存在する場合、同一の人物が何度も繰り返して検索結果に出現し、ユーザにとって分かりにくい表示となってしまう。ユーザとしては、検索結果の中でも同一の人物はまとめて表示されると、分かり易い表示となる。
また、類似人物検索においては、検索結果の中から適切な画像を新たなキー画像として検索すると、従来見つかっていなかった当該人物の別の日あるいは別の場所の様子を見つけることができる場合がある。このような場合においても、同一の人物がまとめられていると、適切な画像を新たなキー画像として検索し易い。

本発明は、このような状況に鑑みてなされたものであり、検索キーとなる人物画像に類似する人物画像を検索した結果、同一の人物の画像が多数検索された場合に見づらい表示となることを抑制できる技術を提案することを目的とする。

上記の目的を達成するために、本発明に係る類似画像検索システムは以下のように構成される。
（１） 検索キーとなる人物画像である検索キー画像に類似する人物画像を検索する類似画像検索システムにおいて、検索された複数の人物画像を各々の人物画像同士の類似度に基づいて複数のグループに分類し、グループ毎に設けた表示領域に、該グループに属する人物画像のうちの少なくとも１つを表示するグループ別表示を行い、前記グループ別表示は、各グループと検索キー画像との類似度順を視認できる態様で行われることを特徴とする。

（２） 上記（１）に記載の類似画像検索システムにおいて、検索された人物画像の数が所定の閾値以上である場合に前記グループ別表示を行うことを特徴とする。

（３） 上記（１）又は（２）に記載の類似画像検索システムにおいて、検索された人物画像に対し、互いに近接する異なる撮像装置で所定時間内に撮像された人物画像同士の類似度を上げる調整、又は、互いに近接しない異なる撮像装置で所定時間内に撮像された人物画像同士の類似度を下げる調整の少なくとも一方を行った結果に基づいて、各グループへの分類を行うことを特徴とする。

本発明によれば、検索キー画像に類似する複数の人物画像がグループ別に表示されるので、同一の人物の画像が多数検索された場合に見づらい表示となることを抑制できる。しかも、各グループの検索キー画像との類似度順を容易に把握することができる。

本発明の一実施形態に係る類似画像検索システムのシステム構成の一例を示す図である。 撮像装置のハードウェア構成の一例を示す図である。 録画装置のハードウェア構成の一例を示す図である。 端末装置のハードウェア構成の一例を示す図である。 従来方式に係る検索画面の一例を示す図である。 本発明方式に係る検索画面の一例であって、検索結果を髪型をもとにまとめた様子を示す図である。 本発明方式に係る検索画面の一例であって、検索結果を髪型をもとにまとめたものを人物毎に展開した様子を示す図である。 本発明方式に係る検索画面の一例であって、検索結果のうち一人の人物について検索結果から再度検索し、更なる検索結果を得た様子を示す図である。

以下、本発明の一実施形態について、図面を用いて説明する。まず、図１〜図４を用いて、本発明の一実施形態に係る類似画像検索システムの構成について説明する。
図１には、本発明の一実施形態に係る類似画像検索システムのシステム構成の一例を示してある。
類似画像検索システムは、図１に示されるように、ネットワーク４００に、撮像装置１００、録画装置２００、端末装置３００が接続され、互いに通信可能に構成される。

ネットワーク４００は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線ＬＡＮ（Local Area Network）等の各装置を相互に接続して通信を行う通信手段である。
撮像装置１００は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等で撮像した画像にデジタル変換処理を施し、変換された画像データを、ネットワーク４００を介して録画装置２００へ出力するネットワークカメラや監視カメラ等の装置である。

録画装置２００は、ネットワーク４００を介して撮像装置１００より入力された画像データをＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。また、本装置には、本発明の方式を含む人物検索機能も搭載してある。
録画装置２００は、機能構成として、画像送受信部２０１、画像記録部２０２、再生制御部２０３、人物領域検出部２０４、人物特徴量抽出部２０５、人物特徴量記録部２０６、属性情報記録部２０７、要求受信部２０８、類似人物検索部２０９、登場イベント検索部２１０、検索結果送信部２１１、キーワード記録部２１２、キーワード検索部２１３の各処理部を有する。

画像送受信部２０１は、装置外部からの画像入出力を行う処理部であり、撮像装置１００からの入力画像データの受信、端末装置３００への出力画像データの送信を行う。
画像記録部２０２は、入力画像データの記録媒体への書込みや出力画像データの記録媒体からの読出しを行う。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（画像の識別情報）も併せて記録する。
再生制御部２０３は、端末装置３００への映像再生を制御する。

人物領域検出部２０４は、入力画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う。
人物特徴量抽出部２０５は、人物領域検出部２０４で検出した画像領域に対して画像認識技術を用いて特徴量算出を行う。例えば、対象となる画像領域を複数のブロックに細分化（分割）し、それぞれのブロック内でエッジを検出し、基本エッジパタンとの一致度をブロック毎に集計し、特定のブロックやエッジの方向などに重み付けを行って、人物特徴量を算出する。

ここで算出する人物特徴量とは、人物を特定する代表的な部位である顔の輪郭の形状や方向、目・鼻・口といった主要構成要素の大きさ・形状や配置関係等が挙げられるが、本実施形態においては、使用する特徴量の種類や数はいずれであってもよい。本実施形態においては、上記のような人物にとって不変の特徴量（顔の特徴量）とは別に、髪型や服装など短期的（例えば当日内）には不変であるが、長期的には変化する情報も特徴量として同時に算出する。なお、顔の特徴量の検出では、例えば、顔（髪を除く頭部）を全体に収めた顔画像が用いられる。また、髪型の特徴量の検出では、例えば、ＭＰＥＧ（Moving Picture Experts Group）−７の仕様に則った、顔及び髪を含む頭部を全体に収めた頭部画像を用いることができる。ただし、頭部画像を用いると背景や髪型の影響を受けやすいという問題があるので、これに対応するために、顔画像と頭部画像との中間の画像（顔と髪の一部とを収めた画像）を用いて髪型の特徴量の検出を行ってもよい。

人物特徴量記録部２０６は、人物特徴量抽出部２０５で算出した特徴量の記録媒体への書込みと読出しを行う。画像記録部２０２における画像データの記録媒体と本処理部における人物特徴量の記録媒体とは同一であっても別個であってもよい。
属性情報記録部２０７は、画像データに関連する属性情報の記録媒体への書込みと読出しを行う。属性情報とは、例えば、画像の撮影時刻、撮像装置番号、撮影位置情報等である。

要求受信部２０８は、端末装置３００からの検索要求やキーワード付与要求の受信を行う。検索要求には、類似画像検索要求と、登場イベント検索要求がある。
類似人物検索部２０９は、要求受信部２０８にて受信した要求が類似人物検索要求であった場合に、類似人物検索を行う。
登場イベント検索部２１０は、要求受信部２０８にて受信した要求が登場イベント検索要求であった場合に、登場イベント検索を行う。

検索結果送信部２１１は、類似人物検索部２０９や登場イベント検索部２１０から得た類似人物検索結果や登場イベント検索結果の端末装置３００への送信を行う。
キーワード記録部２１２は、要求受信部２０８にて受信したキーワード付与要求に基づくキーワードの記録媒体への書込みと読出しを行う。
キーワード検索部２１３は、要求受信部２０８にて受信した検索要求データ中にキーワードが含まれていた場合に、キーワード検索を行う。

端末装置３００は、ネットワーク機能を有する一般のＰＣ（パーソナルコンピュータ）で実現してもよいし、専用の検索端末でもよい。
端末装置３００は、機能構成として、検索要求送信部３０１、検索結果受信部３０２、検索結果表示部３０３、再生画像表示部３０４、画面操作検知部３０５、キーワード付与要求送信部３０６、複数検索キー選択部３０７の各処理部を有する。また、本装置には、本発明の方式を実現するための人物検索機能も搭載してある。

検索要求送信部３０１は、検索要求の録画装置２００への送信を行う。類似人物検索の場合、検索要求データには、検索キー画像が含まれる。また、検索要求データには、絞込みパラメータを含めることも可能である。
検索結果受信部３０２は、検索結果の録画装置２００からの受信を行う。検索結果として受信するデータには、録画装置２００において、類似人物検索、あるいは、登場イベント検索を実施して得られた画像の集合が含まれる。集合を構成する個々の画像は、録画装置２００に記録された映像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」ということにする。

検索結果表示部３０３は、検索結果受信部３０２にて受信した検索結果の画面表示を行う。表示される画面例については後述する。
再生画像表示部３０４は、録画装置２００から入力された画像データの画面への連続動画表示を行う。
画面操作検知部３０５は、ユーザによる操作内容の検知・取得を行う。
キーワード付与要求送信部３０６は、キーワード付与要求の録画装置２００への送信を行う。
複数検索キー選択部３０７は、検索キー画像が複数選択されたときに、より少ない数の検索キー画像を適切に選択する処理を行う。複数検索キー選択部３０７は録画装置２００内に設けても良い。

図２には、撮像装置１００のハードウェア構成の一例を示してある。
撮像装置１００のハードウェア構成としては、図２に示されるように、撮像部１２１、主記憶部１２２、符号化部１２３、ネットワークＩ／Ｆ１２４が、バス１２０で結合された形態である。

撮像部１２１は、レンズで撮像した光信号をデジタルデータに変換する。符号化部１２３は、撮像部１２１が出力するデジタルデータを符号化して、ＪＰＥＧ（Joint Photographic Experts Group）などの画像データに変換する。主記憶部１２２は、撮像したデジタルデータ、符号化された画像データを記憶する。ネットワークＩ／Ｆ１２４は、主記憶部１２２上の画像データをネットワーク４００を介して、録画装置２００に送信するためのインタフェースである。

図３には、録画装置２００のハードウェア構成の一例を示してある。
録画装置２００のハードウェア構成としては、図３に示されるように、ＣＰＵ（Central Processing Unit）２２１、主記憶部２２２、補助記憶部２２３、ネットワークＩ／Ｆ２２４が、バス２２０で結合された形態である。

ＣＰＵ２２１は、録画装置２００の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２２２は、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体装置で実現され、検索のための画像データやＣＰＵ２２１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２２３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２２２より大容量のメモリであり、画像データやプログラムを格納する。ネットワークＩ／Ｆ２２４は、ネットワーク４００を介して、撮像装置１００からの画像データを受信したり、端末装置３００から検索キーワードを受信したり、端末装置３００に画像データを送信するためのインタフェースである。

図４には、端末装置３００のハードウェア構成の一例を示してある。
端末装置３００のハードウェア構成としては、図４に示されるように、ＣＰＵ３２１、主記憶部３２２、補助記憶部３２３、表示Ｉ／Ｆ３２４、入出力Ｉ／Ｆ３２５、ネットワークＩ／Ｆ３２６が、バス３２０で結合された形態である。

ＣＰＵ３２１は、端末装置３００の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部３２２は、ＤＲＡＭなどの半導体装置で実現され、表示のための画像データやＣＰＵ３２１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部３２３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部３２２より大容量のメモリであり、検索キーワード、画像データやプログラムを格納する。表示Ｉ／Ｆ３２４は、表示装置３４０と接続するためのインタフェースである。入出力Ｉ／Ｆ３２５は、キーボード３５０やマウス３５２などの入出力装置と接続するためのインタフェースである。ネットワークＩ／Ｆ３２６は、ネットワーク４００を介して、録画装置２００に検索キーワードを送信したり、録画装置２００から画像データを受信するためのインタフェースである。表示装置３４０は、例えば、ＬＣＤ（Liquid Crystal Display）などの装置であり、画像や動画を表示する装置である。

次に、図５〜図８を用いて、適切に検索結果をまとめる方法について説明する。図５〜図８はいずれも端末装置３００に表示される検索画面の表示内容を示している。図５は、従来方式に係る検索画面の例であり、図６〜図８は、本発明方式に係る検索画面の例である。図６には、検索結果を髪型をもとにまとめた様子を示してある。図７には、検索結果を髪型をもとにまとめたものを人物毎に展開した様子を示してある。図８には、検索結果のうち一人の人物について検索結果から再度検索し、更なる検索結果を得た様子を示してある。

まず、図５に示された、従来方式に係る検索画面について説明する。
検索画面は、再生画像表示領域３００１、画像再生操作領域３００３、検索キー画像指定領域３００４、検索絞込パラメータ指定領域３００８、検索実行領域３０１７、検索結果表示領域３０２１を有する。

再生画像表示領域３００１は、録画装置２００に記録された画像を動画像として表示する領域である。再生画像表示領域３００１に表示される動画３００２は、録画装置２００に記録された画像を動画像として表示するものである。
画像再生操作領域３００３は、録画装置２００に記録された画像を再生操作する領域である。本領域を構成する各ボタンには、それぞれ固有の再生種類が割当てられている。本図においては、左のボタンから順に、例えば、巻戻し、逆再生、再生停止、順再生、早送りの再生種類が割当てられている例を示している。各ボタンを適宜押下することにより、動画３００２がボタンに割当てられた再生種類に切り替る。

検索キー画像指定領域３００４は、検索キー画像の指定と表示を行う領域である。本領域は、検索キー画像３００５、映像指定ボタン３００６、ファイル指定ボタン３００７を有する。

検索キー画像３００５は、類似検索のためのキーとする画像である。初期状態においては、検索キー画像３００５は、未指定であるので、画像表示はされていない状態となる。あるいは、別途用意した未指定状態を示す画像を表示したり、未指定である旨の表記をするようにしてもよい。
映像指定ボタン３００６は、押下時に再生画像表示領域３００１に表示されている画像を、検索キー画像３００５として指定するボタンである。
ファイル指定ボタン３００７は、録画装置２００に記録されている画像以外の画像、例えば、デジタルスチルカメラで撮影した画像やスキャナで取込んだ画像等を、検索キー画像３００５として指定するボタンである。このボタンを押下すると、それらの画像をファイル指定するダイアログボックスが表示され、ユーザはそこで所望の画像を指定する。

検索絞込パラメータ指定領域３００８は、検索の際の絞込パラメータの種類とその値（範囲）を指定する領域である。本領域は、撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２、時刻指定チェックボックス３０１３，３０１４、時刻指定欄３０１５，３０１６を有する。

撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２は、検索の際に検索対象とする撮像装置１００を指定するチェックボックスである。本チェックボックスは、押下すると選ばれたことを示すチェックマークがそれぞれ表示される。このマークは再押下すると非表示となり、押下で表示・非表示を繰り返す。
初期状態においては、全ての撮像装置１００（カメラ１〜４）を検索対象とするため、撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２は全て選択状態となる。

時刻指定チェックボックス３０１３，３０１４は、検索の際に検索対象とする時刻範囲を指定するチェックボックスである。表示の態様については本チェックボックスも他のチェックボックスと同様である。時刻指定チェックボックス３０１３を選択状態にした場合には時刻範囲に先頭時刻を与える。非選択状態にした場合には、時刻範囲に先頭時刻を与えない、すなわち、録画装置２００に記録された最も古い時刻の画像までを検索対象範囲とすることを意味する。同様に時刻指定チェックボックス３０１４を選択状態にした場合には時刻範囲に末尾時刻を与える。非選択状態にした場合には、時刻範囲に末尾時刻を与えない、すなわち、録画装置２００に記録された最も新しい時刻の画像までを検索対象範囲とすることを意味する。
時刻指定欄３０１５，３０１６は、上述の先頭時刻と末尾時刻の値を指定する入力欄である。
初期状態においては、全時間帯を検索対象とするため、時刻指定チェックボックス３０１３，３０１４は全て非選択状態、時刻指定欄３０１５，３０１６は空欄とする。

検索実行領域３０１７は、検索実行を指示する領域である。本領域は、類似人物検索ボタン３０１８、登場イベント検索ボタン３０１９に加え、検索結果からの類似人物検索ボタン３０２０を有する。

類似人物検索ボタン３０１８は、検索キー画像３００５による類似人物検索の実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って類似人物検索の実行を指示する。
登場イベント検索ボタン３０１９は、登場イベント検索の実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って登場イベント検索の実行を指示する。

検索結果表示領域３０２１は、検索結果を表示する領域である。検索結果の表示は、検索結果画像を一覧表示することにより実施する。初期状態においては、検索結果表示領域３０２１には何も表示されない。

ここで、ユーザが、映像指定ボタン３００６を押下し、また、撮像装置指定チェックボックス３００９，３０１０，３０１２を押下し、さらに、時刻指定チェックボックス３０１３，３０１４を押下し、時刻指定欄３０１５，３０１６にそれぞれ「２０１６／８／１ ０：００：００」，「２０１６/８/２ ０：００：００」と入力したとする。
その結果、検索キー画像３００５には、動画３００２に表示された人物「Ａさん」が検索キー画像として表示され、また、検索対象としたい撮像装置２０１として「カメラ１」，「カメラ２」，「カメラ４」の三つが指定され、検索対象としたい時刻範囲として「２０１６／８／１ ０：００：００から２０１６/８/２ ０：００：００まで」が指定される。

その後、ユーザが、類似人物検索ボタン３０１８を押下したとする。すると、検索結果表示領域３０２１には、検索キー画像３００５をキーとして類似人物検索を実行して得られた検索結果が表示される。検索結果の表示は、検索結果画像（図５では、検索結果画像３０３１〜３１４１）を一覧表示することにより実施する。
検索結果画像３０３１〜３１４１は、例えば、最上段左から右へ、次に２段目左から右へと、検索キー画像３００５に対する類似度順に表示する。この表示例においては、検索結果画像３０３１が検索キー画像３００５に対し最も類似度が高く、検索結果画像３１４１が最も類似度が低いということを示している。

この図に示された例の表記において、検索結果画像３０３１〜３１４１として図示したアイコンは、人物の顔を簡略表示したものであり、例えば、検索結果画像３０３１には、検索キー画像３００５と同一人物である「Ａさん」が登場することを示している。類似顔画像検索システムは必ずしも、検索キー画像と同一人物が検索されるとは限らない。例えば、検索結果画像３０５１には別の人物（「Ｂさん」とする）が表示されており、検索結果画像３０６１にはさらに別の人物（「Ｃさん」とする）が表示されている。この簡略表示している部分には、もちろん、実際のシステムでの表示では実画像が表示される。
検索結果画像３０３１〜３１４１のいずれかをマウスでクリックして選択すると、選択された検索結果画像が、検索キー画像３００５に表示される。これにより、検索結果画像を使っての再検索を実施することができる。

ここで、図５では、検索結果表示領域３０２１に３名の人物が不規則に表示されている。このような従来方式に係る画面表示だと、複数の人物が各々複数の画像登場するため、各人物の判別をユーザ自身が行わなければならず、不便である。
そこで、上記の不便さを解消するために、本発明では、図６〜図８に示されるような画面表示を提案する。

本発明方式に係る画面表示では、検索結果表示領域３０２１内に、複数の検索結果を人物毎にまとめて表示する領域を有する。図６〜図８に示す例では、検索された３人の人物各々に対応して、３つの検索結果まとめ領域３２０１，３２０２，３２０３を有している。
検索結果まとめ領域３２０１，３２０２，３２０３は、複数の検索結果がひとまとまりであることを示す表示領域である。図６には、検索結果まとめ領域３２０１，３２０２，３２０３内に、それぞれ、ひとまとまりとした検索結果のうちの代表画像が１枚のみ表示されている。

図６では、検索結果として得られた１２件の検索結果画像３０３１〜３１４１について、それぞれに紐づけられた髪型の特徴量を用いてグループ分けされている。すなわち、髪型が類似するもの同士が同じグループとなるように、検索結果画像３０３１〜３１４１が分類されている。例えば、図５における検索結果画像３０３１と髪型の特徴量が近い（類似度が高い）ものが検索結果画像３０４１，３０７１，３０９１，３１１１，３１４１であった場合、図６では、これらを検索結果まとめ領域３２０１内にひとまとめにされる。そして、検索結果画像３０３１が他の検索結果を代表する形で１枚のみ表示される。次に、残った検索結果画像の中で、検索結果画像３０６１と髪型の特徴量が近い（類似度が高い）ものが検索結果まとめ領域３２０２にひとまとめにされる。さらに、検索結果画像３０５１と髪型の特徴量が近い（類似度が高い）ものが検索結果まとめ領域３２０３にひとまとめにされる。グループ化の基準としては、例えば、髪型の特徴量の類似度が９０％以上という要件を用いることができる。なお、髪型以外の特徴量に基づいてグループ化してもよく、例えば、服装の特徴量に基づいてグループ化してもよい。髪型や服装、装飾品等は、通常、１日の間は変化しない（同じものを身に着けている）ため、例えば２４時間以内の範囲で類似検索する場合に特徴量として利用することが適切である。
このように、検索結果画像をグループに分類して表示するグループ別表示を行うことで、ユーザは３件のみ確認すればよい。

ここで、類似画像検索システムが複数の撮像装置を有する場合には、検索結果画像の撮像位置及び撮像時間に基づいて、検索結果画像同士の類似度を調整してもよい。すなわち、互いに近接する異なる撮像装置で所定時間内に撮像された検索結果画像については、同一の人物が撮像されている可能性が高いので、これら検索結果画像同士の類似度を上げる調整を行う。また、互いに近接しない異なる撮像装置で所定時間内に撮像された検索結果画像については、異なる人物が撮像されている可能性が高いので、これら検索結果画像同士の類似度を下げる調整を行う。なお、一例として、近接関係にある撮像装置の組み合わせを予め記憶しておくことで、互いに近接する撮像装置で撮像されたかを判断できる。また、別の例として、検索結果画像に撮像位置情報（撮像装置の位置情報）を付加して記憶し、各検索結果画像の撮像位置情報から求めた撮像位置間の距離を所定値と比較することで、互いに近接する撮像装置で撮像されたかを判断できる。
このような調整を行うことで、グループ分けの精度の向上を図ることができる。なお、類似度を上げる調整だけを行ってもよいし、類似度を下げる調整だけを行ってもよいし、両方の調整を行ってもよい。

また、検索結果まとめ領域３２０１，３２０２，３２０３は、例えば、左から右へ（更には上から下へ）と類似度順に表示される。この表示例においては、検索結果まとめ領域３２０１が検索キー画像３００５に対し最も類似度が高く、検索結果まとめ領域３２０３が最も類似度が低いということを示している。
このように、グループ別表示における各グループ（検索結果まとめ領域）を類似度順に表示することで、ユーザは目的とする人物画像を見つけやすくなる。

なお、各グループと検索キー画像との類似度としては、そのグループに属する検索結果画像毎に算出した検索キー画像との類似度の最大値を用いてもよく、これら類似度の平均値を用いてもよく、他の手法により算出した値を用いてもよい。
また、本例では、各グループを検索キー画像との類似度順に並べた表示にしているが、各グループと検索キー画像との類似度順を視認できる他の態様で表示してもよい。例えば、類似度を表す数値を付加的に表示したり、類似度に応じて検索結果まとめ領域の枠又は背景の色や濃淡などを変えた色表示としたり、類似度を視覚的に表現したアイコンを付加的に表示したりしてもよい。

ここで、検索結果画像のグループ分け表示は、常に行ってもよいが、検索結果画像の数が所定の閾値以上となった場合に行うようにしてもよい。この場合の閾値としては、固定値を用いてもよく、ユーザが任意に設定してもよく、システムが自動的に設定（例えば、スクロール無しで検索結果表示領域に収まる上限の画像数を設定）してもよい。これにより、検索結果表示領域３０２１の画像数が増えることにより、画面上に収まり切れない場合や視認できないといった不便な状況を回避することができる。

次に、図７では、検索結果まとめ領域３２０１，３２０２，３２０３を展開している。例えば、気になる検索結果まとめ領域をマウスでクリックすると、図７に示すように複数の検索結果を検索結果まとめ領域内で展開する。図７は、図５と同じく１２件の検索結果が表示されているが、図５のようにバラバラに表示されるのではなく、髪型ごとにまとまっているので、ユーザにとって分かり易い。

さらに、図８では、検索結果まとめ領域３２０１を選択し、検索結果から類似検索ボタン３０２０をクリックした状態を表している。追加検索結果表示領域３３０１は、検索結果画像３０３１，３０４１，３０７１，３０９１，３１１１，３１４１を検索キー画像として検索したことによって新たに見つかった検索結果を表示する領域である。図８では、追加検索結果表示領域３３０１内に、新たに見つかった追加検索結果画像３３１１，３３２１，３３３１，３３４１，３３５１，３３６１が表示されている。なお、複数の検索キー画像から適切に検索する方法としては、例えば、特開２０１３−１０１４３１号公報に開示された方法がある。

本実施形態においては、人物検索に関わる人物検出処理や人物特徴量抽出処理等を録画装置上で実施する構成で説明したが、ネットワークで接続された録画装置とは別個の装置にて実施するようにしてもよい。
さらに、本実施形態においては、髪型の特徴量の類似度によって検索結果をまとめる方法を示したが、服装や装飾品、所持品等の特徴量を用いてもよい。

以上のように、本実施形態は、検索キーとなる人物画像である検索キー画像（３００５）に類似する人物画像を検索する類似画像検索システムにおいて、検索された複数の人物画像（３０３１〜３１４１）を各々の人物画像同士の類似度に基づいて複数のグループに分類して、グループ毎に設けた表示領域（３２０１，３２０２，３２０３）に、該グループに属する人物画像のうちの少なくとも１つを表示するグループ別表示を行い、前記グループ別表示は、各グループと検索キー画像との類似度順を視認できる態様で行われる構成となっている。
これにより、検索キー画像に類似する複数の人物画像がグループ別に表示されるので、同一の人物の画像が多数検索された場合に見づらい表示となることを抑制できる。しかも、各グループの検索キー画像との類似度順を容易に把握することができる。

ここで、類似人物検索（検索キー画像に類似する人物画像の検索）と、検索結果グループ分け（検索された人物画像の分類）とは、ともに人物画像から検出した特徴量に基づいて行われるが、それぞれ異なる種類の特徴量が用いられる。一例として、類似人物検索では顔の特徴量を用い、検索結果グループ分けでは顔以外（例えば、髪型や服装）の特徴量を用いることができる。また、類似人物検索では顔及び髪型の特徴量を用い、検索結果グループ分けではそれ以外（例えば、服装）の特徴量を用いてもよい。また、検索結果グループ分けに、類似画像検索システムとは別のシステム（例えば、顔認証システム）で検出された特徴量を用いても構わない。

また、各グループと検索キー画像との類似度順を視認できる態様としては、種々の態様を用いることができる。例えば、各グループを類似度順に表示する態様、類似度を表す数値を付加的に表示する態様、類似度に応じて検索結果まとめ領域の枠又は背景の色や濃淡などを変えて表示する態様、類似度を視覚的に表現したアイコンを付加的に表示する態様などが挙げられる。

また、グループ別表示として、グループを代表する人物画像だけを表示する第１モードと、グループ内の全ての人物画像を表示する第２モードとを用意し、これらをユーザ操作により切り替え可能にすることが好ましい。ここで、第１モードでは、検索キー画像に最も類似する１枚の人物画像を代表としてもよく、類似度が高い順に所定数の人物画像を代表としてもよい。

また、グループ別表示は、検索結果画像の数が所定の閾値以上となった場合に行うことが好ましい。これにより、通常の表示よりもグループ別表示の方が望ましい場合、すなわち、検索結果画像の数が多すぎて見づらくなるような場合にのみ、グループ分け表示を行うことができる。逆に、グループ別表示よりも通常の表示の方が望ましい場合、すなわち、全ての検索結果画像を一目して把握できるほど検索結果画像の数が少ないような場合にまで、グループ分け表示となることを防ぐことができる。

また、検索結果グループ分けは、互いに近接する異なる撮像装置で所定時間内に撮像された人物画像同士の類似度を上げる調整、又は、互いに近接しない異なる撮像装置で所定時間内に撮像された人物画像同士の類似度を下げる調整の少なくとも一方を行った結果に基づいて行うことが好ましい。これにより、撮影位置及び撮影時間を考慮すれば同一人物である可能性が高い人物画像同士を同じグループに分類する一方で、撮影場所及び撮影時間を考慮すれば別人物である可能性が高い人物画像同士を別のグループに分類することができ、グループ分けの精度の向上が図られる。

なお、更なる拡張例として、単独で行動している人物か、あるいは複数人で行動している人物かを示す行動態様を示す情報を各人物画像に対応付けておき、同じ行動態様の人物画像同士の類似度を上げる調整、又は、異なる行動態様の人物画像同士の類似度を下げる調整を行った結果に基づいて、検索結果グループ分けを行うようにしてもよい。これにより、単独行動を好む人物かグループ行動を好む人物か等を考慮したグループ分けを行うことができる。なお、行動態様を示す情報として、共に行動する人物数を対応付けておき、共に行動する人物数を考慮して類似度の調整を行ってもよい。

なお、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式を実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。

本発明は、検索キーとなる人物画像である検索キー画像に類似する人物画像を検索する類似画像検索システムに利用することができる。

１００：撮像装置、 １２０：バス、 １２１：撮像部、 １２２：主記憶部、 １２３：符号化部、 １２４：ネットワークＩ／Ｆ、 ２００：録画装置、 ２０１：画像送受信部、 ２０２：画像記録部、 ２０３：再生制御部、 ２０４：人物領域検出部、 ２０５：人物特徴量抽出部、 ２０６：人物特徴量記録部、 ２０７：属性情報記録部、 ２０８：要求受信部、 ２０９：類似人物検索部、 ２１０：登場イベント検索部、 ２１１：検索結果送信部、 ２１２：キーワード記録部、 ２１３：キーワード検索部、 ２２０：バス、 ２２１：ＣＰＵ、 ２２２：主記憶部、 ２２３：補助記憶部、 ２２４：ネットワークＩ／Ｆ、 ３００：端末装置、 ３０１：検索要求送信部、 ３０２：検索結果受信部、 ３０３：検索結果表示部、 ３０４：再生画像表示部、 ３０５：画面操作検知部、 ３０６：キーワード付与要求送信部、 ３０７：複数検索キー選択部、 ３２０：バス、 ３２１：ＣＰＵ、 ３２２：主記憶部、 ３２３：補助記憶部、 ３２４：表示Ｉ／Ｆ、 ３２６：ネットワークＩ／Ｆ、 ３４０：表示装置、 ３５０：キーボード、 ３５２：マウス、 ４００：ネットワーク、 ３００１：再生画像表示領域、 ３００２：動画、 ３００３：画像再生操作領域、 ３００４：検索キー画像指定領域、 ３００５：検索キー画像、 ３００６：映像指定ボタン、 ３００７：ファイル指定ボタン、 ３００８：検索絞込パラメータ指定領域、 ３００９，３０１０，３０１１，３０１２：撮像装置指定チェックボックス、 ３０１３，３０１４：時刻指定チェックボックス、 ３０１５，３０１６：時刻指定欄、 ３０１７：検索実行領域、 ３０１８：類似人物検索ボタン、 ３０１９：登場イベント検索ボタン、 ３０２０：検索結果からの類似人物検索ボタン、 ３０２１：検索結果表示領域、 ３０３１，３０４１，３０５１，３０６１，３０７１，３０８１，３０９１，３１０１，３１１１，３１２１，３１３１，３１４１：検索結果画像、 ３２０１，３２０２，３２０３：検索結果まとめ領域、 ３３０１：追加検索結果表示領域、 ３３１１，３３２１，３３３１，３３４１，３３５１，３３６１：追加検索結果画像

Claims (7)

1. 検索キーとなる人物画像である検索キー画像に類似する人物画像を検索する類似画像検索システムにおいて、
   検索された複数の人物画像を各々の人物画像同士の類似度に基づいて複数のグループに分類し、グループ毎に設けた表示領域に、該グループに属する人物画像のうちの少なくとも１つを表示するグループ別表示を行い、
   前記グループ別表示は、各グループと検索キー画像との類似度順を視認できる態様であり、
   検索された人物画像に対し、互いに近接する異なる撮像装置で所定時間内に撮像された人物画像同士の類似度を上げる調整、又は、互いに近接しない異なる撮像装置で所定時間内に撮像された人物画像同士の類似度を下げる調整の少なくとも一方を施した結果に基づいて、各グループへの分類を行うことを特徴とする類似画像検索システム。
2. 請求項１に記載の類似画像検索システムにおいて、
   検索された人物画像の数が所定の閾値以上である場合に前記グループ別表示を行うことを特徴とする類似画像検索システム。
3. 請求項１に記載の類似画像検索システムにおいて、
   各グループと検索キー画像との類似度順を視認できる態様は、各グループを類似度順に表示する態様、類似度を表す数値を付加的に表示する態様、類似度に応じて表示領域の枠又は背景の色又は濃淡を変えて表示する態様、類似度を視覚的に表現したアイコンを付加的に表示する態様のいずれかを含むことを特徴とする類似画像検索システム。
4. 請求項１に記載の類似画像検索システムにおいて、
   検索キー画像に類似する人物画像の検索を、人物画像中の人物の顔の特徴量を用いて行い、
   検索された人物画像の各グループへの分類を、人物画像中の人物の顔以外の特徴量を用いて行うことを特徴とする類似画像検索システム。
5. 請求項１に記載の類似画像検索システムにおいて、
   検索キー画像に類似する人物画像の検索を、人物画像中の人物の顔及び髪型の特徴量を用いて行い、
   検索された人物画像の各グループへの分類を、人物画像中の人物の顔及び髪型以外の特徴量を用いて行うことを特徴とする類似画像検索システム。
6. 請求項１に記載の類似画像検索システムにおいて、
   前記グループ別表示として、グループを代表する人物画像だけを表示する第１モードと、グループ内の全ての人物画像を表示する第２モードとを有し、これらのモードをユーザ操作により切り替え可能であることを特徴とする類似画像検索システム。
7. 請求項１に記載の類似画像検索システムにおいて、
   各人物画像に、人物画像中の人物が単独で行動している人物か、複数人で行動している人物かを示す行動態様の情報を対応付けておき、
   検索された人物画像に対し、同じ行動態様の人物画像同士の類似度を上げる調整、又は、異なる行動態様の人物画像同士の類似度を下げる調整を施した結果に基づいて、各グループへの分類を行うことを特徴とする類似画像検索システム。

Images