JP7091940B2 - 照合装置、照合方法および照合プログラム - Google Patents

Description

本発明は、照合装置、照合方法および照合プログラムに関する。

近年、画像や音声等の２つの同じ形状のデータの類似度を算出する照合タスクは、Ｄｅｅｐ Ｌｅａｒｎｉｎｇを用いて行われるものがある。例えば、２つの画像の類似度を算出して再照合を行うために、ニューラルネットワークが用いられる（非特許文献１参照）。

一般に、Ｄｅｅｐ Ｌｅａｒｎｉｎｇは、ＧＰＵ（Graphics Processing Unit）を用いた行列演算で実行される。ＧＰＵは、３次元グラフィックスにおける大量の座標変換のための行列演算等を高速に行うために設計されたプロセッサであり、相互に依存関係のない単純な計算処理を並列して行うことが可能である。

例えば、探したい人の画像であるクエリ画像と、防犯カメラの画像などに映った人の画像であるターゲット画像との照合タスクでは、ＧＰＵを用いてクエリ画像ごとに複数のターゲット画像との類似度を算出している。

Ejaz Ahmed, et al.，"An Improved Deep Learning Architecture for Person Re-Identification"，CVPR2015，IEEE Xplore，2015年，pp.3908-3916

しかしながら、従来の技術では、複数の照合タスクを行う場合には、処理時間が大幅に増加していた。すなわち、クエリデータが複数になった場合には、クエリデータの数に応じて、ＧＰＵでの処理時間が倍増する。例えば、複数人を同時に照合する場合や、同一人物の複数のクエリ画像を用いて、アンサンブルで照合する場合には、クエリ画像の倍数の処理時間を要していた。

本発明は、上記に鑑みてなされたものであって、複数の照合タスクを効率化して行うことを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る照合装置は、照合元であるクエリデータと照合先であるターゲットデータとの複数の組み合わせを所定の順に列挙したインデックスを作成するインデックス作成部と、複数の前記組み合わせを前記インデックスの順に用いて、所定の容量のバッチを作成するバッチ作成部と、前記バッチに含まれる組み合わせのクエリデータとターゲットデータとの類似度を算出する照合部と、を備えることを特徴とする。

本発明によれば、複数の照合タスクを効率化して行うことができる。

図１は、照合タスクの概要を説明するための説明図である。 図２は、照合タスクの概要を説明するための説明図である。 図３は、照合タスクの概要を説明するための説明図である。 図４は、照合装置の概要を説明するための説明図である。 図５は、照合装置の概略構成を例示する模式図である。 図６は、照合装置の処理を説明するための説明図である。 図７は、照合装置の処理を説明するための説明図である。 図８は、照合装置の処理を説明するための説明図である。 図９は、インデックス作成部の処理を説明するための説明図である。 図１０は、照合処理手順を示すフローチャートである。 図１１は、照合処理の実施例を示す図である。 図１２は、照合プログラムを実行するコンピュータの一例を示す図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［照合タスクの概要］
図１～図３は、照合タスクの概要を説明するための説明図である。まず、図１に示すように、本実施形態の照合装置の処理対象である照合タスクは、特徴量抽出と類似度計算との２つの計算処理で構成される。特徴量抽出と類似度計算とでは、それぞれに独立して、ニューラルネットワークのＤｅｅｐ Ｌｅａｒｎｉｎｇを用いた計算処理が行われる。すなわち、特徴量抽出と類似度計算とでは、それぞれについて、ＧＰＵを用いた行列演算が行われる。

例えば、照合元であるクエリ画像と照合先であるターゲット画像との２枚の画像を入力とし、２枚の画像の類似度を算出する照合タスクにおいて、特徴量抽出では、クエリ画像とターゲット画像とのそれぞれの特徴量が抽出される。そして、類似度計算では、クエリ画像とターゲット画像との類似度のスコアが算出される（非特許文献１参照）。

ここで、図２に示すように、１つのクエリ画像に対する複数のターゲット画像との類似度計算は、バッチにまとめてＧＰＵに入力することにより、並列化して同時に実行可能である。図２に示す例では、１人分の１つのクエリ画像と４人分の４つのターゲット画像との４回の類似度計算が、ＧＰＵでの１回の行列演算として扱われ、並列化できる。

一方、クエリ画像が複数の場合には、従来は図３に示すように、図２に示した処理がクエリ画像の数だけ繰り返される。図３には、３人のクエリ画像のそれぞれについて、４人のターゲット画像との類似度計算を行う場合が例示されている。この場合には、「１人のクエリ画像と４人のターゲット画像との類似度計算を行う行列演算」が、３回繰り返される。

したがって、例えば、複数人を照合元として同時に照合する場合や、同一人物の複数のクエリ画像を用いて、アンサンブルで照合する場合には、ＧＰＵにおいて、クエリ画像の数の倍数の処理時間がかかることになる。

これに対し、図４は、照合装置の概要を説明するための説明図である。本実施形態の照合装置では、後述する照合処理により、図４に示すように、クエリ画像ごとに限定することなく、可能な限り一度に処理可能な最大サイズのバッチを作成する。これにより、本実施形態の照合装置は、複数のクエリ画像に対する類似度計算を効率化して行う。

なお、特徴量抽出は、類似度計算より前に行っておくものとする。また、照合装置の処理対象の照合タスクには、必ずしも特徴量抽出が含まれていなくてもよい。すなわち、類似度の算出には、必ずしもクエリ画像とターゲット画像との特徴量が用いられなくてもよい。

また、処理対象の照合タスクでは、特徴量抽出、類似度計算の一方、あるいは双方に、ニューラルネットワークが用いられていなくてもよい。照合装置の処理対象の照合タスクには、類似度計算にＧＰＵを用いた行列演算が含まれていればよい。

すなわち、後述する照合処理の処理対象の照合タスクとは、ＧＰＵを用いた類似度計算の行列演算を意味する。また、照合タスクの処理対象のデータは、画像に限定されず、例えば音声でもよい。つまり、上記したクエリ画像とは、データが画像の場合のクエリデータであり、ターゲット画像とは、データが画像の場合のターゲットデータである。

［照合装置の構成］
図５は、照合装置の概略構成を例示する模式図である。図５に例示するように、照合装置１０は、パソコン等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、制御部１５、および照合部１６を備える。

入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。

通信制御部１３は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した外部の装置と制御部１５との通信を制御する。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、後述する照合処理により作成されたバッチ等が記憶される。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。

照合部１６は、ＧＰＵを用いて実現され、バッチに含まれる組み合わせのクエリデータとターゲットデータとの類似度を算出する。すなわち、照合部１６は、後述する照合処理によって制御部１５が作成したバッチに従って、バッチに含まれる組み合わせのクエリ画像とターゲット画像とを照合し、両者の類似度を算出する照合タスクを、複数の組み合わせについて並列化して実行する。なお、照合部１６は、制御部１５とは、異なるハードウェアに実装されて通信制御部１３を介して通信する構成でもよい。

制御部１５は、ＣＰＵ（Central Processing Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図５に例示するように、インデックス作成部１５ａ、およびバッチ作成部１５ｂとして機能する。なお、これらの機能部は、それぞれ異なるハードウェアに実装されてもよい。

インデックス作成部１５ａは、照合元であるクエリデータと照合先であるターゲットデータとの複数の組み合わせを所定の順に列挙したインデックスを作成する。具体的には、インデックス作成部１５ａは、照合タスクの処理対象の複数のクエリデータと複数のターゲットデータとを１つずつ組み合わせて、インデックスとして列挙する。例えば、インデックス作成部１５ａは、クエリデータごとに連続した順に、ターゲットデータを変えて組み合わせを列挙する。

バッチ作成部１５ｂは、複数のクエリデータとターゲットデータとの組み合わせをインデックスの順に用いて、所定の容量のバッチを作成する。具体的には、バッチ作成部１５ｂは、ＧＰＵが一度に処理可能な容量であるバッチサイズまで、インデックスの順に、クエリデータとターゲットデータとの組み合わせをつめ込んで、バッチを作成する。

バッチサイズは、ＧＰＵのメモリ容量に応じて設定される値である。これにより、ＧＰＵに、より大きな行列演算を実行させることにより、多数の照合（類似度算出）処理を並列化して効率化することが可能となる。

また、バッチ作成部１５ｂは、作成したバッチを照合部１６に転送する。上記のように大きな行列演算にすることにより、ＧＰＵへ転送するバッチの数が合理化されるので、転送コストを抑えることができる。

ここで、図６～図８は、照合装置１０の処理を説明するための説明図である。まず、図６（１）に示すように、インデックス作成部１５ａは、クエリ画像とターゲット画像とを組み合わせてインデックスを作成する（cal_index）。図６に示す例では、クエリ画像（query）は３人（｜query｜＝３）、ターゲット画像（target）は５人（｜target｜＝５）である。また、クエリ画像ごとに、組み合わせるターゲット画像を変えることにより、全ての組み合わせが列挙されている。

また、図６（２）に示すように、バッチ作成部１５ｂが、クエリデータとターゲットデータとの組み合わせを、インデックスの順にバッチサイズまでつめ込んで、バッチを作成する（make_batch）。図６に示す例では、バッチサイズは１０であり、図６（１）に示した組み合わせがインデックスの順に、バッチサイズ１０までつめ込まれたバッチが作成されている。

ここで、従来、図３に示したように、クエリ画像ごとに複数のターゲット画像と組み合わせたバッチを用いて、ＧＰＵ（照合部１６）に照合タスクを実行させていた。この処理は、例えば、図７（ａ）に例示するように、コード化して表すことができる。

したがって、従来は、図８（ａ）に示すように、それぞれバッチサイズまでに空があるまま、クエリ画像と同数のバッチがＧＰＵに転送されていた。図８に示す例では、図６と同様に、クエリ画像３人、ターゲット画像５人であり、バッチサイズ１０まで空が５あるクエリ画像ごとのバッチが３回、ＧＰＵに転送されていた。したがって、ＧＰＵにおける照合タスクには、クエリ画像が１人の場合の３倍の処理時間がかかっていた。

これに対し、図６（２）に示したバッチによる処理は、例えば、図７（ｂ）に例示するように、コード化して表すことができる。この場合には、図８（ｂ）に示すように、照合部１６に転送されるバッチが、バッチサイズ１０までの空のないバッチと端数のインデックスがつめ込まれたバッチとの２回になる。これにより、照合部１６における照合タスクの並列化がすすみ、全体として処理時間が減少し、ＧＰＵでの処理を効率化できる。

また、インデックス作成部１５ａは、ターゲット画像ごとに連続する順に、クエリ画像とターゲット画像との組み合わせを列挙する。ここで、図９は、インデックス作成部１５ａの処理を説明するための説明図である。図９に示す例では、クエリ画像が２人、ターゲット画像が２０人、バッチサイズが５である。

原則的には、インデックス作成部１５ａは、クエリ画像ごとにターゲット画像を変えて組み合わせを列挙する。すなわち、クエリ画像ごとに連続する順に、クエリ画像とターゲット画像との組み合わせを列挙する。そして、バッチ作成部１５ｂは、図９（ａ）に示すように、インデックス作成部１５ａが列挙した順に、クエリ画像ごとに連続する順に、クエリ画像とターゲット画像との組み合わせをバッチにつめ込む。

この場合に、照合部１６は、例えば、ターゲット画像１（target＝１）の特徴量等のデータを、クエリ画像１（query＝１）との照合が終了した後、クエリ画像２（query＝２）との照合が終了するまで、保持しなければならない。図９（ａ）に示す例では、少なくともターゲット画像と同数の照合（類似度算出）処理を待つ間、クエリ画像２のデータを保持しなければならず、ＧＰＵのメモリが圧迫される。

そこで、インデックス作成部１５ａは、ターゲット画像ごとに連続するように、インデックス内の組み合わせの順を入れ替えてインデックスを作成する。この場合に、図９（ｂ）に示すように、バッチが作成される。図９（ｂ）に示す例では、ターゲット画像１について、クエリ画像１との照合と、クエリ画像２との照合とが連続している。したがって、上記の図９（ａ）の場合より、ターゲット画像１のデータを保持すべき期間が短縮される。このように、クエリ画像よりターゲット画像の数が多い場合には、有効にＧＰＵのメモリを解放することができる。

なお、ターゲット画像よりクエリ画像の数が多い場合には、インデックス作成部１５ａは、上記した原則どおり、クエリ画像ごとに連続する順に、クエリ画像とターゲット画像との組み合わせを列挙すればよい。これにより、同様に、有効にＧＰＵのメモリを解放することができる。

このように、照合対象のクエリデータ数と被照合対象のターゲットデータ数とバッチサイズとに応じた順にインデックス内の列挙順を入れ替えることにより、ＧＰＵのメモリ削減が可能となる。

［照合処理］
次に、図１０を参照して、本実施形態に係る照合装置１０による照合処理について説明する。図５は、照合処理手順を示すフローチャートである。図１０のフローチャートは、例えば、ユーザが照合処理の開始を指示する操作入力を行ったタイミングで開始される。

まず、インデックス作成部１５ａは、クエリデータとターゲットデータとの複数の組み合わせを所定の順に列挙したインデックスを作成する。すなわち、インデックス作成部１５ａは、照合タスクの処理対象の複数のクエリ画像と複数のターゲット画像とを１つずつ組み合わせて、インデックスとして列挙する（ステップＳ１）。

次に、バッチ作成部１５ｂは、複数のクエリデータとターゲットデータとの組み合わせをインデックスの順に、バッチサイズまでつめ込んだバッチを作成する（ステップＳ２）。その際に、インデックス作成部１５ａは、ターゲット画像ごとに連続する順に、クエリ画像とターゲット画像との組み合わせを列挙する。

また、バッチ作成部１５ｂは、作成したバッチをＧＰＵで実現される照合部１６に転送する（ステップＳ３）。照合部１６は、バッチの各組み合わせのクエリデータとターゲットデータとの類似度を算出する。すなわち、照合部１６は、バッチ作成部１５ｂが作成したバッチに従って、バッチに含まれる各組み合わせのクエリ画像とターゲット画像とを照合し、両者の類似度を算出する複数の照合タスクを並列化して実行する。これにより、一連の照合処理が終了する。

以上、説明したように、本実施形態の照合装置１０において、インデックス作成部１５ａは、照合元であるクエリデータと照合先であるターゲットデータとの複数の組み合わせを所定の順に列挙したインデックスを作成する。また、バッチ作成部１５ｂは、複数のクエリデータとターゲットデータとの組み合わせをインデックスの順に用いて、所定の容量のバッチを作成する。照合部１６は、バッチに含まれる各組み合わせのクエリデータとターゲットデータとの類似度を算出する。

これにより、照合部１６に、より大きな行列演算を実行させて、多数の類似度算出処理を並列化することが可能となる。そのため、照合部１６における照合タスクの処理時間が減少する。したがって、例えば、複数人を同時に照合する場合や、同一人物の複数のクエリ画像を用いて、アンサンブルで照合する場合に、複数の照合タスクを効率化して行うことが可能となる。また、照合部１６へ転送するバッチの数が合理化され、転送コストを抑えることができる。

また、インデックス作成部１５ａは、ターゲット画像ごとに連続する順に、クエリ画像とターゲット画像との組み合わせを列挙する。これにより、ターゲット画像よりクエリ画像の数が多い場合には、有効にＧＰＵのメモリを解放することができる。

［実施例］
図１１は、照合処理の実施例を示す図である。図１１には、バッチサイズが３２、ターゲット画像が１０人の場合における、クエリ画像の人数（クエリ数）と処理時間との関係が示されている。

図１１に示す例において、クエリ数が１人の場合には、ターゲット画像との類似度を算出する処理の処理回数は１０回であり、本発明のバッチ数は１である。クエリ数が８人の場合には、処理回数は８０回であり、本発明のバッチ数は３である。クエリ数が１６人の場合には、処理回数は１６０回であり、本発明のバッチ数は５である。クエリ数が２４人の場合には、処理回数は２４０回であり、本発明のバッチ数は８である。クエリ数が３２人の場合には、処理回数は３２０回であり、本発明のバッチ数は１０である。

また、図１１（ａ）には、従来手法（図３参照）と本発明により、クエリ数ごとにそれぞれ５回照合タスクを試行した場合の処理時間の平均値が示されている。図１１（ｂ）は、図１１（ａ）をグラフ化した図である。図１１（ｂ）に示すように、本発明の照合処理によれば、従来手法と比較して、クエリ数が４００人の場合に処理速度が約１．５倍となることがわかる。このように、クエリ数が多くなるほど、複数の照合タスクが効率化されることがわかる。

［プログラム］
上記実施形態に係る照合装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、照合装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の照合処理を実行する照合プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の照合プログラムを情報処理装置に実行させることにより、情報処理装置を照合装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）などのスレート端末などがその範疇に含まれる。また、照合装置１０の機能を、クラウドサーバに実装してもよい。

図１２は、照合プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

また、照合プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した照合装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

また、照合プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、照合プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、照合プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

１０ 照合装置
１１ 入力部
１２ 出力部
１３ 通信制御部
１４ 記憶部
１５ 制御部
１５ａ インデックス作成部
１５ｂ バッチ作成部
１６ 照合部

Claims (6)

1. 照合元であるクエリデータと照合先であるターゲットデータとの複数の組み合わせを所定の順に列挙したインデックスを作成するインデックス作成部と、
   複数の前記組み合わせを前記インデックスの順に用いて、所定の容量のバッチを作成するバッチ作成部と、
   前記バッチに含まれる組み合わせのクエリデータとターゲットデータとの類似度を算出する照合部と、
   を備えることを特徴とする照合装置。
2. 前記インデックス作成部は、前記ターゲットデータごとに連続する順に前記組み合わせを列挙することを特徴とする請求項１に記載の照合装置。
3. 前記照合部は、ニューラルネットワークを用いて前記類似度を算出することを特徴とする請求項１または２に記載の照合装置。
4. 前記照合部は、クエリデータとターゲットデータとの特徴量を用いて前記類似度を算出することを特徴とする請求項１～３のいずれか１項に記載の照合装置。
5. 照合装置が実行する照合方法であって、
   照合元であるクエリデータと照合先であるターゲットデータとの複数の組み合わせを所定の順に列挙したインデックスを作成するインデックス作成工程と、
   複数の前記組み合わせを前記インデックスの順に用いて、所定の容量のバッチを作成するバッチ作成工程と、
   前記バッチに含まれる組み合わせのクエリデータとターゲットデータとの類似度を算出する照合工程と、
   を含んだことを特徴とする照合方法。
6. 照合元であるクエリデータと照合先であるターゲットデータとの複数の組み合わせを所定の順に列挙したインデックスを作成するインデックス作成ステップと、
   複数の前記組み合わせを前記インデックスの順に用いて、所定の容量のバッチを作成するバッチ作成ステップと、
   前記バッチに含まれる組み合わせのクエリデータとターゲットデータとの類似度を算出する照合ステップと、
   をコンピュータに実行させるための照合プログラム。

Images