JP6921694B2 - 監視システム - Google Patents

Description

本発明の実施形態は、監視システムに関する。

所定位置を撮像部により撮像して得られる撮像画像に含まれる対象物（例えば、人物）の画像と、予め設定された対象物の登録画像との照合処理を実行して、予め設定された対象物を検索する監視端末を備えた監視システムが開発されている。

特許第５７５３９６６号公報 特許第５４５４２３３号公報

ところで、上記の監視システムには、撮像部の撮像により得られる撮像画像から特徴を抽出し、特徴の抽出結果に基づいて、撮像画像からベストショット画像を選択し、当該ベストショット画像を用いて照合処理を実行するものがあるが、全ての撮像画像に対して特徴を抽出する処理を実行するため、監視端末における計算コストが大きくなる。また、上記の監視システムには、撮像部の撮像により得られる全ての撮像画像を用いて、登録画像との照合に適した画像を合成し、当該合成した画像を用いて照合処理を実行するものがあるが、画像の合成により監視端末にかかる計算コストが大きくなる。

実施形態の監視システムは、監視端末とサーバとを有する。監視端末は、検出部と、追跡部と、第１選択部と、送信部と、を備える。検出部は、撮像部によって所定位置を撮像して得られる動画像を構成する各フレームから対象物の画像である対象物画像を検出する。追跡部は、フレーム間において同一の対象物の対象物画像を追跡する。第１選択部は、所定の選択処理のうち一部の選択処理であり、同一の対象物の対象物画像から、所定画像との照合に適した第１ベストショット画像を選択する第１選択処理を実行する。送信部は、第１ベストショット画像をサーバに送信する。サーバは、受信部と、第２選択部と、照合部と、出力部と、を備える。受信部は、監視端末から第１ベストショット画像を受信する。第２選択部は、所定の選択処理のうち第１選択処理以外の選択処理であり、かつ第１ベストショット画像から、所定画像との照合に適した第２ベストショット画像を選択する第２選択処理を実行する。照合部は、第２ベストショット画像と所定画像とを照合する照合処理を実行する。出力部は、照合処理の結果を出力する。

図１は、第１の実施形態にかかる人物検索システムの構成の一例を示す図である。 図２は、第１の実施形態にかかる監視端末による第１ベストショット画像の選択処理の流れの一例を示すフローチャートである。 図３は、第１の実施形態にかかるサーバによる照合処理の流れの一例を示すフローチャートである。 図４は、第１の実施形態にかかる人物検索システムにおける照合結果の表示例を示す図である。 図５は、第２の実施形態にかかる監視システムを適用した本人照合システムの構成の一例を示す図である。

以下、添付の図面を用いて、本実施形態にかかる監視システムを適用した人物検索システムおよび本人照合システムについて説明する。

（第１の実施形態）
図１は、第１の実施形態にかかる人物検索システムの構成の一例を示す図である。本実施形態にかかる人物検索システムは、図１に示すように、監視端末１００と、サーバ２００と、を有する。監視端末１００は、撮像部１０１と、追跡部１０２と、第１ベストショット選択部１０３と、送信部１０４と、を備える。撮像部１０１は、道路、駅、空港などの予め設定された位置（以下、所定位置と言う）を撮像可能に設けられる。追跡部１０２は、撮像部１０１により所定位置を撮像して得られる動画像を構成する各フレームから対象物（例えば、ブラックリスト等に含まれる人物の顔）の画像（以下、顔画像と言う。対象物画像の一例）を検出する。また、追跡部１０２は、フレーム間において同一の人物の顔画像を追跡する。本実施形態では、追跡部１０２は、監視端末１００が有する撮像部１０１の撮像により得られる動画像を構成する各フレームから顔画像を検出しているが、監視端末１００の外部の撮像部により所定位置を撮像して得られる動画像のフレームから顔画像を検出しても良い。

第１ベストショット選択部１０３は、予め設定された選択処理（所定の選択処理）のうち一部の選択処理であり、かつ追跡部１０２により追跡した同一の人物の顔画像から、予め設定された対象物の画像（以下、登録画像と言う。所定画像の一例）との照合に適した第１ベストショット画像を選択する第１選択処理を実行する。ここで、予め設定された選択処理は、登録画像との照合に適したベストショット画像を選択する処理の候補である。本実施形態では、第１選択処理は、サーバ２００において実行される選択処理に要する計算リソースよりも少ない計算リソースで実行可能な処理である。送信部１０４は、第１ベストショット選択部１０３により選択される第１ベストショット画像をサーバ２００に送信する。本実施形態では、監視端末１００の各部（追跡部１０２、第１ベストショット選択部１０３、および送信部１０４は、サーバ２００が有する計算機と比較して、性能の低い計算機（プロセッサ）により実現されるものとする。

サーバ２００は、受信部２０１と、第２ベストショット選択部２０２と、照合部２０３と、を有する、受信部２０１は、監視端末１００から、第１ベストショット画像を受信する。第２ベストショット選択部２０２は、予め設定された選択処理のうち第１選択処理以外の選択処理であり、かつ第１ベストショット画像から、登録画像との照合に適した第２ベストショット画像を選択する第２選択処理を実行する。ここで、第２選択処理は、第１選択処理に要する計算リソースより多い計算リソースで実行される処理である。すなわち、本実施形態では、人物検索システムは、照合部２０３による登録画像との照合に用いるベストショット画像の選択を、監視端末１００およびサーバ２００において２段階で実行する。

照合部２０３は、第２ベストショット画像と、登録画像と、を照合する照合処理を実行する。また、照合部２０３は、照合処理の結果を、監視端末１００やサーバ２００等が有する表示装置に出力（表示）する。本実施形態では、サーバ２００の各部（受信部２０１、第２ベストショット選択部２０２、および照合部２０３は、監視端末１００が有する計算機と比較して、性能の高い計算機（プロセッサ）により実現されるものとする。

このように、登録画像との照合に適したベストショット画像の選択処理を、監視端末１００およびサーバ２００において２段階で行うことにより、登録画像との照合に用いるベストショット画像の選択を監視端末１００のみで行う必要が無くなるので、照合処理によって監視端末１００にかかる計算リソースおよび計算コストを削減できる。また、フレームから検出される顔画像のうち第１ベストショット画像のみをサーバ２００に送るので、監視端末１００とサーバ２００間における画像等の伝送量を削減できる。

本実施形態では、人物検索システムでは、フレームに含まれる顔画像を対象物の画像として検出しているが、これに限定するものではなく、例えば、自動車の画像（車両本体の画像、ナンバープレートの画像）、真贋を判定するブランド品の画像など、フレームからの検出、追跡、登録画像との照合が可能な画像であれば良い。

次に、監視端末１００が有する各部において実行される具体的な処理について説明する。撮像部１０１は、所定位置を通過する人物の顔を正面から撮像可能に設けられている。図１に示す例では、監視端末１００は、１つの撮像部１０１を有しているが、所定位置を異なる方向から撮像する複数の撮像部１０１を有していても良い。追跡部１０２は、撮像部１０１の撮像により得られる動画像を構成する各フレームから、顔画像を検出する検出部の一例として機能する。具体的には、追跡部１０２は、フレーム上において、顔画像のテンプレート（以下、顔テンプレートと言う）を平行移動、回転、拡大、または縮小させながら走査する。次いで、追跡部１０２は、フレーム上において、顔テンプレートとの輝度値の差分が最も小さい位置を顔画像として検出する。ここで、顔テンプレートは、複数の顔画像の平均である矩形の平均画像である。

また、追跡部１０２は、フレーム内における顔画像の位置およびフレーム間における顔画像の移動量等に基づいて、連続するフレーム間において同一の人物の顔画像を追跡する。具体的には、追跡部１０２は、連続するフレーム間において検出される矩形の顔画像が重なる面積が予め設定された値以上である場合、当該連続するフレーム間において検出された顔画像が同一の人物の顔画像と判断する。一方、追跡部１０２は、連続するフレーム間において検出される矩形の顔画像が重なる面積が予め設定された値より小さい場合、当該連続するフレーム間において検出された顔画像が異なる人物の顔画像と判断する。

第１ベストショット選択部１０３は、予め設定された選択処理のうち一部の選択処理であり、かつ追跡部１０２により同一の人物の顔画像と判断された顔画像の中から、第１ベストショット画像を選択する第１選択処理を実行する。本実施形態では、第１選択処理は、同一人物の顔画像として追跡された複数の顔画像のうち、フレーム内において占める面積が大きい顔画像、正面向きの顔画像、笑顔などの表情の変化が無い顔画像、または目を閉じていない顔画像を、第１ベストショット画像として選択する。また、本実施形態では、第１選択処理は、第２選択処理に要する計算リソースより少ない計算リソースでベストショット画像を選択する処理である。

例えば、同一人物の顔画像として追跡された複数の顔画像のうちフレーム内において占める面積が大きい顔画像を選択する処理を第１選択処理として実行する場合、第１ベストショット選択部１０３は、同一人物の顔画像として追跡された顔画像毎に、フレーム内において当該顔画像を構成する画素の数を計数し、計数した数に従って、顔画像の面積を求める。そして、第１ベストショット選択部１０３は、求めた面積が予め設定された面積以上である場合に、当該顔画像を第１ベストショット画像として選択する。ここで、第１ベストショット選択部１０３は、追跡部１０２により同一人物の顔画像として追跡された顔画像のフレーム内における位置情報に基づいて、顔画像を構成する画素の数を計数する。具体的には、第１ベストショット選択部１０３は、顔画像の特徴部である目、鼻、および口を含む矩形を求め、当該矩形に含まれる画素の数に従って、顔画像の面積を算出する。面積が小さい顔画像は解像度が不十分であるため、登録画像との照合処理の精度が低くなる可能性があるため、面積が大きい顔画像を第１ベストショット画像として選択することで、登録画像との照合処理の精度を向上させることができる。

また、同一人物の顔画像として追跡された複数の顔画像のうち正面向きの顔画像を選択する処理を第１選択処理として実行する場合、第１ベストショット選択部１０３は、様々な顔の向きの顔画像を用いて、顔画像の角度を識別する識別器を学習する。次いで、第１ベストショット選択部１０３は、学習した識別器を用いて、同一人物の顔画像として追跡された顔画像毎に、当該顔画像の角度を推定する。そして、第１ベストショット選択部１０３は、同一人物の顔画像として追跡された複数の顔画像のうち、推定した顔画像の角度が、所定の角度と一致した顔画像を、正面向きの顔画像を第１ベストショット画像として選択する。ここで、所定の角度は、予め設定された顔画像の角度であり、顔画像が正面向きであると判断する角度である。

また、同一人物の顔画像として追跡された複数の顔画像のうち表情の変化が無い素顔の顔画像を選択する処理を第１選択処理として実行する場合、第１ベストショット選択部１０３は、素顔の顔画像および表情の変化を有する顔画像を用いて、素顔の顔画像か若しくは表情の変化を有する顔画像かを識別する２クラス識別器を学習する。次いで、第１ベストショット選択部１０３は、学習した２クラス識別器を用いて、同一人物の顔画像として追跡された顔画像毎に、当該顔画像が、素顔の顔画像か若しくは表情の変化を有する顔画像かを推定する。そして、第１ベストショット選択部１０３は、同一人物の顔画像として追跡された複数の顔画像のうち、素顔の顔画像と推定された顔画像を第１ベストショット画像として選択する。また、第１ベストショット選択部１０３は、無表情な顔画像、表情がある顔画像（例えば、笑顔の顔画像）と無表情な顔画像との中間の顔画像、笑顔の顔画像それぞれに対応するサンプルの顔画像を収集し、それぞれの笑顔度（例えば、０、０．５、または１）を設定する。次いで、第１ベストショット選択部１０３は、サポートベクター回帰によって、設定した笑顔度の顔画像を学習する。これにより、第１ベストショット選択部１０３は、同一人物の顔画像それぞれの笑顔度を求めることが可能となる。そして、第１ベストショット選択部１０３は、同一人物の顔画像のうち、笑顔度の低い顔画像（例えば、笑顔度が０．５以下の顔画像）を第１ベストショット画像として選択する。これにより、表情の変化に起因する、顔画像と登録画像との類似度の低下を防止できる。

また、同一人物の顔画像として追跡された複数の顔画像のうち目を開いた顔画像を選択する処理を第１選択処理として実行する場合、第１ベストショット選択部１０３は、目を開いた顔画像および目を閉じた顔画像を用いて、目を開いた顔画像か若しくは目を閉じた顔画像かを識別する２クラス識別器を学習する。次いで、第１ベストショット選択部１０３は、学習した２クラス識別器を用いて、同一人物の顔画像として追跡された顔画像毎に、目を開いた顔画像か若しくは目を閉じた顔画像かを推定する。そして、第１ベストショット選択部１０３は、上記の２クラス識別器の出力値（すなわち、目を開いた顔画像か若しくは目を閉じた顔画像か）に基づいて、同一人物の顔画像として追跡された複数の顔画像のうち、目を開いた顔画像と推定された顔画像を第１ベストショット画像として選択する。なお、第１ベストショット選択部１０３は、顔画像から目を検出する際、顔画像上において、人間の目のテンプレート（以下、目テンプレートと言う）を平行移動、回転、または縮小させながら走査し、顔画像上において、目テンプレートとの輝度値の差分が最も小さい位置を目の画像として検出する。これにより、表情の変化に起因する、顔画像と登録画像との類似度の低下を防止できる。

また、第１ベストショット選択部１０３は、上述した複数の第１選択処理を用いて、第１ベストショット画像を選択することも可能である。具体的には、第１ベストショット選択部１０３は、フレームから検出される顔画像に対して複数の第１選択処理を実行し、ベストショット画像として選択される度に、当該顔画像に対して当該各第１選択処理に予め設定された重みを付与する。次いで、第１ベストショット選択部１０３は、顔画像に付与された重みを加算した値から、回帰分析によって、ベストショットの度合い（以下、ベストショット度と言う）を推定する。ここで、ベストショット度は、登録画像との照合に適する度合いである。本実施形態では、ベストショット度は、登録画像との類似度（以下、本人類似度と言う）が高くなる度合いである。そして、第１ベストショット選択部１０３は、推定されたベストショット度が予め設定された値以上の顔画像を第１ベストショット画像として選択する。または、第１ベストショット選択部１０３は、登録画像とフレームから検出した顔画像を学習データとし、かつ顔画像の面積、顔画像の向き、顔画像の笑顔度等を変数として、同一人物の顔画像として追跡された顔画像と登録画像との類似度を回帰する学習（例えば、最小二乗法）を行うことで、上記の各第１選択処理による顔画像の選択結果の付与する重みを求める。そして、第１ベストショット選択部１０３は、各第１選択処理に付与された重みと、当該第１選択処理により求めた値（例えば、顔画像の面積、顔画像の向き、顔画像の笑顔度）との積の合計が高いものから順に、予め設定された数分の顔画像を第１ベストショット画像として選択する。

また、第１ベストショット選択部１０３は、登録画像または照合部２０３における照合処理に用いた第２ベストショット画像の輝度値をベクトル情報として、回帰分析によって、フレームから検出される同一の人物の顔画像から、第１ベストショット画像を選択する処理を第１選択処理として実行しても良い。

また、第１ベストショット選択部１０３は、同一の人物の顔画像（追跡対象ｉ）から選択しかつ監視端末１００内に保存する第１ベストショット画像の枚数Ｎ（ｉ）を予め設定しておく。第１ベストショット選択部１０３は、監視端末１００内において第１ベストショット画像を保存可能な枚数の上限および下限を予め設定しておき、その範囲内において、枚数Ｎ（ｉ）を設定する。そして、第１ベストショット選択部１０３は、追跡対象ｉから、予め設定された枚数Ｎ（ｉ）の第１ベストショット画像を選択し、当該選択した第１ベストショット画像を監視端末１００が有するメモリに保存する。第１ベストショット選択部１０３は、監視端末１００が有するメモリの容量に応じて、枚数Ｎ（ｉ）を設定しても良い。また、第１ベストショット選択部１０３は、監視端末１００が有する計算リソースのうち、第１ベストショット画像の選択に使用可能な計算リソースに応じて、枚数Ｎ（ｉ）を設定しても良い。

送信部１０４は、第１ベストショット選択部１０３により選択される第１ベストショット画像のうち少なくとも１枚の第１ベストショット画像を、サーバ２００に送信する。また、送信部１０４は、監視端末１００とサーバ２００との間の通信容量またはサーバ２００の処理負荷に応じて、サーバ２００に送信する第１ベストショット画像の枚数Ｋ（ｉ）を決定する。そして、送信部１０４は、監視端末１００が有するメモリに記憶される同一の人物の第１ベストショット画像から、決定した枚数Ｋ（ｉ）の第１ベストショット画像を選択して、サーバ２００に送信することも可能である。また、送信部１０４は、サーバ２００における第２ベストショット画像と登録画像との照合結果に基づいて、枚数Ｋ（ｉ）の上限および下限を設定し、その範囲内において、枚数Ｋ（ｉ）を設定する。例えば、送信部１０４は、第２ベストショット画像と登録画像との本人類似度が予め設定された類似度より高くなった第２ベストショット画像の枚数が予め設定された枚数より少ない場合、枚数Ｋ（ｉ）を増やす。一方、送信部１０４は、第２ベストショット画像と登録画像との本人類似度が予め設定された類似度より高くなった第２ベストショット画像の枚数が予め設定された枚数より多い場合、枚数Ｋ（ｉ）を減らす。

次に、サーバ２００が有する各部において実行される具体的な処理について説明する。受信部２０１は、監視端末１００から送信される少なくとも１枚の第１ベストショット画像を受信する。第２ベストショット選択部２０２は、予め設定された選択処理のうち第１選択処理以外の選択処理であり、かつ受信した第１ベストショット画像から、少なくとも１枚の第２ベストショット画像を選択する第２選択処理を実行する。本実施形態では、第２ベストショット選択部２０２は、第２ベストショット画像の選択結果、および第２ベストショット画像と登録画像との類似度である本人類似度に基づいて、ディープニューラルネットワーク等によって、受信した第１ベストショット画像のベストショット度を算出する。そして、第２ベストショット選択部２０２は、受信した第１ベストショット画像のうち、算出したベストショット度が所定値以上の画像を第２ベストショット画像として選択する。これにより、予め設定された複数の選択処理のうち多くの計算リソースを要する第２選択処理をサーバ２００において実行することで、監視端末１００におけるベストショット画像の選択に要する計算リソースおよび計算コストをより削減できる。

または、第２ベストショット選択部２０２は、第１ベストショット画像のうちその画質が予め設定された画質より高い第１ベストショット画像を第２ベストショット画像として選択しても良い。その際、第２ベストショット選択部２０２は、第１ベストショット画像として顔画像の画素値の平均値を明るさの指標（画質の一例）として求め、当該平均値が、予め設定された値より高い第１ベストショット画像を、第２ベストショット画像として選択する。本実施形態では、第２ベストショット選択部２０２は、監視端末１００が有する第１ベストショット選択部１０３により実行する第１選択処理とは異なる種類の選択処理によって、第２ベストショット画像を選択しているが、第１選択処理と同じ種類の選択処理によって、第２ベストショット画像を選択しても良い。その場合、第２ベストショット選択部２０２は、第１選択処理とは異なるパラメータを用いて、第２選択処理を実行することも可能である。

照合部２０３は、登録画像を記憶する記憶部を有する。そして、照合部２０３は、第２ベストショット画像と当該記憶部に記憶される登録画像とを照合する照合処理を実行する。本実施形態では、照合部２０３は、第２ベストショット画像と登録画像との類似度である本人類似度を算出する。そして、照合部２０３は、算出した本人類似度に基づいて、所定位置を通過した人物が予め設定された人物であるか否かを判断する。

また、照合部２０３は、照合処理の結果を出力する出力部としても機能する。本実施形態では、照合部２０３は、第２ベストショット画像について算出した本人類似度を照合処理の結果として出力する。例えば、照合部２０３は、第１ベストショット画像、第２ベストショット画像、登録画像、および本人類似度を、監視端末１００またはサーバ２００が有する表示部に表示させる。

また、照合部２０３（学習部の一例）は、第２ベストショット画像と登録画像との照合結果に基づいて、第１ベストショット画像のベストショット度が高くなる第１選択処理のパラメータを学習する。または、照合部２０３は、サーバ２００が有する入力部を介して人物検索システムの管理者等によって入力された第２ベストショット画像のベストショット度、または第２ベストショット画像の本人類似度に基づいて、第１選択処理のパラメータを学習しても良い。そして、照合部２０３は、学習した第１選択処理のパラメータを、監視端末１００に送信する。

本実施形態では、照合部２０３は、第１ベストショット画像として選択する顔画像を構成する画素の数、第１ベストショット画像として選択する顔画像の角度、第１ベストショット画像として選択する顔画像の表情、第１ベストショット画像として選択する顔画像が含む目の状態（目が開いているか否か）、複数の第１選択処理を用いて第１ベストショット画像を選択する場合において各第１選択処理に設定する重みなどを、第１選択処理のパラメータとして学習する。そして、監視端末１００の第１ベストショット選択部１０３は、サーバ２００から受信するパラメータに従って、第１選択処理を実行するものとする。これにより、登録画像との照合により適した第１ベストショット画像を選択可能となるので、フレームから検出される顔画像と登録画像との照合精度を向上させることができる。

また、照合部２０３は、第２ベストショット画像と登録画像との照合結果に基づいて、第２ベストショット画像のベストショット度が高くなる第２選択処理のパラメータを学習する。そして、第２ベストショット選択部２０２は、照合部２０３により学習されたパラメータに従って、第２選択処理を実行しても良い。これにより、登録画像との照合により適した第２ベストショット画像を選択可能となるので、フレームから検出される顔画像と登録画像との照合精度を向上させることができる。

次に、図２を用いて、本実施形態にかかる監視端末１００による第１ベストショット画像の選択処理の流れの一例について説明する。図２は、第１の実施形態にかかる監視端末による第１ベストショット画像の選択処理の流れの一例を示すフローチャートである。

追跡部１０２は、まず、撮像部１０１から、当該撮像部１０１によって所定位置を撮像して得られる動画像を構成するフレームを取得する（ステップＳ３０１）。次いで、追跡部１０２は、取得したフレームから顔画像を検出する（ステップＳ３０２）。そして、追跡部１０２は、フレームから顔画像を検出したか否かを判断する（ステップＳ３０３）。フレームから顔画像が検出されなかった場合（ステップＳ３０３：Ｎｏ）、追跡部１０２は、ステップＳ３０１に戻り、撮像部１０１から、新たなフレームを取得する。

一方、フレームから顔画像を検出した場合（ステップＳ３０３：Ｙｅｓ）、追跡部１０２は、連続するフレーム間における同一の人物の顔画像を追跡する（ステップＳ３０４）。次いで、追跡部１０２は、同一の人物の顔画像の追跡が終了したか、すなわち、同一の人物の顔画像がフレームから検出されなくなったかを判断する（ステップＳ３０５）。同一の人物の顔画像がフレームから検出されなくなり、同一の人物の顔画像の追跡が終了したと判断した場合（ステップＳ３０５：Ｙｅｓ）、追跡部１０２は、同一の人物の顔画像から、第１ベストショット画像を選択する第１選択処理を実行する（ステップＳ３０６）。そして、送信部１０４は、選択された第１ベストショット画像のうち少なくとも１つの第１ベストショット画像を、サーバ２００に送信する（ステップＳ３０７）。

次に、図３を用いて、本実施形態にかかるサーバ２００による照合処理の流れの一例について説明する。図３は、第１の実施形態にかかるサーバによる照合処理の流れの一例を示すフローチャートである。

受信部２０１は、まず、監視端末１００から、第１ベストショット画像を受信する（ステップＳ４０１）。第２ベストショット選択部２０２は、受信した第１ベストショット画像の中から、第２ベストショット画像を選択する第２選択処理を実行する（ステップＳ４０２）。照合部２０３は、選択した第２ベストショット画像の特徴量を抽出する（ステップＳ４０３）。そして、照合部２０３は、第２ベストショット画像の特徴量および登録画像の特徴量との本人類似度を算出し、所定位置を通過した人物が予め設定された人物であるか否かを判断する照合処理を実行する（ステップＳ４０４）。例えば、照合部２０３は、本人類似度が予め設定された値を超えた場合、所定位置を通過した人物が予め設定された人物であると判断する。

次いで、第２ベストショット選択部２０２は、第２ベストショット画像について算出した本人類似度が予め設定された第１閾値より大きいか否かを判断する（ステップＳ４０５）。第２ベストショット画像について算出した本人類似度が第１閾値より大きい場合（ステップＳ４０５：Ｙｅｓ）、第２ベストショット選択部２０２は、ステップＳ４０１に戻り、新たな第１ベストショット画像を受信する。一方、第２ベストショット画像について算出した本人類似度が第１閾値以下である場合（ステップＳ４０５：Ｎｏ）、第２ベストショット選択部２０２は、本人類似度が第１閾値より小さい第２ベストショット画像の数である画像数ｎをインクリメントする（ステップＳ４０６）。その後、第２ベストショット選択部２０２は、画像数ｎが、第１選択処理のパラメータの更新を要すると判断する第２閾値より多いか否かを判断する（ステップＳ４０７）。

画像数ｎが第２閾値より多いと判断された場合（ステップＳ４０７：Ｙｅｓ）、第２ベストショット選択部２０２は、第２ベストショット画像の照合結果に基づいて、第１ベストショット画像のベストショット度が高くなる第１選択処理のパラメータを学習する（ステップＳ４０８）。さらに、第２ベストショット選択部２０２は、学習したパラメータを監視端末１００に送信し、かつ画像数ｎを０にリセットする（ステップＳ４０９）。

次に、図４を用いて、本実施形態にかかる人物検索システムにおける照合結果の表示例について説明する。図４は、第１の実施形態にかかる人物検索システムにおける照合結果の表示例を示す図である。

本実施形態では、照合部２０３は、図４に示すように、監視端末１００から受信した第１ベストショット画像を、人物検索システムが有する監視端末１００毎に配置した第１ベストショット画像一覧Ｇ１を含む表示画面Ｇを表示する。その際、照合部２０３は、図４に示すように、第１ベストショット画像をベストショット度が高い順に並べて表示する。

また、照合部２０３は、図４に示すように、第２ベストショット選択部２０２により選択される第２ベストショット画像を、監視端末１００毎に配置した第２ベストショット画像一覧Ｇ２を含む表示画面Ｇを表示する。その際、照合部２０３は、図４に示すように、第２ベストショット画像を、当該第２ベストショット画像について算出される本人類似度が高い順に並べて表示する。さらに、照合部２０３は、図４に示すように、各第２ベストショット画像について算出される本人類似度を第２ベストショット画像一覧Ｇ２に含めても良い。さらに、照合部２０３は、図４に示すように、登録画像を配置した登録画像一覧Ｇ３を含む表示画面Ｇを表示する。

このように、第１の実施形態にかかる人物検索システムによれば、登録画像との照合に適したベストショット画像の選択処理を、監視端末１００およびサーバ２００において２段階で行うことにより、登録画像との照合に用いるベストショット画像の選択を監視端末１００のみで行う必要が無くなるので、照合処理によって監視端末１００にかかる計算リソースおよび計算コストを削減できる。

（第２の実施形態）
本実施形態は、所定位置を通過する人物が所持する記録媒体から、画像を読み取り、当該読み取った画像を登録画像として用いて、第２ベストショット画像と照合する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。

図５は、第２の実施形態にかかる監視システムを適用した本人照合システムの構成の一例を示す図である。本実施形態にかかる本人照合システムは、図５に示すように、監視端末６００が、撮像部１０１、追跡部１０２、第１ベストショット選択部１０３、および送信部６０１に加えて、識別情報読取部６０２を有する。

識別情報読取部６０２は、所定位置を通過する対象物が所持するＩＤカード（記録媒体の一例）から、対象物の画像を読み取る。本実施形態では、識別情報読取部６０２は、所定位置を通過する人物の立ち位置から手の届く範囲に設置される。また、ＩＤカードは、例えば、旅券、運転免許証、マイナンバーカード、その他、対象物の画像を記録可能な媒体であれば良い。識別情報読取部６０２は、所定位置を通過する人物のみが知り得る識別情報を入力可能とする入力装置や、指紋や静脈などの生体情報を読み取る装置など、登録画像を取得可能とする情報を入力可能な装置であっても良い。

送信部６０１は、第１ベストショット選択部１０３により選択される第１ベストショット画像と共に、識別情報読取部６０２により読み取られる対象物の画像を、サーバ２００に送信する。

そして、サーバ２００の照合部２０３は、受信部２０１により第１ベストショット画像と共に受信する対象物の画像を登録画像として用いて、第２ベストショット画像と当該登録画像とを照合する照合処理を実行する。

このように、第２の実施形態にかかる本人照合システムによれば、所定位置を通過する人物が所持する記録媒体から、対象物の画像を読み取り、当該読み取った対象物の画像を登録画像として用いて、第２ベストショット画像と照合することにより、サーバ２００において処理時間のかかる精密なベストショット選択処理を行うことで、本人照合端末（本実施形態では、監視端末６００）の計算資源を節約できる。

以上説明したとおり、第１，２の実施形態によれば、照合処理によって監視端末１００，６００にかかる計算リソースおよび計算コストを削減できる。

なお、本実施形態の監視端末１００，６００およびサーバ２００で実行されるプログラムは、ＲＯＭ（Read Only Memory）等に予め組み込まれて提供される。本実施形態の監視端末１００，６００およびサーバ２００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態の監視端末１００，６００およびサーバ２００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の監視端末１００，６００およびサーバ２００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態の監視端末１００，６００で実行されるプログラムは、上述した各部（追跡部１０２、第１ベストショット選択部１０３、および送信部１０４，６０１）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central Processing Unit）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、追跡部１０２、第１ベストショット選択部１０３、および送信部１０４，６０１が主記憶装置上に生成されるようになっている。

本実施形態のサーバ２００で実行されるプログラムは、上述した各部（受信部２０１、第２ベストショット選択部２０２、および照合部２０３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、受信部２０１、第２ベストショット選択部２０２、および照合部２０３が主記憶装置上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，６００ 監視端末
１０１ 撮像部
１０２ 追跡部
１０３ 第１ベストショット選択部
１０４，６０１ 送信部
２００ サーバ
２０１ 受信部
２０２ 第２ベストショット選択部
２０３ 照合部
６０２ 識別情報読取部

Claims (5)

1. 監視端末とサーバとを有する監視システムであって、
   前記監視端末は、
   撮像部によって所定位置を撮像して得られる動画像を構成する各フレームから対象物の画像である対象物画像を検出する検出部と、
   前記フレーム間において同一の対象物の前記対象物画像を追跡する追跡部と、
   所定の選択処理のうち一部の選択処理であり、同一の対象物の前記対象物画像から、所定画像との照合に適した第１ベストショット画像を選択する第１選択処理を実行する第１選択部と、
   前記第１ベストショット画像を前記サーバに送信する送信部と、を備え、
   前記サーバは、
   前記監視端末から前記第１ベストショット画像を受信する受信部と、
   前記所定の選択処理のうち前記第１選択処理以外の選択処理であり、かつ前記第１ベストショット画像から、前記所定画像との照合に適した第２ベストショット画像を選択する第２選択処理を実行する第２選択部と、
   前記第２ベストショット画像と前記所定画像とを照合する照合処理を実行する照合部と、
   前記照合処理の結果を出力する出力部と、を備える監視システム。
2. 前記照合部は、前記第２ベストショット画像と前記所定画像との類似度を算出し、
   前記出力部は、前記類似度を前記照合処理の結果として出力し、
   前記第２選択処理は、前記第２ベストショット画像の選択結果および前記類似度の算出結果に基づいて、前記第１ベストショット画像に対して、前記類似度が高くなる度合いであるベストショット度を算出し、前記第１ベストショット画像のうち、前記ベストショット度が所定値以上の画像を前記第２ベストショット画像として選択する請求項１に記載の監視システム。
3. 前記監視端末は、前記所定位置を通過する人物が所持する記録媒体から、画像を読み取る読取部をさらに備え、
   前記送信部は、前記第１ベストショット画像と前記読み取った画像とを前記サーバに送信し、
   前記照合部は、前記読み取った画像を前記所定画像として、前記第２ベストショット画像と照合する請求項１または２に記載の監視システム。
4. 前記サーバは、前記第２ベストショット画像と前記所定画像との照合結果に基づいて、前記第１ベストショット画像の前記ベストショット度が高くなる前記第１選択処理のパラメータを学習し、前記パラメータを前記監視端末に送信する学習部をさらに備える請求項２に記載の監視システム。
5. 前記第１選択部は、前記サーバから受信する前記パラメータに従って、前記第１選択処理を実行する請求項４に記載の監視システム。

Images