JP6797009B2 - 人物識別装置、方法及びプログラム - Google Patents

Description

本発明は、顔認証技術及びトラッキング技術等の技術を用いて遠隔地の人物を識別する技術に関する。

インターネット上で検定試験等を実施する場合、会場試験と異なり現地での試験監督が困難であるため、受験者の端末のカメラを使って試験監督者が遠隔からカメラ画像を監視することで不正行為を防止することが考えられる。人の目視によるカメラ画像の監視では、一度に監督できる人数が限られるため、顔認証技術等を適用して自動で正規の受験者か否かを識別できれば、監督者は正規ではないと識別された受験者のみに注意を向けることができ、監督作業が効率化される。

顔認証技術は、予め登録しておいた顔画像の特徴量と認証時の被認証者の顔画像の特徴量を比較し、被認証者の正当性を確認する技術である（例えば、非特許文献１参照。）。顔認証の精度は、調整された環境下で非常に高く、一方で照明条件、顔の向き、表情、遮蔽物等の影響を受けて劣化しやすい特徴を持つ。

したがって、顔認証技術を遠隔試験に適用した場合、受験者が正面を向いて顔全体が写っている状況では、高い精度で受験者を識別できるが、受験者が下を向く、頬杖を付いて顔に一部が隠れるといった状況では顔認証が失敗する可能性が高く、受験者を正しく識別できる期間は限られる。そこで、顔認証技術とトラッキング技術を組み合せることで、受験者を識別可能な期間を改善することが考えられる。

トラッキング技術は、標的となる人や物を、その特徴量を使って時系列で与えられる画像の中から類似する画像領域を探索することにより、追跡する技術である（例えば、非特許文献２参照。）。追跡対象の見え方は時々刻々と変化する状況が一般的と考えられるため、見え方の変化に対して堅牢なトラッキング技術の提案がなされている。また、ある画像においてトラッキングに失敗しても、後続の画像で類似する画像領域が見つかれば、トラッキングを再開することも可能である。

遠隔試験における顔認証技術とトラッキング技術の組合せでは、顔認証に失敗した場合に、最後に顔認証に成功した画像を起点として受験者をトラッキングする。これにより、顔認証が成功した期間に加え、トラッキングが成功した期間についても、受検者の識別が可能となる。

Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato and Lior Wolf, "DeepFace: Closing the Gap to Human-Level Performance in Face Verification", Conference on Computer Vision and Pattern Recognition (CVPR)June 24, 2014. Zdenek Kalal, Krystian Mikolajczyk and Jiri Matas, "Tracking-Learning-Detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 6, NO. 1, JANUARY 2010.

しかしながら、顔認証技術とトラッキング技術を組み合せた技術では、受験者が一時的に横を向く、目元を押さえて顔の大部分が隠れるといった大幅な見え方の変化が生じた場合、受験者のトラッキングに失敗する可能性がある。

一度トラッキングに失敗した後にトラッキングを停止する場合、次に顔認証が成功するまで受験者を識別できないことが問題となる。

そこで、本発明は、受験者等の人物の識別可能な時間が従来よりも長い人物識別装置、方法及びプログラムを提供することを目的とする。

この発明の一態様による人物識別装置は、識別対象となる人物である識別対象人物の画像の時系列を取得する人物画像取得部と、取得された識別対象人物の画像の時系列と予め登録された人物の画像とを用いて、識別対象人物と予め登録された人物とが同一人物であるかどうかを顔認証技術により判定する顔認証部と、識別対象人物の画像の時系列に基づいて、同一人物であると判定された識別対象人物をトラッキングするトラッキング部と、トラッキングに失敗した場合に、識別対象人物の画像の時系列に基づいて、識別対象人物の画像に含まれる画像領域の動きを推定する動き推定部と、推定された画像領域の動きに基づいて、識別対象人物が他の人物に入れ替わったかどうかを判断し、入れ替わったと判断されなかった場合には、トラッキング部にトラッキングを再開させる人物識別部と、を備えている。

人物の識別可能な時間が従来よりも長くなる。

人物識別装置を説明するためのブロック図。 人物識別方法を説明するための流れ図。 人物識別装置のハードウェア構成の一例を示す図。

以下、図面を参照して、この発明の一実施形態について説明する。

人物識別装置は、図１に示すように、人物画像取得部１、顔認証部２、トラッキング部３、動き推定部４及び人物識別部５を例えば備えている。人物識別方法は、人物識別装置の各部が、図２及び以下に説明するステップＳ１からステップＳ５の処理を行うことにより実現される。

＜人物画像取得部１＞
人物画像取得部１は、識別対象となる人物である識別対象人物の画像の時系列を取得する（ステップＳ１）。取得された識別対象人物の画像の時系列は、顔認証部２、トラッキング部３及び動き推定部４に出力される。

人物画像取得部１は、識別対象人物の画像を所定の時間間隔で取得することにより、識別対象人物の画像の時系列を取得する。

識別対象人物の例は、ＰＣ等の端末装置を用いて遠隔地で試験を受けている受験生である。この場合、ＰＣ等の端末装置に設けられたカメラにより、識別対象人物である受験生の画像が撮影され、撮影された画像はインターネット等の通信網を介して人物識別装置の人物画像取得部１に送信される。例えば、このようにして人物画像取得部１は、識別対象人物の画像を取得する。

識別対象となる人物は、その人物の画像を取得可能であれば、受験生以外の人物であってもよい。

＜顔認証部２＞
顔認証部２は、人物画像取得部１により取得された識別対象人物の画像の時系列と予め登録された人物の画像とを用いて、識別対象人物と予め登録された人物とが同一人物であるかどうかを顔認証技術により判定する（ステップＳ２）。その判定結果は、トラッキング部３に出力される。

顔認証技術とは、予め登録しておいた顔画像の特徴量と認証時の被認証者の顔画像の特徴量を比較し、被認証者の正当性を確認する技術である。顔認証技術としては、例えば非特許文献１に記載された技術等の既存の顔認証技術を用いることができる。

顔認証部２は、顔認証に成功した場合には、言い換えれば、識別対象人物と予め登録された人物とが同一人物であると判定された場合には、その顔認証に成功した識別対象人物の画像領域についての情報をトラッキング部３に出力する。

＜トラッキング部３＞
トラッキング部３は、顔認証部２において、識別対象人物の画像の時系列に基づいて、顔認証部２において予め登録された人物と同一人物であると判定された識別対象人物をトラッキングする（ステップＳ３）。言い換えれば、トラッキング部は、顔認証部２において顔認証に成功した識別対象人物の画像領域に対してトラッキングを行う。トラッキングの結果は、動き推定部４に出力される。

トラッキングとは、標的となる人や物を、その特徴量を使って時系列で与えられる画像の中から類似する画像領域を探索することにより、追跡することである。トラッキングは、例えば非特許文献２に記載された技術等の既存のトラッキング技術により行うことができる。

トラッキング部３は、トラッキングに失敗した場合には、そのトラッキングに失敗した画像の直前の画像においてトラッキングの対象となっていた画像領域についての情報を記憶しておくとする。

なお、トラッキング部３は、直前の画像の画像領域の位置と今回の画像の画像領域の位置の移動距離も加味して、移動距離が一定以上であればトラッキングが失敗したと判定してもよい。これにより、人物識別部５は識別対象人物の移動距離が一定以内の場合のみ正規な人物と判定することになり、より厳しい条件で人物の識別を行うことが可能となる。

＜動き推定部４＞
動き推定部４は、トラッキング部３による識別対象人物のトラッキングに失敗した場合に、識別対象人物の画像の時系列に基づいて、識別対象人物の画像に含まれる画像領域の動きを推定する（ステップＳ４）。推定された画像領域の動きについての情報は、人物識別部５に出力される。

画像領域は、識別対象人物の画像に含まれる任意の画像領域である。例えば、画像の時系列を見たときに、画像の中を移動する移動体、画像の外から中に入ってくる移動体及び画像の中から外に出てゆく移動体がある場合には、それらの移動体のそれぞれの画像部分が動きの推定対象となる画像領域となる。画像領域の例は、識別対象人物の画像である。

動きの推定には、既存の動き推定技術を利用することができる。動き推定技術とは、時系列の画像の時間的に隣接する２個の画像間の差分を用いて画像領域が動いた方向と距離を推定する技術である。この動いた方向と距離は、動きベクトルと呼ばれる。

動き推定部４は、識別対象人物の画像の時系列を用いて、この動きベクトルを計算することにより、画像の外から中に入ってくる画像領域と、画像の中から外に出てゆく画像領域との少なくとも一方があったかどうかを推定する。画像の外から中に入ってくる画像領域と、画像の中から外に出てゆく画像領域との少なくとも一方があったかどうかが、推定された画像領域の動きについての情報の一例である。推定された画像領域の動きについての情報は、動きベクトル自体であってもよい。

＜人物識別部５＞
人物識別部５は、動き推定部４で推定された画像領域の動きに基づいて、識別対象人物が他の人物に入れ替わったかどうかを判断し、入れ替わったと判断されなかった場合には、識別対象人物は予め登録された人物とが同一人物であると判断して、トラッキング部３に上記のトラッキングを再開させる（ステップＳ５）。

例えば、人物識別部５は、画像の外から中に入ってくる画像領域と、画像の中から外に出てゆく画像領域との少なくとも一方があった場合には、識別対象人物が他の人物に入れ替わったと判断する。人物識別部５は、画像の外から中に入ってくる画像領域と、画像の中から外に出てゆく画像領域との両方があった場合に、識別対象人物が他の人物に入れ替わったと判断してもよい。

入れ替わったかどうかの判断結果は、トラッキング部３に出力される。

トラッキング部３は、入れ替わっていない旨の判断結果を受け取った場合には、トラッキングに失敗した画像の直前の画像においてトラッキングの対象となっていた識別対象人物の画像領域に類似する画像領域を、予め登録された人物の画像領域であるとしてトラッキングを再開する。

従来は、一度トラッキングに失敗した後は、顔認証が成功するまでトラッキングを再開していなかった。このため、顔認証が成功するまで人物の識別をすることができなかった。顔認証よりも先に結果を得ることができる、人物の入れ替わったかどうかの判断に基づいてトラッキングを再開することにより、人物の識別可能な時間が従来よりも長くなる
トラッキング部３は、入れ替わった旨の判断結果を受け取った場合には、その後、トラッキングに失敗した画像の直前の画像においてトラッキングの対象となっていた識別対象人物の画像領域に類似する画像領域があったとしても、その画像領域は、予め登録された人物の画像領域ではないとして、その画像領域に対するトラッキングを再開しない。

一度トラッキングに失敗しても後続の画像で類似した画像領域が発見されれば、それを正規受験者と見なしてトラッキングを再開することも可能である。しかし、トラッキングに失敗してから再開するまでの間に人物の入れ替わりが発生した場合も、正規ではない人物を正規な人物としてトラッキングし続けるため、入れ替わりの見逃しが問題となる。

入れ替わった旨の判断結果を受け取った場合に、トラッキングを再開しないことにより、トラッキングに失敗してから再開するまでの間の人物の入れ替わりを防ぐことができる。

［ハードウェア構成及び変形例］
例えば、本発明の一実施の形態における人物識別装置は、コンピュータとして機能してもよい。図３は、本発明の一実施の形態に係る人物識別装置のハードウェア構成の一例を示す図である。上述の人物識別装置は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。

人物識別装置における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、上述の情報処理部１１などは、プロセッサ１００１で実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、人物識別装置の顔認証部２は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る人物識別装置の制御方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、人物識別装置は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

情報等は、上位レイヤ(または下位レイヤ)から下位レイヤ(または上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。

判定及び判断は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。

本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

「含む(ｉｎｃｌｕｄｉｎｇ)」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本開示の全体において、例えば、英語でのa, an, 及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

Claims (3)

1. 識別対象となる人物である識別対象人物の画像の時系列を取得する人物画像取得部と、
   上記取得された識別対象人物の画像の時系列と予め登録された人物の画像とを用いて、上記識別対象人物と上記予め登録された人物とが同一人物であるかどうかを顔認証技術により判定する顔認証部と、
   上記識別対象人物の画像の時系列に基づいて、同一人物であると判定された識別対象人物をトラッキングするトラッキング部と、
   上記トラッキングに失敗した場合に、上記識別対象人物の画像の時系列に基づいて、上記識別対象人物の画像に含まれる画像領域の動きを推定する動き推定部と、
   上記推定された画像領域の動きに基づいて、上記識別対象人物が他の人物に入れ替わったかどうかを判断し、入れ替わったと判断されなかった場合には、上記トラッキング部に上記トラッキングを再開させる人物識別部と、
   を含む人物識別装置。
2. 人物画像取得部が、識別対象となる人物である識別対象人物の画像の時系列を取得する人物画像取得ステップと、
   顔認証部が、上記取得された識別対象人物の画像の時系列と予め登録された人物の画像とを用いて、上記識別対象人物と上記予め登録された人物とが同一人物であるかどうかを顔認証技術により判定する顔認証ステップと、
   トラッキング部が、上記識別対象人物の画像の時系列に基づいて、同一人物であると判定された識別対象人物をトラッキングするトラッキングステップと、
   動き推定部が、上記トラッキングに失敗した場合に、上記識別対象人物の画像の時系列に基づいて、上記識別対象人物の画像に含まれる画像領域の動きを推定する動き推定ステップと、
   人物識別部が、上記推定された画像領域の動きに基づいて、上記識別対象人物が他の人物に入れ替わったかどうかを判断し、入れ替わったと判断されなかった場合には、上記トラッキング部に上記トラッキングを再開させる人物識別ステップと、
   を含む人物識別方法。
3. 請求項１の人物識別装置の各部としてコンピュータを機能させるためのプログラム。

Images