JP7833664B2 - 顔認証システムおよび登録顔画像更新方法 - Google Patents

Description

本発明は、被認証者を撮影して取得した被認証者顔画像と利用者ごとの登録顔画像とを照合する顔認証システム、および、その顔認証システムにおいて情報処理装置により登録顔画像を更新する登録顔画像更新方法に関するものである。

近年、入退室管理などの用途で人物を特定するために顔認証技術が普及している。この顔認証技術では、被認証者を撮影して取得した被認証者顔画像と利用者ごとの登録顔画像とを照合して、被認証者を特定するようにしている。このような顔認証システムでは、顔画像を登録してから年月が経過して、その間に加齢などにより本人の顔が変化することで、照合精度が低下するという問題がある。

そこで、登録顔画像が古くなることで照合精度が低下する問題を解決するため、従来、認証の際に取得した被認証者顔画像を蓄積しておき、適宜なタイミングで、蓄積された顔画像の中から適切な顔画像を選択して、その顔画像を、古い顔画像と入れ替えて登録する技術が知られている（特許文献１参照）。この技術では、管理者の更新作業が自動化されるため、管理者の作業の負担が軽減される。

特開２００２－２５９９８０号公報

さて、顔認証システムでは、１人の被認証者と多数の登録者とを照合する１対Ｎの顔照合が行われるが、大規模なシステムでは、登録者数が多いため、顔照合の処理負荷が大きくなる。このため、利用者ごとに１枚の登録顔画像で運用して、顔照合の処理負荷を軽減するようにしている。

一方、従来の技術では、更新処理で、不適切な顔画像が選択される可能性がある。特に、利用者ごとに１枚の登録顔画像で運用するシステムでは、不適切な顔画像が選択されると、以後の顔照合の信頼性が著しく低下する。このため、管理者が目視で確認して適切な顔画像を選択することが望ましい。このとき、管理者の作業負担をできるだけ軽減できるようにすることが望まれる。

そこで、本発明は、管理者が目視確認により被認証者の顔画像から適切な顔画像を選択する作業を効率的に行えるようにして、管理者の更新作業の負担を軽減することができる顔認証システムおよび登録顔画像更新方法を提供することを主な目的とする。

本発明の顔認証システムは、被認証者を撮影して取得した被認証者顔画像と利用者ごとの登録顔画像とを照合する顔認証システムであって、被認証者を撮影して前記被認証者顔画像を取得する顔認証機と、利用者ごとの前記登録顔画像を蓄積し、前記被認証者顔画像と前記登録顔画像との照合処理を実行するサーバ装置と、を備え、前記サーバ装置は、前記顔認証機から取得した前記被認証者顔画像を蓄積すると共に、前記顔認証機において発生した認証イベントに関する前記被認証者顔画像と認証結果と利用者とを対応付けて管理する認証ログ管理情報を蓄積し、処理条件を管理者に指定させる画面を管理者装置に表示し、前記認証ログ管理情報に含まれる照合スコアに基づいて、認証が成功した利用者の中から、前記処理条件にしたがって更新対象となる低スコア傾向にある利用者を抽出し、抽出された利用者に関する前記被認証者顔画像の中から、前記処理条件にしたがって候補顔画像を抽出し、抽出された複数の前記候補顔画像を管理者に提示して、前記候補顔画像を管理者に選択させる画面を前記管理者装置に表示し、選択された前記候補顔画像を、新たな登録顔画像として現在の登録顔画像と入れ替える更新処理を行う構成とする。

また、本発明の登録顔画像更新方法は、被認証者を撮影して取得した被認証者顔画像と利用者ごとの登録顔画像とを照合する顔認証システムにおいて、情報処理装置により前記登録顔画像を更新する登録顔画像更新方法であって、顔認証機から取得した前記被認証者顔画像を蓄積すると共に、前記顔認証機において発生した認証イベントに関する前記被認証者顔画像と認証結果と利用者とを対応付けて管理する認証ログ管理情報を蓄積し、処理条件を管理者に指定させる画面を管理者装置に表示し、前記認証ログ管理情報に含まれる照合スコアに基づいて、認証が成功した利用者の中から、前記処理条件にしたがって更新対象となる低スコア傾向にある利用者を抽出し、抽出された利用者に関する前記被認証者顔画像の中から、前記処理条件にしたがって候補顔画像を抽出し、抽出された複数の前記候補顔画像を管理者に提示して、前記候補顔画像を管理者に選択させる画面を前記管理者装置に表示し、選択された前記候補顔画像を、新たな登録顔画像として現在の登録顔画像と入れ替える更新処理を行う構成とする。

本発明によれば、顔認証機において発生した認証イベントに関する被認証者顔画像と認証結果と利用者とを対応付けて管理する認証ログ管理情報に基づいて、低スコア傾向にある利用者の新たな登録顔画像の候補となる候補顔画像が管理者に提示されるため、候補顔画像を管理者が目視で確認することができる。また、管理者が指定した処理条件にしたがって対象となる利用者および被認証者顔画像が絞り込まれる。これにより、管理者が目視確認により被認証者顔画像から適切な顔画像を新たな登録顔画像として選択する作業を効率的に行えるようにして、管理者の更新作業の負担を軽減することができる。

本実施形態に係る顔認証システムの全体構成図 顔認証サーバ２で処理される認証ログ管理テーブルの内容を示す説明図 チェッカー１および顔認証サーバ２の概略構成を示すブロック図 顔認証サーバ２で行われる処理の概要を示す説明図 管理者端末３に表示される管理画面を示す説明図 管理者端末３に表示されるフィルタリング設定画面を示す説明図 管理者端末３に表示される候補顔画像選択画面を示す説明図 管理者端末３に表示される登録顔画像拡大画面および候補顔画像拡大画面を示す説明図

前記課題を解決するためになされた第１の発明は、被認証者を撮影して取得した被認証者顔画像と利用者ごとの登録顔画像とを照合する顔認証システムであって、被認証者を撮影して前記被認証者顔画像を取得する顔認証機と、利用者ごとの前記登録顔画像を蓄積し、前記被認証者顔画像と前記登録顔画像との照合処理を実行するサーバ装置と、を備え、前記サーバ装置は、前記顔認証機から取得した前記被認証者顔画像を蓄積すると共に、前記顔認証機において発生した認証イベントに関する前記被認証者顔画像と認証結果と利用者とを対応付けて管理する認証ログ管理情報を蓄積し、処理条件を管理者に指定させる画面を管理者装置に表示し、前記認証ログ管理情報に含まれる照合スコアに基づいて、認証が成功した利用者の中から、前記処理条件にしたがって更新対象となる低スコア傾向にある利用者を抽出し、抽出された利用者に関する前記被認証者顔画像の中から、前記処理条件にしたがって候補顔画像を抽出し、抽出された複数の前記候補顔画像を管理者に提示して、前記候補顔画像を管理者に選択させる画面を前記管理者装置に表示し、選択された前記候補顔画像を、新たな登録顔画像として現在の登録顔画像と入れ替える更新処理を行う構成とする。

これによると、顔認証機において発生した認証イベントに関する被認証者顔画像と認証結果と利用者とを対応付けて管理する認証ログ管理情報に基づいて、低スコア傾向にある利用者の新たな登録顔画像の候補となる候補顔画像が管理者に提示されるため、候補顔画像を管理者が目視で確認することができる。また、管理者が指定した処理条件にしたがって対象となる利用者および被認証者顔画像が絞り込まれる。これにより、管理者が目視確認により被認証者顔画像から適切な顔画像を新たな登録顔画像として選択する作業を効率的に行えるようにして、管理者の更新作業の負担を軽減することができる。

また、第２の発明は、前記サーバ装置は、対象期間を管理者が指定する期間指定部を前記管理者装置の画面に表示し、管理者が指定した前記対象期間に含まれる認証イベントを対象にして集計を行う構成とする。

これによると、認証イベントが発生した日時で対象となる認証イベントを絞り込むことができる。

また、第３の発明は、前記サーバ装置は、前記照合スコアに基づいて対象者を抽出する際の抽出判定のしきい値を管理者が指定するしきい値指定部を前記管理者装置の画面に表示し、利用者の照合スコア傾向値が、管理者が指定した前記抽出判定のしきい値未満となる利用者を、対象者として抽出する構成とする。

これによると、照合スコア傾向値が低い利用者（低スコア認証者）を、対象者として抽出するため、真に更新が必要な利用者を対象にして更新作業を行うことができる。

また、第４の発明は、前記サーバ装置は、照合判定のしきい値より所定値だけ大きい値を、前記抽出判定のしきい値の初期値として前記管理者装置の画面に表示する構成とする。

これによると、管理者の操作の負担を軽減することができる。

また、第５の発明は、前記サーバ装置は、候補顔画像の枚数を管理者が指定する枚数指定部を前記管理者装置の画面に表示し、管理者が指定した枚数の候補顔画像を抽出し、抽出された複数の候補顔画像を前記管理者装置の画面に並べて表示する構成とする。

これによると、管理者が、複数の候補顔画像を比較して最適な候補顔画像を新たな登録画像として選択することができる。

また、第６の発明は、前記サーバ装置は、前記候補顔画像を抽出する際に、対象となる顔画像が、顔認証の際に検知されるなりすましに該当するか否かを判定し、なりすましに該当する顔画像を、前記候補顔画像の抽出対象から除外する構成とする。

これによると、なりすましによる顔画像が、登録顔画像に選ばれることを避けることができる。

また、第７の発明は、前記サーバ装置は、前記候補顔画像を抽出する際に、対象となる顔画像が、顔照合に関する画像品質を満たしているか否かを判定し、その画像品質を満たさない顔画像を、前記候補顔画像の抽出対象から除外する構成とする。

これによると、画像品質を満たさない顔画像、すなわち、登録顔画像として明らかに不適切な顔画像が、候補顔画像として抽出されることを避けることができる。

また、第８の発明は、被認証者を撮影して取得した被認証者顔画像と利用者ごとの登録顔画像とを照合する顔認証システムにおいて、情報処理装置により前記登録顔画像を更新する登録顔画像更新方法であって、顔認証機から取得した前記被認証者顔画像を蓄積すると共に、前記顔認証機において発生した認証イベントに関する前記被認証者顔画像と認証結果と利用者とを対応付けて管理する認証ログ管理情報を蓄積し、処理条件を管理者に指定させる画面を管理者装置に表示し、前記認証ログ管理情報に含まれる照合スコアに基づいて、認証が成功した利用者の中から、前記処理条件にしたがって更新対象となる低スコア傾向にある利用者を抽出し、抽出された利用者に関する前記被認証者顔画像の中から、前記処理条件にしたがって候補顔画像を抽出し、抽出された複数の前記候補顔画像を管理者に提示して、前記候補顔画像を管理者に選択させる画面を前記管理者装置に表示し、選択された前記候補顔画像を、新たな登録顔画像として現在の登録顔画像と入れ替える更新処理を行う構成とする。

これによると、第１の発明と同様に、管理者が目視確認により被認証者の顔画像から適切な顔画像を選択する作業を効率的に行えるようにして、管理者の更新作業の負担を軽減することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る顔認証システムの全体構成図である。

この顔認証システムは、チェッカー１（顔認証機）と、顔認証サーバ２（サーバ装置）と、管理者端末３と、を備えている。チェッカー１、顔認証サーバ２、および管理者端末３（管理者装置）は、ネットワークを介して相互に接続されている。

チェッカー１は、顔認証を受ける被認証者の顔を撮影して、被認証者顔画像を取得して、その被認証者顔画像を顔認証サーバ２に送信する。また、チェッカー１は、顔認証サーバ２から認証結果を受信して、その認証結果に応じた動作を実行する。例えば、チェッカー１が、予め登録された人物に利用者を入場制限するためのものであれば、認証が成功した場合にゲートを開ける制御などを行う。

顔認証サーバ２は、チェッカー１から受信した被認証者顔画像に基づいて顔認証を行い、その認証結果をチェッカー１に送信する。このとき、顔認証サーバ２では、チェッカー１から取得した被認証者顔画像と、登録者データベースに登録された人物ごとの登録顔画像とを照合して、照合スコアが所定のしきい値以上となる場合に、登録顔画像の人物が被認証者であると特定する。また、照合スコアがしきい値以上となる人物が複数見つかった場合には、照合スコアの最も高い人物が被認証者であると特定する。

管理者端末３は、管理者が操作するものである。管理者端末３では、顔認証サーバ２にアクセスすることで、顔認証サーバ２に関する管理画面が表示される。特に本実施形態では、登録者データベースに登録された登録顔画像の更新に関する管理画面（更新操作画面）が表示される。この管理画面では、同一の人物に関して、登録顔画像と、顔認証時に取得した被認証者顔画像から抽出された複数の候補顔画像とが、管理者端末３に表示され、管理者が、目視で確認して最適な候補顔画像を選択する。顔認証サーバ２では、管理者が選択した候補顔画像を、新たな登録顔画像として現在の登録顔画像と入れ替える処理（更新）が行われる。

なお、本実施形態では、顔認証サーバ２に登録者データベースが構築された構成としたが、顔認証サーバ２とは別のデータベースサーバに登録者データベースが構築された構成としてもよい。

次に、顔認証サーバ２で処理される認証ログ管理テーブルについて説明する。図２は、認証ログ管理テーブルの内容を示す説明図である。

顔認証サーバ２では、認証ログ管理テーブル（認証ログ管理情報）が管理される。この認証ログ管理テーブルには、チェッカー１で被認証者を撮影して顔認証サーバ２で顔認証処理が実行される認証イベントごとの認証ログ情報が登録され、認証イベントが発生する度に、その認証イベントに関する認証ログ情報が、認証ログ管理テーブルに追加される。

また、顔認証の際には、１対Ｎの顔照合、すなわち、１枚の被認証者顔画像と１人の登録者との間の１対１の顔照合が、対象となる登録者の人数だけ繰り返され、その１対Ｎの顔照合ごとに認証ログ情報が作成される。すなわち、１：Nの顔照合１回につき、認証ログが１つ生成（出力）される。

認証イベントごとの認証ログ情報には、認証日時、認証が行われたチェッカー１、被認証者顔画像ＩＤ、認証結果登録者ＩＤ、認証結果、認証時に取得した照合スコアが含まれる。

ここで、認証ログ情報に含まれる被認証者顔画像ＩＤにより、認証ログ情報と被認証者顔画像とが紐付けられる。なお、本実施形態では、１人の認証で複数枚の被認証者顔画像を取得して顔照合が行われるため、１人の認証に複数の認証ログが生成され、それぞれのログに被認証者顔画像が紐づけられる。

また、認証ログ情報に含まれる認証結果は、認証が成功したか否かに関するものである。具体的には、「ＯＫ」は、照合が成功した（照合スコアが所定のしきい値を超えた）人物が少なくとも１人いる、すなわち、被認証者を特定できた場合であり、「ＮＧ」は、照合が成功した人物が１人もいない、すなわち、被認証者を特定できなかった場合である。

また、本実施形態では、チェッカー１において、なりすまし、すなわち、スマートフォンやタブレット端末などの画面に他人の顔画像を表示してチェッカー１にかざしたり、他人の顔写真をチェッカー１にかざしたりすることで、他人になりすまして認証を受ける行為を検知する処理が行われ、ここでなりすましが検知された場合には、照合スコアが所定のしきい値以上となる場合でも、「ＮＧ」となる。

次に、チェッカー１および顔認証サーバ２の概略構成について説明する。図３は、チェッカー１および顔認証サーバ２の概略構成を示すブロック図である。図４は、顔認証サーバ２で行われる処理の概要を示す説明図である。

チェッカー１は、カメラ１１と、通信部１２と、記憶部１３と、プロセッサ１４と、を備えている。

カメラ１１は、顔認証を受ける人物の顔を撮影する。

通信部１２は、ネットワークを介して顔認証サーバ２と通信を行う。

記憶部１３は、プロセッサ１４で実行されるプログラムなどを記憶する。

プロセッサ１４は、記憶部１３に記憶されたプログラムを実行することで顔認証に係る各種の処理を行う。本実施形態では、プロセッサ１４が、なりすまし検知処理、および被認証者顔画像取得処理などを行う。

なりすまし検知処理では、プロセッサ１４が、なりすまし、すなわち、スマートフォンやタブレット端末などの画面に他人の顔画像を表示してチェッカー１にかざしたり、他人の顔写真をチェッカー１にかざしたりすることで、他人になりすまして認証を受ける行為を検知する。このなりすまし検知処理は、例えば、カメラ１１の撮影画像（フレーム）の変化などに基づいて顔の凹凸などを検出して、被写体が、現実の顔か画面に映る顔かを判別する。

被認証者顔画像取得処理では、プロセッサ１４が、カメラ１１の撮影画像から人物（被認証者）の顔を検出して、撮影画像から顔の画像領域を切り出すことで、被認証者顔画像を取得する。また、取得した被認証者顔画像は、なりすまし検知の結果と共に通信部１２から顔認証サーバ２に送信される。このとき、上記処理は、例えば、１秒間に５回行われる。したがって、例えば、チェッカーの前に人物が２秒（チェッカー１のカメラの画角内に２秒間）いた場合、上記処理は１０回行われる。

顔認証サーバ２は、通信部２１と、記憶部２２と、プロセッサ２３と、を備えている。

通信部２１は、ネットワークを介してチェッカー１および管理者端末３と通信を行う。

記憶部２２は、プロセッサ２３で実行されるプログラムなどを記憶する。また、記憶部２２は、認証ログ管理テーブル（図２参照）、被認証者顔画像、および登録者データベースの登録情報などを記憶する。登録者データベースには、利用者ごとの属性情報や登録顔画像が登録される。

なお、認証ログ管理テーブルに登録された認証イベントごとの認証ログ情報は、認証イベントの発生から所定期間（例えば６カ月間）が経過すると削除される。なお、この所定期間は、設定画面（図示せず）から任意の期間に設定することができる。また、被認証者顔画像および登録顔画像は暗号化された状態で記憶部２２に格納される。また、登録者データベースに登録される登録顔情報は利用者ごとに１枚でよいが、登録顔情報を２枚以上登録するようにしてもよい。

プロセッサ２３は、記憶部２２に記憶されたプログラムを実行することで顔認証に係る各種の処理を行う。本実施形態では、プロセッサ２３が、顔認証処理、認証ログ管理処理、照合スコア集計処理、対象者抽出処理、顔画像フィルタリング処理、候補顔画像抽出処理、および登録顔画像更新処理などを行う。

顔認証処理では、プロセッサ２３が、チェッカー１から受信した被認証者顔画像となりすまし検知の結果とに基づいて顔認証を行う。このとき、被認証者顔画像から抽出された顔特徴情報と、登録者データベースに登録された各登録者の顔特徴情報とを比較して、照合スコアを算出し、その照合スコアを所定のしきい値（例えば０．７５）と比較して、被認証者がいずれかの登録者と同一人物か否かを判定する（顔照合処理）。ここで、照合スコアがしきい値以上である場合には、顔照合が成功したものと判定し、被認証者を特定する。一方、照合スコアがしきい値未満である場合には、顔照合が失敗したものと判定する。また、なりすましが検知された場合には、顔認証が失敗したものと判定する。

なお、本実施形態では、チェッカー１から顔認証サーバ２に被認証者顔画像を送信して、顔認証サーバ２において、被認証者顔画像から顔特徴情報を抽出するようにしたが、チェッカー１において、被認証者顔画像から顔特徴情報を抽出して、顔特徴情報をチェッカー１から顔認証サーバ２に送信するようにしてもよい。

また、本実施形態では、１人の認証で複数枚（例えば１秒あたり５枚）の被認証者顔画像を取得し、顔照合処理では、その複数枚の被認証者顔画像ごとの顔特徴情報と各登録者の顔特徴情報とを比較して、複数枚の被認証者顔画像ごとに照合スコアを算出して、被認証者を特定する。

認証ログ管理処理では、プロセッサ２３が、認証ログ管理テーブル（認証ログ管理情報）（図２参照）を管理する。この認証ログ管理テーブルには、チェッカー１で被認証者を撮影して顔認証サーバ２で顔認証処理が実行される認証イベントごとの認証ログ情報が登録される。プロセッサ２３は、認証イベントが発生する度に、その認証イベントに関する認証ログ情報を、認証ログ管理テーブルに追加する。

照合スコア集計処理では、プロセッサ２３が、認証ログ管理テーブルに基づいて、利用者（被認証者）およびチェッカー１ごとに、認証スコア（照合スコア）を集計する。本実施形態では、照合スコアの平均値（平均スコア）が算出される。また、この照合スコア集計処理は、認証が成功した認証イベントを対象にして行われる。

また、照合スコア集計処理では、所定の抽出条件に該当する認証イベントが集計対象として抽出される。本実施形態では、抽出条件としての対象期間に含まれる認証イベントを対象にして集計が行われる。対象期間は、管理者により指定される。

また、本実施形態では、抽出条件として、対象期間に含まれる認証イベントの回数（認証回数）が、所定のしきい値（例えばチェッカー１単位で１０回）以上となる利用者を対象にして集計が行われる。認証回数は、認証結果に関係なく、利用者ごとに集計される。認証回数のしきい値は、管理者により指定される。これにより、認証回数がしきい値未満となる利用者が更新対象から除外される。このため、サンプルが少ないために更新の意義があまりない利用者を対象にした更新を避けることができる。

対象者抽出処理では、プロセッサ２３が、照合スコア集計処理で取得した平均スコアに基づいて、顔画像更新の対象者となる利用者（低スコア認証者）を抽出する。具体的には、平均スコアが所定のしきい値（例えば０．８）未満となる利用者を抽出する。抽出判定のしきい値、すなわち、平均スコアに関するしきい値は、管理者により指定される。抽出判定のしきい値は、照合判定のしきい値（例えば０．７５）より大きい値となる。なお、照合スコア集計処理において、平均スコアに限らず、スコアの中央値や最頻出スコア値などの照合スコア傾向値を取得するようにしてもよい。このように画像を登録してから年月が経過して、その間に加齢などにより本人の顔が変化し、低スコア傾向にある利用者を特定することで、更新の必要がある利用者を対象にした更新処理を行うことが可能となる。

また、対象者抽出処理では、平均スコアがしきい値未満となる利用者が所定の抽出人数（例えば１０名）を越える場合には、所定の抽出人数に収まるように、対象者となる利用者を抽出する。このとき、平均スコアが最も低い利用者から順に抽出人数の利用者を抽出すればよい。抽出人数は、管理者により指定される。

顔画像フィルタリング処理では、プロセッサ２３が、対象者抽出処理で抽出された利用者（低スコア認証者）の全ての認証ログに紐付けられた顔画像（認証イベントごとの被認証者顔画像）に対してフィルタリングを行い、不適切な顔画像を対象から除外する。本実施形態では、画像品質およびなりすましに関するフィルタリングが行われる。

画像品質に関するフィルタリングでは、プロセッサ２３が、被認証者顔画像が所定の画像品質を満足しているか否かを判定し（品質判定処理）、画像品質を満足していない被認証者顔画像が対象から除外される。具体的には、例えば、笑顔などの過度な表情がある顔画像が、画像品質を満足しないものと判定される。なお、被認証者顔画像が画像品質を満たさない場合、照合スコアが低くなり、照合が失敗する場合が多いが、照合が成功する場合もあり、この場合、画像品質を満たさない被認証者顔画像が、候補顔画像として抽出されるおそれがある。

また、なりすましに関するフィルタリングでは、プロセッサ２３が、顔認証時のなりすまし検知の結果に基づいて、顔画像がなりすましによるものか否かを判定し（なりすまし判定処理）、なりすましによる顔画像が対象から除外される。なお、なりすましの場合、なりすまし検知により結果的に顔認証は失敗するが、顔照合において照合スコアが高くなるため、顔照合自体は成功する場合が多い。この場合、顔照合が成功した認証イベントとして蓄積される。このため、なりすましによる顔画像が候補顔画像として抽出されることがないようにフィルタリングを行う必要がある。

候補顔画像抽出処理では、プロセッサ２３が、顔画像更新の対象者となる利用者（低スコア認証者）ごとに、顔画像フィルタリング処理で絞り込まれた顔画像の中から、顔画像更新に用いられる候補顔画像を、所定の抽出枚数（例えば１０枚）だけ抽出する。抽出枚数は、管理者により指定される。このとき、低スコア認証者の認証イベントのうち、認証が成功した認証イベントに紐付けられた顔画像が抽出対象となる。

また、本実施形態では、登録顔画像としての適格性が高い方から順に抽出枚数分の顔画像が、候補顔画像として抽出される。具体的には、照合スコアが高い方から順に抽出枚数分の顔画像が、候補顔画像として抽出される。また、画像品質が高い方から順に抽出枚数分の顔画像が、候補顔画像として抽出される。

登録顔画像更新処理では、プロセッサ２３が、候補顔画像抽出処理で取得した複数の候補顔画像のうち、管理者が選択した候補顔画像を、新たな登録顔画像として現在の登録顔画像と入れ替える処理を行う。本実施形態では、候補顔画像抽出処理で取得した複数の候補顔画像が管理者端末３に表示され、管理者が、目視で確認して最適な候補顔画像を選択する。

次に、管理者端末３に表示される管理画面について説明する。図５は、管理画面を示す説明図である。

この管理画面には、認証ログファイル選択部３１と、登録顔画像ファイル選択部３２と、取込ボタン３３とが設けられている。

認証ログファイル選択部３１では、選択ボタン３４をユーザが操作すると、認証ログファイル（認証ログ管理情報を含む）の選択画面（図示せず）が表示され、この選択画面で認証ログファイルをユーザが選択すると、その選択した認証ログファイルのファイル名が取込ファイル表示部３５に表示される。また、登録顔画像ファイル選択部３２では、ユーザが選択ボタン３６を操作すると、登録顔画像ファイルの選択画面（図示せず）が表示され、この選択画面で登録顔画像ファイルをユーザが選択すると、その選択した登録顔画像ファイルのファイル名が取込ファイル表示部３７に表示される。

認証ログファイル選択部３１で認証ログファイルをユーザが選択し、かつ、登録顔画像ファイル選択部３２で登録顔画像ファイルをユーザが選択した上で、取込ボタン３３をユーザが操作すると、選択された認証ログファイルと、その認証ログファイルに紐付けられた被認証者顔画像と、選択された登録顔画像ファイルとが、読み込まれる。なお、認証ログファイルおよび被認証者顔画像は、暗号化された状態で蓄積されているため、読み込みの際には復号化が行われる。

また、この管理画面には、第１のモード選択ボタン４１と第２のモード選択ボタン４２と第３のモード選択ボタン４３とが設けられている。第１のモード選択ボタン４１を管理者が操作すると、本管理画面、すなわち、利用者に関する認証スコアの統計情報を表示する画面が表示される。また、第２のモード選択ボタン４２を管理者が操作すると、チェッカー１に関する認証スコアの統計情報を表示する画面が表示される。また、第３のモード選択ボタン４３を管理者が操作すると、認証ログ情報を表示する画面が表示される。

また、この管理画面には、第１の抽出条件設定部４５と第２の抽出条件設定部４６と第３の抽出条件設定部４７とが設けられている。

第１の抽出条件設定部４５は、照合スコア集計処理に関する抽出条件（処理条件）を設定するものである。この第１の抽出条件設定部４５には、抽出ボタン５１と、対象期間指定部５２と、認証回数しきい値指定部５３と、が設けられている。

対象期間指定部５２では、対象期間の始点となる日時と、対象期間の終点となる日時と、を管理者が指定することができる。

認証回数しきい値指定部５３では、認証回数に関するしきい値（最低認証回数）を管理者が指定することができる。

対象期間指定部５２で対象期間を管理者が指定し、また、認証回数しきい値指定部５３で認証回数に関するしきい値を管理者が指定した上で、抽出ボタン５１を管理者が操作すると、照合スコア集計処理に関する抽出処理が実行され、対象期間に含まれる認証イベントが抽出され、さらに、認証回数がしきい値以上となる利用者が抽出される。そして、抽出指定結果に基づいて、統計情報表示部６１の一覧表が更新される。

第２の抽出条件設定部４６は、対象者抽出処理に関する抽出条件（処理条件）を設定するものである。この第２の抽出条件設定部４６には、抽出ボタン５４と、スコアしきい値指定部５５と、抽出人数指定部５６と、が設けられている。

スコアしきい値指定部５５では、顔画像更新の対象者となる利用者（低スコア認証者）を抽出する際の照合スコア傾向値（例えば、照合スコアの平均値、中央値、再頻出スコア値）に関するしきい値（抽出判定のしきい値）を、管理者が指定することができる。この抽出判定のしきい値は、顔照合の成否を判定する際のしきい値（照合判定のしきい値）より大きい値となる。

本実施形態では、照合判定のしきい値（例えば０．７５）より所定値（例えば０．０５）だけ大きい値（例えば０．８０）を上限値とし、この上限値が、初期値としてスコアしきい値指定部５５に表示される。また、照合判定のしきい値から上限値までの範囲内で、抽出判定のしきい値を選択でき、具体的には、プルダウンメニューに、しきい値の選択肢（例えば０．８０，０．７９，０．７８，０．７７，０．７６）が表示される。

抽出人数指定部５６では、対象者となる利用者（低スコア認証者）を抽出する際の抽出人数を、管理者が指定することができる。

スコアしきい値指定部５５で抽出判定のしきい値を管理者が指定し、また、抽出人数指定部５６で抽出人数を管理者が指定した上で、抽出ボタン５４を管理者が操作すると、対象者抽出処理が実行され、照合スコア傾向値がしきい値未満となる利用者が抽出され、さらに、照合スコア傾向値が最も低い利用者から抽出人数分の利用者が抽出される（スコアワーストＮ）。そして、抽出指定結果に基づいて、統計情報表示部６１の一覧表が更新される。

第３の抽出条件設定部４７は、候補顔画像抽出処理に関する抽出条件（処理条件）を設定するものである。この第３の抽出条件設定部４７には、抽出ボタン５７と、顔画像抽出枚数指定部５８と、が設けられている。顔画像抽出枚数指定部５８では、候補顔画像の抽出枚数（例えば１０枚）を、管理者が指定することができる。

顔画像抽出枚数指定部５８で抽出枚数を管理者が指定した上で、抽出ボタン５７を管理者が操作すると、候補顔画像抽出処理が実行され、候補顔画像としての適格性（照合スコアまたは画像品質）が高い方から順に抽出枚数分の顔画像が、候補顔画像として抽出される。そして、抽出指定結果に基づいて、統計情報表示部６１の一覧表が更新される。

また、統計情報表示部６１では、全てのチェッカー１を対象にした照合スコアに関する集計結果と、チェッカー１ごとの照合スコアに関する集計結果とが、一覧表で表示される。この一覧表では、顔照合の件数と、照合スコアの集計結果である最小値、最大値、および平均値が、利用者ごとに表示される。

また、統計情報表示部６１には、縦方向および横方向のスクロール操作部６２，６３（スクロールボタン、スクロールバー）が設けられている。このスクロール操作部６２，６３を管理者が操作することで、一覧表の表示範囲を縦方向および横方向にずらすことができる。

また、この管理画面には、設定ボタン６５が設けられている。この設定ボタン６５を管理者が操作すると、フィルタリング設定画面（図６参照）に遷移する。

また、この管理画面には、実行ボタン６６が設けられている。この実行ボタン６６を管理者が操作すると、候補顔画像選択画面（図７参照）に遷移する。

次に、管理者端末３に表示されるフィルタリング設定画面について説明する。図６は、フィルタリング設定画面を示す説明図である。

このフィルタリング設定画面は、画像品質に関する項目ごとのフィルタリング（絞り込み）の要否と、なりすましに関するフィルタリングの要否とを管理者が指定することができる。具体的には、フィルタリング設定画面に、画像品質に関する項目ごとにチェックボックス７１と、なりすましに関するチェックボックス７２と、が設けられている。

画像品質に関するフィルタリングでは、サングラスを着用していること、マスクを着用していること、画像に顔が複数含まれること、画像に写る顔の像が小さ過ぎること、画像に写る顔の像にボケやブレがあること、逆光があること、白とびがあること、帽子を着用していること、笑顔などの過度な表情をしていること、目が髪の毛で隠れていること、目を閉じていること、手等で顔のパーツが隠れていること、顔が正面を向いていないこと（横向き、上向き、下向き）の各項目で、フィルタリングの要否を管理者が指定することができる。

このフィルタリング設定画面には、設定ボタン７３が設けられている。この設定ボタン７３を管理者が操作すると、チェックボックス７１，７２の入力内容に基づいて、顔画像フィルタリング処理に関する設定情報が登録される。

次に、管理者端末３に表示される候補顔画像選択画面について説明する。図７は、候補顔画像選択画面を示す説明図である。

この候補顔画像選択画面には、登録顔画像表示部８１と、候補顔画像表示部８２と、が設けられている。登録顔画像表示部８１には、現在の登録顔画像が表示される。候補顔画像表示部８２には、抽出された所定数（例えば１０枚）の候補顔画像が並べて表示される。これにより、管理者が、現在の登録顔画像と比較しながら、候補顔画像の適格性を目視で確認して、新たな登録顔画像となる候補顔画像を選択することができる。

また、登録顔画像表示部８１には、送りボタン８３ａと戻りボタン８３ｂとが設けられている。この送りボタン８３ａおよび戻りボタン８３ｂを管理者が操作すると、抽出された利用者（低スコア認証者）の中で、閲覧対象となる利用者を変更することができ、抽出の順番にしたがって、利用者ごとの登録顔画像を１人ずつ表示させることができる。

また、この候補顔画像選択画面には、登録顔画像に関する番号表示部８４とファイル名表示部８５とが設けられている。番号表示部８４では、表示中の利用者の番号と、抽出された利用者の総数（スコアワーストＮ）とが、分数で表記されている。ここで、例えば９／１０とは、抽出された１０人中の９番目の利用者であることを表している。

また、登録顔画像表示部８１では、登録画像を拡大表示する操作（例えば、画像上でダブルクリックの操作）を管理者が行うと、登録画像拡大画面（図８（Ａ）参照）に遷移する。

また、候補顔画像表示部８２では、候補顔画像ごとにラジオボタン８６が設けられている。このラジオボタン８６を管理者が操作することで、候補顔画像を選択することができる。候補顔画像が選択されると、選択中の候補顔画像が強調表示される。例えば候補顔画像の表示枠がハイライト表示される。

また、候補顔画像表示部８２では、候補画像を拡大表示する操作（例えば、画像上でダブルクリックの操作）を管理者が行うと、候補画像拡大画面（図８（Ｂ）参照）に遷移する。

また、この候補顔画像選択画面には、候補顔画像に関する番号表示部８７と管理情報表示部８８とが設けられている。番号表示部８７では、候補顔画像表示部８２で選択された候補顔画像の番号と、抽出された候補顔画像の総数とが、分数で表記されている。ここで、例えば１／１０とは、抽出された１０枚中の１番目の候補顔画像であることを表している。管理情報表示部８８では、選択中の候補顔画像に関する管理情報が表示される。具体的には、認証ログＩＤ、認証イベントＩＤ、被認証者の人物ＩＤ、認証日時、認証結果、照合スコアが表示される。

また、この候補顔画像選択画面には、ファイル保存ボタン８９が設けられている。管理者が、候補顔画像表示部８２で候補顔画像を選択してファイル保存ボタン８９を操作すると、選択された候補顔画像と、その候補顔画像に関する管理情報（属性情報）とが、一括登録ファイルに保存される。抽出された利用者（スコアワーストＮの利用者）に関する候補画像の選択の操作が終了すると、一括登録の操作を管理者が行う。これにより、一括登録ファイルに保存された人物ごとの候補画像および管理情報に基づいて更新処理が行われる。すなわち、一括登録ファイルに保存された候補画像の各々を新たな登録画像として現在の登録画像と入れ替える処理が行われる。

なお、本実施形態では、利用者ごとに１枚の登録顔画像が登録されるため、登録顔画像表示部８１には１枚の登録顔画像が表示されるが、利用者ごとに複数枚の登録顔画像が登録されるようにしてもよく、この場合、登録顔画像表示部８１には複数枚の登録顔画像が並べて表示される。また、候補顔画像表示部８２に表示された複数枚の候補顔画像のうち、登録枚数を上限として、複数枚の候補顔画像を管理者が選択できるようにしてもよい。

また、候補顔画像表示部８２に表示された候補顔画像のうち、管理者が選択しなかった候補顔画像は、登録顔画像として適切ではないものと想定されるため、削除したり、次回の更新時には候補顔画像として抽出されないようにしたりしてもよい。

次に、管理者端末３に表示される登録顔画像拡大画面および候補顔画像拡大画面について説明する。図８は、登録顔画像拡大画面および候補顔画像拡大画面を示す説明図である。

図８（Ａ）に示すように、登録顔画像拡大画面には、拡大登録顔画像表示部９１が設けられている。この拡大登録顔画像表示部９１では、登録顔画像が拡大して表示される。また、この登録顔画像拡大画面には、候補顔画像選択画面（図７参照）における番号表示部８４およびファイル名表示部８５と同様に、番号表示部９２とファイル名表示部９３とが設けられている。

図８（Ｂ）に示すように、候補顔画像拡大画面には、拡大候補顔画像表示部９５が設けられている。この拡大候補顔画像表示部９５では、候補顔画像が拡大して表示される。候補顔画像選択画面（図７参照）における番号表示部８７および管理情報表示部８８と同様に、番号表示部９６と管理情報表示部９７とが設けられている。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

本発明に係る顔認証システムおよび登録顔画像更新方法は、管理者が目視確認により被認証者の顔画像から適切な顔画像を選択する作業を効率的に行えるようにして、管理者の更新作業の負担を軽減することができる効果を有し、被認証者を撮影して取得した被認証者顔画像と利用者ごとの登録顔画像とを照合する顔認証システム、および顔認証システムにおいて情報処理装置により登録顔画像を更新する登録顔画像更新方法などとして有用である。

１ チェッカー（顔認証機）
２ 顔認証サーバ（サーバ装置）
３ 管理者端末（管理者装置）
１１ カメラ
１２ 通信部
１３ 記憶部
１４ プロセッサ
２１ 通信部
２２ 記憶部
２３ プロセッサ
４５ 第１の抽出条件設定部
４６ 第２の抽出条件設定部
４７ 第３の抽出条件設定部
５１ 抽出ボタン
５２ 対象期間指定部（期間指定部）
５３ 認証回数しきい値指定部
５４ 抽出ボタン
５５ スコアしきい値指定部（しきい値指定部）
５６ 抽出人数指定部
５７ 抽出ボタン
５８ 顔画像抽出枚数指定部（枚数指定部）
６１ 統計情報表示部
６５ 設定ボタン
６６ 実行ボタン
８１ 登録顔画像表示部
８２ 候補顔画像表示部

Claims (8)

1. 被認証者を撮影して取得した被認証者顔画像と利用者ごとの登録顔画像とを照合する顔認証システムであって、
   被認証者を撮影して前記被認証者顔画像を取得する顔認証機と、
   利用者ごとの前記登録顔画像を蓄積し、前記被認証者顔画像と前記登録顔画像との照合処理を実行するサーバ装置と、を備え、
   前記サーバ装置は、
   前記顔認証機から取得した前記被認証者顔画像を蓄積すると共に、前記顔認証機において発生した認証イベントに関する前記被認証者顔画像と認証結果と利用者とを対応付けて管理する認証ログ管理情報を蓄積し、
   処理条件を管理者に指定させる画面を管理者装置に表示し、
   前記認証ログ管理情報に含まれる照合スコアに基づいて、認証が成功した利用者の中から、前記処理条件にしたがって更新対象となる低スコア傾向にある利用者を抽出し、
   抽出された利用者に関する前記被認証者顔画像の中から、前記処理条件にしたがって候補顔画像を抽出し、
   抽出された複数の前記候補顔画像を管理者に提示して、前記候補顔画像を管理者に選択させる画面を前記管理者装置に表示し、
   選択された前記候補顔画像を、新たな登録顔画像として現在の登録顔画像と入れ替える更新処理を行うことを特徴とする顔認証システム。
2. 前記サーバ装置は、
   対象期間を管理者が指定する期間指定部を前記管理者装置の画面に表示し、
   管理者が指定した前記対象期間に含まれる認証イベントを対象にして集計を行うことを特徴とする請求項１に記載の顔認証システム。
3. 前記サーバ装置は、
   前記照合スコアに基づいて対象者を抽出する際の抽出判定のしきい値を管理者が指定するしきい値指定部を前記管理者装置の画面に表示し、
   利用者の照合スコア傾向値が、管理者が指定した前記抽出判定のしきい値未満となる利用者を、対象者として抽出することを特徴とする請求項１に記載の顔認証システム。
4. 前記サーバ装置は、
   照合判定のしきい値より所定値だけ大きい値を、前記抽出判定のしきい値の初期値として前記管理者装置の画面に表示することを特徴とする請求項３に記載の顔認証システム。
5. 前記サーバ装置は、
   候補顔画像の枚数を管理者が指定する枚数指定部を前記管理者装置の画面に表示し、
   管理者が指定した枚数の候補顔画像を抽出し、
   抽出された複数の候補顔画像を前記管理者装置の画面に並べて表示することを特徴とする請求項１に記載の顔認証システム。
6. 前記サーバ装置は、
   前記候補顔画像を抽出する際に、対象となる顔画像が、顔認証の際に検知されるなりすましに該当するか否かを判定し、なりすましに該当する顔画像を、前記候補顔画像の抽出対象から除外することを特徴とする請求項１に記載の顔認証システム。
7. 前記サーバ装置は、
   前記候補顔画像を抽出する際に、対象となる顔画像が、顔照合に関する画像品質を満たしているか否かを判定し、その画像品質を満たさない顔画像を、前記候補顔画像の抽出対象から除外することを特徴とする請求項１に記載の顔認証システム。
8. 被認証者を撮影して取得した被認証者顔画像と利用者ごとの登録顔画像とを照合する顔認証システムにおいて、情報処理装置により前記登録顔画像を更新する登録顔画像更新方法であって、
   顔認証機から取得した前記被認証者顔画像を蓄積すると共に、前記顔認証機において発生した認証イベントに関する前記被認証者顔画像と認証結果と利用者とを対応付けて管理する認証ログ管理情報を蓄積し、
   処理条件を管理者に指定させる画面を管理者装置に表示し、
   前記認証ログ管理情報に含まれる照合スコアに基づいて、認証が成功した利用者の中から、前記処理条件にしたがって更新対象となる低スコア傾向にある利用者を抽出し、
   抽出された利用者に関する前記被認証者顔画像の中から、前記処理条件にしたがって候補顔画像を抽出し、
   抽出された複数の前記候補顔画像を管理者に提示して、前記候補顔画像を管理者に選択させる画面を前記管理者装置に表示し、
   選択された前記候補顔画像を、新たな登録顔画像として現在の登録顔画像と入れ替える更新処理を行うことを特徴とする登録顔画像更新方法。