JP5877678B2 - 顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラム - Google Patents

Description

この発明は、カメラ等の撮像装置で撮像された画像データから切り出された利用者の顔部分を含む部分画像データ（以下、「顔画像データ」と言う）を該利用者の利用者識別情報（以下、「利用者ＩＤ」と言う）と対応付けて管理する顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムに関する。

従来、認証対象者となる利用者に対して会員証や社員証などのＩＤカード（Identity Card）を発行しておき、各利用者の入退室時にＩＤカードに記録した利用者ＩＤをリーダライタで読み取って個人認証を行う個人認証システムが知られている。また、かかるＩＤカードの偽造等の不正に対応するために、利用者の指紋等を用いて個人認証を行う個人認証技術も知られている。

ところが、上記個人認証技術を用いる場合には、利用者を認証する度に該利用者を静止させて指紋等を採取しなければならず、利用者の利便性の観点から見て好ましくない。このため、最近では、歩行する利用者を静止させなくとも個人認証を行うことができる顔認証技術が注目されている。

例えば、特許文献１には、あらかじめ利用者の顔画像データの特徴量を辞書情報として登録しておき、歩行中の利用者がカメラに近づく際に、該カメラで利用者の顔部分を撮像して顔画像データを取得し、取得した利用者の顔画像データの特徴量と辞書情報の内容とを照合して利用者の顔認証を行う技術が開示されている。

特開２００９−１０４５９９号公報

しかしながら、上記特許文献１に代表される従来技術によれば、カメラで利用者の顔部分を撮像して得られる顔画像データが不鮮明なものである場合であっても、かかる不鮮明な顔画像データが利用者ＩＤに対応付けて顔認証データベースに登録されてしまい、結果的に認証精度の低下を招くという問題がある。

この点を具体的に説明すると、たとえカメラを固定したとしても、被写体である利用者の顔部分にカメラのピントが合っていない場合や、撮影環境に起因してカメラのシャッタ速度が遅くなり、該シャッタ速度よりも速い速度で利用者が動いたような場合には、顔画像データにいわゆる「ぼけ」が発生する。このような「ぼけ」が存在する顔画像データを顔認証データベースに登録すると、他人を本人であるかの如く誤って認証したり、本人を他人であるかの如く誤って認証してしまうケースが生ずる。

このため、従来、顔認証データベースの管理者により、顔認証データベースから不鮮明な顔画像データを削除する作業が行われるが、顔認証データベースに登録した利用者の顔画像データの数が多くなればなるほど上記管理者の労力が累増する。加えて、かかる場合に、顔画像データが不鮮明であるか否かの判断は管理者に委ねられるため、常に一律の判断を行うことができない。

これらのことから、カメラで利用者の顔部分を撮像して得られる顔画像データを利用者ＩＤに関連付けて顔認証データベースに登録する場合に、顔認証データベースに対する不鮮明な顔画像データの登録に伴う認証精度の低下をいかに効率良く抑制するかが重要な課題となっている。なお、かかる課題は、カメラで利用者の静止画を撮像するだけではなく、ビデオカメラで動画を撮影して静止画を切り出す場合にも同様に生ずる課題である。

本発明は、上述した従来技術の課題を解消するためになされたものであって、撮像装置で利用者の顔部分を撮像して得られる顔画像データを利用者識別情報に関連付けて顔認証データベースに登録する場合に、顔認証データベースに対する不鮮明な顔画像データの登録に伴う認証精度の低下を効率良く抑制することができる顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理方法であって、前記撮像装置により撮像された画像データから利用者の顔部分を含む顔画像データを抽出する顔画像データ抽出工程と、前記顔画像データ抽出工程により抽出された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出する部分画像データ抽出工程と、前記部分画像データ抽出工程により抽出された部分画像データを用いて前記顔画像データの鮮明度を算出する鮮明度算出工程と、複数の画像データから利用者の顔部分を含む顔画像データをそれぞれ抽出し、抽出した複数の顔画像データを所定の表示部に表示制御し、該表示部に表示制御された複数の顔画像データから作業者により不鮮明であると判定された１又は複数の顔画像データの選択入力を受け付け、受け付けた複数の顔画像データから利用者の所定の顔パーツを含む部分画像データをそれぞれ抽出し、抽出された部分画像データを用いて前記複数の顔画像データの鮮明度をそれぞれ算出し、算出された複数の鮮明度のうちの最大値をしきい値として決定するしきい値決定工程と、前記鮮明度算出工程により算出された鮮明度が前記しきい値以上である場合に、前記顔画像データ抽出工程により抽出された顔画像データを前記顔認証データベースに登録する登録処理工程とを含んだことを特徴とする。

また、本発明は、上記発明において、前記鮮明度算出工程により算出された鮮明度が前記しきい値未満である場合に、利用者に対して顔部分が鮮明に映っていない旨を報知する報知工程をさらに含んだことを特徴とする。

また、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理方法であって、前記顔認証データベースに記憶された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出する部分画像データ抽出工程と、前記部分画像データ抽出工程により抽出された部分画像データを用いて前記顔画像データの鮮明度を算出する鮮明度算出工程と、複数の画像データから利用者の顔部分を含む顔画像データをそれぞれ抽出し、抽出した複数の顔画像データを所定の表示部に表示制御し、該表示部に表示制御された複数の顔画像データから作業者により不鮮明であると判定された１又は複数の顔画像データの選択入力を受け付け、受け付けた複数の顔画像データから利用者の所定の顔パーツを含む部分画像データをそれぞれ抽出し、抽出された部分画像データを用いて前記複数の顔画像データの鮮明度をそれぞれ算出し、算出された複数の鮮明度のうちの最大値をしきい値として決定するしきい値決定工程と、前記鮮明度算出工程により算出された鮮明度が前記しきい値未満である場合に、前記顔画像データを前記顔認証データベースから削除する削除処理工程とを含んだことを特徴とする。

また、本発明は、上記発明において、前記しきい値決定工程は、新たな顔画像データを顔認証データベースに記憶する都度、前記しきい値を動的に再決定することを特徴とする。

また、本発明は、上記発明において、前記鮮明度算出工程は、前記部分画像データを微分処理した微分画像データに基づいて前記顔画像データの鮮明度を算出することを特徴とする。

また、本発明は、上記発明において、前記鮮明度算出工程は、前記部分画像データを微分処理した微分画像データの分散値に基づいて前記顔画像データの鮮明度を算出することを特徴とする。

また、本発明は、上記発明において、前記所定の顔パーツを含む部分画像データは、少なくとも利用者の両目を含む目領域の部分画像データであることを特徴とする。

また、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置であって、前記撮像装置により撮像された画像データから利用者の顔部分を含む顔画像データを抽出する顔画像データ抽出部と、前記顔画像データ抽出部により抽出された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出する部分画像データ抽出部と、前記部分画像データ抽出部により抽出された部分画像データを用いて前記顔画像データの鮮明度を算出する鮮明度算出部と、複数の画像データから利用者の顔部分を含む顔画像データをそれぞれ抽出し、抽出した複数の顔画像データを所定の表示部に表示制御し、該表示部に表示制御された複数の顔画像データから作業者により不鮮明であると判定された１又は複数の顔画像データの選択入力を受け付け、受け付けた複数の顔画像データから利用者の所定の顔パーツを含む部分画像データをそれぞれ抽出し、抽出された部分画像データを用いて前記複数の顔画像データの鮮明度をそれぞれ算出し、算出された複数の鮮明度のうちの最大値をしきい値として決定するしきい値決定部と、前記鮮明度算出部により算出された鮮明度が前記しきい値以上である場合に、前記顔画像データ抽出部により抽出された顔画像データを前記顔認証データベースに登録する登録処理部とを備えたことを特徴とする。

また、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置であって、前記顔認証データベースに記憶された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出する部分画像データ抽出部と、前記部分画像データ抽出部により抽出された部分画像データを用いて前記顔画像データの鮮明度を算出する鮮明度算出部と、複数の画像データから利用者の顔部分を含む顔画像データをそれぞれ抽出し、抽出した複数の顔画像データを所定の表示部に表示制御し、該表示部に表示制御された複数の顔画像データから作業者により不鮮明であると判定された１又は複数の顔画像データの選択入力を受け付け、受け付けた複数の顔画像データから利用者の所定の顔パーツを含む部分画像データをそれぞれ抽出し、抽出された部分画像データを用いて前記複数の顔画像データの鮮明度をそれぞれ算出し、算出された複数の鮮明度のうちの最大値をしきい値として決定するしきい値決定部と、前記鮮明度算出部により算出された鮮明度が前記しきい値未満である場合に、前記顔画像データを前記顔認証データベースから削除する削除処理部とを備えたことを特徴とする。

また、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置に用いられる顔認証データベース管理プログラムであって、前記撮像装置により撮像された画像データから利用者の顔部分を含む顔画像データを抽出する顔画像データ抽出手順と、前記顔画像データ抽出手順により抽出された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出する部分画像データ抽出手順と、前記部分画像データ抽出手順により抽出された部分画像データを用いて前記顔画像データの鮮明度を算出する鮮明度算出手順と、複数の画像データから利用者の顔部分を含む顔画像データをそれぞれ抽出し、抽出した複数の顔画像データを所定の表示部に表示制御し、該表示部に表示制御された複数の顔画像データから作業者により不鮮明であると判定された１又は複数の顔画像データの選択入力を受け付け、受け付けた複数の顔画像データから利用者の所定の顔パーツを含む部分画像データをそれぞれ抽出し、抽出された部分画像データを用いて前記複数の顔画像データの鮮明度をそれぞれ算出し、算出された複数の鮮明度のうちの最大値をしきい値として決定するしきい値決定手順と、前記鮮明度算出手順により算出された鮮明度が前記しきい値以上である場合に、前記顔画像データ抽出手順により抽出された顔画像データを前記顔認証データベースに登録する登録処理手順とをコンピュータに実行させることを特徴とする。

また、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置に用いられる顔認証データベース管理プログラムであって、前記顔認証データベースに記憶された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出する部分画像データ抽出手順と、前記部分画像データ抽出手順により抽出された部分画像データを用いて前記顔画像データの鮮明度を算出する鮮明度算出手順と、複数の画像データから利用者の顔部分を含む顔画像データをそれぞれ抽出し、抽出した複数の顔画像データを所定の表示部に表示制御し、該表示部に表示制御された複数の顔画像データから作業者により不鮮明であると判定された１又は複数の顔画像データの選択入力を受け付け、受け付けた複数の顔画像データから利用者の所定の顔パーツを含む部分画像データをそれぞれ抽出し、抽出された部分画像データを用いて前記複数の顔画像データの鮮明度をそれぞれ算出し、算出された複数の鮮明度のうちの最大値をしきい値として決定するしきい値決定手順と、前記鮮明度算出手順により算出された鮮明度が前記しきい値未満である場合に、前記顔画像データを前記顔認証データベースから削除する削除処理手順とをコンピュータに実行させることを特徴とする。

本発明によれば、撮像装置により撮像された画像データから利用者の顔部分を含む顔画像データを抽出し、抽出された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出し、抽出された部分画像データを用いて顔画像データの鮮明度を算出するとともに、複数の画像データから利用者の顔部分を含む顔画像データをそれぞれ抽出し、抽出した複数の顔画像データを所定の表示部に表示制御し、該表示部に表示制御された複数の顔画像データから作業者により不鮮明であると判定された１又は複数の顔画像データの選択入力を受け付け、受け付けた複数の顔画像データから利用者の所定の顔パーツを含む部分画像データをそれぞれ抽出し、抽出された部分画像データを用いて複数の顔画像データの鮮明度をそれぞれ算出し、算出された複数の鮮明度のうちの最大値をしきい値として決定し、算出された鮮明度がしきい値以上である場合に、顔画像データを顔認証データベースに登録するよう構成したので、顔認証データベースに対する不鮮明な顔画像データの登録に伴う認証精度の低下を効率良く抑制することが可能となる。

また、本発明によれば、顔認証データベースに記憶された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出し、抽出された部分画像データを用いて顔画像データの鮮明度を算出し、算出された鮮明度がしきい値未満である場合に、抽出された顔画像データを顔認証データベースから削除するよう構成したので、顔認証データベースに登録された不鮮明な顔画像データを削除して、認証精度の低下を効率良く抑制することが可能となる。

図１は、本実施例１に係る入退室管理装置の構成を示す図である。 図２は、図１に示した顔画像検出部によって取得される顔画像データの一例を示す図である。 図３は、図１に示した鮮明度算出部の処理概念を説明するための説明図（１）である。 図４は、図１に示した鮮明度算出部の処理概念を説明するための説明図（２）である。 図５は、図１に示した制御部により初回の顔画像データを顔認証データベースに登録する際の登録処理手順を示すフローチャートである。 図６は、図１に示した記憶部に記憶する鮮明度のしきい値の設定処理手順を示すフローチャートである。 図７は、図１に示した制御部による顔画像認証処理手順を示すフローチャートである。 図８は、本実施例２に係る入退室管理装置の構成を示す図である。 図９は、図８に示した制御部により初回の顔画像データを顔認証データベースに登録する際の登録処理手順を示すフローチャートである。 図１０は、図８に示した制御部による顔画像認証処理手順を示すフローチャートである。 図１１は、図８に示した削除処理部による不鮮明な顔画像データの削除処理手順を示すフローチャートである。

以下に、添付図面を参照して、本発明に係る顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムの好適な実施例を詳細に説明する。以下に示す実施例１及び２では、本発明に係る顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムを入退室管理装置に適用した場合について説明する。

まず、本実施例１に係る入退室管理装置１の特徴及び構成について説明する。図１は、本実施例１に係る入退室管理装置１の構成を示す図である。図１に示す入退室管理装置１は、顔認証を利用して利用者Ｍの入退室管理を行う装置であり、従来技術と同様に予め各利用者Ｍに対して該利用者Ｍを一意に識別する利用者ＩＤが記録されたＩＤカード２ａを発行する。ただし、かかるＩＤカード２ａを発行する時点では、該利用者Ｍの顔画像データについては登録しない。なお、ＩＤカード２ａを発行する時点で利用者Ｍの氏名や所属等の個人情報を登録することもできるが、ここではその説明を省略する。

そして、利用者Ｍが、初回の入室を行うためにＩＤカード２ａを操作器２に読み取らせたならば、カメラ３によって撮像した画像データから利用者Ｍの顔部分を含む顔画像データを切り出し、これをＩＤカード２ａの利用者ＩＤに関連付けて顔認証データベース５に登録する。このように、この入退室管理装置１では、事前に良好な環境で利用者Ｍの顔画像データを取得するのではなく、ＩＤカード２ａのみを先に発行しておき、利用者Ｍの顔画像データは実環境で取得することとしている。実環境で撮像した利用者Ｍの顔画像データを顔認証データベース５に登録することで、より一層顔認証の精度が向上するからである。

また、初回の顔画像データの登録を終えた利用者Ｍが入室する場合には、この利用者Ｍが操作器２を操作しなくとも、正当な登録者であることが顔認証されることを条件に、ゲート１０を開放して入室を許可する。また、利用者Ｍの顔認証時に取得された新たな顔画像データは、利用者ＩＤに対応付けて顔認証データベース５に追加登録する。なお、顔認証データベース５に登録された利用者ＩＤに対応する顔画像データが所定数（例えば「１０」）に達した場合には、原則として最も古く登録した顔画像データを削除して、新たな顔画像データを追加登録する。

ここで、本実施例１に係る入退室管理装置１は、利用者Ｍの顔画像データが不鮮明である場合には、この顔画像データを用いた顔認証処理を実施せず、この顔認証データを顔認証データベース５に登録しないようにした点にその特徴がある。不鮮明な顔画像データを用いた顔認証処理を行うと認証精度が低下し、また該不鮮明な顔画像データを顔認証データベース５に登録すると、以降の顔認証処理時に認証精度が低下するためである。

具体的には、利用者Ｍの顔画像データから両目を含む目領域を抽出し、抽出した目領域の部分画像データ（以下、「目領域画像データ」と言う）に微分処理を施して目領域の微分画像データを生成し、この微分画像データの分散値を鮮明度とする。そして、この鮮明度が所定のしきい値７以上である場合には、この顔画像データを用いた顔認証処理並びに該顔画像データの顔認証データベース５への登録を許容する。一方、この鮮明度が所定のしきい値７未満である場合には、この顔画像データを廃棄する。

なお、上記しきい値７には、あらかじめ複数の人物の顔部分を撮影して複数の顔画像データを蓄積しておき、作業者が「不鮮明である」と判断した複数の顔画像データの鮮明度のうち最も値が高いものを設定する。これにより、本実施例１に係る入退室管理装置１によれば、不鮮明な顔画像データを顔認証処理の対象及び顔認証データベースへの登録対象から除外することで、認証精度の低下を効率良く抑制している。

図１に示すように、本実施例１に係る入退室管理装置１は、操作器２と、カメラ３と、制御部４と、顔認証データベース５と、記憶部６と、ゲート１０とを有する。また、制御部４は、操作検出部１１と、顔画像検出部１２と、目領域抽出処理部１３と、鮮明度算出部１４と、登録処理部１５と、顔認証処理部１６と、警報出力部１７とを有する。なお、図１では入退室管理装置１のうちの入室側の構成を図示したが、顔認証データベース５を退室側にも共通使用することができる。

操作器２は、利用者Ｍが保有するＩＤカード２ａの利用者ＩＤを取得するカードリーダである。具体的には、ＩＤカード２ａが非接触式のカードである場合にはＩＤカード２ａに記録した利用者ＩＤを近距離無線通信により受信し、ＩＤカード２ａが磁気記録式のカードである場合にはＩＤカード２ａに磁気記録した利用者ＩＤを読み取る。なお、かかる操作器２は、利用者自身が手入力で利用者ＩＤを入力するテンキー等であっても良く、利用者ＩＤを取得できればよい。

カメラ３は、利用者を撮像して画像データを出力するＣＣＤ（Charge Coupled Device）素子などからなる撮像装置である。このカメラ３は、操作器２を操作する利用者Ｍの顔部分並びに利用者がゲート１０に至る途中での該利用者Ｍの顔部分を撮像できる画角にあらかじめ設定されている。なお、本実施例では、かかるカメラ３で撮像される画像データは、説明の便宜上、２５６階調の白黒濃淡画像（黒画素の画素値が「０」であり白画素の画素値が「２５５」）であるものとするが、カラー画像を対象とすることもできる。

制御部４は、入退室管理装置１を全体制御するコンピュータであり、操作器２、カメラ３、顔認証データベース５、記憶部６及びゲート１０と接続されている。この制御部４は、少なくとも、操作器２を操作した利用者Ｍの顔画像データが鮮明である場合に、該顔画像データを利用者ＩＤに関連付けて顔認証データベース５に自動登録する処理を行う。また、この制御部４は、顔認証データベース５に登録された顔画像データを用いて利用者Ｍの顔認証処理を行い、この認証結果に基づいて利用者Ｍの入退室管理を行う。具体的には、制御部４は、利用者Ｍを認証できた場合にはゲート１０を開き、利用者Ｍを認証できない場合にはゲート１０の閉鎖状態を維持する制御を行う。なお、ゲート１０の開閉制御は周知の技術を用いることができるため、ここではその詳細な説明を省略する。

顔認証データベース５は、利用者ＩＤと１又は複数の顔画像データとを関連付けて格納するデータベースである。この顔認証データベース５は、利用者ＭにＩＤカード２ａを付与する時点では該利用者Ｍの顔画像データが登録されておらず、ＩＤカード２ａの初回利用時に利用者Ｍの顔画像データが登録される。このため、利用者Ｍの初回利用時にはＩＤカード２ａを発行した作業員が立ち会うことが望ましい。なお、上記制御部４は、顔認証データベース５のデータベース管理装置（ＤＢＭＳ）の役割を果たす。

記憶部６は、ハードディスク装置又は不揮発性メモリ等からなる記憶デバイスであり、制御部４により読み書きされる。この記憶部６には、顔画像データの鮮明度の比較の対象となるしきい値７が記憶されている。かかるしきい値７は、あらかじめ複数の人物の顔部分を撮影して複数の顔画像データを記憶部６に一時記憶しておき、作業者が「不鮮明である」と判断した複数の顔画像データの鮮明度のうち最も値が高いものを設定する。なお、かかるしきい値の設定処理についての詳細な説明は後述する。

操作検出部１１は、利用者Ｍにより操作器２が操作されたか否かを検出する処理部である。例えば、ＩＤカード２ａが非接触式のカードである場合には、利用者ＭがＩＤカード２ａを操作器２に翳し操作したことを検出して、該ＩＤカード２ａから利用者ＩＤを受信する。また、ＩＤカード２ａが磁気記録式のカードである場合には、利用者ＭがＩＤカード２ａを操作器２に接触させたことを検出して、該ＩＤカード２ａから利用者ＩＤを読み取る。

顔画像検出部１２は、カメラ３によって撮像された白黒濃淡画像データ（以下、単に「画像データ」と言う）内に存在する人の顔部分を含む矩形の顔画像データを切り出す処理部である。この顔画像検出部１２により切り出された顔画像データについても２５６階調の白黒濃淡画像となる。図２は、顔画像検出部１２によって検出される顔画像データの一例を示す図である。同図に示すように、ここではカメラ３で撮像された画像データ２０内に利用者Ｍが含まれており、この利用者Ｍの顔画像データ２１を切り出す状況を示している。ここで、利用者Ｍの顔画像データを切り出す際には、人の一般的な顔の輪郭を示すテンプレート（マスクパターン）を準備し、このテンプレートを画像データ２０にずらしマッチングすることで、画像データ内に存在する顔画像データ２１を検出することができる。なお、かかるテンプレートマッチングだけではなく、公知の各種顔検出アルゴリズム（画像処理技術）を用いることができる。

目領域抽出処理部１３は、顔画像検出部１２により検出された顔画像データに含まれる両目を含む目領域の部分画像データ（以下、「目領域画像データ」と言う）を抽出する処理部である。この目領域画像データについても２５６階調の白黒濃淡画像となる。具体的には、人の片目の外形を示す楕円形状のテンプレート（マスクパターン）を準備し、このテンプレートを顔画像データにずらしマッチングすることで、顔画像データ内に存在する両目の位置を特定し、この両目を含む矩形領域を目領域画像データとして抽出する。なお、顔画像検出部１２と同様に、かかるテンプレートマッチングだけではなく、公知の各種顔検出アルゴリズム（画像処理技術）を用いることができる。

なお、人の目の領域を抽出することとしたのは、後述する鮮明度算出部１４で鮮明度を算出する際に、（１）目の位置は特定し易い、（２）目の周辺は肌であり、背景の影響を受けにくい、（３）目は瞳の輪郭や瞼の輪郭が出やすく、横方向のエッジ強度が高くなりやすい、（４）目には、眼球やまつげ等、肌の色と大きく異なる色があり、他の顔パーツ部分（例えば、鼻）よりもエッジ強度が高くなりやすい、（５）瞼の開閉や表情の変化による影響が口よりも小さい、（６）顔画像全体を対象とする場合と比べて適用範囲を小さくし、計算処理コストを抑制できる等の理由からである。

鮮明度算出部１４は、目領域抽出処理部１３により抽出された目領域画像データを用いて鮮明度を算出する処理部である。具体的には、図３に示すように、この鮮明度算出部１４では、顔画像データ２１から抽出された目領域画像データ２２に対して周知のＳＯＢＥＬ等の微分オペレータを適用し、各画素の微分値の絶対値を画素値とする微分画像データ２３を生成し、この微分画像データ２３のヒストグラム２４の分散値を鮮明度としている。この際、ＳＯＢＥＬの微分オペレータは、縦エッジを検出するマスクパターンと横エッジを検出するマスクパターンからなるが、目の領域に含まれるエッジは横エッジが多いため、両者を併用するのではなく横エッジを検出するマスクパターンのみを用いることができる。また、ＳＯＢＥＬの微分オペレータではなく、ラプラシアン等の他の微分オペレータを用いることもできる。さらに、微分画像データ２３の各画素の画素値の標本分散を鮮明度とすることもできる。

ここで、かかる鮮明度算出部１４が、微分画像データ２３の分散値を鮮明度とした理由について図４を用いて説明する。同図（ａ）には鮮明な目領域画像データ２２から鮮明度を算出する場合を示し、同図（ｂ）には不鮮明な目領域画像データ２５から鮮明度を算出する場合を示している。同図（ａ）に示す鮮明な目領域画像データ２２の場合には、背景となる肌部分と目の瞼等の部分との間でシャープなエッジが検出されるため、良好な微分画像データ２３が得られる。このため、この微分画像データ２３のヒストグラム２４についても高い微分値を持つ画素が多くなり、その分散値も大きくなる。これに対して、同図（ｂ）に示す不鮮明な目領域画像データ２５の場合には、背景となる肌部分と目の瞼等の部分との間に「ぼけ」が発生するため、エッジ部分の濃度値が相対的に低くなるとともに同一のエッジ部分であっても複数のエッジが検出される。このため、この微分画像データ２６のヒストグラム２７は微分値の小さなエッジ部分が複数存在することとなり、その分散値は小さくなる。このことから、微分画像データの分散値により、画像データが鮮明であるか否かを判定することができる。

図１の説明に戻り、登録処理部１５は、利用者Ｍの顔画像データを利用者ＩＤに関連付けて顔認証データベース５に登録する処理部である。すでに説明したように、本実施例１では、利用者ＭにＩＤカード２ａを発行する時点で別環境にて利用者Ｍの顔部分を撮像するのではなく、利用者が実環境で最初にＩＤカード２ａを利用して入室する時点で利用者Ｍの顔部分をカメラ３で撮像して顔認証データベース５に登録する。また、利用者Ｍが２回目以降の入退室を行う際に、新たな顔画像データを利用者ＩＤに関連付けて顔認証データベース５に追加登録する。なお、かかる顔画像データは、無条件に顔認証データベース５に登録されるのではなく、顔画像データの鮮明度がしきい値７以上であることを条件として顔認証データベース５に登録される。

顔認証処理部１６は、利用者Ｍが顔認証データベース５に登録された登録済みの利用者であるか否かを認証する処理部である。具体的には、顔画像検出部１２により検出された利用者Ｍの顔画像データと顔認証データベース５に登録された顔画像データとの類似度を算出し、算出された類似度に基づいて、該利用者Ｍが顔認証データベース５に登録された登録済みの利用者であるか否かを認証する。顔認証データベース５に登録済みの利用者Ｍは、ＩＤカード２ａの操作がなされなくともゲート１０を開制御する必要があるためである。ここで、上記類似度の一例として、顔画像データ相互間の相互相関係数を用いることができ、両顔画像データに同一人物の顔部分が含まれる場合に類似度が高くなり、両顔画像データに異なる人物の顔部分が含まれる場合に類似度が低くなる。なお、かかる類似度としては、上記の相互相関係数以外の公知の類似度算出技術を用いることもできる。

そして、顔認証データベース５に登録された顔画像データが一つのみである場合には、上記顔画像データ間の類似度が所定の閾値以上である場合に、利用者が顔認証データベース５に登録済みであると判定し、顔認証データベース５に登録された顔画像データが複数存在する場合には、顔画像検出部１２により検出された利用者の顔画像データと顔認証データベース５に登録された複数の顔画像データの各類似度のうちの例えば上位３つの類似度を抽出し、抽出した上位３つの類似度のうちの平均値が所定の閾値以上である場合に、利用者が顔認証データベース５に登録済みであると判定することができる。なお、かかる判定処理としては、既存の周知技術を用いることができる。

警報出力部１７は、顔認証処理部１６により利用者が顔認証データベース５に登録済みでないと判定された場合に、警報を出力する処理部である。かかる警報出力としては、実際に音声出力するほか、所定の警備員の携帯端末に「異常発生」を報知するものでも良い。なお、かかる警報を出力している間は、ゲート１０の閉鎖状態が維持される。

次に、図１に示した制御部４により初回の顔画像データを顔認証データベース５に登録する際の登録処理手順について説明する。図５は、図１に示した制御部４により初回の顔画像データを顔認証データベース５に登録する際の登録処理手順を示すフローチャートである。ここでは、説明の便宜上、事前にしきい値７は記憶部６内に格納されているものとする。

同図に示すように、制御部４は、記憶部６に記憶したしきい値７を読み出した後に（ステップＳ１０１）、カメラ３により撮像された画像データを取得し（ステップＳ１０２）、利用者Ｍによって操作器２が操作されたか否かを判定する（ステップＳ１０３）。

ここで、利用者Ｍによって操作器２が操作された場合には（ステップＳ１０３，Ｙｅｓ）、取得された画像データ内で顔部分が検出されたか否かを判定する（ステップＳ１０４）。これに対して、利用者によって操作器２が操作されない場合には（ステップＳ１０３，Ｎｏ）、ステップＳ１０２に移行して、次の画像データが取得される。なお、画像データ内で顔部分が検出されない場合にも（ステップＳ１０４，Ｎｏ）、ステップＳ１０２に移行して、次の画像データを取得する。

そして、画像データ内で顔部分が検出された場合には（ステップＳ１０４，Ｙｅｓ）、顔画像データから目領域画像データを抽出し（ステップＳ１０５）、抽出された目領域画像データから鮮明度を算出する（ステップＳ１０６）。具体的には、目領域画像データを微分処理して微分画像データを生成し、生成した微分画像データのヒストグラムの分散値を鮮明度とする。

その後、この鮮明度がステップＳ１０１で読み込んだしきい値７以上であるか否かを調べ（ステップＳ１０７）、鮮明度がしきい値７以上である場合には（ステップＳ１０７，Ｙｅｓ）、顔画像データを利用者ＩＤに対応付けて顔認証データベース５に登録する（ステップＳ１０８）。なお、鮮明度がしきい値７未満である場合には（ステップＳ１０７，Ｎｏ）、利用者に対して鮮明な画像データが撮像できなかった旨を通知した後（ステップＳ１０９）、ステップＳ１０２に移行する。

次に、図１に示した記憶部６に記憶する鮮明度のしきい値７の設定処理手順について説明する。図６は、図１に示した記憶部６に記憶する鮮明度のしきい値７の設定処理手順を示すフローチャートである。かかる鮮明度のしきい値設定処理は、あらかじめ学習処理として実施される。

図６に示すように、制御部４は、カメラ３により撮像された画像データを取得し（ステップＳ２０１）、取得された画像データ内で顔部分が検出されたか否かを判定する（ステップＳ２０２）。そして、顔部分が検出された場合には（ステップＳ２０２，Ｙｅｓ）、顔画像データを記憶部６に一時的に蓄積し（ステップＳ２０３）、所定数（例えば「１０」）の顔画像データが記憶部６に蓄積されたか否かを判定する（ステップＳ２０４）。そして、記憶部６に蓄積された顔画像データが所定数に満たない場合には（ステップＳ２０４，Ｎｏ）、ステップＳ２０１に移行して同様の処理を繰り返す。また、画像データ内で顔部分が検出されない場合にも（ステップＳ２０２，Ｎｏ）、ステップＳ２０１に移行する。

そして、記憶部６に蓄積された顔画像データが所定数以上となった場合には（ステップＳ２０４，Ｙｅｓ）、記憶部６に蓄積された顔画像データを図示しない表示部に一覧表示する（ステップＳ２０５）。そして、作業者が表示部に表示された顔画像データのうちの不鮮明であると判断した１又は複数の顔画像データを選択操作し、制御部４がこの選択操作を受け付ける（ステップＳ２０６）。

その後、選択された顔画像データの一つから目領域画像データを抽出し（ステップＳ２０７）、抽出した目領域画像データから鮮明度を算出する（ステップＳ２０８）。かかる処理を選択された全ての顔画像データに対して繰り返し（ステップＳ２０９，Ｙｅｓ）、全ての顔画像データの鮮明度を算出したならば（ステップＳ２０９，Ｎｏ）、最も高い鮮明度をしきい値７として記憶部６に格納する（ステップＳ２１０）。

次に、図１に示した制御部４による顔画像認証処理手順について説明する。図７は、図１に示した制御部４による顔画像認証処理手順を示すフローチャートである。ここでは、顔認証データベース５に利用者ＩＤに対応する顔画像データが既に登録されているものとする。

図７に示すように、制御部４は、記憶部６に記憶したしきい値７を読み出した後に（ステップＳ３０１）、カメラ３により撮像された画像データを取得し（ステップＳ３０２）、取得された画像データ内で顔部分が検出されたか否かを判定する（ステップＳ３０３）。そして、画像データ内で顔部分が検出された場合には（ステップＳ３０３，Ｙｅｓ）、顔画像データから目領域画像データを抽出し（ステップＳ３０４）、抽出された目領域画像データから鮮明度を算出する（ステップＳ３０５）。具体的には、目領域画像データを微分処理して微分画像データを生成し、生成した微分画像データのヒストグラムの分散値を鮮明度とする。なお、画像データ内で顔部分が検出されない場合には（ステップＳ３０３，Ｎｏ）、ステップＳ３０２に移行して、次の画像データを取得する。

そして、この鮮明度がステップＳ３０１で読み込んだしきい値７以上であるか否かを調べ（ステップＳ３０６）、鮮明度がしきい値７未満である場合には（ステップＳ３０６，Ｎｏ）、利用者に対して鮮明な画像データが撮像できなかった旨を通知した後（ステップＳ３０７）、ステップＳ３０２に移行する。

これに対して、鮮明度がしきい値７以上である場合には（ステップＳ３０６，Ｙｅｓ）、この顔画像データを顔認証データベース５内の各顔画像データと照合して顔認証処理を行う（ステップＳ３０８）。その結果、利用者Ｍが顔認証データベース５に登録されていないと判定された場合には（ステップＳ３０９，Ｎｏ）、「未登録者が入室する可能性がある旨」の警報を出力する（ステップＳ３１０）。この警報によりゲート１０に駆け付けた係員による所定の操作が行われたならば（ステップＳ３１１）、警報の出力を中止してステップＳ３０２に移行する。

これに対して、利用者Ｍが顔認証データベース５に登録されている場合には（ステップＳ３０９，Ｙｅｓ）、利用者Ｍが入室可能となるようにゲート１０を開放制御するとともに、該利用者Ｍの入室完了後にゲート１０を閉鎖制御する（ステップＳ３１２）。

その後、顔認証データベース５に登録されている利用者Ｍの利用者ＩＤに対応する顔画像データの数が所定の上限値（例えば、「１０」）に達している場合には（ステップＳ３１３，Ｙｅｓ）、最も登録日時が古い顔画像データを削除した後（ステップＳ３１４）、上記顔画像データを利用者ＩＤに対応付けて登録し（ステップＳ３１５）、ステップＳ３０２に移行する。

上述してきたように、本実施例１では、カメラ３で撮像した利用者の顔画像データから目領域画像データを抽出し、抽出した目領域画像データを微分処理した微分画像データの分散値が示す鮮明度が所定のしきい値以上であるか否かを判定し、しきい値以上である場合にのみ顔認証データベース５を用いた顔認証処理を行うとともに顔画像データを顔認証データベース５に登録するよう構成したので、もって顔画像データの管理負担を軽減させつつ、顔認証データベース５に対する不鮮明な顔画像データの登録に伴う認証精度の低下を効率良く抑制することが可能となる。

なお、本実施例１では、鮮明度のしきい値を設定する際に、作業者が不鮮明であると判断した顔画像データを選択させ、これらの顔画像データに対応する最も高い鮮明度をしきい値とする場合を示したが、本発明はこれに限定されるものではい。例えば、作業者が鮮明であると判断した顔画像データを選択させ、これらの顔画像データに対応する最も低い鮮明度をしきい値とすることもできる。さらに、判別分析法等を用いてしきい値を自動設定することもできる。

また、上記実施例１では、学習処理として撮像した複数の画像データから鮮明度のしきい値を求める場合を示したが、本発明はこれに限定されるものではなく、顔認証データベース５に登録された複数の顔画像データの鮮明度の平均又は中間値を用いてしきい値を設定することもできる。具体的には、顔認証データベース５を更新するタイミングで、顔認証データベース５に登録された複数の顔画像データの鮮明度の平均又は中間値を再計算することで、しきい値を動的に更新することができる。

さらに、顔認証データベース５に登録された複数の顔画像データの鮮明度をソーティングし、全登録枚数のうちの指定された割合（例えば、２０％）の顔画像データを不鮮明とし、その顔画像データに対応する鮮明度をしきい値とすることもできる。また、学習処理として静止状態の利用者Ｍの複数の画像データを撮像し、これらの画像データに対応する鮮明度のうちの最小値をしきい値とすることもできる。

ところで、上記実施例１では、鮮明な顔画像データのみを顔認証データベース５に登録する場合を示したが、本発明はこれに限定されるものではなく、顔認証データベース５に登録された不鮮明な顔画像データを事後的に削除する場合に適用することもできる。このため、本実施例２では、顔認証データベース５に登録された不鮮明な顔画像データを事後的に削除する場合を示すこととする。

まず、本実施例２に係る入退室管理装置３１の特徴及び構成について説明する。図８は、本実施例２に係る入退室管理装置３１の構成を示す図である。なお、図１に示した入退室管理装置１と同様の部分については同一の符号を付すこととして、その詳細な説明を省略する。

図８に示す入退室管理装置３１は、初回の顔画像データの登録する時点及び２回目以降の顔画像の認証処理を行う時点では、従来技術と同様に全ての顔画像データを顔認証データベース３４に登録する。その反面で、所定の時刻（例えば、毎日午前０時）になった時や所定の削除操作がなされた時に、顔認証データベース３４に登録された不鮮明な顔画像データを鮮明度に基づいて削除処理するものである。

図１に示す制御部３２には、顔認証データベース３４に登録された不鮮明な顔画像データを事後的に削除する削除処理部３３が設けられている。この削除処理部３３は、所定の時刻（例えば、毎日午前０時）になった時や所定の削除操作がなされた時に、顔認証データベース３４に登録された不鮮明な顔画像データを鮮明度に基づいて削除処理する処理部である。

顔認証データベース３４は、図１に示した顔認証データベース５と同様のものであるが、ここでは利用者ＩＤに対応する複数の顔画像データと該顔画像データの鮮明度を格納している点が相違する。鮮明度算出部１４が顔画像データの鮮明度を算出したならば、この鮮明度を顔画像データに対応付けて記憶する。このため、前回の不鮮明な顔画像データの削除処理時点で鮮明度が算出されているものについては、次回の削除処理時点で再度鮮明度を算出する必要がなく、新たに登録された顔画像データについてのみ鮮明度を算出することになる。

次に、図８に示した制御部３２により初回の顔画像データを顔認証データベース３４に登録する際の登録処理手順について説明する。図９は、図８に示した制御部３２により初回の顔画像データを顔認証データベース３４に登録する際の登録処理手順を示すフローチャートである。ここでは、説明の便宜上、事前にしきい値７は記憶部６内に格納されているものとする。

同図に示すように、制御部４は、カメラ３により撮像された画像データを取得し（ステップＳ４０１）、利用者Ｍによって操作器２が操作されたか否かを判定する（ステップＳ４０２）。ここで、利用者Ｍによって操作器２が操作された場合には（ステップＳ４０２，Ｙｅｓ）、取得された画像データ内で顔部分が検出されたか否かを判定する（ステップＳ４０３）。これに対して、利用者によって操作器２が操作されない場合には（ステップＳ４０２，Ｎｏ）、ステップＳ４０１に移行して、次の画像データが取得される。なお、画像データ内で顔部分が検出されない場合には（ステップＳ４０３，Ｎｏ）、ステップＳ４０１に移行して、次の画像データを取得する。

そして、画像データ内で顔部分が検出された場合には（ステップＳ４０３，Ｙｅｓ）、顔画像データを利用者ＩＤに対応付けて顔認証データベース３４に登録する（ステップＳ４０４）。このように、本実施例２では、登録対象となる顔画像データの鮮明度を判定することなく、全て顔認証データベース３４に登録する。

次に、図８に示した制御部３２による顔画像認証処理手順について説明する。図１０は、図８に示した制御部３２による顔画像認証処理手順を示すフローチャートである。ここでは、顔認証データベース３４に利用者ＩＤに対応する顔画像データが既に登録されているものとする。

図１０に示すように、制御部３２は、カメラ３により撮像された画像データを取得し（ステップＳ５０１）、取得された画像データ内で顔部分が検出されたか否かを判定する（ステップＳ５０２）。そして、画像データ内で顔部分が検出された場合には（ステップＳ５０２，Ｙｅｓ）、該顔画像データを顔認証データベース３４内の各顔画像データと照合して顔認証処理を行う（ステップＳ５０３）。その結果、利用者Ｍが顔認証データベース３４に登録されていないと判定された場合には（ステップＳ５０４，Ｎｏ）、「未登録者が入室する可能性がある旨」の警報を出力する（ステップＳ５０５）。この警報によりゲート１０に駆け付けた係員による所定の操作が行われたならば（ステップＳ５０６）、警報の出力を中止してステップＳ５０１に移行する。

これに対して、利用者Ｍが顔認証データベース３４に登録されている場合には（ステップＳ５０４，Ｙｅｓ）、利用者Ｍが入室可能となるようにゲート１０を開放制御するとともに、該利用者Ｍの入室完了後にゲート１０を閉鎖制御する（ステップＳ５０７）。

その後、顔認証データベース３４に登録されている利用者Ｍの利用者ＩＤに対応する顔画像データの数が所定の上限値（例えば、「１０」）に達している場合には（ステップＳ５０８，Ｙｅｓ）、最も登録日時が古い顔画像データを削除した後（ステップＳ５０９）、上記顔画像データを利用者ＩＤに対応付けて登録し（ステップＳ５１０）、ステップＳ５０１に移行する。このように、本実施例２では、制御部３２による顔画像認証処理時においても、登録対象となる顔画像データの鮮明度を判定することなく、全て顔認証データベース３４に登録する。

次に、図８に示した削除処理部３３による不鮮明な顔画像データの削除処理手順について説明する。図１１は、図８に示した削除処理部３３による不鮮明な顔画像データの削除処理手順を示すフローチャートである。ここでは、説明の便宜上、制御部３２が図示しないタイマを有し、所定の時刻（例えば、毎日午前０時）に顔認証データベース３４に登録された不鮮明な顔画像データを削除する場合を示している。

同図に示すように、図示しないタイマにより計時された時刻が所定の時刻となったならば（ステップＳ６０１，Ｙｅｓ）、顔認証データベース３４に記憶される顔画像データのうちの鮮明度が未登録の顔画像データを取得する（ステップＳ６０２）。具体的には、前回以前の削除処理時に存在しない顔画像データの鮮明度が未登録となっているため、かかる鮮明度が未登録の顔画像データのみを顔認証データベース３４から取得する。

その後、この顔画像データから目領域画像データを抽出し（ステップＳ６０３）、抽出した目領域画像データを微分処理した微分画像データの分散値を鮮明度として算出し（ステップＳ６０４）、算出した鮮明度を顔画像データの鮮明度として登録する（ステップＳ６０５）。かかる一連の処理を鮮明度が未登録の顔画像データがなくなるまで繰り返す（ステップＳ６０６）。

そして、顔認証データベース３４に登録された全ての顔画像データの鮮明度が登録されたならば（ステップＳ６０６，Ｎｏ）、ある利用者ＩＤに関連付けられた鮮明度を全て取得し（ステップＳ６０７）、鮮明度がしきい値未満のものが存在する場合には（ステップＳ６０８，Ｙｅｓ）、該鮮明度に対応する顔画像データ及び鮮明度を顔認証データベース３４から削除する（ステップＳ６０９）。上記一連の処理を未処理の利用者ＩＤがなくなるまで繰り返し（ステップＳ６１０，Ｙｅｓ）、全ての利用者ＩＤに対して削除処理を終えたならば（ステップＳ６１０，Ｎｏ）、処理を終了する。

上述してきたように、本実施例２は、顔認証データベース５に登録された不鮮明な顔画像データを事後的に一括削除するよう構成したので、削除処理部３３、目領域抽出処理部１３、鮮明度算出部１４及びしきい値７を従来の制御部に追加することで、不鮮明な顔画像データを顔認証データベース３４から削除し、もって顔画像データの管理負担を軽減させつつ、認証精度の向上を図ることが可能となる。

なお、上記実施例２では、鮮明度がしきい値７未満の顔画像データを全て削除する場合を示したが、本発明はこれに限定されるものではなく、利用者ＩＤに対応する顔画像データが上限値の所定割合（例えば、「８割」）以上存在する場合に限って、不鮮明な顔画像データを削除することもできる。不鮮明な顔画像データと言えども、顔画像データが存在しない場合よりも認証精度の向上に寄与し得るからである。

また、上記実施例２では、所定の時刻に不鮮明な顔画像データを自動的に削除処理する場合を示したが、本発明はこれに限定されるものではなく、係員による所定の削除操作がなされた場合に、不鮮明な顔画像データを顔認証データベース３４から削除処理するよう構成することもできる。この場合に、所定の削除操作に応答して鮮明度の算出までを自動的に行い、顔画像データの削除については係員の手作業により実施させることもできる。さらに、係員が任意のユーザＩＤを選択すると、選択されたユーザＩＤに対応する不鮮明な顔画像データを顔認証データベース３４から削除処理するよう構成することもできる。

さらに、上記実施例２では、学習処理として撮像した複数の画像データから鮮明度のしきい値を求める場合を示したが、本発明はこれに限定されるものではなく、顔認証データベース３４に登録された複数の顔画像データの鮮明度の平均又は中間値を用いてしきい値を設定することもできる。具体的には、顔認証データベース３４を更新するタイミングで、顔認証データベース３４に登録された複数の顔画像データの鮮明度の平均又は中間値を再計算することで、しきい値を動的に更新することができる。

また、上記実施例１及び２では、説明の便宜上、メガネ、アイシャドウ等の影響についての説明を省略したが、微分画像データに含まれるメガネ部分やアイシャドウ部分のエッジを補正する処理を併用することが望ましい。さらに、上記実施例１及び２では、顔画像データから抽出した目領域画像データに着目した場合を示したが、本発明はこれに限定されるものではなく、肌に囲まれた顔パーツ（鼻、口等）の領域の部分画像データを用いることもできる。

また、上記実施例１及び２では、説明の便宜上、カメラ３で白黒濃淡画像データを撮像する場合を示したが、本発明はこれに限定されるものではなく、カメラ３でカラー画像データを撮像する場合に適用することもできる。カラー画像データを撮像する場合には、色の３原色であるＲ、Ｇ、Ｂの各画像データについて同様の処理を行い、これらの画像データについて鮮明度を求めて総合的に不鮮明であるか否かを判定すれば良い。なお、ＲＧＢ表色系のみならず、他の表色系を用いる場合にも同様の処理を行うことができる。

また、上記実施例１及び２では、目領域画像データを微分処理した微分画像データの分散値を鮮明度とする場合を示したが、本発明はこれに限定されるものではなく、該微分画像データの各種モーメント量から鮮明度を算出することもできる。

さらに、上記実施例１及び２では、本発明を入退室管理システムに適用した場合を示したが、本発明はこれに限定されるものではなく、勤怠管理システムなど各種システムに適用することができる。また、操作器２としてカードリーダを用いることで、従来、社員証等のＩＣカードの利用のみで実現していた入退室管理や勤怠管理に、顔認証を導入することができる。そして、顔認証用の顔画像データが自動登録されるため、利用者は、わざわざＩＤカードをかざさなくても、電気錠の開錠やタイムカードの打刻が可能になる。さらに、開錠時（打刻時）の映像と利用者ＩＤとを関連付けて登録することができる。この結果、管理者によるチェックを一層厳密に行うことができるとともに、不正防止を図ることができる。なお、ＩＣカードの利用と顔認証処理との二重照合も可能であり、この二重照合を行うことによって、通常よりもセキュリティの高いシステムを実現することができる。

また、上記実施例１及び２では、操作器２をカードリーダとする場合を示したが、本発明はこれに限定されるものではない。操作器２は、ＩＤ情報のやり取りができればよく、社員証などのＩＣカードでなくても適用可能である。例えば、パーソナルコンピュータ（ＰＣ）のディスプレイにウェブカメラを取り付け、ログインする際のユーザ名とパスワードと顔画像データとを関連付けるようにして顔画像データを登録することができる。また、マンションのエントランスに設置されているオートロックなどに対しても、顔画像データと開錠用のパスワードとを関連付けて登録することもできる。

本発明に係る顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムは、入退室監視システムや勤怠管理システムなどに適しており、特に、顔認証データベースに対する不鮮明な顔画像データの登録に伴う認証精度の低下を効率良く抑制する場合に適している。

１，３１ 入退室管理装置
２ 操作器
２ａ ＩＤカード
３ カメラ
４，３２ 制御部
５，３４ 顔認証データベース
６ 記憶部
７ しきい値
１０ ゲート
１１ 操作検出部
１２ 顔画像検出部
１３ 目領域抽出処理部
１４ 鮮明度算出部
１５ 登録処理部
１６ 顔認証処理部
１７ 警報出力部
２０ 画像データ
２１ 顔画像データ
２２，２５ 目領域画像データ
２３，２６ 微分画像データ
２４，２７ ヒストグラム
３３ 削除処理部
Ｍ 利用者

Claims (11)

1. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理方法であって、
   前記撮像装置により撮像された画像データから利用者の顔部分を含む顔画像データを抽出する顔画像データ抽出工程と、
   前記顔画像データ抽出工程により抽出された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出する部分画像データ抽出工程と、
   前記部分画像データ抽出工程により抽出された部分画像データを用いて前記顔画像データの鮮明度を算出する鮮明度算出工程と、
   複数の画像データから利用者の顔部分を含む顔画像データをそれぞれ抽出し、抽出した複数の顔画像データを所定の表示部に表示制御し、該表示部に表示制御された複数の顔画像データから作業者により不鮮明であると判定された１又は複数の顔画像データの選択入力を受け付け、受け付けた複数の顔画像データから利用者の所定の顔パーツを含む部分画像データをそれぞれ抽出し、抽出された部分画像データを用いて前記複数の顔画像データの鮮明度をそれぞれ算出し、算出された複数の鮮明度のうちの最大値をしきい値として決定するしきい値決定工程と、
   前記鮮明度算出工程により算出された鮮明度が前記しきい値以上である場合に、前記顔画像データ抽出工程により抽出された顔画像データを前記顔認証データベースに登録する登録処理工程と
   を含んだことを特徴とする顔認証データベース管理方法。
2. 前記鮮明度算出工程により算出された鮮明度が前記しきい値未満である場合に、利用者に対して顔部分が鮮明に映っていない旨を報知する報知工程をさらに含んだことを特徴とする請求項１に記載の顔認証データベース管理方法。
3. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理方法であって、
   前記顔認証データベースに記憶された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出する部分画像データ抽出工程と、
   前記部分画像データ抽出工程により抽出された部分画像データを用いて前記顔画像データの鮮明度を算出する鮮明度算出工程と、
   複数の画像データから利用者の顔部分を含む顔画像データをそれぞれ抽出し、抽出した複数の顔画像データを所定の表示部に表示制御し、該表示部に表示制御された複数の顔画像データから作業者により不鮮明であると判定された１又は複数の顔画像データの選択入力を受け付け、受け付けた複数の顔画像データから利用者の所定の顔パーツを含む部分画像データをそれぞれ抽出し、抽出された部分画像データを用いて前記複数の顔画像データの鮮明度をそれぞれ算出し、算出された複数の鮮明度のうちの最大値をしきい値として決定するしきい値決定工程と、
   前記鮮明度算出工程により算出された鮮明度が前記しきい値未満である場合に、前記顔画像データを前記顔認証データベースから削除する削除処理工程と
   を含んだことを特徴とする顔認証データベース管理方法。
4. 前記しきい値決定工程は、新たな顔画像データを顔認証データベースに記憶する都度、前記しきい値を動的に再決定することを特徴とする請求項３に記載の顔認証データベース管理方法。
5. 前記鮮明度算出工程は、前記部分画像データを微分処理した微分画像データに基づいて前記顔画像データの鮮明度を算出することを特徴とする請求項１〜４のいずれか一つに記載の顔認証データベース管理方法。
6. 前記鮮明度算出工程は、前記部分画像データを微分処理した微分画像データの分散値に基づいて前記顔画像データの鮮明度を算出することを特徴とする請求項１〜４のいずれか一つに記載の顔認証データベース管理方法。
7. 前記所定の顔パーツを含む部分画像データは、少なくとも利用者の両目を含む目領域の部分画像データであることを特徴とする請求項１〜６のいずれか一つに記載の顔認証データベース管理方法。
8. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置であって、
   前記撮像装置により撮像された画像データから利用者の顔部分を含む顔画像データを抽出する顔画像データ抽出部と、
   前記顔画像データ抽出部により抽出された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出する部分画像データ抽出部と、
   前記部分画像データ抽出部により抽出された部分画像データを用いて前記顔画像データの鮮明度を算出する鮮明度算出部と、
   複数の画像データから利用者の顔部分を含む顔画像データをそれぞれ抽出し、抽出した複数の顔画像データを所定の表示部に表示制御し、該表示部に表示制御された複数の顔画像データから作業者により不鮮明であると判定された１又は複数の顔画像データの選択入力を受け付け、受け付けた複数の顔画像データから利用者の所定の顔パーツを含む部分画像データをそれぞれ抽出し、抽出された部分画像データを用いて前記複数の顔画像データの鮮明度をそれぞれ算出し、算出された複数の鮮明度のうちの最大値をしきい値として決定するしきい値決定部と、
   前記鮮明度算出部により算出された鮮明度が前記しきい値以上である場合に、前記顔画像データ抽出部により抽出された顔画像データを前記顔認証データベースに登録する登録処理部と
   を備えたことを特徴とする顔認証データベース管理装置。
9. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置であって、
   前記顔認証データベースに記憶された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出する部分画像データ抽出部と、
   前記部分画像データ抽出部により抽出された部分画像データを用いて前記顔画像データの鮮明度を算出する鮮明度算出部と、
   複数の画像データから利用者の顔部分を含む顔画像データをそれぞれ抽出し、抽出した複数の顔画像データを所定の表示部に表示制御し、該表示部に表示制御された複数の顔画像データから作業者により不鮮明であると判定された１又は複数の顔画像データの選択入力を受け付け、受け付けた複数の顔画像データから利用者の所定の顔パーツを含む部分画像データをそれぞれ抽出し、抽出された部分画像データを用いて前記複数の顔画像データの鮮明度をそれぞれ算出し、算出された複数の鮮明度のうちの最大値をしきい値として決定するしきい値決定部と、
   前記鮮明度算出部により算出された鮮明度が前記しきい値未満である場合に、前記顔画像データを前記顔認証データベースから削除する削除処理部と
   を備えたことを特徴とする顔認証データベース管理装置。
10. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置に用いられる顔認証データベース管理プログラムであって、
    前記撮像装置により撮像された画像データから利用者の顔部分を含む顔画像データを抽出する顔画像データ抽出手順と、
    前記顔画像データ抽出手順により抽出された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出する部分画像データ抽出手順と、
    前記部分画像データ抽出手順により抽出された部分画像データを用いて前記顔画像データの鮮明度を算出する鮮明度算出手順と、
    複数の画像データから利用者の顔部分を含む顔画像データをそれぞれ抽出し、抽出した複数の顔画像データを所定の表示部に表示制御し、該表示部に表示制御された複数の顔画像データから作業者により不鮮明であると判定された１又は複数の顔画像データの選択入力を受け付け、受け付けた複数の顔画像データから利用者の所定の顔パーツを含む部分画像データをそれぞれ抽出し、抽出された部分画像データを用いて前記複数の顔画像データの鮮明度をそれぞれ算出し、算出された複数の鮮明度のうちの最大値をしきい値として決定するしきい値決定手順と、
    前記鮮明度算出手順により算出された鮮明度が前記しきい値以上である場合に、前記顔画像データ抽出手順により抽出された顔画像データを前記顔認証データベースに登録する登録処理手順と
    をコンピュータに実行させることを特徴とする顔認証データベース管理プログラム。
11. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置に用いられる顔認証データベース管理プログラムであって、
    前記顔認証データベースに記憶された顔画像データから利用者の所定の顔パーツを含む部分画像データを抽出する部分画像データ抽出手順と、
    前記部分画像データ抽出手順により抽出された部分画像データを用いて前記顔画像データの鮮明度を算出する鮮明度算出手順と、
    複数の画像データから利用者の顔部分を含む顔画像データをそれぞれ抽出し、抽出した複数の顔画像データを所定の表示部に表示制御し、該表示部に表示制御された複数の顔画像データから作業者により不鮮明であると判定された１又は複数の顔画像データの選択入力を受け付け、受け付けた複数の顔画像データから利用者の所定の顔パーツを含む部分画像データをそれぞれ抽出し、抽出された部分画像データを用いて前記複数の顔画像データの鮮明度をそれぞれ算出し、算出された複数の鮮明度のうちの最大値をしきい値として決定するしきい値決定手順と、
    前記鮮明度算出手順により算出された鮮明度が前記しきい値未満である場合に、前記顔画像データを前記顔認証データベースから削除する削除処理手順と
    をコンピュータに実行させることを特徴とする顔認証データベース管理プログラム。

Images