JP4840978B2

JP4840978B2 - 撮像装置及びその制御方法及びプログラム及び記憶媒体

Info

Publication number: JP4840978B2
Application number: JP2006132832A
Authority: JP
Inventors: 正雄岡田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-05-11
Filing date: 2006-05-11
Publication date: 2011-12-21
Anticipated expiration: 2026-05-11
Also published as: JP2007301166A

Description

本発明は、個人認証機能付き撮像装置において、個人認証時の顔検出枠の表示方法に関するものである。

個人認証機能付きの撮像装置では、被写体をカメラで撮影し、撮影した画像から人物の顔を検出し、その顔画像から被認証者を識別するための特徴情報を抽出する。そして、抽出した特徴情報と予めデータベースに登録してある登録者の特徴情報とを比較し、その類似度を判定し、その判定結果に基づいて被認証者が登録者か否かの認証を行っている。

ここで、画像から得られる特徴データは、データベース登録時の人物撮影と認証時の人物撮影における撮影条件（背景、照明条件、距離、アングル等）や姿勢の変化、表情の変化等、撮像時の条件の相違により影響を受ける。そのため、同一人物から得られた特徴情報であっても必ずしも一致するとは限らず、登録時の特徴情報と認証時の特徴情報の類似度を閾値判定している。このために、撮像時の条件の相違により、登録されていない被認証者を登録者と判定したり、被認証者が登録者であるにも拘わらず登録者でないと判定したりする認証誤りが発生する場合がある。

このように、本人特有の顔の特徴データを抽出する場合、眼鏡の有無、表情の変化、姿勢、照明環境等の多種多様なパラメータが重要な照合要素になっている。そのため、本人を特定するためには、できるだけ多くのパラメータを含めて特徴データを登録した方が個人認証時の信頼度は高くなる。
特開２００５−０７１１２５号公報

上述したように、個人認証機能付きの撮像装置では、データベースに蓄積されたデータ量の差によって、個人認証されやすい人と個人認証されにくい人とが生じる。個人認証されにくい人は、いざ撮影という場合に個人認証に失敗する場合が多く、撮影の機会を逃してしまう場合が多くなってしまう。

信頼性の低い人が検出された場合は、データベースに蓄積されたその人のデータ量が十分足りていないことが考えられる。ユーザがこれに気付いてその人のデータ量を増加させることを行えば、その人の認証に失敗して撮影の機会を逃すことを減少させることができる。

しかしながら、どの人のデータがどれだけ蓄積されているかということを、ユーザがすべて把握することは不可能であり、いちいちユーザに確認させるとすれば手間がかかり非常に使い勝手の悪い機能となってしまう。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、個人認証機能付きの撮像装置において、ユーザ毎に、データベースに蓄積されているその人のデータ量が十分であるか否かを容易に判別できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮影された画像を表示する表示手段と、前記撮影された画像から人物の顔を検出する顔検出手段と、特定の人物の顔の特徴情報を記憶したデータベースと、前記顔検出手段により検出された人物の顔の画像と、前記データベースに記憶されている特定の人物の顔の特徴情報とに基づいて、前記顔検出手段により検出された人物が特定の人物であるか否かを判定するとともにその信頼度を算出する信頼度算出手段と、前記信頼度算出手段によって算出された前記信頼度に基づいて、前記表示手段に表示されている人物の顔に重ねて表示する枠の表示方法を変更する制御手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、撮影された画像を表示する表示手段と、特定の人物の顔の特徴情報を記憶したデータベースとを備える撮像装置を制御する方法であって、前記撮影された画像から人物の顔を検出する顔検出工程と、前記顔検出工程において検出された人物の顔の画像と、前記データベースに記憶されている特定の人物の顔の特徴情報とに基づいて、前記顔検出工程において検出された人物が特定の人物であるか否かを判定するとともにその信頼度を算出する信頼度算出工程と、前記信頼度算出工程において算出された前記信頼度に基づいて、前記表示手段に表示されている人物の顔に重ねて表示する枠の表示方法を変更する制御工程と、を具備することを特徴とする。

また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。

本発明によれば、個人認証機能付きの撮像装置において、ユーザ毎に、データベースに蓄積されているその人のデータ量が十分であるか否かを容易に判別することが可能となる。

以下、本発明の好適な一実施形態について、添付図面を参照して詳細に説明する。

図１は本発明の一実施形態に関わる撮像装置の概略構成を示すブロック図である。

図１において、レンズ系１によって被写体像を表す光線が集光され、ＣＣＤのような撮像素子２に入射する。撮像素子２から出力された映像信号は、アナログ信号処理回路３において相関二重サンプリング等のアナログ信号処理が行われる。アナログ信号処理回路３から出力された映像信号は、Ａ／Ｄ変換回路４においてデジタルデータに変換され、制御回路１２およびデジタル信号処理回路５に入力される。デジタル信号処理回路５において、ガンマ補正、ホワイトバランス処理などのデジタル信号処理が行われる。デジタル信号処理回路５から出力された映像信号は、メモリ６を介して表示装置９に送られる。そして表示装置９の表示画面上に被写体像が表示される。

また、デジタル信号処理回路５から出力された映像信号は、顔検出処理回路１０にも入力される。顔検出処理回路１０において、入力された画像信号から顔画像のエリアが検出される。さらに、検出された顔画像は個人認証処理回路１１に送られ、個人の顔の特徴データを登録したデータベース１３を用いて個人認証が行われる。なお、個人認証処理回路１１は、個人認証した結果の信頼度を評価する機能も有する。なお、ここで言う信頼度とは、認証の精度を示す値であり、入力信号とデータベース内の特徴データを比較することで算出される。信頼度は、例えば一致するサンプルの数、が多ければ多いほどその値は高くなる。つまり、例え一致度が高くともサンプルの数が少なければ信頼度は高くならないということである。ここでいう一致とは、比較の結果、完全に一致するものだけでなく、誤差が所定範囲内である値も含んでいる。

個人認証を行なわない通常の撮影動作では、シャッタボタンの押下が行われると、上述したのと同様に被写体が撮像され、被写体像を表す画像データが得られる。画像データはデジタル信号処理回路５からメモリ６に与えられ、一時的に記憶される。画像データはメモリ６から読み出され、記録制御回路７によってメモリカード８に記録される。

なお、顔検出処理回路１０で実施される顔を検出する技術としては、様々な手法が公知となっている。例えば、ニューラルネットワークに代表される学習を用いた方法がある。また、目、鼻、口、および、顔の輪郭といった物理的な形状の特徴のある部位を画像データからテンプレートマッチングを用いて識別する手法がある。他にも、肌の色や目の形といった画像データの特徴量を検出し統計的解析を用いた手法があげられる（例えば、特開平１０−２３２９３４号公報や特開２０００−４８１８４号公報等を参照）。本実施形態では、一対の目（両目）、鼻、口、および、顔の輪郭を検出し、これらの相対位置より人物の顔を決定する手法により顔の識別処理を行っている。

また、個人認証処理回路１１では、データベース１３に登録されている個人の顔の特徴情報等に基づいて、パターンマッチングなどにより個人認証を行なう。

次に、本実施形態の撮像装置における個人認証の動作について図２に示すフローチャートを参照して説明する。

なお、図２に示す動作を行う前に、前もって登録対象の人物をこの撮像装置で撮影し、その人物の顔の特徴データをデータベース１３に登録しておく。また、このデータベース１３への登録は、パーソナルコンピュータなどをこの撮像装置に接続して、外部から登録情報を撮像装置に入力するようにしてもよい。

また、図２のフローを開始する前に、被認証者をこの撮像装置で撮影して、顔の画像を取り込んでおく。

まず、ステップＳ１１において、被認証者を撮影した画像データから顔検出処理が行われる。顔が検出された場合にはステップＳ１２に進んで個人認証処理を行う。顔が検出されなかった場合には、個人認証処理を終了して通常の撮影モードに戻る。ステップＳ１２では、ステップＳ１１で検出された顔情報をもとに個人認証を行う。次にステップＳ１３に進んで、個人認証されたときの信頼度を算出する。そして、ステップＳ１３で算出された信頼度のデータをもとに、ステップＳ１４において、信頼度に応じて顔検出枠の表示を変えて表示を行う。このとき、被認証者の画像と上記の顔検出枠とが表示装置９に表示される。

図３は、信頼度に応じた顔検出枠表示方法の例を示した図である。

ここでは、個人認証時の信頼度によって例えば、信頼度が８０〜１００％のときには顔検出枠の表示の形を□に、５０〜８０％のときには○に、２０〜５０％のときは△に、０〜２０％のときは×にというように、顔検出枠の表示を変える例を示している。

他には、顔検出枠の色を、緑、青、黄、赤というように変えたり、大きさを、信頼度が高くなるにしたがって大きくしたりするといったことも考えられる。

また、パターン１やパターン２のように、枠の太さや線の表示などを変えて表示することも考えられる。

ここで示した図３はあくまでも信頼度に応じて顔検出枠の表示を変えるという概念の一例を示したものであり、顔検出枠の色やデザインなどについてはこれ以外にも考えられる。また、デザインや色など、これらのパターンを複数組み合わせてもよい。

さらに、ステップＳ１３で算出された個人認証時の信頼度が低いときには、ステップＳ１５において、データベースに蓄積されているデータを補充するようにユーザに警告を行う。

図４は、個人認証時の信頼度が低いときの顔検出枠の表示例を示す図である。

図４（ａ）は、信頼度がある程度高いときの表示状態を示しており、顔検出枠のみが表示されている。そして図４（ｂ）は、信頼度が低いときの表示状態を示しており、顔検出枠の表示以外に、「データベースへ情報を追加して下さい」というような警告表示も行われている。ここで、この警告表示方法はユーザに、データベースへの情報の追加を促するための一例であり、このような表示以外にも、例えば警告音を鳴らしたり、検出枠を点滅させるなどの方法も考えられる。

以上のような機能を持たせることによって、ユーザはデータベースにどの人のデータがどれだけ蓄積されているかということを容易に確認することができるようになり、個人認証に失敗して撮影の機会を逃すことを減少させることができる。

さらに、この機能の効果は撮影時の構図にも反映させることができる。顔の大きさによって個人認証の精度は変化するので、信頼度に応じて顔検出枠の表示を変えることで、顔をどの程度の大きさで撮影すれば個人認証が精度良く行えるかということをユーザが一目で把握することができる。これにより、どの程度まで撮影画面内の顔を大きくすれば個人認証を成功させやすいかが容易に理解できる。例えば、撮影画面内における自分の子供の顔をどの程度の大きさにすれば個人認証に失敗しないかを事前に把握しておけば、運動会のゴールシーン等で個人認証に失敗して撮影機会を逃すという事態も防止することができる。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の一実施形態に係わる撮像装置の概略構成を示したブロック図である。一実施形態の撮像装置の個人認証処理を示すフローチャートである。信頼度に応じた顔検出枠表示方法の例を示した図である。個人認証時の顔検出枠表示の一例を示す図である。

符号の説明

１レンズ系
２撮像素子
３アナログ信号処理回路
４Ａ／Ｄ変換器
５デジタル信号処理回路
６メモリ
７記録制御回路
８メモリカード
９表示装置
１０顔検出処理回路
１１個人認証処理回路
１２制御回路

Claims

撮影された画像を表示する表示手段と、
前記撮影された画像から人物の顔を検出する顔検出手段と、
特定の人物の顔の特徴情報を記憶したデータベースと、
前記顔検出手段により検出された人物の顔の画像と、前記データベースに記憶されている特定の人物の顔の特徴情報とに基づいて、前記顔検出手段により検出された人物が特定の人物であるか否かを判定するとともにその信頼度を算出する信頼度算出手段と、
前記信頼度算出手段によって算出された前記信頼度に基づいて、前記表示手段に表示されている人物の顔に重ねて表示する枠の表示方法を変更する制御手段と、
を具備することを特徴とする撮像装置。
前記制御手段は、前記信頼度に基づいて、前記枠の形、色、パターン、大きさ、枠線の太さの少なくとも１つを変えることを特徴とする請求項１に記載の撮像装置。
前記信頼度が低い場合には、前記データベースの情報を補充するように警告することを特徴とする請求項１に記載の撮像装置。
撮影された画像を表示する表示手段と、特定の人物の顔の特徴情報を記憶したデータベースとを備える撮像装置を制御する方法であって、
前記撮影された画像から人物の顔を検出する顔検出工程と、
前記顔検出工程において検出された人物の顔の画像と、前記データベースに記憶されている特定の人物の顔の特徴情報とに基づいて、前記顔検出工程において検出された人物が特定の人物であるか否かを判定するとともにその信頼度を算出する信頼度算出工程と、
前記信頼度算出工程において算出された前記信頼度に基づいて、前記表示手段に表示されている人物の顔に重ねて表示する枠の表示方法を変更する制御工程と、
を具備することを特徴とする撮像装置の制御方法。
前記制御工程では、前記信頼度に基づいて、前記枠の形、色、パターン、大きさ、枠線の太さの少なくとも１つを変えることを特徴とする請求項４に記載の撮像装置の制御方法。
前記信頼度が低い場合に、前記データベースの情報を補充するように警告する警告工程をさらに具備することを特徴とする請求項４に記載の撮像装置の制御方法。
請求項４乃至６のいずれか１項に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
請求項７に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。