以下、添付図面を参照して本発明に係る撮像装置、及び、そのスルー画像の表示方法、並びに、撮影画像の記録方法を実施するための最良の形態について説明する。
図1は、本発明が適用されたデジタルカメラ1の電気的構成を示すブロック図である。
同図に示すように、このデジタルカメラ1は、CPU10、操作部12、ROM14、RAM16、EEPROM18、VRAM20、撮影光学系24、撮像素子30、タイミングジェネレータ32、アナログ信号処理部34、A/Dコンバータ36、画像入力コントローラ38、画像信号処理部40、圧縮/伸張処理部42、メディアコントローラ44、メモリカード46、表示制御部48、モニタ50、AE検出部52、AF検出部54、顔検出部56、個人識別部58、テンプレート選択部60、画像合成部62、ストロボ制御部64、ストロボ66、電源制御部68、バッテリ70等で構成されている。
CPU10は、カメラの全体の動作を統括制御する制御手段であって、操作部12からの入力に基づき所定の制御プログラムに従ってデジタルカメラ1の各部を制御する。
ROM14には、このCPU10が実行する制御プログラム及び制御に必要な各種データ等が格納されており、バス22を介してCPU10と接続されている。
また、不揮発性メモリであるEEPROM18には、ユーザ固有の各種設定情報が格納される。
RAM16は、CPU10の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
また、VRAM20は、表示用の画像データ専用の一時記憶領域として利用される。
操作部12は、電源をON/OFFする電源スイッチや本撮影の指示を入力するレリーズボタン、テレ/ワイドのズームを指示するズームボタン、カメラのモードを撮影モードと再生モードに切り替えるモード切替スイッチの他、メニューボタン、十字ボタン、OKボタン、キャンセルボタン等の各種操作手段を含み、これら操作手段の操作に応じた信号をCPU10に出力する。
撮影光学系24は、AFズームレンズで構成されており、ズームを行うズームレンズ24zと、焦点合わせを行うフォーカスレンズ24fと、光量調節を行う絞り24iを含んで構成されている。
ズームレンズ24zは、ズームモータ26zに駆動されて、光軸上を前後移動し、これにより、撮像素子30の受光面上に結像される被写体像が光学的に変倍される。CPU10は、ズームモータドライバ28zを介してズームモータ26zの駆動を制御することにより、ズームレンズ24zの移動を制御し、ズームを制御する。
フォーカスレンズ24fは、フォーカスモータ26fに駆動されて、光軸上を前後移動し、これにより、焦点合わせが行われる。CPU10は、フォーカスモータドライバ28fを介してフォーカスモータ26fの駆動を制御することにより、フォーカスレンズ24fの移動を制御し、焦点合わせを行う。
絞り24iは、たとえば、アイリス絞りで構成され、アイリスモータ26iに駆動されて、その開口量が変化する。CPU10は、アイリスモータドライバ28iを介してアイリスモータ26iの駆動を制御することにより、絞り14iの開口量を制御し、撮像素子30の受光面に入射する光量を制御する。
撮像素子30は、RGB所定のカラーフィルタ配列のCCDイメージセンサで構成されており、タイミングジェネレータ(TG)32に駆動されて動作する。すなわち、タイミングジェネレータ32から与えられる駆動パルスによって、各画素(フォトセンサ)に蓄積された信号電荷を読み出し、画像信号として出力する。CPU10は、このタイミングジェネレータ32の駆動を制御することにより、撮像素子30の電荷蓄積時間(シャッタスピード)、画像信号の読み出しを制御する。
アナログ信号処理部34は、撮像素子30から出力されたアナログの画像信号に対して相関二重サンプリング処理を行い、増幅して出力する。
A/Dコンバータ36は、アナログ信号処理部34から出力されたアナログの画像信号をデジタル画像信号に変換して出力する。
画像入力コントローラ38は、所定容量のラインバッファを内蔵しており、CPU10の制御の下、A/Dコンバータ36から出力された1コマ分の画像信号を蓄積して、RAM16に格納する。
画像信号処理部40は、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路)、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、CPU10からの指令に従い、画像入力コントローラ38を介してRAM16に格納された画像信号を取り込み、所要の信号処理を施して輝度信号(Y)と色差信号(Cr,Cb)とからなる画像信号(Y/C信号)を生成する。生成された画像信号はRAM16及びVRAM20に格納される。
圧縮/伸張処理部42は、CPU10からの指令に従い、画像信号処理部40で生成されたY/C信号をRAM16から取り込み、所定の圧縮処理を施して、所定形式(たとえば、JPEG)の圧縮画像データを生成する。また、CPU10からの指令に従って圧縮画像データを取り込み、所定の伸張処理を施して、非圧縮のY/C信号を生成する。
メディアコントローラ44は、CPU10からの指令に従い、メモリカード46に対してデータの読み/書きを行う。たとえば、CPU10からの記録指示に応じて、撮影により得られた画像データをメモリカード46に記録する。また、読み出し指示に応じて、メモリカード46に記録されている画像データを読み出す。
メモリカード(記憶媒体)46は、カメラ本体に設けられたカードスロットに着脱自在に装填される。なお、画像記録用の記憶媒体としては、この他、カメラ本体に内蔵されたものを用いるようにしてもよい。この場合、カメラ本体にはUSB等の通信インターフェースを設け、該通信インターフェースを用いて記憶媒体に記録されたデータの読み出しを行うように構成する。
表示制御部48は、CPU10からの指令に従い、モニタ50の表示を制御する。モニタ50は、たとえば、カラーLCDで構成される。表示制御部48は、CPU110からの指令に従い、VRAM20からY/C信号を取り込み、所定の信号形式に変換して、モニタ50に出力する。また、表示制御部48は、キャラクタージェンレータを含み、CPU10からの指令に従い、画像信号に所定の文字、図形、記号等の情報をスーパーインポーズして出力する。
なお、本実施の形態のカメラにおいて、モニタ50は、撮影済み画像の再生表示だけに用いられるのではなく、このモニタ50の表示を利用して各種設定が行われる。また、撮影時は、このモニタ50に撮像素子30で捉えた画像がスルー表示される。したがって、撮影者は、このモニタ50にスルー表示される画像(スルー画像)を見ることにより、画角の調整やピント状態の確認を行うことができる。
AE検出部52は、CPU10からの指令に従い、画像入力コントローラ38を介してRAM16に格納された画像信号を取り込み、AE制御に必要な積算値を算出する。すなわち、1画面を複数のエリア(たとえば8×8)に分割し、分割したエリアごとにR、G、Bごとの画像信号の積算値を算出する。AE制御時、CPU10は、このAE検出部52から得た積算値に基づいて被写体の明るさを求め、撮影に適した露出値(EV値)を算出する。そして、所定のプログラム線図に従い、算出したEV値から絞り値とシャッタスピードを決定する。
AF検出部54は、CPU10の指令に従い、画像入力コントローラ38を介してRAM16に格納されたR、G、Bの画像信号を取り込み、AF制御に必要な焦点評価値を算出する。このAF検出部54は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカス領域内の信号を切り出すフォーカス領域抽出部、及び、フォーカス領域内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカス領域内の絶対値データを焦点評価値としてCPU10に出力する。AF制御時、CPU10は、このAF検出部54から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ24fを移動させることにより、主要被写体に焦点を合わせる。
顔検出部56は、CPU10からの指令に従い、画像信号処理部40で生成されたY/C信号を取り込み、撮影により得られた画像から人物の顔領域を検出する。
なお、画像から顔を検出する技術については、種々の公知技術が存在するので、これら公知の顔検出技術を採用して、顔検出を行うことができる。たとえば、顔テンプレートとのパターンマッチングによる方法や原画像から肌色データを抽出し、肌色範囲と判断された測光点のクラスタを顔として抽出する方法、測光データを色相と彩度に変換し、変換した色相・彩度の二次元ヒストグラムを作成し、解析することで、顔領域を判断する方法、人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法、画像から人の顔の輪郭を抽出し、顔領域を決定する方法等を用いることができる。
個人識別部58は、CPU10からの指令に従い、顔検出部56で顔が検出された画像から個人を識別する。すなわち、顔検出部56で顔が検出されると、CPU10の指示の下、画像信号処理部40で生成されたY/C信号を取り込み、所要の画像解析を行って、個人を識別する。より具体的には、顔検出部56で検出された顔の人物が、あらかじめ登録された人物であるか否かを判別し、個人認証を行う。
なお、二次元画像データから個人認証を行う方法については、種々の公知技術が存在するので、これら公知の個人認証技術を用いて、個人の識別を行うことができる。たとえば、二次元の顔画像データから特徴点を抽出し、抽出した特徴点を用いて位置合わせと正規化を行ってからパターン照合法等により照合する方法等を用いることができる。
テンプレート選択部60は、CPU10の指示に従い、個人識別部58による識別結果に基づいて、顔の検出枠として使用するテンプレートを選択する。すなわち、個人識別部58で識別された人物のテンプレートをデータベースから検索し、特定する。
このデータベースは、図2に示すように、個人(登録者名)と、個人識別部58でその個人を識別するための情報(個人識別用データ)と、その個人に使用するテンプレートの情報とが互いに関連づけられて記録されており、EEPROM18に格納されている。
ここで、同図に示すように、各テンプレートは、枠状に形成されており、このテンプレートで人物の顔を囲うように合成される。なお、本願でいう「枠状」は、必ずしも枠が環状に閉じられているものに限定されず、対象物(顔)の周囲を囲うようにデザインされているものすべてが含まれるものとする。したがって、カギカッコ状に形成されたものも本願では枠に含まれる。
テンプレート選択部60は、このデータベースから個人識別部58で識別された人物に対応するテンプレートを検索し、その結果をCPU10に出力する。
なお、個人識別部58は、このデータベースに記録された個人識別用データを利用して、画像から個人を識別(認証)する。
また、後述するように、このデータベースは、ユーザが所要の登録作業を行うことにより生成される。
画像合成部62は、CPU10の指示の下、画像データとテンプレートデータを取り込み、取り込んだテンプレートを画像に合成して、所定の合成画像を生成する。図3は、この画像合成部62による画像合成の一例を示す図である。同図に示すように、画像合成部62は、原画像に写されている人物の顔をテンプレートで囲うようにして、原画像にテンプレートを合成する。CPU10は、テンプレート選択部60で選択されたテンプレートのデータと、そのテンプレートを合成する原画像のデータとを画像合成部62に加える。また、顔検出部56による検出結果に基づいて合成するテンプレートの大きさ、及び、位置を算出し、画像合成部62に指示する。画像合成部62は、このCPU10からの指示に応じて、テンプレートに所要の変形処理を施して、原画像にテンプレートを合成する。
ストロボ制御部64は、CPU10からの指令に従ってストロボ66の発光を制御する。
電源制御部68は、CPU10からの指令に従い、カメラ本体に装填されたバッテリ70から各部への電源の供給を制御する。
本実施の形態のデジタルカメラ1は以上のように構成される。
次に、本実施の形態のデジタルカメラ1の作用について説明する。
上記のように、本実施の形態のデジタルカメラ1では、撮影時にモニタ50にスルー画像が表示される。この際、カメラのモードが個人識別モードに設定されていると、スルー画像で個人認証が行われ、認証された人物に対応する枠(テンプレート)で画像中の顔部分が囲われてスルー画像が表示される。すなわち、画像中に人物の顔が写されている場合、個人ごとに異なる枠で人物の顔が囲われてスルー画像が表示される。
まず、本実施の形態のデジタルカメラ1における基本的な撮影、記録の処理動作、及び、記録済み画像の再生処理動作について説明する。
操作部12によって、カメラの電源を投入し、撮影モードに設定すると、デジタルカメラ1は、画像の撮影、記録が可能になる。
撮影モードに設定されると、まず、モニタ50にスルー画像が表示される。すなわち、撮像素子30で連続的に画像が撮像され、その画像信号からY/C信号が連続的に生成される。生成されたY/C信号は、VRAM20を介して順次表示制御部48に加えられ、表示用の信号形式に変換されてモニタ50に出力される。これにより、撮像素子30で捉えた画像がモニタ50にスルー表示される。
撮影者は、このモニタ50に表示されたスルー画像を見て構図を決定し、レリーズボタンを半押しする。
レリーズボタンが半押しされると、CPU10にS1ON信号が入力される。CPU10は、このS1ON信号に応動して、撮影準備、すなわち、AE、AFの各処理を実行する。
まず、撮像素子30から出力された画像信号をアナログ信号処理部34、A/Dコンバータ36、画像入力コントローラ38を介してRAM16に取り込み、AE検出部52及びAF検出部54に加える。
AE検出部52は、入力された画像信号からAE制御に必要な積算値を算出し、CPU10に出力する。CPU10は、このAE検出部52から得られた積算値から被写体の明るさを求め、撮像EVを算出する。そして、所定のプログラム線図に従って撮像EV値から本撮影時の絞り値とシャッタスピードを決定する。
また、AF検出部54は、入力された画像信号から焦点評価値を算出し、CPU10に出力する。CPU10は、このAF検出部154からの出力に基づきフォーカスレンズモータ26fの駆動を制御し、フォーカスレンズ24fの移動を制御して、主要被写体に焦点を合わせる。
撮影者は、モニタ50に表示されるスルー画像を確認してピント状態等を確認する。また、必要に応じてズームボタンを操作し、構図を決定する。そして、撮影したい被写体にピントが合い、構図が決定したら、本撮影の実行を指示する。すなわち、レリーズボタンを全押しする。
レリーズボタンが全押しされると、CPU10にS2ON信号が入力される。CPU10は、このS2ON信号に応動して、撮影、記録の処理を実行する。
まず、上記のAE処理で求めた絞り値、シャッタスピードで撮像素子30を露光し、記録用の画像信号の取り込みを行う。
撮像素子30から出力された一コマ分の画像信号は、アナログ信号処理部34、A/Dコンバータ36を介して画像入力コントローラ38に取り込まれ、RAM16に格納される。RAM16に格納された画像信号は、CPU10の制御の下、画像信号処理部40に加えられる。画像信号処理部40は、入力された画像信号に所定の信号処理を施して、輝度信号(Y)と色差信号(Cr、Cb)とからなる画像信号(Y/C信号)を生成する。
画像信号処理部40で生成されたY/C信号は、一旦RAM16に格納されたのち、圧縮/伸張処理部42に加えられる。圧縮/伸張処理部42は、このY/C信号に対して所定の圧縮処理を施し、所定形式の圧縮画像データを生成する。
圧縮/伸張処理部42で生成された圧縮画像データは、RAM16に格納される。CPU10は、このRAM16に格納された圧縮画像データに所定の付属情報(絞り値やシャッタスピード、感度等の撮影条件や撮影日時等の撮影に関する種々の情報)を付加した所定フォーマットの静止画像ファイル(たとえば、Exif)を生成し、メディアコントローラ44を介してメモリカード46に記録する。
なお、圧縮処理は、必ずしも必要な処理ではなく、ユーザの選択により、非圧縮の状態で記録される。また、ユーザの選択により、いわゆるRAWデータとして記録される。
以上が本実施の形態のデジタルカメラ1における基本的な撮影、記録の処理動作である。そして、以上のようにしてメモリカード46に記録された画像は、デジタルカメラ1のモードを再生モードに設定することにより、モニタ50に再生表示することができる。
操作部12により、カメラのモードが再生モードに設定されると、CPU10は、メディアコントローラ44を介してメモリカード46に最後に記録された画像ファイルの圧縮画像データを読み出す。
メモリカード46から読み出された圧縮画像データは、圧縮/伸張処理部42に加えられ、非圧縮の画像データとされたのちVRAM20に加えられる。そして、VRAM20から表示制御部48を介してモニタ50に出力される。これにより、メモリカード46に記録されている画像がモニタ50に再生表示される。
画像のコマ送りは、たとえば、操作部12に備えられた十字ボタンの左右のキー操作で行なわれ、右キーが操作されると、次の画像ファイルの圧縮画像データがメモリカード46から読み出され、モニタ50に再生表示される。また、十字ボタンの左キーが操作されると、一つ前の画像ファイルの圧縮画像データがメモリカード46から読み出され、モニタ50に再生表示される。
以上のようにして、メモリカード46に記録された画像の再生処理が行われる。
さて、上記のように、本実施の形態のデジタルカメラ1では、個人識別モードに設定すると、個人ごとに異なる枠で顔が囲われてモニタ50にスルー画像が表示される。
以下、この個人識別モード時における本実施の形態のデジタルカメラ1のスルー画像の表示処理の手順について説明する。
個人認証は、あらかじめ登録された人物の中から個人を特定することにより行われる。したがって、認証(識別)すべき人物を登録する必要がある。まず、この個人認証を行う人物を登録する手順について説明する。
図4は、個人認証を行う人物の登録処理の手順を示すフローチャートである。
まず、カメラのモードを登録モードに設定する(ステップS10)。この処理は、メニュー画面で行われる。すなわち、操作部12に備えられたメニューボタンを押下すると、モニタ50にメニュー画面が表示され、そのメニュー画面に表示されたメニュー項目の中から「登録」の項目を選択することにより行われる。なお、登録モードへの切り替え方法については、これに限定されるものではなく、専用の切替スイッチ等を設けて、登録モードへの切り替えを行うようにしてもよい。
CPU10は、メニュー画面で登録の項目が選択されると、カメラのモードを登録モードに移行させる。
登録モードに設定されると、まず、登録すべき人物の顔写真の撮影が行われる(ステップS11)。この際、モニタ50には、登録すべき人物の顔の撮影を促すメッセーが表示される。ユーザは、このモニタ50の表示に従って登録すべき人物の顔画像を撮影する。なお、撮影の処理自体は、通常の撮影の処理と同じである。すなわち、レリーズボタンの半押しで撮影準備が行われ、全押しで撮影が行われる。
レリーズボタンが全押しされて、登録すべき人物の顔の撮影が行われると、撮影された画像に基づいて個人識別用のデータが生成される(ステップS12)。すなわち、個人識別部58で個人識別用に利用する特徴量等のデータが生成される。
なお、この個人識別用のデータの生成に先立って、撮影により得られた画像から顔の検出が行われる。そして、撮影された画像から顔が検出されない場合は、撮り直しを促すメッセージがモニタ50に表示される。
個人識別用のデータが生成されると、登録すべき人物の個人情報の入力が行われる(ステップS13)。ここでは、登録者の名前の入力が行われる。入力は、モニタ50の表示に従って操作部12を利用して行われる。なお、登録者の名前は自動的に付与されるようにすることもできる。たとえば、登録した順に番号を自動で付与するようにしてもよい。あるいは、あらかじめ要した番号をユーザが選択して登録するようにしてもよい。
個人情報の入力が行われると、その人物に対して使用するテンプレートの選択が行われる(ステップS14)。テンプレートは、あらかじめ複数種類のものが用意されており、EEPROM18に格納されている。ユーザは、このあらかじめ用意された複数のテンプレートの中から、登録しようとする人物に使用するテンプレートを選択する。
このテンプレートの選択処理は、たとえば、あらかじめ用意されたテンプレートをモニタ50に一覧表示させ、あるいは、順次切り替えて表示させ(たとえば、十字ボタンの左右のキー操作で表示の切り替えを指示)、その中の一つをユーザに選択させることにより行われる。
以上のようにして、登録すべき人物の撮影、個人情報の入力、テンプレートの選択が行われると、これらの情報がデータベースに記録されて、データベースが更新される(ステップS15)。すなわち、登録された人物に対して、識別用データと、画像合成に使用するテンプレートの情報が関連づけられて、データベースに記録される。
以上一連の工程で認証すべき人物の登録作業が完了する。
次に、個人識別モード時におけるスルー画像の表示処理の手順について説明する。
ここで、個人識別モードの設定は撮影メニューで行われる。すなわち、撮影モードの下、操作部12でメニューボタンを押下すると、モニタ50に撮影メニューが表示され、その撮影メニューの中から個人識別モードのON/OFFの項目を選択すると、個人識別モードのON/OFFが設定できるようにされている。ユーザは、必要に応じて撮影メニューを読み出し、個人識別モードの設定をON/OFFすることにより、個人識別モードの有効/無効を設定することができる。なお、個人識別モードの有効/無効を設定する方法は、これに限定されず、専用の切り替えボタンをカメラボディに設けて、設定を切り替えるようにしてもよい。
図5は、個人識別モード時におけるスルー画像の表示処理の手順を示すフローチャートである。
まず、モニタ50にスルー表示するための画像の取り込みが行われる(ステップS20)。
撮像素子30から取り込まれたスルー表示用の画像データは、画像信号処理部40でY/Cデータとされた後、一旦RAM16に格納されたのち、CPU10の制御の下、顔検出部56に加えられる。そして、この顔検出部56において、画像中から人物の顔の検出が行われる(ステップS21)。すなわち、画像中に存在する人物の顔領域の検出が行われる。この検出結果はCPU10に出力される。
CPU10は、この顔検出部56による顔検出の結果に基づいて顔の有無を判定する(ステップS22)。そして、顔が検出されていると判定すると、スルー表示用に取り込まれた画像(Y/Cデータ)を個人識別部58に加えて、個人認証を行わせる(ステップS23)。個人識別部58は、データベースに記録された個人識別用データを利用して、登録された人物の個人認証を行う。すなわち、登録されている人物が画像から検出する。この個人認証の結果(該当者の有無と、該当者ありの場合は、その人物の登録者情報(登録者名))は、CPU10に出力される。
CPU10は、この個人識別部58における個人認証の結果に基づいて該当者の有無を判定する(ステップS24)。すなわち、登録された人物が画像中に含まれているか否かを判定する。
この判定の結果、登録された人物が画像中に含まれていると判定すると、CPU10は、その個人識別部58による識別結果の情報(識別された人物の登録者情報)をテンプレート選択部60に加える。テンプレート選択部60は、入力された登録者情報に基づいて、該当する人物のテンプレートの情報をデータベースから検索し、その結果をCPU10に出力する(ステップS25)。
CPU10は、得られたテンプレート情報に基づいて使用するテンプレートを特定し、スルー表示用に取り込んだ画像データとともに、画像合成部62に入力する。また、顔検出部56による顔検出結果に基づいて合成するテンプレートの大きさ(枠の大きさ)、及び、合成する位置を算出する。そして、その情報を画像合成部62に入力する。画像合成部62は、このCPU10からの指示に応じて、テンプレートに所要の変形処理を施し、スルー表示用に取り込まれた画像に合成する(ステップS27)。
なお、ステップS24において、該当する人物がいないと判定すると(画像に登録された人物が含まれていないと判定すると)、CPU10は、あらかじめ用意された標準のテンプレートを選択し(ステップS26)、スルー表示用に取り込んだ画像データとともに、画像合成部62に入力する。また、顔検出部56による顔検出結果に基づいて合成するテンプレートの大きさ(枠の大きさ)、及び、合成する位置を算出する。そして、その情報を画像合成部62に入力する。画像合成部62は、このCPU10からの指示に応じて、テンプレートに所要の変形処理を施し、スルー表示用に取り込まれた画像に合成する(ステップS27)。
合成された画像はVRAM20に加えられ、VRAM20から表示制御部48を介してモニタ50に出力される(ステップS28)。これにより、検出された顔部分が枠で囲われたスルー画像がモニタ50に表示される(顔検出時のみ)。
この際、登録された人物が画像に含まれている場合は、その人物に固有の枠(テンプレート)で顔部分が囲われて表示される。これにより、撮影者はモニタ50の表示を確認するだけで、直ちに特定の人物が写されていることを認識することができる。
なお、ステップS22において、画像から顔が検出されていないと判定された場合は、テンプレートの合成処理は行われず、そのまま撮像素子30から取り込まれた画像がモニタ50に表示される。
図6は、モニタへのスルー画像の表示例を示している。同図(a)、(b)に示すように、画像中にあらかじめ登録された人物が含まれていると(図3参照)、その人物に対応する枠(テンプレート)で顔が囲われて表示される。一方、登録されていない人物の場合は、標準の枠(ここでは、装飾無しの線のみの枠)によって、顔が囲われて表示される。同図(d)は、画像中から複数の人物の顔が検出された場合の表示例を示しており、同図に示すように、画像から複数の人物の顔が検出された場合は、そのそれぞれに対応した枠によって顔が囲われて表示される。
CPU10は、この後、操作部12からの入力に基づいて、本撮影が指示されたか否かを判定する(ステップS29)。すなわち、レリーズボタンが全押しされて、S2ON信号が入力されたか否かを判定する。
そして、本撮影が指示されたと判定すると、本撮影の処理を行い(ステップS30)、撮影により得られた画像をメモリカード46に記録する(ステップS31)。
一方、本撮影の指示がなされていないと判定すると、ステップS20に戻り、再度スルー表示用の画像データの取り込みを行い、上記ステップS20〜S29の処理を実行する。
以上説明したように、本実施の形態のデジタルカメラ1では、個人識別モードに設定すると、スルー画像からあらかじめ登録された人物が検出され、あらかじめ登録された人物が検出されると、その人物の顔が、その人物に固有の枠(テンプレート)で囲われて表示される。これにより、撮影者はモニタ50の表示を確認するだけで、直ちに特定の人物が写されていることを確認することができる。これにより、効率よく特定の人物の撮影を行うことができるようになる。また、撮影に対する娯楽性も向上させることができる。
なお、上記実施の形態では、顔が検出された場合、登録されていな人物に対しても枠(標準のテンプレート)が表示されるようにしているが、登録された人物に対してのみ枠を表示させるようにしてもよい。
また、上記実施の形態では、各人物に対して使用するテンプレートをあらかじめ用意されたテンプレートの中から選択するようにしているが、ユーザが任意にデザインできるようにしてもよい。たとえば、複数のパーツを用意し、そのパーツを組み合わせて好みのテンプレートを作成できるようにしてもよい。また、他の機器からテンプレートの情報をダウンロードして、適宜付きかできるようにしてもよい(たとえば、デジタルカメラをパソコンと接続可能に構成し、パソコンからテンプレートのデータを適時ダウンロードして、使用可能なテンプレートを増減できるようにしてもよい。)。
次に本発明が適用されたデジタルカメラの第2の実施の形態について説明する。
上記実施の形態(第1の実施の形態)のデジタルカメラ1では、あらかじめ登録された人物ごとに顔を囲う枠(テンプレート)を切り替えていた。本実施の形態のデジタルカメラでは、更にその人物の表情に応じて顔を囲う枠を切り替える。
図7は第2の実施の形態のデジタルカメラの電気的構成を示すブロック図である。
同図に示すように、本実施の形態のデジタルカメラ1aは、表情判別部72を更に有する点で上述した第1の実施の形態のデジタルカメラ1と相違している。したがって、ここでは、この表情判別部72の構成についてのみ説明する。
表情判別部72は、CPU10の制御の下、顔検出部56で顔が検出され、個人識別部58で個人が識別された画像を取り込み、所要の画像解析を行って、そこに写されている人物の表情(たとえば、怒り、嫌悪、恐怖、喜び、悲しみ、驚き、無表情等)を判別する。
画像に写されている人物の顔の表情(感情)を判別(認識)する技術については、種々の公知技術が存在するので、これら公知技術を用いて、表情の判別を行うことができる。たとえば、目や口などの顔器官に設定した特徴点の位置関係を示す特徴量を算出し、その特徴量から表情を推定する。
なお、本実施の形態のデジタルカメラ1aでは、表情に応じて枠(テンプレート)が切り替えられるので、図8に示すように、各人物ごとに使用するテンプレートも表情ごとに登録される。すなわち、登録された各人物に対して表情ごとに使用するテンプレートが設定される。なお、本例では、怒り、喜び、悲しみ、驚きの各表情についてテンプレートを登録するものとする。図8は、この4つの表情についてテンプレートを登録した場合のデータベースの例が示されている。ユーザは、人物の登録時に各表情について使用するテンプレートを選択し、設定する。
図9は本実施の形態のデジタルカメラ1aにおけるスルー画像の表示処理の手順を示すフローチャートである。
なお、上記第1の実施の形態のデジタルカメラ1と同様、本実施の形態のデジタルカメラ1aにおいても、個人識別モードに設定された場合にのみ顔部分に個人の表情に対応した枠が表示される。
まず、モニタ50にスルー表示するための画像の取り込みが行われ(ステップS40)、顔検出部56に加えられる。そして、この顔検出部56において、画像中から人物の顔の検出が行われる(ステップS41)。
CPU10は、この顔検出部56による顔検出の結果に基づいて顔の有無を判定する(ステップS42)。そして、顔が検出されていると判定すると、スルー表示用に取り込まれた画像(Y/Cデータ)を個人識別部58に加えて、個人認証を行わせる(ステップS43)。
CPU10は、この個人識別部58における個人認証の結果に基づいて該当者の有無を判定する(ステップS44)。この判定の結果、登録された人物が画像中に含まれていると判定すると、CPU10は、スルー表示用に取り込まれた画像(Y/Cデータ)を表情判別部72に加えて、表情の判別を行わせる(ステップS45)。この表情判別部72による表情の判別結果は、CPU10に出力される。
CPU10は、表情判別部72による表情の判別結果の情報(表情の情報)と個人識別部58による識別結果の情報(識別結果された人物の登録者情報)をテンプレート選択部60に加える。テンプレート選択部60は、入力された登録者情報と表情の情報に基づいて、該当する人物の表情に対応するテンプレートの情報をデータベースから検索し、その結果をCPU10に出力する(ステップS46)。
CPU10は、得られたテンプレート情報に基づいて使用するテンプレートを特定し、スルー表示用に取り込んだ画像データとともに、画像合成部62に入力する。また、顔検出部56による顔検出結果に基づいて合成するテンプレートの大きさ(枠の大きさ)、及び、合成する位置を算出する。そして、その情報を画像合成部62に入力する。画像合成部62は、このCPU10からの指示に応じて、テンプレートに所要の変形処理を施し、スルー表示用に取り込まれた画像に合成する(ステップS48)。
なお、ステップS44において、該当する人物がいないと判定すると(画像に登録された人物が含まれていないと判定すると)、CPU10は、あらかじめ用意された標準のテンプレートを選択し(ステップS47)、スルー表示用に取り込んだ画像データとともに、画像合成部62に入力する。また、顔検出部56による顔検出結果に基づいて合成するテンプレートの大きさ(枠の大きさ)、及び、合成する位置を算出する。そして、その情報を画像合成部62に入力する。画像合成部62は、このCPU10からの指示に応じて、テンプレートに所要の変形処理を施し、スルー表示用に取り込まれた画像に合成する(ステップS48)。
合成された画像はVRAM20に加えられ、VRAM20から表示制御部48を介してモニタ50に出力される(ステップS49)。これにより、検出された顔部分が枠で囲われたスルー画像がモニタ50に表示される(顔検出時のみ)。
この際、登録された人物が画像に含まれている場合は、その人物に固有の枠(テンプレート)であって表情に対応した枠で顔部分が囲われて表示される。これにより、撮影者はモニタ50の表示を確認するだけで、直ちに特定の人物が写されていることを認識することができ、かつ、その表情も確認することができる。
なお、ステップS42において、画像から顔が検出されていないと判定された場合は、テンプレートの合成処理は行われず、そのまま撮像素子50から取り込まれた画像がモニタ50に表示される。
図10は、モニタ50へのスルー画像の表示例を示している。
同図(a)は、画像中から登録した人物(001)が認識され、喜びの表情が認識された場合の表示例を示している。この場合、人物(001)の喜びの表情に対応したテンプレート(templet002)が選択され、このテンプレート(templet002)で顔部分が囲われるように合成される。
同図(b)は、画像中から登録した人物(002)が認識され、怒りの表情が認識された場合の表示例を示している。この場合、人物(002)の怒りの表情に対応したテンプレート(templet031)がデータベースから選択され、このテンプレート(templet031)で顔部分が囲われるように合成される。
同図(c)は、画像中から登録した人物(003)が認識され、悲しみの表情が認識された場合の表示例を示している。この場合、人物(004)の悲しみの表情に対応したテンプレート(templet078)がデータベースから選択され、このテンプレート(templet078)で顔部分が囲われるように合成される。
同図(d)は、画像中から登録した人物(004)が認識され、驚きの表情が認識された場合の表示例を示している。この場合、人物(004)の驚きの表情に対応したテンプレート(templet049)がデータベースから選択され、このテンプレート(templet049)で顔部分が囲われるように合成される。
なお、登録されていない人物の場合は、標準の枠によって、顔が囲われて表示される(図6(c)参照)。
また、画像中から複数の人物の顔が検出された場合は、図11に示すように、そのそれぞれについて、対応した枠によって顔が囲われて表示される。なお、同図に示す例では、画像から登録した人物(001)、(004)の二人と、未登録の人物一人が認識され、登録した人物(001)には喜びの表情、人物(004)には、驚きの表情が認識された場合の例が示されている。この場合、登録した人物(001)には、喜び表情に対応したテンプレート(templet002)がデータベースから選択され、このテンプレート(templet002)で顔部分が囲われるように合成される。また、人物(004)には、驚きの表情に対応したテンプレート(templet049)がデータベースから選択され、このテンプレート(templet049)で顔部分が囲われるように合成される。また、未登録の人物には、標準のテンプレートで顔部分が囲われるように合成される。
このように、あらかじめ登録した人物に対しては、表情に対応した枠(テンプレート)で顔が囲われて、スルー画像が表示される。
CPU10は、この後、操作部12からの入力に基づいて、本撮影が指示されたか否かを判定する(ステップS50)。そして、本撮影が指示されたと判定すると、本撮影の処理を行い(ステップS51)、撮影により得られた画像をメモリカード46に記録する(ステップS52)。
一方、本撮影の指示がなされていないと判定すると、ステップS40に戻り、再度スルー表示用の画像データの取り込みを行い、上記ステップS40〜S50の処理を実行する。
以上説明したように、本実施の形態のデジタルカメラ1では、個人識別モードに設定すると、スルー画像からあらかじめ登録された人物が検出され、あらかじめ登録された人物が検出されると、更にその表情が判別され、その人物の表情に対応した枠(テンプレート)で顔部分が囲われて表示される。これにより、撮影者はモニタ50の表示を確認するだけで、直ちに特定の人物が写されていることを確認することができ、かつ、その表情も確認することができる。これにより、効率よく特定の人物の撮影を行うことができるようになる。また、撮影に対する娯楽性も向上させることができる。たとえば、プリントサービスなどに出すことにより、さらに楽しみを増すことができる。
なお、本実施の形態のデジタルカメラでは、登録された人物の表情を判別しているが、このように表情を判別する場合、各人物ごとに各表情の判別レベルを設定することにより、より精度の高い表情の判別を行うことができるようになる。すなわち、喜びの表情で写されていることが多い人物の場合は、喜びの表情と判別されやすいように、喜びの表情の判別レベルを通常の喜びの表情のレベルよりも下げるように設定する。同様に怒りの表情で写されていることが多い人物は、怒りの表情と判別されやすいように、怒りの表情の判別レベルを通常の怒りの表情の判別レベル下げるように設定する。これにより、表情の判別精度を向上させることができ、適切にテンプレートを選択することができるようになる。
したがって、各人物に対する各表情の判別レベルを個別に設定できるようにすることが好ましい。
表情の判別レベルの設定操作は、たとえば、メニュー画面で表情の判別レベルの項目を用意し、当該項目を選択することにより、モニタ上で行うことができるようにする。
図12は、表情の判別レベルの設定画面の表示例を示している。この例では、喜び、怒り、悲しみ、驚きの各表情に設けられたボリュームレバーを上下動させて、各表情の判別レベルを設定する。なお、この場合、バーの中央が通常の判別レベルであり、ボリュームレバーを上にシフトさせるほど、その表情の判別レベルが下がるように設定される(その表情と判別されやすいように設定される。)。たとえば、喜びの表情のボリュームレバーを中央より上側にシフトさせると、そのシフト量に応じて通常の喜びの表情の判別レベルよりも判別レベルが下げられる(喜びの表情と判別されやすくなる)。逆にボリュームレバーを中央より下側にシフトさせると、そのシフト量に応じて通常の喜びの表情の判別レベルよりも判別レベルが上げられる(喜びの表情と判別されにくくなる)。このようにして、登録した各人物について、各表情ごとにその表情の判別レベルを個別に設定する。
なお、表情の判別レベルを設定する場合は、まず、設定すべき人物を選択し、その後、その人物の各表情の判別レベルを設定する。
設定すべき人物の切り替えは、たとえば、十字ボタンの左右キーで行い、OKボタンを押下すると、確定するように構成する。また、ボリュームレバーの移動は、たとえば、十字ボタンの上下キーで行い、設定する表情の切り替えは、十字ボタンの左右のキーで行う。設定完了は、OKボタンを押下することにより行い、設定された情報は、EEPROM18に記録される。
なお、この設定例は一例であり、これ以外の方法で各表情の判別レベルを設定することもできる。
また、上記の例では、喜び、怒り、悲しみ、驚きの4つの表情の判別レベルを設定できるようにしているが、設定を可能にする表情の判別レベルは、表情判別部72で判別する表情に合わせられる。
次に本発明が適用されたデジタルカメラの第3の実施の形態について説明する。
本実施の形態のデジタルカメラは、本撮影された画像に対して個人認証を行い、あらかじめ登録された人物が含まれている場合は、その人物に固有のテンプレートを撮影画像に合成して合成画像を生成し、その合成画像をメモリカードに記録する。
なお、カメラの構成や認識すべき人物の登録方法については、上述した第1の実施の形態のデジタルカメラ1と同じなので、ここでは、撮影後の画像の記録処理の方法についてのみ説明する。
なお、この処理はカメラを専用のモード(テンプレート合成モード)に設定した場合についてのみ行われる。すなわち、このテンプレート合成モードに設定された場合にのみ、撮影画像に対してテンプレートの合成処理が行われる。
ここで、テンプレート合成モードの設定は撮影メニューで行われる。すなわち、撮影モードの下、操作部12でメニューボタンを押下すると、モニタ50に撮影メニューが表示され、その撮影メニューの中からテンプレート合成モードのON/OFFの項目を選択すると、テンプレート合成モードをON/OFFできるようにされている。ユーザは、必要に応じて撮影メニューを読み出し、テンプレート合成モードの設定をON/OFFすることにより、テンプレート合成モードの有効/無効を設定することができる。なお、テンプレート合成モードの有効/無効を設定する方法は、これに限定されず、専用の切り替えボタンをカメラボディに設けて、設定を切り替えるようにしてもよい。
図13は、テンプレート合成モード時におけるデジタルカメラの撮影、記録の処理動作の手順を示すフローチャートである。
ユーザが本撮影を行うと(ステップS60)、まず、その本撮影により得られた画像(撮影画像)から顔画像の検出が行われる(ステップS61)。
この場合、まず、本撮影により得られた画像信号から画像信号処理部40でY/C信号が生成され、生成されたY/C信号はRAM16に一旦格納され、RAM16から顔検出部56に加えられる。顔検出部56は、入力されたY/C信号から顔領域を検出し、その結果をCPU10に出力する。
CPU10は、顔検出部56による顔検出の結果に基づいて画像から顔が検出されたか否かを判定する(ステップS62)。
ここで、顔が検出されていないと判定した場合、CPU10は、通常撮影の場合と同様にして、撮影により得られた画像(原画像)をメモリカード46に記録する(ステップS69)。すなわち、撮影により得られた画像に対して所要の圧縮処理を施した後(必要に応じて非圧縮)、所定フォーマットの画像ファイルとしてメモリカード46に記録する(ステップS69)。
一方、顔が検出されていると判定すると、CPU10は、個人認証の処理を行う(ステップS63)。すなわち、撮影画像の画像データを個人識別部58に加えて、個人を識別させる。そして、その個人識別部58における個人認証の結果に基づいて該当者の有無を判定する(ステップS64)。
この判定の結果、登録された人物が画像中に含まれていると判定すると、CPU10は、その個人識別部58による識別結果の情報(識別された人物の登録者情報)をテンプレート選択部60に加える。テンプレート選択部60は、入力された登録者情報に基づいて、該当する人物のテンプレートの情報をデータベースから検索し、その結果をCPU10に出力する(ステップS65)。
CPU10は、得られたテンプレート情報に基づいて使用するテンプレートを特定し、撮影画像の画像データとともに、画像合成部62に入力する。また、顔検出部56による顔検出結果に基づいて合成するテンプレートの大きさ(枠の大きさ)、及び、合成する位置を算出する。そして、その情報を画像合成部62に入力する。画像合成部62は、このCPU10からの指示に応じて、テンプレートに所要の変形処理を施し、撮影画像に合成する(ステップS68)。
なお、ステップS64において、該当する人物がいないと判定すると(画像に登録された人物が含まれていないと判定すると)、CPU10は、あらかじめ用意された標準のテンプレートを選択し(ステップS67)、撮影画像の画像データとともに、画像合成部62に入力する。また、顔検出部56による顔検出結果に基づいて合成するテンプレートの大きさ(枠の大きさ)、及び、合成する位置を算出する。そして、その情報を画像合成部62に入力する。画像合成部62は、このCPU10からの指示に応じて、テンプレートに所要の変形処理を施し、撮影画像に合成する(ステップS68)。
合成により生成された画像(合成画像)の画像データは、一旦RAM16に格納され、その後、圧縮/伸張処理部42で所要の圧縮処理が施された後(必要に応じて非圧縮)、所定形式の画像ファイルとしてメモリカード46に記録される。
以上説明したように、本実施の形態のデジタルカメラでは、本撮影された画像に対して個人認証が行われる。そして、本撮影された画像にあらかじめ登録された人物が含まれていると、その人物に固有のテンプレートが撮影画像に合成され(本例では枠状のテンプレートで顔が囲われるように合成される。)、生成された合成画像がメモリカード46に記録される。この結果、当該画像を再生すると、撮影された人物に固有のテンプレートが合成された画像が再生される(図6参照)。これにより、画像の再生時に写されている人物の特定を容易に行うことができるようになる。また、画像の娯楽性を高めることもできる。
なお、上記の例では、あらかじめ登録された人物以外の人物が検出された場合にもテンプレート(標準のテンプレート)を合成しているが、あらかじめ登録された人物以外の人物に対してはテンプレートの合成は行わず、あらかじめ登録された人物に対してのみ対応するテンプレートを合成するようにしてもよい。
また、上記例では、合成するテンプレートとして、枠状に形成されたものを使用し、検出された人物の顔を囲うように合成しているが、合成するテンプレートは、これに限定されるものではない。たとえば、所定の文字や図形、記号等をテンプレートとして用いるようにしてもよい(図20参照)。この場合、テンプレートを合成する位置については、特定の位置に合成するようにしてもよいし、また、上記の例のように顔の周囲に合成するようにしてもよい。
また、上記第2の実施の形態のデジタルカメラのように、個人の識別に加えて、識別した人物の表情を判別し、表情に応じて合成するテンプレートを切り替えるようにしてもよい。
なお、本実施の形態のデジタルカメラにおいても、上記第1の実施の形態のデジタルカメラのように、個人識別モードに設定すると、スルー画像からあらかじめ登録された人物が検出され、あらかじめ登録された人物が検出されると、その人物の顔が、その人物に固有の枠(テンプレート)で囲われて、スルー画像が表示されるようにしてもよい。
同様に、上記第2の実施の形態のように、個人識別モードに設定すると、スルー画像からあらかじめ登録された人物が検出され、あらかじめ登録された人物が検出されると、その人物の表情が判別され、その表情に対応した枠(テンプレート)で顔が囲われて、スルー画像が表示されるようにしてもよい。
また、上記実施の形態では、テンプレート合成モードに設定すると、合成画像のみがメモリカード46に記録されるが、原画像と合成画像の双方をメモリカード46に記録するようにしてもよい。また、記録する画像を撮影者が選択できるようにしてもよい。
図14は、画像を選択して記録する場合の撮影、記録の処理の手順を示すフローチャートである。
なお、同図に示すように、ステップS60〜ステップS68までの処理は、図13に示した撮影、記録の処理の手順と同じなので、ここでは、ステップS68の合成画像の生成後の処理から説明する。
また、本例では、選択に応じて原画像も記録されることから、画像合成後も原画像の画像データはRAM16に保持される。
合成画像が生成されると(ステップS68)、生成された合成画像がモニタ50にプレ表示される(ステップS70)。すなわち、CPU10は、画像合成部62で生成された合成画像をVRAM20に加え、VRAM20から表示制御部48を介してモニタ50に表示させる。
この後、CPU10は、ユーザが設定した画像の記録方法に従って画像を記録する。
ここで、画像の記録方法は、あらかじめ設定されているものとし、この設定に従ってCPU10は画像の記録を行う。
画像の記録方法の設定は、メニュー画面で行われる。すなわち、操作部12に備えられたメニューボタンを押下すると、モニタ50にメニュー画面が表示され、そのメニュー画面に表示されたメニュー項目の中から「画像の記録方法の設定」の項目を選択すると、画像の記録方法の設定画面が表示され、この画像の記録方法の設定画面で画像の記録方法の設定が行われる。
図15は、画像の記録方法の設定画面の一例を示している。この例では、「原画像のみ記録」、「合成画像のみ記録」、「原画像と合成画像の両方を記録」の3つの選択項目が画面上に一覧表示され、この中の一つを選択して、画像の記録方法を設定するようにされている。選択は、たとえば、十字ボタンでカーソルを選択する項目の上に移動させ、OKボタンを押下することにより行われる。設定された情報は、EEPROM18に記録される。
CPU10は、このEEPROM18に記録された画像の記録方法の設定情報に従って画像を記録する。
この場合、まず、EEPROM18に記録された画像の記録方法の設定情報に基づいて、原画像のみを記録するか否か判定する(ステップS71)。
この判定で原画像のみを記録すると判定すると、CPU10は、原画像のみをメモリカード46に記録する(ステップS75)。すなわち、原画像の画像データに対して、所要の圧縮処理を施した後(必要に応じて非圧縮)、所定形式の画像ファイルとしてメモリカード46に記録する。
一方、原画像のみを記録しないと判定すると、次に、CPU10は、合成画像のみを記録するか否か判定する(ステップS72)。
この判定で合成画像のみを記録すると判定すると、CPU10は、合成画像のみをメモリカード46に記録する(ステップS74)。すなわち、合成画像の画像データに対して、所要の圧縮処理を施した後(必要に応じて非圧縮)、所定形式の画像ファイルとしてメモリカード46に記録する。
一方、合成画像のみを記録しないと判定すると、CPU10は、合成画像と原画像の双方をメモリカード46に記録する(ステップS73)。すなわち、合成画像の画像データに対して、所要の圧縮処理を施した後(必要に応じて非圧縮)、所定形式の画像ファイルとしてメモリカード46に記録するとともに、原画像の画像データに対して、所要の圧縮処理を施した後(必要に応じて非圧縮)、所定形式の画像ファイルとしてメモリカード46に記録する。
これにより、ユーザの好みの方法で画像を記録することができる。
なお、上記の例では、画像の記録方法をユーザがあらかじめ設定しているが、撮影の都度、選択するようにしてもよい。すなわち、合成画像をプレ表示後、画像の記録方法をユーザに問い合わせ、ユーザからの指示に従って画像をメモリカード46に記録するようにしてもよい。
この場合、たとえば、図16に示すように、原画像と合成画像の双方をモニタ50にプレ表示し、画像の記録方法を選択させるようにしてもよい。また、いずれの画像も記録しないことを選択できるようにしてもよい。
また、上記の例では、合成画像をプレ表示させているが、撮影画像(原画像)をプレ表示させるようにしてもよい。この場合、原画像のプレ表示後に設定された画像の記録方法に応じて画像の合成処理を実行し、画像の記録を行う。
図17は、原画像のプレ表示後に画像の合成処理を行って画像の記録を行う場合の処理の手順を示すフローチャートである。
なお、同図に示すように、ステップS60〜ステップS67までの処理は、図13に示した撮影、記録の処理の手順と同じなので、ここでは、ステップS66又はステップS67のテンプレートの選択後の処理から説明する。
テンプレートの選択が行われると、CPU10は、原画像をモニタ50にプレ表示する(ステップS80)。
この後、CPU10は、ユーザが設定した画像の記録方法に従って画像を記録する。
まず、EEPROM18に記録された画像の記録方法の設定情報に基づいて、原画像のみを記録するか否か判定する(ステップS81)。
この判定で原画像のみを記録すると判定すると、CPU10は、原画像のみをメモリカード46に記録する(ステップS85)。
一方、原画像のみを記録しないと判定すると、次に、CPU10は、合成画像のみを記録するか否か判定する(ステップS82)。
この判定で合成画像のみを記録すると判定すると、CPU10は、画像の合成処理を行い(ステップS86)、生成された合成画像のみをメモリカード46に記録する(ステップS74)。
一方、合成画像のみを記録しないと判定すると、CPU10は、まず、原画像をメモリカード46に記録する(ステップS83)。次に、CPU10は、画像の合成処理を行い(ステップS84)、生成された合成画像をメモリカード46に記録する(ステップS75)。
このように、原画像のプレ表示後に画像の合成処理を行って画像の記録を行うこともできる。この場合、原画像のみの記録が選択されている場合、画像の合成処理が不要になるので、記録処理を高速化することができる。
なお、本例においても、上記第1の実施の形態のデジタルカメラのように、スルー画像の表示段階で個人認証を行い、個人に対応したテンプレートを合成して、スルー画像を表示するようにしてもよい。
また、上記の例では、カメラを専用のモード(テンプレート合成モード)に設定した場合についてのみ行われるようにしているが、常に撮影画像に対してテンプレートの合成処理を行って記録するようにしてもよい。
次に本発明が適用されたデジタルカメラの第4の実施の形態について説明する。
本実施の形態のデジタルカメラは、本撮影された画像に対して個人認証を行い、あらかじめ登録された人物が含まれている場合は、その人物に固有のテンプレートを選択し、当該テンプレートの情報を撮影画像に付加して、撮影画像をメモリカードに記録する。そして、画像再生時は、当該テンプレートの情報を読み出し、所要の合成処理を行ってモニタに再生表示する。
なお、カメラの構成や認識すべき人物の登録方法については、上述した第1の実施の形態のデジタルカメラ1と同じなので、ここでは、撮影後の画像の記録処理及び再生処理の方法についてのみ説明する。
なお、上記第3の実施の形態のデジタルカメラと同様に、この処理はカメラを専用のモード(テンプレート合成モード)に設定した場合についてのみ行われる。テンプレート合成モードへの設定方法は、上述した第3の実施の形態のデジタルカメラと同じである。
図18は、本実施の形態のデジタルカメラによるテンプレート合成モード時の撮影、記録の処理動作の手順を示すフローチャートである。
ユーザが本撮影を行うと(ステップS90)、まず、その本撮影により得られた画像(撮影画像)から顔画像の検出が行われる(ステップS91)。すなわち、本撮影により得られた画像信号からY/C信号が生成され、生成されたY/C信号から顔検出部56で顔領域が検出される。
CPU10は、顔検出部56による顔検出の結果に基づいて画像から顔が検出されたか否かを判定する(ステップS92)。
ここで、顔が検出されていないと判定した場合、CPU10は、通常撮影の場合と同様にして、撮影により得られた画像(原画像)をメモリカード46に記録する(ステップS99)。すなわち、撮影により得られた画像(原画像)に対して所定の圧縮処理を施した後(必要に応じて非圧縮)、所定フォーマットの画像ファイルとしてメモリカード46に記録する(ステップS99)。
一方、顔が検出されていると判定すると、CPU10は、個人認証の処理を行う(ステップS93)。すなわち、撮影画像の画像データを個人識別部58に加えて、個人を識別させる。そして、その個人識別部58における個人認証の結果に基づいて該当者の有無を判定する(ステップS94)。
この判定の結果、登録された人物が画像中に含まれていると判定すると、CPU10は、その個人識別部58による識別結果の情報(識別された人物の登録者情報)をテンプレート選択部60に加える。テンプレート選択部60は、入力された登録者情報に基づいて、該当する人物のテンプレートの情報をデータベースから検索し、その結果をCPU10に出力する(ステップS65)。
CPU10は、得られたテンプレート情報を撮影画像の画像データに付加する(ステップS66)。すなわち、本実施の形態のデジタルカメラでは、撮影により得られた画像(原画像)に対して所定の圧縮処理を施した後(必要に応じて非圧縮)、所定フォーマットの画像ファイルが生成されるが、その画像ファイルを生成する際、画像ファイルにテンプレート情報が付加される。たとえば、Exif形式の画像ファイルであれば、所定のタグ領域にテンプレート情報が格納される。この他のファイル形式の場合であっても、たとえば、ヘッダにテンプレート情報が格納される。そして、このように生成された画像ファイルがメモリカード46に記録される(ステップS99)。
なお、ステップS94において、該当する人物がいないと判定すると(画像に登録された人物が含まれていないと判定すると)、CPU10は、あらかじめ用意された標準のテンプレートを選択し(ステップS97)、撮影画像に付加して(ステップS98)、撮影画像をメモリカード46に記録する(ステップS99)。
以上説明したように、本実施の形態のデジタルカメラでは、本撮影された画像に対して個人認証が行われる。そして、本撮影された画像にあらかじめ登録された人物が含まれていると、その人物に固有のテンプレートが選択され、そのテンプレートの情報が撮影画像に付加されて、撮影画像がメモリカード46に記録される。
画像の再生時は、この画像ファイルに付加されたテンプレート情報を読み出し、該当するテンプレートを画像に合成して、モニタ50に再生表示する。以下、この画像の再生時の処理について説明する。
図19は、本実施の形態のデジタルカメラにおける画像の再生処理の手順を示すフローチャートである。
なお、画像の再生は、カメラのモードを再生モードに設定することにより可能になる。再生モードへの設定は、モード切替スイッチにて行われる。
カメラのモードが再生モードに設定されると、CPU10は、メモリカード46に最後に記録された画像の画像ファイルを読み出す(ステップS110)。そして、その画像ファイルにテンプレート情報が付加されているか否かを判定する(ステップS111)。
ここで、画像ファイルにテンプレート情報が付加されていないと判定すると、CPU10は、通常の再生処理方法と同様にして、画像をモニタ50に再生表示する(ステップS114)。すなわち、圧縮された画像データに対して所要の伸張処理を施した後(画像データが圧縮されている場合のみ)、表示制御部48を介してモニタ50に出力される。これにより、画像がモニタ50に再生表示される。
一方、画像ファイルにテンプレート情報が付加されていると判定すると、CPU10は、そのテンプレート情報に従ってテンプレートを選択する(ステップS112)。そして、その選択したテンプレートを再生対象の画像データに合成し、合成画像を生成する(ステップS113)。
すなわち、まず、再生対象の画像データに対して所要の伸張処理を施し(再生対象の画像データが圧縮されている場合のみ)、非圧縮の画像データを生成する。そして、その生成した画像データを画像合成部62に加える。また、選択したテンプレートを画像合成部62に加える。画像合成部62は、入力されたテンプレートを再生対象の画像に合成し、合成画像を生成する(ステップS113)。
生成された合成画像は、VRAM20に格納され、VRAM20から表示制御部48を介してモニタ50に出力される。
これにより、テンプレートが合成された画像がモニタ50に再生表示される。
この後、CPU10は、操作部12からの入力に基づいてコマ送り又はコマ戻しの指示がなされたか否かを判定する(ステップS115)。そして、コマ送り又はコマ戻しの指示がなされたと判定すると、上記ステップS110に戻り、次の又は前の画像ファイルを読み出して、上記の再生処理を実行する。
一方、コマ送り又はコマ戻しの指示がなされていないと判定すると、再生処理の終了が指示されたか否かを判定し(ステップS116)、指示されたと判定すると、再生処理を終了する。
このように、本実施の形態のデジタルカメラでは、テンプレートを画像に合成して記録するのではなく、テンプレートの情報を付加して画像(原画像)を記録し、再生時に所要の合成処理を施して、合成画像をモニタ50に再生表示する。これにより、原画像を損なわずに、画像の記録を行うことができる。
なお、上記の例では、通常の再生モードの処理として、上記の処理を行うこととしているが、専用のモード(たとえば、テンプレート合成表示モード等)に設定した場合にのみ、上記の処理を行うようにしてもよい。この場合、通常の再生モードに設定された場合は、テンプレート情報が画像に付加されていても、テンプレートの合成処理は行わず、原画像の再生処理のみを実行する。また、たとえば、テンプレート合成表示モードに設定すると、テンプレート情報が付加された画像のみを対象に再生処理を行うようにしてもよい。
また、上記の例では、登録されていな人物に対してもテンプレート(標準のテンプレート)が決定され、その情報が撮影画像に付加されて、撮影画像が記録されるように構成されているが、顔が検出された場合であっても、登録された人物以外の場合は、テンプレートの選択処理は行わず、通常の撮影画像と同様に記録するようにしてもよい(テンプレート情報は付加せずに記録するようにしてもよい。)。
また、上記の例では、テンプレートの合成方法については、特に説明していないが、上述した第1の実施の形態と同様に、枠状に形成されたテンプレートで個人認証した人物の顔を囲うように合成するようにしてもよい。この場合、テンプレート情報には、合成するテンプレートの情報と、合成する顔の位置、合成するテンプレートの大きさ等の情報も付加する。
また、枠状に形成されたテンプレートを合成する場合に限らず、たとえば、図20に示すように、所定の文字や図形、記号等をテンプレートとして用いるようにしてもよい。この場合、テンプレートを合成する位置については、特定の位置に合成するようにしてもよいし、また、上記の例のように顔の周囲に合成するようにしてもよい。
また、上記第2の実施の形態のデジタルカメラのように、個人の識別に加えて、識別した人物の表情を判別し、表情に応じて合成するテンプレートを切り替えるようにしてもよい。
さらに、本実施の形態のデジタルカメラにおいても、上記第1、第2の実施の形態のデジタルカメラのように、スルー画像の段階で個人認証、表情判別を行い、検出された人物、表情に対応したテンプレートを合成して、スルー画像を表示するようにしてもよい。
また、画像の記録方法として、テンプレート情報の記録の要否をユーザが選択できるようにしてもよい。この場合、記録の要否の選択は、画像を撮影するたびに行うようにしてもよいし、また、あらかじめ設定しておくようにしてもよい。
なお、上記実施の形態のデジタルカメラでは、顔検出部、個人識別部、テンプレート選択部、画像合成部等をハードウェア回路で構成しているが、同機能をソフトウェアで実現するようにしてもよい。この場合、一部の機能のみをソフトウェアで実現するようにしてもよい。
また、上記一連の実施の形態では、本発明をデジタルカメラに適用した場合を例に説明したが、本発明の適用は、これに限定されるものではなく、カメラ付き携帯電話機等の撮影機能を備えた機器全般に適用することができる。
1、1a…デジタルカメラ、10…CPU、12…操作部、14…ROM、16…RAM、18…EEPROM、20…VRAM、24…撮影光学系、30…撮像素子、32…タイミングジェネレータ、34…アナログ信号処理部、36…A/Dコンバータ、38…画像入力コントローラ、40…画像信号処理部、42…圧縮/伸張処理部、44…メディアコントローラ、46…メモリカード、48…表示制御部、50…モニタ、52…AE検出部、54…AF検出部、56…顔検出部、58…個人識別部、60…テンプレート選択部、62…画像合成部、64…ストロボ制御部、66…ストロボ、68…電源制御部、70…バッテリ、72…表情判別部