JP4574249B2 - 画像処理装置及びその方法、プログラム、撮像装置 - Google Patents

Description

本発明は、人物画像に補正処理を施して出力する画像処理装置及びその方法に関する。

人物をフラッシュ発光のもとで撮影を行うと目が赤く写るいわゆる赤目現象が知られている。今日ではデジタル画像データにおいて赤目領域を別の色に変換する様々な方法がある。その１つの方法として、顔の特徴を備えた肌色領域を検出し、赤目欠陥の一組を検出し、その領域で色修正を行うものがある（例えば特許文献１参照）。また、他の方法として、赤目領域に含まれる補正対象領域において特徴量ヒストグラムを作成し、ヒストグラムから導かれる最小、最大値、最頻値、平均値、分散などに基づいて補正曲線を生成し、その補正曲線に従って補正対象領域の彩度、明度を補正するものがある（例えば特許文献２参照）。

また、肌色領域を検出して美肌処理を施す美肌モードが設定可能なビデオカメラが考案されている。
特開２０００−１２５３２０号公報 特開２００２−２７１８０８号公報

しかしながら、以上説明した技術では次に示すような問題点があった。赤目（または金目）が生じた写真の色補正を行う際に、補正後に望ましい色（記憶色）に自動設定する事が困難であった。特に照明条件の変動や人種、個人差により観測される瞳の虹彩色が異なるため、単純に赤目部分の領域の輝度や彩度を下げるだけでは不自然な補正結果が得られる場合が多く、本来の好ましい瞳の色を忠実に再現する事が望まれていた。

また、肌色領域を一律に美肌処理すると、補正すべきではない肌色に似た色の物体色を補正してしまうなどの不都合や複数の人物が画像内に存在する場合に、特定の人物に補正効果を与えることができなかった。

そこで、本発明は上記課題を解決するべく、特定人物や特定被写体カテゴリに適切な補正処理を簡単に施すことを目的とする。

上記課題を解決するために、本発明によれば、画像処理装置に、画像を入力する入力手段と、入力された前記画像から人物領域を検出する人物領域検出手段と、検出された前記人物領域内の人物がどの個人であるかを識別する識別手段と、各個人に対応した補正データを記憶する補正データ記憶手段と、前記人物領域から補正対象領域として色欠陥を有する目の瞳領域を抽出する抽出手段と、前記補正対象領域に対して、前記補正データ記憶手段を参照して、識別された前記個人に対応した補正データを用いて補正を行う補正手段と、前記識別手段が検出された前記人物がどの個人であるかを識別できないときに、前記人物をフラッシュを発光させずに新たに撮影した画像を取得し、当該取得した画像から前記目の瞳領域の画像データを抽出して、新規の補正データとして設定する設定手段と、設定された前記新規の補正データを前記人物の識別データと関連づけて前記補正データ記憶手段に登録する登録手段とを備えることを特徴とする。

また本発明の他の態様によれば、画像処理装置により実行される画像処理方法に、入力手段が、画像を入力する入力ステップと、人物領域検出手段が、入力された前記画像から人物領域を検出する人物領域検出ステップと、識別手段が、検出された前記人物領域内の人物がどの個人であるかを識別する識別ステップと、抽出手段が、前記人物領域から補正対象領域として色欠陥を有する目の瞳領域を抽出する抽出ステップと、補正手段が、前記補正対象領域に対して、各個人に対応した補正データを記憶する補正データ記憶手段を参照して、識別された前記個人に対応した補正データを用いて補正を行う補正ステップと、設定手段が、検出された前記人物がどの個人であるかを前記識別ステップにおいて識別できないときに、前記人物をフラッシュを発光させずに新たに撮影した画像を取得し、当該取得した画像から前記目の瞳領域の画像データを抽出して、新規の補正データとして設定する設定ステップと、登録手段が、設定された前記新規の補正データを前記人物の識別データと関連づけて前記補正データ記憶手段に登録する登録ステップとを備えることを特徴とする。

本発明によれば、入力された画像に対して、その特定の被写体（または被写体カテゴリ）に応じた適切な補正を簡単に実現することが可能となる。

以下、添付図面を参照しながら、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本実施形態に係る撮像装置の機能構成図を示している。この撮像装置は、結像光学系１、映像入力部２（映像センサ、センサ信号処理回路、センサ駆動回路を含む）、顔検出部３５を含む被写体認識部３、補正領域検出部４、補正部７、認識対象ごとの補正データを格納する補正データ記憶部８、これらの動作を司るメイン制御部９、撮像条件制御部１０、ストロボ発光部１７、液晶ディスプレイなどからなる画面表示部２０、メニュー設定部２１、および画像記録部１５などから構成される。次に各部の機能の概要および処理の流れを説明する。

映像入力部２は、画像入力を行うモジュールであり、画像入力を撮像によって行う場合と画像データベースからの画像の読み込みによって行う場合とがある。前者の場合には映像センシングのためにＣＣＤやＣＭＯＳイメージセンサなどが用いられ、センサ駆動回路（不図示）からの読み出し制御信号により所定の映像信号が出力される。撮像条件制御部１０は、画像入力を撮像によって行う場合に露光量制御パラメータ、ホワイトバランス制御パラメータ、その他上記以外の撮像パラメータを制御するためのものである。

図３のフローチャートに示すように、先ずユーザはメニュー設定部２１により、補正部７での補正モード（行なうべき補正処理の種類）の設定（ステップＳ１）および認識カテゴリの設定を行う（ステップＳ２）。補正モードとしては例えば、赤目や金目の補正処理、美肌処理、シミや皺の除去処理などがあり、ユーザはそれらから一つのモードをメニューで選択する（或いはデフォルトとして一つの処理が設定されており、必要に応じて変更する）。また認識カテゴリの種類（識別クラス）としては、各個人、年齢性別、人種に類する識別などがある。

ここでは、認識カテゴリの種類を個人の識別レベルとし、被写体認識部３では、特定個人を同定するのに必要な顔に関するモデルデータ（顔画像データ、主成分分析や独立成分分析により得られる顔全体に関する所定の特徴ベクトルデータ、または顔の目、口などの個々の顔に特徴的な領域に関する局所的特徴データ）が被写体認識部３内のモデルデータ記憶部３１に格納されているものとする。

被写体認識部３は、後で詳述するように、内部の顔検出部３５により抽出された人物の顔領域について予めモデルデータ記憶部３１に記憶してあるモデルデータとの照合をマッチング処理部３３で行い、特定個人を同定する。

ユーザにより補正モードと認識カテゴリが設定された後、画像入力が行われ（ステップＳ３）、映像入力部２より画像データが顔検出部３５に入力され、顔検出処理（ステップＳ４）が行われる。

顔検出部３５は、入力画像から顔領域を背景と分離して検出するモジュールであり、中間出力として顔の構成要素である目および口の検出結果を出力する。本実施例では、いわゆるＣｏｎｖｏｌｕｔｉｏｎａｌ ニューラルネットワーク（Ｍ．Ｍａｔｓｕｇｕ ｅｔ ａｌ．，“Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｐｉｋｉｎｇ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｒｏｂｕｓｔ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ，”Ｐｒｏｃ．Ｏｆ Ｉｎｔｅｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ’０２）を用い、中間層で目や口の検出を行い、出力層で顔領域を検出する。顔検出部３５内部の中間結果保持部３７に目および口の検出データ（検出された領域のアドレスデータ）を保持しておく。

次にマッチング処理部３３で個人などの認識処理を行う（ステップＳ５）。マッチング処理部３３は、検出された人物画像のデータから抽出される特徴量とモデルデータ記憶部３５に格納されているモデル特徴量データとの照合を行う。例えば、モデル特徴量データとしては、目や口などの顔の主要な位置におけるＧａｂｏｒ ｗａｖｅｌｅｔ変換データ（いわゆるＧａｂｏｒ ｊｅｔ）、或いは所定の複数の空間フィルタカーネルとの畳み込み演算を行って得られる特徴ベクトルなどを用いる。マッチング処理としては、ｋ−ＮＮ法、識別関数法、サポートベクターマシン、その他Ｃｏｎｖｏｌｕｔｉｏｎａｌ ニューラルネットワークなどが用いられる。

次に、補正領域検出部４は、設定された補正モードに応じて入力画像中から補正対象領域を自動的に検出する（ステップＳ６）。例えば、補正モードが赤目／金目補正である場合には、中間結果保持部３７に格納されているアドレスデータに基づいて入力画像から目検出領域の画像データを読み出し、赤目／金目を呈している瞳領域を探索し、補正対象領域として抽出する。また、補正モードが美肌処理である場合には、顔全体中の肌色成分領域を補正対象領域として抽出する。

以下、補正モードに赤目／金目補正が設定されたとして説明を行う。補正領域検出部４は、被写体認識部３内部の顔検出部の中間出力結果を顔検出部内の中間結果保持部３７から読み込み、検出された顔の中の目領域において赤目の色成分（色相成分値）を呈している領域、もしくは金目の特徴を呈している局所領域（例えば瞳径の２０％以上の径を有し、輝度レベルが１２５以上の高輝度で略円形の領域）を検出する。

補正対象領域検出部４により検出され、設定された赤目領域（補正対象領域）は、実際に赤目または金目の色欠陥を有する画素を含む瞳領域内の楕円形状もしくは円形状の領域である。この補正対象領域において以下に示す判定用データに基づき補正判定処理（ステップＳ７）を行う。例えば、赤目／金目補正においては目領域内各画素の色欠陥有無の判定を行う。そのために瞳領域内を走査しながら各画素において赤目（もしくは金目）発生の判定を行う。

判定用データとしては、赤目補正モードでは目領域における正常値範囲となる色成分情報（例えば、赤目または金目が発生していない場合の正常な色相値範囲など）が読み出される。なお、美肌モードでは、認識された人物に関する望ましい肌色データなどが補正データ記憶部８から補正対象領域検出部６に読み出される。この判定用データと補正モードに応じて決まる判定領域（赤目補正の場合は瞳領域、美肌モードの場合は顔領域）内の画素の色成分値とを比較し、正常値範囲外であれば補正対象領域画素としてその画素の座標をメモリに格納する。

判定を行った結果、補正対象画素が検出された場合、補正データ記憶部８から補正データが読み出される（ステップＳ９）。補正データ記憶部８から読み出されるデータは、特定人物に関する補正モードに対応した記憶色としての色成分データなどの補正用パラメータもしくはデータである。

色成分データ表現に用いる色空間としては、ＲＧＢ空間でもよいが、人間の視覚特性に近い色差を表現できる色空間が望ましく、例えば、ＣＩＥにより定義されるＬａｂ色空間またはＬｕｖ色空間などの均等色空間が望ましい。例えば補正モードが赤目／金目補正である場合には、その特定人物に関する虹彩色データが、美肌処理である場合には、これらは特定人物に関する記憶色としての肌色に関する色成分データが、補正データ記憶部８から補正部７に読み出される。

補正データ記憶部８での格納形式としては個人識別データと対応する補正データ（もしくは補正パラメータ）とのペアデータを配列したルックアップテーブル形式とする。補正部７では、補正対象領域での設定されたモードで特定個人に対する補正を行う（ステップＳ１１）。

被写体認識部３で特定個人が同定（認識）されなかった場合には、補正モードに応じた補正データの設定を行う（ステップＳ８）。例えば、赤目／金目補正モードではその人物の虹彩色データの取得処理を行うか、若しくは虹彩の記憶色の設定処理を行う。前者の場合、フラッシュを発光せずに検出された顔領域を中心とする撮像を自動的に行い、被写体認識部３で再度顔検出を行って得られる目領域から瞳領域を抽出し、その瞳領域から虹彩色データを検出する。この場合、ユーザに非フラッシュ撮影を行うように音声またはディスプレイ表示により指示しても良い。

後者（虹彩の記憶色の設定処理）の場合、対話的処理によりカメラユーザまたは被写体人物が瞳の虹彩色の設定（または選択）を行う。具体的には、例えば（タッチパネル）ディスプレイ２０上に虹彩色の複数候補を瞳画像データとして提示し、その中からユーザまたは被写体自身が望ましいと知覚する色成分（記憶色）を有するパターンが選択されるようにする。その後、記憶部８に補正データの記録を行う（Ｓ１０）。メイン制御部９は、以下に説明する所定の識別コードを付帯データとして付加した補正データ（虹彩色データなど）が格納されるように制御する。例えば、特定個人名と関連づけて補正対象領域の補正データを補正データ記憶部８に記録する。

識別コードの付与は具体的には、識別コード付与済みの顔画像データの中に同一人物の顔画像がある場合には、その画像一覧をサムネール形式でタッチパネル形のディスプレイ２０などに表示し、ユーザに一致する人物の顔画像を選択させることにより、選択された顔画像と同一の識別コードを付与すればよい。同一人物であっても異なる髪形、表情、照明条件下では見え方が極端に異なる場合があり、認識されないこともあるからである。また、識別コード付与済みの顔画像データの中に同一人物の顔画像がない場合には、付与済みのコードの何れとも異なる識別コードを自動生成して付与するか、或いはユーザがその人物の名前などを入力するようにしても良い。

被写体認識部３は、入力画面内から主被写体（人間の顔）の検出および個人の認識処理を行う。図２を参照して被写体認識部３で行う処理について詳しく説明する。この被写体認識部３は、入力画像データ中の各場所（サンプリング点）において、幾何学的特徴またはその他の特徴（例えば、色、動きベクトル情報など）を抽出し、特徴量ベースでのモデルデータとのマッチング或いはテンプレートマッチング等により、設定されたカテゴリの被写体（ここでは人物）検出および認識（ここでは個人識別）を行う。

被写体認識部３の主な構成要素は、予め複数の検出すべき被写体のカテゴリの画像情報をモデルデータとして記憶するモデルデータ記憶部３１、所定サンプリング点位置で上述した特徴量の抽出を行う顔検出部３５、抽出された特徴量に基づき入力画像データとモデルデータとのマッチング処理（類似度算出など）を行うマッチング処理部３３などである。

マッチング処理部３３で行う処理としては、例えば、本出願人が出願した特開平９−１３０７１４号公報に記載の画像情報抽出装置のように、被写体距離に応じたサイズのテンプレートモデル画像を生成し、これを用いて画面内を走査しながら、各場所で正規化相関係数などを計算することにより入力画像の局所部分とモデルデータとの類似度分布を算出する。一般的にはその類似度分布の最大値が所定の閾値を越していれば、そのカテゴリに属するパターンが検出されたことになる。

被写体（人物）検出の処理時間短縮のために予め前処理として時系列入力画像データから公知の方法による一次特徴量（動きベクトル、色情報などの低次特徴量）抽出を行っておき、主被写体が存在する可能性の高い候補領域を抽出して探索範囲の絞込みを行っておいてもよい。例えば、色情報抽出により、予め登録してあるモデル画像データの要部の色彩（例えば、人物の肌色など）に近い色彩を有する画像領域を閾値処理により抽出するか、或いは（更には、それらの画像領域の中で）、一定サイズ以上のまとまった動きベクトル量を有する領域を被写体候補領域として抽出すればよい。その後、候補領域内の各サンプリング点についてのみ上述した類似度算出を行う。

前処理用に抽出する一次特徴量としては、他の低次の特徴量（例えば、特定範囲の方向成分と特定範囲の空間周波数を有するような幾何学的特徴、或いは本出願人の出願した特許第３０７８１６６号公報に開示されるような局所的特徴要素など）を用いてもよいことは言うまでも無い。

なお、マッチング処理部３３としては他の構成、例えば、本出願人による階層的ニューラルネットワーク回路（特開２００２−８０３２号公報参照）その他の構成を用いてもよい。

図４は、本実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。この画像処理装置は、撮像装置の一部として、もしくは撮像装置と接続されて利用され、上述した補正処理を行なう。

ＣＰＵ４１は、ＲＯＭ４２やＲＡＭ４３に格納されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述する各処理を実行する。

ＲＯＭ４２は、ブートプログラムや本装置の設定データ等を格納する。

ＲＡＭ４３は、ＣＰＵ４１が各種の処理を実行する際に必要とするワークエリアを備えると共に、ＨＤＤ４６からロードされたプログラムやデータを一時的に記憶するためのエリアを備える。

キーボード４４は、ユーザからの各種の指示をＣＰＵ１００に対して入力することができる操作部である。更に、マウスなどのポインティングデバイスを備えるようにしてもよい。

ＣＲＴ４５はＣＰＵ４１による処理結果を文字や画像などでもって表示することができる表示装置である。ＣＲＴ４５に代えて液晶表示装置などを設けてもよい。

ハードディスクドライブ装置（ＨＤＤ）４６は、大容量の外部記憶装置であり、ＯＳ（オペレーティングシステム）や、図１に示した各部の機能をＣＰＵ４１に実現させるためのプログラムやデータが保存されており、これらの一部もしくは全部はＣＰＵ４１による制御でもってＲＡＭ４３にロードされる。また、ＨＤＤ４６には、補正データやモデルデータなどが保存されており、これらについても必要に応じてＣＰＵ４１の制御に従ってＲＡＭ４３にロードされる。外部記憶装置として、更にＣＤやＤＶＤなどのドライブ装置を設けてもよい。

Ｉ／Ｆ４７は、外部装置とのデータ通信のためのインタフェースである。例えば、補正対象を含む画像のデータを、このＩ／Ｆ４７に接続しているディジタルカメラから入力したり、コンピュータからダウンロードしたりすることもできる。なお、画像のデータはＲＡＭ４３に一時的に記憶され、そこでＣＰＵ４１の処理対象となる。上述の各部はバス４８に接続している。

（第２の実施形態）
第１の実施形態では、ユーザが認識すべきカテゴリ及び実行すべき補正処理（補正モード）を設定していたのに対し、本実施形態では、被写体認識部３の出力として得られるカテゴリ（例えば、「若い女性」、「西洋人」など）に応じて予め決められた特定の補正処理を行う点が異なっている。なお、認識されたカテゴリに応じた補正処理の内容は、一律に定まっているものではなくユーザが画像入力前に予め設定することができる。

本実施形態における画像処理装置の機能構成は、各部の動作は一部異なるものの図１と同一である。図５は、本実施形態に係る補正処理手順を支援するフローチャートである。

先ず、結合光学系１、映像入力部２により画像入力を行う（ステップＳ２３０）と、顔検出処理（ステップＳ２４０）、続いて検出された人物に関して被写体認識処理（ステップＳ２５０）が行われる。顔検出処理は第１の実施形態と同様である。

被写体認識部３は、被写体認識処理（ステップＳ２５０）の結果、認識カテゴリとして、被写体である人物の性別もしくは男性らしさ／女性らしさの識別、人種（例えば、東洋人／西洋人、白人／黒人／黄色人種など）の識別、老若の識別、赤目／金目の発生有無などが出力される。認識カテゴリの出力はこれら要素の少なくとも一つを含み、複数の要素の組み合わせが（例えば、「若い＋女性＋赤目発生」など）出力されても良い。

被写体カテゴリのうち性別の推定（男性らしさ／女性らしさ）や人種の推定は、ニューラルネットワークやサポートベクターマシンなど公知の技術を用いて行うことができる。例えば、
文献１：Ｃｏｔｔｒｅｌｌ，Ｇ．Ｗ．＆Ｍｅｔｃａｌｆｅ，Ｊ．（１９９１）“Ｅｍｐａｔｈ，ｆａｃｅ，ｇｅｎｄｅｒ，ａｎｄ ｅｍｏｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｈｏｌｏｎｓ，”ｉｎ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，３，ｐｐ．５６４−５７１．
文献２：Ｇｕｔｔａ，Ｓ．，Ｈｕａｎｇ，Ｊ．Ｒ．Ｊ．，Ｊｏｎａｔｈｏｎ，Ｐ．，Ｗｅｃｈｓｌｅｒ，Ｈ．（２０００）“Ｍｉｘｔｕｒｅ ｏｆ Ｅｘｐｅｒｔｓ ｆｏｒ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ｇｅｎｄｅｒ，Ｅｔｈｎｉｃ Ｏｒｉｇｉｎ，ａｎｄ Ｐｏｓｅ ｏｆ Ｈｕｍａｎ Ｆａｃｅｓ，”ＩＥＥＥ Ｔｒａｎｓａｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ｖｏｌ．１１，ｐｐ．９４８−９５９．
文献３：Ｇｏｌｏｍｂ，Ｂ．Ａ．，Ｌａｗｒｅｎｃｅ，Ｄ．Ｔ．，Ｓｅｊｎｏｗｓｋｉ，Ｔ．Ｊ．（１９９０）“ＳＥＸＮＥＴ：Ａ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｉｄｅｎｔｉｆｉｅｓ ｓｅｘ ｆｒｏｍ ｈｕｍａｎ ｆａｃｅｓ，”ｉｎ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，ｐｐ．５７２−５７７．
文献４：伊賀、和泉、林、深野、大谷（２００３）“人物顔画像による性別・年齢推定システム”第９回画像センシングシンポジウム
などに記載の方式を用いればよい。

補正領域検出部４は被写体認識部３により出力された認識カテゴリに応じた補正対象領域の設定を行う（ステップＳ２６０）。例えば、認識カテゴリが「若い女性」の場合、頬や目じりの部分を主として含む顔面の肌色成分領域が補正対象領域として設定され、更に認識カテゴリに「赤目発生」が加わる場合には、瞳領域が補正対象領域として加わる。

画像補正部７は、認識カテゴリごとに予め設定された好ましい肌の色調やテキスチャなどの補正処理内容を記述するデータを含む補正用データを補正データ記憶部８から読み出して（ステップＳ２７０）、その補正用データによって定まる色調やテキスチャと略一致するような画像データの補正を補正対象領域（認識された人物画像領域中の肌色画素）において行う（ステップＳ２８０）。

本実施形態で行われる補正処理としては以下に示すように、単純な色成分値や輝度値だけではなくテキスチャパターンの補正処理も含まれる。補正処理を行う前に画面表示部２０上でユーザに確認を求める表示を行い、ユーザがメニュー設定部２１で確認の指示を行った後で補正処理が行われるようにしてもよい。

例えば、被写体認識部３からのカテゴリ認識結果の出力が「若い女性」とすると、補正データ記憶部８より美肌補正用の処理プログラムデータおよび美肌の色補正データなどを読み込み、その人物の顔面領域に対して好ましい肌色成分となるように色調を美肌補正する。また更に肌のきめの粗さやシミなどを目立たなくする自動補正処理などを行う。認識結果としてのカテゴリに対応して行われる特定の補正処理プログラムデータおよび補正データは予め記憶部２８０に格納されているものとする。なお、図５には記載していないが、このような被写体認識結果に基づく自動補正処理を行う補正モードは予めユーザなどにより設定されているものとする。

また、認識結果のカテゴリが「中高年の婦人」などの場合、顔の皺を目立たなくする（若しくは皺を除去する）などの補正処理を行う。具体的には目じり、頬、額などの皺の検出処理、および検出された皺の除去または平滑化処理を行う。

更に、認識カテゴリは特定の表情でもよい。例えば、「空ろな目をした顔」、「悲しそうな目をした顔」などのカテゴリに対して、補正処理として「楽しそうな目をした顔への変換処理」が設定される。このような表情変換処理は、公知の技術を用いて行うことが出来る。例えば、顔の主要なパーツ（目など）若しくは表情の発現単位となる部位、すなわち、いわゆるＥｋｍａｎの分類によるアクションユニットの領域ごとに各表情に対応する局所的な座標変換処理（例えば、アフィン変換）を行うなどによって実現できる。

なお、被写体認識の際および補正データ記憶部８に補正用データを格納する際に、カテゴリ分類に必要な画像特徴量を抽出しておくことはいうまでもない。

（第３の実施形態）
本実施形態の装置の機能構成を図６に示す。図１の構成に加え、通信部６０および画像データベース６１を備えている。図７は、第３の実施形態の補正処理手順を示すフローチャートである。

図６において画像データベース６２以外の要素は、一つに筐体の中に収められているが、そのうちの一部が外部に分離して置かれるような形態であってもよい。画像データベース６２中の各画像には、検索キー（写っている人物の名前、画像撮影時期、撮影場所など）が付与されている。

先ずユーザは、補正モード（例えば、赤目補正、美肌補正、毛髪の付加補正、毛髪の所定色への変換補正など）をメニュー設定部２１により画像入力前に選択しておく（ステップＳ３２０）。画像入力（ステップＳ３３０）の後、顔または人物の検出処理（ステップＳ３４０）、および人物個人を識別する被写体認識（ステップＳ３５０）を行った結果、得られる個人識別データを検索キーとし、通信部６１により外部に設置してある画像データベース６２に検索キーデータを送信し（ステップＳ３５５）、その検索キーデータに適合する特定人物画像の検索を行う（ステップＳ３５７）。その結果得られた画像から補正データ（パラメータ）を抽出する（ステップＳ３６５）。

ここで検索キーデータは、個人の識別に用いる画像の特徴量（例えば、目、口などの局所領域でのＧａｂｏｒ ｗａｖｅｌｅｔ変換データなど）、および補正モードに応じて設定されるパラメータが用いられる。

例えば、「赤目補正」が補正モードとして選択されると、被写体認識部３で認識された人物が写っている画像データベース６２内の画像の集合から赤目が発生していない顔画像データを探索し、その顔領域中の虹彩部分の代表色成分データを補正データとして抽出する。また、「毛髪付加」が補正モードとして選択された場合には、特定人物の顔画像のうち、年代の古い顔画像を画像データベース６２から抽出する。この場合、検索キーは特定人物の名前と年代などである。

その後、補正対象領域の抽出（ステップＳ３７５）、抽出された補正データに基づき、入力画像中の該当人物の画像補正を行う（ステップＳ３８０）。

（その他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、カメラもしくはコンピュータのＣＰＵやＭＰＵが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、カメラもしくはコンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、カメラ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、カメラもしくはコンピュータに挿入された機能拡張カードや、カメラもしくはコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

第１の実施形態に係る撮像装置の機能構成を示す図である。 被写体認識部の機能構成を示す図である。 第１の実施形態に係る補正処理のフローチャートである。 第１の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 第２の実施形態に係る補正処理フローチャートである。 第３の実施形態に係る撮像装置の機能構成を示す図である。 第３の実施形態に係る補正処理フローチャートである。

Claims (4)

1. 画像を入力する入力手段と、
   入力された前記画像から人物領域を検出する人物領域検出手段と、
   検出された前記人物領域内の人物がどの個人であるかを識別する識別手段と、
   各個人に対応した補正データを記憶する補正データ記憶手段と、
   前記人物領域から補正対象領域として色欠陥を有する目の瞳領域を抽出する抽出手段と、
   前記補正対象領域に対して、前記補正データ記憶手段を参照して、識別された前記個人に対応した補正データを用いて補正を行う補正手段と、
   前記識別手段が検出された前記人物がどの個人であるかを識別できないときに、前記人物をフラッシュを発光させずに新たに撮影した画像を取得し、当該取得した画像から前記目の瞳領域の画像データを抽出して、新規の補正データとして設定する設定手段と、
   設定された前記新規の補正データを前記人物の識別データと関連づけて前記補正データ記憶手段に登録する登録手段とを有することを特徴とする画像処理装置。
2. 画像処理装置により実行される画像処理方法であって、
   入力手段が、画像を入力する入力ステップと、
   人物領域検出手段が、入力された前記画像から人物領域を検出する人物領域検出ステップと、
   識別手段が、検出された前記人物領域内の人物がどの個人であるかを識別する識別ステップと、
   抽出手段が、前記人物領域から補正対象領域として色欠陥を有する目の瞳領域を抽出する抽出ステップと、
   補正手段が、前記補正対象領域に対して、各個人に対応した補正データを記憶する補正データ記憶手段を参照して、識別された前記個人に対応した補正データを用いて補正を行う補正ステップと、
   設定手段が、検出された前記人物がどの個人であるかを前記識別ステップにおいて識別できないときに、前記人物をフラッシュを発光させずに新たに撮影した画像を取得し、当該取得した画像から前記目の瞳領域の画像データを抽出して、新規の補正データとして設定する設定ステップと、
   登録手段が、設定された前記新規の補正データを前記人物の識別データと関連づけて前記補正データ記憶手段に登録する登録ステップとを有することを特徴とする画像処理方法。
3. コンピュータに請求項２に記載の画像処理方法を実行させることを特徴とするプログラム。
4. 撮像手段と、請求項１に記載の画像処理装置とを備え、前記撮像手段により撮像した画像を前記画像処理装置により補正することを特徴とする撮像装置。

Images