JP4214420B2 - 瞳色補正装置およびプログラム - Google Patents

Description

本発明は、瞳色補正装置およびプログラムに関するもので、画像（特に人の顔が撮像された画像）を撮像する撮像装置や、画像を扱う情報処理装置や出力装置、ソフトウェア等に適用されて有効な技術に関する。

デジタルカメラ・銀塩方式カメラを問わず、フラッシュを使用して撮影した場合、瞳の瞳孔部分あるいは瞳全体が赤色になる赤目現象を生じる問題がある。同様の問題として、人物の瞳孔ないし瞳全体が金色に撮像されてしまう金目現象もある。このような赤目・金目現象（以下、赤目現象を例に説明する）は、瞳の瞳孔部分から眼球内に入射したフラッシュ光が網膜で反射して起こる現象である。昨今は、カメラの小型化が進みカメラの光軸とフラッシュとの距離が近くなっているため、赤目現象の発生率が高くなり、改めて問題となっている。

このような赤目現象を撮影時に防止・軽減する技術として、赤目防止フラッシュが提案されている。これは、撮影直前にフラッシュを軽く発光した後に改めてフラッシュを発光させる技術である。この技術によれば、最初の発光により被撮像者の瞳孔が収縮され、その後のフラッシュによる赤目現象の発生が防止・軽減される。

しかし、赤目現象が発生してしまった場合には、撮り直すことが可能でない限り、赤目を画像補正する必要がある。このような画像補正の技術として、赤目現象が発生している画素を指定し、この画素の色を変更することで補正する方法が提案されている（特許文献１参照）。

しかしながら、赤目現象が発生してしまった瞳の画像では、本来の瞳の色が喪失されてしまっている。このため、このように赤目現象の発生した瞳の画像から、本来の瞳の色を推定することは困難であった。本来の瞳の色を推定できないのであれば、当然のことながら、特許文献１に開示された技術を用いて補正を実行しようとしても自然な画像を生成することは困難である。

さらに、赤目の判定・補正色の決定において、瞳色だけを判定材料とすることは、色彩対比で色味を判断する人間の視覚の特徴から鑑みても無理がある。すなわち、特に茶色に近い瞳色の場合、同じ値を持つ画像データであっても状況によって赤目と見えたり見えなかったりすることがある。この場合、もともとその人物の瞳が茶色であったのか、あるいは元はより黒い色調の瞳であったものが弱い赤目現象によって茶色に見えているのか、の２つのケースが考えられる。この２つのケースは、瞳色から判断することができず、肌の色、もしくは背景などの写真全体の色調から色彩対比によって判断する。

また、特に赤ら顔や赤い色の照明下の場合などは、赤味を取り除く補正をした場合、かえって不自然に見えるケースがある。これは、肌の色から予想される照明下（赤ら顔の場合には擬似的な照明下）ではありえないような瞳色になってしまうためである。従って、係るケースの場合、赤味を取り除く補正は厳密には誤りであり、肌の色に合わせた瞳色を生成し、これを基準に補正することが必要である。

これらのことからも、単に瞳だけに着目して補正処理をするのではなく、そのまわりの肌色や背景との色彩対比を考慮して赤目の判断・補正色の決定をする必要があることが判る。そこで本発明者らは、このような考察のもと、赤目現象や金目現象などの異常が発生しているか否かにかかわらず、入力画像から被写体人物の肌の色を特定し、予め実施される統計結果に基づいた近似式にこの肌の色を代入することにより、被写体人物の肌の色から正常な瞳の色成分を推定するようにした補正方法を開発した（特許文献２）。
特許第２６３４５１１号公報 特開２００５−１４８０３３号公報

この特許文献２に開示された発明では、肌の色にあった自然で違和感のない瞳色を実現できるようになったものの、画素の元々の明度は赤目現象などにより既に失われているため、赤目の画素の明度を維持したまま瞳色を補正すると、補正後の瞳の明度が高く白目のようになってしまう場合がある。この場合、瞳色は違和感なく補正できても、明度に違和感を覚えてしまい、結果として補正品質が悪くなるという課題がある。

本発明の目的は、撮像された人物画像の瞳部分の補正処理をするに際し、補正後の画像が違和感を生じないようにすることができる瞳色補正装置およびプログラムを提供することである。

上述した目的を達成するため、本発明に係る瞳色補正装置は、入力された画像における被写体人物の肌の色を特定する肌の色特定手段と、前記肌の色特定手段によって特定された肌の色に基づいて、前記画像中に表されるべき当該人物の瞳の色である肌補正色を求める肌補正色算出手段と、前記被写体人物の瞳部分の画素の値からその画素の赤目などの色調異常が発生する前の明度を推定する明度推定手段と、前記肌補正色に基づく補正基準色と、前記推定した明度を元に、前記被写体人物の瞳の色を補正する補正手段と、を備え、前記明度推定手段は、画素の色を構成するＲ，Ｇ，Ｂのうち、ＧとＢの値に基づいて決定される明度であるＧＢ明度を算出する機能を備え、前記補正手段は、補正基準色のＲ，Ｇ，Ｂの値を基準に、補正基準色の前記ＧＢ明度の値が補正対象画素のＧＢ明度の値と等しくなるように変換するものとした。

そして、前記被写体人物の瞳の外周領域に含まれる画素の色からその外周領域の代表色である原瞳色を求める原瞳色算出手段と、前記求めた肌補正色と原瞳色のいずれかを前記補正基準色を決定する補正基準色決定手段と、を備えた。さらに、前記肌補正色算出手段によって求められた肌補正色と前記瞳検出手段によって検出された瞳領域から特定される色とを比較することにより、前記画像における当該人物の瞳の色に異常が発生しているか否か判断する判断手段を備え、前記補正手段は、判断手段にて異常と判定された場合に補正処理を実行するように構成するとよい。さらに、その判断手段は、前記瞳色推定手段によって推定された瞳の色における赤みと、前記瞳検出手段によって検出された瞳領域から特定される色における赤みとを比較することにより、前記画像における当該人物の瞳部分が赤目になっているか否か判断する機能を備え、前記明度推定手段は、画素の色を構成するＲ，Ｇ，Ｂのうち、ＧとＢの値に基づいて決定される明度であるＧＢ明度を算出する機能を備え、前記補正手段は、補正基準色のＲ，Ｇ，Ｂの値を基準に、補正基準色の前記ＧＢ明度の値が補正対象画素のＧＢ明度の値と等しくなるように変換するものとした。
上記各発明によれば、赤目現象を発生している場合、本来の瞳色の明度値に比べて上昇する増加分は、主に赤色光によるものと考えられる。そこで、ＧとＢの値を用いることで、赤目発生前の明度値を推定することができる。

本発明では、肌の色特定手段は、ユーザによって手動で肌の色を特定するように構成してもよいし、ユーザによって入力画像を元に指定された色，ユーザによって指定された画像中の画素の色（即ち、ユーザによって指定された箇所の実測値）などを、当該人物の肌の色として特定するように構成してもよいし、実施形態で示すように自動的に顔の領域を検出するとともに、その領域に属する画素に基づいて求めるようにしても良い。

同様に、原瞳色算出手段における原瞳色の求める処理も、ユーザによる手動に基づいて求めるようにしても良いし、実施形態で示すように自動的に瞳領域を検出するとともに外周領域を検出し、その外周領域に属する画素に基づいて求めるようにしても良い。
画像の瞳部分に発生する異常とは、例えば赤目現象や金目現象などであり、瞳部分の一部又は全部の色について発生する異常である。

本発明では、入力された画像から被写体人物の肌の色が特定され、この肌の色に基づいて当該人物の瞳の色が推定される。このため、この画像における肌の色について色彩対比が考慮された、自然で違和感の無い瞳の色を推定することが可能となる。従って、赤目現象や金目現象などの発生により本来の瞳の色が喪失されてしまった画像から、本来の瞳の色（異常が生じなかった場合に表れる（出力される）と認められる瞳の色）を推定することが可能となる。

さらに、明度推定手段を設け、推定した明度を加味して補正処理をするため、瞳孔が白く補正されてしまうことを防止し、瞳色異常の現象が起こる前の明度をできるだけ再現するようにした高品質な補正を実現することができる。

また、瞳の外周領域の原瞳色を求め、その原瞳色に基づいて瞳色を補正する機能を備えた場合、いずれの色（肌補正色／原瞳色）に基づいて補正するかは、補正基準色決定手段により決定される。よって、瞳の外周領域に、被写体人物の瞳の色が残っている場合には、原瞳色に基づいて補正することで、その人本人が持つ本来の瞳の色に基づいて瞳色の補正が行なえるので、より違和感がない瞳色を再現することが可能となる。そして、仮に瞳全体が赤目等の異常となり、瞳の外周領域も本来の瞳の色が残っていない場合でも、肌の色に基づく瞳色の補正処理が行なえる。

また、入力された画像における被写体人物の顔の一部又は全体を含む顔領域を検出する顔検出手段と、前記顔検出手段によって検出された当該人物の瞳の一部又は全体を含む瞳領域を検出する瞳検出手段と、を備え、前記肌の色特定手段は、前記顔検出手段で検出された顔領域に含まれる画素の色に基づいて肌の色を特定し、前記原瞳色算出手段は、前記瞳検出手段で検出された瞳の外周領域に含まれる画素の色に基づいて原瞳色を求めるようにしてもよい。「瞳領域」とは、被写体人物の瞳の一部又は全体を含む領域である。

この発明では、ユーザによる入力から独立して（即ち、肌の色の特定処理に際してユーザによる色や色を特定するための画像中の領域の指定がなくても）、自動的に瞳色の補正処理を行なうことができる。よって、ユーザの手間を省くことが可能となる。

さらにまた、前記肌補正色算出手段によって求められた肌補正色と前記瞳検出手段によって検出された瞳領域から特定される色とを比較する機能を備えた場合、前記画像における当該人物の瞳の色に異常が発生しているか否か判断する判断手段を備え、前記補正手段は、判断手段にて異常と判定された場合に補正処理を実行するようにしてもよい。また、判断手段における判断処理アルゴリズムは各種のものを適用できるが、例えば、前記瞳色推定手段によって推定された瞳の色における赤みと、前記瞳検出手段によって検出された瞳領域から特定される色における赤みとを比較することにより、前記画像における当該人物の瞳部分が赤目になっているか否か判断することができる。

このようにすると、補正が必要な場合に補正処理がなされるため、不要な補正処理の実行が削減され、装置の負荷が軽減する。もちろん、本発明では、係る補正の要否についての判断を行なわずに、全ての画像に対して補正処理をしても良い。そのようにすると、判断手段で検出できない異常があった場合でも、瞳色を正しく補正することができる。

本発明のプログラムは、コンピュータを、入力された画像における被写体人物の肌の色を特定する肌の色特定手段、前記肌の色特定手段によって特定された肌の色に基づいて、前記画像中に表されるべき当該人物の瞳の色である肌補正色を求める肌補正色算出手段、前記被写体人物の瞳部分の画素の値からその画素の赤目などの色調異常が発生する前の明度を推定するものであって、画素の色を構成するＲ，Ｇ，Ｂのうち、ＧとＢの値に基づいて決定される明度であるＧＢ明度を算出する機能を有する明度推定手段、前記肌補正色に基づく補正基準色と、前記推定した明度を元に、前記被写体人物の瞳の色を補正するものであって、補正基準色のＲ，Ｇ，Ｂの値を基準に、補正基準色の前記ＧＢ明度の値が補正対象画素のＧＢ明度の値と等しくなるように変換する機能を有する補正手段、として機能させるプログラムとした。

本発明では、瞳色の補正において、瞳色異常の現象が起こる前の明度を推定し、その明度を再現するように瞳色を補正することで、瞳孔が白く補正されてしまうことを防止し、違和感のない高品質な補正を実現することができる。

図１は、瞳色補正装置の好適な一実施形態を示している。瞳色補正装置１０は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（ＥＰＲＯＭ，ＥＥＰＲＯＭ，マスクＲＯＭ等を含む），ＦＲＡＭ，ハードディスク等を指す。この瞳色補正装置１０は、パーソナルコンピュータに所定のアプリケーションプログラムをインストールして構成されるものでも良いし、専用の装置によって構成されるものでもよい。

図１に示すように、本実施形態の瞳色補正装置１０は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、記憶部１１，顔検出部１２，肌の色特定部１３，肌補正色算出部１４，瞳検出部１５，原瞳色検出部１６，補正基準色決定部１７，判断部１８及び補正部１９等を含む装置として機能する。

顔検出部１２，肌の色特定部１３，肌補正色算出部１４，瞳検出部１５，原瞳色検出部１６，判断部１８及び補正部１９は、プログラムがＣＰＵによって実行されることにより実現される。また、各処理部は、それぞれが専用のチップとして構成しても良い。また、各処理部によって実施される処理内容に応じて、ハードウェア・ソフトウェアでの向き不向きがある。このため、これらはハードウェア・ソフトウェアのハイブリッドとして実装しても良い。以下、瞳色補正装置１０が備える各機能部について説明する。

記憶部１１は、瞳色補正装置１０に入力される画像を記憶する。記憶部１１は、いわゆるＲＡＭを用いて構成しても良いし、いわゆるＲＯＭを用いて構成しても良い。入力される画像データは、デジタルカメラの内蔵メモリや、外部記憶装置や、各種の記録媒体等に格納された撮像済みの画像データ等がある。デジタルカメラの内蔵メモリからの画像データの転送は、通信ケーブルや赤外線通信等を利用して行なう。外部記憶装置や各種の記録媒体自体が記憶部１１を構成することもできる。また、記憶部１１に格納される画像データは、情報処理装置からインタフェースを介して伝送される画像の場合もある。

顔検出部１２は、記憶部１１に記憶される画像のうち、瞳色補正装置１０の処理対象となっている画像について、顔検出処理を実施する。顔検出処理では、顔検出部１２は、処理の対象となる画像を記憶部１１から読み出し、読み出された画像から顔矩形２０を検出する。図２は、顔矩形の例（顔矩形２０）を示す図である。顔矩形２０とは、被写体人物の顔部を含む矩形である。

顔検出部１２は、顔矩形２０を検出すると、顔矩形情報を出力する。顔矩形情報とは、顔矩形２０の大きさや位置を示す情報である。例えば、顔矩形情報は、顔矩形２０の幅と左上角の座標とを示す。この顔矩形情報により、他の処理部は、処理対象の画像における被写体人物の顔の位置を特定する。本実施形態では顔矩形２０の縦横比を予め設定した固定値としたため、顔矩形２０の幅と左上角の座標とからなる顔矩形情報により顔矩形２０で区画された領域が特定できる。

顔検出部１２による顔検出処理は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成しても良い。また、顔検出処理は、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成しても良い。また、顔検出処理は、クロマキー処理によって頭髪の頂点が検出され、この頂点に基づいて顔を検出するように構成しても良い。また、顔検出部１２は、肌の色に近い領域を検出し、その領域を顔として検出するように構成しても良い。また、顔検出部１２は、ニューラルネットワークを使って教師信号による学習を行ない、顔らしい領域を顔として検出するように構成しても良い。顔検出部１２による顔検出処理は、上記の例示列挙したものに限ることはなく、その他、既存のどのような方法によって実現しても良い。

肌の色特定部１３は、顔検出部１２によって検出された顔矩形２０の領域から、被写体人物の肌の色の代表値を取得する。以後、この処理を肌の色特定処理と呼ぶ。肌の色特定部１３は、肌の色特定処理において、例えば顔矩形２０に含まれる画素のカラー値の統計値を代表値として取得する。より好ましい形態としては、肌の色特定部１３は、顔矩形２０に含まれる画素のうち、所定の画素のカラー値の統計値を取得するように構成される。

「所定の画素」とは、例えば顔矩形２０の顔矩形情報から特定される領域に含まれる画素である。より具体的な例としては、例えば顔矩形２０の顔矩形情報から幾何学的に特定される領域内の画素であっても良い。図２は、このような領域の例として、顔矩形２０の幅の３／４を直径とし、顔矩形２０の中心（図２における“ｐ”）を中心とする円内の領域が特定される。

また、「所定の画素」とは、例えば顔矩形２０に含まれる画素のうち肌の色計測のノイズ要因となる画素を排除した残りの画素であっても良い。このようなノイズ要因となる画素の例として、顔の要素（例：眉毛，眼球，唇，鼻孔）や肌のてかり部分などの画素がある。また、「所定の画素」とは、例えば顔矩形２０に含まれる画素のうち、エッジ抽出などの処理によって特定される顔輪郭の内側に含まれる画素であっても良い。また、上記の「所定の画素」の特定方法は必要に応じて組み合わせても良い。

肌の色特定部１３は、「所定の画素」に基づいて統計処理を実施し、被写体人物の肌の色の代表値を取得する。統計処理は、中間値，平均値，最頻値などの単純な処理であっても良い。また、統計処理では、ヒストグラムから例えば３σ等の方法で範囲を区切ることでノイズ要因を排除する処理がさらに実施しても良い。

肌の色特定部１３は、肌の色統計処理を行なうに際し、上述した方法と異なる方法によって被写体人物の肌の色の代表値を取得するように構成しても良い。一例を示すと、肌の色特定部１３は、顔矩形２０内の特定の画素のカラー値を代表値として取得するように構成しても良い。

肌補正色算出部１４は、肌の色特定部１３によって取得された肌の色の代表値に基づいて、この被写体人物の肌に基づいて推定される瞳の色を算出する。以下、肌補正色算出部１４によって推定される瞳の色を「肌補正色」と呼ぶ。肌補正色算出部１４は、ＲＧＢ各色の変換関数（近似式）に基づいて肌補正色を取得する。この近似式は、被写体人物の画像における肌の色と、赤目などの異常が発生していないと認められる画像における瞳の色との相関を示す。この近似式は、前処理として予め取得されている式である。この近似式は、以下の手順に従って求めることができる。

まず、赤目や金目などの瞳の画像について異常が発生していないと認められる画像（言い換えれば「違和感のない画像」，「被写体人物の瞳が正常に撮像されたと認められる画像」）をサンプル画像として多数集める。これらのサンプル画像について統計処理を行なうことにより、被写体人物の画像における肌の色と、異常が発生していないと認められる画像における瞳の色との相関が得られる。具体的には、まず、各サンプル画像における被写体人物の肌の色の代表値Ｓｎ（Ｓｒｎ，Ｓｇｎ，Ｓｂｎ）と、当該人物の瞳の正常な色の代表値Ｅｎ（Ｅｒｎ，Ｅｇｎ，Ｅｂｎ）とを取得する。これらの代表値は、例えば肌の色特定部１３によって実施される統計処理と同様の方法によって取得することができる。もちろん、これらの代表値は、その他どのような方法によって求めても良い。
次に、例えば各色の変換関数が一次方程式で近似できると仮定する。すなわち、以下のような式（１）によって各色の変換関数が表されると仮定する。

Ｅｃ＝Ａｃ・Ｓｃ＋Ｂｃ （１）

ここで、“ｃ”はｒｇｂのいずれかを示す。また、“Ａ”，“Ｂ”は係数を示す。前処理では、各サンプル画像における肌の色の代表値Ｓｎと瞳の正常な色の代表値Ｅｎとに基づいて最小二乗法により係数“Ａ”及び“Ｂ”の値が決定される。このようにして、前処理において、ＲＧＢ各色についての近似式、すなわち肌の色から瞳の正常な色を推定するための３つの近似式を求める。

肌補正色算出部１４は、係る３つの近似式を保有する。そこで肌補正色算出部１４は、予め取得されている近似式に対し、肌の色特定部１３によって取得された肌の色の代表値を代入し、当該被写体の瞳の肌に基づいて推定される正常な色（すなわち肌補正色）を算出する。

なお、上記の説明では、前処理において一次方程式の近似式を取得する場合について説明したが、一次方程式以外の近似式に基づいて前処理及び肌補正色算出部１４の処理を実施してもよい。

瞳検出部１５は、記憶部１１に記憶される画像のうち、瞳色補正装置１０の処理対象となっている画像について、瞳検出処理を実施する。瞳検出処理では、瞳検出部１５は、処理の対象となる画像のうち顔検出部１２によって検出された顔矩形２０内の画像を記憶部２から読み出し、読み出された画像から瞳領域を検出する。瞳領域とは、顔検出部１２によって顔が検出された被写体人物の瞳を含む画像である。

瞳検出部１５による瞳検出処理は、瞳の形に対応した基準テンプレートを用いたテンプレートマッチングによって瞳を検出するように構成しても良い。このとき、瞳検出部１５は、顔検出部１２によって検出された顔矩形２０の大きさから推定される瞳径に対応したテンプレートを選択して瞳検出処理を実施するように構成しても良い。また、瞳検出部１５は、検出された顔矩形２０の位置から大体の瞳位置を推定することにより、テンプレートマッチングを実施する領域を限定するように構成しても良い。また、瞳検出部１５による瞳検出処理は、テンプレートマッチング以外のどのような方法によって実現しても良い。例えば、瞳検出部１５は、入力画像についてエッジ抽出した上で瞳の輪郭を追跡することにより瞳を検出するように構成しても良い。瞳検出部１５は、瞳検出処理によって瞳を検出すると、瞳の領域を示す情報（以下、「瞳領域情報」と呼ぶ）を出力する。

原瞳色検出部１６は、瞳検出部１５で確定された被写体の瞳の外周領域の色を求める。すなわち、図３に示すように、瞳検出部１５で求めた瞳領域Ｒのうち、その瞳領域と同心かつ瞳検出部１５で求めた瞳径の３／４を直径とする円Ｃの外側の領域Ｒ１を被写体の瞳の外周領域とし、その外周領域に存在する各画素の平均色を計測し、求めた色を原瞳色とする。

補正基準色決定部１７は、赤目補正をする場合の基準色となる瞳補正基準色を決定する。具体的には、補正基準色決定部１７は、同一の被写体に対して肌補正色算出部１４が求めた肌補正色と、原瞳色検出部１６で求めた原瞳色とを取得し、肌補正色に基づいて瞳の外周領域を補正し、その補正した瞳色と原瞳色とを比較する。そして、補正基準色決定部１７は、補正した瞳色が原瞳色よりも赤味が増しているか否かを判断し、赤味が増している場合には原瞳色を瞳補正基準色に決定し、赤味が減っている場合には肌補正色を瞳補正基準色に決定する。

すなわち、肌の色に基づいて補正した瞳の色が、補正前の原瞳色に比べて赤味が増した場合、瞳の外周領域は赤目現象を起こしていないと判断できる。よって、その外周領域は、被写体自身の瞳色が残っていることになるため、原瞳色を瞳補正基準色にすることでより高品質な補正をすることができる。逆に、赤味が減っている場合には、瞳の外周領域も赤目現象を起こし、元の瞳色が瞳全体で失われていると推定できるので、肌の色に基づき作成した肌補正色を瞳補正基準色とすることで、肌の色にあった補正を行なうことができ、特許文献２に開示された発明と同等の効果が得られる。

赤味が等しい場合には、どちらを瞳補正基準色としてもよいが、本実施形態では、原瞳色を瞳補正基準色に決定する。被写体自身が持つ瞳色である原瞳色を用いることで、よりその被写体にあった自然な瞳色に補正できる可能性が高いためである。
赤味の評価は、以下の式に示すＲ成分割合（Ｒrate）によって判断する。
Ｒrate＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
但し：０≦Ｒ，Ｇ，Ｂ≦２５５

なお、肌補正色に基づく瞳の外周領域に対する補正処理は、後述する補正部１９における補正処理と同様の手順を用いて実行できる。

判断部１８は、瞳検出部１５によって出力された瞳領域情報に基づき、入力画像上における瞳を示す各画素の色を特定し、赤目や金目などの異常の発生の有無、つまり、補正の要否を判断する。具体的には、瞳領域の各画素と、瞳補正基準色とを比較し、赤味（Ｒ成分割合）の大小を求める。瞳補正基準色の赤味よりも入力画像の赤味の方が高い画素の割合が一定以上の場合、赤目等の異常を起こしており、補正が必要と判断する。もちろん、このように判断部１８を設けてその都度補正の要否を判定することは本発明では必須ではなく、係る補正の要否を判定することなく全ての瞳色を補正するようにしてもよい。

補正部１９は、判断部１８による判断結果に基づいて補正処理を実施する。すなわち、補正部１９は、判断部１８によって、入力画像の瞳の画像に異常が発生していると判断された場合に補正処理を実施する。補正部１９は、補正基準色決定部１７によって決定された瞳補正基準色に基づいて、瞳検出部１５によって検出された瞳領域内の画素の色を補正する。

具体的な補正処理は、以下の通りである。補正部１９は、補正対象となる画素の色について、色味と明度を分けて処理する。まず、色味は瞳補正基準色に従って決定する。つまり、明度を維持したままで瞳補正基準色（肌補正色または原瞳色）に置き換える。ここでは、補正部１９は、補正対象となる画素についてその明度Ｙを以下の式に基づいて取得する。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ

なお、Ｒ，Ｇ，Ｂの各値は０乃至２５５の整数値とする。そして、補正部１９は、瞳補正基準色のＲ，Ｇ，Ｂのそれぞれの値の比率を維持したまま、補正対象となる画素の明度Ｙと同じ明度が得られるようなＲＧＢ値（以下、Ｎｒ，Ｎｇ，Ｎｂとする）を取得する。これは、キャッチライトの効果を維持するためである。補正部１９は、このようにして得られたＮｒ，Ｎｇ，Ｎｂの値を、補正対象となる画素に対して付与することにより色味についての補正処理を実施する。

なお、上記では、Ｒ，Ｇ，Ｂの比率を維持するように補正色を決定したが、これに限らず、Ｒ，Ｇ，Ｂの比率（色味）を瞳補正基準色に基づいて決定する方法であればよい。

一方、明度についての補正は、画素の値を元に、赤目発生前の明度値を推定する。係る明度値の推定は、Ｇ・B値に基づいて実行する。これは、赤目現象で上昇する明度値の増加分が、主に赤色光によると考えられるからである。そこで、瞳補正基準色から、ＲＧＢ各色の最適な比率は決まっているので、ＧとＢの値が定まれば、赤目発生前の明度値を推定できるためである。なお、赤目の反射光は純粋なＲ成分だけではなく、ＧとＢの値も多少は上昇しているものの、Ｒの上昇分に比べると無視できる。

そして、瞳補正基準色の明度を画素の値から推定した明度にあわせた色で画素を置き換える。具体的には、瞳補正基準色のＲＧＢ値の比率を維持したまま、補正後の色のＧＢ明度値が補正対象画素のＧＢ明度値と等しくなるように変換することで、補正後の画素の値としている。ここでＧＢ明度Ｌgbは、次の式で計算する。
Ｌgb＝０．８５７Ｇ＋０．１１４Ｂ

本実施形態によれば、瞳色補正装置１０は、判断部１８による判定処理の判定結果に基づいて、入力画像の瞳部分に対する補正処理の要否が判断される。そして、この判断結果に従って、肌の色に基づいて推定された肌補正色或いは原瞳色のいずれかからなる瞳補正基準色を用いた補正処理が実施される。このため、赤目現象など異常が発生している画像について、ユーザの手を煩わせることなく、被写体人物の瞳の色を正常な色に補正することができる。

また、瞳色補正装置１０では、補正処理が実施される際に、入力画像の補正対象となる画素のＧＢ明度が維持されたままで、瞳補正基準色に基づいた色が決定される。すなわち、元の画素毎のＧＢ明度が維持されたままで色の置き換えが実施される。このため、単純に肌補正色や原瞳色に一色で置き換えられる場合（いわゆるベタ塗りの場合）と異なり、より自然な補正処理を実施することが可能となる。具体的には、いわゆるキャッチライトなどの瞳表面で発生する自然現象による効果を失うことなく、眼球の球形や眼球表面の湿潤感を補正後の瞳の画像において自然に表現することが可能となる。なぜなら、キャッチライトなどの映り込みはＧＢ明度が十分高いため、その色が補正によっても損なわれないためである。従って、高品質の画像補正を実現できる。

さらに、上記の実施形態では、瞳補正基準色は、肌補正色と原瞳色のいずれかに基づいて決定するようにしたが、本発明はこれに限ることはなく、特許文献２に開示された発明のように、肌補正色をそのまま瞳補正基準色とするものについて適用してもよい。

図４は、瞳色補正装置１０の動作例を示すフローチャートである。図４を用いて、瞳色補正装置１０の動作例について説明する。瞳色補正装置１０は、与えられた画像データを記憶部１１に格納する（Ｓ１０）。次いで、顔検出部１２が、処理対象となる画像から被写体人物の顔を検出する顔検出処理を実行する（Ｓ１１）。すなわち、顔検出部１２は、処理対象となる画像から顔矩形２０を検出し、顔矩形情報を取得する。

次に、肌の色特定部１３と肌補正色算出部１４が、肌色統計処理を実行し、肌の色に基づいて推定される瞳の色である肌補正値を算出する（Ｓ１２）。すなわち、肌の色特定部１３が、顔検出部１２によって取得された顔矩形情報に基づいて肌色統計処理を行ない、肌の色の代表値を特定する。次いで、肌補正色算出部１４が、肌の色特定部１３によって求められた肌の色の代表値と予め取得されている近似式とを用いて、顔検出部１２によって顔が検出された人物の瞳色を推定し肌補正色を求める。そして、肌補正色算出部１４は、推定された肌補正色を出力する。

瞳検出部１５は、瞳領域を検出する（Ｓ１３）。次いで、原瞳色算出部１６は、瞳検出部１５により検出された瞳領域の推定瞳径を求め、その瞳の外周領域の代表色を算出し、原瞳色を求める（Ｓ１４）。

補正基準色決定部１７は、原瞳色算出部１６が求めた原瞳色（瞳の外周領域の代表色）と、肌補正色算出部１４が求めた肌補正色（肌の色に基づいて推定される瞳の色）に基づいて瞳の外周領域を補正した瞳色とを取得し、両者を比較し、赤味の少ない方の色を瞳補正基準色に決定する（Ｓ１５）。

次いで判定部１８は、補正基準色決定部１７によって決定された瞳補正基準色と、瞳検出部１５によって検出された瞳領域内の各画素の色とに基づいて、入力画像の瞳について赤目などの異常が発生しているか否か判定する（Ｓ１６）。

判定結果が補正の必要がない場合、そのまま処理を終了する。判定結果が補正の必要がある場合、補正部１９は瞳補正基準色と瞳領域の各画素とに基づき、補正処理を実施する（Ｓ１７）。つまり、色味と明度を分けてとらえ、色味については肌の色或いは瞳の色から決定される瞳補正基準色を用いて補正するようにし、明度についてはＧＢ明度を用いて赤目現象を生じる前の明度を推定し、それに合わせるように補正する。

瞳色補正装置では、予め取得された近似式に基づいて、入力画像の被写体人物の肌の色から当該人物の瞳の正常な色、すなわち画像中に表されるべき瞳の色を推定する。このため、入力画像に赤目や金目などの問題が発生していた場合であっても、このような赤目や金目による瞳の異常な色から独立して、被写体人物の瞳の正常な色を推定することが可能となる。従って、ユーザは、このように推定された肌補正色に基づいて、入力画像の瞳部分について補正を行なうべきか否か判断することができる。すなわち、ユーザは、入力画像の瞳の色と肌補正色とを比較することにより、この入力画像の瞳部分について補正すべき否か判断することが容易となる。また、ユーザは、このように推定された肌補正色に基づいて、入力画像の瞳部分について補正を行ない、違和感のない正常な色の瞳を有した画像を得ることが可能となる。

また、瞳外周領域の原瞳色を求め、原瞳色と肌補正色の何れが瞳補正基準色に適しているか判断しているため、より高精度な補正ができる。すなわち、赤目が瞳の中央などの瞳の一部に発生しており、瞳外周領域にはその被写体自体が持つ瞳の色が残っている場合、その残っている瞳の色（原瞳色）に基づいて赤目補正をした方が、より自然な瞳の色に補正できるためである。

また、ユーザは、このように推定された瞳補正基準色に基づいて、入力画像の瞳部分について補正を行なうべきか否か判断することができる。すなわち、ユーザは、入力画像の瞳の色と肌補正色瞳補正基準色とを比較することにより、この入力画像の瞳部分について補正すべき否か判断することが容易となる。また、ユーザは、このように推定された肌補正色に基づいて、入力画像の瞳部分について補正を行ない、違和感のない正常な色の瞳を有した画像を得ることが可能となる。

さらに、瞳色異常の現象が起こる前の明度を推定し、その明度を再現するように瞳色を補正することで、瞳孔が白く補正されてしまうことを防止し、より高品質な補正を実現することができる。

このような瞳色補正装置１０は、例えばデジタルスチル／ビデオカメラ等の撮像装置やこのような撮像装置を備えた情報処理装置などに適用しても良い。撮像装置などは、瞳色補正装置が適用されることにより、出力される瞳補正基準色に基づいて、撮像された画像に赤目や金目などの異常が発生しているか否か判断することが可能となる。同様に、瞳色補正装置が適用されることにより、瞳の画像について補正すべき色（すなわち肌補正色／原瞳色）を得ることが可能となる。よって、これらの撮像装置などは、その判断に応じて適当な補正を行なうことやユーザに警告を行なうことやユーザに肌補正色を提示すること等も可能となる。

判断部１８は、被写体人物の左右の瞳それぞれについて独立して判断を実施し、それぞれの瞳について判定結果を出力するように構成しても良い。もちろん、被写体人物の左右の瞳はほとんどの場合同一色であるので、補正色も左右同一の色を使用するよう構成することは合理的である。また、瞳色補正装置は、入力画像中に複数の被写体人物の顔等が検出された場合、全員に対して判定処理などを実施するように構成しても良いし、所定の条件を満たす被写体人物（例：顔矩形の大きさが所定の大きさ以上の人物，画面中央付近に位置する人物，顔認証の結果判断される特定の人物）についてのみ判定処理などを実施するように構成しても良い。さらにまた、補正の要否の判断を行なわずに、全ての画像に対して瞳色補正処理をしても良い。

瞳色補正装置は、専属の装置或いはパソコンにアプリケーションプログラムをインストロールすることで、独立して実現されても良いし、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置やミニラボ機やその他の画像処理装置に実装されてもよい。

瞳色補正装置の第一実施形態の機能ブロックの例を示す図である。 顔矩形並びに肌の色の代表値を取得する際に特定される領域の例を示す図である。 瞳の外周領域の例を示す図である。 瞳色補正装置の動作例を示すフローチャートである。

符号の説明

１０ 瞳色補正装置
１１ 記憶部
１２ 顔検出部
１３ 肌の色特定部
１４ 肌補正色算出部
１５ 瞳検出部
１６ 原瞳色算出部
１７ 補正基準色決定部
１８ 判断部
１９ 補正部

Claims (6)

1. 入力された画像における被写体人物の肌の色を特定する肌の色特定手段と、
   前記肌の色特定手段によって特定された肌の色に基づいて、前記画像中に表されるべき当該人物の瞳の色である肌補正色を求める肌補正色算出手段と、
   前記被写体人物の瞳部分の画素の値からその画素の赤目などの色調異常が発生する前の明度を推定する明度推定手段と、
   前記肌補正色に基づく補正基準色と、前記推定した明度を元に、前記被写体人物の瞳の色を補正する補正手段と、
   を備え、
   前記明度推定手段は、画素の色を構成するＲ，Ｇ，Ｂのうち、ＧとＢの値に基づいて決定される明度であるＧＢ明度を算出する機能を備え、
   前記補正手段は、補正基準色のＲ，Ｇ，Ｂの値を基準に、補正基準色の前記ＧＢ明度の値が補正対象画素のＧＢ明度の値と等しくなるように変換するものであることを特徴とする瞳色補正装置。
2. 入力された画像における被写体人物の肌の色を特定する肌の色特定手段と、
   前記肌の色特定手段によって特定された肌の色に基づいて、前記画像中に表されるべき当該人物の瞳の色である肌補正色を求める肌補正色算出手段と、
   前記被写体人物の瞳の外周領域に含まれる画素の色からその外周領域の代表色である原瞳色を求める原瞳色算出手段と、
   前記求めた肌補正色と原瞳色のいずれかにより補正基準色を決定する補正基準色決定手段と、
   前記被写体人物の瞳部分の画素の値からその画素の赤目などの色調異常が発生する前の明度を推定する明度推定手段と、
   前記補正基準色と、前記推定した明度を元に、前記被写体人物の瞳の色を補正する補正手段と、
   を備え
   前記明度推定手段は、画素の色を構成するＲ，Ｇ，Ｂのうち、ＧとＢの値に基づいて決定される明度であるＧＢ明度を算出する機能を備え、
   前記補正手段は、補正基準色のＲ，Ｇ，Ｂの値を基準に、補正基準色の前記ＧＢ明度の値が補正対象画素のＧＢ明度の値と等しくなるように変換するものであることを特徴とする瞳色補正装置。
3. 入力された画像における被写体人物の顔の一部又は全体を含む顔領域を検出する顔検出手段と、
   前記顔検出手段によって検出された当該人物の瞳の一部又は全体を含む瞳領域を検出する瞳検出手段と、を備え、
   前記肌の色特定手段は、前記顔検出手段で検出された顔領域に含まれる画素の色に基づいて肌の色を特定するものであることを特徴とする請求項１または２に記載の瞳色補正装置。
4. 前記肌補正色算出手段によって求められた肌補正色と前記瞳検出手段によって検出された瞳領域から特定される色とを比較することにより、前記画像における当該人物の瞳の色に異常が発生しているか否か判断する判断手段を備え、
   前記補正手段は、判断手段にて異常と判定された場合に補正処理を実行することを特徴とする請求項３に記載の瞳色補正装置。
5. 前記判断手段は、前記瞳色推定手段によって推定された瞳の色における赤みと、前記瞳検出手段によって検出された瞳領域から特定される色における赤みとを比較することにより、前記画像における当該人物の瞳部分が赤目になっているか否か判断する請求項４に記載の瞳色補正装置。
6. コンピュータを、
   入力された画像における被写体人物の肌の色を特定する肌の色特定手段、
   前記肌の色特定手段によって特定された肌の色に基づいて、前記画像中に表されるべき当該人物の瞳の色である肌補正色を求める肌補正色算出手段、
   前記被写体人物の瞳部分の画素の値からその画素の赤目などの色調異常が発生する前の明度を推定するものであって、画素の色を構成するＲ，Ｇ，Ｂのうち、ＧとＢの値に基づいて決定される明度であるＧＢ明度を算出する機能を有する明度推定手段、
   前記肌補正色に基づく補正基準色と、前記推定した明度を元に、前記被写体人物の瞳の色を補正するものであって、補正基準色のＲ，Ｇ，Ｂの値を基準に、補正基準色の前記ＧＢ明度の値が補正対象画素のＧＢ明度の値と等しくなるように変換する機能を有する補正手段、
   として機能させるためのプログラム。

Images