JP5127628B2

JP5127628B2 - 画像処理装置および画像処理方法

Info

Publication number: JP5127628B2
Application number: JP2008206392A
Authority: JP
Inventors: 義尊竹内
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-08-08
Filing date: 2008-08-08
Publication date: 2013-01-23
Anticipated expiration: 2028-08-08
Also published as: JP2010045457A

Description

本発明は、画像処理装置および画像処理方法に関し、特には、撮像素子を用いて撮影された画像に対して階調補正を行う撮像装置に用いて好適な画像処理装置および画像処理方法に関する。

従来から、撮像素子から出力された撮像信号は、現像と呼ばれる処理を介して画像データに変換されて、記録媒体への記録や表示デバイスに対する表示に用いられる。この現像処理においては、撮像素子から出力された信号に対して、予め設定されている階調特性に応じた信号処理を施し、画像データを得る。

例えば、図１１に例示されるように、画像データの入出力特性を示すテーブル（トーンカーブと呼ばれる）を複数用意する。図１１において、横軸および縦軸は、それぞれ入力画像データおよび出力画像データの輝度値を対数軸で示す。図１１の例では、トーンカーブ３００〜３０２の３種類が用意され、入力された画像データの階調特性を、選択されたトーンカーブに従い変換する。このような階調特性の変換処理を、γ処理と呼ぶ。なお、この例では、階調特性の変換を行うと共に、データ長の変換も行う。

ユーザは、トーンカーブ３００〜３０２から、例えば画像データの出力先に応じて適正な画像特性となるようなトーンカーブを選択し、画像データに対するγ処理を行う。トーンカーブは、例えば、中間輝度領域には、対数で表された入力信号に比例した特性が与えられ、高輝度領域と低輝度領域は、入力された原画像データの階調性をできるだけ失わないように圧縮する特性が与えられる。

近年では、さらに、特許文献１のように、撮影した画像の画面内を分割した各領域でヒストグラムを検出し、このヒストグラムを参照して画面全体に対して処理する最適の階調特性（トーンカーブ）を自動的に決定する方式が提案されている。

加えて、特許文献１では、分割した各領域の画像データから鮮鋭度（コントラスト状態）を検出し、鮮鋭度が高い領域を主被写体と認定するようにしている。鮮鋭度の大きさに応じて、主被写体の領域のヒストグラムを重要視するように重み付けを行なってから、階調特性を決定している。

特開２００３−０４６７７８号公報

しかしながら、上述の特許文献１に記載される方法では、処理結果が被写体自体の持つ画像の周波数特性に大きく依存する可能性があるという問題点があった。

例えば、撮像光学系の焦点位置を、撮像光学系による撮影範囲内にある複数の被写体のうち一つ（主被写体と呼ぶ）に合わせて撮影する場合について考える。この場合、主被写体部分の画像が持つ高周波成分が少なく、且つ、主被写体ではない位置の被写体の画像が高周波成分を多く持つ場合がある。

このとき、主被写体の画像よりも高周波成分を多く持つ当該被写体の画像は、撮影時に焦点が合っていなくても、撮影された画像データから検出される鮮鋭度の値が主被写体の鮮鋭度の値よりも大きくなる可能性がある。このような場合、適正なヒストグラム検出ができず、不適切な階調特性でγ処理を行ってしまうおそれがあるという問題点があった。

一方、撮影した画面の中の一部の領域のみについて輝度値を変換し、適切な画像データを得ることが考えられる。この場合、画面全体に一律に与えた階調特性を用いて対象となる領域の輝度値を補正すると、主被写体以外の、輝度値が主被写体と近い、主被写体とは相関の小さい領域にも同様な階調特性を与えることになり、不自然な画像を出力してしまう場合がある。

一例として、図１２に示す被写体のように、複数の人物３１０〜３１２が被写体として撮影範囲にある場合について考える。図１２の例では、主被写体が人物３１０だけであって、人物３１０〜３１２のうち撮影距離が最も近いものとする。また、主被写体以外の人物３１１および３１２は、撮影距離が主被写体と異なると共に、焦点が合っていないものとする。

この図１２のような場合、特許文献１の階調特性の補正方法によると、主被写体である人物３１０の画像に対しては、適切な階調特性が与えられ、好ましい画質に仕上げることができる。一方、主被写体よりも撮影距離が遠い人物３１１および／または３１２の画像の輝度値が、主被写体である人物３１０の画像の輝度値と近い場合、人物３１１および／または３１２に対して、人物３１０と同様の階調特性が与えられることになる。この場合、人物３１１および／または３１２の画像に対する輝度値の補正が、背景の画像に対して不自然に行われてしまい、見苦しい撮影結果となるおそれがあるという問題点があった。

したがって、本発明の目的は、好ましい撮影結果となるように階調特性の補正を行なうことができる画像処理装置および画像処理方法を提供することにある。

本発明は、上述した課題を解決するために、撮像素子から出力された画像信号に基づいて顔検出を行う顔検出手段と、前記顔検出手段で検出された前記画像信号の顔領域に対応する範囲に対する補正量を取得する補正量取得手段と、撮影画面内の複数の焦点検出領域のそれぞれでデフォーカス量を取得するデフォーカス量取得手段と、前記デフォーカス量取得手段で取得された前記デフォーカス量に基づき、前記補正量取得手段で取得される前記補正量に対する重み付けを行う第１の係数を取得する第１の係数取得手段と、前記顔領域に対応する範囲に対して、該範囲に対応する前記焦点検出領域のデフォーカス量に基づく前記第１の係数で重み付けされた前記補正量を用いて画像特性の補正を行う画像特性補正手段とを有することを特徴とする画像処理装置である。

また、本発明は、撮像素子から出力された画像信号に基づいて顔検出を行う顔検出ステップと、前記顔検出ステップで検出された前記画像信号の顔領域に対応する範囲に対する補正量を取得する補正量取得ステップと、撮影画面内の複数の焦点検出領域のそれぞれでデフォーカス量を取得するデフォーカス量取得ステップと、前記デフォーカス量取得ステップで取得された前記デフォーカス量に基づき、前記補正量取得ステップで取得される前記補正量に対する重み付けを行う第１の係数を取得する第１の係数取得ステップと、前記顔領域に対応する範囲に対して、該範囲に対応する前記焦点検出領域のデフォーカス量に基づく前記第１の係数で重み付けされた前記補正量を用いて画像特性の補正を行う画像特性補正ステップとを有することを特徴とする画像処理方法である。

本発明は、上述した構成を有するため、好ましい撮影結果となるように階調特性の補正を行なうことができる。

＜実施形態＞
以下、本発明の実施形態を、図面を参照しながら説明する。先ず、本発明の実施形態に適用可能な撮像素子について説明する。本発明の実施形態に適用可能な撮像素子は、例えばＣＭＯＳイメージセンサからなり、画素がマトリクス状に配置される。そして、各画素に対して、入射光の色分離を行うカラーフィルタが配置される。

本実施形態では、カラーフィルタの配列としてベイヤ配列を採用している。すなわち、図１に例示されるように、２行×２列の４画素を単位として、対角の２画素に緑色（Ｇ）に対する分光感度を有する画素Ｇ_１およびＧ_２を配する。また、他の２画素にそれぞれ赤色（Ｒ）および青色（Ｂ）に対する分光感度を有する画素Ｒ、Ｂを配する。

図２を用いて、撮像素子を含む撮像光学系について概略的に説明する。図２（ａ）は、ベイヤ配列による２行×２列の画素の一例の平面図を示す。また、図２（ｂ）は、撮像光学系の、図２（ａ）におけるＡ−Ａ面による一例の断面図を示す。

フォトダイオードＰＤは、ＣＭＯＳイメージセンサの光電変換素子であって、それぞれ画素を構成する。コンタクトレイヤＣＬは、ＣＭＯＳイメージセンサ内において各種信号を伝達する信号線を形成する配線層である。各画素に対して、赤色のカラーフィルタＣＦ_Ｒ、緑色のカラーフィルタＣＦ_Ｇおよび青色のカラーフィルタＣＦ_Ｂが、図２（ａ）の如くベイヤ配列で配置される。各画素の最前面に対して、オンチップマイクロレンズＭＬが配置される。

被写体からの光が光学撮影レンズＴＬ(Taking Lens)を介してオンチップマイクロレンズＭＬに入射されて集光される。集光された光は、例えばカラーフィルタＣＦ_Ｒにより赤色の波長成分を抽出されてフォトダイオードＰＤに入射される。フォトダイオードＰＤは、入射された光を光電変換により電荷に変換する。

ここで、撮像用画素のオンチップマイクロレンズＭＬとフォトダイオードＰＤは、光学撮影レンズＴＬを通過した光束を可能な限り有効に取り込むように構成される。換言すると、光学撮影レンズＴＬの射出瞳ＥＰ(Exit Pupil)とフォトダイオードＰＤは、オンチップマイクロレンズＭＬにより共役関係にあり、且つ、フォトダイオードＰＤの有効面積は、大面積に設計される。

なお、カラーフィルタＣＦ_Ｒ、ＣＦ_ＧおよびＣＦ_Ｂに対応する画素（以下、それぞれＲ画素、Ｇ画素およびＢ画素と呼ぶ）は、同一の構造となっている。したがって、撮像用のＲ、ＧおよびＢの各画素に対応した射出瞳ＥＰは大径となり、被写体からの光をフォトダイオードＰＤに効率よく取り込むことができ、撮像素子から出力される撮像信号のＳ／Ｎを向上させている。

このベイヤ配列の間に、瞳分割位相差方式による焦点検出を行うための焦点検出用画素を配置する。より具体的には、ベイヤ配列を構成する２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素とを焦点検出用画素に置き換える。

記録や表示のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。人間の画像認識特性は、輝度情報に敏感であるため、このＧ画素が欠けると画質劣化が認知されやすい。一方、Ｒ画素またはＢ画素は、主に色情報（色差情報）を取得する。ここで、人間の画像認識特性は、輝度情報に比べて色情報には鈍感である。そのため、色情報を取得するＲ画素やＢ画素は、多少の欠損が生じても画質劣化が認知され難い。

図３を用いて、焦点検出用画素に係る、撮像素子を含む撮像光学系について概略的に説明する。図３（ａ）は、焦点検出用画素を含む２行×２列の画素の一例の平面図を示す。また、図３（ｂ）は、撮像光学系の、図３（ａ）におけるＡ−Ａ面による一例の断面図を示す。図３（ｂ）において、オンチップマイクロレンズＭＬおよびフォトダイオードＰＤは、上述の図２（ｂ）に示した構造と同一である。

図３（ａ）において、画素Ｓ_ＨＡおよび画素Ｓ_ＨＢが焦点検出を行うための画素である。以下、画素Ｓ_ＨＡおよび画素Ｓ_ＨＢをまとめて焦点検出用画素と呼ぶ。また、図３（ａ）中、画素Ｓ_ＨＡおよび画素Ｓ_ＨＢにおける塗り潰し部分は、配線層ＣＬの開口部である。すなわち、焦点検出用画素に照射された光は、この配線層ＣＬの開口部を通って、フォトダイオードＰＤに入射される。なお、焦点検出用画素による信号は、画像生成には用いないため、画素Ｓ_ＨＡおよび画素Ｓ_ＨＢに対し、透明膜によるフィルタＣＦ_Ｗが配置される。

図３の例では、画素Ｓ_ＨＡに対応する開口部ＯＰ_ＨＡ、ならびに、画素Ｓ_ＨＢに対応する開口部ＯＰ_ＨＢは、オンチップマイクロレンズＭＬの中心線に対して一方向に偏倚して設けられる。これにより、撮像素子による瞳分割が行われる。

具体的には、画素Ｓ_ＨＡに対応する開口部ＯＰ_ＨＡは、図３上で右側に偏倚しているため、光学撮影レンズＴＬの左側の射出瞳ＥＰ_ＨＡを通過した光束を受光する。同様に、画素Ｓ_ＨＢに対応する開口部ＯＰ_ＨＢは、図３上で左側に偏倚しているため、光学撮影レンズＴＬの右側の射出瞳ＥＰ_ＨＢを通過した光束を受光する。

画素Ｓ_ＨＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像を像Ａとする。また、画素Ｓ_ＨＢも同様にして水平方向に規則的に配列し、これらの画素群で取得した被写体像を像Ｂとする。像Ａと像Ｂとの相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。

この、光学撮影レンズＴＬの水平方向に瞳分割を行なうための焦点検出用画素である画素Ｓ_ＨＡおよびＳ_ＨＢは、図４に例示されるように、撮像素子による画面全体に対して規則的に配置される。各焦点検出用画素は、図４に枠線で例示されるように、それぞれ焦点検出を行うための焦点検出領域が設定される。

なお、上述した画素Ｓ_ＨＡおよびＳ_ＨＢは、開口部ＯＰ_ＨＡおよびＯＰ_ＨＢが垂直方向に設けられている。そのため、画素Ｓ_ＨＡおよびＳ_ＨＢを水平方向に配列した場合、撮影画面の水平方向に輝度分布を有した被写体、例えば縦線に対する焦点検出が可能である。垂直方向に輝度分布を有した、横線のような被写体に対する焦点検出を行うためには、画素Ｓ_ＨＡおよびＳ_ＨＢを９０度回転させた、開口部が水平方向に設けられた画素を用いる。これら開口部が垂直方向に設けられた焦点検出用画素と、開口部が水平方向に設けられた焦点検出用画素とを交互に備えるよう構成することで、垂直方向の輝度分布と水平方向の輝度分布とに対応できる。

図５は、本発明の実施形態に適用可能な撮像装置の一例の機能を示す機能ブロック図である。なお、図５では、撮像装置の機能のうち、本実施形態に関連の浅い部分については、省略されている。

光学撮影レンズ１０１は、複数枚のレンズを有すると共に、絞り機構、フォーカス機構およびズーム機構、ならびに、これら各機構を駆動する駆動部などを含む。光学撮影レンズ１０１で集光された被写体像は、撮像素子１０２に結像される。撮像素子１０２は、図１〜図４を用いて説明したように、カラーフィルタがベイヤ配列とされ、焦点検出用画素が画面全体に規則的に配列されている。撮像素子１０２は、結像された光を光電変換し、アナログ信号の画像信号として出力する。このアナログ信号は、Ａ／Ｄ変換部１０３でデジタル信号に変換される。

一方、撮像素子１０２の出力が合焦量検出部１１０に供給される。合焦量取得手段としての合焦量検出部１１０は、撮像素子１０２の出力のうち焦点検出用画素の信号を用いて上述したデフォーカス量を検出する。ここで、検出されたデフォーカス量を、撮像光学系における合焦度合いを示す評価値としての合焦量として定義する。合焦量検出部１１０は、撮像素子１０２の各焦点検出用画素について合焦量すなわちデフォーカス量を求めて記憶する。

撮像情報取得部１５０は、光学撮影レンズ１０１から、焦点距離情報１５１、絞り情報１５２および焦点位置情報１５３を取得する。焦点距離情報１５１は、撮影時の光学撮影レンズ１０１の焦点距離を示す。絞り情報１５２は、光学撮影レンズ１０１に設けられた絞り（図示しない）の設定値を示す。焦点位置情報１５３は、合焦した被写体の撮像素子１０２からの距離を示す。

Ａ／Ｄ変換部１０３の出力は、焦点検出用画素補間部１０４に供給される。焦点検出用画素は、表示用または記録用画像としての画像データを出力しない。そのため、撮像素子１０２による画面内で焦点検出用画素が配置されている箇所については、焦点検出用画素補間部１０４において、焦点検出用画素の周辺の実画像画素を用いて、欠陥画素補間に対する処理と同様にして補間処理を行なう。

焦点検出用画素補間部１０４から出力された画像データは、現像処理部１０５において、γ処理１６０、シャープネス処理１６１および色処理１６２など、デジタルカメラなどで一般的に行われる画像処理が施される。このとき、γ処理１６０は、背景技術で図１１を用いて説明したように、予め決められた複数のトーンカーブから選択されたトーンカーブを用いてγ処理を行う。

現像処理部１０５から出力された画像データは、階調特性補正部１１５に供給されると共に、顔検出部１０６に供給される。顔検出手段としての顔検出部１０６は、供給された画像データに対して顔検出処理１７１を行い、当該画像データから検出された顔について、当該画像データによる画面内の位置および範囲と、顔画像の輝度の平均値とを求める。顔の位置および範囲を示す顔位置情報１７２および顔範囲情報１７３と、顔画像の輝度の平均値を示す顔輝度情報１７４は、それぞれ補正量算出部１０７に供給される。また、顔位置情報１７２および顔範囲情報１７３は、それぞれ階調特性補正部１１５にも供給される。

顔検出部１０６から出力される顔位置情報１７２、顔範囲情報１７３および顔輝度情報１７４について、図６を用いてより具体的に説明する。顔位置情報１７２は、顔検出された顔における中心位置６０２の座標情報を用いる。顔範囲情報１７３は、顔検出された顔の中心位置の輝度値に対して所定範囲の輝度値を有する画素を包含する範囲６０１（以下、顔の範囲６０１と呼ぶ）を用いる。例えば、輝度の最大値を２５５としたとき、顔の中心位置の輝度値に対して±２０の輝度値を有する範囲を顔の範囲６０１とする。顔輝度情報１７４は、顔範囲情報１７３に示される範囲内の画素の輝度平均値を用いる。

なお、本実施形態における顔検出には、公知の顔検出技術を利用できる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

顔検出部１０６から出力された顔位置情報１７２、顔範囲情報１７３および顔輝度情報１７４は、補正量算出部１０７に供給される。補正量取得手段としての補正量算出部１０７は、供給されたこれらの情報に基づき、撮像素子１０２の出力に基づく画像データによる画面内の顔画像とその周辺の位置にのみ範囲を限定して、当該範囲内で階調特性を補正するための補正量を決定して出力する。

図７（ａ）および図７（ｂ）は、補正量算出部１０７において補正量を決定するテーブルの例を示す。この例では、顔輝度情報１７４に対するゲインを補正量として決定している。これらのテーブルに従い、階調特性に対して輝度値が対応する補正量（ゲイン）を乗ずることで、輝度値の補正を行う。なお、ここでは、輝度値が８ビットで表現され、最大値が２５５であるものとする。

例えば図７（ａ）のテーブルは、顔輝度情報１７４が輝度平均値で値１７０以下のときに、顔の明るさに正のゲインを乗ずる特性を持つことを表している。さらに、顔輝度情報１７４が輝度平均値で値８０のときに最大のゲインを乗じ、平均輝度値が値８０より小さいか、値８０より大きいときは、過剰な補正を行なわないように、正のゲイン値を徐々に小さくしていくことを表している。

図７（ｂ）は、検出された顔に対する位置に応じて補正量としてのゲインを切り替える例を示す。一例として、上述の図６に示されるように、検出された顔の範囲６０１に対して第１の正のゲインを補正量として決定したとする。顔の範囲６０１から例えば所定画素毎に周辺に離れていくのに従い、第１の正のゲインを徐々に小さくする。

図８を用いてより具体的に説明する。図８は、上述した図６と対応し、例えば図８における範囲５０１は、顔範囲情報１７３に示される範囲であって、図６における顔の範囲６０１に対応する。先ず、範囲５０１に対して、図７（ｂ）にテーブル２０１で示される第１の正のゲインを補正量として決定する。範囲５０１の外側の数画素（例えば２画素）の範囲５０２に対して、図７（ｂ）にテーブル２０２で示される、第１の正のゲインよりも小さい第２の正のゲインを補正量として決定する。さらに範囲５０２の外側の数画素（例えば２画素）の範囲５０３に対して、図７（ｂ）にテーブル２０３で示される、第２の正のゲインよりもさらに小さい第３の正のゲインを補正量として決定する。

このように、補正対象の範囲から離れるにつれ、補正量としてのゲインを徐々に小さくしていくことで、階調特性を補正する顔画像とその周辺との境界で階調特性が不自然に変化するのが抑制される。

重み付け手段としての補正量重み付け演算部１１４は、補正量算出部１０７から出力された補正量に対して、以下に説明する合焦度評価値と撮影距離評価値とを重み付け係数として演算して、階調特性補正部１１５で用いる補正量を算出する。

先ず、合焦度評価値について説明する。合焦量検出部１１０は、検出され記憶された各焦点検出領域の合焦量に基づき第１の係数取得手段としての合焦度評価値テーブル１１１を参照し、当該焦点検出領域毎の合焦度評価値を求める。本実施形態では、合焦量すなわち焦点検出用画素から出力されたデフォーカス量が小さいほど、当該焦点検出用画素に設定された焦点検出領域が、合焦度が高く、ピントが合って撮影されている領域であるとする。

本実施形態では、合焦度が高い被写体ほど重要視する重み付けを行うテーブルを与える。図９は、このような合焦度評価値テーブル１１１の一例を示す。図９の例では、デフォーカス量が０から所定値（例えば１０）の範囲が合焦度が高いと定義し、この合焦度が高いデフォーカス量の範囲では、合焦度評価値を１．０とする。一方、当該所定値を越えるデフォーカス量に対して、デフォーカス量が大きくなるにつれて小さくなる特性を合焦度評価値に与える。焦点検出領域毎にこの合焦度評価値テーブル１１１を参照し、当該焦点検出領域毎の合焦度評価値を求める。

なお、この合焦度評価値を１．０とするデフォーカス量の最大値（上述の例では１０）は、絞り情報１５２と焦点距離情報１５１とを用いて、撮影画像の被写界深度に応じて変更することができる。

次に、撮影距離評価値について説明する。合焦量検出部１１０の検出結果に基づき合焦度評価値テーブル１１１を参照して得た合焦量評価値と、撮像情報取得部１５０で抽出した焦点位置情報１５３とに基づき、焦点検出領域毎に、被写体までの距離を示す撮影距離情報を取得する。撮影距離評価値は、この撮影距離情報に基づき撮影距離評価値テーブル１１２を参照して求める。撮影距離評価値は、焦点検出領域毎に求められる。撮像情報取得部１５０と合焦量検出部１１０とで距離取得手段が形成される。

本実施形態では、撮影距離の近い被写体ほど重要視する重み付けを行うテーブルを与える。図１０は、このような第２の係数取得手段としての撮影距離評価値テーブル１１２の一例を示す。図１０の例では、撮影に用いたレンズの最短撮影距離（例えば０ｍ）から所定距離（例えば１２ｍ）の範囲で撮影された被写体の重要度が高いと定義し、この範囲での撮影距離評価値を１．０とする。一方、当該所定距離を超える撮影距離に対して、撮影距離が遠くなるにつれ急激に小さくなる特性を撮影距離評価値に与える。図１０は一例であり、この特性はレンズの焦点距離に応じて様々である。例えば、レンズの焦点距離が大きいほど、重みが重み１．０から減り始める撮影距離が長くなる。また、焦点のぼけ方も焦点距離の長いレンズほど急激なので、重み付けの傾きも急になる。

なお、撮影距離に関し、レンズの焦点距離を示す焦点距離情報１５１をさらに考慮してもよい。この場合、撮影距離評価値テーブル１１２に、焦点距離情報１５１に応じた特性を与えることが考えられる。

補正量重み付け演算部１１４は、合焦度評価値および撮影距離評価値をそれぞれ重み付け係数として、補正量算出部１０７から供給された、階調特性を補正する補正量に対する演算を行う。これにより、デフォーカス量および撮影距離に対する補正量の重み付けを行う。

補正量重み付け演算部１１４は、例えば次式（１）に従い、補正後のゲインＧを求める。なお、式（１）において、値ａは、合焦度評価値と撮影距離評価値とを乗じた値であって、０≦ａ≦１の値を取る。また、値ｇは、補正量算出部１０７においてテーブルを参照して求めた補正量（ゲイン）であり、ｇ≧１の値を取る。この式（１）で分かるように、値ａは、補正量算出部１０７で求めたゲインを１から値ｇの間で制御する。
Ｇ＝１＋ａ(ｇ−１) ・・・（１）

補正量重み付け演算部１１４で重み付けされた階調特性の補正量であるゲインＧは、階調特性補正部１１５に供給される。階調特性補正部１１５は、このゲインＧに基づき、現像処理部１０５から供給された画像データに対する画像特性補正処理を行う。より具体的には、階調特性補正部１１５は、このゲインＧを階調特性に対して乗じ、このゲインＧが乗じられた階調特性に基づき、現像処理部１０５から供給された画像データの輝度値を変換する。このとき、顔位置情報１７２および顔範囲情報１７３に基づき、当該画像データのうち顔範囲情報１７３に示される範囲とその周辺の所定範囲に対応する焦点検出領域毎に、輝度値の変換処理を行う。

階調特性補正部１１５で階調特性が変換された画像データは、出力部１１６から出力され、図示されない表示部への表示や、記録媒体に対する記録などが行われる。

以上説明したように、本発明の実施形態によれば、撮影された画像データに対して顔検出を行い、検出された顔の範囲に対して階調特性の補正を行うための補正量を設定する。そして、この補正量に対して、焦点の合焦度合いおよび被写体に対する撮影距離によって重み付けを行っている。そのため、撮影レンズの焦点が合わされた場所の顔の輝度に対して最も明るい階調特性を補正する処理が行なわれ、複数の人物が１の画像データに撮影されている場合でも、自然な好ましい人物画像を出力することが可能となる。

ベイヤ配列を説明するための図である。撮像素子を含む撮像光学系について説明するための図である。焦点検出用画素に係る撮像素子を含む撮像光学系について説明するための図である。焦点検出用画素の一例の配置を示す図である。本発明の実施形態に適用可能な撮像装置の一例の機能を示す機能ブロック図である。顔検出部から出力される情報について説明するための図である。補正量出力部において補正量を決定するテーブルの例を示す図である。検出された顔に対する位置に応じて補正量としてのゲインを切り替えることを説明するための図である。合焦度が高い被写体ほど重要視する重み付けを行う合焦度評価値テーブルの一例を示す図である。撮影距離の近い被写体ほど重要視する重み付けを行う撮影距離評価値テーブルの一例を示す図である。トーンカーブを説明するための図である。複数の人物を撮影した場合に不具合が発生する可能性があることを説明するための図である。

符号の説明

１０２撮像素子
１０５現像処理部
１０６顔検出部
１０７補正量算出部
１１０合焦量検出部
１１１合焦度評価値テーブル
１１２撮影距離評価値テーブル
１１４補正量重み付け演算部
１１５階調特性補正部
１５０撮像情報取得部

Claims

撮像素子から出力された画像信号に基づいて顔検出を行う顔検出手段と、
前記顔検出手段で検出された前記画像信号の顔領域に対応する範囲に対する補正量を取得する補正量取得手段と、
撮影画面内の複数の焦点検出領域のそれぞれでデフォーカス量を取得するデフォーカス量取得手段と、
前記デフォーカス量取得手段で取得された前記デフォーカス量に基づき、前記補正量取得手段で取得される前記補正量に対する重み付けを行う第１の係数を取得する第１の係数取得手段と、
前記顔領域に対応する範囲に対して、該範囲に対応する前記焦点検出領域のデフォーカス量に基づく前記第１の係数で重み付けされた前記補正量を用いて画像特性の補正を行う画像特性補正手段と
を有することを特徴とする画像処理装置。
前記撮像素子で撮影された被写体までの距離を示す撮影距離情報を、前記焦点検出領域毎に取得する距離取得手段と、
前記距離取得手段で取得された前記撮影距離情報に基づき、前記補正量取得手段で取得される前記補正量に対する重み付けを行う第２の係数を取得する第２の係数取得手段と
をさらに有し、
前記画像特性補正手段は、前記顔領域に対応する範囲に対して、該範囲に対応する前記焦点検出領域のデフォーカス量に基づく前記第１の係数及び撮影距離情報に基づく第２の係数で重み付けされた前記補正量を用いて前記補正を行う
ことを特徴とする請求項１に記載の画像処理装置。
前記補正量取得手段は、前記顔領域に対応する範囲の周辺の範囲に対する補正量として、前記顔領域に対応する範囲から離れるにつれてより小さい値を取得することを特徴とする請求項１または請求項２に記載の画像処理装置。
前記画像特性補正手段は、前記画像特性として階調特性を用いて前記補正を行う
ことを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
前記撮像素子は、瞳分割位相差方式による焦点検出を行うための焦点検出用画素が複数配置され、
前記焦点検出領域は、前記焦点検出用画素の位置に対応している
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
前記補正量取得手段は、前記顔領域に対応する範囲の輝度に基づいて、該顔領域に対応する範囲に対する補正量を取得することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記補正量取得手段は、前記顔領域に対応する範囲の輝度が所定値に近いほど、該顔領域に対応する範囲に対する補正量としてより大きい値を取得することを特徴とする請求項６に記載の画像処理装置。
撮像素子から出力された画像信号に基づいて顔検出を行う顔検出ステップと、
前記顔検出ステップで検出された前記画像信号の顔領域に対応する範囲に対する補正量を取得する補正量取得ステップと、
撮影画面内の複数の焦点検出領域のそれぞれでデフォーカス量を取得するデフォーカス量取得ステップと、
前記デフォーカス量取得ステップで取得された前記デフォーカス量に基づき、前記補正量取得ステップで取得される前記補正量に対する重み付けを行う第１の係数を取得する第１の係数取得ステップと、
前記顔領域に対応する範囲に対して、該範囲に対応する前記焦点検出領域のデフォーカス量に基づく前記第１の係数で重み付けされた前記補正量を用いて画像特性の補正を行う画像特性補正ステップと
を有することを特徴とする画像処理方法。