JP6817779B2 - 画像処理装置、その制御方法、プログラムならびに記録媒体 - Google Patents

Description

本発明は、画像処理装置、その制御方法、プログラムならびに記録媒体に関する。

近年、輝度信号ごとに定められたゲインを適用して画像のコントラストを向上させるローカルトーンマッピング技術が知られている。

輝度信号ごとに定められたゲインを適用する階調処理を行う場合、所定の被写体領域を明るくするように特定の輝度信号の範囲にゲインをかけると、他の領域まで明るくなってコントラストが低下する場合がある。例えば、図５（５ａ）に示すような人物領域５０１が存在するシーンでは、図５（５ｂ）に示すように、人物領域５０１の明るさと人物領域以外の領域５０２の明るさとに重なる範囲が存在する。このため、人物領域を明るくするように強いゲインをかけた場合、明るさの分布が重なる人物領域以外の領域も明るくなり、人物以外の領域のコントラストが低下する。
所望の被写体領域でない領域の明るさが変化する課題に対し、被写体領域ごとに異なる階調特性を適用する方法が考えられる。特許文献１は、画素のレベルによって領域を設定し、設定した領域に略同一のゲインをかける技術を開示している。

特開２００９−２７２９８３号公報

上述した従来技術のように、領域ごとに（例えば被写体ごとに）異なる階調特性を適用する場合、領域の設定（被写体領域の判別）を高精度に行えることが前提となっている。しかしながら、一般に、様々な撮影条件において被写体領域の判別を高精度に行うことは困難である場合が多く、判別した領域に誤検出を含む場合がある。すなわち、被写体領域の判別が高精度に行えない（すなわち判別した領域に誤検出を含む）場合に、領域ごとに異なる階調特性を適用すると意図しない領域の明るさが変化してしまう。このため、領域ごとに異なる階調特性を適用する場合に、被写体領域の判別に誤りがあっても、その影響を低減することができる階調補正技術が望まれている。

本発明は、上述の問題点に鑑みてなされたものである。すなわち、被写体領域ごとに異なる階調特性を適用する階調補正において、被写体領域の判別に誤りがあってもその影響を低減可能な画像処理装置、その制御方法、プログラムならびに記録媒体を提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、入力画像に基づいて段階的に縮小した１つ以上の縮小画像を生成する画像生成手段であって、入力画像と縮小画像とは階層化された画像を構成する、画像生成手段と、階層化された画像のそれぞれに第１の階調特性を適用すると共に、１つ以上の縮小画像の少なくとも１つに更に第２の階調特性を適用して、画像の各画素位置におけるゲインを表すゲインマップを階層ごとに生成するゲインマップ生成手段と、階層ごとに生成されたゲインマップを合成して、入力画像の各画素位置に適用されるゲインを表す合成されたゲインマップを生成する合成手段とを有し、ゲインマップ生成手段は、１つ以上の縮小画像の少なくとも１つに第１の階調特性と第２の階調特性とを被写体領域ごとに適用し、第１の階調特性と第２の階調特性とは、入力画像に含まれる被写体領域ごとに対応付けられた互いに異なる階調特性である、ことを特徴とする。

本発明によれば、被写体領域ごとに異なる階調特性を適用する階調補正において、被写体領域の判別に誤りがあってもその影響を低減することが可能になる。

実施形態１に係る画像処理部の機能構成例を示すブロック図 実施形態１に係るゲイン処理の一連の動作を示すフローチャート 階調特性、ゲインＭＡＰ、及び領域判別結果について説明する図 実施形態１に係る第１の階調特性と第２の階調特性の一例を示す図 入力画像に対する階調補正の一例を説明する図 実施形態２に係る画像処理部の機能構成例を示すブロック図 実施形態２に係るゲイン処理の一連の動作を示すフローチャート 実施形態２に係る第１の階調特性、第２の階調特性及び第３の階調特性の一例を示す図 実施形態２に係る階調補正の一例を説明する図 被写体の判別結果に基づく階層の決定方法について説明する図 実施形態１及び２に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示す図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、入力した画像にゲイン処理を施すことが可能な任意のデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、入力した画像にゲイン処理を施すことが可能な任意の電子機器にも適用可能である。これらの機器には、例えばパーソナルコンピュータ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。

（デジタルカメラの構成）
図１１は、画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示している。なお、図１１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

光学系１１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置及びシャッター装置を含む。光学系１１０１は、制御部１１０５の指示に応じて、撮像部１１０２に含まれる撮像素子に入射する被写体像の倍率やピント位置、或いは撮像部１１０２に入射する光量を調整する。

撮像部１１０２は、光電変換素子を有する画素が複数、２次元的に配列された構成を有する撮像素子を含む。撮像素子は、光学系１１０１により結像された被写体光学像を各画素で光電変換し、アナログ信号を順次出力する。撮像素子は、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子であってよい。Ａ／Ｄ変換部１１０３は、撮像部１１０２から出力されたアナログ信号をＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号（画像データ）を出力する。

画像処理部１１０４は、画素補間処理等の現像処理や記録部１１１０に画像を記録するための所定の圧縮処理を行う。また、別途後述する本実施形態に係るゲイン処理を行って、ゲイン処理を適用した出力画像を生成する。画像処理部１１０４はＡ／Ｄ変換部１１０３から出力された画像に限らず、記録部１１１０から読み出した画像に対しても同様の画像処理や伸張処理を行うことができる。なお、画像処理部１１０４は、専用の画像処理回路によって実現されてもよいし、制御部１１０５がプログラムを実行することによってソフトウェア的に画像処理部１１０４の機能を実現してもよい。

制御部１１０５は、例えばＣＰＵあるいはＭＰＵ、ＲＯＭ、ＲＡＭ等を含み、ＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、デジタルカメラ１００の全体を制御する。

操作部１１０６は、例えばタッチパネル、ダイヤル、ボタン、スイッチ等の操作部材を含み、ユーザによる操作を制御部１１０５へ伝達する。操作部１１０６の一部がタッチパネルである場合、タッチパネルに操作メニューを表示すると共に、撮影又は記録された画像を表示してもよい。記録部１１１０は、例えば半導体メモリが搭載されたメモリカードや磁気ディスク等の記録媒体を含み、撮影された画像を記録し或いは記録された画像を読み出す。

（画像処理部１１０４の構成）
図１は、本実施形態に係る画像処理部１１０４の機能構成例を示すブロック図である。画像処理部１１０４は、入力された画像に対してゲイン処理を行って画像を出力する。なお、Ａ／Ｄ変換部１１０３から出力された画像データは、不図示の輝度値算出部によってＲＧＢデータから輝度信号に変換され、画像処理部１１０４には輝度信号によって構成される画像が入力される。画像処理部１１０４は、入力画像から被写体領域を判別する被写体領域判別部１０３を含む。また、入力画像を段階的に縮小して階層化した画像を生成するための第１の縮小画像生成部１０１と第２の縮小画像生成部１０２とを含む。更に、階層化された画像の信号をゲイン信号に変換する第１のゲイン変換部１０４、第２のゲイン変換部１０５を含む。また、被写体領域ごとにゲインマップ生成を行うため、生成された縮小画像に対する複数のゲインマップ（ゲインＭＡＰ）を合成するゲインＭＡＰ領域別合成部１０６を含む。更に、階層化されたゲインＭＡＰから最終的に入力画像に適用するゲインＭＡＰを生成する階層ゲインＭＡＰ合成部１０７と、算出されたゲインを入力画像に適用して階調変換処理のなされた（ゲインの変化した）出力画像を出力するゲイン処理部１０８を含む。これらの各ブロックの動作については、図２に示す一連の動作とともに後述する。

（ゲイン処理に係る一連の動作）
次に、図２を参照して、ゲイン処理に係る一連の動作について説明する。なお、ゲイン処理は、Ａ／Ｄ変換部１１０３から撮影された画像データが出力され、当該画像データに基づく輝度信号が画像処理部１１０４に入力される際に開始される。

Ｓ２０１において、被写体領域判別部１０３は、入力画像から意味のある被写体領域を判別する。本実施形態では例えば人物領域を判別する。被写体領域の判別には、例えば特開２００６−３９６６６号公報に示されるような、画像の特徴量や学習データを用いた一般的な領域判別の手法を用いることができる。

例えば、図３（３ｃ）に示す様なシーンにおいて人物領域を判別した場合、被写体領域の判別結果は、例えば図３（３ｄ）に示す様な白黒画像になる。図３（３ｄ）の例では、人物領域であると判別された領域は、領域３０１に示す白領域となり、反対に人物領域以外の領域は、領域３０２の様に黒領域となる。本実施形態では、白領域から黒領域までの信号値の範囲を２５５から０までの信号値として出力する。この信号値は、領域判別結果の信頼度の０から１００％の値を示しており、例えば信頼度１００％を２５５、信頼度０％を０に割り当てている。なお、本実施形態では、判別した被写体以外の領域を背景領域という。

Ｓ２０２において、第１の縮小画像生成部１０１は、入力画像に対する縮小処理を行って第１の縮小画像を生成し、第２の縮小画像生成部１０２は、第１の縮小画像に基づいて第２の縮小画像を生成する。入力画像と第１の縮小画像と第２の縮小画像とは、画像サイズ（あるいは縮小度合）が段階的に異なる階層化された画像（画像群）を構成する。本実施形態の例では、第２の縮小画像は第１の縮小画像をさらに縮小処理した画像である。なお、縮小処理の方法については、例えばバイリニア法を用いた縮小処理等、公知な一般的な方法を用いることができる。

Ｓ２０３において、第１のゲイン変換部１０４は、階層化された画像（入力画像とＳ２０２において生成された第１の縮小画像と第２の縮小画像とで構成される画像群）に対して第１の階調特性を適用し、各々の画像に対応するゲインＭＡＰを生成する。階調特性とは、入力輝度信号に対するゲインの関係を示すテーブルであり、本実施形態では、図３（３ａ）で示すような横軸を入力輝度信号、縦軸をゲイン信号で示したゲインテーブルを指す。第１の階調特性は、背景領域に対応付けられている階調特性である。第１の階調特性の詳細については後述する。第１のゲイン変換部１０４は、階層化された各画像に第１の階調特性を適用することにより、図３（３ｂ）に示すような画像内の各位置（各画素位置）のゲイン信号で構成されるゲインＭＡＰをそれぞれ生成する。なお、ゲインＭＡＰは、画像内の各位置（各画素位置）のゲイン信号（ゲイン値）を表すものであればよく、テーブルなどの形式であってもよい。

Ｓ２０４において、第２のゲイン変換部１０５は、最下層の画像（第２の縮小画像）に第２の階調特性を適用してゲインＭＡＰを生成する。第２の階調特性は、人物領域に対応付けられている階調特性である。第２の階調特性については後述する。

Ｓ２０５において、ゲインＭＡＰ領域別合成部１０６は、第１の階調特性と第２の階調特性とがそれぞれ適用された２つの最下層（第２の縮小画像の大きさ）のゲインＭＡＰを合成して、最下層のゲインＭＡＰを生成する。ゲインＭＡＰ領域別合成部１０６は、合成のために用いる合成係数として、Ｓ２０１において生成された領域判別結果を用いる。なお、領域判別結果は第２の縮小画像の大きさに縮小される。ゲインＭＡＰ領域別合成部１０６は、合成結果のゲインＭＡＰの値Gaincomp(x,y)を、（式１）に従って算出する。但し、第２の縮小画像の座標(x,y)に対し、第１の階調特性によって生成したゲインＭＡＰの値をGain1(x,y)、第２の階調特性によって生成したゲインＭＡＰの値をGain2(x,y)とする。また、領域判別結果の信号値をarea(x,y)とし、領域判別の信号値のとりうる最大値をarea_MAXとする。

なお、上述した例では領域判別結果area(x,y)をそのまま使用したが、領域判別結果に対し、ローパスフィルタやバイラテラルフィルタ等をかけて判別結果の境界を目立たなくさせた信号値を使用しても良い。

Ｓ２０６において、階層ゲインＭＡＰ合成部１０７は、Ｓ２０３において入力画像及び第１の縮小画像からそれぞれ生成されたゲインＭＡＰと、Ｓ２０５において第２の縮小画像から生成されたゲインＭＡＰとの３つゲインＭＡＰを合成して、最終的なゲインＭＡＰ（合成ゲインマップ）を生成する。ゲインＭＡＰの合成処理については、画像サイズの大きいゲインＭＡＰのゲイン信号と画像サイズの小さいゲインＭＡＰのゲイン信号とを、ゲインの信号差に応じて加重加算する公知の手法（例えば特開２０１４−１５４１０８号公報）を用いることができる。

Ｓ２０７は、ゲイン処理部１０８は、Ｓ２０６で生成された合成後のゲインＭＡＰを用いて、入力画像に対してゲインをかける処理を行う。座標(x,y)の入力画像の信号値をin(x,y)、第２のゲインＭＡＰの値をGain(x,y)とすると、ゲイン処理後の出力信号の信号値out(x,y)は（式２）のように表される。

画像処理部１１０４は、ゲイン処理部１０８の処理を終了すると、ゲイン処理のなされた（すなわち階調変換処理のなされた）出力画像を出力して本処理に係る一連の動作を終了する。

このように、本実施形態におけるゲイン処理では、入力画像を上階層、縮小画像を下階層として各階層のゲインＭＡＰを合成して最終的なゲインＭＡＰを生成するゲイン処理を行った。このとき、下階層（すなわち相対的に解像度の低い画像）では、被写体判別結果に基づいて、被写体領域ごとに異なる階調特性を適用してゲインＭＡＰを生成するようにしている。このように下階層において被写体領域ごとの階調特性を適用することによって、被写体領域の境界付近における、被写体判別結果の誤検出による影響を平滑化（すなわち低減）することができる。

次に、Ｓ２０３及びＳ２０４において用いた第１の階調特性と第２の階調特性について、図４を参照してより具体的に説明する。

図４は、横軸を入力輝度信号、縦軸をゲイン信号とするゲインテーブルを示しており、第１の階調特性を階調特性４０１、第２の階調特性を階調特性４０２として示している。どちらの特性も低輝度ではゲインを強くかけ、高輝度になるにつれ、ゲインが弱まるような特性をもつ。図４の右図に示す画像は、本実施形態における入力画像の例を示しており、人物領域４１１（人物領域５０１に対応）とそれ以外の領域（領域５０２に対応）とを含む。

図５を参照して説明したように、従来の方法では、人物領域５０１を明るくするようにゲインをかけると、人物領域以外の領域５０２まで明るくなってしまい、人物領域以外の領域のコントラストが低下する課題があった。これに対し、本実施形態では、重なっている明るさの範囲５０３において、人物領域とそれ以外の領域とで異なるゲイン特性を適用する。すなわち、人物領域に対応する範囲として４０３（図４）で示した輝度の範囲では、領域ごとに大きく異なるゲインが適用される。例えば、第２の階調特性４０２は、人物領域について顔が適正の明るさに近づくようにゲインを強くかける特性を有する。これに対して、第１の階調特性４０１は、人物領域以外の領域について暗部が明るくなり過ぎてコントラストが低下しないように、人物領域よりもゲインを弱めるような特性を有する。更に、第１の階調特性４０１及び第２の階調特性４０２は、４０４で示す輝度の範囲において、徐々に同じ特性になっていくように近づく。このような階調特性を用いることにより、ゲインを切り分けたい輝度域以外は同じ又は類似する特性になるような階調制御を行うことが出来る。また、高輝度側で領域判別結果の誤抽出等が起きた場合であっても、特性差が殆ど無いため、領域判別の誤検出による弊害は目立たないといったロバスト性の向上も期待できる。

なお、本実施形態では、判別する被写体領域として人物領域を用いる場合を例に説明したが、人物領域に限らず、空領域や草木領域など、意味のある他の被写体領域を用いることができる。

以上説明したように本実施形態では、階層化された画像に対するゲインＭＡＰを合成して最終的なゲインＭＡＰを生成するようにした。このとき、縮小した下階層（すなわち相対的に解像度の低い画像）では被写体領域ごとに対応付けられた異なる複数の階調特性を適用してゲインＭＡＰを生成するようにした。このようにすることで、被写体領域ごとに異なる階調特性を適用する場合に、被写体領域の領域判別結果に対してロバスト性を高めることができ、コントラスト向上効果の高い階調処理を行うことができる。すなわち、被写体領域ごとに異なる階調特性を適用する階調補正において、被写体領域の判別に誤りがあってもその影響を低減することが可能になる。

更に、所望の被写体領域とそれ以外の領域とで共通する明るさの範囲では、領域ごとの階調特性のゲインの差が大きくなるようにし、共通しない明るさの範囲ではゲインの差が小さくなるようにした。このようにすることで、所望の被写体領域でない領域のコントラストを良好に維持することができる。また、ゲインの差を強調すべき輝度（低輝度）の範囲では領域ごとのゲインの差を拡大させ、その他の輝度（高輝度）の範囲ではゲインの差を少なくするようにした。このようにすることで、高輝度領域では領域判別に対してもロバスト性を高めた被写体領域別の階調処理を行うことができる。

（実施形態２）
次に実施形態２について説明する。実施形態２では、２種類以上の被写体判別処理を行った結果を用いて、領域別に適用する階調特性を変更する点が実施形態１と異なるがデジタルカメラ１００の構成は共通である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

図６は、本実施形態に係る画像処理部１１０４の構成を示している。本実施形態では、異なる２つの領域判別処理を行うための第１の被写体領域判別部６０３と第２の被写体領域判別部６０４とを有する。また、第１のゲイン変換部１０４、第２のゲイン変換部６０１、及び第３のゲイン変換部６０２の３つのゲイン変換部を有する。更に、ゲインＭＡＰ領域別合成部６０５は実施形態１と異なる。各構成の詳細は後述する。

次に、図７を参照して本実施形態に係るゲイン処理について説明する。

Ｓ７０１において、第１の被写体領域判別部６０３は、入力画像から意味のある第１の被写体領域を判別する。例えば第１の被写体領域として人物領域を判別する。被写体領域を判別する方法には、実施形態１と同様に画像の特徴量や学習データを用いた公知の方法を用いることができる。被写体判別結果についても実施形態１と同様に２５５から０までの信号値を信頼度の１００〜０％の値として出力する。

Ｓ７０２において、第２の被写体領域判別部６０４は、入力画像から意味のある第２の被写体領域を判別する。例えば、第２の被写体領域として空領域を判別する。判別する方法と判別結果については、上記Ｓ７０１におけるものと同様とする。そして、Ｓ７０３において、第１の縮小画像生成部１０１と第２の縮小画像生成部１０２は、実施形態１と同様に、入力画像に対し縮小処理を行って第１の縮小画像と第２の縮小画像とを生成する。

Ｓ７０４において、第１のゲイン変換部１０４は、入力画像と、Ｓ７０３において生成された第１の縮小画像と第２の縮小画像とに対して第１の階調特性を適用し、各階層のゲインＭＡＰを生成する。第１の階調特性は背景領域に適用することを前提とした階調特性である。第１の階調特性の詳細については後述する。

Ｓ７０５において、第２のゲイン変換部６０１は、第２の縮小画像に対して第２の階調特性を適用し、第２の階調特性に対応するゲインＭＡＰを生成する。第２の階調特性は人物領域に適用することを前提とした階調特性である。第２の階調特性の詳細については後述する。

Ｓ７０６において、第３のゲイン変換部６０２は、第２の縮小画像に対して第３の階調特性を適用し、第３の階調特性に対応するゲインＭＡＰを生成する。第３の階調特性は空領域に適用することを前提とした階調特性である。第３の階調特性については後述する。

Ｓ７０７において、ゲインＭＡＰ領域別合成部６０５は、第２の縮小画像をもとに第１の階調特性、第２の階調特性、第３の階調特性によって生成されたゲインＭＡＰのそれぞれを合成する。合成するために使用する合成係数には、Ｓ７０１において得られた第１の領域判別結果とＳ７０２において得られた第２の領域判別結果とを用いる。ここで、第２の縮小画像の座標(x,y)に対応する第１の階調特性、第２の階調特性、第３の階調特性によって生成されたそれぞれのゲインＭＡＰの値をGain1(x,y)、Gain2(x,y)、Gain3(x,y)とする。また、第１と第２の領域判別の信号値をそれぞれarea1(x,y)、area2(x,y)とし、第１と第２の領域判別の信号値のとりうる最大値をarea_MAXとする。このとき、ゲインＭＡＰ領域別合成部６０５は、合成結果のゲインＭＡＰの値Gaincomp(x,y)を（式３）に従って算出することができる。Gaincomp_dash(x,y)は合成の途中結果である。

なお、本実施形態では領域判別結果area1(x,y)、area2(x,y)をそのまま使用したが、領域判別結果に対して、ローパスフィルタやバイラテラルフィルタ等をかけた後の信号値を使用してもよい。

Ｓ７０８において、階層ゲインＭＡＰ合成部１０７は、Ｓ７０４において入力画像、第１の縮小画像からそれぞれ生成されたゲインＭＡＰと、Ｓ７０７において第２の縮小画像に基づき生成されたゲインＭＡＰとを合成して、最終的なゲインＭＡＰを生成する。ゲインＭＡＰの合成方法は、実施形態１と同様であるため、説明は省略する。

Ｓ７０９において、ゲイン処理部１０８は、Ｓ７０８で生成されたゲインＭＡＰを用いて、実施形態１と同様に入力画像に対するゲイン処理を行う。そして、画像処理部１１０４は、ゲイン処理部１０８によるゲイン処理が完了すると、出力画像を出力して本一連の動作を終了する。

更に、図８を参照して、上述したＳ７０４、Ｓ７０５、Ｓ７０６においてそれぞれ使用された第１の階調特性、第２の階調特性、第３の階調特性について説明する。横軸を入力輝度信号、縦軸をゲイン信号で示したゲインテーブルにおいて、第１の階調特性は階調特性８０１、第２の階調特性は階調特性８０２、第３の階調特性は階調特性８０３に対応している。どの特性も低輝度ではゲインを強くかけ、高輝度になるにつれてゲインが弱まるような特性をもつ。図８の右図に示す画像は、本実施形態における入力画像の例を示しており、人物領域８１１と空領域８１２とそれ以外の領域８１３とを含んでいる。

図９に示すように、本実施形態では、人物領域８１１と（人物・空以外の）領域８１３の明るさ分布の重なる範囲９０１に加えて、空領域８１２と領域８１３とで明るさが重なっている明るさの範囲９０２においてゲインを切り分けることを考える。第２の階調特性は、第１の階調特性８０１に対し、輝度の範囲８０４においてゲインを大きく異ならせているのに対し、第３の階調特性は、第２の階調特性８０２に対し、輝度の範囲８０７においてゲインを大きく異ならせている。すなわち、人物領域は顔が明るくなるようにゲインを強くかけている第２の階調特性８０２に対し、第１の階調特性８０１は人物領域以外の暗部が明るくなり過ぎてコントラストが低下しないように、人物領域よりもゲインを弱める特性となっている。また、空領域はゲインがあまりかからない様にゲインを弱めている第３の階調特性８０３に対し、第１の階調特性８０１は中輝度から高輝度にかけて階調圧縮によるコントラスト低下を抑える為に、ゲインが滑らかにかかる特性となっている。

さらに本実施形態では、第２の階調特性が輝度の範囲８０５で徐々に第１の階調特性と同じ特性になるように近づけるだけでなく、第３の階調特性についても輝度の範囲８０６で徐々に第１の階調特性と同じ特性になるように近づける。このようにすることで、実施形態１と同様にゲインを切り分けたい輝度域以外では同じ特性になるような階調制御を行うことができる。そして、実施形態１と同様、高輝度側で領域判別結果の誤抽出等が起きた場合であっても階調の特性差が殆ど無い為に、弊害は目立たないといったロバスト性の向上も期待できる。

以上説明したように本実施形態では、階層化画像に対するゲインＭＡＰを合成して最終的なゲインＭＡＰを生成する処理において、縮小した下階層において被写体ごとに対応付けられた異なる複数の階調特性を適用してゲインＭＡＰを生成するようにした。特に、縮小した下階層において、被写体ごとに対応付けられた異なる複数の階調特性から得られたゲインマップを複数の領域判別結果に基づいて合成するようにした。このようにすることで、複数の被写体に対する領域判別結果を用いる場合においても、それぞれの領域判別結果の影響を低減した階調補正を行うことができる。

なお、実施形態１と実施形態２では、第２の縮小画像、つまり最下層の画像において被写体領域ごとに階調特性を異ならせたゲインＭＡＰを生成する例を説明したが、第１の縮小画像に対しても同様の処理を適用してもよい。

また、被写体領域ごとに階調特性を異ならせてゲインＭＡＰを生成する上述の処理を、領域判別処理の出力精度（領域判別結果の信頼度や被写体判別結果の出力解像度）に応じて、どの階層（どの縮小度合）の画像まで適用するかを決定するようにしてもよい。

例えば、図１０は、等倍の画像を第１階層、最も画像サイズの小さい最下層の画像を第Ｎ階層とした場合に、上述した異なる階調特性を適用する処理を、どの階層まで適用するかを判定するための表を示している。図１０（１０ａ）に示す表は、領域判別結果の信頼度に応じた階層選択を可能にする表を示している。一方、図１０（１０ｂ）に示す表は、領域判別結果の出力解像度に応じた階層選択を可能にする表を示している。

なお、この例では、信頼度は、領域判別結果で出力された信頼度のうち最大となる値を指すものとしているが、判別結果の平均値等を使用しても良い。図１０（１０ａ）の表では、領域判別結果の信頼度が１００％に近づくにつれて、第Ｎ階層より上の階層において徐々に被写体領域別に階調特性を異ならせてゲインＭＡＰを生成するようになっている。図１０（１０ａ）のようにすることで、領域判別結果の信頼度に応じて、被写体領域別の階調処理による効果をどれだけ最終的にゲイン処理で使用するゲインＭＡＰに反映させるかを制御することができる。また、図１０（１０ｂ）のように、領域判別の出力解像度がどれ程度のサイズになるかに応じて、第Ｎ階層から、そのサイズの階層まで被写体領域別に階調特性を異ならせてゲインＭＡＰを生成する処理を行うかを制御することもできる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…第１の縮小画像生成部、１０２…第２の縮小画像生成部、１０３…第１の被写体領域判別部、１０４…第１のゲイン変換部、１０５…第２のゲイン変換部、１０６…ゲインＭＡＰ領域別合成部、１０７…階層ゲインＭＡＰ合成部、１０８…ゲイン処理部

Claims (12)

1. 入力画像に基づいて段階的に縮小した１つ以上の縮小画像を生成する画像生成手段であって、前記入力画像と前記縮小画像とは階層化された画像を構成する、画像生成手段と、
   前記階層化された画像のそれぞれに第１の階調特性を適用すると共に、前記１つ以上の縮小画像の少なくとも１つに更に第２の階調特性を適用して、画像の各画素位置におけるゲインを表すゲインマップを階層ごとに生成するゲインマップ生成手段と、
   前記階層ごとに生成されたゲインマップを合成して、前記入力画像の各画素位置に適用されるゲインを表す合成されたゲインマップを生成する合成手段と、を有し、
   前記ゲインマップ生成手段は、前記１つ以上の縮小画像の前記少なくとも１つに前記第１の階調特性と前記第２の階調特性とを被写体領域ごとに適用し、
   前記第１の階調特性と前記第２の階調特性とは、前記入力画像に含まれる被写体領域ごとに対応付けられた互いに異なる階調特性である、ことを特徴とする画像処理装置。
2. 前記入力画像から所定の被写体領域を判別する判別手段を更に有し、
   前記ゲインマップ生成手段は、前記判別手段による判別結果に基づいて、前記１つ以上の縮小画像の前記少なくとも１つに前記第１の階調特性と前記第２の階調特性とを被写体領域ごとに適用する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の階調特性は、前記入力画像に含まれる前記所定の被写体領域に対応付けられた階調特性であり、前記第１の階調特性は、前記所定の被写体領域と異なる領域に対応付けられた階調特性である、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記ゲインマップ生成手段は、前記判別手段による領域判別の精度に応じて、前記第１の階調特性と前記第２の階調特性とを適用する前記１つ以上の縮小画像の数を異ならせる、ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記ゲインマップ生成手段は、前記判別手段による領域判別の精度が高いほど、縮小度合が低い前記１つ以上の縮小画像に前記第１の階調特性と前記第２の階調特性とを適用する、ことを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記第１の階調特性と前記第２の階調特性とは、前記所定の被写体領域と前記所定の被写体領域でない領域とで共通しない輝度信号の範囲に適用するゲインの差が、それぞれの領域で共通する輝度信号の範囲に適用するゲインの差より小さい、ことを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
7. 前記ゲインマップ生成手段は、前記１つ以上の縮小画像の前記少なくとも１つに、最も縮小された前記縮小画像を含む、ことを特徴とする請求項２から６のいずれか１項に記載の画像処理装置。
8. 前記判別手段は、前記所定の被写体領域と異なる第２の所定の被写体領域を前記入力画像から判別し、
   前記ゲインマップ生成手段は、前記判別手段による判別結果に基づいて、前記第２の所定の被写体領域に対応付けられた、前記第１の階調特性と前記第２の階調特性とは異なる第３の階調特性を、更に前記１つ以上の縮小画像の少なくとも１つに適用する、ことを特徴とする請求項２から７のいずれか１項に記載の画像処理装置。
9. 入力画像に基づいて段階的に縮小した１つ以上の縮小画像を生成し、前記入力画像と前記縮小画像から構成される画像群を生成する画像生成手段と、
   前記画像群のそれぞれの画像に対して所定の階調特性を適用し、画像の各画素位置におけるゲインを表すゲインマップを生成するゲインマップ生成手段と、
   前記それぞれの画像に対して生成されたゲインマップを合成して合成ゲインマップを生成する合成手段と、
   前記入力画像に前記合成ゲインマップを用いて階調変換処理を行う処理手段と、を備え、
   前記ゲインマップ生成手段は、前記画像群のうちで相対的に解像度が低い画像に対しては、画像に含まれる被写体領域ごとに特性が異なる階調特性を適用してゲインマップを生成する、ことを特徴とする画像処理装置。
10. 画像生成手段が、入力画像に基づいて段階的に縮小した１つ以上の縮小画像を生成する画像生成工程であって、前記入力画像と前記縮小画像とは階層化された画像を構成する、画像生成工程と、
    ゲインマップ生成手段が、前記階層化された画像のそれぞれに第１の階調特性を適用すると共に、前記１つ以上の縮小画像の少なくとも１つに更に第２の階調特性を適用して、画像の各画素位置におけるゲインを表すゲインマップを階層ごとに生成するゲインマップ生成工程と、
    合成手段が、前記階層ごとに生成されたゲインマップを合成して、前記入力画像の各画素位置に適用されるゲインを表す合成されたゲインマップを生成する合成工程と、を有し、
    前記ゲインマップ生成工程では、前記１つ以上の縮小画像の前記少なくとも１つに前記第１の階調特性と前記第２の階調特性とを被写体領域ごとに適用し、
    前記第１の階調特性と前記第２の階調特性とは、前記入力画像に含まれる被写体領域ごとに対応付けられた互いに異なる階調特性である、ことを特徴とする画像処理装置の制御方法。
11. コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
12. 請求項１から９のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラムを格納した記録媒体。