JP5676972B2 - 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 - Google Patents

Description

本発明は画像処理に関し、特にデジタル画像データにソフトフォーカスの効果を付加する画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体に関する。

写真撮影用のカメラレンズの種類は多様であり、その中にソフトフォーカスレンズがある。ソフトフォーカスレンズは、ハイライト部分から光が滲み出すような描写が可能なレンズであり、その多くは意図的に球面収差を発生させて、柔らかな描写を発生させる。

また、レンズ自体にソフトフォーカスの機能を持たせるのではなく、フィルタを使用してソフトフォーカスの効果を得る方法が知られている。この場合、そのフィルタを撮影レンズの先端部分に装着し、フィルタを通過する光に制限を与えることにより、ソフトフォーカスレンズを使用して撮影したときと同じような少しぼやけたような効果を得る。

近年では、デジタルカメラで撮影された画像の写真としての表現方法の１つとして、ソフトフォーカスの効果を、画像処理で実現する方法が提案されている。例えば、原画像のぼかし画像を作成し、所定の透過率で原画像と合成する方法が提案されている（特許文献１参照）。この技術では、透過率が０％では原画像が使用され、１００％でぼかし画像が使用される。ぼかし画像は原画像に対して２次元のガウスフィルタをかけることで生成することができる。また、特許文献１は、面内一様の透過率を設定するのではなく、顔領域を検出し、検出した顔領域の透過率を小さく設定したり、高輝度部を検出し、検出された高輝度領域の透過率を高く設定したりする等する方法を提案している。こうして、ソフトフォーカスをかけたい領域を適応的に変えることで、ソフトフォーカスの効果をより高めることができるとされている。

これに対し、原画像とぼかし画像をある加算比率で合成する場合に、その加算比率をモニタ確認時と印刷時とで異なるように設定する方法が提案されている（特許文献２参照）。特許文献２に記載された方法によれば、モニタ表示用の画像サイズの小さい画像と印刷用の画像サイズの大きい画像との間で、ソフトフォーカスの効果を、大凡、一致させることができるとされている。

特開２００７−０６５７８４号公報 米国特許第６５６０３７４号明細書

上述の通り、原画像とぼかし画像とを合成することによって、ソフトフォーカスの効果を得ることができる。しかしながら、特許文献１に開示された方法では、元画像のデータサイズをリサイズ処理等で変更した場合、画像サイズの大きい画像と画像サイズの小さい画像とではソフトフォーカスの効果が異なって見えてしまうという問題がある。

また、特許文献２に開示された技術では、入力画像の周波数特性は考慮されていないために、例えば、ポートレート写真や風景写真等、撮影対象の種類が異なる画像に対するソフトフォーカスの効果がばらついてしまうという問題がある。

本発明はかかる事情に鑑みてなされたものであり、画像のシーンを問わず、画像サイズの異なる画像に対して同一のソフトフォーカスの効果を実現することができる画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、入力画像にソフトフォーカス処理を施す画像処理装置であって、１つの前記入力画像からぼかし具合の異なる複数のぼかし画像を生成するぼかし画像生成手段、前記１つの入力画像及び前記複数のぼかし画像の各画像に所定の合成ゲインを乗算して得られる画像を合成する合成手段、及び、前記合成ゲインを前記１つの入力画像の撮影条件にしたがって設定する合成ゲイン計算手段を有するソフトフォーカス処理手段と、画像サイズがそれぞれ異なる複数の前記入力画像に対して同一のソフトフォーカス効果を実現することができるように画像サイズごとに前記合成ゲインが予め設定された合成ゲイン用テーブルを記憶する記憶手段と、を備え、前記ソフトフォーカス処理手段は、前記合成ゲイン用テーブルから前記入力画像の画像サイズに応じて選択された前記合成ゲインを用いて、前記入力画像にソフトフォーカス処理を施すことを特徴とする。

本発明によれば、画像のシーンを問わず、異なる画像サイズの画像に対して同一のソフトフォーカスの効果を実現することができる。すなわち、画像サイズの異なる画像でも、同じ画角での観賞サイズで実質的に同一のソフトフォーカスの効果を得ることができる。

本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。 図１の画像処理装置が備えるソフトフォーカス処理部でのソフトフォーカス処理を模式的に示すブロック図である。 図２のソフトフォーカス処理部が備えるぼかし画像生成部と大ぼかし画像生成部での各処理を示すフローチャートである。 入力画像に対するソフトフォーカス処理の周波数領域での伝達特性を示す図である。 図１の画像処理装置が備えるソフトフォーカス処理部におけるソフトフォーカス処理を模式的に示すブロック図である。 代表的なシーンの例を示す図である。 図６に示す各シーンの概ねの周波数特性を示す図である。 入力画像のシーンに対応する合成ゲインテーブルを表１〜表３に示されるシーン毎合成ゲインテーブルから選択するためのシーン判定のフローチャートである。 画像上での顔検出処理の態様を模式的に示す図である。 顔検出処理を用いたポートレートシーン判定のフローチャートである。 入力画像の色信号のヒストグラムの例を示す図である。 入力画像の色信号のヒストグラム解析による風景シーン判定のフローチャートである。 図１の画像処理装置が装備可能な別のソフトフォーカス処理部でのソフトフォーカス処理を模式的に示すブロック図である。 入力画像の周波数特性を解析する処理のフローチャートである。 入力画像の例（ａ）と、（ａ）の入力画像に基づいて生成された周波数スペクトル画像の例（ｂ）である。 図１５のステップＳ１４０３により得られた周波数−パワースペクトル曲線の例（ａ）と、合成ゲインの設定方法を模式的に示す図（ｂ）である。

以下、本発明の実施形態について、添付図面を参照しながら詳細に説明する。本発明に係る画像処理方法は、デジタルカメラ等の撮影レンズを用いた撮影系により撮影された、複数の色プレーンからなる画像に対して適用することができる。そこで、本発明の実施形態に係る画像処理装置として、デジタルカメラ等の撮影系を有する画像処理装置を取り上げることとする。なお、本発明に係る画像処理方法の適用対象となる画像としては、ＲＡＷデータや現像処理後のＪＰＥＧ等が挙げられるが、これらに限定されるものではない。

＜画像処理装置の概略構成＞
最初に画像処理装置の概略構成について説明する。図１は、本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。画像処理装置は、結像光学系（レンズ）１０１と、撮像素子１０２と、Ａ／Ｄ変換部１０３と、ホワイトバランス部１０４と、色補間部１０５と、マトリクス変換部１０６と、ガンマ変換部１０７と、色調整部１０８と、リサイズ部１０９とを備える。また、画像処理装置は、２つの圧縮部１１０，１１２と、２つの記憶部１１１，１１３と、ソフトフォーカス処理部１１４と、制御部１２０と、メモリ１２１と、インタフェース（Ｉ／Ｆ）１２２とを備える。

図１において、被写体からの反射光は、結像光学系（レンズ）１０１を経て、被写体像を光電変換する撮像素子１０２上に結像する。撮像素子１０２としては、例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子が用いられる。原色カラーフィルタは６５０ｎｍ、５５０ｎｍ、４５０ｎｍの各波長の近傍に透過主波長帯を持つ３種類の色フィルタからなり、それぞれ、Ｒ（赤），Ｇ（緑），Ｂ（青）の各バンドに対応する色プレーンを撮影する。

単板カラー撮像素子では、各色フィルタが画素毎に空間的に配列され、各画素では単一の色プレーンにおける強度を得ることしかできない。このため、撮像素子１０２からは色モザイク画像が出力される。Ａ／Ｄ変換部１０３では、撮像素子１０２からアナログ電圧として出力される色モザイク画像を、以降の画像処理に適するデジタルデータへと変換する。

ホワイトバランス部１０４では、白を白く表現する処理がなされ、具体的には白くあるべき領域のＲ，Ｇ，Ｂが等色になるようなゲインがＲ，Ｇ，Ｂのそれぞれにかけられる。色補間部１０５では、色モザイク画像を補間することによって、全ての画素においてＲ，Ｇ、Ｂの色情報が揃ったカラー画像が生成される。生成されたカラー画像がマトリクス変換部１０６とガンマ変換部１０７とを経ることで、基本的なカラー画像が生成される。

基本的なカラー画像に対して、色調整部１０８で画像の見栄えを改善するための処理、例えば、ノイズ低減、彩度強調、色相補正、エッジ強調といった画像補正が行われる。本実施形態では、所望の色調整が行われた画像を「画像サイズの大きい画像」と称する。画像サイズの大きい画像は、メモリ１２１に記憶され、又は、圧縮部１１２でＪＰＥＧ等の規格で圧縮されて、記憶部１１３に記憶される。なお、記憶部１１３としては、フラッシュメモリ等の記憶媒体が用いられる。

画像処理装置の撮影設定によっては、画像サイズを小さくして画像を記憶する場合がある。その場合、リサイズ部１０９において所望のサイズに画像を縮小する。本実施形態では、こうして縮小した画像を「画像サイズの小さい画像」と称する。画像サイズの小さい画像は、メモリ１２１に記憶され、又は、圧縮部１１０で画像サイズの小さい画像をＪＰＥＧ等の規格で圧縮されて、記憶部１１１に記憶される。なお、記憶部１１１としては、フラッシュメモリ等の記憶媒体が用いられる。

このようにして現像処理された画像サイズの大きい画像や画像サイズの小さい画像に対して、ソフトフォーカス処理部１１４がソフトフォーカス処理を行う。ソフトフォーカス処理部１１４の構成については、後に詳細に説明する。

画像処理装置を構成する各処理部で用いられる画像データや撮影時情報等のデータはメモリ１２１に記憶される。制御部１２０は、画像処理装置を構成する各処理部の制御、すなわち、画像処理装置の全体制御を司る。なお、ユーザの外部操作による指示がインタフェース（Ｉ／Ｆ）１２２を介して画像処理装置へ入力される。

以下に説明する各種の処理は、制御部１２０が所定のプログラムを実行することによって、画像処理装置を構成する各処理部の各機能が発現されるように、各処理部を制御することによって実現される。

＜ソフトフォーカス処理方法＞
図２は、ソフトフォーカス処理部１１４でのソフトフォーカス処理を模式的に示すブロック図である。なお、図２では、画像サイズの大きい入力画像と画像サイズの小さい入力画像のそれぞれに対してソフトフォーカス処理を施す際に共通して必要とされる部分のみを記載している。

ソフトフォーカスの効果は、概略、入力画像２０１と、ぼかし画像生成部２０２で生成したぼかし画像と、大ぼかし画像生成部２０３で生成した大ぼかし画像とを、各々、所定の合成比率で合成することにより実現される。「ぼかし画像」とは入力画像に対してぼやけた、つまり、高周波成分が減少した画像であり、「ぼかし画像」と「大ぼかし画像」とでは、ぼかし具合の異なる画像であって、高周波成分の減少の程度が異なっている。

この処理方法では、入力画像２０１の成分の幾分かを残す。これにより、単純に入力画像２０１をぼかすだけの処理と比べて、被写体の芯をしっかりと残したまま、ソフト感（ソフトフォーカスの効果）を出すことが可能となる。また、入力画像２０１と大ぼかし画像だけでなく、これらの中間的な画像であるぼかし画像をこれらに混ぜることで、空間的にぼかし度合いが極端に変化することで発生する不自然さを軽減することができる。つまり、ぼかした画像として、本実施形態ではぼかし画像と大ぼかし画像の２つの画像を用いているが、これに限定されず、ぼかし具合の異なるより多くの画像を用いて出力画像２０８を合成してもよい。

合成部２０４は、入力画像２０１に対して合成ゲイン２０７を、ぼかし画像に対して合成ゲイン２０６を、大ぼかし画像に対して合成ゲイン２０５をそれぞれ乗算した後、これらの画像を加算する。これにより、ソフトフォーカスの効果のある出力画像２０８が合成され、合成部２０４から出力される。なお、合成ゲイン２０５〜２０７の各レンジは０〜１であり、入出力の明るさを維持するために、合成ゲイン２０５〜２０７の合計は“１”となるように設定される。

図３は、ぼかし画像生成部２０２と大ぼかし画像生成部２０３での各処理を示すフローチャートである。ぼかし画像又は大ぼかし画像を生成する方法としては幾つかあり、例えば、ガウシアンフィルタ係数によるローパスフィルターを縦及び横にかけて平滑化する方法がある。

しかしながら、この方法を用いて期待するぼかし具合を実現するためには、カーネルサイズが大きくなって、処理時間が膨大なものとなってしまうという問題があり、画像処理装置上で処理することは現実的ではない。そこで、本実施形態では、処理時間を短縮し、且つ、所望のぼかし具合を得るために、縮小処理と拡大処理を組み合わせる。

最初に、目標とする縮小サイズを設定する（ステップＳ３０１）。例えば、ぼかし画像としては各辺１／４サイズ、大ぼかし画像としては各辺１／１６サイズとすることで、ボケ具合を変えることができる。図３のステップＳ３０１に示される［ｉ＝１，Ｎ，１］は、変数ｉの初期値を“１”とし、変数ｉが“Ｎ”になるまで変数ｉを“１”ずつインクリメントすることを意味している。各辺を１／４サイズまで縮小する場合には“Ｎ＝２”に設定され、各辺を１／１６サイズまで縮小する場合には“Ｎ＝４”に設定され、ステップＳ３０１以降の処理がぼかし画像と大ぼかし画像のそれぞれについて行われる。

ステップＳ３０１の後、縮小処理による高周波成分の折返り（所謂、モアレ）の発生を防ぐために、縮小処理の前に縦方向及び横方向にフィルタ係数〔１，２，１〕のローパスフィルター（ＬＰＦ）をかけて平滑化する処理を行う（ステップ３０２）。続いて、縦方向及び横方向で１／２縮小処理を行い（ステップＳ３０３）、Ｎ回の縮小処理を行ったか否かを判定する（ステップＳ３０４）。縮小処理をＮ回行っていない場合（Ｓ３０４で“ＮＯ”）、処理はステップＳ３０２に戻される。Ｎ回の縮小処理が終了した場合（Ｓ３０４で“ＹＥＳ”）、拡大処理を行うために処理はステップＳ３０５に進められる。

拡大処理は縮小処理と同様に行われる。すなわち、ステップＳ３０５では、拡大処理の変数ｉが縮小処理と同じように設定される。続いて、縦方向及び横方向で２倍拡大処理を行い（ステップＳ３０６）、Ｎ回の拡大処理を行ったか否かを判定する（ステップＳ３０７）。拡大処理をＮ回行っていない場合（Ｓ３０７で“ＮＯ”）、処理はステップＳ３０６に戻される。拡大処理をＮ回行った場合（Ｓ３０７で“ＹＥＳ”）、処理は終了となる。

入力画像２０１が画像サイズの大きい画像である場合、作成されたぼかし画像及び大ぼかし画像に対して、画像サイズの大きい画像用の任意の適切な合成ゲイン２０６及び合成ゲイン２０５をそれぞれ乗算し、合成部２０４にて最終的な合成を行う。画像サイズの大きい画像用の合成ゲイン２０５，２０６は、例えば、制御部１２０により設定されている。これにより、画像サイズの大きい画像のソフトフォーカス画像が得られる。

なお、本実施形態では、縮小時の変倍率を１／２倍としたが、これに限られるものではなく、例えば、１／４倍としてもよいし、更にこれらと異なる倍率としてもよい。但し、縮小時の変倍率に併せて、画像にかけるローパスフィルターのフィルタ係数を適宜変える必要がある。例えば、縮小時の変倍率を１／４倍とした場合、フィルタ係数は〔１，４，６，４，１〕とする必要がある。

［画像サイズの小さい画像に対する合成ゲインの設定方法］
入力画像２０１のサイズが異なる場合でも同一のソフトフォーカスの効果を実現するために、ソフトフォーカスの効果を定量的に扱う。先ず、画像サイズの大きい入力画像に対するソフトフォーカス処理の周波数領域での伝達特性を解析する。そして、これと同様に、画像サイズの小さい入力画像に対する任意の合成ゲインでのソフトフォーカス処理の周波数領域での伝達特性を解析する。

図４は、入力画像に対するソフトフォーカス処理の周波数領域での伝達特性を示す図であり、横軸に周波数を取り、縦軸にゲインを取っている。図４において、実線は画像サイズの大きい入力画像に対するソフトフォーカス処理の周波数領域での伝達特性を、一点鎖線は画像サイズの小さい入力画像に対するソフトフォーカス処理の周波数領域での伝達特性を示している。また、実線と一点鎖線に挟まれる領域（図４において斜線で表わされる領域）が、これら２つの伝達特性の誤差（以下、単に「誤差」という）を表している。

画像サイズの小さい入力画像に対する合成ゲイン２０５〜２０７が変化すると、ソフトフォーカス処理の周波数領域での伝達特性も変化する。換言すれば、図４に示される誤差が無くなるような合成ゲイン２０５〜２０７を設定することにより、画像サイズの大きい入力画像と画像サイズの小さい入力画像のそれぞれに対するソフトフォーカスの効果を同一にすることができる。なお、「同一」とは、ソフトフォーカスの効果が実質的に同じであると判断できることをいう。以下、画像サイズの小さい入力画像に対する合成ゲインの設定方法について具体的に説明する。

［第１の合成ゲインの設定方法］
図５は、ソフトフォーカス処理部１１４でのソフトフォーカス処理を模式的に示すブロック図である。図５に示されるぼかし画像生成部２０２、大ぼかし画像生成部２０３、合成部２０４はそれぞれ、図２を参照して説明したぼかし画像生成部２０２、大ぼかし画像生成部２０３、合成部２０４と同じであるので、ここでの説明を省略する。画像サイズの小さい入力画像２１４に対して設定される合成ゲイン２０５〜２０７は、以下に説明する通りに、合成ゲイン計算部２０９により決定される。一方、画像サイズの大きい入力画像に対して設定される合成ゲイン２０５〜２０７は、図２を参照して説明した通りであり、合成ゲイン計算部２０９は関与しない。

先に説明した通り、異なる画像サイズ間で同一のソフトフォーカスの効果を得るためには、図４に示される誤差を無くす必要がある。しかし、図２に示したように画像３枚程度の合成では変数としての枚数が足りず、合成ゲイン２０５〜２０７をどのような値に設定しても誤差を無くすことは極めて困難である。これに対して、合成する枚数を数十枚、数百枚と増やすことで誤差を限りなくゼロとする合成ゲインを設定できる可能性はあるが、その場合には回路数が増大してしまうため、処理速度やメモリ容量を考慮すると、現実的ではない。

そこで、第１の合成ゲインの設定方法では、誤差を完全に無くすのではなく、誤差が極力小さくなるように合成ゲイン２０５〜２０７を設定することとし、そのために、入力画像のシーンに応じて誤差を小さくする周波数領域を限定する。すなわち、入力画像のシーン毎にソフトフォーカスの効果を特化させることにより、誤差を無くした場合のソフトフォーカスの効果と極めて近いソフトフォーカスの効果を得る。そこで、先ず、代表的なシーンの周波数特性について説明する。

図６は、代表的なシーンの例を示す図である。図６（ａ）はポートレートシーン、図６（ｃ）は風景シーンであり、図６（ｂ）は、ポートレートシーン及び風景シーン以外の標準的シーンである。図７は、図６に示した各シーンの概ねの周波数特性を示す図であり、横軸に周波数を取り、縦軸にパワースペクトルの総和を取っている。なお、パワースペクトルの総和は、画像を２次元フーリエ変換し、パワー（絶対値の二乗）スペクトルを求め、得られたパワースペクトルを、原点を中心に３６０°の全方向で足すことで求められる。

図６（ａ）のようなポートレートシーンでは、被写体を際立たせるために、絞りを開放寄りに設定して背景をぼかす撮影を行うことが多く、そのため、周波数特性は主に低周波領域に山を持つ（図７（ａ））。図６（ｃ）のような風景シーンでは、細かなディティールまで鮮明に描写するために、絞りを絞って撮影することが多く、そのため、周波数特性は主に高周波領域に山を持つ（図７（ｃ））。図６（ｂ）のような標準的シーンでは、図７（ａ）と図７（ｃ）の中間的な周波数特性を持つようになる（図７（ｂ））。なお、図７に示されるａｖｅ（ａ）、ａｖｅ（ｂ）、ａｖｅ（ｃ）はそれぞれ、周波数特性（ａ）、（ｂ）、（ｃ）の平均周波数を示している。

第１の合成ゲインの設定方法では、誤差を小さくする周波数領域を図７（ａ）〜（ｃ）の周波数特性に合わせて限定する。例えば、図７（ａ）の場合、平均周波数ａｖｅ（ａ）を中心として、±α［ｍ^−１］の周波数領域内での誤差を最小とするような合成ゲイン２０５〜２０７を算出する。周波数領域の伝達特性の一致度を表す指標としてはＲＭＳ誤差を用い、ＲＭＳ誤差は、下記の数１式で表される。

数１式において、Ｌ_ｆｒｅｑは、画像サイズの大きい入力画像２１４に対するソフトフォーカス処理の周波数ｆｒｅｑにおける周波数特性のゲインである。また、Ｓ_ｆｒｅｑは、画像サイズの小さい入力画像２１４に対するソフトフォーカス処理の周波数ｆｒｅｑにおける周波数特性のゲインである。

上記方法により、入力画像の代表的なシーン毎に合成ゲイン２０５〜２０７を計算し、表１、表２及び表３に示すようなテーブルを作成する。なお、表１〜表３に示される［合成ゲイン１］、［合成ゲイン２］、［合成ゲイン３］はそれぞれ、図５に示される入力画像用の合成ゲイン２０７、ぼかし画像用の合成ゲイン２０６、大ぼかし画像用の合成ゲイン２０５に対応している。

表１〜表３に示されるテーブルを、プリセットのシーン毎合成ゲインテーブル２１０として、メモリ１２１（図１参照）に予め格納しておく。数値は例であるが、傾向としてポートレートシーンよりも風景シーンの方が高周波成分を含む被写体が多いことから、合成ゲイン３は風景が高めに設定されている。また、効果の度合い「弱め」よりも「強め」の方が合成ゲイン３の割合が高めに設定されている。画像サイズに関しては、画像サイズ：小の方がソフトフォーカス処理の効果が顕著に出ることから、合成ゲイン３は画像サイズが小さいほど低めに設定されている。

図５のソフトフォーカス処理では、撮影条件２１１として入力画像のシーンを用いる。入力画像のシーンを特定し、該当するシーンの合成ゲインテーブルをシーン毎合成ゲインテーブル２１０から選択し、合成ゲイン計算部２０９において合成ゲイン２０５〜２０７を決定する。

さて、従来から、撮影モードとして、Ｐ（プログラム優先）、Ａｖ（絞り優先）、Ｔｖ（秒時優先）、Ｍ（マニュアル）等をダイアル操作によって選択可能に構成されたデジタルカメラが知られている。また近年では、初心者向けの撮影モードとして、全自動やポートレート、風景、スポーツ、マクロ、夜景等の撮影シーンの観点からカテゴライズされた撮影モードを搭載し、ユーザが任意の撮影モードを選択可能なデジタルカメラが一般的である。そこで、第１の合成ゲインの設定方法では、ユーザが選択している撮影モード（撮影シーン）を利用して、入力画像のシーンを設定する。

図８は、入力画像のシーンに対応する合成ゲインテーブルをシーン毎合成ゲインテーブル２１０から選択するためのシーン判定のフローチャートである。この処理は、制御部１２０が実行する。最初に、撮影モードＭをメモリ１２１から読み出す（ステップＳ８０１）。続いて、読み出した撮影モードＭを判定する（ステップＳ８０２）。ポートレートモードと判定された場合、処理はステップＳ８０３に進められ、入力画像のシーンはポートレートに設定される。風景と判定された場合、処理はステップＳ８０４に進められ、入力画像のシーンは風景に設定される。ポートレート及び風景のいずれでもないと判定された場合、処理はステップＳ８０５に進められ、入力画像のシーンは標準に設定される。

ステップＳ８０３〜Ｓ８０５によって設定されたシーンに該当する合成ゲイン用テーブルがシーン毎合成ゲインテーブル２１０から読み出され、合成ゲイン１〜３の組み合わせを、合成ゲイン２０５〜２０７として決定する。このとき、入力画像２１４のサイズ、ソフトフォーカスの効果の度合い（弱め、標準、強め）を考慮する。例えば、風景シーンと判定されたシーンで、入力画像の画像サイズが「画像サイズ：中」で、効果「強め」の条件の場合は、表より、合成ゲイン１＝０．０、合成ゲイン２＝０．２、合成ゲイン３＝０．８が設定される。

ところで、上記説明では、入力画像のシーン判定をデジタルカメラで設定されている撮影モードに基づいて行ったが、これに限られず、入力画像２１４を解析することによってシーン判定を行ってもよい。入力画像２１４からのシーン判定の方法は種々あるが、例えば、顔検出を用いる方法がある。

図９は、画像上での顔検出処理の態様を模式的に示す図であり、図１０は、顔検出処理を用いたポートレートシーン判定のフローチャートである。この処理は、制御部１２０が実行する。

最初に、Ｈａａｒ−Ｌｉｋｅ特徴量による顔識別等の方法を用いて、画像上での顔検出を行い（ステップＳ１００１）、顔が１つ以上検出されたか否かを判定する（ステップＳ１００２）。顔が検出されない場合（Ｓ１００２で“ＮＯ”）、ポートレートシーンであると判定せず（ステップＳ１００５）、その後、処理は終了となる。一方、顔が１つ以上検出された場合（Ｓ１００２で“ＹＥＳ”）、図９に示されるように、最も大きい顔の顔領域９０１の面積が画像全体の面積の面積が全体の１０％以上か否かを判定する（ステップＳ１００３）。１０％以上の場合（Ｓ１００３で“ＹＥＳ”）、ポートレートシーンであると判定され（ステップＳ１００４）、１０％未満の場合（Ｓ１００３で“ＮＯ”）、ポートレートシーンではないと判定され（ステップＳ１００５）、その後、処理は終了となる。

また、入力画像の色信号のヒストグラムを解析して、入力画像のシーンを識別する方法を用いてもよい。図１１は、入力画像の色信号（Ｈの色相）のヒストグラムの例を示す図であり、図１２は、入力画像の色信号のヒストグラム解析による風景シーン判定のフローチャートである。この処理は、制御部１２０が実行する。

最初に、入力信号のＲＧＢをＨＳＢに変換し（ステップＳ１２０１）、続いて、入力画像のＨの色相のヒストグラムを算出する（ステップＳ１２０２）。こうして算出されたヒストグラムが図１１に示されたヒストグラムであり、このヒストグラムを解析して、閾値ｔｈ以上の山が１つ以上あるか否かを判定する（ステップＳ１２０３）。山が検出されない場合（Ｓ１２０３で“ＮＯ”）、風景シーンであると判定せず（ステップＳ１２０９）、処理を終える。一方、山が検出された場合（Ｓ１２０３で“ＮＯ”）、検出された全ての山についてシーン判定を行うために、検出された山の全数をＮとして変数ｉの設定を行う（ステップＳ１２０４）。変数ｉの初期値を“１”とし、変数ｉが“Ｎ”になるまで“１”ずつインクリメントする。

変数ｉの設定直後は、最初の山の色相が緑の色相範囲内（ＧＬ＜Ｈ＜ＧＲ）か否かを判定する（ステップＳ１２０５）。“ＧＬ＜Ｈ＜ＧＲ”の条件を満たす場合（Ｓ１２０５で“ＹＥＳ”）、緑の確率が高く、よって、風景シーンと判定する（ステップＳ１２０７）。ステップＳ１２０７の後は、他に山があっても、処理を終了する。“ＧＬ＜Ｈ＜ＧＲ”の条件を満たさない場合（Ｓ１２０５で“ＮＯ”）、更に、その山の色相が青空の色相範囲内（ＳＬ＜Ｈ＜ＳＲ）か否かを判定する（ステップ１２０６）。

“ＳＬ＜Ｈ＜ＳＲ”の条件を満たす場合（Ｓ１２０６で“ＹＥＳ”）は、青空の確率が高く、よって、風景シーンと判定する（ステップＳ１２０７）。“ＳＬ＜Ｈ＜ＳＲ”の条件を満たさない場合（Ｓ１２０６で“ＮＯ”）は、全ての山の色相を調べたか否かを判定する（ステップＳ１２０８）。全ての山の色相を調べ終わっていない場合（Ｓ１２０８で“ＮＯ”）、次の山の色相を調べるために、処理はステップＳ１２０５に戻される。全ての山の色相を調べ終わり、ステップＳ１２０８の判定が“ＹＥＳ”となる場合とは、いずれの山も“ＧＬ＜Ｈ＜ＧＲ”と“ＳＬ＜Ｈ＜ＳＲ”の条件を満たさない場合であるので、風景シーンであると判定せず（ステップＳ１２１０）、処理を終了する。

なお、図１１に示されるヒストグラムの場合、図１１中の（ａ）で示される山が、ステップＳ１２０５の判定条件を満たすため、風景シーンと判定されて、処理を終了することとなり、図１１中の（ｂ）で示される山については、判定を行わないことになる。上記方法以外にも、画像のシーンを解析、識別する方法が数多く研究・発表がなされており、第１の合成ゲインの設定方法でもそれらの方法を用いてもよいがが、ここでは更なる説明は割愛する。

以上、第１の合成ゲインの設定方法では、シーン毎に最適化された合成ゲインをテーブルとして予めプリセットとして保持しておくことで、撮影条件によって特定されるシーンに特化した合成ゲインを設定することができる。これにより、異なる入力画像サイズでも同一のソフトフォーカスの効果を実現することができる。また、撮影時に計算処理が発生することがないため、撮影駒速を落とすことなく高速連写を行うことができるという効果も得られる。

［第２の合成ゲインの設定方法］
第１の合成ゲインの設定方法では、画像サイズの小さい入力画像にソフトフォーカスの効果を付与するための合成ゲイン２０５〜２０７の設定に、シーン毎の合成ゲインテーブルをプリセットとして保持し、シーンに応じて設定した。これに対して、第２の合成ゲインの設定方法では、入力画像の周波数特性を解析して、合成ゲインを算出する。

図１３は、第２の合成ゲインの設定方法を実行するためのソフトフォーカス処理部におけるソフトフォーカス処理を模式的に示すブロック図である。図１３のソフトフォーカス処理部１１４Ａは、第２の合成ゲインの設定方法を実行するために図１及び図５に示されるソフトフォーカス処理部１１４に代えて用いられるものであり、画像処理装置のその他の構成要素は、図１を参照して説明した通りである。また、図１３のソフトフォーカス処理部１１４Ａの構成要素のうち、図５のソフトフォーカス処理部１１４の構成要素と同じ構成要素については、その機能が同じであるため、同じ符号を付して、説明を省略する。

第２の合成ゲインの設定方法では、合成ゲイン２０５〜２０７の計算のために、相対的に画像サイズの異なる２つの入力画像として、画像サイズの小さい入力画像２１４（第１の入力画像）と画像サイズの大きい入力画像２１３（第２の入力画像）を合成ゲイン計算部２０９に入力する。合成ゲイン計算部２０９では、入力画像２１３，２１４のそれぞれの周波数特性を解析する。

図１４は、入力画像の周波数特性を解析する処理のフローチャートである。周波数特性の解析処理では、最初に入力画像に対して２次元フーリエ変換を行う（ステップＳ１４０１）。その後、振幅特性を輝度とする周波数スペクトル画像を生成する（ステップＳ１４０２）。

図１５は、入力画像の例（ａ）と、（ａ）の入力画像に基づいて生成された周波数スペクトル画像の例（ｂ）である。一般的に、画像では振幅を持つ周波数成分に対して直流成分が非常に多く、実際の振幅をそのまま表示しようとすると、直流成分以外のデータが殆どない状態となってしまうため、振幅の対数を取ることによって成分間の差を小さくする。また、周波数スペクトル画像をそのまま表示すると、原点となる直流成分が画像の端にくるので、直流成分が周波数スペクトル画像の中心にくるようにデータを象限単位で並び変える。こうして、図６を参照して説明した方法と同様にして、パワースペクトルの総和を算出し、周波数−パワースペクトル曲線の平均値ａｖｅを求め（ステップＳ１４０３）、処理を終了する。

図１６は、ステップＳ１４０３により得られた周波数−パワースペクトル曲線の例（ａ）と、合成ゲイン２０５〜２０７の設定方法を模式的に示す図（ｂ）である。図１６（ｂ）に示されるように、平均周波数ａｖｅ（ａ）を中心とした±α［ｍ^−１］の周波数領域内でＲＭＳ誤差を最小とするような合成ゲイン２０５〜２０７を求める。

なお、図１６（ｂ）に示される実線は、画像サイズの大きい入力画像２１３に対するソフトフォーカス処理の周波数特性であり、別途求めておく。図１６（ｂ）に示される一点鎖線は、画像サイズの小さい入力画像２１４に対して、初期値の合成ゲインで処理したソフトフォーカス処理の周波数特性である。ここでは、初期値の合成ゲインとして合成ゲイン１〜３が等倍、すなわち１／３：１／３：１／３とした。ＲＭＳ誤差を最小とする合成ゲインの求め方は種々あるが、第２の合成ゲインの設定方法では、例えば、合成ゲイン２０５〜２０７が取り得る値の範囲の中で、ゲイン値を少しずつ変化させながら探索を行う方法を採ることができる。

以上に説明した第２の合成ゲインの設定方法では、入力画像の周波数特性に応じて、合成ゲインを設定する。これにより、入力画像に最適化した合成ゲインを設定することが可能となり、第１の合成ゲインの設定方法よりも高精度に、画像サイズの異なる入力画像でも同一のソフトフォーカスの効果を実現することができる。

＜その他の実施形態＞
以上、本発明の実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０１ 結像光学系（レンズ）
１０２ 撮像素子
１０３ Ａ／Ｄ変換部
１０４ ホワイトバランス部
１０５ 色補間部
１０６ マトリクス変換部
１０７ ガンマ変換部
１０８ 色調整部
１０９ リサイズ部
１１０，１１２ 圧縮部
１１１，１１３ 記憶部
１１４ ソフトフォーカス処理部
１２０ 制御部
１２１ メモリ
１２２ Ｉ／Ｆ

Claims (8)

1. 入力画像にソフトフォーカス処理を施す画像処理装置であって、
   １つの前記入力画像からぼかし具合の異なる複数のぼかし画像を生成するぼかし画像生成手段、前記１つの入力画像及び前記複数のぼかし画像の各画像に所定の合成ゲインを乗算して得られる画像を合成する合成手段、及び、前記合成ゲインを前記１つの入力画像の撮影条件にしたがって設定する合成ゲイン計算手段を有するソフトフォーカス処理手段と、
   画像サイズがそれぞれ異なる複数の前記入力画像に対して同一のソフトフォーカス効果を実現することができるように画像サイズごとに前記合成ゲインが予め設定された合成ゲイン用テーブルを記憶する記憶手段と、を備え、
   前記ソフトフォーカス処理手段は、前記合成ゲイン用テーブルから前記入力画像の画像サイズに応じて選択された前記合成ゲインを用いて、前記入力画像にソフトフォーカス処理を施すことを特徴とする画像処理装置。
2. 予め設定された前記合成ゲインは、ぼかし量が最も大きいぼかし画像についての合成ゲインの割合が、画像サイズが小さくなるにしたがって低くなるように設定されていることを特徴とする請求項１に記載の画像処理装置。
3. 予め設定された前記合成ゲインは、画像サイズがそれぞれ異なる複数の入力画像に対するソフトフォーカス処理の周波数領域の伝達特性の誤差が最小となるように設定されていることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記撮影条件は入力画像のシーンを含み、
   前記合成ゲイン用テーブルは、前記シーンごとに設定されていることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記ぼかし画像生成手段は、前記入力画像に対して縮小処理と拡大処理とを施すことによって前記ぼかし具合の異なる複数の画像をそれぞれ生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 入力画像にソフトフォーカス処理を施す画像処理方法であって、
   １つの前記入力画像からぼかし具合の異なる複数のぼかし画像を生成するぼかし画像生成ステップと、
   前記１つの入力画像及び前記ぼかし画像生成ステップで生成された複数のぼかし画像の各画像に、前記１つの入力画像の撮影条件にしたがって設定された所定の合成ゲインを乗算して得られる画像を合成する合成ステップと、を有し、
   前記合成ゲインは、画像サイズがそれぞれ異なる複数の前記入力画像に対して同一のソフトフォーカス効果を実現することができるように画像サイズごとに予め設定され、
   前記合成ステップでは、前記入力画像の画像サイズに応じて選択された前記合成ゲインを用いて画像を合成することを特徴とする画像処理方法。
7. 入力画像にソフトフォーカス処理を施す画像処理方法をコンピュータに実行させるためのプログラムであって、
   前記画像処理方法は、
   １つの前記入力画像からぼかし具合の異なる複数のぼかし画像を生成するぼかし画像生成ステップと、
   前記１つの入力画像及び前記複数のぼかし画像生成ステップで生成された複数のぼかし画像の各画像に、前記１つの入力画像の撮影条件にしたがって設定された所定の合成ゲインを乗算して得られる画像を合成する合成ステップと、を有し、
   前記合成ゲインは、画像サイズがそれぞれ異なる複数の前記入力画像に対して同一のソフトフォーカス効果を実現することができるように画像サイズごとに予め設定され、
   前記合成ステップにおいて、前記入力画像の画像サイズに応じて選択された前記合成ゲインを用いて画像を合成することを特徴とするプログラム。
8. 請求項７に記載のプログラムを格納したことを特徴とするコンピュータで読み取り可能な記憶媒体。