JP6004757B2

JP6004757B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP6004757B2
Application number: JP2012130098A
Authority: JP
Inventors: 洋明梨澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-06-07
Filing date: 2012-06-07
Publication date: 2016-10-12
Anticipated expiration: 2032-06-07
Also published as: JP2013254390A; EP2672691A3; EP2672691A2; EP2672691B1; US20130329991A1; US9177396B2

Description

本発明はデジタル画像データに水彩画のような効果を付加する画像処理装置及び画像処理方法に関するものである。

デジタル画像データに水彩画のテイストを付加する画像処理がある。水彩画の特徴としては、水彩ならではの淡い色彩、絵の具のにじみ感、また、下書きの線が残っているということが挙げられる。特許文献１では、ある閉領域に着色を行う場合に、着色領域をランダムな方向に所定距離移動させて、閉領域からずれた位置に設定し、着色領域の中心部から周縁部に向かって淡い色合いに着色する。こうすることで、絵の具のにじみ感が表現できる方法を提案している。また、特許文献２では、画像を似たような色で空間的にグルーピングし同じグループでは同じ１色で表わすように減色している。こうすることで限られた絵の具で実現した水彩画のテイストを表現する方法を提案している。

特開２００８−２４２５３３号公報特開平１１−２３２４４１号公報

しかしながら、特許文献１の方法では、着色する前に一旦色情報を全て失ってしまうので少ない色数で水彩画のテイストを出すということは表現できるが、入力画像とは異なる色彩になってしまうため入力画像の雰囲気を残すのは難しい。特許文献２では、確かに色数は減るが異なるグループ間の境界、すなわちエッジの表現は各々のグループに代表される色を利用して混合色を生成する手法を取っている。この方法では、境界がなじんでしまい、下書きとしての線画の効果を表現するのには乏しくなるという問題があった。

上述した課題に鑑み、本発明は下書きとしての線画がしっかりと描写され、入力画像の色彩を基本色とした水彩画の色彩を生成する画像処理を実現する画像処理装置及び画像処理方法を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、入力画像にボカシ処理を施して第１ボケ画像と第２ボケ画像を生成するボカシ手段と、輝度より低い輝度の画素値にかけるゲインが、所定の輝度より高い輝度の画素値にかけるゲインよりも高くなるようにして、前記第１ボケ画像に階調補正処理を施す階調補正手段と、階調補正された前記第１ボケ画像から前記入力画像を減算することで前記入力画像のエッジ成分を示すエッジ画像を生成するエッジ抽出手段と、前記エッジ画像の階調を反転する階調反転手段と、階調反転された前記エッジ画像の輝度成分と前記第２ボケ画像の色成分のそれぞれを輝度成分、色成分とする出力画像を出力する出力手段と、を備えることを特徴とする。

また、本発明の画像処理方法は、入力画像にボカシ処理を施して第１ボケ画像と第２ボケ画像を生成するボカシステップと、所定の輝度より低い輝度の画素値にかけるゲインが、所定の輝度より高い輝度の画素値にかけるゲインよりも高くなるようにして、前記第１ボケ画像に階調補正処理を施す階調補正ステップと、階調補正された前記第１ボケ画像から前記入力画像を減算することで前記入力画像のエッジ成分を示すエッジ画像を生成するエッジ抽出ステップと、前記エッジ画像の階調を反転する階調反転ステップと、階調反転された前記エッジ画像の輝度成分と前記第２ボケ画像の色成分のそれぞれを輝度成分、色成分とする出力画像を出力する出力ステップと、を備えることを特徴とする。

本発明によれば、下書きとしての線画がしっかりと描写され、入力画像の色彩を基本色とした水彩画の色彩を生成する画像処理を実現することができる。

第１の実施形態における画像処理装置を示すブロック図第１の実施形態における水彩風処理の各ステップでの処理後の画像のイメージ図第１の実施形態における水彩風処理の動作を示すフローチャート階調補正に用いるＬＵＴの入出力特性を示した図第２の実施形態における水彩風処理部を示すブロック図第２の実施形態におけるＬＵＴ選択処理の動作を示すフローチャート第２の実施形態における風景判定に用いるヒストグラムを示す図第３の実施形態における水彩風処理部を示すブロック図第３の実施形態における階調補正に用いるＬＵＴの入出力特性を示す図第３の実施形態における加算部を示すブロック図第４の実施形態における画像処理装置を示すブロック図第４の実施形態におけるボケ画像生成処理の動作を示すフローチャートボケ画像生成のための縮小回数と画像サイズの対応の一例を示す表

（第１の実施形態）
以下、本発明の好適な実施形態について説明する。

本実施形態では、本発明を適用できる画像処理装置の一例としてデジタルカメラ、スキャナ等の撮像系を有する画像処理装置を挙げる。しかし、これに限らず、複数色の色信号からなる画像データに対し適用できるため、このような画像データを処理できる画像処理装置であれば特に実施の形態は限定されない。すなわち、画像処理装置としては、パーソナルコンピュータ等の情報処理装置であってもよいし、携帯型の情報端末、プリンタ等の画像形成装置などでもよい。これは以下の各実施形態でも同様である。

図１（ａ）に本実施形態における画像処理装置１の一例であるデジタルカメラのブロック図を示す。被写体からの光束は、レンズ、絞り等を含む結像光学系１０１を経て、撮像素子１０２上に結像され、光電変換されて電気信号となって撮像素子１０２から出力される。撮像素子１０２は、例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、この色フィルタを画素毎にモザイク状に空間的に配列し、各画素が単一の色プレーンにおける強度を得るので、撮像素子１０２からは色モザイク画像が出力されることになる。Ａ／Ｄ変換部１０３では、撮像素子から出力されるアナログ電気信号が、デジタル画像データへと変換される。本実施形態では、この時点で１２ｂｉｔの画像データが画素毎に生成される。

ホワイトバランス処理部１０４では、画像中で本来白と見なされるべき領域の色が白色に設定されるための処理がなされる。具体的には白くあるべき領域の各色（Ｒ，Ｇ，Ｂ）の画素値が同一になるようなゲインがＲ，Ｇ，Ｂ各々にかけられる。

色補間部１０５では、Ｒ、Ｇ、Ｂの色モザイク画像についてホワイトバランス処理部１０４から出力される画像データを補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像データを生成する。

マトリクス変換部１０６では、マトリクス演算による色空間変換を伴う色変換処理、ガンマ変換部１０７ではガンマカーブによる階調変換を含めた色変換処理がなされる。本実施形態では、マトリクス変換部１０６の処理でＲ、Ｇ、Ｂの色空間から８ｂｉｔの輝度（Ｙ）データ、色差（Ｕ、Ｖ）データの色空間に変換され、ＹＵＶデータとしてマトリクス変換部１０６から出力されるものとする。

さらに画像調整部１０８では、画像の見栄えを改善するための処理が行われる。例えば、ローパスフィルターなどによるノイズ低減処理、ゲインをかけることによる彩度強調、色相補正処理、ハイパスフィルターなどにより高周波成分を抽出した上でそれを強調するエッジ強調処理といった主に画像補正の処理がそれにあたる。なお、画像調整の方法は上記に例示した方法に限定されない。また、撮影条件や被写体に応じた色調整は、上述したマトリクス変換部１０６、ガンマ変換部１０７、画像調整部１０８を用いてトータルでバランスをとって行われている。本実施形態では、撮影される画像に対して水彩風処理を行う撮影モードに設定されている場合、画像調整部１０８から出力される画像データに対して、水彩風処理部１０９にて後述する水彩風画像処理が施される。

水彩風処理部１０９から出力される画像データは、圧縮部１１０にてＪＰＥＧ等の所定の方法で圧縮され、記録部１１１にてフラッシュメモリ等の記録媒体に記録される。

水彩風処理部１０９から出力される画像データは、表示部１１２にも出力され、液晶等の表示媒体に表示される。その際、表示媒体に適するガンマ処理などが施されてもよい。

水彩風処理部１０９から出力される画像データは、外部出力部１１３にも出力され、画像処理装置１に有線あるいは無線でつながっている外部装置に出力される。

なお、水彩風処理を行わない、通常の撮影モードに設定されている場合には、画像調整部１０８から出力される画像データが、破線のように直接圧縮部１１０、表示部１１２あるいは外部出力部１１３に入力される。

メモリ１２１は、各処理部で用いられる画像データや、絞りのＦ値、シャッタースピード、ＩＳＯ感度、ホワイトバランスゲイン値、ｓ−ＲＧＢなどの色域の設定などの撮影時情報のデータを記憶する。記憶されているデータは、制御部１２０の指示によって適宜読み出され、使用される。

制御部１２０はＢＵＳラインを介して各部を制御し、また適宜必要な演算処理を行う。

ユーザーによる指示などの外部からの操作は、インターフェースＩ／Ｆ１２２を介して画像処理装置へと入力され、制御部１２０はこれを受けて演算を行ったり、各部を制御したりする。

以下、図１（ｂ）の水彩風処理部１０９の詳細を示すブロック図を参照して、本発明の水彩風処理の画像処理方法、及びそれを実現する画像処理回路の構成について説明する。本実施形態では、基本的な水彩風の効果は、入力画像から抽出したエッジ成分を輝度成分とし、入力画像をボカしたボケ成分を色成分として合成することで実現する。ただし、単純に、抽出したエッジ成分を輝度成分として使用するのではなく、低輝度のデータについては低周波成分を幾分残すことで、明部から暗部まで自然な階調再現を残したまま水彩風の効果を出すことが可能となる。

まず、画像調整部１０８から入力される画像データのうち、輝度（Ｙ）データが小ボケ画像生成部１０９１（輝度ボカシ手段）及びエッジ抽出部１０９４に入力され、色差（ＵＶ）データが大ボケ画像生成部１０９２（色ボカシ手段）に入力される。小ボケ画像生成部１０９１、大ボケ画像生成部１０９２ではそれぞれボカシ処理（平滑化処理）により小ボケ画像、大ボケ画像を生成する。ここでボケ画像とは入力画像に対してボケた、つまり所定の周波数より高い高周波成分がなくなった画像のことである。小ボケ画像生成部１０９１の生成する小ボケ画像の方が、大ボケ画像生成部１０９２の生成する大ボケ画像に比べてボカシの程度が小さく、高周波成分が残っている。これらのボケ画像を生成する方法は幾つか考えられ、例えば、ガウシアンフィルタ係数によるローパスフィルターを縦および横にかけて１度に平滑化する方法がある。しかし、水彩風処理で期待する大ボケ具合を１度の平滑化処理で実現するためには、ローパスフィルターのカーネルサイズが大きくなり処理時間が膨大なものとなってしまう。つまりカメラのハード上で処理するにはあまり現実的ではない。そこで、本実施形態では、処理時間を短縮しかつ所望のボケを得るために、縮小処理回路と拡大処理回路を組み合わせて小ボケ画像、大ボケ画像をそれぞれ生成する。ボケ画像生成処理についての詳細の動きは図３（ｂ）のフローチャートを用いて後述する。

階調補正部１０９３では、小ボケ画像生成部１０９１で生成された小ボケ画像の画像データに対して階調補正処理が行われる。階調補正処理の方法としては幾つか考えられるが、本実施形態では、狙った輝度域の階調を補正するため１次元のルックアップテーブル（ＬＵＴ）１０９０による補正を行う。ＬＵＴ１０９０は、図４（ａ）〜（ｃ）に示される特性のいずれかを持つシーン毎のＬＵＴ１０９８ａ〜ｃの中からＬＵＴ選択部１０９７が撮影条件１０９９に基づいて選択したものである。

エッジ抽出部１０９４では、階調補正された小ボケ画像から入力画像を用いてエッジ画像を生成する。ここで入力画像からエッジ成分を抽出するには、単純に、小ボケ画像から入力画像を減算すればよい。すなわち、エッジ抽出部１０９４としては、本実施形態では減算回路である。２画像間で周波数帯域の異なる領域がエッジとして抽出された画像を生成することができる。このようにして生成されたエッジ画像は、エッジ成分がその強さに応じて値を持ち、エッジでない低周波成分は０（８ｂｉｔレンジ）に近い信号を持つ。これを下書きで書いたような線画のテイストにするため、階調反転部１０９５で階調反転させる。階調反転部１０９５は、例えば一般的なトーンカーブによる階調補正を行う回路で構成され、いわゆるネガ・ポジ反転を行うようなトーンカーブに従って階調補正を行えばよい。階調反転させることで、エッジ成分は黒っぽく、非エッジ成分は白っぽく表すことができる。

こうして、水彩風処理部１０９は、階調反転部１０９５で階調反転させたエッジ画像を輝度（Ｙ）データとし、大ボケ画像生成部１０９２で入力画像から生成した大ボケ画像を色（ＵＶ）データとして１つの画像データを出力する。

色成分に大ボケ画像生成部１０９２から出力される大ボケ画像を用いることで、下書きの線をはみ出して水彩絵の具が滲んだ様子を表現することができる。

ここで、本実施形態で行われる階調補正部１０９３での階調補正処理についてより詳細に説明する。まず、階調補正部１０９３にて階調補正処理が行われなかった場合の最終的な画像について考えてみる。（小ボケ画像）−（入力画像）で得られるエッジ画像の輝度データを階調反転させて、最終的な画像の輝度データとするので、エッジ領域は低輝度の範囲に、非エッジ領域は高輝度の範囲に割り当てられることになる。この輝度データに色データ（色差データ）を合わせることで、色のついた領域が比較的高輝度で表わされるため、水彩風ならではの淡い色彩を表現することが可能となる。しかし一方で、元々暗部（低輝度）の領域についても反転して高輝度で表わされているので、例えば人物の黒目が反転し白目になってしまうなど違和感の強い描写になってしまうことがある。

そこで、本実施形態では、小ボケ画像生成部１０９１から出力される小ボケ画像の輝度データに階調補正部１０９３による階調補正処理を行い、その際にエッジ画像の中に暗部の成分が残るように暗部を持ち上げる階調補正を行う。これにより、所定の輝度より低輝度の暗部の領域の成分がエッジ抽出部１０９４から出力されるエッジ画像に残る。すなわち、入力画像の輝度データから高周波成分と低輝度な低周波成分を含んだエッジ画像（輝度データ）を抽出することができるので、最終的な画像では違和感の少ない水彩風画像を生成することができる。

具体的には図４（ａ）のように、階調補正部１０９３で暗部を少し持ち上げるような特性４０１を持ったＬＵＴを用いて階調補正を行う。ここで横軸は入力信号を表わし、縦軸は出力信号を表わす。図４（ａ）のような特性４０１の階調補正を行うことで、後段のエッジ抽出部１０９４から出力されるエッジ画像を、暗部に関して少し低周波成分を残したエッジ画像とすることができる。ＬＵＴの特性は後述するものも含めて図４（ａ）〜（ｃ）のいずれかのように暗部近辺を残す特性であることが好ましいが、出力信号の画素値が入力信号の画素値以上の値となるような特性であれば、中高輝度域まで持ち上げる特性であっても良い。しかしその場合、エッジ抽出部１０９４から出力される輝度データは輝度域に係わらず低周波成分をより多く含むことになり、下書きとしての線画のテイストは薄れてしまう。

図２に、水彩風処理部１０９での水彩風処理の各ステップでの処理後の画像（データ）のイメージ図を示す。図２（ａ）は、画像調整部１０８から出力され、水彩風処理部１０９に入力されるＹＵＶデータからなる画像のサンプルを示している。図２（ｂ）は小ボケ画像生成部１０９１によるボカシ処理後の画像、図２（ｃ）は大ボケ画像生成部１０９２によるボカシ処理後の画像を示している。ただし、図２（ｃ）では画像信号の内、色差（ＵＶ）信号にボカシ処理を行っているが、ボカシ処理の程度の違いを示すために、輝度信号も併せて得られる画像を示している。図２（ｃ）、（ｄ）に示す通り、本実施形態では、色差信号に対するボカシ処理の程度を輝度信号に対するボカシ処理の程度より大きくしている。図２（ｄ）は、階調補正部１０９３から出力される輝度データのイメージ図である。図２（ｄ）では、上述した暗部を持ち上げる階調補正処理によって図２（ａ）に比べて背景に見える暗い部分が明るくなっている。図２（ｅ）は、エッジ抽出部１０９４から出力される輝度データのイメージ図である。図２（ｅ）では例えば花びらの縁が白く値が出ていると同時に、元の画像の暗部にも値が出ていることがわかる。図２（ｆ）は階調反転部１０９５から出力される輝度データのイメージ図である。図２（ｆ）を見ると、エッジ抽出部１０９４からの出力画像においてエッジとともに残された暗部も、しっかり暗部として残っていることが分かる。図２（ｇ）は、水彩風処理部１０９の最終的な出力画像のイメージ図である。図２（ｇ）を見ても、エッジと共に、元の画像での暗部の領域が暗部として表現されていることが分かる。

以上の通り、図４（ａ）〜（ｃ）のような特性で階調補正処理を行った上で得られた最終的な画像は低周波成分を含む暗部について輝度階調が残っているため、明るくはならず暗い部分として残すことができる。しかし一方で、低周波成分を含むということは、写真としての要素を残すため、写実的な描写となり、絵画的なテイストからは遠ざかるという側面もある。従って、理想的には、シーンに応じて、低周波成分を残す輝度域を適応的に制御することが好ましい。そこで本実施形態では、後述するように撮影するシーンに応じて適したＬＵＴを選択して適用する。

図３は、図１（ｂ）に示す水彩風処理部１０９で行われる水彩風処理の全体の動作を示すフローチャートである。フローチャートの各動作は制御部１２０、あるいは制御部１２０の指示により各部で行われる。

ステップＳ３０１では、小ボケ画像生成部１０９１、大ボケ画像生成部１０９２により、入力画像の輝度データに対して小ボケ画像生成処理、色データに対して大ボケ画像生成処理がそれぞれ行われる。

ステップＳ３０２では、階調補正部１０９３で用いられるＬＵＴ１０９０が、ＬＵＴ選択部１０９７によって選択され、設定される。ステップＳ３０３では、選択されたＬＵＴに従って、階調補正部１０９３が階調補正処理を行う。

ステップＳ３０４では、エッジ抽出部１０９４が、階調補正がなされた輝度データから前述したようなエッジ抽出処理を行う。

ステップＳ３０５では、階調反転部１０９５が、エッジ抽出部１０９４から出力されたエッジ画像に、前述したような階調反転処理を行う。

ステップＳ３０６では、階調反転部１０９５から出力された輝度（Ｙ）データを輝度データとし、大ボケ画像生成部１０９２から出力される色（ＵＶ）データを色データとする最終的な画像データを生成し、水彩風処理部１０９の出力として出力して処理を終了する。

図３のステップＳ３０１のボケ画像生成処理を、図３（ｂ）のフローチャートを用いて詳細に説明する。前述したように、ボケ画像生成処理では、縮小処理と拡大処理を組み合わせてボケ画像を生成する。より具体的には、一旦縮小処理を行って情報量を落とした画像を再び補間を伴い拡大することで画像がボケることになる。まず、目標とするボケの大きさに合わせて最縮小画像の縮小サイズを設定する。例えば、大ボケ画像としては入力画像に対して各辺１／１６サイズ（縦横でそれぞれ画素数が１／１６）とする。各辺１／１６サイズまで縮小する場合、Ｎ＝４として縦方向および横方向に１／２縮小をＮ回繰り返す（ステップＳ３０１１〜３０１４）。ここで、縮小による高周波成分の折返り、いわゆるモアレの発生を防ぐために、縮小の前に縦方向および横方向にフィルタ係数［１，２，１］のローパスフィルター（ＬＰＦ）をかけて平滑化しておく（ステップＳ３０１２）。縮小処理がＮ回まで終了したら、次に元のサイズになるまで拡大処理を行う。拡大処理も縮小処理同様、縦方向および横方向に２倍ずつＮ回繰り返す（ステップＳ３０１５〜３０１７）。尚、本実施形態では１回の縮小時の変倍率を１／２倍としたが、１／４倍でもよくこれに限るものではない。但し、併せてかけるローパスフィルターのフィルタ係数は、モアレの発生を防ぐためには適宜変える必要がある。例えば１／４倍とした場合のフィルタ係数は［１，４，６，４，１］と設定する必要がある。また、大ボケ画像を生成するための最縮小画像の縮小サイズは、小ボケ画像を生成するための最縮小画像の縮小サイズよりも小さくする必要がある。ステップＳ３０１では上記のボケ画像生成処理を小ボケ画像生成部１０９１にてＮ＝Ｎ１で、大ボケ画像生成部１０９２にてＮ＝Ｎ２（Ｎ１＜Ｎ２）で並列して行われる。

図３（ａ）のステップＳ３０２のＬＵＴ選択処理を、図３（ｃ）のフローチャートを用いて詳細に説明する。前述したように、本実施形態では撮影するシーンに応じて適したＬＵＴを選択して適用する。例えば、人物撮影などのポートレートのシーンでは、図４（ｃ）に示すような、他のシーンに比べて所定の輝度より低い画素値（暗部）を多く持ち上げる特性４０３（例えば最暗部で３５％出力を持ち上げる）を持つＬＵＴ３で階調補正を行う。風景撮影などの風景のシーンでは、図４（ｂ）に示すような、他のシーンに比べて所定の輝度より低い画素値（暗部）をあまり持ち上げない特性４０２（例えば最暗部で１３％出力を持ち上げる）を持つＬＵＴ２で階調補正を行う。その他一般的なシーンでは図４（ａ）に示すような暗部を標準的に持ち上げる特性４０１（例えば最暗部で２３％出力を持ち上げる）を持つＬＵＴ１で階調補正を行う。ただ、基本的にはいずれのＬＵＴでも、出力値としての画素値が、入力値としての画素値以上の値になるような階調補正を行う特性になっている。

本実施形態では、Ｉ／Ｆ１２２を介して、撮影モードとして、Ｐ（プログラム優先）、Ａｖ（絞り優先）、Ｔｖ（秒時優先）、Ｍ（マニュアル）などがモードダイアルなどで選択可能になっている。また、より初心者向けの撮影モードとして、全自動、ポートレートモード、風景モード、スポーツモード、マクロ、夜景などシーンの観点からカテゴライズされた撮影モードを搭載している。

ステップＳ３０２１では、制御部１２０が、撮影条件として、例えば撮影モードＭをメモリ１２１から読み出す。本実施形態では撮影系を含む画像処理装置を想定しているので、入力画像の撮影時に設定されている撮影条件がメモリ１２１に記憶されており、それを読み出す。

次に、ステップＳ３０２２では、制御部１２０が、読み出された撮影モードＭを判定し、対応するＬＵＴ１０９０を、メモリ１２１に記憶されているシーン毎のＬＵＴ１０９８から選択する。上述した撮影モードの内、ポートレートモードの場合はＬＵＴ１、風景の場合はＬＵＴ２、それら以外の場合は標準用のＬＵＴ３を選択する。シーン毎のＬＵＴ１０９８を予め保持しておくことで撮影時に膨大な計算処理が発生することがないため、撮影駒速を落とすことなく高速連写ができる。ＬＵＴを選択するためにこれに限らず、例えばメモリ１２１に記憶された画像処理装置以外で生成された画像データに対して処理を行うこともでき、その際はヘッダあるいは関連付けられて記憶されている撮影条件を読み出す。特に判定可能な撮影条件が記憶されていない場合は、標準用のＬＵＴ３を選択するものとする。

ステップＳ３０２３では、制御部１２０が、選択されたＬＵＴ１０９０を階調補正部１０９３に設定して本処理に戻る。

以上のように、本実施形態では、水彩風の効果を付与する水彩風処理において、入力画像の輝度データから、高周波成分と低輝度な低周波成分からなる輝度データを抽出し、ボカした色データと合わせて最終的な画像データとすることで、水彩風の画像を生成する。
これにより、下書きとしての線画がしっかりと描写され、入力画像の色彩を基本色とした水彩画の色彩を生成する画像処理を実現することができる。

さらに本実施形態では、撮影条件に応じた適切な階調補正がなされるので、各シーンに適したテイストで水彩風の画像を生成することができる。

（第２の実施形態）
第１の実施形態では、階調補正部１０９３にて階調補正を行う際、シーン毎のＬＵＴをプリセットとして保持し、撮影条件によるシーンに応じてＬＵＴを選択、階調補正をしてるが、第２の実施形態では、入力画像を解析してシーン判定し、階調補正ＬＵＴを算出する。

図５は第２の実施形態における水彩風処理部１０９の詳細を示すブロック図である。図１（ｂ）と同じ符号のブロックについては処理内容が同じため説明は省略する。第１の実施形態と異なるところは、ＬＵＴ算出部５０１が設けられ、ＬＵＴ算出部５０１によって入力画像を解析し、シーンを判定して、判定されたシーンに対応する適切なＬＵＴ５０２を算出するところである。

図６は本実施形態における図３（ａ）のステップＳ３０２のＬＵＴ選択処理の動作例を示すフローチャート図である。その他全体の水彩風処理に関しては図３で示した動作と同様である。

ステップＳ６０１では、制御部１２０及びＬＵＴ算出部５０１が、まずポートレートシーンである確からしさとして顔信頼度を算出するためにポートレート判定処理を行う。ステップＳ６０２では、制御部１２０及びＬＵＴ算出部５０１が、風景シーンである確からしさとして風景度を算出するために風景判定処理を行う。

ステップＳ６０３では、ステップＳ６０１、Ｓ６０２での判定結果を用いて入力画像に適したＬＵＴを算出する。具体的には、顔信頼度が１００％の場合は、図４（ｃ）に示されるＬＵＴを設定する。一方、顔信頼度が０％の場合は、図４（ｂ）に示されるＬＵＴを設定する。その間の顔信頼度の場合は、図４（ｂ）および（ｃ）で示されるＬＵＴから補間して算出する。風景度が１００％の場合は、図４（ａ）に示されるＬＵＴを設定する。一方、風景度が０％の場合は、図４（ｂ）に示されるＬＵＴを設定する。その間の風景度である場合は、風景度に応じて図４（ａ）および（ｂ）で示されるＬＵＴから補間して算出する。

また、顔信頼度と風景度がどちらもそれなりに高い場合が考えられるが、その場合、顔信頼度を優先してＬＵＴを設定するものとする。算出されたＬＵＴは第１の実施形態と同様にステップＳ３０２３にて階調補正部１０９３に設定される。

次に図６（ｂ）に、ステップＳ６０１におけるポートレート判定処理の動作を示すフローチャート図を示す。まず、Ｈａａｒ−Ｌｉｋｅ特徴量による顔識別など、何らかの手段を用いて顔検出を行う（ステップＳ６０１１）。その後特徴量から顔信頼度を算出して本処理に戻る（ステップＳ６０１２）。これは予め信頼できる一定の特徴量を顔信頼度１００％と設定しておき、実際処理する際にその特徴量で正規化して顔信頼度を算出する。

図６（ｃ）に、ステップＳ６０２における風景判定処理の動作例を示すフローチャート図を示す。また、入力画像の色信号のヒストグラムを解析して識別する方法等でもよい（図８（ｃ））。図６（ｃ）において、まず、入力信号のＲＧＢをＨＳＢに変換する（ステップＳ６０２１）。次に入力画像のＨ成分で色相のヒストグラムを算出する（ステップＳ６０２２）。こうして算出されたヒストグラムの例が図７に示されたヒストグラムであり、このヒストグラムを解析し閾値ｔｈ以上の山が１つ以上あるか否かを判定する（ステップＳ６０２３）。山が検出されない場合（Ｓ６０２３で“ＮＯ”）、風景度を０％として（ステップＳ６０２８）処理を終える。一方、山が検出された場合（Ｓ６０２３で“ＹＥＳ”）、検出された全ての山についてシーン判定を行うために、検出された山の全数をＮとして変数ｉの設定を行う（ステップＳ６０２４）。変数ｉの初期値を“１”とし、変数ｉが“Ｎ”になるまで“１”づつインクリメントする。変数ｉの設定直後は、最初の山の色相に対する緑度Ｇを算出する（ステップＳ６０２５）。Ｈ＝ＧＲ−ＧＬの条件を満たす場合、緑度Ｇが１００％となり条件から離れていくほど緑度Ｇが小さくなる。この際、緑度Ｇ_ｉ＞緑度Ｇ_ｉ−１の場合、緑度ＧはＧ_ｉで更新される。次に、その山の色相が青空かどうかの青度Ｂを算出する（ステップ６０２６）。Ｈ＝ＳＬ−ＳＲの条件を満たす場合、青度Ｂが１００％となり条件から離れていくほど青度Ｂが小さくなる。この際、青度Ｂ_ｉ＞青度Ｂ_ｉ−１の場合、青度ＢはＢ_ｉで更新される。その後全ての山の色相を調べたか否かを判定する（ステップＳ６０２７）。全ての山の色相を調べ終わっていない場合（Ｓ１６０２７で“ＮＯ”）、次の山の色相を調べるために、処理はステップＳ６０２５に戻される。全ての山の色相を調べ終わると緑度Ｇおよび青度Ｂから風景度Ｌを以下の式で算出して本処理に戻る（Ｓ６０２８）。

なお、上記方法以外にも、画像のシーンを解析、判定する方法が数多く研究・発表がなされており、それらの方法を用いてもよいが、ここでは更なる説明は割愛する。

また、本実施形態では、入力画像を解析することで撮影されたシーンを判定し、シーン毎に最適化されたＬＵＴで階調補正を行うことにより、シーンに最適な暗部の残し具合を設定することができるため、最大限に水彩風のテイストを表現することが可能となる。

（第３の実施形態）
第１及び第２の実施形態では、抽出したエッジ成分を輝度成分として水彩風画像を生成していた。第３の実施形態では、エッジ成分とは別に輝度成分を生成する。

図８は本実施形態における水彩風処理を実現する水彩風処理部１０９のブロック図である。図１（ｂ）と同じ符号のブロックについては処理内容が同様であるため説明は省略する。

本実施形態では、エッジ抽出部８０３へ入力される輝度データに階調補正がなされていないことが第１及び第２の実施形態と異なる。このことで、エッジ抽出部から出力されるエッジ成分は低周波成分をほとんど含まないほぼ純粋な高周波成分となる。

一方で、階調補正部８０１では、入力画像の輝度データから所定の輝度より小さい低周波成分を残すように階調補正を行う。階調補正の方法は第１及び第２の実施形態と同様に１次元のＬＵＴ８０２による変換で行う。本実施形態では、第１及び第２の実施形態で参照したＬＵＴに対応させた効果を得るために、ＬＵＴ１として図１４の９０２の特性に従うＬＵＴ、ＬＵＴ２として９０３の特性に従うＬＵＴ、ＬＵＴ３として９０１の特性に従うＬＵＴを参照すればよい。

加算部８０４では、階調補正後の輝度成分（輝度データ）とエッジ成分（エッジデータ）とを加算する。

加算部８０４の詳細について、図１０を用いて説明する。予めオフセットノイズ値とゲイン値をメモリ１２１から読み出しておく。まず、減算器８０４１が、エッジ抽出部８０３からのエッジデータから微小なオフセットノイズ値２０５６を減算する。これにより、微小なオフセットノイズ成分を除去することができる。この微小なノイズは後の階調反転処理後に、明部に表れてきてしまい、水彩風の特徴である淡い透明感を表現するにはふさわしくない場合があるため、この段階で除去しておくことが望ましい。次に、乗算器８０４２によって、オフセットノイズ値を減じたエッジデータ８０４５にゲイン値２０５７を乗算する。このゲイン値によって、下書きとしての線画の強さを調整することが可能となる。その後、ゲイン値をかけたエッジデータ８０４５と階調補正後の輝度データ８０４４とを加算し、最終的な輝度成分（輝度データ）を得る。

また、本実施形態では、輝度成分を生成する上で、エッジ成分と輝度成分を分離することにより、エッジ量と低周波成分の残し量を独立に調整できるというメリットがある。一方で、第１及び第２の実施形態と比較して、計算量が増える。そのため、背面液晶モニターでは計算量の少ないエッジ成分を輝度成分と供用した方法を用い簡易的に表示し、記録時にはエッジ成分と輝度成分を分けた方法を用いるなど使い分けることも有効である。

（第４の実施形態）
本実施形態は、水彩風処理を行う対象画像の画像サイズが複数設定されている場合でも、観賞する上で異なる画像サイズ間で同等の見え（効果）を得るための方法である。画像をぼかす処理では、入力画像の画像サイズ（画素数）が違うと、同じ縮小サイズでもボケ度合いが異なって見える。例えば、記録媒体に記録される記録画像と表示部１１２を介して表示媒体である背面液晶に表示される表示画像とでは縮小サイズを各々異なる設定にしないと同一の鑑賞画像サイズにしたときに効果が同一に見えない。そこで、本実施形態では、小ボケ画像および大ボケ画像生成に必要な縮小サイズを、入力画像の画像サイズに応じて適したものに設定する。

図１１に本実施形態における画像処理装置のブロック図を示し、図１２に本実施形態におけるボケ画像生成処理のフローチャート図を示す。図１１の特徴は、リサイズ部１１４を水彩風処理部１０９の前段に設けた点である。また、図１２と第１の実施形態の図３（ｂ）のボケ画像生成処理のフローチャートとの異なるところは、ステップＳ１２０１、ステップＳ１２０２を有する点である。

ステップＳ１２０１では、撮影条件として入力画像の画像サイズを読み出し、ステップＳ１２０２では、図１３に示すような画像サイズに応じた小ボケ画像生成部、大ボケ画像生成部におけるそれぞれの縮小回数Ｎ１、Ｎ２を設定する。後の処理は設定されたＮ１、Ｎ２に従って、第１の実施形態と同様に行われる。
図１３に示す縮小回数の対応表は、縮小回数１回が１／２縮小を示す。画像サイズが小さくなるに従い、縮小回数を減らしている。

また、本実施形態では、ボケ画像を生成する際の縮小回数を入力画像の画像サイズ（画像サイズ）に応じて設定することにより、異なる画像サイズの複数の画像を同一画像サイズで観賞する上でも、同様の水彩風の効果に合わせることが可能となる。

上記各実施形態では、水彩風処理部１０９の各ブロックのハード構成についても説明したが、各ブロックの動作はいずれもソフトウェアでも実現可能な処理であるので、水彩風処理部１０９の各動作の一部あるいは全部がソフトウェア処理で実装されていても良い。また、図１の画像処理装置におけるその他のブロックについても、同様にその一部あるいは全部がソフトウェア処理で実装されていても良い。

また、上記各実施形態では、階調補正部１０９３、８０１における階調補正を１次元ＬＵＴによって行う例を示した。しかし、階調補正処理の方法はこれに限らず、図４、図９に示すような特性を持った階調補正を行うものであれば、例えば演算により出力画素値を算出するような処理であってもよい。

また、上記各実施形態では、処理対象とする入力画像として、輝度データと色データに分かれたＹＵＶデータ、いわゆる現像処理後のデータを用いた例を示した。しかしこれに限らず、ＲＧＢの各色のデータからなる画像データなどにも適用できる。その場合、マトリクス変換部１０６で行っているような例えばマトリクス演算によって輝度データと色データからなる画像データに変換してから、各実施形態に示す処理を行えばよい。

（他の実施形態）
また、本発明の実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行可能とする。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１結像光学系（レンズ）
１０２撮像素子
１０３Ａ／Ｄ変換部
１０４ホワイトバランス部
１０５色補間部
１０６マトリクス変換部
１０７ガンマ変換部
１０８色調整部
１０９水彩風処理部
１１０圧縮部
１１１記録部
１２０制御部
１２１メモリ
１２２Ｉ／Ｆ

Claims

入力画像にボカシ処理を施して第１ボケ画像と第２ボケ画像を生成するボカシ手段と、
所定の輝度より低い輝度の画素値にかけるゲインが、所定の輝度より高い輝度の画素値にかけるゲインよりも高くなるようにして、前記第１ボケ画像に階調補正処理を施す階調補正手段と、
階調補正された前記第１ボケ画像から前記入力画像を減算することで前記入力画像のエッジ成分を示すエッジ画像を生成するエッジ抽出手段と、
前記エッジ画像の階調を反転する階調反転手段と、
階調反転された前記エッジ画像の輝度成分と前記第２ボケ画像の色成分のそれぞれを輝度成分、色成分とする出力画像を出力する出力手段と、を備えることを特徴とする画像処理装置。
前記ボカシ手段は、前記入力画像の画像サイズに応じて前記ボカシ処理のボカシの程度を変更し、前記出力手段からの出力画像を同一の画像サイズで鑑賞した場合に同等のボカシの程度に見えるようにすることを特徴とする請求項１に記載の画像処理装置。
前記ボカシ手段は、前記入力画像の画像サイズが大きいほど、前記ボカシ処理のボカシの程度を大きくすることを特徴とする請求項１または２に記載の画像処理装置。
前記階調補正手段は、前記入力画像が撮影された撮影条件に基づいて階調補正を行うことを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
前記入力画像が撮影されたシーンを判定する判定手段を有し、
前記階調補正手段は、前記判定手段による判定結果に基づいて階調補正を行うことを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
前記階調補正手段は、前記入力画像が撮影されたシーンがポートレートである場合に、それ以外である場合に比べて、所定の輝度より低い輝度の画素値に掛けるゲインが大きくなるようにして階調補正を行うことを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
前記階調補正手段は、前記入力画像が撮影されたシーンが風景である場合に、それ以外である場合に比べて、所定の輝度より低い輝度の画素値に掛けるゲインが小さくなるようにして階調補正を行うことを特徴とする請求項１から６のいずれか１つに記載の画像処理装置。
前記階調補正手段は、ルックアップテーブルを用いて階調補正を行うことを特徴とする請求項１から７のいずれか１つに記載の画像処理装置。
前記第２ボケ画像は、前記第１ボケ画像よりもボカシ処理のボカシの程度が大きいことを特徴とする請求項１から８のいずれか１つに記載の画像処理装置。
入力画像にボカシ処理を施して第１ボケ画像と第２ボケ画像を生成するボカシステップと、
所定の輝度より低い輝度の画素値にかけるゲインが、所定の輝度より高い輝度の画素値にかけるゲインよりも高くなるようにして、前記第１ボケ画像に階調補正処理を施す階調補正ステップと、
階調補正された前記第１ボケ画像から前記入力画像を減算することで前記入力画像のエッジ成分を示すエッジ画像を生成するエッジ抽出ステップと、
前記エッジ画像の階調を反転する階調反転ステップと、
階調反転された前記エッジ画像の輝度成分と前記第２ボケ画像の色成分のそれぞれを輝度成分、色成分とする出力画像を出力する出力ステップと、を備えることを特徴とする画像処理方法。
入力画像にボカシ処理を施して第１ボケ画像と第２ボケ画像を生成するボカシ手段と、
輝度より低い輝度の画素値にかけるゲインが、所定の輝度より高い輝度の画素値にかけるゲインよりも高くなるようにして、前記第１ボケ画像に階調補正処理を施す階調補正手段と、
階調補正された前記第１ボケ画像と前記入力画像から前記入力画像のエッジ成分を示すエッジ画像を生成するエッジ抽出手段と、
前記エッジ画像の輝度成分と前記第２ボケ画像の色成分から、出力画像の輝度成分と色成分を決定し、前記出力画像を出力する出力手段と、を備えることを特徴とする画像処理装置。