JP6525700B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、色ノイズを低減する画像処理技術に関するものである。

デジタルカメラなどの撮像装置によって撮像されたカラー画像データは一般に、明るさを表す輝度信号と、各色成分の色差を表す色差信号とに分離されて画像処理されることが知られている。また近年、デジタルカメラ等の撮像装置には高画質な画像が望まれる。特に近年は、高感度撮影に対する要求が高く、暗所や夜間においても低ノイズの高画質な画像が得られることが望まれている。しかし、暗い場所や夜間のように十分なS／N比が得られない環境下では、色差信号のノイズ（色ノイズ）が低周波のランダムノイズとして表れ、画質が低下してしまう。

この色ノイズを抑制するために、平均化フィルタ、ガウシアンフィルタ等を用いた平滑化処理やメディアンフィルタのような順序統計フィルタを用いた色ノイズ低減処理が従来より行われている。しかしながら、平滑化処理や順序統計フィルタを用いた場合、大きな範囲のノイズ（低周波ノイズ）を十分に低減するためには、フィルタのタップ数を大きく設計する必要があり、回路規模の増大を引き起こしてしまう。この点、入力画像を縮小してからフィルタ処理を行うことで、タップ数を増やさずに同等の効果を得る手法が提案されている（特許文献１を参照）。

特開２０１０−１５７１６３号公報

ところで、入力画像の色ノイズ低減を行う際、エッジ付近に色滲みが発生することがある。例えば、入力画像を縮小してフィルタ処理を行うことで大きな範囲の色ノイズを低減することが可能であるが、縮小画像の拡大によって色領域の境界で色滲みが発生してしまう。

また、入力画像を縮小することなく色ノイズ低減する場合でも、大きな範囲の色ノイズ低減によって、やはり境界部分で色滲みが発生しやすくなる。そこで、なるべく色滲みを発生させない範囲でフィルタ処理を行うようにすると、今度はエッジ付近で色ノイズが残留してしまう。また、エッジ付近では、そもそも大きな範囲でフィルタ処理しても色ノイズが十分に低減できない場合もある。特に高コントラストエッジ部でそれは顕著であり、中でも無彩色の領域に存在する色ノイズは視覚的に非常に目立つことから、その改善が重要な課題となっている。

本発明に係る画像処理装置は、入力画像データに対し縮小処理を行なって、解像度を低くした複数の階層の縮小画像データを生成する縮小処理手段と、前記入力画像データ及び前記複数の階層の縮小画像データにおける注目画素の画素値を、ノイズが低減された値に補正する補正手段と、前記入力画像データ及び前記複数の階層の縮小画像データのうち、着目する画像データと前記着目する画像データよりも解像度が低い下の階層の画像データとを合成するための合成比率を導出する導出手段と、前記補正手段により補正された各画像データにおける前記注目画素を含む局所領域の画素値に基づいて、前記注目画素に対応する評価値を導出する評価値導出手段と、導出された前記合成比率及び前記評価値に基づいて、前記補正が施された画像データのうち、前記着目する画像データと、前記下の階層の画像データとを合成する合成手段と、を有し、前記合成手段は、前記評価値が所定の条件を満たす場合は、前記下の階層の画像データに対する比率が大きい所定の合成比率を用いて合成し、前記評価値が前記所定の条件を満たさない場合は、前記着目する画像データと前記下の階層の画像データの少なくとも何れか一方に応じて導出された合成比率を用いて合成することを特徴とする。

本発明によれば、無彩色領域のエッジ付近の色ノイズを効果的に低減することが可能となる。

画像処理装置のハードウェア構成の一例を示す図である。 （ａ）は画像処理装置のノイズ低減処理に係る論理構成の一例を示すブロック図、（ｂ）は色ノイズ低減処理部の内部構成を示すブロック図である。 図２（ｂ）で示す論理構成によって実現される処理全体の流れを示したシーケンス図である。 ローパスフィルタ処理に用いるフィルタの具体例を示す図である。 注目画素に対するローパスフィルタの掛け方の具体例を示す図である。 画素値がどのように補正されるのかを説明する図である。 （ａ）は注目画素を中心とした二次元的な領域の一例、（ｂ）〜（ｅ）は一次元的な領域の一例を示す図である。 注目画素を中心とした一次元的な領域に対し、色差評価値が導出される様子を説明する図である。 優先使用判定処理の具体例を示す図である。 色ノイズ低減処理における各処理の流れを示すフローチャートである。 縮小処理の流れを示すフローチャートである。 拡大合成処理の流れを示すフローチャートである。

以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［実施例１］
図１は、本実施例に係る、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１００は、例えばＰＣ等であり、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。そして、汎用Ｉ／Ｆ１０４によって、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリカードなどの外部メモリ１０７をメインバス１０９に接続される。

ＣＰＵ１０１は、ＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで、以下のような各種処理を実現する。

まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションを起動して、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で取得された画像データ、入力装置１０６からのユーザ指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータが、ＣＰＵ１０１からの指令に基づき演算処理される。演算処理の結果は、モニタ１０８に表示されたり、ＨＤＤ１０３または外部メモリ１０７に格納されたりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。

本実施例では、上記のような構成を備える画像処理装置１００に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力して色ノイズを低減した画像データを出力する態様について説明するものとする。

（画像処理装置の論理構成）
続いて、画像処理装置１００におけるノイズ低減処理に係る論理構成を説明する。

図２（ａ）は、画像処理装置１００のノイズ低減処理に係る論理構成の一例を示すブロック図である。画像処理装置１００は、信号変換処理部２０１、色ノイズ低減処理部２０２、輝度ノイズ低減処理部２０３、信号統合処理部２０４とで構成される。

撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力されるカラー画像データの色信号（ＲＧＢ色空間で表される色信号）は、まず信号変換処理部２０１に入力される。なお、本実施例におけるカラー画像データはＲＧＢ色空間であることを前提に説明を行なうが、これに限らず、例えばL*a*b*色空間に変換した上で実施してもよい。

信号変換処理部２０１は、入力されたカラー画像データのＲＧＢ色信号から、公知の変換式によって、輝度成分（Ｙ）を表す輝度信号と色差成分（Ｃｒ及びＣｂ）を表す色差信号を生成する処理を行なう。これにより輝度を表す輝度信号と色差（色相ベクトル）を表す色差信号とからなる色信号を得ることができる。ここで、輝度信号のノイズ（以降、輝度ノイズ）の空間周波数と色差信号のノイズ（以降、色ノイズ）の空間周波数は互いに異なり、色差信号のノイズの空間周波数の方が低い。本処理によって、入力されたカラー画像データに係るＲＧＢ色信号からＹＣｒＣｂ色信号を生成することで、輝度成分を表す輝度信号と色差成分を表す色差信号のそれぞれに対して最適なノイズ低減処理を行なうことができる。入力ＲＧＢ色信号と、信号変換処理によって生成されたＹＣｒＣｂ色信号は、色ノイズ低減処理部２０２と輝度ノイズ低減処理部２０３に送られる。

色ノイズ低減処理部２０２は、ＲＧＢ色信号とＹＣｒＣｂ色信号とに基づいて、色差信号のノイズ（色ノイズ）を低減する処理を行なう。色ノイズ低減処理の詳細については後述する。

輝度ノイズ低減処理部２０３は、輝度信号のノイズを低減する処理を行なう。輝度ノイズ低減処理部２０３においては、一般的なノイズ低減処理を用いればよい。

信号統合処理部２０４は、色ノイズ低減処理部２０２によって色ノイズが低減された色信号と、輝度ノイズ低減処理部２０３によって輝度ノイズが低減された色信号とを統合する処理を行なう。信号統合処理部２０４は、信号統合処理の結果生成される、色ノイズと輝度ノイズの両方が低減されたカラー画像データを出力する。統合後のカラー画像データは、モニタ１０８やＨＤＤ１０３などに出力される。そのほか、例えば汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７、不図示の外部サーバ、プリンタなどに出力しても構わない。

（色ノイズ低減処理部の詳細）
続いて、色ノイズ低減処理部２０２について詳しく説明する。図２（ｂ）は、色ノイズ低減処理部２０２の内部構成を示すブロック図である。図２（ｂ）に示すように、色ノイズ低減処理部２０２は、縮小処理部２１０、色差補正部２２０、合成比率導出部２３０、色差評価値導出部２４０、及び拡大合成処理部２５０で構成される。そして、図３は、図２（ｂ）で示す論理構成によって実現される処理全体の流れを示したシーケンス図である。以下、図２（ｂ）及び図３を参照しつつ、色ノイズ低減処理部２０２の各部について説明する。

＜縮小処理部＞
縮小処理部２１０は、入力された画像データに対し解像度を低減する処理（図３における縮小処理３０２ａ〜３０２ｃ）を行なって、縮小画像データを生成する。図３に示す例では、入力画像の解像度をそれぞれ、１／２倍にする縮小処理３０２ａ、１／４倍にする縮小処理３０２ｂ、１／８倍にする縮小処理３０２ｃを行なって、解像度の異なる３種類の縮小画像データを生成する。一般に画像データを縮小する際、ローパスフィルタ処理を行わないと折り返し雑音が発生してしまい、その折り返し雑音のパターンが、最終的に出力される画像データに現れてしまう。したがって、縮小処理を行う際には、例えば平均画素法やその他のローパスフィルタ処理を含んだアルゴリズムを用いるか、事前にローパスフィルタ処理を行った上でバイリニア法などを適用する。ローパスフィルタ処理に用いるフィルタは、縮小倍率に基づいて決定され、例えば、縮小倍率が１/２のときには、図４に示すようなフィルタが用いられる。なお、フィルタの大きさや係数は図４に示すフィルタに限られるものではない。以下では、入力画像データと当該入力画像データから生成された複数の縮小画像データとをまとめて「多重解像度画像データ」と呼ぶこととする。縮小処理によって生成された縮小画像データは、後述の色差補正処理で用いるためにＲＡＭ１０２に記憶される。

＜色差補正部＞
色差補正部２３０は、上述の多重解像度画像データに対し、予め設定された補正パラメータに基づいて、色ノイズが低減するように注目画素の色差を示す値（色差信号）を補正する処理（図３における色差補正処理３０３ａ〜３０３ｄ）を行なう。ここで、補正パラメータとは、注目画素について所定の参照領域と平均化するか否かを判定するための各閾値を意味する。これらは、ノイズ量に応じて適切な値に変更することが望ましい。したがって、例えば撮影感度に応じて予め決めておいたり、注目画素とその周辺画素の情報に基づいて適応的に決定する。色差補正処理では、入力カラー画像データの注目画素の色差信号Ｃr、Ｃbの値が、例えば以下の式（１）及び式（２）を用いて補正される。

上記式（１）及び式（２）において、Ｃr[i]とＣb[i]は注目画素に対する所定の参照領域内で以下の式（３）を満たす画素を表している。Ｍは、注目画素に対する参照領域において以下の式（３）を満たす画素数である。なお、注目画素自身は必ず含まれるのでＭ≧１となる。

上記式（３）において、∧は論理積（AND）を表し（以下、同じ）、Ｙは注目画素の輝度を表す。そして、Ｔｈ_Yは輝度に対する閾値、Ｔｈ_Crは色差Ｃｒに対する閾値、Ｔｈ_Cbは色差Ｃｂに対する閾値をそれぞれ表している。そして、Ｙ_diff、Ｃｒ_diff、Ｃｂ_diffは参照領域内の各画素値と比較する画素値との差であり、それぞれ以下の式（４）〜式（６）で表される。

上記式（４）〜式（６）における、比較する画素値Ｙ_comp、Ｃｒ_comp、Ｃｂ_compは注目画素の画素値をそのまま用いればよい。或いは、注目画素の画素値にローパスフィルタを掛けた結果を注目画素の画素値としてもよい。図５は、注目画素に対するローパスフィルタの掛け方の具体例を示す図である。図５の例では、注目画素とその上下左右方向に隣接する４画素を用いて、「比較する画素値Ｙ_comp、Ｃｒ_comp、Ｃｂ_comp」としての「注目画素の画素値にローパスフィルタを掛けた結果」が導出される。なお、ローパスフィルタと同様の効果があれば、その重み付けや使用する隣接画素の数は自由に決定してよい。また、人間の眼は緑色の光を最も明るく感じるという比視感度特性を有することから、輝度Ｙの代わりにＧを簡易輝度として扱ってもよい。この場合、色差を示す値Ｃｒ（Ｃｂ）は、Ｒ−Ｇ（Ｂ−Ｇ）で求められる。

図６は、上述の式（１）〜式（３）によって、画素値がどのように補正されるのかを説明する図である。ここでは、参照符号６０１〜６０３で示す画素値（14bit：0〜16383）を持つ画像データが補正対象であり、参照領域は太枠で示した領域である。この場合において、参照符号６０４〜６０６で示す比較する画素値＝注目画素の画素値（Ｙ_Comp：3394,Ｃｒ_Comp：-33,Ｃｂ_Comp：-150）を用いて、参照符号６０７〜６０９で示すＹ_diff、Ｃｒ_diff、Ｃｂ_diffがまず導出される。そして、導出されたＹ_diff、Ｃｒ_diff、Ｃｂ_diffを用いて、上記式（３）への当て嵌めがなされ、参照符号６１０で示す、値“1”を持つ全７画素が、上記式（１）及び式（２）における平均化に使用する画素と決定される。そして、最終的に、参照符号６１１で示す、注目画素における色差を示す値Ｃｒ、Ｃｂの補正値（Ｃｒ_result：-27,Ｃｂ_result：-48）が導出されることになる。

なお、ここに示した色差補正処理は一例であり、色ノイズが低減するように色差を示す値を補正する手法であれば他のどのような方法でもよい。色差補正処理によって色ノイズが低減された多重解像度画像データは、後述の合成比率導出処理及び色差評価値導出処理で用いるため、ＲＡＭ１０２に記憶される。

＜合成比率導出部＞
合成比率導出部２４０は、色差補正処理によって色ノイズが低減された多重解像度画像データに含まれる各画像データに対し、下位階層画像データとの合成比率を導出する処理（図３における合成比率導出処理３０４ａ〜３０４ｃ）を行なう。ただし、図３のシーケンス図から明らかなように、最下位階層の画像データ（本実施例では１／８倍に縮小処理された縮小画像データ）は、自己よりも下位の画像データが存在しないため本処理の対象外である。ここで、合成比率は色差信号の急峻な変化の度合いに応じて決定され、例えば注目画素の色差信号Ｃｒ、Ｃｂを入力としてエッジ検出することで導出可能である。具体的には、フィルタ係数[−1,２,−１]を有する空間フィルタを用い、水平方向と垂直方向にフィルタを適用した結果のうち、色エッジの度合いが高いと考えられる方を、予め定めた関数によって０〜１の間の係数Ｋにマッピングする。色エッジの度合いが高いと考えられるフィルタ適用結果ほど１に近い値の係数Ｋが、色エッジの度合いが低いと考えられるフィルタ適用結果ほど０に近い値の係数Ｋが出力される。そして、この係数Ｋが合成比率となる。なお、エッジ検出には輝度信号を用いてもよい。また、フィルタ係数や判定方法は上述したものに限らない。色エッジの度合いが高いと考えられるときに大きな値の合成比率、色エッジの度合いが低いと考えられるときに小さな値の合成比率が得られれば、どのように導出してもよい。導出された合成比率のデータは、後述の拡大合成処理で用いるため、ＲＡＭ１０２に記憶される。

＜色差評価値導出部＞
色差評価値導出部２５０は、色差補正部２２０で処理された多重解像度画像データに含まれる各画像データに対し、色差に基づく評価値を導出する処理（図３における色差評価値導出処理３０５ａ〜３０５ｄ）を行なう。具体的には、注目画素を中心とした二次元的な領域と一次元的な領域に対し、それぞれ以下の式（７）〜式（９）を用いて色差評価値として、Ｙ_avg、Ｃｒ_avg、Ｃｂ_avgがそれぞれ導出される。

上記式（７）〜式（９）において、Ｙ_i、Ｃｒ_i及びＣｂ_iはそれぞれ各領域内の画素を表し、Ｎは領域を構成する画素数を表している。図７（ａ）に注目画素を中心とした二次元的な領域の例を、同（ｂ）〜（ｅ）に、一次元的な領域の例をそれぞれ示している。そして、一次元的な領域の場合は、各方向の評価値がそれぞれ導出されることになる。

図８は、注目画素を中心とした一次元的な領域のうち、図７（ｂ）に示す領域に対し、色差評価値が導出される様子を説明する図である。この場合、Ｙ成分、Ｃｒ成分、Ｃｂ成分のそれぞれについて、参照符号８０１〜８０３で示す太枠部分の画素値を用いて、上記式（７）〜式（９）への当て嵌めがなされる。その結果、参照符合８０４で示すような色差評価値（Ｙ_avg：3028，Ｃｒ_avg：68，Ｃｂ_avg：106）が導出されることになる。

なお、領域の大きさや一次元的な領域の方向の数はこれに限定されるものではない。また、上述の例では平均値を評価値としているが、加算値でもよい。導出された色差の評価値の情報は、後述の優先使用判定処理で用いるため、ＲＡＭ１０２に記憶される。

＜拡大合成処理部＞
拡大合成処理部２５０は、色差補正部２２０で処理された多重解像度画像データのうち解像度が異なる２種類の画像データを、合成比率導出部２３０で導出された合成比率と色差評価値導出部２４０で導出された色差評価値とに基づいて、合成する処理を行う。拡大合成処理部２５０は、さらに、拡大処理部２５１、優先使用判定部２５２及び画素値合成部２５３とで構成される。以下、拡大合成処理部２５０を構成する各部について説明する。

≪拡大処理部≫
拡大処理部２５１は、多重解像度画像データにおける最上位階層の画像データ（入力画像データそのもの。図３における入力画像３０１）を除いた各階層の画像データを例えばバイリニア法によって２倍に拡大する処理（図３における拡大処理３０６ａ〜３０６ｃ）を行なう。このとき拡大処理の対象となるのは、最下位階層の画像データは色差補正部２２０で処理された画像データであり、その他の下位階層の画像データは、後述の画素値合成処理による合成後の画像データである。図３のシーケンス図の例では、拡大処理３０６ａの対象は色差補正処理３０３ｄが施された最下位階層の画像データとなっている。また、拡大処理３０６ｂの対象は後述の画素値合成処理３０８ａが施された合成後の画像データとなっている。そして、拡大処理３０６ｃの対象は後述の画素値合成処理３０８ｂが施された合成後の画像データとなっている。なお、拡大処理の方法は、バイリニア法に限らず、例えばニアレストネイバー法、バイキュービック法、Lanczos法などを用いてもよい。

≪優先使用判定部≫
優先使用判定部２５２は、着目する画像データとその一つ下の階層の画像データとを合成する際に、優先的に下の階層の画像データを使用するかどうかを判定する処理（図３における優先使用判定処理３０７a〜３０７ｃ）を行なう。この判定は、色差評価値導出部２４０で導出された色差評価値に基づいてなされる。ここで、「一つ下の階層の画像データ」とは、着目画像データよりも１段階解像度が低い画像データであって、当該着目する画像データと同じ解像度に上記拡大処理部２５１によって拡大処理された画像データを指す。図３のシーケンス図の例で説明する。まず、優先使用判定処理３０７ａでは、入力画像データの１／４の解像度に縮小処理された画像データと、入力画像データの１／８の解像度に縮小処理されていた（拡大処理によって同じ解像度になった）画像データとの合成を行う際の判定がなされる。そして、優先使用判定処理３０７ｂでは、入力画像データの１／２の解像度に縮小処理された画像データと、入力画像データの１／４の解像度に縮小処理されていた（拡大処理によって同じ解像度になった）画像データとの合成を行う際の判定がなされる。そして、優先使用判定処理３０７ｃでは、入力画像データそのものと、入力画像データの１／２の解像度に縮小処理されていた（拡大処理によって同じ解像度になった）画像データとの合成を行う際の判定がなされる。

そして、この優先使用判定処理は、上述の式（７）〜（９）で導出された色差評価値のうち下位階層側の結果を、画素単位で、以下の式（１０）に当て嵌めて行う。

上記式（１０）において、ａ及びｂは階層と撮影感度に応じて設定する係数であり、階層が下又は撮影感度が小さいほど小さな値に、反対に上階層であるほど、又は撮影感度が高いほど大きな値に設定する。上記式（１０）は、図７に対応しており、一次元的な領域については（ｂ）〜（ｅ）の四方向に設定したときの判定式となっている。すなわち、二次元的な領域（図７（ａ））の評価値によって注目画素とその周囲の画素が無彩色に近いかどうかを判定し、さらに一次元的な領域（図７（ｂ）〜（ｄ））の評価値によって色エッジがないことを判定している。なお、一次元的な領域の方向は必ずしも四方向に限定されないが、可能な限り四方向以上の一次元的な領域を設定していることが望ましい。実は色エッジがあるのにその領域は無彩色と判定してしまい、それによって最終的に消えて欲しくない色エッジが消えてしまうようなことが起こるのを防ぐためである。上記式（１０）の条件を満たした場合には、さらに以下の式（１１）を用いた判定を行う。

上記式（１１）は注目画素の色差について、下位階層側（低解像度側：Ｃｒ_down、Ｃｂ_down）と上位階層側（高解像度側：Ｃｒ_up、Ｃｂ_up）とで比較し、下位階層側の方が、色差が小さいか否かを判定している。式（１０）の条件を満たした上で、さらに式（１１）の条件を満たしたとき、当該下の階層の画像データを画素値合成処理において例えば100％採用するよう、合成比率が変更されることになる。

図９は、優先使用判定処理の具体例を示す図である。いま、参照符号６０１〜６０３で示す画素値（14bit：0〜16383）を持つ画像データにおける、二次元的或いは一次元的な的な領域（図７（ａ）〜（ｅ））について、それぞれ参照符号９０１〜９０５で示す色差評価値が導出されている。これらを上述の式（１０）に当て嵌めると、参照符号９０６で示す「条件を満たしていない」の判定結果となる。仮に、上記式（１０）の判定式の条件を満たす場合には、上記式（１１）への当て嵌めへと進むことになる。図９に示した、｜Ｃｒ_down｜＝56、｜Ｃｂ_down｜＝62、｜Ｃｒ_up｜＝69、｜Ｃｂ_up｜＝79の具体例では、参照符号９０７で示す「条件を満たしている」の判定結果となる。このような判定結果が得られた場合、例えば上位階層側の比率を表す合成比率ｕ（０≦ｕ≦１）が“0”に近い値へと変更される。このように変更された合成比率のデータはＲＡＭ１０２に記憶される。

≪画素値合成部≫
画素値合成部２５３は、着目する画像データの画素値と、その一つ下の階層の画像データを拡大処理した後の画像データ（着目する画像データと同じ解像度）の画素値を、各段階の合成比率導出処理によって導出された合成比率に基づいて合成する処理を行なう。図３においては、画素値合成処理３０８ａ〜３０８ｃがこれに対応する。具体的には、下位階層側の画素値をＩ_down、上位階層側の画素値をＩ_up、合成比率をｕとしたときの合成後の画素値Ｉ_postが、以下の式（１２）を用いて求められる。

例えば、合成比率ｕ＝0.1、下位階層側画素値Ｉ_down＝3405、上位階層側画素値Ｉ_up＝3621であったとき、合成後の画素値Ｉ_postは上記式（１２）より“3427”となる。なお、ここでの画素値はどのようなフォーマットでもよく、ＹｃｒＣｂ値でもよいし、ＲＧＢ値でもよい。

上述の通り合成比率ｕは、上位階層側の画像データをどれだけ使用するかを表す係数であり、基本的には合成比率導出部２３０で導出され、優先使用判定処理の結果によって適宜変更されることになる。本実施例の場合、画素値合成処理３０８ａ／３０８ｂの結果である合成後のカラー画像データはＲＡＭ１０２に一旦記憶されて拡大処理３０６ｂ／３０６ｃに供される。一方、画素値合成処理３０８ｃの結果である合成後の画像データについてはそのまま出力される（図３のシーケンス図を参照）。この際の出力の態様には、例えば、モニタ１０８への表示、ＨＤＤ１０３保存、汎用Ｉ／Ｆ１０４を介した外部メモリ１０７や外部サーバ（不図示）への保存、プリンタ（不図示）での印刷といったものがある。

（色ノイズ低減処理のフロー）
次に、色ノイズ低減処理部２０２における各処理の大まかな流れについて説明する。図１０は、色ノイズ低減処理における各処理の流れを示すフローチャートである。この一連の処理は、ＣＰＵ１０１が、ＨＤＤ１３０に格納されているプログラムをＲＡＭ１０２にロードし、実行することで実現される。

色ノイズ低減処理部２０２に画像データが入力されると、ステップ１００１において、縮小処理部２１０は、取得された入力画像データに対し前述の縮小処理を行い、多重解像度画像データを生成する。縮小処理の詳細については後述する。

ステップ１００２において、色差補正部２２０は、生成された多重解像度画像データにおける各階層の画像データに対し、色ノイズが低減するように注目画素の色差を示す値（色差信号）を補正する色差補正処理を行なう。

ステップ１００３において、合成比率導出部２３０は、色差補正処理によって色ノイズが低減された多重解像度画像データのうち、最下位階層を除く各画像データに対し、下位階層の画像データとの合成比率を導出する処理を行なう。

ステップ１００４において、色差評価値導出部２４０は、色差補正処理によって色ノイズが低減された多重解像度画像データに含まれる各画像データに対し、色差評価値を導出する処理を行なう。

ステップ１００５において、拡大合成処理部２５０は、色差補正処理によって色ノイズが低減された多重解像度画像データに対し、ステップ１００３で導出された合成比率とステップ１００４で導出された色差評価値とに基づいて、前述の拡大合成処理を行う。拡大合成処理の詳細については後述する。

以上が、色ノイズ低減処理部２０２における各処理の大まかな流れである。

（縮小処理フロー）
続いて、上述した図１０のフローにおける縮小処理（ステップ１００１）の詳細について説明する。図１１は、縮小処理の流れを示すフローチャートである。

ステップ１１０１において、縮小処理部２１０は、縮小処理パラメータを取得する。縮小処理パラメータには、多重解像度の階層の深さ、最小の解像度が入力画像データに対して何分の１（２の倍数）になるかの情報が含まれる。そして、このような縮小処理パラメータが予め設定されて、ＨＤＤ１０３等に保存される。本実施例の場合、全４階層（１倍、１／２倍、１／４倍、１／８倍）で、最小の解像度が入力画像データの８分の１になるという内容の縮小処理パラメータが予め設定・保存され、それがＨＤＤ１０３等から読み込むことで取得される。

ステップ１１０２において、縮小処理部２１０は、ステップ１１０１で取得した縮小処理パラメータに基づき、縮小処理に適用する倍率を決定する。縮小処理パラメータの内容が、全４階層で、最小の解像度が入力画像データの８分の１という本実施例の場合は、１／２、１／４、１／８という３種類の倍率が順次決定されることになる。

ステップ１１０３において、縮小処理部２１０は、処理対象の画像データに対して、ステップ１１０２で決定された倍率に縮小する処理を行う。

ステップ１１０４において、縮小処理部２１０は、ステップ１１０１で取得した縮小処理パラメータに基づく縮小処理が全て完了したかどうかを判定する。本実施例の場合は、１／２、１／４、１／８という３種類の倍率についての縮小処理がすべて完了しているかどうかが判定される。判定の結果、取得した縮小処理パラメータに対応する全ての縮小処理が完了している場合は本処理を終える。一方、未処理の倍率があればステップ１１０２に戻って次の倍率を決定して縮小処理を続行する。

（拡大合成処理フロー）
次に、上述した図１０のフローにおける拡大合成処理（ステップ１００５）の詳細について説明する。図１２は、拡大合成処理の流れを示すフローチャートである。

ステップ１２０１において、拡大合成処理部２５０は、前述のステップ１００２の色差補正処理によって色ノイズが低減された全ての画像データ（多重解像度画像データ）を取得する。

ステップ１２０２において、拡大合成処理部２５０は、前述の縮小処理パラメータ及び合成処理パラメータを取得する。ここで、合成処理パラメータとは、前述のステップ１００３で導出された合成比率及び前述のステップ１００４で導出された色差評価値を意味する。

ステップ１２０３において、拡大合成処理部２５０の拡大処理部２５１は、ステップ１２０１で取得した複数の画像データの中で最も下位階層（解像度が小さい）の画像データに対し、前述の拡大処理（本実施例では２倍）を行なう。

ステップ１２０４において、拡大合成処理部２５０は、ステップ１２０１で取得した複数の画像データのうち未処理の画像データの中で最小解像度の画像データを、画素値合成処理の対象となる一方の画像データとして選択する。この場合において、上記未処理の画像データには、最下位階層の画像データは含まれない。

ステップ１２０５において、拡大合成処理部２５０の画素値合成部２５３は、画素値合成処理の対象となる画素を選択する。具体的には、最初のルーチンの場合は、ステップ１２０３で拡大処理された画像データと当該拡大処理された画像データと同じ解像度のステップ１２０４で選択された画像データとについて、画素値合成処理の対象となる画素が選択される。また、２回目以降のルーチンの場合は、後述のステップ１２１２で拡大処理された画像データと、当該拡大処理された画像データと同じ解像度のステップ１２０４で選択された画像データとについて、画素値合成処理の対象となる画素が選択される。

続くステップ１２０６〜ステップ１２０８では、拡大合成処理部２５０の優先使用判定部２５２において、ステップ１２０５で選択した画素についての前述した優先判定処理がなされる。すなわち、画素値合成処理対象の２つの画像データのうち拡大処理された方の画像データ（下位階層側の画像データ）を優先的に採用するかどうかの判定処理がなされる。

まず、ステップ１２０６では、下位階層側の画像データの優先的な採用が可能であるかどうか（前述の式（１０）を満足するかどうか）が判定される。判定の結果、下位階層側の画像データの優先的な採用が可能であった場合は、ステップ１２０７に進む。一方、下位階層側の画像データの優先的な採用が可能ではなかった場合はステップ１２０９に進む。

ステップ１２０７では、処理対象である２つの画像データの色差評価値を比較し、下位階層側の画像データの色差評価値（E_low）の方が、ステップ１２０４で選択された画像データの色差評価値（E_high）よりも小さいかどうかを判定する。判定の結果、下位階層側の画像データの色差評価値（E_low）の方が小さい場合は、ステップ１２０８に進む。一方、下位階層側の画像データの色差評価値（E_low）の方が小さくない場合は、ステップ１２０９に進む。

ステップ１２０８では、合成比率導出処理（前述のステップ１００３）で得られた合成比率が、下位階層側の画像データの画素値を例えば100％採用するような合成比率に変更される。

ステップ１２０９において、拡大合成処理部２５０の画素値合成部２５３は、現在設定されている合成比率に基づいて、前述の画素値合成処理を行なう。これにより、２つの画像データにおける選択された画素値を合成した画素値Ｉ_postが得られる。

ステップ１２１０において、拡大合成処理部２５０は、全画素に対する合成処理が完了したかどうかを判定する。全画素についての処理が完了していれば、ステップ１２１１に進む。一方、未処理の画素があれば、ステップ１２０５に戻って次の画素を処理対象の画素に選択して処理を続行する。

ステップ１２１１において、拡大合成処理部２５０は、多重解像度画像データのうち最上位階層の画像データ以外の全ての画像データ（すなわち、入力画像データを除く全ての縮小画像データ）についての拡大処理がなされたかどうかを判定する。判定の結果、拡大処理がなされていない縮小画像データがある場合は、ステップ１２１２に進む。一方、全ての縮小画像データに対して拡大処理を行っていれば、本処理を終える。

ステップ１２１２において、拡大合成処理部２５０の拡大処理部２５１は、ステップ１２０９で得られた合成処理後の画像データに対して、前述の拡大処理（本実施例では２倍）を行なう。拡大処理の実行後は、ステップ１２０４に移行する。

以上が、拡大合成処理の内容である。

以上述べたとおり、本実施例によれば、入力画像データにおける無彩色領域のエッジ付近の色ノイズを効果的に低減することができる。

＜その他の実施例＞
実施例１では、画像処理アプリケーションで処理を行う例を説明したが、これらは撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像データを送信し、サーバ装置上で画像データが処理されてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (19)

1. 入力画像データに対し縮小処理を行なって、解像度を低くした複数の階層の縮小画像データを生成する縮小処理手段と、
   前記入力画像データ及び前記複数の階層の縮小画像データにおける注目画素の画素値を、ノイズが低減された値に補正する補正手段と、
   前記入力画像データ及び前記複数の階層の縮小画像データのうち、着目する画像データと前記着目する画像データよりも解像度が低い下の階層の画像データとを合成するための合成比率を導出する導出手段と、
   前記補正手段により補正された各画像データにおける前記注目画素を含む局所領域の画素値に基づいて、前記注目画素に対応する評価値を導出する評価値導出手段と、
   導出された前記合成比率及び前記評価値に基づいて、前記補正が施された画像データのうち、前記着目する画像データと、前記下の階層の画像データとを合成する合成手段と、
   を有し、
   前記合成手段は、
   前記評価値が所定の条件を満たす場合は、前記下の階層の画像データに対する比率が大きい所定の合成比率を用いて合成し、
   前記評価値が前記所定の条件を満たさない場合は、前記着目する画像データと前記下の階層の画像データの少なくとも何れか一方に応じて導出された合成比率を用いて合成する
   ことを特徴とする画像処理装置。
2. 前記下の階層の画像データは、前記着目する画像データの一つ下の階層の画像データであることを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、
   前記一つ下の階層の画像データを拡大する拡大処理手段と、
   着目する画像データと前記一つ下の階層の画像データとを合成する際に、優先的に前記一つ下の階層の画像データを使用することが可能かどうかを、前記評価値に基づいて判定する優先使用判定手段と、
   前記着目する画像データの画素値と、前記一つ下の階層の画像データであって前記拡大する処理により当該着目する画像データと同じ解像度に拡大された画像データの画素値とを、前記合成比率に基づいて合成する画素値合成手段と
   を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記画素値合成手段は、以下の式を用いて合成後の画素値を求め、
   上記式において、Ｉ_postは合成後の画素値を、Ｉ_downは下位階層側の画像データの画素値を、Ｉ_upは上位階層側の画素値をそれぞれ表し、ｕは上位階層側の画像データをどれだけ使用するかを表す前記合成比率としての係数を表す、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記評価値導出手段は、前記注目画素を中心とした二次元的な領域と、前記注目画素を中心とした複数の異なる方向の一次元的な領域とについて、前記評価値を導出することを特徴とする前記請求項３又は４の何れか一項に記載の画像処理装置。
6. 前記優先使用判定手段は、前記二次元的な領域についての評価値によって前記注目画素とその周囲の画素が無彩色に近いかどうかを判定し、さらに前記一次元的な領域についての評価値によって色エッジがないことを判定することにより、優先的に前記一つ下の階層の画像データを使用することが可能かどうかを判定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記評価値導出手段は、前記入力画像データの輝度成分（Ｙ）を表す輝度信号、色差成分（Ｃｒ、Ｃｂ）を表す色差信号に基づいて前記評価値を算出することを特徴とする請求項５又は６の何れか一項に記載の画像処理装置。
8. 前記評価値導出手段は、前記輝度信号および前記色差信号のそれぞれについて以下の式を用いて前記評価値を算出し、
   上記各式において、Ｙ_i、Ｃｒ_i、Ｃｂ_iはそれぞれ前記二次元的な領域又は前記一次元的な領域内の画素を表し、Ｎは各領域を構成する画素数を表す、ことを特徴とする請求項７に記載の画像処理装置。
9. 前記補正手段は、以下の式に従って、前記注目画素の色差成分（Ｃｒ、Ｃｂ）を表す色差信号の値を補正し、
   上記式におけるＣｒ[i]及びＣｂ[i]はそれぞれ前記注目画素を含む所定の領域内の画素を表し、Ｍは当該所定の領域内の画素数を表す、
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記所定の領域内の画素は、前記注目画素に対して以下の式を満たす画素であり、
    上記式において、Ｙ_diff、Ｃｒ_diff、Ｃｂ_diffは前記所定の領域内の各画素の値と所定の比較する画素値との差を表し、Ｔｈ_Y、Ｔｈ_Cr、Ｔｈ_Cbはそれぞれ、輝度成分（Ｙ）に対する閾値、色差成分（Ｃｒ、Ｃｂ）に対する閾値を表す、
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記所定の比較する画素値は、前記注目画素の値又は前記注目画素の値にローパスフィルタを掛けた値であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記評価値が所定の条件を満たす場合は、前記所定の合成比率として、前記下の階層の画像データに対して１００％を用いることを特徴とする請求項１に記載の画像処理装置。
13. 前記導出手段は、前記着目する画像データと前記下の階層の画像データの少なくとも何れか一方に基づいて、画素毎にエッジの度合いに応じた合成比率を導出することを特徴とする請求項１に記載の画像処理装置。
14. 前記エッジの度合いに応じた合成比率は、
    前記評価値が所定の条件を満たす場合は、前記所定の合成比率に上書きされ、
    前記評価値が前記所定の条件を満たさない場合には、前記所定の合成比率に上書きされない、
    ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記合成手段は、前記着目する画像データと、前記下の階層の画像データとを画素毎に合成することを特徴とする請求項１乃至１４の何れか一項に記載の画像処理装置。
16. 前記優先使用判定手段は、前記評価値が前記所定の条件を満たすか否かによって、優先的に前記一つ下の階層の画像データを使用することが可能かどうかを判定することを特徴とする請求項３、５または６に記載の画像処理装置。
17. 前記優先使用判定手段は、前記所定の条件として以下の式を用いて前記判定を行い、
    上記式において、ａ及びｂは階層と撮影感度に応じて設定する係数であり、階層が下又は撮影感度が小さいほど小さな値に設定する、
    ことを特徴とする請求項１６に記載の画像処理装置。
18. 入力画像データに対し縮小処理を行なって、解像度を低くした複数の階層の縮小画像データを生成するステップと、
    前記入力画像データ及び前記複数の階層の縮小画像データにおける注目画素の画素値を、ノイズが低減された値に補正するステップと、
    前記入力画像データ及び前記複数の階層の縮小画像データのうち、着目する画像データと前記着目する画像データよりも解像度が低い下の階層の画像データとを合成するための合成比率を導出するステップと、
    前記補正するステップで補正された各画像データにおける前記注目画素を含む局所領域の画素値に基づいて、前記注目画素に対応する評価値を導出するステップと、
    導出された前記合成比率及び前記評価値に基づいて、前記補正が施された画像データのうち、前記着目する画像データと、前記下の階層の画像データとを合成するステップと、
    を含み、
    前記合成するステップでは、
    前記評価値が所定の条件を満たす場合は、前記下の階層の画像データに対する比率が大きい所定の合成比率を用いて合成し、
    前記評価値が前記所定の条件を満たさない場合は、前記着目する画像データと前記下の階層の画像データの少なくとも何れか一方に応じて導出された合成比率を用いて合成する、
    ことを特徴とする画像処理方法。
19. コンピュータを、請求項１乃至１７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。