JP6807795B2 - 雑音除去装置及びプログラム - Google Patents

Description

本発明は、入力画像の雑音を除去する雑音除去装置及びプログラムに関する。

従来、画像をウェーブレット変換して周波数分解係数を生成し、周波数分解係数のうち、雑音レベル以下の成分をコアリングするなどして雑音除去を行う手法が提案されている（例えば、非特許文献１参照）。また、ウェーブレット縮退を用いた雑音除去では、空間高周波帯域成分はほぼ雑音成分となるため、雑音レベルを空間高周波帯域のパワー値の分散値などから求めている。

David L. Donoho, Iain M. Johnstone, Gerard Kerkyacharian and Dominique Picard, "Wavelet Shrinkage: Asymptopia?", Journal of the Royal Statistical Society. Series B (Methodological), Vol. 57, No. 2, pp. 301-369, 1995.

近年のデジタルカメラや動画像カメラでは、撮像素子としてＣＭＯＳセンサが用いられている。ＣＭＯＳセンサは、１画素ごとにアンプを有し、光電変換された電荷量を増幅する。そして、その信号対雑音比は暗い画素では明るい画素よりも低いため、アンプの増幅特性が線形ではないことより、雑音レベルは暗い画素では明るい画素よりも高い場合が多い。このため、雑音除去時の縮退量は、暗い画素では明るい画素よりも大きくすることが望ましい。しかしながら、従来は、雑音を除去する際に、このような雑音レベルの特性を考慮していなかった。

かかる事情に鑑みてなされた本発明の目的は、撮像素子の画素ごとに組み込まれているアンプの特徴を考慮し、高精度に雑音を除去することが可能な雑音除去装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る雑音除去装置は、入力画像の雑音を除去する雑音除去装置であって、入力画像に対してウェーブレットパケット分解処理を行って周波数分解係数を生成するウェーブレットパケット分解部と、低周波数帯域内の前記周波数分解係数の各々について、階調順にクラスタリングして複数のクラスタを生成し、前記クラスタごとの位相位置であるクラスタ位相位置を決定するクラスタリング部と、前記クラスタごとに、高周波数帯域内の前記周波数分解係数のうち、前記クラスタ位相位置と同じ位相位置の周波数分解係数の値から雑音レベルを算出する雑音レベル算出部と、前記クラスタごとに、前記クラスタ位相位置と同じ位相位置の周波数分解係数について、前記雑音レベルを閾値として、前記雑音レベル以下の前記周波数分解係数を前記雑音レベルを超える前記周波数分解係数よりも強く縮退させた縮退係数を生成する縮退処理部と、前記縮退係数をウェーブレットパケット再構成して雑音除去画像を生成するウェーブレットパケット再構成部と、を備えることを特徴とする。

さらに、本発明に係る雑音除去装置において、前記クラスタリング部は、４分木分割された隣接する４つの周波数帯域ごとに、最低周波数帯域内の前記周波数分解係数について前記クラスタを生成し、前記雑音レベル算出部は、前記４つの周波数帯域ごとに、最高周波数帯域内の前記周波数分解係数のうち、前記クラスタ位相位置と同じ位相位置の周波数分解係数の値から前記雑音レベルを算出することを特徴とする。

さらに、本発明に係る雑音除去装置において、前記縮退処理部は、同一の前記クラスタ内では、周波数帯域の低い周波数分解係数ほど、強く縮退させることを特徴とする。

さらに、本発明に係る雑音除去装置において、前記雑音レベル算出部は、前記クラスタ位相位置と同じ位相位置の周波数分解係数の値の二乗平均平方根値又は平均値を前記雑音レベルとすることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記雑音除去装置として機能させることを特徴とする。

本発明によれば、撮像素子の画素ごとに組み込まれているアンプの特徴を考慮し、位相位置ごと及びパワーレベルごとに雑音除去量（縮退率）を制御でき、画像の雑音除去を高精度に行うことが可能となる。

本発明の第１の実施形態に係る雑音除去装置の構成例を示すブロック図である。 入力画像を２階ウェーブレットパケット分解した様子を示す図である。 クラスタリング処理を行う周波数帯域と雑音レベル算出処理を行う周波数帯域の第１の例を示す図である。 クラスタリング処理を行う周波数帯域と雑音レベル算出処理を行う周波数帯域の第２の例を示す図である。 本発明の第１の実施形態に係る雑音除去装置で用いられる縮退関数の例を示す図である。 本発明の第２の実施形態に係る雑音除去装置の構成例を示すブロック図である。 本発明の第２の実施形態に係る雑音除去装置において、雑音レベル（及び最大雑音レベル）を補正する場合の処理について説明する図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
本発明の第１の実施形態に係る雑音除去装置について、以下に説明する。図１に、本発明の第１の実施形態に係る雑音除去装置の構成例を示す。図１に示す雑音除去装置１は、ウェーブレットパケット分解部１１と、クラスタリング部１２と、雑音レベル算出部１３と、縮退処理部１４と、ウェーブレットパケット再構成部１５とを備える。

雑音除去装置１は、撮像素子から入力される画像（入力画像）の雑音を除去し、雑音除去画像を外部に出力する装置である。

ウェーブレットパケット分解部１１は、入力画像に対して低周波帯域側及び高周波帯域側にオクターブ分解するウェーブレットパケット分解処理を行って周波数分解係数（周波数分解成分）を生成し、クラスタリング部１２及び縮退処理部１４に出力する。なお、ウェーブレットパケット分解における各階の周波数分解係数間には、パーセバルの等式が成り立つものとする。

図２は、ウェーブレットパケット分解部１１により入力画像を２階ウェーブレットパケット分解した際の周波数分解の様子を示す図である。解像度が水平８Ｋ・垂直４Ｋの入力画像を２階ウェーブレットパケット分解した場合、図２に示すように、入力画像の周波数帯域は１６分割され、ウェーブレットパケット分解部１１は、各周波数帯域内の周波数分解係数を出力する。以下の説明では、画像の空間周波数を、周波数に対応する解像度で表すこととする。また、以下の説明において、「位相位置」とは、分割された各周波数帯域内における周波数分解係数の座標位置（ｘ，ｙ）をいう。すなわち、図２の例では、０≦ｘ＜２Ｋであり、０≦ｙ＜１Ｋであり、同じ位相位置の周波数分解係数が１６個存在することになる。

クラスタリング部１２は、入力画像の輝度に応じた雑音制御を可能とするために、低周波数帯域内の周波数分解係数について、大きさ順にクラスタリングして複数のクラスタを生成する。以下、本実施形態では、クラスタ数を４とし、クラスタＣ_１，Ｃ_２，Ｃ_３，Ｃ_４を生成するものとする。クラスタ数が多いほど入力画像の輝度レベルに応じて精細な制御が可能となるが、実験ではクラスタ数が３〜５程度でも、撮像素子のアンプの特性を考慮した雑音除去が十分可能であることが分かっている。

例えば、１２ビット深度の入力画像を４つのクラスタにクラスタリングする場合、クラスタリング部１２は、ＳＤＩ（Serial Digital Interface）信号の有効レベル４０６４階調（０〜１５及び４０８０〜４０９５階調は使用不可）を４等分して、クラスタＣ_１を１６〜１０３１階調、クラスタＣ_２を１０３２〜２０４７階調、クラスタＣ_３を２０４８〜３０６３階調、クラスタＣ_４を３０６４〜４０７９階調の要素とする。または、０％−ｂｌａｃｋである２５６階調から１００％−ｗｈｉｔｅである３７６０階調間を４等分して、１６〜２５５階調はクラスタＣ_１に、３７６１〜４０７９階調はクラスタＣ_４に割り当ててもよい。その他、ｋ−ｍｅａｎｓ法などを使用してクラスタリングを行ってもよい。このクラスタリング処理により、低周波数帯域内の各周波数分解係数は、クラスタＣ_１〜Ｃ_４のいずれかに分類されることになる。

そして、クラスタリング部１２は、低周波数帯域内の周波数分解係数について、クラスタごとの位相位置（クラスタ位相位置）を決定し、雑音レベル算出部１３に出力する。

雑音レベル算出部１３は、クラスタごとに、高周波数帯域内の周波数分解係数のうち、クラスタ位相位置と同じ位相位置の周波数分解係数の値から雑音レベルを算出し、縮退処理部１４に出力する。雑音レベルは、該周波数分解係数の値の二乗平均平方根（ＲＭＳ）値、又は平均値などとする。高周波数帯域は周波数分解係数値が小さい（信号レベルが小さい）ため、雑音の割合が高く、雑音レベルの推定に有用である。

図３は、クラスタリング処理を行う周波数帯域と雑音レベル算出処理を行う周波数帯域の第１の例を示す図である。図３に示す例では、クラスタリング部１２は、斜線で示す最低周波数帯域ＬＬＬＬ内の周波数分解係数についてクラスタＣ_１〜Ｃ_４にクラスタリングし、クラスタＣ_１に属する周波数分解係数の位相位置（クラスタＣ_１位相位置）、クラスタＣ_２に属する周波数分解係数の位相位置（クラスタＣ_２位相位置）、クラスタＣ_３に属する周波数分解係数の位相位置（クラスタＣ_３位相位置）、及びクラスタＣ_４に属する周波数分解係数の位相位置（クラスタＣ_４位相位置）を決定する。

そして、雑音レベル算出部１３は、縦線で示す最高周波数帯域ＨＨＨＨ内の周波数分解係数のうち、クラスタＣ_１位相位置と同じ位相位置の周波数分解係数の値から雑音レベルＮ_１を算出する。同様にして、クラスタＣ_２位相位置、クラスタＣ_３位相位置、及びクラスタＣ_４位相位置と同じ位相位置の周波数分解係数の値から、それぞれ雑音レベルＮ_２，Ｎ_３，及びＮ_４を算出する。また、雑音レベル算出部１３は、クラスタごとの位相位置（クラスタＣ_ｎ位相位置）と同じ位相位置の周波数分解係数値の最大値を、それぞれ最大雑音レベルＮ_ｎ＿ｍａｘとして設定してもよい。なお、ｎはクラスタを区別するための記号であり、本実施形態ではｎ＝１〜４である。

図４は、クラスタリング処理を行う周波数帯域と雑音レベル算出処理を行う周波数帯域の第２の例を示す図である。クラスタリング部１２は、図４に示すように、４分木分割された隣接する４つの周波数帯域（以下、「４分木分割周波数帯域群」という。）ごとに、最低周波数帯域内の周波数分解係数についてクラスタごとの位相位置（クラスタＣ_ｎ位相位置）を決定してもよい。ここで、４分木分割周波数帯域群とは、図４で示す太枠で囲まれた４つの周波数帯域を意味する。すなわち、第１の４分木分割周波数帯域群は周波数帯域ＬＬＬＬ，ＬＬＬＨ，ＬＬＨＬ，ＬＬＨＨからなり、第２の４分木分割周波数帯域群は周波数帯域ＬＨＬＬ，ＬＨＬＨ，ＬＨＨＬ，ＬＨＨＨからなり、第３の４分木分割周波数帯域群は周波数帯域ＨＬＬＬ，ＨＬＬＨ，ＨＬＨＬ，ＨＬＨＨからなり、第４の４分木分割周波数帯域群は周波数帯域ＨＨＬＬ，ＨＨＬＨ，ＨＨＨＬ，ＨＨＨＨからなる。

図４に示す例では、クラスタリング部１２は、斜線で示す各４分木分割周波数帯域群内の最低周波数帯域ＬＬＬＬ，ＬＨＬＬ，ＨＬＬＬ，及びＨＨＬＬ内の周波数分解係数について、クラスタごとの位相位置（クラスタＣ_ｎ位相位置）を決定する。

雑音レベル算出部１３は、第１の４分木分割周波数帯域群について、図４に縦線で示す最高周波数帯域ＬＬＨＨ内の周波数分解係数のうち、斜線で示す最低周波数帯域ＬＬＬＬのクラスタごとの位相位置（クラスタＣ_ｎ位相位置）と同じ位相位置の周波数分解係数の値から、それぞれ雑音レベルＮ_ｎを算出する。また、第２の４分木分割周波数帯域群について、図４に縦線で示す最高周波数帯域ＬＨＨＨ内の周波数分解係数のうち、斜線で示す最低周波数帯域ＬＨＬＬのクラスタごとの位相位置（クラスタＣ_ｎ位相位置）と同じ位相位置の周波数分解係数の値から、それぞれ雑音レベルＮ_ｎを算出する。また、第３の４分木分割周波数帯域群について、図４に縦線で示す最高周波数帯域ＨＬＨＨ内の周波数分解係数のうち、斜線で示す最低周波数帯域ＨＬＬＬのクラスタごとの位相位置（クラスタＣ_ｎ位相位置）と同じ位相位置の周波数分解係数の値から、それぞれ雑音レベルＮ_ｎを算出する。また、第４の４分木分割周波数帯域群について、図４に縦線で示す最高周波数帯域ＨＨＨＨ内の周波数分解係数のうち、斜線で示す最低周波数帯域ＨＨＬＬのクラスタごとの位相位置（クラスタＣ_ｎ位相位置）と同じ位相位置の周波数分解係数の値から、それぞれ雑音レベルＮ_ｎを算出する。

縮退処理部１４は、雑音レベル算出部１３により算出された雑音レベルＮ_ｎを閾値として、雑音レベルＮ_ｎ以下の周波数分解係数を、雑音レベルＮ_ｎを超える周波数分解係数よりも強く縮退させた縮退係数を生成し、ウェーブレットパケット再構成部１５に出力する。

縮退処理部１４は、図３に示した例では、全ての周波数帯域について、クラスタＣ_ｎ位相位置と同じ位相位置の周波数分解係数を、雑音レベルＮ_ｎを閾値として縮退させる。また、図４に示した例では、４分木分割周波数帯域群ごとに、クラスタＣ_ｎ位相位置と同じ位相位置の周波数分解係数を、雑音レベルＮ_ｎを閾値として縮退させる。

縮退処理部１４は、周波数分解係数の入力値に対する出力値を表す縮退関数を用いて縮退処理を行うようにしてもよい。図５に、縮退関数の例を示す。図５（ａ）の縮退関数を用いた場合、絶対値が雑音レベルＮ_ｎ以下の周波数分解係数は０に縮退され、絶対値が雑音レベルＮ_ｎを超える周波数分解係数は縮退しないでそのまま出力される。

また、縮退処理部１４が、雑音レベル算出部１３から雑音レベルＮ_ｎに加えて最大雑音レベルＮ_ｎ＿ｍａｘを入力した場合の処理について説明する。この場合、縮退処理部１４は、周波数分解係数のうち、絶対値が雑音レベルＮ_ｎ以下である第１の周波数分解係数、及び絶対値が雑音レベルＮ_ｎを超えて最大雑音レベルＮ_ｎ＿ｍａｘ以下の第２の周波数分解係数について、該絶対値が小さくなるように縮退処理し、第１の周波数分解係数の絶対値の縮退率を第２の周波数分解係数の絶対値の縮退率よりも大きくする。

図５（ｂ）の縮退関数を用いた場合、絶対値がＮ_ｎ以下の周波数分解係数の絶対値は０に変換され、絶対値が雑音レベルＮ_ｎを超えて最大雑音レベルＮ_ｎ＿ｍａｘ以下の周波数分解係数の絶対値は０よりも大きく元の値よりも小さな値に変換される。

ウェーブレットパケット再構成部１５は、縮退処理部１４により生成された縮退係数に対してウェーブレットパケット再構成処理を行って雑音除去画像を生成し、外部に出力する。ウェーブレットパケット分解部１１において階数がｋ階のウェーブレットパケット分解処理が行われていた場合には、ウェーブレットパケット再構成部１５は、階数がｋ階のウェーブレットパケット再構成処理を行う。

なお、上述した雑音除去装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、雑音除去装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

このように、第１の実施形態では、入力画像に対してウェーブレットパケット分解処理を行って周波数分解係数を生成し、低周波数帯域内の周波数分解係数について、大きさ順にクラスタリングして複数のクラスタを生成し、クラスタ位相位置を決定する。そして、クラスタごとに、高周波数帯域内の周波数分解係数のうち、クラスタ位相位置と同じ位相位置の周波数分解係数の値から雑音レベルＮ_ｎを算出し、クラスタ位相位置と同じ位相位置の周波数分解係数について、雑音レベルＮ_ｎ以下の周波数分解係数を雑音レベルＮ_ｎを超える周波数分解係数よりも強く縮退させた縮退係数を生成する。最後に、縮退係数をウェーブレットパケット再構成して雑音除去画像を生成する。かかる構成により、本発明によれば、ＣＭＯＳセンサの画素ごとに組み込まれているアンプの特徴を考慮し、位相位置ごと及びパワーレベルごとに雑音除去量（縮退率）の制御が可能となるため、入力画像の雑音を高精度に除去することができるようになる。

（第２の実施形態）
次に、本発明の第２の実施形態に係る雑音除去装置について説明する。カメラ系で重畳される雑音として、熱雑音及びショット雑音がある。熱雑音は、白色ガウス性を有し、雑音レベルは全周波数帯域においてほぼ一定である。一方、ショット雑音は、空間低周波帯域において支配的となり、雑音レベルは周波数ｆに逆比例する（１／ｆとなる）。このため、熱雑音及びショット雑音による雑音レベルは、ある程度の有色性を有し、低周波数帯域では高く、ある一定値以上の高周波数帯域ではほぼ一定となる。そこで、第２の実施形態では、低い周波数帯域ほど雑音除去時の縮退を強くする。

図６は、第２の実施形態に係る雑音除去装置の構成例を示すブロック図である。図６に示す雑音除去装置２は、ウェーブレットパケット分解部１１と、クラスタリング部１２と、雑音レベル算出部１３と、縮退処理部１４と、ウェーブレットパケット再構成部１５と、雑音レベル補正部１６とを備える。第２の実施形態の雑音除去装置２は第１の実施形態の雑音除去装置１と比較して、雑音レベル補正部１６を更に備える点が相違する。その他の構成については第１の実施形態と同一であるため、同一の参照番号を付して適宜説明を省略する。

雑音レベル算出部１３は、第１の実施形態とは、出力先が異なるだけであり、算出した雑音レベルＮ_ｎを雑音レベル補正部１６に出力する。

雑音レベル補正部１６は、雑音レベル算出部１３により算出された雑音レベルＮ_ｎに対して、低い周波数帯域ほど大きな係数を乗じて補正し、補正された雑音レベルＮ_ｎ’を縮退処理部１４に出力する。縮退処理部１４にて最大雑音レベルＮ_ｎ＿ｍａｘを使用する場合には、同様に最大雑音レベルＮ_ｎ＿ｍａｘに対しても、低い周波数帯域ほど大きな係数を乗じて補正し、補正された最大雑音レベルＮ_ｎ’＿ｍａｘを縮退処理部１４に出力する。

図７は、雑音レベルＮ_ｎ（及び最大雑音レベルＮ_ｎ＿ｍａｘ）を補正する場合の処理について説明する図である。例えば、図７に斜線で示す周波数帯域（ＬＬＬＬ）では係数α＝１．５とし、縦線で示す周波数帯域群（ＬＬＬＨ，ＬＬＨＬ，ＬＬＨＨ）では係数α＝１．３とし、横線で示す周波数帯域群（ＬＨＬＬ，ＨＬＬＬ，ＬＨＨＬ，ＨＬＬＨ，ＨＨＬＬ）では係数α＝１．１とし、ドットで示す残りの周波数帯域群（ＬＨＬＨ，ＨＬＨＬ，ＬＨＨＨ，ＨＬＨＨ，ＨＨＬＨ，ＨＨＨＬ，ＨＨＨＨ）では係数α＝１とする。

縮退処理部１４の縮退処理は第１の実施形態と同様であり、雑音レベル補正部１６により補正された雑音レベルＮ_ｎ’（及び最大雑音レベルＮ_ｎ’＿ｍａｘ）を閾値として、例えば縮退関数を用いて周波数分解係数を縮退させる。ただし、第１の実施形態では雑音レベルＮ_ｎ及び最大雑音レベルＮ_ｎ＿ｍａｘの値は同一クラスタ内の周波数帯域間で同一の値であったが、本実施形態では、雑音レベルＮ_ｎ’及び最大雑音レベルＮ_ｎ’＿ｍａｘの値は同一クラスタ内では周波数帯域が低いほど大きな値となる。したがって、本実施形態の縮退処理部１４は、同一のクラスタ内では、周波数帯域の低い周波数分解係数ほど、強く縮退させることとなる。

なお、上述した雑音除去装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、雑音除去装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

このように、第２の実施形態では、同一のクラスタ内では、周波数帯域の低い周波数分解係数ほど、強く縮退させる。したがって、本発明により、ＣＭＯＳセンサの画素ごとに組み込まれているアンプの特徴に加えて、熱雑音やショット雑音の特徴を考慮し、更に高精度に雑音を除去することができるようになる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

また、本発明に係るプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。

１，２ 雑音除去装置
１１ ウェーブレットパケット分解部
１２ クラスタリング部
１３ 雑音レベル算出部
１４ 縮退処理部
１５ ウェーブレットパケット再構成部
１６ 雑音レベル補正部

Claims (5)

1. 入力画像の雑音を除去する雑音除去装置であって、
   入力画像に対してウェーブレットパケット分解処理を行って周波数分解係数を生成するウェーブレットパケット分解部と、
   低周波数帯域内の前記周波数分解係数の各々について、階調順にクラスタリングして複数のクラスタを生成し、前記クラスタごとの位相位置であるクラスタ位相位置を決定するクラスタリング部と、
   前記クラスタごとに、高周波数帯域内の前記周波数分解係数のうち、前記クラスタ位相位置と同じ位相位置の周波数分解係数の値から雑音レベルを算出する雑音レベル算出部と、
   前記クラスタごとに、前記クラスタ位相位置と同じ位相位置の周波数分解係数について、前記雑音レベルを閾値として、前記雑音レベル以下の前記周波数分解係数を前記雑音レベルを超える前記周波数分解係数よりも強く縮退させた縮退係数を生成する縮退処理部と、
   前記縮退係数をウェーブレットパケット再構成して雑音除去画像を生成するウェーブレットパケット再構成部と、
   を備えることを特徴とする雑音除去装置。
2. 前記クラスタリング部は、４分木分割された隣接する４つの周波数帯域ごとに、最低周波数帯域内の前記周波数分解係数について前記クラスタを生成し、
   前記雑音レベル算出部は、前記４つの周波数帯域ごとに、最高周波数帯域内の前記周波数分解係数のうち、前記クラスタ位相位置と同じ位相位置の周波数分解係数の値から前記雑音レベルを算出することを特徴とする、請求項１に記載の雑音除去装置。
3. 前記縮退処理部は、同一の前記クラスタ内では、周波数帯域の低い周波数分解係数ほど、強く縮退させることを特徴とする、請求項１又は２に記載の雑音除去装置。
4. 前記雑音レベル算出部は、前記クラスタ位相位置と同じ位相位置の周波数分解係数の値の二乗平均平方根値又は平均値を前記雑音レベルとすることを特徴とする、請求項１から３のいずれか一項に記載の雑音除去装置。
5. コンピュータを、請求項１から４のいずれか一項に記載の雑音除去装置として機能させるためのプログラム。

Images