JP5250465B2 - スレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置及びプログラム - Google Patents

Description

本発明は、ウェーブレット画像処理に関し、特に、画像雑音を除去するスレッショルド（Threshold）関数制御型ウェーブレットシュリンケージ（Wavelet Shrinkage）雑音除去装置及びプログラムに関する。

従来の技術には、ＤＣＴ（Discrete Cosine Transform）等の小ブロック分割と直交変換、及び直交変換係数に対するコアリング等を用いて雑音除去を行う技法がある。一方、近年ではハードウェアの進歩により、ウェーブレット分解及び再構成がハードウェアで容易に実現できるようになってきている。ウェーブレットシュリンケージを用いて画面全体を周波数領域分割する技法により動画像をリアルタイムで処理できるようになってきていることで、ＤＣＴ係数を用いた符号化過程で生じうるブロック状の歪等を抑えた雑音除去が可能になる。

このようなウェーブレットシュリンケージ雑音除去法は現在注目されつつあり、理論から実装へとそのフェーズが移ろうとしている。

ウェーブレットシュリンケージ雑音除去法は、Donohoらによって１９９４年に提案された技法である。

ウェーブレットシュリンケージ技法として、階調補正の入出力特性を表す階調補正カーブに基づいて動画像のコントラスト補正を行う際に生じるノイズ増幅の度合いに応じて、コアリング（後述するハードスレッショルド（Hard-Threshold）に相当する）レベルを階調補正カーブに基づいて設定し、コアリング処理を行うものが知られている（例えば、特許文献１参照）。

ウェーブレットシュリンケージ技法では、基本的に信号のウェーブレット展開係数を求め、この展開係数の絶対値が任意の閾値より小さいものを０に置き換えて信号の再構成を行う（例えば、特許文献１，２参照）。

例えば、ウェーブレットシュリンケージ雑音除去法で、雑音が白色性とガウス性を持つと仮定し、この雑音の振幅を推定する。雑音は、白色性とガウス性を持つ場合、特定の周波数に偏らず、全ての空間周波数で等しいパワースペクトルを有することになる。

通常の動画像では、絶対値の小さいウェーブレット展開係数はほぼ雑音成分である。従って、閾値を定め、その閾値より小さいウェーブレット展開係数を０にしてウェーブレット再構成すれば、雑音が除去された信号を再構成することができる。

特開２００８−１９９４４８号公報

D. L. Donoho and I. M. Johnstone, "Wavelet Shrinkage: Asympotopia?," J. Royal Statistical Society B, vol. 57, no.2, 1995, pp.301-369. D. L. Donoho, "De-noising by soft-thresholding," IEEE Transactions of Information Theory, vol.41, no.3, 1995, pp.613-627.

前述した従来技術は、階調補正カーブに合わせてコアリングレベルを変えるものである。この従来技術では、基本的にシュリンケージ処理によって原信号を劣化させることは避けられず、シュリンケージ処理においてなるべく原信号の劣化を視覚的に目立たなくするには更なる改善の余地がある。

即ち、基本的にウェーブレットシュリンケージ雑音除去法自体は、原信号レベルが雑音レベルより大きく、ウェーブレット展開係数について雑音レベルでシュリンケージ処理を施せば雑音成分のみを効果的に除去できることから成り立っている。しかしながら、雑音が目立つ信号対雑音比が小さい動画像ほど、信号に含まれる原信号レベルと雑音レベルの差は小さく、雑音を大きなレベルの閾値でシュリンケージ処理しようとすれば原信号成分を大きく劣化させてしまう。また、雑音を小さなレベルの閾値でシュリンケージ処理を施しても、雑音除去効果が小さい。これは、如何なるシュリンケージ関数を用いて処理した場合でも、避けられない問題である。

従って、従来技術では、雑音レベルを推定してシュリンケージ処理を行っていたが、視覚特性まで十分な考慮がなされていなかったため、シュリンケージ処理による原信号の視覚的な劣化が目立つことが多くなる。つまり、従来技術のように信号対雑音比の値に基づき階調補正カーブに合わせてシュリンケージ関数を変形し、シュリンケージ処理を施すのみでは、原信号の劣化を視覚的に目立たなくするのは困難である。

本発明の目的は、上述の問題に鑑みて、原信号の劣化を視覚的に目立たなくするスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置及びプログラムを提供することにある。

本発明の雑音除去装置は、ウェーブレットシュリンケージ雑音除去法を行う際に用いるソフトスレッショルド（Soft-Threshold）関数やハードスレッショルド（Hard-Threshold）関数を、視覚特性に基づいて補正又は設定し、補正又は設定したソフトスレッショルド関数又はハードスレッショルド関数を用いてウェーブレットシュリンケージ雑音除去を行う。

即ち、本発明による雑音除去装置は、ウェーブレットシュリンケージ技法を用いて画像の雑音除去処理を行うスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置であって、処置対象の画像を空間方向に二次元ｎ階離散ウェーブレット分解する手段と、該二次元ｎ階離散ウェーブレット分解した分解成分の各々に対して、前記画像における明度領域の値及び前記分解成分の分解階数によって規定される空間周波数毎のコントラスト感度比を関連付ける手段と、予め決定された雑音レベルデータ及び前記空間周波数毎のコントラスト感度比を用いて、前記分解成分の各々に対するスレッショルド関数を決定する手段と、前記決定したスレッショルド関数に従って二次元ｎ階離散ウェーブレットのシュリンケージ処理を実行する手段と、該シュリンケージ処理を実行した各二次元ｎ階離散ウェーブレット成分を再構成する手段とを備えることを特徴とする。

また、本発明による雑音除去装置において、前記処置対象の画像にガンマ補正が施されている場合に、前記シュリンケージ処理を実行する前に、前記処置対象の画像及び前記雑音レベルデータの双方に対して逆ガンマ補正を施す手段と、前記各二次元ｎ階離散ウェーブレット成分を再構成した後に前記ガンマ補正を施す手段とを更に備えることを特徴とする。

また、本発明による雑音除去装置において、前記明度領域の値は、前記画像における画素値を所定数の輝度レベルで分類した値からなることを特徴とする。

また、本発明による雑音除去装置において、前記予め決定された雑音レベルデータは、前記処理対象の画像を撮像したカメラによって規定された雑音レベルからなることを特徴とする。

また、本発明による雑音除去装置において、前記予め決定された雑音レベルデータは、前記処理対象の画像を含む複数の画像フレーム内に含まれる暗時レベルを抽出して決定された雑音レベルからなることを特徴とする。

また、本発明による雑音除去装置において、前記明度領域の値は、二次元ｎ階離散ウェーブレット分解した分解成分の画像領域毎に関連付けられていることを特徴とする。

また、本発明による雑音除去装置において、前記二次元ｎ階離散ウェーブレット分解した分解成分の画像領域が明度分類のためのサブ画像領域を有する場合に、前記明度領域の値は、二次元ｎ階離散ウェーブレット分解した最高位の分解成分のサブ画像領域毎に関連付けられていることを特徴とする。

更に、本発明に係るプログラムは、コンピュータを、上記スレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置として機能させることを特徴とする。

本発明によれば、視覚特性を考慮したハードスレッショルド関数やソフトスレッショルド関数を用いたシュリンケージ処理を行うことで、雑音除去信号の視覚的な劣化を抑制しながら雑音除去を行うことができる。

本発明による一実施例のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置を示す図である。 本発明による一実施例のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置の動作を示すフローチャートである。 本発明による一実施例のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置における動作を示すフローチャートである。 本発明による実施例のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置における暗時レベルを規定する、二次元ｎ階離散ウェーブレット分解による領域別の雑音レベルＮ（^＊ｎ）の説明図である。 本発明による実施例のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置における暗時レベルの規定に関するフローチャートである。 二次元ｎ階離散ウェーブレット分解（ｎ＝４の場合）を示す図である。 二次元ｎ階離散ウェーブレット再構成（ｎ＝４の場合）を示す図である。 ハードスレッショルド関数やソフトスレッショルド関数の典型例を示す図である。 典型的な視覚のコントラスト感度関数を示す図である。

まず、本発明の理解を助けるために、図８を参照して、ウェーブレットシュリンケージ技法におけるスレッショルド関数について説明する。

［ハードスレッショルド関数，ソフトスレッショルド関数］
図８は、ハードスレッショルド関数やソフトスレッショルド関数の典型例を示す図である。スレッショルド関数制御型ウェーブレットシュリンケージでは、特定の閾値以下の雑音レベルの展開係数を０にするハードスレッショルド関数と、特定の閾値以下の雑音レベルの展開係数を任意の一次式によってシュリンクするソフトスレッショルド関数などが知られている。

先ず、図８（ａ）に示すハードスレッショルド（Hard-Threshold）関数について説明する。シュリンケージ関数をＴｈ（ｉ，Ｉ_Ｎ）、入力の信号レベル（入力画像領域の輝度レベル）をｉ、閾値となる雑音レベル（入力画像領域の雑音レベル）をＩ_Ｎとすると、ハードスレッショルド関数は式（１）のように表される。

次に、図８（ｂ）に示すソフトスレッショルド（Soft-Threshold）関数について説明する。シュリンケージ関数をＴｈ（ｉ，Ｉ_Ｎ）、入力の信号レベル（入力画像領域の輝度レベル）をｉ、閾値となる雑音レベル（入力画像領域の雑音レベル）をＩ_Ｎ、ｉの符号を返す関数をｓｇｎ（ｉ）、ウェーブレット係数長をｗ_ｉとすると、ソフトスレッショルド関数は式（２）のように表される。

このように、入力画像領域の輝度レベル（信号レベルｉ）に対する入力画像領域の雑音レベルＩ_Ｎは、ハードスレッショルド関数やソフトスレッショルド関数のシュリンケージ閾値Ｔｈ（ｉ，Ｉ_Ｎ）で規定されるため、雑音レベルＩ_Ｎを変数として変形利用することができる。例えば、対象とする入力画像領域の信号成分には、ウェーブレット展開係数を１とし、雑音成分にはウェーブレット展開係数を０として閾値判定するため、雑音レベルの設定によってハードスレッショルド関数やソフトスレッショルド関数を変形させることができる。

ハードスレッショルド関数やソフトスレッショルド関数を用いてウェーブレットシュリンケージ雑音除去処理を行う技法の詳細は、前述した文献等により既知であるので更なる説明は省略する。

次に、本発明に係る空間周波数毎のコントラスト感度比の設定について説明する。

［空間周波数毎のコントラスト感度比設定］
一般に、図９に示すように、観察者が自然光の条件下で視覚対象となる画像を視覚する際に、空間周波数毎に明・暗のコントラスト感度値を規定すると、視覚のコントラスト感度関数として定義付けることができることが知られている（例えば、日本視覚学会 編，視覚情報処理ハンドブック、朝倉書店、２０００年０９月２０日発行、等を参照されたい）。

図９において、横軸の空間周波数はｃｙｃｌｅ ｐｅｒ ｄｅｇｒｅｅ(ＣＰＤ)である。これは、視距離（視角Field Of View）と画像システムの水平・垂直標本化周波数、視聴者の視力によって影響される数値である。

一方で、一般には視力１．０の視覚の分解能は１画素１分（１分は６０分の１度）と云われている。ハイビジョンシステムの標準視距離（画面高Ｈの３倍で３Ｈ）で画面を見た場合、水平１，９２０画素に対して視角が約３０度になるので、水平方向は最大で１９２０／３０／２≒３２ＣＰＤ（１／２として理由は、明時（白）と暗時（黒）で１ｃｙｃｌｅであるため、ｃｙｃｌｅ数としては水平解像度の半分となる）となる。更に、垂直１，０８０ラインに対して視角が約２０度になるので、垂直方向は最大で１，０８０／２０／２≒２７ＣＰＤとなる。これらの数値から、概略して、水平方向は最大で３０ＣＰＤ、垂直方向も最大で３０ＣＰＤとすることができる。

従って、一般化するに、視力１．０の視覚分解能が１画素１分という条件下では、水平と垂直の最高のＣＰＤは３０であると規定することができる。

尚、図９では９００［ｔｄ］≒３００［ｃｄ／ｍ^２］を最高に、より低い輝度におけるコントラスト感度が示されている。

ここで、［ｔｄ］は、トロランドの略であり、網膜面積に入射する光量を示す。トロランド［ｔｄ］＝輝度［ｃｄ／ｍ^２］×瞳孔面積［ｍｍ^２］で表される。瞳孔面積は、明るさや時間的変化を伴うが、一般の蛍光灯下の環境光で直径２ｍｍとされるため、面積＝半径の自乗×πであるから、９００［ｔｄ］≒３００［ｃｄ／ｍ^２］となる。また、［ｃｄ／ｍ^２］は、画面の明るさであり、ｓＲＧＢにおける規定ではＣＲＴディスプレイの輝度は８０［ｃｄ／ｍ^２］、ＩＳＯ１３４０６規格では液晶ディスプレイの輝度は最低３５［ｃｄ／ｍ^２］、明るい環境では１００［ｃｄ／ｍ^２］以上が求められている。

現在の液晶モニタでは２５０〜５００［ｃｄ／ｍ^２］の製品が多く、より高輝度モニタでは１，０００〜２，０００［ｃｄ／ｍ^２］の製品もあるが、通常の室内灯下の環境光で使用する場合は３００［ｃｄ／ｍ^２］を最大輝度の基準として考えて差し支えない。

以上より、図９の輝度別コントラスト感度を数段階（ここでは、明領域、中領域、暗領域の３段階）に分けるとすると、それぞれ以下のように規定することができる。

明領域： ９００［ｔｄ］≒３００［ｃｄ／ｍ^２］のコントラスト感度曲線
中領域： ９０［ｔｄ］≒ ３０［ｃｄ／ｍ^２］のコントラスト感度曲線
暗領域： ９［ｔｄ］≒ ３［ｃｄ／ｍ^２］のコントラスト感度曲線

そこで、後述する本発明に係るコントラスト感度曲線は、明領域、中領域、暗領域の３段階について例示するがこれに限定するものではない。

図９を元に、後述する表１〜表３に示すような輝度別・空間周波数毎のコントラスト感度値を得ることができる。

表１に、図９から求めた明領域の空間周波数領域別のコントラスト感度曲線を示す。表２に、図９から求めた中領域の空間周波数領域別のコントラスト感度曲線を示す。表３に、図９から求めた暗領域の空間周波数領域別のコントラスト感度曲線を示す。尚、表１〜３のコントラスト感度値Ｃ(α−β，γ)は、α−βが空間周波数（例えばα＝１５、β＝３０ならば、α−βは、１５〜３０ＣＰＤの空間周波数を表す）、γが明・中・暗領域を示す。また、ｎは、二次元ｎ階ウェーブレット処理における、“ｎ”を表し、以下の表では、ｎ＝４の場合である。

二次元ｎ階離散ウェーブレット分解のｎ階とγ＝明・中・暗領域からなるコントラスト感度比Ｃ(ｎ，γ)を用いて、表１〜３を表４〜６のように正規化して表すことができる。尚、Ｃ(０−３．７５，γ)に相当する領域はｎ＝５と記しているが、これはｎ＝４で二次元４階離散ウェーブレット分解を行った際における４階分解の低周波領域ＬＬ^４に相当することに留意する。

表４〜６から、明・中・暗領域（これは、「明度領域の値」として各々を区別可能である）において正規化された、空間周波数領域毎のコントラスト感度比を求めることができる。尚、明・中・暗領域の判別については、原画像の該当画像領域の輝度で判別する。原画像の該当画像領域の輝度（例えば、平均輝度）が８ｂｉｔ(２５５段階)で表される場合、０〜８５までを暗領域、８６〜１７２を中領域、１７３〜２５５を明領域とすることができる。当然に、この閾値は設計時に任意に設定又は変更することができる。

以下、前述したコントラスト感度比Ｃ(ｎ，γ)（表４〜表６）と後述する雑音レベルＮ（^＊ｎ）を予め規定して、スレッショルド関数制御型ウェーブレットシュリンケージ雑音除去を行う、本発明による実施例のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置を説明する。

図１は、本発明による実施例のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置（以下、単に「雑音除去装置」とも称する）を示す図である。本実施例の雑音除去装置１は、ウェーブレットシュリンケージ技法を用いて画像の雑音除去処理を行う装置であり、処置対象の画像を空間方向に二次元ｎ階離散ウェーブレット分解し、この分解成分の各々に対して、一般化した視覚特性（例えば、コントラスト感度比Ｃ(ｎ，γ)）により処理対象の画像における明度領域の値を関連付ける。次に、雑音除去装置１は、予め決定された雑音レベルデータを用いて、この明度領域の値を関連付けた当該分解成分の各々に対するスレッショルド関数を決定し、決定したスレッショルド関数に従って二次元ｎ階離散ウェーブレットのシュリンケージ処理を実行して、各二次元ｎ階離散ウェーブレット成分を再構成する。

［装置構成］
図１を参照するに、本実施例のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置１は、入力画像用の逆ガンマ補正処理部２と、二次元ｎ階離散ウェーブレット（Wavelet）分解処理部３と、二次元ｎ階離散ウェーブレット（Wavelet）分解成分明度分類処理部４と、ウェーブレットシュリンケージ（Wavelet Shrinkage）処理部５と、二次元ｎ階離散ウェーブレット（Wavelet）再構成処理部６と、ガンマ補正処理部７と、雑音レベルデータ用の逆ガンマ補正処理部８と、階級ｎ別シュリンケージ（Shrinkage）関数生成処理部９とを備える。

逆ガンマ補正処理部２は、入力される一連の画像フレームＦ（ｔ），Ｆ（ｔ＋１），Ｆ（ｔ＋２）の各フレーム（代表的に、画像フレームＦ（ｔ）の原画像信号について説明する）について、これらの画像フレームの撮像時に用いたモニタガンマを逆補正し、逆ガンマ補正した原画像信号を、二次元ｎ階離散ウェーブレット分解処理部３、及び二次元ｎ階離散ウェーブレット分解成分明度分類処理部４に送出する。尚、原画像信号が、モニタガンマ補正が施されていない場合は、本処理をバイパスすることができる。

二次元ｎ階離散ウェーブレット分解処理部３は、逆ガンマ補正した原画像信号を、二次元ｎ階離散ウェーブレット分解し、階級ごとの二次元ｎ階離散ウェーブレット分解成分をウェーブレットシュリンケージ処理部５に送出する。尚、二次元ｎ階離散ウェーブレット分解処理は、必ずしも正則分解である必要はない。

二次元ｎ階離散ウェーブレット分解成分明度分類処理部４は、逆ガンマ補正した原画像信号を二次元ｎ階離散ウェーブレット分解するとともに、階級ごとの二次元ｎ階離散ウェーブレット分解成分の各々について、逆ガンマ補正した原画像信号の画素値（例えば、輝度レベル）に基づいて前述の予め規定したコントラスト感度比Ｃ(ｎ，γ)を選定し、ウェーブレットシュリンケージ処理部５に送出する。尚、二次元ｎ階離散ウェーブレット分解成分明度分類処理部４は、後述するように、２次元ｎ階のうち１階の画像領域（例えば、画像領域ＨＬ^１）に明度分類が１つであるか、複数（後述するように、サブ画像領域が規定されている場合）であるかを設定することもできる。

尚、説明の便宜のために、二次元ｎ階離散ウェーブレット分解処理部３と二次元ｎ階離散ウェーブレット分解成分明度分類処理部４を区別して説明するが、１つの機能部として構成することも可能である。

ウェーブレットシュリンケージ処理部５は、二次元ｎ階離散ウェーブレット分解処理部３と二次元ｎ階離散ウェーブレット分解成分明度分類処理部４から、二次元ｎ階離散ウェーブレット分解成分の値、及び各コントラスト感度比Ｃ(ｎ，γ)を入力するとともに、後述する階級ｎ別シュリンケージ関数生成処理部９から階級ｎ別シュリンケージ関数（前述したハードスレッショルド関数又はソフトスレッショルド関数）を入力する。更に、ウェーブレットシュリンケージ処理部５は、階級ｎ別シュリンケージ関数と各コントラスト感度比Ｃ(ｎ，γ)から、新たな階級ｎ別シュリンケージ関数を生成し、この新たな階級ｎ別シュリンケージ関数を用いて二次元ｎ階離散ウェーブレット分解成分の各値に対してウェーブレットシュリンケージ処理を実行する。後述するように、ウェーブレットシュリンケージ処理部５によって、明度領域の値を反映した雑音除去を行うことになる。

二次元ｎ階離散ウェーブレット再構成処理部６は、ウェーブレットシュリンケージ処理を実行した各二次元ｎ階離散ウェーブレット成分を再構成し、雑音除去した画像信号を生成する。

ガンマ補正処理部７は、原画像信号のガンマ特性に戻すために、二次元ｎ階離散ウェーブレット再構成処理部６から得られる雑音除去した画像信号に対してガンマ補正を施し、雑音除去且つガンマ補正した出力画像信号（フレーム画像Ｏ（ｔ））を出力する。逆ガンマ補正処理部２をバイパスしていた場合には、ガンマ補正処理部７もバイパスすることができる。従って、本実施例の雑音除去装置１は、入力される一連の画像フレームＦ（ｔ），Ｆ（ｔ＋１），Ｆ（ｔ＋２）の各フレームに対応する出力画像信号として、一連の画像フレームＯ（ｔ），Ｏ（ｔ＋１），Ｏ（ｔ＋２）を出力する。

雑音レベルデータ用の逆ガンマ補正処理部８は、当該原画像信号における所定の雑音レベルデータを入力し、逆ガンマ補正処理部２の場合と同様に、原画像信号の画像フレームの撮像時に用いたモニタガンマで雑音レベルデータを逆補正し、逆ガンマ補正した雑音レベルデータを、階級ｎ別シュリンケージ関数生成処理部９に送出する。尚、逆ガンマ補正処理部２における原画像信号に、モニタガンマ補正が施されていない場合は、本処理をバイパスすることができる。この予め決定された雑音レベルデータは、処理対象の画像を撮像したカメラによって規定された雑音レベルとすることができるし、或いは又、処理対象の画像を含む複数の画像フレーム内に含まれる暗時レベルを抽出して決定した雑音レベルとすることができる。

階級ｎ別シュリンケージ関数生成処理部９は、装置外部からのソフトスレッショルド関数か、又はハードスレッショルド関数を選択するシュリンケージ（Shrinkage）関数選択信号に基づいて、そのいずれかを選択し、ウェーブレットシュリンケージ処理部５で用いる階級ｎ別シュリンケージ関数として、図示しない記憶部から取り出し、ウェーブレットシュリンケージ処理部５に送出する。尚、本実施例では、予め記憶部内に用意した階級ｎ個分のシュリンケージ関数は、視覚特性を反映した新たなシュリンケージ関数を生成するのに用いられる。従って、ウェーブレットシュリンケージ処理部５は、視覚特性を反映した明度分類の数に応じた階級ｎ別シュリンケージ関数を生成してシュリンケージ処理を行う。

ここで、雑音除去装置１として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、逆ガンマ補正処理部２、二次元ｎ階離散ウェーブレット（Wavelet）分解処理部３、二次元ｎ階離散ウェーブレット（Wavelet）分解成分明度分類処理部４、ウェーブレットシュリンケージ（Wavelet Shrinkage）処理部５、二次元ｎ階離散ウェーブレット（Wavelet）再構成処理部６、ガンマ補正処理部７、逆ガンマ補正処理部８、及び階級ｎ別シュリンケージ（Shrinkage）関数生成処理部９を機能させるための制御部を中央演算処理装置（ＣＰＵ）（図示せず）で実現でき、且つ、記憶部（図示せず）を少なくとも１つのメモリで構成させることができる。

更に、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、逆ガンマ補正処理部２、二次元ｎ階離散ウェーブレット（Wavelet）分解処理部３、二次元ｎ階離散ウェーブレット（Wavelet）分解成分明度分類処理部４、ウェーブレットシュリンケージ（Wavelet Shrinkage）処理部５、二次元ｎ階離散ウェーブレット（Wavelet）再構成処理部６、ガンマ補正処理部７、逆ガンマ補正処理部８、及び階級ｎ別シュリンケージ（Shrinkage）関数生成処理部９の有する機能を実現させることができる。

更に、これらの各機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納することができる。そのような記憶部は、コンピュータ内部のＲＡＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、雑音除去装置１としてのコンピュータで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることもできる。

更に、雑音除去装置１として機能させるコンピュータを、本発明の各構成要素としての手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。

以下、図２〜７を参照して、スレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置の動作を説明する。

［装置動作］
図２は、本発明による一実施例のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置の動作を示すフローチャートである。図３は、本発明による一実施例のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置における動作を示すフローチャートである。図４は、本発明による一実施例のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置における暗時レベルを規定する、二次元ｎ階離散ウェーブレット分解による領域別の雑音レベルＮ（^＊ｎ）の説明図である。図５は、本発明による一実施例のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置における暗時レベルの規定に関するフローチャートである。図６は、二次元ｎ階離散ウェーブレット分解（ｎ＝４の場合）を示す図である。図７は、二次元ｎ階離散ウェーブレット再構成（ｎ＝４の場合）を示す図である。

図２を参照するに、ステップＳ１にて、雑音除去装置１に対する設定として、シュリンケージ関数（ソフトスレッショルド関数又はハードスレッショルド関数）を選定して設定するとともに、雑音レベルデータを設定する。

ここで、雑音レベルデータの設定に際し、図４及び図５に示すように、ウェーブレット変換処理の対象とする画像を撮像するカメラ１００を用いて、フレーム抽出装置１０１により、予め暗時レベルを規定する暗時環境下で撮影したフレーム画像を抽出するのが好適である（ステップＳ２１）。フレーム抽出装置１０１は、如何なる態様のものでもよいが、この暗時レベルのフレーム画像について二次元ｎ階離散ウェーブレット分解する機能を有する（図４に示す画像“１０２”）。

フレーム抽出装置１０１は、カメラ１００内の撮像素子内アンプ（図示せず）で発生する熱雑音等のカメラ１００内雑音を、そのウェーブレット分解空間周波数領域毎の成分値（ウェーブレット分解領域毎の雑音レベルＮ（^＊ｎ）であり、^＊ｎはＬＬ^ｎ，ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎを意味する）として得ることができ、これを雑音レベルデータとして雑音除去装置１に設定する。尚、以下の例では、雑音レベルＮ（^＊ｎ）は、ＬＬ^ｎ，ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎの各領域における暗時レベルの成分値の最大値として規定するが、単なる平均値や自乗平均値として規定することもできる。

尚、カメラ１００の撮像画像にモニタガンマ補正が行われている場合は、逆ガンマ補正処理部８により、逆モニタガンマ補正を行って線形輝度特性に変換することにより、上記の表４〜６の明・中・暗領域に対応した雑音レベルデータを得ることができる（ステップＳ２２）。得られた雑音レベルデータを雑音除去装置１に設定する（ステップＳ２３）。

再び図２を参照するに、ステップＳ２にて、雑音除去装置１は、逆ガンマ補正処理部２によって、原画像信号である画像フレームＦ（ｔ）を入力し、逆ガンマ補正処理を施す（ステップＳ３）。

モニタガンマ補正は、原画像信号Ｆ(ｘ，ｙ)の各座標ｘ，ｙにおいて、式（３）を用いて行う。

ステップＳ６にて、雑音除去装置１は、二次元ｎ階離散ウェーブレット分解処理部３により、逆ガンマ補正した原画像信号を二次元ｎ階離散ウェーブレット分解するとともに（図６に示す画像“１０５”から画像“１０６”への分解）、ステップＳ５にて、雑音除去装置１は、二次元ｎ階離散ウェーブレット分解成分明度分類処理部４により、階級ごとの二次元ｎ階離散ウェーブレット分解成分の各々について、逆ガンマ補正した原画像信号の画素値（例えば、輝度レベル）に基づいて前述の予め規定したコントラスト感度比Ｃ(ｎ，γ)を選定する。

ステップＳ５にて、雑音除去装置１は、ウェーブレットシュリンケージ処理部５により、階級ｎ別シュリンケージ関数と各コントラスト感度比Ｃ(ｎ，γ)から、新たな階級ｎ別シュリンケージ関数を生成し、この新たな階級ｎ別シュリンケージ関数を用いて二次元ｎ階離散ウェーブレット分解成分の各値に対してウェーブレットシュリンケージ処理を実行する。

新たな階級ｎ別シュリンケージ関数の生成に際し、まず、式（２）を二次元ｎ階離散ウェーブレット分解時の周波数領域毎の式に変形する。式（４）では、コントラスト感度比Ｃ(ｎ，γ)と雑音レベルＮ（^＊ｎ）を用いて、式（２）において閾値となる雑音レベルを、以下に説明するようにＩ_Ｎ（^＊ｎ，γ）として拡張する。

式（４）におけるＩ_Ｎ（^＊ｎ，γ）は、^＊ｎがＬＨ^ｎ又はＨＬ^ｎのときは各々水平又は垂直方向にｎ階に相当する空間高周波成分が含まれているので、二次元ｎ階離散ウェーブレット分解時のｎ階におけるコントラスト感度比Ｃ(ｎ，γ)と雑音レベルＮ（^＊ｎ）とを乗算した値とする。

また、式（４）におけるＩ_Ｎ（^＊ｎ，γ）は、^＊ｎがＨＨ^ｎのときは水平及び垂直方向にｎ階に相当する空間高周波成分（斜め方向高周波成分）が含まれているので、コントラスト感度比Ｃ(ｎ，γ)と雑音レベルＮ（^＊ｎ）とを乗算した値に１／２を乗算した値とする。これは斜め方向の感度は水平・垂直方向感度の約１／２となるからである。

また、式（４）におけるＩ_Ｎ（^＊ｎ，γ）は、^＊ｎがＬＬ^ｎのときは表４〜６の該当するＬＬ部のコントラスト感度比Ｃ(ｎ，γ)と雑音レベルＮ（^＊ｎ）とを乗算した値とする。

このように、視覚特性を設定又は補正したソフトスレッショルド関数（式（４））でウェーブレットシュリンケージ処理を行う。当然に、ソフトスレッショルド関数と同様の方法で、視覚特性補正されたハードスレッショルド関数でウェーブレットシュリンケージ処理を行うこともできる。

ここで、ウェーブレットシュリンケージ処理部５における動作について、ｎ階級のうち最高位の１階の画像領域（例えば、画像領域ＨＬ^１）に明度分類（例えば、明・中・暗の３段階を識別する値）が１つの場合と複数ある場合の２通りの設定が可能であるため、図３を参照してその動作を説明する。

図３を参照するに、ステップＳ１１にて、ウェーブレットシュリンケージ処理部５は、２次元ｎ階のうち１階の画像領域（例えば、画像領域ＨＬ^１）に明度分類が１つであるか、又は複数であるか（即ち、１階の画像領域に複数のサブ画像領域が設けられ、各サブ画像領域に分類された明度領域の値があるか否か）を判別する。この明度分類の設定は、二次元ｎ階離散ウェーブレット分解成分明度分類処理部４によって予め設定することができる。

ステップＳ１１の判別結果が否定的であれば、ウェーブレットシュリンケージ処理部５は、２次元ｎ階のうち１階の画像領域（例えば、画像領域ＨＬ^１）に設定されている分類された明度領域の値を設定し（ステップＳ１２）、ステップＳ１１の判別結果が肯定的であれば、ウェーブレットシュリンケージ処理部５は、２次元ｎ階のうち１階の画像領域（例えば、画像領域ＨＬ^１）に、各サブ画像領域に対応する設定されている分類された明度領域の値を設定する（ステップＳ１３）。

ステップＳ１４にて、ウェーブレットシュリンケージ処理部５は、２次元ｎ階のうち次階の画像領域（例えば、画像領域ＨＬ^２）に前回の画像領域（例えば、画像領域ＨＬ^１）と対応する画像領域があるか否かを判別する。

ステップＳ１４の判別結果が否定的であれば、ウェーブレットシュリンケージ処理部５は、前回の画像領域（例えば、画像領域ＨＬ^１）の全体に対して割り当てられた明度と同一の明度領域の値をその次階に対して適用し（ステップＳ１５）、ステップＳ１４の判別結果が肯定的であれば、ウェーブレットシュリンケージ処理部５は、前回の画像領域（例えば、画像領域ＨＬ^１）の各サブ画像領域の各々に対応する明度領域の値をその次階に対して適用する（ステップＳ１６）。

従って、上記のステップＳ１４〜Ｓ１６は、図３では図示を省略しているが、ｎ階の離散ウェーブレット分解があれば、ｎ階分、この処理を繰り返す。例えば、１階の画像領域が１６×１６画素からなり、この１６×１６画素を明度領域の値として４分割したサブ画像領域で割り当てられている場合、次階（２階）の画像領域は８×８画素となるので、当該４分割したサブ画像領域の各々に対応するサブ画像領域で次階（２階）の画像領域は８×８画素に１階で割り当てられていた明度領域の値を設定する。更なる次階（３階）の画像領域は４×４画素で当該４分割した明度領域の値を割り当て可能であるが、また更なる次階（４階）の画像領域は２×２画素となるため、この場合には１階で割り当てられていた明度領域の値の平均値を設定する。

ステップＳ１７にて、ウェーブレットシュリンケージ処理部５は、各明度設定（コントラスト感度比Ｃ(ｎ，γ)）に対応する階級の画像領域（サブ画像領域）の階級ｎ別シュリンケージ関数を新たな階級ｎ別シュリンケージ関数として設定する。

ステップＳ１８にて、この新たな階級ｎ別シュリンケージ関数を用いて二次元ｎ階離散ウェーブレット分解成分の各々に対してウェーブレットシュリンケージ処理を実行する。

再び図２を参照するに、ステップＳ７にて、雑音除去装置１は、二次元ｎ階離散ウェーブレット再構成処理部６により、ウェーブレットシュリンケージ処理を実行した各二次元ｎ階離散ウェーブレット成分を再構成し、雑音除去した画像信号を生成する（図７に示す画像“１０３”から画像“１０４”への再構成）。

ステップＳ８にて、雑音除去装置１は、ガンマ補正処理部７により、原画像信号のガンマ特性に戻すために、二次元ｎ階離散ウェーブレット再構成処理部６から得られる雑音除去した画像信号に対してガンマ補正を施し、雑音除去且つガンマ補正した出力画像信号（フレーム画像Ｏ（ｔ））を出力する。

このように、本実施例の雑音除去装置１は、前述したコントラスト感度比Ｃ(ｎ，γ)（表４〜表６）と雑音レベルＮ（^＊ｎ）を予め検出して規定しておくことにより、スレッショルド関数を補正又は新たに設定してシュリンケージ処理を実行するため、視覚特性に応じた雑音除去が可能となる。

また、本実施例の雑音除去装置１は、分類した明度領域の値を、二次元ｎ階離散ウェーブレット分解した分解成分の（サブ）画像領域毎に関連付けておくことにより、スレッショルド関数の補正又は新たな設定の処理だけでよくなり、高速にシュリンケージ処理を実行することができる。

また、本実施例の雑音除去装置１は、二次元ｎ階離散ウェーブレット分解した分解成分の画像領域が明度分類のためのサブ画像領域を有する場合には、例えば処理対象画像中におけるオブジェクトのエッジ部分による輝度レベルの設定（明度領域の値の設定）をきめ細かく反映してシュリンケージ処理を実行することができる。

即ち、本実施例の雑音除去装置１は、二次元ｎ階離散ウェーブレット分解はオクターブ分解のため、ｎ階分解成分の画素位置（ｘ，ｙ）は、ｎ−１階分解成分では（ｘ＊２，ｙ＊２）を左上始点、（ｘ＊２＋１，ｙ＊２＋１）を右下終点とする水平２画素×垂直２画素分の領域となることから（図６参照）、例えば２階分解成分領域画素位置（ｘ，ｙ）の輝度は、元の画像画素位置（ｘ＊４, ｙ＊４）を左上始点として（ｘ＊４＋３, ｙ＊４＋３）を右下終点とする水平４画素×垂直４画素の領域の輝度の平均値を用いるようにして、ｎ階離散ウェーブレット分解で規定される画像領域よりも更に細密なサブ画像領域ごとに、明度分類を実行し、この明度分類に応じた雑音除去が可能となる。

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。例えば、典型的なハードスレッショルド関数やソフトスレッショルド関数を用いる例について説明したが、ウェーブレット分解で用いる任意の関数に対して視覚特性を組み入れることができる。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明によれば、簡単かつ効果的な雑音除去を行うことができるので、理想的なウェーブレットシュリンケージ法の１つとして、デジタルカメラなどの画像撮像機器や、ビデオカメラなどの動画像撮像機器に組み込むことなどの用途に有用である。

１ 雑音除去装置
２ 逆ガンマ補正処理部
３ 二次元ｎ階離散ウェーブレット（Wavelet）分解処理部
４ 二次元ｎ階離散ウェーブレット（Wavelet）分解成分明度分類処理部
５ ウェーブレットシュリンケージ（Wavelet Shrinkage）処理部
６ 二次元ｎ階離散ウェーブレット（Wavelet）再構成処理部
７ ガンマ補正処理部
８ 逆ガンマ補正処理部
９ 階級ｎ別シュリンケージ（Shrinkage）関数生成処理部
１００ カメラ
１０１ フレーム抽出装置

Claims (8)

1. ウェーブレットシュリンケージ技法を用いて画像の雑音除去処理を行うスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置であって、
   処置対象の画像を空間方向に二次元ｎ階離散ウェーブレット分解する手段と、
   該二次元ｎ階離散ウェーブレット分解した分解成分の各々に対して、前記画像における明度領域の値及び前記分解成分の分解階数によって規定される空間周波数毎のコントラスト感度比を関連付ける手段と、
   予め決定された雑音レベルデータ及び前記空間周波数毎のコントラスト感度比を用いて、前記分解成分の各々に対するスレッショルド関数を決定する手段と、
   前記決定したスレッショルド関数に従って二次元ｎ階離散ウェーブレットのシュリンケージ処理を実行する手段と、
   該シュリンケージ処理を実行した各二次元ｎ階離散ウェーブレット成分を再構成する手段と、
   を備えることを特徴とするスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置。
2. 前記処置対象の画像にガンマ補正が施されている場合に、
   前記シュリンケージ処理を実行する前に、前記処置対象の画像及び前記雑音レベルデータの双方に対して逆ガンマ補正を施す手段と、
   前記各二次元ｎ階離散ウェーブレット成分を再構成した後に前記ガンマ補正を施す手段と、
   を更に備えることを特徴とする、請求項１に記載のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置。
3. 前記明度領域の値は、前記画像における画素値を所定数の輝度レベルで分類した値からなることを特徴とする、請求項１又は２に記載のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置。
4. 前記予め決定された雑音レベルデータは、前記処理対象の画像を撮像したカメラによって規定された雑音レベルからなることを特徴とする、請求項１〜３のいずれか一項に記載のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置。
5. 前記予め決定された雑音レベルデータは、前記処理対象の画像を含む複数の画像フレーム内に含まれる暗時レベルを抽出して決定された雑音レベルからなることを特徴とする、請求項１〜３のいずれか一項に記載のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置。
6. 前記明度領域の値は、二次元ｎ階離散ウェーブレット分解した分解成分の画像領域毎に関連付けられていることを特徴とする、請求項１〜５のいずれか一項に記載のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置。
7. 前記二次元ｎ階離散ウェーブレット分解した分解成分の画像領域が明度分類のためのサブ画像領域を有する場合に、
   前記明度領域の値は、二次元ｎ階離散ウェーブレット分解した最高位の分解成分のサブ画像領域毎に関連付けられていることを特徴とする、請求項１〜６のいずれか一項に記載のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置。
8. コンピュータを、請求項１から７のいずれか一項に記載のスレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置として機能させるためのプログラム。

Images