JP4880895B2 - Ｍｐｅｇアーチファクト低減のための方法及び装置 - Google Patents

Description

本発明は、ビデオ及びグラフィックス品質の改良に関する。

ＭＰＥＧ圧縮は、デジタルビデオ信号の転送及び格納に広く使用されるアルゴリズムである。ビデオのＭＰＥＧエンコード及びデコードストリームは、ケーブルテレビ、衛星テレビ、及びデジタルビデオディスク（ＤＶＤ）を含む様々な用途において使用できる。

ビデオ信号のコンテンツは、一般に、プログレッシブビデオシーケンスのための画像フレームと、インタレースビデオシーケンスのための画像フィールドとの連続を備える。各フレーム／フィールドは、ピクセルの長方形の空間的範囲で構成される。ビデオコンテンツがＭＰＥＧを使用してエンコードされる時、一般に、ビデオ信号の画像フレーム内のピクセルの８×８ウィンドウ（６４ピクセル）は、次のように処理される。最初に、離散コサイン変換（ＤＣＴ）がウィンドウに適用され、８×８ウィンドウの２Ｄ空間スペクトル表現が生成される。この２Ｄ空間スペクトルは、フーリエ領域における画像の表現であるため、フーリエ画像と呼ばれる場合が多い。フーリエ画像も、６４ピクセルを有する。フーリエ画像におけるピクセルの値は、ＤＣ成分及び様々な周波数又はＡＣ成分を表す。ＤＣ成分は、一般に、フーリエ画像の左上隅のピクセルに位置しいている。フーリエ画像の他の６３ピクセルは、ＡＣ成分を表す。フーリエ画像の生成後、フーリエ画像の全６４ピクセルが量子化されるように、ＭＰＥＧエンコーダ量子化が適用される。

ＭＰＥＧ−２規格は、フレーム内圧縮を提供する。ビデオシーケンスにおいて、隣接画像フレームは、１つ以上のグループオブピクチャ（「ＧＯＰ」）にグループ化される。ＧＯＰでは、１つの画像フレーム、即ちＩフレームは、空間的にエンコードされる。他のフレームについては、差がエンコードされる。差がエンコードされるフレームは、ＰフレームとＢフレームとの二種類が存在する。Ｐフレームでは、現行フレームと、運動ベクトルによって修正されたＩフレームとの間の差が、空間的にエンコードされる。Ｂフレームでは、現行フレームと、運動ベクトルによって修正されたＩフレーム及びＰフレーム又は２つのＰフレームの加重和との差が、空間的にエンコードされる。「運動ベクトルによって修正された」とは、現在エンコードされるＰ（又はＢ）フレームが、１６×１６ピクセルの正方形に分割され、各正方形について、基準フレームからの何らかの空間的オフセットと共に位置する、最も一致する正方形が検索されることを意味する。検索は、ある程度の局部的範囲において行われる。最良一致ブロックの空間的オフセット（垂直及び水平）は、ＭＰＥＧストリームにおいて維持され、運動ベクトルと呼ばれる。Ｐフレームの各１６×１６ブロックは、１つの運動ベクトルを有し、Ｂフレームは、２つの運動ベクトルを有する。インタレース信号のＭＰＥＧ圧縮は、フレームの代わりにフィールドを処理する。

ＭＰＥＧ及びＭＰＥＧ−２規格を使用して画像がデコードされる時、画像フレームは、フーリエ領域から再び空間領域に変換される。ＭＰＥＧ圧縮を使用した画像フレームのエンコード及びデコードにより、処理された画像フレームには、アーチファクトが発生する。ＭＰＥＧエンコード及びデコードにおいて使用される圧縮比、即ち、ビットレートは、アーチファクトのレベルと挙動とを定める。即ち、アーチファクトの視覚的に認知される影響は、ビットレートの関数となる。

画像フレームに現れる可能性があるアーチファクトには、様々なタイプがある。例えば、２メガビット毎秒（Ｍビット／秒）未満の低圧縮レートが使用された時、最も認知され得るのは、画像フレームの特定の領域、特にテクスチャ領域及びエッチング又はライン領域に現れるブロックアーチファクトである。こうしたブロックアーチファクトは、ブロックに分割されたように見える画像又はオブジェクトとして視覚的に認知される場合が多い。画像フレーム内部のピクセル値が影響を受け、画像フレームの隣接ウィンドウ又はブロック間での急激な遷移として現れるアーチファクトが導入される。こうした急激な遷移は、一般に、画像フレーム内で垂直及び水平に整列し、アーチファクトは非常に認知されやすくなる。エッジ（ライン）領域において、ブロックアーチファクトは、自然なエッジ及びライン、例えば、木の枝、ワイヤ、又はオブジェクト間のエッジが存在する隣接ウィンドウ又はブロック間の遷移によって発生する。こうしたエッジ領域では、追加的なジャギが、視覚的に認知される。例えば、２Ｍビット／秒より高い、中間又は高レベルまでビットレートを高めることで、低ビットレートで発生するブロックアーチファクトを効果的に低減できる。低ビットレートでは、モスキートノイズのようなその他のアーチファクト、及び平坦領域ブロックアーチファクトも発生する可能性がある。

２Ｍビット／秒より高いビットレートでは、ブロックアーチファクトは、認知されにくくなる。これより高いビットレートで現れる主要なアーチファクトは、モスキートノイズである。モスキートノイズは、特に、近傍に高いエッジが存在する、或いはピクセル値の間に他の任意の高遷移が存在する、ほぼ平坦な領域において、ピクセルのウィンドウ又はブロック内部に現れる高周波パターンである。モスキートノイズは、ウィンドウ内の領域において明確に視認できるデルタインパルスパターンと混合された小さな格子縞として現れる。モスキートノイズは、強いエッジが存在する一般的に平滑領域を含むブロックにおいて現れる量子化ノイズの均一な空間分布によって視認できるようになる。モスキートノイズは、平滑領域で知覚的に視認される。純粋な垂直及び水平のブロック内でのリング化は、モスキートノイズの１タイプである。ここで、モスキートノイズは、画像フレームの垂直及び水平エッジの近くに現れる。純粋な垂直又は水平エッジによって発生するモスキートノイズは、対角線構造によって発生するものより深刻ではないが、やはりエッジの垂直及び水平のリング化として視認され得る。

更に、画像フレームの平坦又は平滑領域では、平坦領域（ＤＣ）ブロックアーチファクトが、中間及び高ビットレート（約２Ｍビット／秒より上）において知覚的に視認される。平坦領域ブロックアーチファクトは、本質的にただ１つのＤＣ成分を含む、即ち、デコードブロックのピクセルの値が同じである、量子化ブロックによって発生する。知覚的には、平滑な平坦領域は、近いが異なる値を有するタイル状の８×８の正方形として現れる。したがって、ブロック内部の平滑領域と隣接ブロック間での四角形の遷移とを有する区別可能なブロックパターンが存在する。遷移は、一般に垂直及び水平に整列するため、明確に視認可能となる。

最新のビデオ処理用途では、ビデオ信号のソースは、未知である場合が多い。ビデオ信号は、デジタル又はアナログである場合があり、ＤＶＤプレイヤ、ケーブルテレビソース、衛星、又は異なるソースからの画像のモンタージュにより転送される可能性がある。例えば、ビデオ信号は、いくつかのアナログ及びデジタルソースからの組み合わせにしてよい。したがって、アーチファクト低減のための任意の手法は、画像フレーム又はビデオ信号のウィンドウ又はブロック境界に関する何らかの知識を含め、ビデオ信号のソースに関する何らかの知識から事実上独立して実行する必要がある。こうした知識は、エッジ、テクスチャ情報、及びその他の情報を含む場合がある。こうした知識が必要である場合、ＭＰＥＧアーチファクト低減手法は、不必要に複雑になり、多くのハードウェア及び時間を必要とする。

ビデオシーケンスは、ＭＰＥＧアーチファクトから独立してチャネルに付加されるガウスノイズの提供を受ける可能性もある。

したがって、必要なものは、ガウスノイズの有無を問わず、ビデオ信号内の画像フレームのコンテンツについてのブロック境界又はその他の情報に関する知識なしで有効となる、ＭＰＥＧ圧縮のコンテクストにおける中間及び高圧縮レートで発生するアーチファクトを低減する手法である。

一態様において、本発明は、ビデオ信号の画像フレーム内のモスキートノイズを低減する手法を実施及び使用する、コンピュータプログラム製品を含む方法及び装置を提供する。画像フレームのウィンドウが提供される。ウィンドウは、複数のピクセル値を含む。ピクセル値差の修正ウィンドウを定義するために、ピクセル値の１つが、ウィンドウ内のピクセル値から選択される。局所平均（ＤＣ）値が、ピクセル値差に基づいて計算される。モスキートノイズ低減値も、ピクセル値差に基づいて計算される。アーチファクト減衰係数は、ピクセル値差のダイナミックレンジ測度の関数として計算される。アーチファクト減衰係数を適用するモスキートノイズ低減値と、アーチファクト減衰係数を適用する局所平均値と、選択ピクセル値との加重和が計算され、修正ピクセル値が生成される。

本発明の１つ以上の実施形態の詳細については、添付図面及び以下の説明において述べる。本発明のその他の特徴、目的、及び利点は、説明及び図面と特許請求の範囲とから明らかになろう。

各図面の同様の参照記号は、同様の要素を示す。

本発明の実施形態は、画像フレーム内のアーチファクトを低減するためにビデオ信号の画像フレームにおいてピクセル値を修正する、コンピュータプログラム製品を含む方法及び装置を提供する。一般に、本明細書で説明する方法及び装置は、一般には約２Ｍビット／秒より高い、中間及び高ビットレートが使用されるＭＰＥＧ圧縮のコンテクストにおいて実行される。こうした手法は、純粋な垂直及び水平リング化と平坦領域（ＤＣ）ブロックアーチファクトとを含むモスキートノイズを除去するのに特に最適である。

本発明の実施形態は、画像フレーム内のアーチファクトを低減するためにビデオ信号の画像フレームのピクセル値を修正する手法を実施及び使用する、コンピュータプログラム製品を含む方法及び装置を提供する。一部の実施形態によれば、入力画像フレームは、画像フレーム内の上記のアーチファクトを低減するために、１つ以上のいくつかのモジュールによってピクセル毎に受領及び処理される。モジュールは、画像フレームのピクセル値を補正するために協働し、画像フレームの自然な詳細を可能な限り維持しながら、アーチファクトが低減されるようにする。

本明細書で開示する方法及び装置の実施形態は、処理アパーチャとして正方形スライドウィンドウをピクセル毎に処理し、修正するピクセルは一般にウィンドウの中心ピクセルとなる。このウィンドウは、複数のピクセル値を含む。ハードウェアによる実施では、ライン記憶はコストが高くなるため、スライドウィンドウのサイズは、好ましくは小さくし、例えば３×３とする。一般に、ｎ×ｎのウィンドウが使用され、ｎは小さな奇数となる。目的は、ウィンドウの中心に位置するピクセル値を修正し、アーチファクトを低減することである。最初のステップとして、中心ピクセル値をウィンドウ内のピクセル値から減算し、ピクセル値差の修正ウィンドウを定義する。中心ピクセルの差はゼロとなる。

モスキートノイズ低減モジュールは、ピクセルのモスキートノイズ成分を特定するために提供される。下で明らかにするように、モスキートノイズ低減処理は、モスキートノイズが垂直及び水平方向の高周波パターンを有するという知識に基づいており、ダイナミックレンジが閾値によって定義される値に限定されると仮定する。モスキートノイズ低減モジュールは、修正ウィンドウにおけるピクセル値差に対するモスキートノイズ低減ステップを実行し、２つの信号を生成する。第一の信号は、モスキートノイズ低減値である。第二の信号は、スライドウィンドウアパーチャに基づいた局所ＤＣ値である。これら２つの値は、非線形処理モジュールに提供される。

非線形処理モジュールでは、モスキートノイズ低減値と局所ＤＣ値との差に、非線形関数が適用される。これにより、非線形処理モジュールは、残留ノイズと、純粋な垂直及び水平リング化と、ＤＣブロックアーチファクトと、モスキートノイズ低減モジュールによる処理後にピクセルに残存する残留モスキートノイズとを低減する。非線形処理モジュールは、適応的閾値を有し、下で説明する手法を使用して、モスキートノイズ低減モジュールによって計算された値を局所ＤＣ値に向けて本質的に強制する動作をする。非線形処理モジュールは、画像に多くのぼかしを持ち込むことなく、純粋な垂直及び水平リング化とＤＣブロックアーチファクトを効果的に低減する。

非線形処理モジュールの出力値は、画像の詳細の全体的なぼかしを制御するために、静的ぼかしパラメータγにより乗算する。積は、下で説明する平滑減衰モジュールによって生成されたガウスノイズ減衰係数で乗算され、ガウスノイズ低減強度を制御する。局所ＤＣ値は非線形処理モジュールにおいて減算されたため、この積は、局所ＤＣ値に再び加算される。結果は、同じく平滑減衰モジュールによって生成されたＭＰＥＧアーチファクト減衰係数によって乗算され、ＭＰＥＧ低減強度を制御する。中心ピクセル値はスライドウィンドウのピクセル値から減算されたため、乗算の結果は、アパーチャウィンドウの中心ピクセル入力値に加算される。この値は、本発明の一部の実施形態による、ＭＰＥＧアーチファクト低減方法及び装置の出力である。

平滑減衰モジュールは、ＭＰＥＧアーチファクト及びガウスノイズ低減ダイナミックレンジに基づいて、ＭＰＥＧアーチファクト減衰係数及びガウスノイズ減衰係数を生成するために提供される。こうしたダイナミックレンジは、ＭＰＥＧアーチファクト閾値及びガウスノイズ閾値によって定義される。減衰係数は、３つの作用区域、即ち、最大値と、ゼロと、最大及びゼロの間の平滑遷移とを有する。平滑遷移区域の欠如は、追加的なフリッカをもたらす可能性がある。フリッカが生じるのは、ピクセルの値がフレーム毎に閾値の僅かに下から僅かに上に変化する場合があり、ゼロから最大までのハードスイッチが起こるためである。小さな上下の変化により、大きな上下の変化が発生する。平滑減衰モジュールは、こうした区域を有する減衰係数を出力するため、追加的なフリッカは発生しない。

本明細書で開示する方法及び装置の実施形態は、一般に、ビデオ信号内の画像フレームの一部を表す二次元領域又はウィンドウ内で実施される空間的方法を提供する。このフレームは、一般に、ピクセル毎に基づき処理される。

本明細書で開示する方法及び装置の実施形態は、ソフトウェアとハードウェアとの様々な組み合わせにおいて実施できる。一実施形態において、方法及び装置は、テレビ又はその他のディスプレイデバイスで使用するためのビデオコントローラにおいて実施される。本明細書で開示する方法及び装置は、アナログソースと、デジタルソースと、アナログ及びデジタル信号のモンタージュとを含む様々なソースのいずれかからのビデオ信号を処理するのに特に最適である。例えば、方法及び装置は、テレビ、ＤＶＤプレイヤ、ケーブルテレビシステム、及びテレビ信号の衛星送信に応用可能である。中間及び高ビットレートエンコーディングに関連するアーチファクトは、モスキートノイズ及び平坦領域ブロックアーチファクトを含め、ビデオ信号のソースに関係なく低減される。ＭＰＥＧ圧縮において使用されたウィンドウ又はブロック境界の知識は、必要とされない。したがって、方法及び装置の実施形態は、ブロック境界の知識を必要とする従来の手法より、複雑ではなく、時間がかからず、多くのハードウェアを必要としない。

図１は、画像フレーム内のアーチファクトを低減するために入力ビデオ信号の画像フレーム内のピクセル値を修正する装置１００を図示している。図１において、装置１００は、入力画像フレームを受領するウィンドウ化及びピクセル減算モジュール１０５を含む。装置１００は、更に、ウィンドウ化及びピクセル減算モジュール１０５からピクセル値ａ’乃至ｉ’を受領するモスキートノイズ低減及び局所平均決定モジュール１１０を含む。加えて、装置１００は、モスキートノイズ低減及び局所平均決定モジュール１１０からの情報を受領し、静的ぼかしパラメータγによる乗算の対象となる値を乗算器モジュール１３０へ出力する非線形処理モジュール１１５を含む。装置１００は、更に、平滑減衰モジュール１２０を含み、平滑減衰モジュール１２０は、モジュール１０５からピクセル値ａ’乃至ｉ’を受領し、ＭＰＥＧアーチファクト及びガウスノイズ減衰係数λ及びλ₁を出力モジュール１２５に出力する。出力モジュール１２５は、モジュール１３０及びモジュール１２０からの出力値と、モジュール１１０からの局所ＤＣ値とを受領し、修正ピクセル値/eを出力として提供する。図１に図示したように、ウィンドウ化及びピクセル減算モジュール１０５は、ピクセル値「ｅ」の修正のために、中心ピクセル値「ｅ」を出力モジュール１２５に出力する。パラメータＴ₂、Ｔ₁、Ｔ₀、及びγは、方法２００及び装置１００のための制御パラメータであり、下で説明される。

図２は、画像フレーム内のアーチファクトを低減するために画像フレーム内のピクセル値を修正する装置１００の動作の方法２００を提供する。ステップ２０５において、入力画像フレームが、ウィンドウ化及びピクセル減算モジュール１０５に提供される。この実施形態において、ウィンドウ化及びピクセル減算モジュール１０５は、２つの機能、即ち（１）スライドウィンドウ化ステップと、（２）ピクセル減算ステップとを提供する。当業者は、別の実施形態において、各機能のために別個のモジュールが存在すること、即ち、ウィンドウ化ステップがウィンドウ化モジュールにより提供され、ピクセル減算ステップが別個のピクセル減算モジュールによって実行されることを理解するであろう。

図２のステップ２１０において、ウィンドウ化モジュール１０５は、入力画像フレームのウィンドウ３００を提供する。一例において、ウィンドウ３００は、図３Ａを参照して下で説明する３×３スライドウィンドウである。ウィンドウは、入力画像フレームの一部からの複数のピクセル値を含む。ステップ２１５において、モジュール１０５内のピクセル減算モジュールは、ウィンドウ内の中心ピクセル値を、ウィンドウ内の他のピクセル値から減算し、図３Ｂを参照して下で説明するように、ピクセル値差ａ’乃至ｉ’の修正ウィンドウを定義する。

図１において、モスキートノイズ低減及び局所平均決定モジュール１１０は、２つの機能、即ち（１）モスキートノイズ低減ステップと、（２）局所平均決定ステップとを提供する。当業者は、別の実施形態において、局所平均決定モジュールがモスキートノイズ低減モジュールのサブモジュールとなることを理解するであろう。図２のステップ２２０において、局所平均決定モジュールは、入力ピクセル値差ａ’乃至ｉ’に基づいて局所平均値「Ｅ_DC」を決定する。ステップ２２５において、モスキートノイズ低減モジュール１１０は、図３Ｂの修正ウィンドウ内のピクセル値差ａ’乃至ｉ’に対してモスキートノイズ低減ステップを実行し、モスキートノイズ低減値「ｕ」を生成する。このモスキートノイズ低減ステップは、図４及び５に関連して、下で説明する。

図２のステップ２３０において、非線形処理モジュール１１５は、局所平均値「Ｅ_DC」とモスキートノイズ低減値「ｕ」との間の差を決定し、ＤＣブロックアーチファクトと純粋な垂直及び水平リング化とを低減するために、この差に基づいて非線形関数を生成する。図２のステップ２３５では、非線形処理モジュール１１５から出力された値が、乗算器ブロック１３０において、全体的なぼかしを制御するぼかしパラメータγによって乗算される。出力結果は、モジュール１２５によって受領される。

ステップ２４０において、出力モジュール１２５での処理が行われる。出力モジュール１２５では、入力値１３４が、平滑減衰モジュール１２０から受領されたガウスノイズ減衰係数λ₁によって乗算される。次に、モジュール１１０から受領された局所平均値が、積に加算される。結果は、同じく平滑減衰モジュール１２０から受領されたＭＰＥＧアーチファクト減衰係数λによって乗算される。得られた積は、モジュール１０５から受領されたスライドウィンドウの中心ピクセル値に加算され、修正ピクセル値/eが生じる。出力モジュール１２５に提供される減衰係数λ及びλ₁は、ピクセル値ｅに対して以前のモジュールにより行われたＭＰＥＧアーチファクト及びガウスノイズ低減の強度を制御する。ステップ２４５において、修正ピクセル値/eが、出力画像フレームに割り当てられる。

図３Ａは、図１のウィンドウ化及びピクセル減算モジュール１０５に提供された入力画像フレーム内のピクセル値ａ乃至ｉのウィンドウ３００の例を図示している。この特定の実施形態において、ウィンドウ３００は、入力画像フレームからのピクセルの３×３ウィンドウである。当業者は、好ましくはｎが小さな奇数であるｎ×ｎの他のウィンドウサイズを他の実施形態において使用してよいことを理解するであろう。この実施形態において、３×３ウィンドウの中心ピクセル「ｅ」は、処理のためのピクセルとして選択される。スライドウィンドウ３００は、画像フレーム内の全てのピクセルを処理するために、画像フレーム全体に沿って水平及び垂直方向の両方に移動され、即ち、ライン毎に、各ラインのピクセル毎で移動される。ウィンドウ３００により、装置１００は、ウィンドウ３００内の９個のピクセル値ａ乃至ｉに基づいた中心ピクセル値「ｅ」の修正を提供できるようになる。

図３Ｂは、図１のモジュール１０５によってウィンドウ３００に対してピクセル減算ステップ２１５が実行された後のピクセル値差ａ’乃至ｉ’の修正ウィンドウ３５０を図示している。この実施形態では、中心ピクセル「ｅ」が、ウィンドウ３００内の各ピクセルａ乃至ｉから減算され、図３Ｂに図示したようなピクセル値差ａ’乃至ｉ’が定義される。特に、ウィンドウ３００のピクセル値ａ乃至ｉと中心係数ｅとの差は、次のように表現される。

図４は、本発明の一実施形態に従って構築されたモスキートノイズ低減及び局所平均決定モジュール１１０のブロック図を図示している。モジュール１１０は、制限モジュール４０５と、局所平均決定モジュール４１０と、２Ｄハイパスフィルタ４１５と、加重係数αを計算するための分散モジュール４２０とを含む。図５は、図４を参照して説明されるモスキートノイズ低減ステップを実行する方法５００のフロー図を提供する。モスキートノイズ低減及び局所平均決定モジュール１１０は、入力画像フレームの自然な詳細を可能な限り維持しながら、ブロック内リング化を減少させる。モスキートノイズ低減ステップは、モスキートノイズが垂直及び水平方向の両方における高周波プロセスであり、格子縞及びデルタインパルスパターンの混合として現れるという知識と、モスキートノイズのダイナミックレンジがｅ−Ｔ₁乃至ｅ＋Ｔ₁の範囲内に位置するという仮定とに基づいている。

図４において、修正ウィンドウ３５０のピクセル値差ａ’乃至ｉ’は、制限モジュール４０５に提供される。

図５のステップ５０５において、制限モジュール４０５は、閾値により、下から−Ｔ₁、上から＋Ｔ₁でピクセル値差を制限し、制限ピクセル値差を定義する。この閾値Ｔ₁は、モスキートノイズ低減のための作用ダイナミックレンジを定義する。制限モジュールは、一群の制限ピクセル値差ｂ’’、ｄ’’、ｆ’’、ｈ’’、ａ’’、ｃ’’、ｇ’’、及びｉ’’を出力する。特に、こうした制限ピクセル値差の導出の数学的表現は、次の通りとなる。

ステップ５１０において、２Ｄハイパスフィルタ４１５は、格子縞パターンの低減値Ｅ_cbを計算する。ステップ５１１において、局所平均決定モジュール４１０は、局所ＤＣ値Ｅ_DCを計算する。

図５のステップ５１５において、図４の分散モジュール４２０は、制限ピクセル値差ａ’’乃至ｉ’’の分散の関数として、加重係数αを計算する。ステップ５２０において、加重係数αは、加重和を計算し、モスキートノイズ低減値「ｕ」を生成するために、格子縞パターンの低減値Ｅ_cb及び局所ＤＣ値Ｅ_DCと共に、合計モジュール４２５に提供される。

分散モジュール４２０によって生成されるαの値は、望ましくは、条件０≦α≦１を満たし、中心ピクセルｅを囲むピクセルの互いに対する近接性によって変化する。特に、αは、分散モジュール４２０によって、次の非線形関数に従って決定される。

「Ｖ」は、周囲の全ピクセルの期待値の概算である。

β₁は、主観的実験に基づいて取得された所定の正の定数である。一例において、自然な画像の詳細を可能な限り維持しながらモスキートノイズ値を大幅に低減するために、β₁＝５を選択した。β₁を減少させることで、画像の自然な詳細のぼかしを増やしながら、アーチファクトを低減できる。

一例において、局所平均決定モジュール４１０は、局所平均決定のための二次元ローパスフィルタを含み、次の一次元フィルタから取得された３×３ウィンドウについて、
１／４ １／２ １／４
次のインパルス応答を有する。
１／１６ １／８ １／１６
１／８ １／４ １／８
１／１６ １／８ １／１６

したがって、局所ＤＣ値Ｅ_DCは、次のようになる。

格子縞パターンＥ_cbを低減するための二次元ハイパスフィルタは、次の一次元フィルタから取得された３×３ウィンドウについて、
−１／４ １／２ −１／４
次のインパルス応答を有する。
−１／１６ １／８ −１／１６
１／８ １／４ １／８
−１／１６ １／８ −１／１６
したがって、局所ＤＣ値Ｅ_cbは、次のようになる。

Ｅ_DC値は、図１に図示したように、モスキートノイズ低減値ｕと共に、非線形処理モジュール１１５に出力される。図１、６Ａ及び６Ｂの非線形処理モジュール１１５は、モスキートノイズ低減ステップが実行された後に残るモスキートノイズの任意の残留量を、ＤＣブロックアーチファクト及び純粋な垂直又は水平リング化と共に低減する。下で明らかにするように、非線形処理モジュール１１５は、修正ピクセル値を局所ＤＣ値Ｅ_DCに向けて本質的に強制し、モスキートノイズ、ＤＣブロックアーチファクト、及び純粋な垂直又は水平リング化に関連する残存高周波成分を低減する。

図６Ａは、本発明の一実施形態による、モスキートノイズ低減値と局所ＤＣ値との間の差Δ＝ｕ−Ｅ_DCの非線形関数Ψ（Δ）を生成する非線形処理モジュール１１５を図示している。図６Ｂは、本発明の一実施形態による、非線形処理モジュール１１５の制限モジュール６５０を図示している。図６Ｃは、図６Ａを参照して説明される非線形処理ステップを実行する方法６００のフロー図を提供する。

図６Ｃのステップ６６０において、モスキートノイズ低減値と局所ＤＣ値との間の差Δ＝ｕ−Ｅ_DCが計算される。ステップ６７０では、動的デッドゾーン閾値Ｔ_DCが、（１）静的デッドゾーン閾値とも呼ばれるＤＣブロックアーチファクト閾値Ｔ₀と、（２）入力モスキートノイズ低減値とに基づいて計算される。ステップ６８０において、非線形関数Ψ（Δ）が適用され、入力値をゼロに、或いはゼロに向けて、強制する。

非線形処理モジュール１１５によって適用される非線形関数Ψ（Δ）７００のグラフによる例は、図７に図示される。非線形関数Ψ（Δ）７００の数学的表現は、次の通りである。

上の非線形関数は、図７に図示したように、Ｔ_DCにおけるハード閾値処理を回避する。閾値処理は、フリッカを発生させる可能性がある。非線形関数は、Ｔ_DCと２Ｔ_DCとの間でハードスイッチの代わりに線形遷移を有し、こうした何らかのフリッカを低減するのを助ける。

前の非線形関数Ψ（Δ）において、制御パラメータＴ₀は、所定の閾値であり、非線形関数の静的デッドゾーンを定義する。主観的実験は、最適な値としてＴ₀≒２，．．．，３を示す。図６Ｂに図示したように、閾値Ｔ_DCは、モスキートノイズ低減ブロックγ₁｜ｕ｜の出力に基づいて決定される。パラメータγ₁は、好ましくは条件０≦γ₁≦１を満たす加重係数であり、画像平滑性と画像のＭＰＥＧアーチファクトの低減との間でのトレードオフを提供する。γ₁は、ＭＰＥＧアーチファクトの適応的低減機能の強度を定義し、即ち、適応的閾値Ｔ_DCを制御する。γ₁｜ｕ｜値がＴ₀より小さい時、Ｔ_DCは、Ｔ₀に等しくなる。この修正は、追加的な濾過特性を加え、画像に何らかの著しいぼかしを持ち込むことなく、ＤＣブロックアーチファクトと純粋な垂直及び水平リング化を効率的に低減する。一例において、満足できる結果を提供するパラメータγ₁の値は、主観的試験に基づいて、γ₁≒０．５である。

図１に戻ると、乗算器ブロック１３０において、非線形処理モジュール１１５の出力である非線形関数Ψ（Δ）の結果は、パラメータγによって乗算される。γは、加重係数で、好ましくは条件０≦γ≦１を満たし、ＭＰＥＧアーチファクトの静的低減機能の強度、即ち、モスキートノイズ低減値と混合される局所ＤＣ値の部分を定義する。実際には、γは、フレーム全体の静的ぼかし特性を、局所ＤＣ値によって定義される最小から最大までにおいて制御する、ぼかしパラメータである。例えば、γが１．０である時、出力モジュール１２５のアーチファクト低減値１３５は、非線形関数Ψ（Δ）である。γが０である時、出力モジュール１２５のアーチファクト低減値１３５は、局所ＤＣ値Ｅ_DCである。当業者は、γがゼロ又はゼロに近い時、画像フレーム内の小さな詳細は、局所ＤＣ値に等しくなるため、ぼやけることを理解するであろう。一例において、満足できる結果を提供する制御パラメータγの値は、主観的試験に基づいて、γ＝０．８，．．．，１である。

モスキートノイズ低減処理は、ダイナミックレンジが閾値Ｔ₁によって定義される値に限定されるという仮定に基づいている。ダイナミックレンジ測度Ｍは、スライドウィンドウ内部のピクセル差ａ’乃至ｉ’の全ての絶対値の関数である。Ｍは、ダイナミックレンジ測度に対する特定の差ａ’乃至ｉ’の影響を考慮する、差の絶対値の非線形関数Ｆ_DR（）である。３×３ウィンドウについて、Ｍは、次のように表現できる。

ダイナミックレンジ測度は、閾値より小さいか、或いは閾値に等しい時、単一値を有する。スライドウィンドウのダイナミックレンジ測度が閾値を上回る時、出力修正ピクセル値は、次のように低減する必要がある。

ここでλは、ＭＰＥＧアーチファクト減衰係数である。閾値を上回った直後に出力修正ピクセル値がゼロに低減される時、ハードスイッチのケースが発生する。フレーム毎に、同じ空間的位置のピクセル値は、閾値より僅かに小さいものから僅かに大きいものに変化することが可能である。そのため、ハードスイッチの場合、隣接フレームにおいて、同じ位置の出力ピクセルの値は、全く異なる値を有する。更に、フレーム毎に閾値より僅かに小さいものと僅かに大きいものとは、反復的パターンを有し得る。そのため、ある程度のレベルのフリッカが発生する可能性がある。この減少を回避するために、平滑減衰ステップが実行される。Ｍが閾値Ｔ₁を下回る時、或いはこれと等しい時、ＭＰＥＧアーチファクト減衰係数は１となる。Ｍが閾値を上回るとすぐに、λの値は、直線的な減少を開始する。Ｍが値Ｔ₁＋Ｔ₁／Ｋに一致する時、λは、より大きな全ての値でゼロに等しくなる。Ｋは、線形平滑遷移の勾配係数である。

図８Ａは、平滑減衰ステップ８００を実行する、３×３スライドウィンドウのための平滑減衰モジュール１２０のブロック図を示している。図８Ｂは、平滑減衰ステップを実行する方法８００のフロー図を示している。

図８Ｂのステップ８１０において、ダイナミックレンジ測度Ｍは、上で説明したように、ピクセル値差から計算される。非線形関数Ｆ_DR（）は、中心ピクセルとの空間的位置の近接性に基づいて、出力値に対する特定のピクセル差の影響の量を考慮し、次のように表現される。

角のピクセルの差ａ’、ｃ’、ｇ’、ｉ’は、「交差」ピクセルの差ｂ’、ｄ’、ｆ’、ｈ’に比べ、出力値に対する影響及び寄与が２分の１となる。

ステップ８２０において、平滑化係数値λは、Ｍ及びＴ₁に基づき、次のように計算される。

図８は、主観的実験に基づいて、十分な結果を提供するＫ＝１のケースを図示している。ＭＰＥＧアーチファクト減衰係数λの出力値は、選択ピクセル値ｅに対する非線形関数の適用を制限するために適用される。

図９Ａは、様々な値のＴ₁とＫ＝１及びＫ＝２について、Ｍの関数として平滑化係数λのグラフによる例を図示している。

図８Ｂのステップ８３０において、平滑減衰モジュール１２０は、更に、出力モジュール１２５に対する入力の１つであるガウスノイズ減衰係数λ₁を計算及び出力する。ガウスノイズの減衰が図１のスイッチ１４５によって無効化される時、λ₁の値は１に等しくなる必要があり、下で説明するように、出力モジュール１２５内部の残余値は修正されない。λ₁の値が０に等しい時、出力モジュール１２５内部の残余値は、局所ＤＣ値となることを強制される。λ₁が０に等しい区域は、Ｍ≦Ｔ₂である時にダイナミックレンジ測度Ｍ及び閾値Ｔ₂によって定義される。ＭＰＥＧアーチファクト減衰係数λと同様の形で、Ｍ≦Ｔ₂及びＭ＞Ｔ₂であるケースの間のハードスイッチを回避するために、Ｔ₂≦Ｍ≦２Ｔ₂に線形遷移区域を適用することで、平滑減衰が行われる。したがって、λ₁の値は、次のように決定される。

図９Ｂは、様々な値のＴ₂について、Ｍの関数として平滑化係数λ₁のグラフによる例を図示している。

図１において、出力モジュール１２５は、モジュール１３０においてパラメータγにより乗算され、図１のＭＰＥＧアーチファクト低減オン／オフスイッチ１４０の第一の入力に入力された非線形関数Ψ（Δ）の適用を提供する。スイッチ１４０の第二の入力は、反転された局所ＤＣ値−Ｅ_DCである。スイッチ１４０が「オン」位置にある時には、ＭＰＥＧアーチファクト低減モードが有効となる。スイッチ１４０が「オフ」位置にある時には、ＭＰＥＧアーチファクト低減モードが無効となる。ＭＰＥＧアーチファクト低減モードが有効である時、出力モジュール１２５への入力値１３４は、γΨ（Δ）であり、ＭＰＥＧアーチファクト低減モードが無効である時、入力値は、−Ｅ_DCとなる。

図１０は、図１の出力モジュール１２５によって実行される方法１０００のフロー図を示している。ステップ１０１０において、スイッチ１４０からの入力値１３４は、入力値１３３、即ちガウスノイズ減衰係数λ₁によって乗算される。ステップ１０２０において、結果が、入力信号１３２、即ち局所ＤＣ値に加算され、値１３５が計算される。ＭＰＥＧアーチファクト低減モードとガウスノイズ低減モードとの両方が有効である時、値１３５は、下記と等しくなる。

ＭＰＥＧアーチファクト低減モードが無効であり、ガウスノイズ低減モードが有効である時、値１３５は、下記と等しくなる。

ＭＰＥＧアーチファクト低減モードとガウスノイズ低減モードとの両方が無効である時、λ₁＝１であり、値１３５は、下記と等しくなる。

ＭＰＥＧアーチファクト低減モードが有効であり、ガウスノイズ低減モードが無効である時、値１３５は、下記と等しくなる。

ステップ１０３０において、値１３５は、ダイナミックレンジ測度Ｍに関するアーチファクト低減の適用性を制御するために、ＭＰＥＧアーチファクト減衰係数λ、即ち値１０４によって乗算される。ステップ１０４０において、結果は、入力ピクセルｅの値に加算され、出力修正ピクセル値/eが計算される。したがって、次のようになる。

本発明の実施形態は、本明細書で開示した装置を含め、デジタル電子回路、或いはコンピュータハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせにおいて実施可能である。本発明の装置の実施形態は、プログラム可能なプロセッサで実行するために機械読み取り可能なストレージデバイスにおいて明白に実施されたコンピュータプログラム製品において実施可能であり、本発明の方法ステップは、入力データを操作して出力を生成することで本発明の機能を遂行する命令のプログラムを実行するプログラム可能なプロセッサによって実行可能である。本発明の実施形態は、有利なことに、データストレージシステムと、少なくとも１つの入力デバイスと、少なくとも１つの出力デバイスとからデータ及び命令を受領し、これらに対してデータ及び命令を送信するように結合された少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能な１つ以上のコンピュータプログラムにおいて実施できる。各コンピュータプログラムは、高レベル手続き型又はオブジェクト指向プログラミング言語において、或いは、望ましい場合には、アセンブリ言語又は機械語において、実施可能であり、いずれの場合においても、言語は、コンパイラ型又はインタプリタ型言語にすることができる。

適切なプロセッサは、例として、汎用及び特殊用途マイクロプロセッサを共に含む。一般に、プロセッサは、読み出し専用メモリ及び／又はランダムアクセスメモリから命令及びデータを受領する。一般に、コンピュータは、データファイルを格納する１つ以上の大量記憶デバイスを含み、こうしたデバイスは、内蔵ハードディスク及びリムーバブルディスクのような磁気ディスクと、光磁気ディスクと、光ディスクとを含む。コンピュータプログラムの命令及びデータを明白に実施するのに適したストレージデバイスは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスのような半導体メモリデバイスと、内蔵ハードディスク及びリムーバブルディスクのような磁気ディスクと、光磁気ディスクと、ＣＤ−ＲＯＭディスクとを含め、あらゆる形態の不揮発性メモリを含む。上記のいずれかは、ＡＳＩＣ（特定用途向け集積回路）により補足すること、或いは、これに組み込むことが可能である。

以上、本発明の多数の実施について説明してきた。しかしながら、本発明の趣旨及び範囲から逸脱することなく様々な変形を為し得ることは理解されよう。したがって、他の実施形態は、前記特許請求の範囲に含まれる。

本発明の一実施形態による、画像フレーム内のピクセル値を修正する装置１００のブロック図 本発明の一実施形態に従って実行される、画像フレーム内のピクセル値を修正する方法２００のフロー図 本発明の一実施形態による、３×３の場合の画像フレーム内のピクセル値のアパーチャウィンドウ３００の例を示す図 本発明の一実施形態による、３×３の場合のピクセル値差の修正アパーチャウィンドウ３５０の例を示す図 本発明の一実施形態による、３×３の場合のモスキートノイズ低減モジュール１１０のブロック図 本発明の一実施形態に従って実行される、モスキートノイズ低減ステップを実行する方法５００のフロー図 本発明の一実施形態による、非線形関数を生成する非線形処理モジュール１１５を示す図 本発明の一実施形態による、非線形処理モジュールの制限モジュール６５０を示す図 本発明の一実施形態による、非線形処理ステップを実行する方法６００のフロー図 本発明の一実施形態による、非線形関数７００をグラフにより例示する図 本発明の一実施形態による、平滑減衰モジュール１２０を示す図 本発明の一実施形態に従って実行される、平滑減衰ステップを実行する方法８００のフロー図 本発明の一実施形態による、ＭＰＥＧアーチファクト減衰係数λのグラフによる例を示す図 本発明の一実施形態による、ガウスノイズ減衰係数λ₁のグラフによる例を示す図 本発明の一実施形態に従って実行される、出力モジュール１２５により実行される方法１０００のフロー図

Claims (14)

1. ビデオ信号の画像フレーム内のモスキートノイズを低減する方法であって、
   コンピュータが、前記画像フレームのウィンドウを調査するステップであって、前記ウィンドウは複数のピクセル値を含むステップと、
   コンピュータが、ピクセル値差の修正ウィンドウを定義するために、前記ピクセル値のうちの選択された１つを、前記ウィンドウ内の前記ピクセル値から減算するステップと、
   コンピュータが、前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差の局所平均値Ｅ_DCを計算するために、前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差に２Ｄローパスフィルタを適用するステップと、
   コンピュータが、低減値Ｅ_cbを生成するために、前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差にハイパスフィルタを適用するステップと、
   コンピュータが、前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差それぞれと、前記ピクセル値差の、ダイナミックレンジを定義する閾値処理を適用した後の平均値との差の絶対値の合計値の関数として加重係数αを計算するステップと、
   コンピュータが、モスキートノイズ低減値ｕを定義するために、下記の関係に従って、前記加重係数αとの乗算後の前記低減値Ｅ_cbおよび前記局所平均値Ｅ_DCの加重和を計算するステップと、
   ｕ＝αＥ_cb＋（１−α）Ｅ_DC
   コンピュータが、前記モスキートノイズ低減値ｕと前記局所平均値Ｅ_DCとの差の非線形関数Ψ（ｕ−Ｅ_DC）を生成するステップと、
   コンピュータが、前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差のダイナミックレンジ測度の関数としてアーチファクト減衰係数λを計算するステップと、
   コンピュータが、前記非線形関数Ψ（ｕ−Ｅ_DC）に前記局所平均値Ｅ_DCを加算するステップと、
   コンピュータが、前記アーチファクト減衰係数λに前記局所平均値Ｅ_DCおよび前記非線形関数Ψ（ｕ−Ｅ_DC）の和を乗算するステップと、
   コンピュータが、前記選択されたピクセル値を前記アーチファクト減衰係数λと前記局所平均値Ｅ_DCおよび前記非線形関数Ψ（ｕ−Ｅ_DC）の和との積に加算するステップと、を備える方法。
2. 請求項１記載の方法であって、更に、
   コンピュータが、前記ピクセル値差の修正ウィンドウ内の前記ピクセル値差を閾値により制限するステップを備える、方法。
3. 請求項１記載の方法であって、
   前記選択されたピクセル値は、前記ウィンドウの中心ピクセルである、方法。
4. 請求項１記載の方法であって、
   前記ウィンドウは、ピクセルのｎ×ｎウィンドウである、方法。
5. 請求項４記載の方法であって、
   ｎは、奇数である、方法。
6. 請求項５記載の方法であって、
   ｎ＝３である、方法。
7. ビデオ信号の画像フレーム内のモスキートノイズを低減する装置であって、
   前記画像フレームのウィンドウを調査するウィンドウ化モジュールであって、前記ウィンドウは複数のピクセル値を含むウィンドウ化モジュールと、
   ピクセル値差の修正ウィンドウを定義するために、前記ピクセル値のうちの選択された１つを、前記ウィンドウ内の前記ピクセル値から減算する減算モジュールと、
   前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差の局所平均値Ｅ_DCを計算するために、前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差に２Ｄローパスフィルタを適用する局所平均決定モジュールと、
   前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差のモスキートノイズ低減値ｕを生成するモスキートノイズ低減モジュールであって、
   前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差に適用されて低減値Ｅ_cbを生成するハイパスフィルタと、
   前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差それぞれと、前記ピクセル値差の、ダイナミックレンジを定義する閾値処理を適用した後の平均値との差の絶対値の合計値の関数として加重係数αを計算するモジュールと、
   前記モスキートノイズ低減値ｕを定義するために、下記の関係に従って、前記低減値Ｅ_cbおよび前記局所平均値Ｅ_DCの加重和を計算する合計モジュールと、を含むモスキートノイズ低減モジュールと、
   ｕ＝αＥ_cb＋（１−α）Ｅ_DC
   前記モスキートノイズ低減値ｕと前記局所平均値Ｅ_DCとの差の非線形関数Ψ（ｕ−Ｅ_DC）を生成する非線形処理モジュールと、
   前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差のダイナミックレンジ測度の関数としてアーチファクト減衰係数λを計算する平滑減衰モジュールと、
   前記非線形関数Ψ（ｕ−Ｅ_DC）に前記局所平均値Ｅ_DCを加算し、前記アーチファクト減衰係数λに前記局所平均値Ｅ_DCおよび前記非線形関数Ψ（ｕ−Ｅ_DC）の和を乗算し、前記選択されたピクセル値を前記アーチファクト減衰係数λと前記局所平均値Ｅ_DCおよび前記非線形関数Ψ（ｕ−Ｅ_DC）の和との積に加算する出力モジュールと、を備える装置。
8. 請求項７記載の装置であって、
   前記モスキートノイズ低減モジュールは、
   前記ピクセル値差の修正ウィンドウ内の前記ピクセル値差を閾値により制限する制限モジュールを含む、装置。
9. コンピュータプログラムであって、
   画像フレームのウィンドウを生成するためにビデオ信号の前記画像フレームを細分化する機能であって、前記ウィンドウは複数のピクセル値を含む機能と、
   ピクセル値差の修正ウィンドウを定義するために、前記ピクセル値のうちの選択された１つを、前記ウィンドウ内の前記ピクセル値から減算する機能と、
   前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差の局所平均値Ｅ_DCを計算するために、前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差に２Ｄローパスフィルタを適用する機能と、
   前記ピクセル値差に基づいてモスキートノイズ低減値ｕを計算する機能であって、
   低減値Ｅ_cbを生成するためにハイパスフィルタを前記ピクセル値差の修正ウィンドウに適用する機能と、
   前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差それぞれと、前記ピクセル値差の、ダイナミックレンジを定義する閾値処理を適用した後の平均値との差の絶対値の合計値の関数として加重係数αを計算する機能と、
   前記モスキートノイズ低減値ｕを定義するために、下記の関係に従って、前記加重係数αとの乗算後の前記低減値Ｅ_cbおよび前記局所平均値Ｅ_DCの加重和を計算する機能と、
   を含む機能と、
   ｕ＝αＥ_cb＋（１−α）Ｅ_DC
   前記モスキートノイズ低減値ｕと前記局所平均値Ｅ_DCとの差の非線形関数Ψ（ｕ−Ｅ_DC）を生成する機能と、
   前記ピクセル値差の修正ウィンドウにおける前記ピクセル値差のダイナミックレンジ測度の関数としてアーチファクト減衰係数λを計算する機能と、
   前記非線形関数Ψ（ｕ−Ｅ_DC）に前記局所平均値Ｅ_DCを加算する機能と、
   前記アーチファクト減衰係数λに前記局所平均値Ｅ_DCおよび前記非線形関数Ψ（ｕ−Ｅ_DC）の和を乗算する機能と、
   前記選択されたピクセル値を前記アーチファクト減衰係数λと前記局所平均値Ｅ_DCおよび前記非線形関数Ψ（ｕ−Ｅ_DC）の和との積に加算する機能と、をコンピュータに実現させるコンピュータプログラム。
10. 請求項９記載のコンピュータプログラムであって、更に、
    前記ピクセル値差の修正ウィンドウ内の前記ピクセル値差を閾値により制限する機能をコンピュータに実現させる、コンピュータプログラム。
11. 請求項９記載のコンピュータプログラムであって、
    前記選択ピクセル値は、前記ウィンドウの中心ピクセルである、コンピュータプログラム。
12. 請求項９記載のコンピュータプログラムであって、
    前記ウィンドウは、ピクセルのｎ×ｎウィンドウである、コンピュータプログラム。
13. 請求項１２記載のコンピュータプログラムであって、
    ｎは、奇数である、コンピュータプログラム。
14. 請求項１３記載のコンピュータプログラムであって、
    ｎ＝３である、コンピュータプログラム。

Images