JP4004089B2

JP4004089B2 - ビデオ信号復号化システムおよびノイズ抑圧方法

Info

Publication number: JP4004089B2
Application number: JP27791496A
Authority: JP
Inventors: ウィリアムデバニーパトリック; チャンドランガナナプラカサンダニエル; ジェームズリーコックトーマス
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1995-10-20
Filing date: 1996-10-21
Publication date: 2007-11-07
Anticipated expiration: 2016-10-21
Also published as: DE69631108T2; EP0769878B1; EP0769878A3; US5819035A; JPH09200759A; EP0769878A2; CN1151662A; KR100249407B1; CN1110961C; KR970025165A; DE69631108D1

Description

【０００１】
【発明の属する技術分野】
本発明は、ノイズ・アーティファクト（artifact）を除去するフィルタを含む高品質ビデオ符号化／復号化システムとして実現される。より詳細には、本発明は、離散コサイン変換に基づく（ＤＣＴに基づく）何らかのビデオ復号化システムにおいてリンギングノイズを除去する異方性拡散フィルタ（anisotropic diffusion filter）に関する。
【０００２】
【従来の技術】
ブロック離散コサイン変換（ブロックＤＣＴ）に基づく画像圧縮アルゴリズムが、ある状況下では不快なノイズアーティファクトを生じることがあることはよく知られている。このような状況は、符号化システム全体の詳細が正確にはどのようなものであるかによって変化する。つまり、ＤＣＴは、その詳細の一構成要素にすぎない。
【０００３】
最近大きな注目を集めた、あるタイプのビデオ圧縮システムは、国際標準化機構（ＩＳＯ）内の一委員会であるムービングピクチャエキスパートグループ（ＭＰＥＧ）により提案されたシステムである。ＭＰＥＧ−２システムは、ＩＳＯからＩＳＯ−ＩＥＣ／１３８１８−２：１９９５（Ｅ）として入手可能である、シミュレーションモデルエディトリアルグループによる「ＭＰＥＧ−２ビデオ」と題する書類に記載されている。ＭＰＥＧ−２ビデオ信号符号化および復号化方法に関するその教示については、本願も参考として援用している。このシステムは、「３次元動き補償されたビデオ符号化」と題する米国特許第４，９９９，７０５号に記載されている条件付き動き補償補間（ＣＭＣＩ）ビデオ符号化システムに類似するシステムである。ビデオ符号化技術に関するその教示については、本願も参考として援用している。
【０００４】
このＭＰＥＧシステムは、既によく知られている数多くのビデオ圧縮技術を１つのシステムの中に一体化している。公知のビデオ圧縮技術としては、動き補償予測符号化や、離散コサイン変換（ＤＣＴ）や、適応量子化および可変長符号化（ＶＬＣ）などが挙げられる。これらのシステムにおいては、入力画像から得られた、６４個の画素からなる複数のブロックに対して離散コサイン変換演算をおこなうことによって生成された複数の係数値に対して、適応量子化ステップがおこなわれる。
【０００５】
【発明が解決しようとする課題】
ＤＣＴ係数は、符号化動作によって発生されたデータの量の関数として解像度を変化させながら、量子化される。固定された帯域幅のチャネルを有するシステムにおいて、もしそれぞれのイメージフレームが比較的大きな量の符号化データを生成すれば、連続する複数のフレームに適用される量子化ステップのサイズは、これらのフレームを表現するのに用いられる符号化データの量を減らすために、大きくする（粗くする）必要がある可能性がある。このことは、数フレーム間隔にわたって生成される平均的レベルのデータを、固定された帯域幅のチャネルを介して伝送可能とするためにおこなわれる。もし、量子化器がＤＣＴ係数に対して粗い量子化を施している時に、比較的少数の、細かい輪郭（contours）を有する対象物を含む画像を符号化すれば、この対象物の再生画像には、量子化歪みが生じてしまうことがある。この歪みは、対象物の輪郭に対する強調として現れることになる。
【０００６】
ＭＰＥＧ符号化器は、Ｎａｉｍｐａｌｌｙらに付与された２つの米国特許（米国特許第５，２９４，９７４号および第５，３２５，１２５号）に記載されている。ＭＰＥＧ符号化器に関するそれらの教示については、本願も参考として援用している。
【０００７】
ＭＰＥＧ−２復号化器は、現在では市販のものが入力可能である。そのような復号化器は、「ＭＰＥＧ−２／ＣＣＩＲ６０１ビデオデコーダ」（SGS-ThomsonMicroelectronics、1994年7月）および「ＩＢＭＭＰＥＧ−２デコーダチップユーザズガイド」（IBM、1994年6月）に記載されている。ＭＰＥＧ−２復号化器に関する教示については、本願も参考として援用している。
【０００８】
一般に、不快なノイズアーティファクトには２種類ある。すなわち、ブロッキングと、リンギングである（Yuen M.およびWu H.、「ディジタルビデオ圧縮における復元アーティファクト」、Proc. of SPIE、第2419巻、1995年、第455〜465頁に記載されている。ブロッキングおよびリンギングノイズアーティファクトに関する教示については、本願も参考として援用している）。ブロッキングは、ＤＣ係数（すなわち、平均強度値）のみが設定される時に生じる。ブロッキングが生じる可能性は、データレートが非常に低い時に最も高くなる。リンギングは、ＤＣＴ係数、特に高周波ＡＣ係数を粗く量子化してノイズが生じた時に発生する。リンギングは、強烈なエッジの近傍に現れる相関ノイズである。高品質の（つまり、圧縮率の低い）システムでは、リンギングは最も目につくアーティファクトである。フレームからフレームへの変化がわずかであるために、リンギングノイズは、動画においては、エッジ近傍の局所的なちらつきとして目に見えるものとなる。このタイプのノイズは、「モスキートノイズ」として知られている。
【０００９】
品質の高いシステムは、品質の低いシステムよりも高価であり、生成するノイズも少なくなるものである。低品質システムで発生するノイズは、ブロッキングノイズが圧倒的であるのに対して、高品質システムではリンギングノイズが圧倒的に多い。低品質システムにおけるブロッキング効果を低減するスキームについては膨大な量の研究があるにもかかわらず、そのような各種アプローチは、いずれも高品質圧縮システムにおいてリンギングを低減することに関するものではない。
【００１０】
リンギングアーティファクトは、強烈なエッジ近傍の平坦な背景上に発生する。このようなアーティファクトの強度は、背景よりも高くなるが、エッジに比べると低い。したがって、局所的なエッジの強度がわかっていれば、その強度を、変化の有意性を判断する際の尺度（つまり、その尺度を下回る場合には、変化は有意なものではないと判断される）の規定に用いることができる。
【００１１】
このタイプのノイズアーティファクトは、異方性拡散として知られている技術を用いることによって減らすことができる（Perona P.およびMalik J.、「異方性拡散を用いたスケール−スペースおよびエッジ検出」、IEEE Trans. on Pattern Analysis and Machine Intelligence、第12巻、1990年、第629〜639頁に記載されている。異方性拡散に関するその教示については、本願も参考として援用している）。異方性拡散は、あるスケール閾値ｋを下回る変化については、その閾値を上回る各種特徴を維持あるいは改善しながら、それらを選択的に平滑化することを可能にする。
【００１２】
ＫＤＤＲ＆Ｄ研究所は、カラオケ機におけるＭＰＥＧ１画像を改善するポストフィルタを開発した（Nakajima Y.ら、「ＭＰＥＧ符号化ビデオのノイズリダクション用の後処理アルゴリズム」、Tech. Report of IEICE-Japan、IE94-7、DSP94-7、1994年、第45〜51頁に記載されている。ポストフィルタに関する教示については、本願も参考として援用している）。このシステムは、最良の局所的雑音除去フィルタの線形最小２乗推定値を計算するために、局所的平均値と変化値とを計算する。このフィルタは、エッジ保存型ではあるが、そのエッジ依存度は、明示的だが複雑な方法により操作される。このＫＤＤシステムは、ＭＰＥＧには非常にうまく合致している。すなわち、その符号化スキームに含まれる数多くの複雑な詳細と、そのスキームにより処理されたピクチャの統計とを活用している。しかしながら、このＫＤＤシステムのハードウェアコストは非常に高い。
【００１３】
画像の不鮮明な部分を除去し、画質を改善するための異方性拡散アルゴリズムに関しては、これまでに数多くの論文が発表されてきている（Saint-Marc P.、Chen J.およびMedioni G.、「適応平滑化：初期ビジョン用の一般的手段」、IEEE Trans. on PAMI、第13巻、1990年、第514〜529頁、ならびにAlvarez L.、Lions P.およびMorel J.、「非線形拡散による画像の選択的平滑化およびエッジ検出ＩＩ」、SIAM J. Numerical Analysis、第29巻、1990年、第845〜866頁に記載されている。画像の不鮮明な部分を除去し、画質を改善するための異方性拡散アルゴリズムに関するそれらの教示については、本願も参考として援用している）が、その技術をブロックＤＣＴシステムに適用することを考えたものはごくわずかである。Ｅｌ−Ｆａｌｌａｈは、圧縮以前にノイズを除去するためのプレフィルタとして異方性拡散を用いることを報告している（El-Fallah A.、Ford G.、Algazi V.およびEstes R.、「画像の平均曲率拡散時におけるエッジおよびコーナーの不変性」、Proc. of SPIE、第2421巻、1995年に記載されている。異方性プレフィルタに関するその教示については、本願も参考として援用している）。このフィルタは、ポストフィルタとしては用いられていない。ＯｓｈｅｒおよびＲｕｄｉｎは、密接に関連する「ショックフィルタ」を開発した（Osher S.およびRudin L.、「ショックフィルタを用いた特徴志向の画像改善」、SIAM J. Numerical Analysis、第27巻、1990年、第919〜940頁に記載されている。ショックフィルタに関するその教示については、本願も参考として援用している）が、ブロックＤＣＴシステムに関しては全く言及していない。
【００１４】
異方性拡散においては、もしエッジの強度が、慎重に規定された臨界閾値ｋを超えているのなら、エッジを横切ってノイズ除去のための平均化をおこなうことは抑制される。このように平均化が抑制されると、エッジ保存型の平滑化がおこなわれることとなる。すなわち、各領域を保存しながら、領域内ノイズを除去することになる。ここで、領域間の境界は、暗黙のうちに閾値エッジを超えているものとして認識される。
【００１５】
既に引用したＰｅｒｏｎａおよびＭａｌｉｋは、静止成分を有するピクチャに対して、グローバル勾配の９０パーセンタイルに等しい臨界閾値を設定することを提案しているが、非静止画に対する閾値を局所的に変化させることについては何の詳細も示してはいない。また、既に引用したＥｌ−Ｆａｌｌａｈらは、そのアプローチには調整可能なパラメータが全くないという事実を重視している。
【００１６】
以上に、ノイズ除去システムにおいて存在することがわかっているいくつかの制約を説明した。本発明は、上記課題を解決するためになされたものであり、その目的とするところは、ＭＰＥＧ復号化信号からリンギングノイズアーティファクトを除去できる異方性ポストフィルタリンギングノイズ除去システムを提供することにある。
【００１７】
【課題を解決するための手段】
本発明によるビデオ信号復号化システムは、量子化された空間周波数成分を用いて圧縮された複数のデータ値をディジタル的に復号化するビデオ信号復号化システムであって、画像復元後にある範囲のノイズを抑圧するフィルタリング装置を備えたシステムに用いられる装置であって、イメージフレームの一部分を記述する、復号化された複数のデータ値を受け取る手段と、該受け取られた複数のデータ値をフィルタリングすることによって、閾値を下回る複数の値を有する複数の信号エッジ成分を選択的に抑圧する異方性拡散フィルタリング手段と、を備えており、そのことにより上記目的が達成される。
【００１８】
ある実施形態では、前記閾値が、前記イメージフレームの前記部分における最大勾配値の所定の分数である。
【００１９】
ある実施形態では、前記異方性拡散フィルタリング手段が、前記イメージフレームの前記部分における前記最大勾配値から決定される伝導値により該異方性拡散フィルタリング手段を制御する手段をさらに備えている。
【００２０】
ある実施形態では、前記伝導値が、クリップされた直線近似により決定される。
【００２１】
ある実施形態では、前記伝導値が、以下の数７
【００２２】
【数７】

【００２３】
（ここで、「ｇ」は該伝導値であり、「ｇｒａｄｉｅｎｔ」は前記最大勾配値であり、「ｋ」は前記閾値であり、かつ「Ｃ₁」および「Ｃ₂」は定数である）
により計算される。
【００２４】
ある実施形態では、Ｃ₁が１．２１に等しく、Ｃ₂が−０．８５５７６に等しい。
【００２５】
ある実施形態では、前記最大勾配値を決定する手段をさらに備えている装置であって、該手段が、現在の画素の絶対値を、４つの隣接画素のそれぞれの絶対値と比較することによって、最大の絶対値と最小の絶対値とを決定する比較器手段と、該最大絶対値から該最小絶対値を減算することによって、該最大勾配値を決定する減算器手段と、を備えている。
【００２６】
ある実施形態では、前記異方性拡散フィルタリング手段が、第１の異方性拡散フィルタと、第２の異方性拡散フィルタと、を備えている。
【００２７】
ある実施形態では、前記フィルタリング手段が、前記第２の異方性拡散フィルタによって用いられる因子２によって前記閾値を減少させる手段をさらに備えている。
【００２８】
ある実施形態では、前記フィルタリングが、以下の数８
【００２９】
【数８】

【００３０】
（ここで、「Ｉ（ｔ₁）」はフィルタリングされた値であり、「λ」は数値安定性条件であり、「ｇ_i」は現在の画素に対応する伝導度であり、「ΔＩ_i」は該現在の画素と隣接する画素との間の絶対値の差であり、かつＩ（ｔ₀）は該現在の画素の絶対値である）により計算される。
【００３１】
ある実施形態では、前記フィルタが、以下の数９
【００３２】
【数９】

【００３３】
（ここで、「Ｉ（ｔ₁）」はフィルタリングされた値であり、「λ」は数値安定性条件であり、「ｇ_i」は現在の画素に対応する伝導度であり、「ΔＩ_i」は該現在の画素と隣接する画素との間の絶対値の差であり、かつＩ（ｔ₀）は該現在の画素の絶対値である）によりプログラムされる読み出し専用メモリ（ＲＯＭ）を用いて実現される。
【００３４】
本発明によるノイズ抑圧方法は、量子化された空間周波数成分を用いて圧縮された複数のデータ値をディジタル的に復号化するビデオ信号復号化システムにおいて、画像復元後にある範囲のノイズを抑圧する方法であって、ａ）イメージフレームの一部分を記述する、復号化された複数のデータ値を受け取るステップと、ｂ）該受け取られた複数のデータ値を異方性拡散フィルタリングすることによって、閾値を下回る複数の値を有する複数の信号エッジ成分を選択的に抑圧するステップと、を含んでおり、そのことにより上記目的が達成される。
【００３５】
ある実施形態では、前記閾値が、前記イメージフレームの前記部分における最大勾配値の所定の分数である。
【００３６】
ある実施形態では、前記ステップｂ）が、前記イメージフレームの前記部分における前記最大勾配値から決定される伝導値により前記異方性拡散フィルタを制御するステップをさらに備えている。
【００３７】
ある実施形態では、前記伝導値が、クリップされた直線近似により決定される。
【００３８】
ある実施形態では、前記伝導値が、以下の数１０
【００３９】
【数１０】

【００４０】
（ここで、「ｇ」は該伝導値であり、「ｇｒａｄｉｅｎｔ」は前記最大勾配値であり、「ｋ」は前記閾値であり、かつ「Ｃ₁」および「Ｃ₂」は定数である）
により計算される。
【００４１】
ある実施形態では、Ｃ₁が１．２１に等しく、Ｃ₂が−０．８５５７６に等しい。
【００４２】
ある実施形態では、前記最大勾配値が、現在の画素の絶対値を、４つの隣接画素のそれぞれの絶対値と比較することによって、最大の絶対値と最小の絶対値とを決定するステップと、該最大絶対値から該最小絶対値を減算することによって、該最大勾配値を決定するステップと、により決定される。
【００４３】
ある実施形態では、前記ステップｂ）が、第１の異方性拡散フィルタおよび第２の異方性拡散フィルタを通して受け取られた複数のデータ値をフィルタリングするステップをさらに備えている。
【００４４】
ある実施形態では、前記ステップｂ）が、前記第２の異方性拡散フィルタによって用いられる因子２によって前記閾値を減少させるステップをさらに備えている。
【００４５】
ある実施形態では、前記異方性拡散フィルタリングが、以下の数１１
【００４６】
【数１１】

【００４７】
（ここで、「Ｉ（ｔ₁）」はフィルタリングされた値であり、「λ」は数値安定性条件であり、「ｇ_i」は現在の画素に対応する伝導度であり、「ΔＩ_i」は該現在の画素と隣接する画素との間の絶対値の差であり、かつＩ（ｔ₀）は該現在の画素の絶対値である）により計算される。
【００４８】
ある実施形態では、前記異方性拡散フィルタリングがＲＯＭを用いておこなわれる。
【００４９】
ある実施形態では、前記ＲＯＭが、以下の数１２
【００５０】
【数１２】

【００５１】
（ここで、「Ｉ（ｔ₁）」はフィルタリングされた値であり、「λ」は数値安定性条件であり、「ｇ_i」は現在の画素に対応する伝導度であり、「ΔＩ_i」は該現在の画素と隣接する画素との間の絶対値の差であり、かつＩ（ｔ₀）は該現在の画素の絶対値である）によりプログラムされる。
【００５２】
以下に作用を説明する。本発明は、入力ビデオ信号を符号化し、符号化データを伝送し、データを復号化した後に、そのデータをフィルタリングする装置を備えたビデオ信号符号化／復号化システムとして用いられるフィルタシステムとして実現される。このフィルタシステムは、ラスタスキャンフォーマットによる復号化データからなるブロックを復号化器から受け取り、そのブロックに対して異方性拡散を施すことによって、リンギングノイズアーティファクトを抑制する。
【００５３】
本発明の上記局面およびその他の局面は、添付の図面を参照しながら以下の本発明の詳細な説明を読めば、明らかになるであろう。
【００５４】
【発明の実施の形態】
概略的に表現すれば、本発明のポストフィルタは、符号化され、伝送された後に復号化されて、複数の画素からなる複数のブロックを発生するデータを対象として動作する。ラスタスキャンフォーマットで供給される、複数の画素からなるこれらのブロックを処理するに際して、ポストフィルタは、各ブロックに対してエッジ有意性閾値（edge significance threshold）を決定し、伝導値（conductance value）を決定し、変化を平滑化するためにそのブロック上に異方性拡散を生じさせ、かつ、閾値を超える特徴を保存または改善しながら、閾値を下回るリンギングノイズアーティファクトを除去する。換言すれば、もしエッジの強度がその閾値よりも大きければ、エッジは、ノイズを除去しても影響を受けない。
【００５５】
以下に本発明をＭＰＥＧ復号化システムの観点から説明するが、本発明は、量子化された空間周波数係数により表現されるビデオデータを復号化する任意のビデオ復号化システムに広く適用可能である。
【００５６】
図１は、本発明の実施形態を含むシステムのブロック図である。高品質ビデオ信号データが符号化器１に与えられる。符号化器１は、ＭＰＥＧ符号化アルゴリズムを用いてデータを符号化することによって、データを圧縮する。符号化器１は、複数のイメージフレームを生成し、データをブロックフォーマットに変換した後、離散コサイン変換（ＤＣＴ）圧縮をおこなう。その後、圧縮されたＭＰＥＧデータストリームは、伝送チャネル５を介して宛先に送られる。この伝送システムおよびチャネル５は、地上放送チャネルあるいは衛星放送チャネル、またはケーブルチャネルでありうる。データストリームは、その宛先で受信されると、ＭＰＥＧ復号化器９を用いて復号化される。このＭＰＥＧ復号化器９は、逆離散コサイン変換（ＩＤＣＴ）プロセッサおよび動き補償プロセッサを用いて、表示される複数の画素からなる複数のブロックを発生する。しかしながら、表示をおこなう以前に、複数の画素からなるこれらのブロックは、ラスタスキャンデータに変換される。ラスタスキャンデータは、異方性拡散フィルタ１３にかけられる。フィルタ１３は、ピクチャからリンギングノイズアーティファクトを除去する。ラスタスキャンデータは、異方性拡散フィルタ１３を通った後、高品質ディジタルビデオとして表示に与えられる。
【００５７】
従来の技術による符号化器の一例を図２に示す。このシステムにおいては、あるイメージを記述する赤（Ｒ）、緑（Ｇ）および青（Ｂ）のカラー信号が、ビデオカメラ（図示せず）あるいはその他のビデオソースからラスタスキャン順に供給される。これらの信号は従来のカラーマトリックス回路１０４により処理されて、輝度信号（Ｙ）および２つの色差信号（（Ｂ−Ｙ）および（Ｒ−Ｙ））を発生する。これらの色差信号（Ｂ−Ｙ）および（Ｒ−Ｙ）は、ローパスフィルタ１０６および１０８によりそれぞれ処理される。本実施例におけるフィルタ１０６および１０８は、これらの色差信号をそれぞれ空間的にフィルタリングし、水平方向および垂直方向のそれぞれにおいて輝度信号の半分の空間解像度を有する信号を生成する。
【００５８】
輝度信号Ｙ、および空間的にフィルタリングされた２つの色差信号（Ｂ−Ｙ）’および（Ｒ−Ｙ）’は、ブロック変換器１１０に与えられる。例えば従来のデュアルポートメモリなどを備えていてもよい変換器１１０は、これらの信号Ｙ、（Ｂ−Ｙ）’および（Ｒ−Ｙ）’をラスタスキャンフォーマットからブロックフォーマットに変換する。
【００５９】
ブロックフォーマットでは、画像の各フレームは、複数のブロックの集合体として表現される。ここで、各ブロックは、８個の水平画素×８個の垂直画素からなるマトリックスとして配置された６４個の画素を有している。ブロック変換器１１０は、連続するいくつかの画素ブロックを結合することによって、マクロブロックとして知られているデータ構造を構成する。図３は、４個の６４画素輝度ブロック３１０、３１２、３１４および３１６と、１個の（Ｂ−Ｙ）’色差信号用６４画素ブロック３２２と、１個の（Ｒ−Ｙ）’色差信号用６４画素ブロック３２４とを含むマクロブロックデータ構造の一例を示している。これらの画素値はそれぞれ、８ビットのディジタル値として表現される。ブロック変換器１１０は、これらの画素値を１度に１ブロックずつ減算器１１２に供給する。
【００６０】
減算器１１２は、動き補償回路１３４により供給されたマクロブロック中の各ブロックを、ブロック変換器１１０により供給されたマクロブロック中の対応するブロックから減算する。減算器１１２は、動き予測差分符号化マクロブロックを表現するデータを構成する複数のブロックを発生する。発生されたこれらのブロックは、ＤＣＴプロセッサ１１４に与えられる。ＤＣＴプロセッサ１１４は、差分画素値からなる６つのブロックのそれぞれに対して離散コサイン変換を施すことによって、それらのブロックをＤＣＴ係数からなる６つの対応するブロックに変換する。その後、これらのブロックはそれぞれ、図５に示すように、ジグザグスキャンを用いて６４個の係数からなる直線状ストリームに配列しなおされる。
【００６１】
どのブロックの場合でも、これらの係数のうち最初の係数は、そのブロックにおける画素の直流（ＤＣ）空間−周波数成分を表現しており、残りの係数は、連続的に空間周波数が高くなっていく各成分を表現している。
【００６２】
ＤＣＴプロセッサ１１４により供給された係数値は、量子化器１１６に与えられる。量子化器１１６は、各係数値を、割り当てられたビット数を有する２進値に翻訳する。一般に、下位の係数に対しては上位の係数よりも多数のビットが用いられる。なぜなら、人間の目は、低い空間周波数の画像成分に比べて、高い空間周波数の画像成分に対しては感度が低くなるからである。この演算は、例えば、直線化されたブロックにおける各係数値をそれぞれ異なる値によって除算することによっておこなわれうる。後者の値は、係数の周波数に比例する。これらの値を含むアレイは、信号と共に伝送することができる。その結果、信号をその宛先において逆量子化することができる。
【００６３】
また、各係数値に割り当てられるビット数は、後述する量子化器制御回路１２２により供給される値に応じて変えることができる。これらの値は、１マクロブロックにつき１つずつ与えることができる。それによって、各係数値を周波数依存値からなるアレイによって除算する前または後に、マクロブロックにおける各係数値をその値によって除算することができる。量子化器１１６は、可変長符号化器１１８および逆量子化器１２４に与えられる、複数のディジタル値からなるストリームを生成する。
【００６４】
可変長符号化器１１８は、例えば、振幅ランレングスハフマン型符号を用いてデータを符号化する。可変長符号化器１１８により生成された信号は、先入れ先出し（ＦＩＦＯ）バッファ１２０に与えられる。ＦＩＦＯバッファ１２０は、それらの値を格納し、信号出力として所定のレートで伝送する。
【００６５】
固定された帯域幅を有するチャネルに適用する場合には、量子化制御器１２２は、量子化器１１６により与えられる量子化ステップサイズを制御することによって、符号化情報が発生される際の可変レートを補償する。バッファがフルであることを示す複数の信号（buffer-fullness signals）に応答して、量子化器制御回路１２２は、互いに異なる複数のレベルの量子化解像度を、ＤＣＴ１１４により供給された係数値に対して与えるように、量子化器１１６を条件づける。バッファが一杯になっていくにつれて、制御回路１２２は、連続的に粗くなっていくレベルの量子化解像度を各係数値に与えるように量子化器１１６を制御する。
【００６６】
したがって、ＦＩＦＯバッファ１２０は次第に多くのデータを保持するようになる。一方、量子化器１１６は、受け取った画像を表現する各ＤＣＴ係数を次第に粗く量子化することによって、より少ないビット数の符号化データを生成するようになる。このように粗く量子化することによって、データが最終的に復号化され、表示される前段階に至った時に、リンギングノイズアーティファクトがデータに生じることになる。
【００６７】
これらの値は伝送された後、受け取られて復号化される。典型的な復号化器を図６に示す。獲得されたデータは、可変長復号化器（ＶＬＤ）１２３に与えられる。ＶＬＤ１２３は、図２に示す可変長符号化器１１８によりおこなわれた可変長符号化動作の逆をおこなう。また、ＶＬＤ１２３は、符号化された動きベクトル情報を抽出し、動き補償プロセッサ１３４に与える。固定長符号化データブロックは、逆量子化器１２４に与えられる。逆量子化器１２４は、量子化器１１６によりおこなわれた動作の逆をおこなうことによって、符号化された画像の各ブロックを表現する近似ＤＣＴ係数を生成する。
【００６８】
（１ブロックあたりの）高さが８ラインである複数のＤＣＴブロックの１行に対応するように、各スライスは、ピクチャの８ライン分に相当すると規定され、ＤＣＴブロック間の境界と垂直方向に一直線上となるように配置される。それぞれのスライスは、（ピクチャの幅／ＤＣＴブロックの幅）個のブロックを含んでいる。したがって、例えば４８０ラインのＭＰＥＧ符号化ピクチャは、６０個のスライスを含んでおり、各スライスは高さが８ライン相当となる。図４は、ピクチャ３５０およびＤＣＴマクロブロック３６０に対するスライス３７０を図示している。
【００６９】
逆量子化器１２４により供給された複数の係数値からなる複数のブロックは、逆離散コサイン変換（ＩＤＣＴ）プロセッサ１２６に与えられる。このプロセッサは離散コサイン変換演算の逆をおこなうことによって、複数の画像画素（つまり、動き補償され差分符号化された複数の画素値）からなる復元されたブロックを形成する。
【００７０】
復元されたブロックは、動き補償された複数の画素を表現しており、動き補償ユニット１３４から供給される予測されたブロックと共に、ＩＤＣＴ回路１２６によって加算器１２８に与えられる。動き補償ユニット１３４は、ＶＬＤプロセッサ１２３から受け取った情報に基づき、マルチフレームメモリ１３０から供給された復号化されたＩＤＣＴブロックと結合されるデータを供給する。加算器１２８は、これらの値を加算することによって、後処理あるいは表示用にフレームメモリ１３０に格納される復号化画素値を生成する。画素値のうち動き補償されていないブロックは、修正なしでメモリ１３０に格納される。画像データは、ラスタスキャン順にメモリ１３０から供給される。
【００７１】
図７は、本発明による異方性拡散フィルタの一例を示すブロック図である。ＭＰＥＧ復号化データは、ラスタスキャン順でこのフィルタに与えられる。このラスタスキャンにおいては、ＭＰＥＧ復号化器により処理された画素データの各ブロックに対応する、別々のエッジ有意性閾値が複数の画素に対して計算される（２０）。エッジ有意性閾値を決定した（２０）後、フィルタは拡散をおこなう（３０）。ある与えられた画素については、４つの隣接画素が拡散に寄与する。ここで、各隣接画素は、それぞれに固有の伝導値を有している。伝導度は、ΔＩ（隣接画素と中心画素との間の強度差）およびｋ（中心画素を含んでいるブロックに対するエッジ有意性閾値）に基づいて計算される。拡散がおこなわれた後、フィルタは結果として得られた画素値を出力し、表示させる。
【００７２】
図８および図９は、図７に示す本発明の実施形態において好適に用いられる回路の一例を示すブロック図である。入力されたフレームはそれぞれ、輝度フレームＹと、２つの色差フレームＣｒおよびＣｂと、を有している。輝度フレームは、色差フレームとは別個に処理される。図８は、シングルパス異方性拡散動作をおこなうのに好適である回路を示しており、図９は、マルチパス動作をおこなうのに好適である回路を示している。
【００７３】
本発明のフィルタは、処理されているデータに対して複数回のパスをおこなう。データが１回目のフィルタリングにかけられた後、データは第２のパスに通すようにフィルタに戻される。それによって、ノイズをさらに除去することが可能となる。
【００７４】
一般に、複数の画素からなるブロックの勾配は、エッジ有意性閾値ｋを選択する際の基礎となる。もしブロックが高コントラストのエッジを備えているのなら、そのエッジに沿った勾配は大きくなる。強度の大きいエッジは、ＤＣＴベースの圧縮システムに通された後、リンギングを生じると予想される。また、このリンギングの大きさは、エッジの大きさよりもはるかに小さくなるとも予想される。したがって、真のエッジ強度に基づいてエッジ有意性閾値を設定すれば、異方性拡散によってリンギングを除去できるはずである。しかしながら、ブロック内において単に臨界エッジ有意性閾値ｋを最大勾配に等しく設定するだけでは、過度の平滑化が生じることになってしまう。本発明者は、０．５×ｍａｘｇｒａｄで適正な量の平滑化が得られることを発見した。したがって、ｋは以下の数１３により決定される。
【００７５】
【数１３】

【００７６】
因子０．７５は、（後述する）伝導度関数と勾配値との間の整合性を改善するために用いられる実験因子である。
【００７７】
上記法則は、モノクローム画像に当てはまる。また、この法則は、以下に説明するいくつかの方法においてカラー画像にも拡張されうる。
【００７８】
カラーイメージングシステムは、カラービデオ信号を直交信号の組み合わせ（例えば、Ｒ、Ｇ、ＢあるいはＹ、Ｃｒ、Ｃｂ）として扱う。これらの直交座標系の間で変換をおこなうために複数のカラーマトリックスが用いられる。エッジを勾配としてカラー画像に対して直線状に延長すると、以下の数１４に示すように、勾配を３つのカラー勾配のユークリッド型絶対値（Euclidean magnitude）として扱うことになる。
【００７９】
【数１４】

【００８０】
この法則は、テレビジョンイメージングにおいて通常用いられる方便であるカラーサブサンプリングによって、さらに複雑なものになる。テレビでは、ＹＵＶ（Ｙ、Ｃｒ、Ｃｂ）カラー座標系が最も一般的に用いられている。各フレームは、輝度フレームＹと２つの色差フレームＣｒおよびＣｂからなる。ＵおよびＶは、知覚可能なアーティファクトなしで、水平方向に因子２を用いてサブサンプリングできることが実験的に示されている。このサブサンプリングをともなう画像をＹＵＶ４２２画像と称する。
【００８１】
ＹＵＶ４２２画像の場合のカラー勾配を計算するためには、ダイレクトアップサンプリングをおこなうか、または補間をおこなうことによって、欠けているサンプルを再生するのが望ましい。その後、アップサンプリングされた画像に対して異方性拡散フィルタが適用される（ＵおよびＶについては、ＹＵＶ４２２ハードウェアコストの２倍のコストが必要になる）。そうしなければ、ＵおよびＶに対するスケール閾値はフルスケールで計算され、ハーフスケールのＵおよびＶデータに対して間違って適用されたはずである。本発明においては、Ｙ、ＵおよびＶデータをそれぞれ独立したものとして扱うので、アップサンプリングをおこなう必要はなくなる。いずれの場合でも、臨界閾値ｋに対する統計は累積され、適正なサイズに設定されたＤＣＴブロック内に適用される。
【００８２】
大半の文献では、勾配の絶対値を計算するために、よく知られているＳｏｂｅｌエッジ演算子対（Sobel edge operator pair）を用いている。この計算では、８つの最も近い隣接物から得られたデータを用いることによって、勾配のＸおよびＹ成分を計算する。これらの成分は、その後、２乗和平方根演算により結合される。しかしながら、この勾配計算法はあまりにも高くつきすぎる。
【００８３】
本発明では、それほど高価ではない構造的（morpholgical）勾配を用いる。構造的勾配は、中心画素とそれに最も近い４つの隣接画素を用いる。また、後述する図１１に示すように、わずか６回の比較と１回の減算をおこなうことが必要になるだけである。通常の状況下では、構造的勾配は、１画素幅のエッジを２画素幅に広げてしまうという欠点がある。しかしながら、異方性拡散の場合には、この潜在的欠点が逆に長所となる。エッジの両側の画素が、大きな勾配を有するものとして着目される。これにより、特にエッジがＤＣＴブロック境界にまたがっている場合には、エッジを横切る拡散を抑制する望ましい効果をさらに改善することができる。
【００８４】
拡散の異方性は、熱伝導率あるいは導電率に類似する局所変数により制御される。このパラメータｇは、単調減少関数である。既に引用したＰｅｒｏｎａおよびＭａｌｉｋらは、このような関数を２種類提案している。すなわち、ガウシアン指数関数およびラプラシアン関数である。文献においては、高コントラストのエッジを維持するという点では、ガウス関数のほうが有効であると述べられている。Ｅｌ−Ｆａｌｌａｈは、伝導度として勾配の逆数をとるべきであると提案している（El-Fallah A.およびFord G.、「非同次拡散および差分幾何学に基づく非線形適応画像フィルタリング」、Proc. of SPIE、第2182巻、1994年、第49〜63頁に記載されている。伝導度の計算に関するその教示については、本願も参考として援用している）。
【００８５】
本発明は、ガウス法を取り入れている。なぜなら、ガウス法によれば、非常に少ない反復回数（すなわち、２回）で非常に大きな拡散が得られるからである。ガウス伝導度に対する公式は、以下の数１５により与えられる。
【００８６】
【数１５】

【００８７】
反復がおこなわれるたびに、各画素の４つの隣接画素のそれぞれについて伝導度ｇが計算される。ルックアップテーブルや多項式近似を用いた精密な計算は高くつくものである。なぜなら、ｋおよび勾配がともに変数であるからである（ただし、図１５および図１６を参照して後述する本発明の第２の実施形態ではルックアップテーブルを用いることには留意されたい）。したがって、本発明では、ガウス関数の代わりにクリップされた直線近似を用いる。変曲点（inflection point）におけるガウス関数の傾きに等しい傾きを有するこの直線は、その変曲点を通る。この直線は、ｇを０≦ｇ≦１の範囲に維持するようにクリップされる。ｇは、以下の数１６に基づきｋから計算することができる。
【００８８】
【数１６】

【００８９】
接している曲線（図１２および図１３）は、これにより良好な近似が得られることを示している。また、これにより、ｇを計算するのに必要なハードウェアが、（１）勾配にブロック当たりのパラメータを掛け、（２）その結果に定数を結合し、かつ（３）その結果をクリップするようにすることができる。
【００９０】
まず図８を参照してシングルパスフィルタの動作を説明し、次に、図９に示すマルチパスフィルタを実現するためには、そのシングルパスフィルタをどのように改良すればいいかを説明することによって、このマルチプルパスフィルタの動作を以下に説明する。図８において、輝度フレームは、遅延素子２０７により１ライン間隔（１Ｈ）だけ遅延された後、（１Ｈ）遅延素子２０９により再び遅延される。これら２つの遅延素子２０７および２０９により供給された信号および原信号Ｙは勾配計算器２１０に与えられ、エッジ有意性閾値ｋが計算される。次に、ＣａｌｃＣ２／ｋユニット２１５によって伝導度Ｃ₂／ｋが決定される。
【００９１】
次に、データは輝度プロセッサ２２０に送られ、処理される。プロセッサ２２０への入力信号は、ＣａｌｃＣ２／ｋユニット２１５から与えられた伝導度定数Ｃ₂／ｋ、ＦＩＦＯバッファ２０６の出力信号、１ライン間隔（１Ｈ）だけ遅延された（２１２）ＦＩＦＯバッファ２０６の出力信号、および再び１ライン間隔（１Ｈ）だけ遅延された（２１４）ＦＩＦＯバッファ２０６の出力信号からなる。
【００９２】
色差フレームＣｒおよびＣｂは、マルチプレクサ２６０によって多重化される。マルチプレクサ２６０の出力信号は、遅延素子２６７によって１水平ライン期間（Ｈ／２）だけ遅延された後、遅延素子２６９によって再び１水平ライン間隔（Ｈ／２）だけ遅延される。なお、色差信号の１ライン当たりのサンプル数は、輝度信号の１ライン当たりのサンプル数の２分の１である。その結果、Ｈ／２遅延素子を有する遅延ラインは、色差信号を１水平ライン間隔だけ遅延させる。また、マルチプレクサ２６０の出力信号は、ＦＩＦＯバッファ補償遅延素子２６６にも格納され、さらに処理される。２つの遅延素子２６７および２６９によって供給された信号と、マルチプレクサ２６０の原出力信号とは、勾配計算器２７０に与えられ、エッジ有意性閾値が計算される。次に、ＣａｌｃＣ２／ｋ計算器２７５によって伝導度定数Ｃ₂／ｋが計算される。
【００９３】
次に、データは色差プロセッサ２８０に送られ、処理される。色差プロセッサ２８０への入力信号は、ＣａｌｃＣ２／ｋ回路２７５から与えられた伝導度定数Ｃ₂／ｋ、ＦＩＦＯバッファ２６６の出力信号、遅延素子２７２によって１ライン間隔だけ遅延されたＦＩＦＯバッファ２６６の出力信号、および遅延素子２７４によって再び１ライン間隔だけ遅延されたＦＩＦＯバッファ２６６の出力信号からなる。
【００９４】
適切なＦＩＦＯおよびマルチプレクサを用いることによって、２倍の画素クロックレートでランしている回路が、２つのパスを通した異方性拡散をおこなうことが可能になる。もし、ポストフィルタ回路を２倍の画素クロックで駆動すれば、適切な再循環回路を追加する場合には、ポストフィルタの２つのパスを通すだけの時間が得られることになる。この再循環回路を図９に示す。輝度フレームに対応する再循環回路は、バッファリングＦＩＦＯ２００と、（Ｙ処理出力をマルチプレクサ２０５に接続する）再循環パスウェイと、第１のパスデータあるいは第２のパスデータのいずれかを選択するマルチプレクサ２０５と、第２のパスの出力を収集し、それを１倍の画素クロックに変換して戻す最終レート変更器であるＦＩＦＯ２２５とを備えた（１倍画素クロックから２倍画素クロックへの）レート変更回路からなる。色差フレームに対応する再循環回路は、レート変更・バッファリングＦＩＦＯ２５０および２５５と、（ＣｒおよびＣｂ処理出力をマルチプレクサ２６５に接続する）再循環パスウェイと、第１のパスデータあるいは第２のパスデータのいずれかを選択するマルチプレクサ２６５と、第２のパスの出力を収集し、それを１倍の画素クロックに変換して戻す最終レート変更器であるＦＩＦＯ２８５および２９０と、ＣｒおよびＣｂ信号を１つの出力信号に結合するマルチプレクサ２９５とを備えている。
【００９５】
図１１は、図８および図９の回路におけるエッジ有意性閾値を決定するのに好適である勾配回路の一例を示すブロック図である。図１０に示されている各イメージスキャンラインの画素は、図１１の回路によって処理される。図１０において、ラインＯＨ上の画素Ｓは、現在のライン（１Ｈ）のすぐ下（つまり、現在のラインよりも１水平ラインだけ下）の画素を表現しており、ライン２Ｈ上の画素Ｎは、現在のラインのすぐ上（つまり、現在のラインよりも１水平ラインだけ上）の画素を表現している。ライン１Ｈ上の現在の画素を、以下の説明ではＸと呼ぶ。画素ＥおよびＷはそれぞれ、ライン１Ｈ上において、画素Ｘの直後および直前に生じる。
【００９６】
画素ＳおよびＮは、ラッチ６０９および６１１に格納された後、比較器６１０によって互いに比較される。絶対値が大きいほうの画素は、マルチプレクサ６１５により供給され、絶対値が小さいほうの画素は、マルチプレクサ６２０により供給される。一方、ライン１Ｈ上の現在の画素Ｘの直後および直前の画素である画素Ｅおよび画素Ｗを分離するために、一対の遅延６０４および６０５が用いられる。これら２つの画素は、比較器６２５によって互いに比較される。絶対値が大きいほうの画素は、マルチプレクサ６３０により供給され、絶対値が小さいほうの画素は、マルチプレクサ６３５により供給される。マルチプレクサ６１５によって供給された大きいほうの画素絶対値は、マルチプレクサ６３０によって供給された大きいほうの画素絶対値と比較器６４０で比較され、これら２つの値のうち大きいほうの値がマルチプレクサ６４５により供給される。マルチプレクサ６２０によって供給された小さいほうの画素絶対値は、マルチプレクサ６３５によって供給された小さいほうの画素絶対値と比較器６５０で比較され、これら２つの値のうち小さいほうの値がマルチプレクサ６５５により供給される。補償遅延素子６６３は、現在の画素Ｘを適正なタイミングで比較器６６０および６７０に送り、この画素に対応する最大周辺画素値と最小周辺画素値とを一致させる。マルチプレクサ６４５によって供給された最大周辺画素絶対値は、現在の画素Ｘと比較器６６０で比較され、絶対値が大きいほうの画素がマルチプレクサ６６５によって供給される。マルチプレクサ６５５によって供給された最小画素絶対値は、現在の画素Ｘと比較器６７０で比較され、絶対値が小さいほうの画素がマルチプレクサ６７５によって供給される。したがって、比較された５つの画素（Ｓ、Ｘ、Ｎ、ＥおよびＷ）のうち、最大絶対値がマルチプレクサ６６５によって供給され、最小絶対値がマルチプレクサ６７５によって供給される。これらの２つの値の差を減算器６８０により求めることによって、最終結果が得られる。その値が、現在の画素Ｘにおける構造的勾配となる。図１４は、この結果がどのように用いられるかを示している。図１１で計算された（図１４における要素８０２である）勾配は、ｍａｘ素子８０８の一方の入力端子に与えられる。もう一方の入力端子は、ＤＣＴブロックに対するランニング最大値（running maximum）を受け取るように接続されている。ブロックにおける全画素について最大勾配が決定された後、最終的に（レジスタ８１０に）ラッチされた最大値を２で割ることによって（すなわち、１ビットだけ下位のビット位置にシフトすることによって）、そのブロックに対応するエッジ有意性閾値ｋを生成する。
【００９７】
本発明者は、数１６の定数Ｃ₁およびＣ₂の値を、それぞれ１．２１および−０．８５５７６と決定した。したがって、伝導度を表す数１６は、以下の数１７に変形される。
【００９８】
【数１７】

【００９９】
Ｃ₁およびＣ₂の値は、ラスタスキャンデータに変換された後に処理される、各画素ブロックについて一定のままである。これに対して、ｋは各ブロックごとに変化する。図１２および図１３は、それぞれ、ｋ＝１０の場合およびｋ＝１００の場合について、ガウス伝導度曲線とクリップされた直線近似曲線とを示している。
【０１００】
図１４は、図８および図９の回路における伝導度定数Ｃ₂／ｋを決定するのに好適である回路の一例を示すブロック図である。ｍａｘモジュール８０１においては、（図１１にその詳細を示す）勾配計算器８０２によって決定される現在の画素の勾配は、ｍａｘ比較器８０８に送られる。また、現在のブロックにおいて現在の画素行についてこれまでに得られたうちで最大の勾配ｒｕｎｍａｘ（ｒｏｗ）もまた、ｒｕｎｍａｘ（ｒｏｗ）を記憶するｒｕｎｍａｘ記憶領域８０６によってｍａｘ比較器８０８に送られる。ｍａｘ比較器８０８は、現在の画素の勾配をｒｕｎｍａｘ（ｒｏｗ）と比較し、それらのうち大きいほうの値を供給する。クロックサイクル（clock tick）が０〜６の時、その比較結果がマルチプレクサ８０４に送られる。
【０１０１】
アドレス発生およびタイミング手段８５０は、回路におけるアドレス指定、読み出しおよび書き込みを制御する。ブロックの１行には、８つのクロックサイクル（０〜７）が存在する。
【０１０２】
また、比較器８０８によってなされた比較の結果は、１サイクル遅延８１０を介して、８画素行ごとにｒｕｎｍａｘ（ｒｏｗ）を０にするマルチプレクサ８１２にも供給される。マルチプレクサ８１２は、サイクルが０の時、０またはｒｕｎｍａｘ（ｒｏｗ）を供給し、スタティックＲＡＭ８２０に記憶されるようにする。また、比較器８０８によってなされた比較の結果は、サイクルが１の時に８画素行ごとにＲＡＭ８２０に記憶されるように送られる。この値が、画素ブロックの最大勾配ｋ_max（ｂｌｏｃｋ）である。
【０１０３】
本実施形態におけるＲＡＭ８２０は、シングルポート式のものである。したがって、読み出しおよび書き込みをスケジューリングするために遅延が用いられる。データは、クロックサイクルが０および１の時にＲＡＭ８２０中に書き込まれ、クロックサイクルが６および７の時にＲＡＭ８２０から読み出される。ピクチャの幅がＷ画素である場合、ＲＡＭ８２０は２×（Ｗ／８）バイト位置を有している。すなわち、ｒｕｎｍａｘ（ｒｏｗ）記憶用の（Ｗ／８）バイト位置と、ｋ_max（ｂｌｏｃｋ）記憶用の（Ｗ／８）バイト位置である。アドレス発生器８５０は、新しい画素ブロックの始端以前に、０をｒｕｎｍａｘ（ｒｏｗ）内にロードするようにマルチプレクサ８１２を制御する。また、アドレス発生器８５０は、各ブロックの終端においてｋ_maxの値をクロックアウト（clock out）するようにレジスタ８１６を制御する。このように、たとえ処理をラスタスキャン順でおこなっていても、基礎となるブロック構造は、部分的な結果を正しいブロックに加え、かつ各ブロックに正しいｋの値を与えてフィルタリングすることにより、非明示的ではあるが追従していくことができる。ＲＡＭ８２０は、１スライスにおける全ＤＣＴブロックを見失わないようにするのに十分な数の記憶位置を有している。
【０１０４】
クロックサイクルが６である時、ｒｕｎｍａｘ（ｒｏｗ）はＲＡＭ８２０から読み出され、１サイクル遅延の後にマルチプレクサ８０４に送られ、ｒｕｎｍａｘ記憶領域８０６に供給される。クロックサイクルが７である時、ｋ_max（ｂｌｏｃｋ）はルックアップモジュール８３０に送られる。ルックアップモジュール８３０は、ｋ_max（ｂｌｏｃｋ）を受け取った後、それをＲＯＭ８３４に送って、伝導度定数Ｃ₂／ｋを決定する。その後、この値は、以下に説明するように輝度および色差処理において引き続き用いられる。
【０１０５】
異方性拡散は、本質的に反復プロセスである。各反復ごとに、エッジはわずかながらも鋭さを増し、平坦な領域はわずかながらもさらに平滑化されていく。このプロセスには、保存の条件（conservation condition）によって設定される自然限界（natural limit）がある。すなわち、現存する画素強度を超える値を１回の反復で４つの隣接画素に拡散させることはできない、ということである。したがって、平均すると、その強度のわずか４分の１のみを各隣接画素に与えられるのみである。これが、以下の数１８に示されている全拡散公式における数値安定性条件λ_max＝１／４のもととなるものである。
【０１０６】
【数１８】

【０１０７】
ここで、ΔＩ_i＝（Ｉ_i−Ｉ_center）であり、ｉ＝４つの隣接画素である。
【０１０８】
この限界内において、拡散レートはｋを設定することによって制御することができる。本質的には、強度の高いエッジの近傍では、より多くの拡散（平滑化）を生じさせることが可能となる。
【０１０９】
文献では、画像のセグメント化を目的として異方性拡散プロセスをその安定な終点に至らせることに最も大きな関心が寄せられている。既に引用したＡｌｖａｒｅｚらは、反復数を減らした場合の結果を報告している。本発明においては、λ＝１／４である場合、異方性拡散を２回反復することによって、すべてのノイズの有効な除去が実現される。既に引用したＳａｉｎｔ−Ｍａｒｃらは、ほんの数回の反復でエッジの最も有効な改善を実現できるが、ノイズをクリーニングするためには反復の時間を長くする必要があるという意見を述べている。本発明によれば、ｋを局所的に適応化することによって、わずかな反復回数で、ある種のノイズクリーニングを発生させることが可能になる。
【０１１０】
本発明によれば、２回目の反復でｋを因子２により分解する場合（つまり、ｋ₂＝０．５ｋ₁）に、２回反復方式での最良の結果が得られるということが見出された。ｋを一定に維持するか増加させると、過度のなまりが生じる。ｋの値の調整に関連して０．５よりも大きな因子を用いると、それ以上の拡散をなくすことができ、それによって第２のパスを意味のないものにすることができる。したがって、本発明のある実施形態においては、１回目の拡散反復が（例えば、図８および図９における素子２０５〜２２０において）発生した後、ｋは因子２により分解されて２回目の拡散反復で用いられる。
【０１１１】
図１５は、図８および図９に示す回路において輝度処理をおこなうのに好適である回路の一例を示すブロック図である。この回路は、伝導度ｇを計算するのに必要なハードウェアを備えている。互いに異なる４セットの入力データＮ、Ｅ、ＷおよびＳに対して同一の処理がおこなわれる。Ｎ、Ｅ、ＷおよびＳは、それぞれ、現在の画素Ｘのすぐ上の画素、現在の画素Ｘのすぐ右の画素、現在の画素Ｘのすぐ左の画素、および現在の画素Ｘのすぐ下の画素を指す。画素Ｓ、Ｅ、ＷおよびＮに対する処理は、それぞれボックス９１０、９３０、９４０および９５０内に示されている。
【０１１２】
画素Ｓを処理するために、ＯＨ（Ｓ画素、つまり現在の画素Ｘのすぐ下の画素）は、ラッチ９１１に格納された後、減算器９１３に与えられる。減算器９１３は、ラッチ９１２にラッチされている現在の画素Ｘを画素Ｓから引く。その結果が、数１８におけるΔＩ_i項となる。ΔＩ_iの絶対値は、絶対値回路９１４により決定され、ＦＩＦＯバッファ９１７に格納される。図１４に示す回路から得られた伝導度定数Ｃ₂／ｋにΔＩ_iの絶対値を掛けた後、その結果を減算器９２０により伝導度定数Ｃ₁から引くことによって、数１８における因子ｇ_iが得られる。その後、その結果は回路９２２にクリップされ、ｇを０≦ｇ≦１の範囲に維持する。これにより、ｇは数１６に従って近似される。このクリップされた値は、その後、ＦＩＦＯバッファ９１７に記憶されていたΔＩ_iとの積が乗算器９２４によって求められる。
【０１１３】
本発明の第２の実施形態においては、素子９１７、９１８、９２０、９２２および９２４の代わりにＲＯＭ９１５が用いられる。本発明者は、Ｃ₂／ｋを４ビット値として表現し、かつ、ΔＩ_iの絶対値を８ビット値として表現することによって、数１５によって与えられる計算の０．１ｄＢ内であるノイズ除去結果を得ることができるという結論を得た。したがって、合計１２ビットが必要になるので、４ｋＲＯＭが用いられる。ＲＯＭ９１５における値は、数１８に従ってプログラムされる。本発明のこの実施形態においては、ｇ_iの値は数１５から決定できると考えられる。この例において、ＲＯＭ９１５への入力値Ｃ₂／ｋは、適正に量子化された入力値ｋに置き換えられる。
【０１１４】
画素Ｅ、ＷおよびＮについても、上記した処理と同様の処理がおこなわれる。
【０１１５】
４つの隣接画素のそれぞれについてｇｉ×ΔＩｉ項を得た後、ｇｉ×ΔＩｉ項の和が、加算回路９６０によって求められる。画素ＮおよびＥに対するｇｉ×ΔＩｉ項は、加算器９６２によって加算され、画素ＷおよびＳに対するｇｉ×ΔＩｉ項は、加算器９６４によって加算される。また、数１８においてＩ（ｔ₀）項を表現する中心画素Ｘは、加算器９６６によってこの和に加えられる。これらの項が加算器９６８によって加算され、出力される。
【０１１６】
図１６は、図８および図９の回路において色差処理に好適に用いられる回路の一例を示すブロック図である。この回路は、図１５に示す回路がおこなう処理と同様の処理をおこなう。クロック制御器９９４が、この回路のタイミングを制御する。
【０１１７】
現在の画素Ｘは、ＦＩＦＯバッファ９９２に格納されている。現在の画素Ｘに隣接する（つまり、すぐ上、すぐ下、すぐ右およびすぐ左の）４つの画素がマルチプレクサ９８０に供給される。この画素値から、減算器９８２によって現在の画素値が引かれる。この減算の結果は、数１８のΔＩ_i項となる。ΔＩ_i項の絶対値は、絶対値回路９８３により決定され、ＦＩＦＯバッファ９８４に記憶される。図１４のルックアップモジュール８３０から得られた伝導度定数Ｃ２／ｋは、ΔＩ_iの絶対値との積が取られた後、減算器９８７によって伝導度定数Ｃ１から引かれることによって、数１８のｇ_i項が得られる。その後、この結果は、回路９８８によりクリップされる。このクリップされた値と、ＦＩＦＯバッファ９８４に記憶されていたΔＩ_iとの積が、乗算器９８９によって求められる。その後、ｇｉ×ΔＩｉ項は、加算器９９５によって、ＦＩＦＯバッファ９９２に記憶されている（数１８におけるＩ（ｔ₀）項を表現する）現在の画素Ｘとの和が取られて出力される。本発明の好ましい実施形態においては、要素９８４、９８６、９８７、９８８および９８９の代わりにＲＯＭ９８５が用いられる。
【０１１８】
本発明のシステムはラスタスキャンフォーマットで復号化されたデータを対象として動作するので、以上の説明では本発明をＭＰＥＧおよびＤＶＣ圧縮に適用したが、量子化された空間周波数係数を用いて符号化されたビデオデータを復号化するどのようなシステムにも本発明は適用可能である。
【０１１９】
本願明細書では、具体的な実施形態のいくつかに言及しながら本発明を説明し記載したが、本発明は、以上に示した詳細に限定されるものではない。逆に、請求の範囲により規定される構成と等価である構成の範囲内にあり、かつ本発明の着想を超えることがなければ、細部についてはさまざまな修正を加えることが可能である。
【０１２０】
【発明の効果】
本発明によれば、低いハードウェアコストで、ＭＰＥＧ復号化信号からリンギングノイズアーティファクトを除去できる異方性ポストフィルタリンギングノイズ除去システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態を含むシステムのブロック図である。
【図２】（従来の技術）ビデオ信号符号化システムの一例を示すブロック図である。
【図３】（従来の技術）マクロブロックの構造を示す図である。
【図４】（従来の技術）ピクチャのスライスを示す図である。
【図５】（従来の技術）図２に示す符号化器によって用いられるジグザグスキャン構造を示す画素図である。
【図６】（従来の技術）ビデオ信号復号化システムの一例を示すブロック図である。
【図７】本発明による異方性拡散フィルタの一例を示すブロック図である。
【図８】図６に示す本発明の実施形態において好適に用いられる回路を示すブロック図である。
【図９】図６に示す本発明の実施形態において好適に用いられる回路を示すブロック図である。
【図１０】ライン上の各絵素（画素）の相対的位置を示すイメージスキャンラインを示す図である。
【図１１】図７、図８および図９の各回路において閾値を決定するのに適した回路の一例を示すブロック図である。
【図１２】臨界閾値１０に対してガウス伝導度曲線とクリップされた直線近似曲線とを比較する、伝導度パラメータと勾配との関係を示すグラフである。
【図１３】臨界閾値１００に対してガウス伝導度曲線とクリップされた直線近似曲線とを比較する、伝導度パラメータと勾配との関係を示すグラフである。
【図１４】図８および図９の各回路において伝導度定数を決定するのに適した回路の一例を示すブロック図である。
【図１５】図８および図９の各回路において輝度を処理するのに適した回路の一例を示すブロック図である。
【図１６】図８および図９の各回路において色差を処理するのに適した回路の一例を示すブロック図である。
【符号の説明】
１符号化器
５伝送システムおよびチャンネル
９ＭＰＥＧ復号化器
１３異方性拡散フィルタ

Claims

量子化された空間周波数圧縮技術を用いて符号化されたデータ値をデジタル的に復号化するビデオ信号復号化システムにおいて使用されるフィルタリング装置であって、前記フィルタリング装置は、画像復元から生じるリンギングノイズの範囲を抑圧するものであり、
前記フィルタリング装置は、
複数の復号化されたブロックを受け取る受け取り手段であって、前記複数の復号化されたブロックのそれぞれは、復元された画像フレームに含まれる複数の画素を含む、受け取り手段と、
前記受け取り手段に結合された異方性拡散フィルタリング手段と
を備え、
前記異方性拡散フィルタリング手段は、
ｋ（ｂｌｏｃｋ）＝α^＊（０．５^＊ａｃｔｕａｌｍａｘｇｒａｄ）に従って、前記復元された画像フレームの各ブロックに対する個別のしきい値ｋを計算する計算手段であって、αは、所定のファクタであり、ａｃｔｕａｌｍａｘｇｒａｄは、前記ブロックにおける最大のエッジ勾配である、計算手段と、
前記復元された画像フレームのブロックに含まれる複数の画素であって、隣接画素に対して前記個別のしきい値ｋより小さい差分値を有する複数の画素を選択的に組み合わせることにより、拡散された画素を生成する異方性フィルタと
を含む、フィルタリング装置。
前記画像フレームの前記ブロックにおける前記最大の勾配値から決定される伝導度によって前記異方性拡散フィルタリング手段を制御する手段をさらに備えた、請求項１に記載のフィルタリング装置。
前記伝導度は、等式ｇ（ｇｒａｄｉｅｎｔ）＝Ｃ_１＋[Ｃ_２／ｋ]^＊ｇｒａｄｉｅｎｔによって計算され、
ここで、「ｇ」は伝導度であり、「ｇｒａｄｉｅｎｔ」は前記最大の勾配値であり、「ｋ」は前記しきい値であり、「Ｃ_１」および「Ｃ_２」は定数である、請求項２に記載のフィルタリング装置。
Ｃ_１が１．２１に等しく、Ｃ_２が−０．８５５７６に等しい、請求項３に記載のフィルタリング装置。
前記最大の勾配値を決定する手段をさらに備え、
前記手段が、
現在の画素の大きさ値を４つの隣接画素の最大の大きさ値および最小の大きさ値と比較することにより、前記４つの隣接画素および前記現在の画素において最大の大きさ値および最小の大きさ値を決定する比較器手段と、
前記最大の大きさ値から前記最小の大きさ値を減算することによって、前記最大の勾配値を決定する減算器手段と
を含む、請求項１に記載のフィルタリング装置。
前記異方性フィルタは、前記受け取ったブロックをフィルタリングすることにより、しきい値より小さい値を有する複数のデータ値を選択的に抑圧するために、前記復元された画像フレームを処理する第１の処理と前記第１の処理の結果を処理する第２の処理とを実行するように構成されており、前記第２の処理において使用される前記しきい値は、前記第１の処理において使用されるそれぞれのしきい値の何分の１かであり、
前記フィルタリング手段は、
前記最大の勾配値を決定する手段をさらに備え、
前記手段が、
現在の画素の大きさ値を４つの隣接画素の最大の大きさ値および最小の大きさ値と比較することにより、前記４つの隣接画素および前記現在の画素において最大の大きさ値および最小の大きさ値を決定する比較器手段と、
前記最大の大きさ値から前記最小の大きさ値を減算することによって、前記最大の勾配値を決定する減算器手段と
を含む、請求項１に記載のフィルタリング装置。
前記フィルタリング手段は、前記第２の処理を実行する間に前記しきい値を２分の１に減少させる手段をさらに含む、請求項６に記載のフィルタリング装置。
前記異方性フィルタリングは、等式Ｉ（ｔ_１）＝Ｉ（ｔ_０）＋λ{Σ_ｉ（ｇ_ｉ＊ΔＩ_ｉ）}に従って計算され、
ここで、「Ｉ（ｔ_１）」はフィルタリングされた値であり、「λ」は数値安定性条件であり、「ｇ_ｉ」は現在の画素に対応する伝導度であり、「ΔＩ_ｉ」は前記現在の画素と隣接する画素との間の大きさの差であり、Ｉ（ｔ_０）は前記現在の画素の大きさである、請求項１に記載のフィルタリング装置。
前記フィルタは、等式Ｉ（ｔ_１）＝Ｉ（ｔ_０）＋λ{Σ_ｉ（ｇ_ｉ＊ΔＩ_ｉ）}に従ってプログラムされる読み出し専用メモリ（ＲＯＭ）を用いてインプリメントされており、
ここで、「Ｉ（ｔ_１）」はフィルタリングされた値であり、「λ」は数値安定性条件であり、「ｇ_ｉ」は現在の画素に対応する伝導度であり、「ΔＩ_ｉ」は前記現在の画素と隣接する画素との間の大きさの差であり、Ｉ（ｔ_０）は前記現在の画素の大きさである、請求項１に記載のフィルタリング装置。
画像復元から生じるリンギングノイズの範囲を抑圧する方法であって、
前記方法は、
ａ）複数の復号化されたブロックを受け取るステップであって、前記複数の復号化されたブロックのそれぞれは、復元された画像フレームに含まれる対応する複数の画素を含む、ステップと、
ｂ）前記受け取られた複数の復号化されたブロックを異方性拡散フィルタリングすることにより、前記複数の復号化されたブロックを選択的に処理するステップと
を包含し、
前記処理するステップは、
ｋ（ｂｌｏｃｋ）＝α^＊（０．５^＊ａｃｔｕａｌｍａｘｇｒａｄ）に従って、前記復元された画像フレームの各ブロックに対する個別のしきい値ｋを計算するステップであって、αは、所定のファクタであり、ａｃｔｕａｌｍａｘｇｒａｄは、前記ブロックにおける最大のエッジ勾配である、ステップと、
前記復元された画像フレームのブロックに含まれる複数の画素であって、隣接画素に対して前記個別のしきい値ｋより小さい差分値を有する複数の画素を選択的に組み合わせることにより、拡散された画素を生成するステップと
包含する、方法。
ｃ）前記画像フレームの前記ブロックにおける前記最大の勾配値から決定される伝導度によって前記異方性拡散フィルタリングを制御するステップをさらに包含する、請求項１０に記載の方法。
前記伝導度は、等式ｇ（ｇｒａｄｉｅｎｔ）＝Ｃ_１＋[Ｃ_２／ｋ]^＊ｇｒａｄｉｅｎｔによって計算され、
ここで、「ｇ」は伝導度であり、「ｇｒａｄｉｅｎｔ」は前記最大の勾配値であり、「ｋ」は前記しきい値であり、「Ｃ_１」および「Ｃ_２」は定数である、請求項１１に記載の方法。
Ｃ_１が１．２１に等しく、Ｃ_２が−０．８５５７６に等しい、請求項１２に記載の方法。
前記最大の勾配値は、
現在の画素の大きさ値を４つの隣接画素の最大の大きさ値および最小の大きさ値と比較することにより、前記４つの隣接画素および前記現在の画素において最大の大きさ値および最小の大きさ値を決定するステップと、
前記最大の大きさ値から前記最小の大きさ値を減算することによって、前記最大の勾配値を決定するステップと
によって決定される、請求項１０に記載の方法。
異方性拡散フィルタを用いて第１の処理を実行することにより、前記受け取られたブロックをフィルタリングするステップと、
前記異方性拡散フィルタを用いて第２の処理を実行することにより、前記第１の処理の結果をフィルタリングするステップと
をさらに包含し、
前記第２の処理において使用される前記しきい値は、前記第１の処理において使用される前記しきい値の何分の１かである、請求項１０に記載の方法。
前記ステップｂ）は、前記第２の処理の間に前記しきい値を２分の１に減少させるステップをさらに包含する、請求項１５に記載の方法。
前記異方性拡散フィルタリングは、等式Ｉ（ｔ_１）＝Ｉ（ｔ_０）＋λ{Σ_ｉ（ｇ_ｉ＊ΔＩ_ｉ）}に従って計算され、
ここで、「Ｉ（ｔ_１）」はフィルタリングされた値であり、「λ」は数値安定性条件であり、「ｇ_ｉ」は現在の画素に対応する伝導度であり、「ΔＩ_ｉ」は前記現在の画素と隣接する画素との間の大きさの差であり、Ｉ（ｔ_０）は前記現在の画素の大きさである、請求項１０に記載の方法。
前記異方性拡散フィルタリングは、ＲＯＭを用いて行われる、請求項１７に記載の方法。
前記ＲＯＭは、等式Ｉ（ｔ_１）＝Ｉ（ｔ_０）＋λ{Σ_ｉ（ｇ_ｉ＊ΔＩ_ｉ）}に従ってプログラムされ、
ここで、「Ｉ（ｔ_１）」はフィルタリングされた値であり、「λ」は数値安定性条件であり、「ｇ_ｉ」は現在の画素に対応する伝導度であり、「ΔＩ_ｉ」は前記現在の画素と隣接する画素との間の大きさの差であり、Ｉ（ｔ_０）は前記現在の画素の大きさである、請求項１８に記載の方法。