JP3930360B2 - 動画像復号装置 - Google Patents
動画像復号装置 Download PDFInfo
- Publication number
- JP3930360B2 JP3930360B2 JP2002097908A JP2002097908A JP3930360B2 JP 3930360 B2 JP3930360 B2 JP 3930360B2 JP 2002097908 A JP2002097908 A JP 2002097908A JP 2002097908 A JP2002097908 A JP 2002097908A JP 3930360 B2 JP3930360 B2 JP 3930360B2
- Authority
- JP
- Japan
- Prior art keywords
- block boundary
- pixels
- flat part
- length
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像復号装置に関し、特に、ブロック単位で符号化された動画像の復号技術に関する。
【０００２】
【従来の技術】
画像信号の符号化は一般的に画面を複数のブロックに分割し、各ブロックに対してＤＣＴ（Discrete Cosine Transform:離散コサイン変換）などの符号化、量子化を行う方式が用いられる。このような方式を用いて符号化された画像を復号した場合には、ブロック単位に独立に変換係数の量子化が行われるため、復号画像のブロック境界で不連続なレベルの変化が生じる。このようなレベルの変化はブロック歪と呼ばれている。
【０００３】
そこで、このようなブロック歪をなくしてブロック境界周辺の画像をより自然なものにするために、ＩＳＯ／ＩＥＣ １４４９６−２（ＭＰＥＧ−４ ｖｉｓｕａｌ）では、その付属書において次のようなブロック歪の除去方法を開示している。
【０００４】
まず、ブロック境界を中心にして左右方向に５画素づつ計１０画素をサンプルし、これらサンプルされた１０画素に相当する部分が平坦部分かどうかを判定する。このような判定を垂直方向に所定画素数分だけ行なう。
【０００５】
より詳細には、まず、サンプルされた１０画素について、隣接する各組の画素の差分値を求める。次に、求まった９つの画素差分値のうち第１の境界値Ｔ０以下の値をとる組を見つける。そして、この組の総数が第２の境界値Ｔ１以上であるかどうかを判断し、Ｔ１以上である場合にはサンプルされた画素の部分は平坦であると判断する。すなわち、隣接する画素の差分値が比較的小さいと判断される部分が所定数以上存在する場合には平坦であると判断している。そして、この平坦であると判断されたサンプル画素において、ブロック境界面を中心として左右方向に各４画素づつ（計８画素）に９タップのローパスフィルタをかけている。また、平坦部分でなく細かい画像であると判定された場合には、ブロック境界が不連続かどうかをブロック境界を中心とする左右方向の２画素（計４画素）に対して判定を行い、ここで不連続と判定された場合にはブロック境界の画素を補正して段差を小さくするという処理が行われる。
【０００６】
【発明が解決しようとする課題】
しかしながら、この手法によると、例えばブロック境界を中心にして左右に数個の画素だけが平坦な画像であり、そこから先は細かい画像であったとしても、ブロック境界を挟んだ８画素に対してローパスフィルタをかけるか、あるいは、ブロック境界を挟む２画素の値を補正するかの２通りの方法しかなく、検出された平坦部分に対して適切なフィルタ処理を行なうことができなかった。また、一部に平坦な部分を含んでいても全体として見た場合に平坦ではない画像があった場合には、ローパスフィルタをかける条件からはずれてしまうので画素補正が代わりに行なわれることになり、不自然な画像になってしまう場合があった。
【０００７】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、ブロック境界を挟んだ画素の平坦部分の長さに応じて最適な特性のフィルタをかけることにより、画像の特徴に相応したブロック歪の除去を行うことができる動画像復号装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第１の態様に係る動画像復号装置は、画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号して得られた復号画像のブロック境界を検出するブロック境界検出手段と、前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、を具備し、前記平坦部分長判定手段は、前記ブロック境界検出手段により検出されたブロック境界から第１の方向に所定数の画素の平均値である第１の画素平均値と、前記ブロック境界から第２の方向に所定数の画素の平均値である第２の画素平均値との差を求める第１の算出手段と、前記第１の画素平均値からのばらつきと、前記第２の画素平均値からのばらつきとの和を求める第２の算出手段と、前記第１の算出手段の算出結果と、前記第２の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第３の算出手段と、を有する。
【０００９】
また、本発明の第２の態様に係る動画像復号装置は、第１の態様において、前記第１の方向に所定数の画素の平均値 DC0(n) 、当該平均値からのばらつき SAD0(n) 、前記第２の方向に所定数の画素の平均値 DC1(n) 、当該平均値からのばらつき SAD1(n) をそれぞれ以下の式（但しｐ、ｑは画素、ｎは画素数）で表わしたときに、
【数３】
前記第１の算出手段は、｜ DC0(n) − DC1(n) ｜の値を求め、前記第２の算出手段は、 SAD0(n) ＋ SAD1(n) の値を求め、前記第３の算出手段は、
｜ DC0(n) − DC1(n) ｜×α＞ SAD0(n) ＋ SAD1(n) で表わされる不等式（α：平坦部であるとの判定のされやすさの指数）を用いて前記第１の算出手段の算出結果と前記第２の算出手段の算出結果の大小関係を判定する。
【００１０】
また、本発明の第３の態様に係る動画像復号装置は、画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号して得られた復号画像のブロック境界を検出するブロック境界検出手段と、前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、
前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、復号画像のエッジ部分が検出された画像を作成するエッジ検出用画像作成手段と、を具備し、前記平坦部分長判定手段は、前記エッジ検出用画像作成手段により作成されたエッジ検出用画像について、前記ブロック境界から第１の方向に所定数の画素のパワーと、前記ブロック境界から第２の方向に所定数の画素のパワーとの差を求める第４の算出手段と、前記ブロック境界を挟む２画素の差の絶対値を求める第５の算出手段と、前記第４の算出手段の算出結果と、前記第５の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第６の算出手段と、を有する。
【００１１】
また、本発明の第４の態様に係る動画像復号装置は、画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号する動画像復号手段と、前記動画像復号手段により復号された復号画像のブロック境界を検出するブロック境界検出手段と、前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段によりフィルタ処理された平坦部分の長さの画素を、前記動画像復号手段により復号された復号画像とともに表示する表示手段と、を具備し、前記平坦部分長判定手段は、前記ブロック境界検出手段により検出されたブロック境界から第１の方向に所定数の画素の平均値である第１の画素平均値と、前記ブロック境界から第２の方向に所定数の画素の平均値である第２の画素平均値の差を求める第１の算出手段と、前記第１の画素平均値からのばらつきと、前記第２の画素平均値からのばらつきの和を求める第２の算出手段と、前記第１の算出手段の算出結果と、前記第２の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第３の算出手段と、を有する。
【００１２】
また、本発明の第５の態様に係る動画像復号装置は、第４の態様において、前記第１の方向に所定数の画素の平均値 DC0(n) 、当該平均値からのばらつき SAD0(n) 、前記第２の方向に所定数の画素の平均値 DC1(n) 、当該平均値からのばらつき SAD1(n) をそれぞれ以下の式（但しｐ、ｑは画素、ｎは画素数）で表わしたときに、
【数４】
前記第１の算出手段は、｜ DC0(n) − DC1(n) ｜の値を求め、前記第２の算出手段は、 SAD0(n) ＋ SAD1(n) の値を求め、前記第３の算出手段は、｜ DC0(n) − DC1(n) ｜×α＞ SAD0(n) ＋ SAD1(n) で表わされる不等式（α：平坦部であるとの判定のされやすさの指数）を用いて前記第１の算出手段の算出結果と前記第２の算出手段の算出結果の大小関係を判定する。
【００１３】
また、本発明の第６の態様に係る動画像復号装置は、画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号する動画像復号手段と、前記動画像復号手段により復号された復号画像のブロック境界を検出するブロック境界検出手段と、前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段によりフィルタ処理された平坦部分の長さの画素を、前記動画像復号手段により復号された復号画像とともに表示する表示手段と、復号画像のエッジ部分が検出された画像を作成するエッジ検出用画像作成手段と、を具備し、前記平坦部分長判定手段は、前記エッジ検出用画像作成手段により作成されたエッジ検出用画像について、前記ブロック境界から第１の方向に所定数の画素のパワーと、前記ブロック境界から第２の方向に所定数の画素のパワーとの差を求める第４の算出手段と、前記ブロック境界を挟む２画素の差の絶対値を求める第５の算出手段と、前記第４の算出手段の算出結果と、前記第５の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第６の算出手段と、を有する。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１５】
（第１実施形態）
図１は、本発明の第１の実施形態に係る動画像復号装置の構成を示すブロック図であり、動画像復号部１１と、復号画像メモリ１２と、ブロック境界ライン抽出部（ブロック境界検出手段）１３と、平坦部分長判定部１４と、フィルタ特性選出部１５と、フィルタ処理部１６と、表示画像メモリ１７と、表示部１８とからなる。また、上記した平坦部分長判定部１４は、判定基準値抽出部１９と、判定手段２０とからなる。
【００１６】
上記した構成において、動画像復号部１１ではブロック単位で符号化されたビットストリームを受け取り画像データの復号処理を行う。復号された画像データはブロック単位で復号画像メモリ１２に蓄積される。ブロック境界ライン抽出部１３では縦方向のブロック境界に対する処理の場合は各ラインごとに左右方向に特定数のサンプル画素を抽出する。ブロック境界は１ブロックを構成する画素数により一義的に決まる。例えば１ブロックが８×８画素により構成される場合には最初の画素から８画素目がブロック境界となる。従って、抽出する画素数が８画素であるならば、ブロック境界ライン抽出部１３は、図２に示すようにブロック境界から左右方向に８画素づつサンプル画素を抽出する。抽出された画素ラインは平坦部分長判定部１４に送られる。
【００１７】
平坦部分長判定部１４では、ブロック境界から各ブロックの内方向に平坦部分長が何画素分存在するかを図３のフローチャートを実行することにより判定する。まず、ブロック境界から指定された判定サンプル画素を抽出する（ステップＳ１）。ここでは、平坦部分長を例えば３段階（判定の段階数＝３）に求めるとし、その判定基準画素数を２画素、４画素、８画素とする。この場合、判定基準値抽出部１９は、ブロック境界に隣接する画素から２画素分、４画素分、８画素分の判定条件値を求めて行く。
【００１８】
このときの判定基準値は例えば画素平均値と平均値からのばらつきを用いる場合、判定画素数＝ｎとし、ブロック境界を中心にして一方の側のブロックの画素ｐに対する画素平均値とばらつき（ＳＡＤ）をそれぞれＤＣ０（ｎ）、ＳＡＤ０（ｎ）とし、ブロック境界を中心にして他方の側のブロックの画素ｑに対する画素平均値とばらつき（ＳＡＤ）をそれぞれＤＣ１（ｎ）、ＳＡＤ１（ｎ）とすると、
【数１】
で求めることができる。
【００１９】
ステップＳ２及びＳ３では、このような式を用いてｎ画素分のＤＣ（ＤＣ０（ｎ）、ＤＣ１（ｎ））と、ｎ画素分のＳＡＤ（ＳＡＤ０（ｎ）、ＳＡＤ１（ｎ））をブロック境界から左右方向にそれぞれ計算する。
【００２０】
次に、求めた各画素に対するＤＣ（ｎ）とＳＡＤ（ｎ）が判定手段２０に送られる。判定手段２０では送られてきたＤＣ（ｎ）とＳＡＤ（ｎ）から平坦部分長を判定するが、この場合、ＤＣの差が両ブロック間の差となり、ＳＡＤが平坦度となっており、平坦部分でブロック歪が生じる場合はＳＡＤが小さくＤＣがある程度の差を持つことになり以下の式に基づいて判定がなされる（ステップＳ４、Ｓ５）。
【００２１】
すなわち、平坦部であるとの判定のされやすさの指数をαとし
【数２】
が成り立つ場合のｎ（＝２，４，８）を平坦部分長とする（ステップＳ６）。
【００２２】
一方、上記条件が成り立たなかった場合には判定の段階数に応じてｎを更新し（ステップＳ７）、ステップＳ２に戻る。最終的に条件が成立しなかった場合には平坦部分長＝０とする。
【００２３】
ｎ＝８画素の場合のＤＣ０（８）、ＤＣ１（８）、ＳＡＤ０（８）、ＳＡＤ１（８）、ＤＣ＿Ｄｉｆｆ＝lＤＣ０−ＤＣ１）lの具体的な例が図２に示されている。
【００２４】
上記のようにして求まった平坦部分長ｎはフィルタ特性選出部１５に送られる。以上が、平坦部分長判定部１４における平坦部分長判定プロセスの処理内容である。
【００２５】
図４は、フィルタ特性選出部１５でのフィルタ特性選択プロセスの手順を示している。フィルタ特性選出部１５はまず、平坦部分長判定部１４から平坦部分長ｎを取得する（ステップＳ１０）。そして、取得した平坦部分長ｎに応じたタップ数ｎ＋１、特性π／ｎ、対象画素数ｎ／２を計算する（ステップＳ１１）。これらの値はテーブル引きにより求めても良い。次に、計算により求めたタップ数ｎ＋１、特性π／ｎ、対象画素数ｎ／２から対応するフィルタを選択してフィルタ処理部１６へ送る（ステップＳ１２）。
【００２６】
上記の処理をさらに詳細に説明する。例えば平坦部分長ｎ＝２が選択された場合にはブロック境界を挟んで左右方向の計４画素が平坦部分となり、この４画素に対して平滑化を行うフィルタが必要となる。周期＝４（画素）を平滑化するフィルタの特性を考えると、ｆ＝１／４としてフィルタの特性はω＝２πｆ＝π／２となる。従って平坦部分長＝２に対してはフィルタの特性π／２、タップ数＝３のフィルタがブロック境界を挟んだ左右両方向の画素にかかるようにフィルタ特性選出部１５での設定がなされる。
【００２７】
同様にして平坦部分長がｎの場合には、特性π／ｎ、タップ数ｎ＋１のフィルタがブロック境界を挟んだｎ／２画素の計ｎ画素に対してかかるようにフィルタ特性が選択される。
【００２８】
フィルタ特性選択部１５で求められた特性のフィルタを用いて、ブロック境界ライン抽出部１３で抽出された画素群がフィルタ処理部１６に送られ、特性に応じたフィルタがかけられる。フィルタ処理を施された画像データは表示画像メモリ１７に送られ、所定のタイミングで表示部１８で表示がなされる。
【００２９】
なお、上記した図１の各部で行なわれる処理はソフトウェア処理であっても、ハードウェア処理であっても実現可能である。
【００３０】
（第２実施形態）
図５は、本発明の第２実施形態に係る動画像復号装置の構成を示すブロック図である。図１と同様に動画像復号部１１と、復号画像メモリ１２と、ブロック境界ライン抽出部１３と、平坦部分長判定部１４と、フィルタ特性選出部１５と、フィルタ処理部１６と、表示画像メモリ１７と、表示部１８を有し、平坦部分長判定部１４は、判定基準値抽出部１９、判定手段２０から構成される。図５の構成はさらに、エッジ検出用画像作成部２１、エッジ検出用画像メモリ２２を構成要素として備えている。
【００３１】
動画像復号部１１ではブロック単位で符号化されたビットストリームを受け取り画像データの復号処理を行う。復号された画像データはブロック単位で復号画像メモリ１２に蓄積される。エッジ検出用画像作成部２１では画像の水平方向または垂直方向ラインに対してエッジ部分を検出するための処理を行い、エッジ成分の特徴のみが現れている画像を作成し、エッジ検出用画像メモリ２２に蓄積する。例えば、ハイパスフィルタをかけることでエッジ成分のみが現れることは周知である。この場合フィルタにかけられる画素が全て同じ値の画素であればフィルタ結果はゼロとなり、隣接画素との画素値が異なる場合にのみフィルタ結果が値を持つことが特徴である。
【００３２】
第２実施形態では上記復号画像メモリ１２に記憶された画像データと、エッジ検出用画像メモリ２２に記憶された蓄積されたエッジ検出用画像とを用いて平坦部分長の判定を行う。
【００３３】
図６は、第２実施形態に係る平坦部分長判定プロセスの手順を説明するためのフローチャートである。
【００３４】
まずブロック境界ライン抽出部１３では、縦方向のブロック境界に対する処理の場合は各ラインごとに左右方向に特定数のエッジ検出処理画素をエッジ検出用画像メモリ２２から抽出する（ステップＳ２０）。抽出する画素数が８画素であるならば、ブロック境界ライン抽出部１３は、図７に示すようにブロック境界から左右方向に８画素づつサンプル画素を抽出する。抽出された画素ラインは平坦部分長判定部１４に送られる。
【００３５】
図７は、第１実施形態において説明した復号画素についてのｎ＝８画素の場合のＤＣ０（８）、ＤＣ１（８）、ＳＡＤ０（８）、ＳＡＤ１（８）、ＤＣ＿Ｄｉｆｆ＝lＤＣ０−ＤＣ１）lの例に加えて、エッジ検出用画素の例を示している。
【００３６】
上記の処理と並行して、復号画像メモリ１２からブロック境界を挟む２画素を判定用サンプル画素として抽出し（ステップＳ２１）、平坦部分長判定部１４に送る。
【００３７】
平坦部分長判定部１４では、ブロック境界から各ブロック内部方向に平坦部分長が何画素分存在するかを判定する。そのため、まずエッジ検出処理画素について、判定の段階数に応じた判定画素数（ｎ）に対してブロック境界から双方向にｎ画素のパワーＰを計算する（ステップＳ２２）。
【００３８】
平坦部分長判定部１４は、これと並行して、判定用サンプル画素について、ブロック境界を挟む２画素の差の絶対値Ｄを計算する（ステップＳ２３）。
【００３９】
以下に、ｎ画素のパワーＰの計算について具体的に説明する。平坦部分長を例えば３段階（判定の段階数＝３）に求めるとし、その判定基準画素数を２画素、４画素、８画素とする。この場合、判定基準値抽出部１９において、ブロック境界に隣接する画素から２画素分、４画素分、８画素分の判定基準値を求めて行く。判定基準値は上述したように平坦部ではエッジ検出用画像メモリ２２の対応画素値がゼロとなっていることから、復号画像の画素値のばらつきは抽出した画素値の大きさを求めることで判定できる。また、同時に求められたブロック境界を挟む両画素の差分からブロック間の画素差分を求めることができる。
【００４０】
以上より判定基準画素数＝ｎとし、抽出されたエッジ検出用画像メモリ２２から抽出した画素のうち、一方の側のブロックの画素ｐに対するｎ画素分のパワーをＰ０（ｎ）、他方の側のブロックの画素ｑに対するものをＰ１（ｎ）とし、ブロック境界を挟んだ両画素の差の絶対値をＤとすると、Ｐ０（ｎ）、Ｐ１（ｎ）、Ｄはそれぞれ、
【数３】
により求めることができる。
【００４１】
このようにして求められた各ｎに対するパワーＰ（ｎ）と差の絶対値Ｄとは、平坦部分長判定部１４の判定手段２０に送られる。判定手段２０では送られてきたパワーＰ（ｎ）と両画素の差の絶対値Ｄとに基づいて平坦部分長を判定するが、この場合、Ｄが両ブロック間の差を、Ｐが平坦度を表しており、平坦部分でブロック歪が生じる場合はＰが小さくＤがある程度の差を持つことになり、以下の不等式に基づいて判定を行うことができる（ステップＳ２５）。
【００４２】
【数４】
ここでαは、平坦部の判定されやすさの指数を表している。
【００４３】
ここでの条件が成り立つことによりステップＳ２５の判断がＹＥＳならば平坦画素数をｎ（＝２，４，８）とし（ステップＳ２６）、ＮＯの場合には判定の段階数に応じてｎを更新し（ステップＳ２４）、ステップＳ２２に戻る。ｎを更新しても条件が成り立たなかった場合には平坦部分長＝０とする（ステップＳ２６）。
【００４４】
上記のようにして求まった平坦部分長をフィルタ特性選出部１５に送る（ステップＳ２７）ことにより平坦部分長判定プロセスを終了する。
【００４５】
フィルタ特性選出部１５では、送られてきた平坦部分長ｎに応じたフィルタが選択される。例えば平坦部分長ｎが２画素と選択された場合はブロック境界を挟んで計４画素が平坦部分となり、４画素に対して平滑化を行うフィルタが必要となる。周期＝４（画素）を平滑化するフィルタの特性を考えると、ｆ＝１／４としてフィルタの特性はω＝２πｆ＝π／２となる。
【００４６】
従って平坦部分長＝２に対してはフィルタの特性π／２、タップ数＝３のフィルタがブロック境界を挟んだ左右両方向の画素にかかるようにフィルタ特性選出部１５での設定がなされる。
【００４７】
同様にして平坦部分長がｎの場合には、特性π／ｎ、タップ数ｎ＋１のフィルタがブロック境界を挟んだｎ／２画素の計ｎ画素に対してかけるようにフィルタ特性が選択される。
【００４８】
フィルタ特性選択部１５で求められた特性のフィルタを用いて、ブロック境界ライン抽出部１３で抽出された画素群がフィルタ処理部１６に送られ、特性に応じたフィルタがかけられる。フィルタ処理を施された画像データは表示画像メモリ１７に送られ、所定のタイミングでモニタ１８で表示がなされる。
【００４９】
上記した第１及び第２実施形態によれば、平坦部分長判定部１４とフィルタ特性選出部１５とを新たに付加することにより、ブロック境界を挟んだ画素の平坦部分の長さが長い場合には長い画素に対してかかるローパスフィルタを、平坦部分の長さが短い場合には少ない画素数に対して有効なローパスフィルタをかけるようにしたので、画像の特徴に相応したブロック歪の除去が可能となる。
【００５０】
なお、上記した図５の各部で行なわれる処理はソフトウェア処理であっても、ハードウェア処理であっても実現可能である。
【００５１】
【発明の効果】
本発明によれば、ブロック境界を挟んだ画素の平坦部分の長さに応じて最適な特性のフィルタをかけるようにしたので、画像の特徴に相応したブロック歪の除去が可能になる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る動画像復号装置の構成を示すブロック図である。
【図２】本発明の第１実施形態の方法により平坦部分長を求める方法を説明するための図である。
【図３】本発明の第１実施形態の方法により平坦部分長を求める手順を示すフローチャートである。
【図４】本発明の第１実施形態の方法によるフィルタ特性選択プロセスの手順を示すフローチャートである。
【図５】本発明の第２実施形態に係る動画像復号装置の構成を示すブロック図である。
【図６】本発明の第２実施形態の方法により平坦部分長を求める手順を示すフローチャートである。
【図７】本発明の第２実施形態の方法により平坦部分長を求める方法を説明するための図である。
【符号の説明】
１１ 動画像復号部
１２ 復号画像メモリ
１３ ブロック境界ライン抽出部
１４ 平坦部分長判定部
１５ フィルタ特性選出部
１６ フィルタ処理部
１７ 表示画像メモリ
１８ 表示部
１９ 判定基準値抽出部
２０ 判定手段
２１ エッジ検出用画像作成部
２２ エッジ検出用画像メモリ
【発明の属する技術分野】
本発明は、動画像復号装置に関し、特に、ブロック単位で符号化された動画像の復号技術に関する。
【０００２】
【従来の技術】
画像信号の符号化は一般的に画面を複数のブロックに分割し、各ブロックに対してＤＣＴ（Discrete Cosine Transform:離散コサイン変換）などの符号化、量子化を行う方式が用いられる。このような方式を用いて符号化された画像を復号した場合には、ブロック単位に独立に変換係数の量子化が行われるため、復号画像のブロック境界で不連続なレベルの変化が生じる。このようなレベルの変化はブロック歪と呼ばれている。
【０００３】
そこで、このようなブロック歪をなくしてブロック境界周辺の画像をより自然なものにするために、ＩＳＯ／ＩＥＣ １４４９６−２（ＭＰＥＧ−４ ｖｉｓｕａｌ）では、その付属書において次のようなブロック歪の除去方法を開示している。
【０００４】
まず、ブロック境界を中心にして左右方向に５画素づつ計１０画素をサンプルし、これらサンプルされた１０画素に相当する部分が平坦部分かどうかを判定する。このような判定を垂直方向に所定画素数分だけ行なう。
【０００５】
より詳細には、まず、サンプルされた１０画素について、隣接する各組の画素の差分値を求める。次に、求まった９つの画素差分値のうち第１の境界値Ｔ０以下の値をとる組を見つける。そして、この組の総数が第２の境界値Ｔ１以上であるかどうかを判断し、Ｔ１以上である場合にはサンプルされた画素の部分は平坦であると判断する。すなわち、隣接する画素の差分値が比較的小さいと判断される部分が所定数以上存在する場合には平坦であると判断している。そして、この平坦であると判断されたサンプル画素において、ブロック境界面を中心として左右方向に各４画素づつ（計８画素）に９タップのローパスフィルタをかけている。また、平坦部分でなく細かい画像であると判定された場合には、ブロック境界が不連続かどうかをブロック境界を中心とする左右方向の２画素（計４画素）に対して判定を行い、ここで不連続と判定された場合にはブロック境界の画素を補正して段差を小さくするという処理が行われる。
【０００６】
【発明が解決しようとする課題】
しかしながら、この手法によると、例えばブロック境界を中心にして左右に数個の画素だけが平坦な画像であり、そこから先は細かい画像であったとしても、ブロック境界を挟んだ８画素に対してローパスフィルタをかけるか、あるいは、ブロック境界を挟む２画素の値を補正するかの２通りの方法しかなく、検出された平坦部分に対して適切なフィルタ処理を行なうことができなかった。また、一部に平坦な部分を含んでいても全体として見た場合に平坦ではない画像があった場合には、ローパスフィルタをかける条件からはずれてしまうので画素補正が代わりに行なわれることになり、不自然な画像になってしまう場合があった。
【０００７】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、ブロック境界を挟んだ画素の平坦部分の長さに応じて最適な特性のフィルタをかけることにより、画像の特徴に相応したブロック歪の除去を行うことができる動画像復号装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第１の態様に係る動画像復号装置は、画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号して得られた復号画像のブロック境界を検出するブロック境界検出手段と、前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、を具備し、前記平坦部分長判定手段は、前記ブロック境界検出手段により検出されたブロック境界から第１の方向に所定数の画素の平均値である第１の画素平均値と、前記ブロック境界から第２の方向に所定数の画素の平均値である第２の画素平均値との差を求める第１の算出手段と、前記第１の画素平均値からのばらつきと、前記第２の画素平均値からのばらつきとの和を求める第２の算出手段と、前記第１の算出手段の算出結果と、前記第２の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第３の算出手段と、を有する。
【０００９】
また、本発明の第２の態様に係る動画像復号装置は、第１の態様において、前記第１の方向に所定数の画素の平均値 DC0(n) 、当該平均値からのばらつき SAD0(n) 、前記第２の方向に所定数の画素の平均値 DC1(n) 、当該平均値からのばらつき SAD1(n) をそれぞれ以下の式（但しｐ、ｑは画素、ｎは画素数）で表わしたときに、
【数３】
｜ DC0(n) − DC1(n) ｜×α＞ SAD0(n) ＋ SAD1(n) で表わされる不等式（α：平坦部であるとの判定のされやすさの指数）を用いて前記第１の算出手段の算出結果と前記第２の算出手段の算出結果の大小関係を判定する。
【００１０】
また、本発明の第３の態様に係る動画像復号装置は、画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号して得られた復号画像のブロック境界を検出するブロック境界検出手段と、前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、
前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、復号画像のエッジ部分が検出された画像を作成するエッジ検出用画像作成手段と、を具備し、前記平坦部分長判定手段は、前記エッジ検出用画像作成手段により作成されたエッジ検出用画像について、前記ブロック境界から第１の方向に所定数の画素のパワーと、前記ブロック境界から第２の方向に所定数の画素のパワーとの差を求める第４の算出手段と、前記ブロック境界を挟む２画素の差の絶対値を求める第５の算出手段と、前記第４の算出手段の算出結果と、前記第５の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第６の算出手段と、を有する。
【００１１】
また、本発明の第４の態様に係る動画像復号装置は、画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号する動画像復号手段と、前記動画像復号手段により復号された復号画像のブロック境界を検出するブロック境界検出手段と、前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段によりフィルタ処理された平坦部分の長さの画素を、前記動画像復号手段により復号された復号画像とともに表示する表示手段と、を具備し、前記平坦部分長判定手段は、前記ブロック境界検出手段により検出されたブロック境界から第１の方向に所定数の画素の平均値である第１の画素平均値と、前記ブロック境界から第２の方向に所定数の画素の平均値である第２の画素平均値の差を求める第１の算出手段と、前記第１の画素平均値からのばらつきと、前記第２の画素平均値からのばらつきの和を求める第２の算出手段と、前記第１の算出手段の算出結果と、前記第２の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第３の算出手段と、を有する。
【００１２】
また、本発明の第５の態様に係る動画像復号装置は、第４の態様において、前記第１の方向に所定数の画素の平均値 DC0(n) 、当該平均値からのばらつき SAD0(n) 、前記第２の方向に所定数の画素の平均値 DC1(n) 、当該平均値からのばらつき SAD1(n) をそれぞれ以下の式（但しｐ、ｑは画素、ｎは画素数）で表わしたときに、
【数４】
【００１３】
また、本発明の第６の態様に係る動画像復号装置は、画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号する動画像復号手段と、前記動画像復号手段により復号された復号画像のブロック境界を検出するブロック境界検出手段と、前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段によりフィルタ処理された平坦部分の長さの画素を、前記動画像復号手段により復号された復号画像とともに表示する表示手段と、復号画像のエッジ部分が検出された画像を作成するエッジ検出用画像作成手段と、を具備し、前記平坦部分長判定手段は、前記エッジ検出用画像作成手段により作成されたエッジ検出用画像について、前記ブロック境界から第１の方向に所定数の画素のパワーと、前記ブロック境界から第２の方向に所定数の画素のパワーとの差を求める第４の算出手段と、前記ブロック境界を挟む２画素の差の絶対値を求める第５の算出手段と、前記第４の算出手段の算出結果と、前記第５の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第６の算出手段と、を有する。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１５】
（第１実施形態）
図１は、本発明の第１の実施形態に係る動画像復号装置の構成を示すブロック図であり、動画像復号部１１と、復号画像メモリ１２と、ブロック境界ライン抽出部（ブロック境界検出手段）１３と、平坦部分長判定部１４と、フィルタ特性選出部１５と、フィルタ処理部１６と、表示画像メモリ１７と、表示部１８とからなる。また、上記した平坦部分長判定部１４は、判定基準値抽出部１９と、判定手段２０とからなる。
【００１６】
上記した構成において、動画像復号部１１ではブロック単位で符号化されたビットストリームを受け取り画像データの復号処理を行う。復号された画像データはブロック単位で復号画像メモリ１２に蓄積される。ブロック境界ライン抽出部１３では縦方向のブロック境界に対する処理の場合は各ラインごとに左右方向に特定数のサンプル画素を抽出する。ブロック境界は１ブロックを構成する画素数により一義的に決まる。例えば１ブロックが８×８画素により構成される場合には最初の画素から８画素目がブロック境界となる。従って、抽出する画素数が８画素であるならば、ブロック境界ライン抽出部１３は、図２に示すようにブロック境界から左右方向に８画素づつサンプル画素を抽出する。抽出された画素ラインは平坦部分長判定部１４に送られる。
【００１７】
平坦部分長判定部１４では、ブロック境界から各ブロックの内方向に平坦部分長が何画素分存在するかを図３のフローチャートを実行することにより判定する。まず、ブロック境界から指定された判定サンプル画素を抽出する（ステップＳ１）。ここでは、平坦部分長を例えば３段階（判定の段階数＝３）に求めるとし、その判定基準画素数を２画素、４画素、８画素とする。この場合、判定基準値抽出部１９は、ブロック境界に隣接する画素から２画素分、４画素分、８画素分の判定条件値を求めて行く。
【００１８】
このときの判定基準値は例えば画素平均値と平均値からのばらつきを用いる場合、判定画素数＝ｎとし、ブロック境界を中心にして一方の側のブロックの画素ｐに対する画素平均値とばらつき（ＳＡＤ）をそれぞれＤＣ０（ｎ）、ＳＡＤ０（ｎ）とし、ブロック境界を中心にして他方の側のブロックの画素ｑに対する画素平均値とばらつき（ＳＡＤ）をそれぞれＤＣ１（ｎ）、ＳＡＤ１（ｎ）とすると、
【数１】
【００１９】
ステップＳ２及びＳ３では、このような式を用いてｎ画素分のＤＣ（ＤＣ０（ｎ）、ＤＣ１（ｎ））と、ｎ画素分のＳＡＤ（ＳＡＤ０（ｎ）、ＳＡＤ１（ｎ））をブロック境界から左右方向にそれぞれ計算する。
【００２０】
次に、求めた各画素に対するＤＣ（ｎ）とＳＡＤ（ｎ）が判定手段２０に送られる。判定手段２０では送られてきたＤＣ（ｎ）とＳＡＤ（ｎ）から平坦部分長を判定するが、この場合、ＤＣの差が両ブロック間の差となり、ＳＡＤが平坦度となっており、平坦部分でブロック歪が生じる場合はＳＡＤが小さくＤＣがある程度の差を持つことになり以下の式に基づいて判定がなされる（ステップＳ４、Ｓ５）。
【００２１】
すなわち、平坦部であるとの判定のされやすさの指数をαとし
【数２】
【００２２】
一方、上記条件が成り立たなかった場合には判定の段階数に応じてｎを更新し（ステップＳ７）、ステップＳ２に戻る。最終的に条件が成立しなかった場合には平坦部分長＝０とする。
【００２３】
ｎ＝８画素の場合のＤＣ０（８）、ＤＣ１（８）、ＳＡＤ０（８）、ＳＡＤ１（８）、ＤＣ＿Ｄｉｆｆ＝lＤＣ０−ＤＣ１）lの具体的な例が図２に示されている。
【００２４】
上記のようにして求まった平坦部分長ｎはフィルタ特性選出部１５に送られる。以上が、平坦部分長判定部１４における平坦部分長判定プロセスの処理内容である。
【００２５】
図４は、フィルタ特性選出部１５でのフィルタ特性選択プロセスの手順を示している。フィルタ特性選出部１５はまず、平坦部分長判定部１４から平坦部分長ｎを取得する（ステップＳ１０）。そして、取得した平坦部分長ｎに応じたタップ数ｎ＋１、特性π／ｎ、対象画素数ｎ／２を計算する（ステップＳ１１）。これらの値はテーブル引きにより求めても良い。次に、計算により求めたタップ数ｎ＋１、特性π／ｎ、対象画素数ｎ／２から対応するフィルタを選択してフィルタ処理部１６へ送る（ステップＳ１２）。
【００２６】
上記の処理をさらに詳細に説明する。例えば平坦部分長ｎ＝２が選択された場合にはブロック境界を挟んで左右方向の計４画素が平坦部分となり、この４画素に対して平滑化を行うフィルタが必要となる。周期＝４（画素）を平滑化するフィルタの特性を考えると、ｆ＝１／４としてフィルタの特性はω＝２πｆ＝π／２となる。従って平坦部分長＝２に対してはフィルタの特性π／２、タップ数＝３のフィルタがブロック境界を挟んだ左右両方向の画素にかかるようにフィルタ特性選出部１５での設定がなされる。
【００２７】
同様にして平坦部分長がｎの場合には、特性π／ｎ、タップ数ｎ＋１のフィルタがブロック境界を挟んだｎ／２画素の計ｎ画素に対してかかるようにフィルタ特性が選択される。
【００２８】
フィルタ特性選択部１５で求められた特性のフィルタを用いて、ブロック境界ライン抽出部１３で抽出された画素群がフィルタ処理部１６に送られ、特性に応じたフィルタがかけられる。フィルタ処理を施された画像データは表示画像メモリ１７に送られ、所定のタイミングで表示部１８で表示がなされる。
【００２９】
なお、上記した図１の各部で行なわれる処理はソフトウェア処理であっても、ハードウェア処理であっても実現可能である。
【００３０】
（第２実施形態）
図５は、本発明の第２実施形態に係る動画像復号装置の構成を示すブロック図である。図１と同様に動画像復号部１１と、復号画像メモリ１２と、ブロック境界ライン抽出部１３と、平坦部分長判定部１４と、フィルタ特性選出部１５と、フィルタ処理部１６と、表示画像メモリ１７と、表示部１８を有し、平坦部分長判定部１４は、判定基準値抽出部１９、判定手段２０から構成される。図５の構成はさらに、エッジ検出用画像作成部２１、エッジ検出用画像メモリ２２を構成要素として備えている。
【００３１】
動画像復号部１１ではブロック単位で符号化されたビットストリームを受け取り画像データの復号処理を行う。復号された画像データはブロック単位で復号画像メモリ１２に蓄積される。エッジ検出用画像作成部２１では画像の水平方向または垂直方向ラインに対してエッジ部分を検出するための処理を行い、エッジ成分の特徴のみが現れている画像を作成し、エッジ検出用画像メモリ２２に蓄積する。例えば、ハイパスフィルタをかけることでエッジ成分のみが現れることは周知である。この場合フィルタにかけられる画素が全て同じ値の画素であればフィルタ結果はゼロとなり、隣接画素との画素値が異なる場合にのみフィルタ結果が値を持つことが特徴である。
【００３２】
第２実施形態では上記復号画像メモリ１２に記憶された画像データと、エッジ検出用画像メモリ２２に記憶された蓄積されたエッジ検出用画像とを用いて平坦部分長の判定を行う。
【００３３】
図６は、第２実施形態に係る平坦部分長判定プロセスの手順を説明するためのフローチャートである。
【００３４】
まずブロック境界ライン抽出部１３では、縦方向のブロック境界に対する処理の場合は各ラインごとに左右方向に特定数のエッジ検出処理画素をエッジ検出用画像メモリ２２から抽出する（ステップＳ２０）。抽出する画素数が８画素であるならば、ブロック境界ライン抽出部１３は、図７に示すようにブロック境界から左右方向に８画素づつサンプル画素を抽出する。抽出された画素ラインは平坦部分長判定部１４に送られる。
【００３５】
図７は、第１実施形態において説明した復号画素についてのｎ＝８画素の場合のＤＣ０（８）、ＤＣ１（８）、ＳＡＤ０（８）、ＳＡＤ１（８）、ＤＣ＿Ｄｉｆｆ＝lＤＣ０−ＤＣ１）lの例に加えて、エッジ検出用画素の例を示している。
【００３６】
上記の処理と並行して、復号画像メモリ１２からブロック境界を挟む２画素を判定用サンプル画素として抽出し（ステップＳ２１）、平坦部分長判定部１４に送る。
【００３７】
平坦部分長判定部１４では、ブロック境界から各ブロック内部方向に平坦部分長が何画素分存在するかを判定する。そのため、まずエッジ検出処理画素について、判定の段階数に応じた判定画素数（ｎ）に対してブロック境界から双方向にｎ画素のパワーＰを計算する（ステップＳ２２）。
【００３８】
平坦部分長判定部１４は、これと並行して、判定用サンプル画素について、ブロック境界を挟む２画素の差の絶対値Ｄを計算する（ステップＳ２３）。
【００３９】
以下に、ｎ画素のパワーＰの計算について具体的に説明する。平坦部分長を例えば３段階（判定の段階数＝３）に求めるとし、その判定基準画素数を２画素、４画素、８画素とする。この場合、判定基準値抽出部１９において、ブロック境界に隣接する画素から２画素分、４画素分、８画素分の判定基準値を求めて行く。判定基準値は上述したように平坦部ではエッジ検出用画像メモリ２２の対応画素値がゼロとなっていることから、復号画像の画素値のばらつきは抽出した画素値の大きさを求めることで判定できる。また、同時に求められたブロック境界を挟む両画素の差分からブロック間の画素差分を求めることができる。
【００４０】
以上より判定基準画素数＝ｎとし、抽出されたエッジ検出用画像メモリ２２から抽出した画素のうち、一方の側のブロックの画素ｐに対するｎ画素分のパワーをＰ０（ｎ）、他方の側のブロックの画素ｑに対するものをＰ１（ｎ）とし、ブロック境界を挟んだ両画素の差の絶対値をＤとすると、Ｐ０（ｎ）、Ｐ１（ｎ）、Ｄはそれぞれ、
【数３】
【００４１】
このようにして求められた各ｎに対するパワーＰ（ｎ）と差の絶対値Ｄとは、平坦部分長判定部１４の判定手段２０に送られる。判定手段２０では送られてきたパワーＰ（ｎ）と両画素の差の絶対値Ｄとに基づいて平坦部分長を判定するが、この場合、Ｄが両ブロック間の差を、Ｐが平坦度を表しており、平坦部分でブロック歪が生じる場合はＰが小さくＤがある程度の差を持つことになり、以下の不等式に基づいて判定を行うことができる（ステップＳ２５）。
【００４２】
【数４】
【００４３】
ここでの条件が成り立つことによりステップＳ２５の判断がＹＥＳならば平坦画素数をｎ（＝２，４，８）とし（ステップＳ２６）、ＮＯの場合には判定の段階数に応じてｎを更新し（ステップＳ２４）、ステップＳ２２に戻る。ｎを更新しても条件が成り立たなかった場合には平坦部分長＝０とする（ステップＳ２６）。
【００４４】
上記のようにして求まった平坦部分長をフィルタ特性選出部１５に送る（ステップＳ２７）ことにより平坦部分長判定プロセスを終了する。
【００４５】
フィルタ特性選出部１５では、送られてきた平坦部分長ｎに応じたフィルタが選択される。例えば平坦部分長ｎが２画素と選択された場合はブロック境界を挟んで計４画素が平坦部分となり、４画素に対して平滑化を行うフィルタが必要となる。周期＝４（画素）を平滑化するフィルタの特性を考えると、ｆ＝１／４としてフィルタの特性はω＝２πｆ＝π／２となる。
【００４６】
従って平坦部分長＝２に対してはフィルタの特性π／２、タップ数＝３のフィルタがブロック境界を挟んだ左右両方向の画素にかかるようにフィルタ特性選出部１５での設定がなされる。
【００４７】
同様にして平坦部分長がｎの場合には、特性π／ｎ、タップ数ｎ＋１のフィルタがブロック境界を挟んだｎ／２画素の計ｎ画素に対してかけるようにフィルタ特性が選択される。
【００４８】
フィルタ特性選択部１５で求められた特性のフィルタを用いて、ブロック境界ライン抽出部１３で抽出された画素群がフィルタ処理部１６に送られ、特性に応じたフィルタがかけられる。フィルタ処理を施された画像データは表示画像メモリ１７に送られ、所定のタイミングでモニタ１８で表示がなされる。
【００４９】
上記した第１及び第２実施形態によれば、平坦部分長判定部１４とフィルタ特性選出部１５とを新たに付加することにより、ブロック境界を挟んだ画素の平坦部分の長さが長い場合には長い画素に対してかかるローパスフィルタを、平坦部分の長さが短い場合には少ない画素数に対して有効なローパスフィルタをかけるようにしたので、画像の特徴に相応したブロック歪の除去が可能となる。
【００５０】
なお、上記した図５の各部で行なわれる処理はソフトウェア処理であっても、ハードウェア処理であっても実現可能である。
【００５１】
【発明の効果】
本発明によれば、ブロック境界を挟んだ画素の平坦部分の長さに応じて最適な特性のフィルタをかけるようにしたので、画像の特徴に相応したブロック歪の除去が可能になる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る動画像復号装置の構成を示すブロック図である。
【図２】本発明の第１実施形態の方法により平坦部分長を求める方法を説明するための図である。
【図３】本発明の第１実施形態の方法により平坦部分長を求める手順を示すフローチャートである。
【図４】本発明の第１実施形態の方法によるフィルタ特性選択プロセスの手順を示すフローチャートである。
【図５】本発明の第２実施形態に係る動画像復号装置の構成を示すブロック図である。
【図６】本発明の第２実施形態の方法により平坦部分長を求める手順を示すフローチャートである。
【図７】本発明の第２実施形態の方法により平坦部分長を求める方法を説明するための図である。
【符号の説明】
１１ 動画像復号部
１２ 復号画像メモリ
１３ ブロック境界ライン抽出部
１４ 平坦部分長判定部
１５ フィルタ特性選出部
１６ フィルタ処理部
１７ 表示画像メモリ
１８ 表示部
１９ 判定基準値抽出部
２０ 判定手段
２１ エッジ検出用画像作成部
２２ エッジ検出用画像メモリ
Claims (6)
- 画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号して得られた復号画像のブロック境界を検出するブロック境界検出手段と、
前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、
前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、
前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、を具備し、
前記平坦部分長判定手段は、前記ブロック境界検出手段により検出されたブロック境界から第１の方向に所定数の画素の平均値である第１の画素平均値と、前記ブロック境界から第２の方向に所定数の画素の平均値である第２の画素平均値との差を求める第１の算出手段と、前記第１の画素平均値からのばらつきと、前記第２の画素平均値からのばらつきとの和を求める第２の算出手段と、前記第１の算出手段の算出結果と、前記第２の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第３の算出手段と、を有することを特徴とする動画像復号装置。 - 前記第１の方向に所定数の画素の平均値 DC0(n) 、当該平均値からのばらつき SAD0(n) 、前記第２の方向に所定数の画素の平均値 DC1(n) 、当該平均値からのばらつき SAD1(n) をそれぞれ以下の式（但しｐ、ｑは画素、ｎは画素数）で表わしたときに、
｜ DC0(n) − DC1(n) ｜×α＞ SAD0(n) ＋ SAD1(n) で表わされる不等式（α：平坦部であるとの判定のされやすさの指数）を用いて前記第１の算出手段の算出結果と前記第２の算出手段の算出結果の大小関係を判定することを特徴とする請求項１記載の動画像復号装置。 - 画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号して得られた復号画像のブロック境界を検出するブロック境界検出手段と、
前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、
前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、
前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、
復号画像のエッジ部分が検出された画像を作成するエッジ検出用画像作成手段と、を具備し、
前記平坦部分長判定手段は、前記エッジ検出用画像作成手段により作成されたエッジ検出用画像について、前記ブロック境界から第１の方向に所定数の画素のパワーと、前記ブロック境界から第２の方向に所定数の画素のパワーとの差を求める第４の算出手段と、前記ブロック境界を挟む２画素の差の絶対値を求める第５の算出手段と、前記第４の算出手段の算出結果と、前記第５の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第６の算出手段と、を有することを特徴とする動画像復号装置。 - 画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号する動画像復号手段と、
前記動画像復号手段により復号された復号画像のブロック境界を検出するブロック境界検出手段と、
前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、
前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、
前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、
前記フィルタ処理手段によりフィルタ処理された平坦部分の長さの画素を、前記動画像復号手段により復号された復号画像とともに表示する表示手段と、を具備し、
前記平坦部分長判定手段は、前記ブロック境界検出手段により検出されたブロック境界から第１の方向に所定数の画素の平均値である第１の画素平均値と、前記ブロック境界から第２の方向に所定数の画素の平均値である第２の画素平均値の差を求める第１の算出手段と、前記第１の画素平均値からのばらつきと、前記第２の画素平均値からのばらつきの和を求める第２の算出手段と、前記第１の算出手段の算出結果と、前記第２の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第３の算出手段と、を有することを特徴とする動画像復号装置。 - 前記第１の方向に所定数の画素の平均値 DC0(n) 、当該平均値からのばらつき SAD0(n) 、前記第２の方向に所定数の画素の平均値 DC1(n) 、当該平均値からのばらつき SAD1(n) をそれぞれ以下の式（但しｐ、ｑは画素、ｎは画素数）で表わしたときに、
｜ DC0(n) − DC1(n) ｜×α＞ SAD0(n) ＋ SAD1(n) で表わされる不等式（α：平坦部であるとの判定のされやすさの指数）を用いて前記第１の算出手段の算出結果と前記第２の算出手段の算出結果の大小関係を判定することを特徴とする請求項４記載の動画像復号装置。 - 画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号する動画像復号手段と、
前記動画像復号手段により復号された復号画像のブロック境界を検出するブロック境界検出手段と、
前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、
前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、
前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、
前記フィルタ処理手段によりフィルタ処理された平坦部分の長さの画素を、前記動画像復号手段により復号された復号画像とともに表示する表示手段と、
復号画像のエッジ部分が検出された画像を作成するエッジ検出用画像作成手段と、を具備し、
前記平坦部分長判定手段は、前記エッジ検出用画像作成手段により作成されたエッジ検出用画像について、前記ブロック境界から第１の方向に所定数の画素のパワーと、前記ブロック境界から第２の方向に所定数の画素のパワーとの差を求める第４の算出手段と、前記ブロック境界を挟む２画素の差の絶対値を求める第５の算出手段と、前記第４の算出手段の算出結果と、前記第５の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第６の算出手段と、を有することを特徴とする動画像復号装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002097908A JP3930360B2 (ja) | 2002-03-29 | 2002-03-29 | 動画像復号装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002097908A JP3930360B2 (ja) | 2002-03-29 | 2002-03-29 | 動画像復号装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003299086A JP2003299086A (ja) | 2003-10-17 |
| JP3930360B2 true JP3930360B2 (ja) | 2007-06-13 |
Family
ID=29387805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002097908A Expired - Lifetime JP3930360B2 (ja) | 2002-03-29 | 2002-03-29 | 動画像復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3930360B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100669905B1 (ko) | 2004-12-02 | 2007-01-16 | 한국전자통신연구원 | 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및그 방법 |
| KR101392482B1 (ko) * | 2007-08-30 | 2014-05-07 | 삼성전자주식회사 | 블록킹 효과 제거 시스템 및 방법 |
-
2002
- 2002-03-29 JP JP2002097908A patent/JP3930360B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003299086A (ja) | 2003-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100566416C (zh) | 用于减小mpeg伪像的方法和设备 | |
| JP5351038B2 (ja) | 画像データ及び深度データの組合せを処理する画像処理システム | |
| US20100061649A1 (en) | Method and apparatus for reducing block noise | |
| JPH08251591A (ja) | ブロック化現象除去のための後処理装置及びその方法 | |
| JPH08237669A (ja) | 画像信号処理装置、画像信号処理方法および画像信号復号化装置 | |
| WO2010029432A1 (en) | Reducing digital image noise | |
| WO2002093935A1 (en) | Image processing apparatus | |
| KR100672592B1 (ko) | 디스플레이 장치의 영상 보상장치 및 보상방법 | |
| JP2003517796A (ja) | 「ムラのあるピクチャ」効果を減らす方法 | |
| JP2002539657A (ja) | 符号化された画像を評価するための処理、装置及び、使用 | |
| WO2006041152A1 (ja) | ブロックノイズ低減装置および画像表示装置 | |
| JP2008301336A (ja) | 画像処理装置、画像符号化装置及び画像復号化装置 | |
| JP3792837B2 (ja) | デブロッキングフィルタ | |
| JP4380498B2 (ja) | ブロック歪み低減装置 | |
| JP3930360B2 (ja) | 動画像復号装置 | |
| JP2002359845A (ja) | ディザ処理装置 | |
| JPH11187400A (ja) | 歪除去方法および歪除去フィルタ | |
| US8811766B2 (en) | Perceptual block masking estimation system | |
| JP2001245179A (ja) | 画像データの歪み低減方法、及びその装置 | |
| JPH04321391A (ja) | 画像符号化装置 | |
| JP4449430B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに記録媒体 | |
| JPH07143483A (ja) | 適応後処理フィルタ | |
| JP2007334457A (ja) | 画像処理装置及び画像処理方法 | |
| Xiong et al. | Image coding with parameter-assistant inpainting | |
| JP2005295371A (ja) | ブロックノイズ除去装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050315 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070308 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100316 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |