JP4653220B2 - イントラｂｌモードを考慮したデブロックフィルタリング方法、および前記方法を利用する多階層ビデオエンコーダ／デコーダ - Google Patents

Description

本発明はビデオ圧縮技術に関するもので、より詳細に多階層ビデオエンコーダまたはデコーダで使用されるデブロックフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）に関するものである。

インターネットを含む情報通信技術が発達するのにともない文字、音声だけでなく画像通信が増加している。既存の文字中心の通信方式ではユーザの多様な欲求を充足させるには不足し、これに伴い文字、映像、音楽など多様な形態の情報を受容することができるマルチメディアサービスが増加している。マルチメディアデータはその量が膨大で、大容量の保存媒体を必要とし伝送時に広い帯域幅を必要とする。したがって文字、映像、オーディオを含むマルチメディアデータを伝送するためには圧縮コーディング技法を使用することが必須的である。

データを圧縮する基本的な原理はデータの重複（ｒｅｄｕｎｄａｎｃｙ）要素を除去する過程である。イメージにおいて、同一な色やオブジェクトが反復されるような空間的重複や、動画フレームで隣接フレームがほとんど変化しない場合や、音声で同じ音が継続して反復するような時間的重複、または人間の視覚および知覚能力が高い周波数に鈍感なことを考慮した心理視覚重複を除去することによってデータを圧縮することができる。一般的なビデオコーディング方法において、時間的重複はモーション補償に基づいた時間的フィルタリング（ｔｅｍｐｏｒａｌ ｆｉｌｔｅｒｉｎｇ）によって除去し、空間的重複は空間的変換（ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍ）によって除去する。

データの重複を除去した後に生成されるマルチメディアを伝送するためには、伝送媒体が必要であるがその性能は伝送媒体別に差異がある。現在使用される伝送媒体は秒当たり数十メガビットのデータを伝送できる超高速通信網から秒当たり３８４キロビットの伝送速度を有する移動通信網などのように多様な伝送速度を有する。このような環境で、多様な速度の伝送媒体を支援するため、または伝送環境に応じてこれに適した伝送率でマルチメディアを伝送できるようにする、すなわちスケーラビリティ（ｓｃａｌａｂｉｌｉｔｙ）を有するデータコーディング方法がマルチメディア環境により適しているといえる。

このようなスケーラビリティとは、一つの圧縮されたビットストリームに対してビット率、エラー率、システム資源などの条件に応じてデコーダ（ｄｅｃｏｄｅｒ）端またはプリデコーダ（ｐｒｅ−ｄｅｃｏｄｅｒ）端で部分的デコーディングをするようにする符号化方式である。デコーダまたはプリデコードはこのようなスケーラビリティを有するコーディング方式で符号化されたビットストリームの一部だけを取って異なる画質、解像度、またはフレーム率を有するマルチメディアシーケンスを復元することができる。

このようなスケーラブルビデオコーディングに関して、すでにＭＰＥＧ−２１（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ−２１）ＰＡＲＴ−１３ではその標準化作業を進行中にある。この中でも、多階層（ｍｕｌｔｉ−ｌａｙｅｒｅｄ）基盤のビデオコーディング方法によってスケーラビリティを具現しようとする多くの研究があった。このような多階層ビデオコーディングの例として、基礎階層（ｂａｓｅ ｌａｙｅｒ）、第１向上階層（ｅｎｈａｎｃｅｄ ｌａｙｅｒ １）、第２向上階層（ｅｎｈａｎｃｅｄ ｌａｙｅｒ ２）の多階層を置き、それぞれの階層は互いに異なる解像度（ＱＣＩＦ、ＣＩＦ、２ＣＩＦ）、または互いに異なるフレーム率（ｆｒａｍｅ−ｒａｔｅ）を有するように構成することができる。

図１は多階層構造を利用したスケーラブルビデオコーディング方式の一形態を示している。前記方式で、基礎階層はＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）、１５Ｈｚ（フレーム率）に設定され、第１向上階層はＣＩＦ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）、３０ｈｚに、第２向上階層をＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、６０ｈｚと設定される。

このような多階層ビデオフレームをエンコーディングするのには階層間の関連性を利用し得るが、例えば、第１向上階層のビデオフレーム中、ある領域１２は、基礎階層のビデオフレーム中において対応される領域１３からの予測によって、効率的にエンコーディングされ得る。同様に第２向上階層ビデオフレーム中の領域１１は前記第１向上階層の領域１２からの予測によって効率的にエンコーディングされ得る。もし、多階層ビデオにおいて各階層別に解像度が相異する場合には前記予測を遂行する以前に基礎階層のイメージはアップサンプリングされなければならないであろう。

現在、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）とＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）のビデオ専門家たち集いであるＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）で進行中のスケーラブルビデオコーディング（以下、ＳＶＣという）標準では、既存のＨ．２６４を基盤とし図１の例のような多階層基盤のコーディング技術に関する研究が活発に進められている。

ところで、Ｈ．２６４では空間的変換方法としてＤＣＴ変換を利用するが、このようなＤＣＴ基盤のコーデックでは圧縮率が高まるに応じて好ましくないブロック人為性（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔｓ）が発生する。このようなブロック人為性を発生させる原因では大きく二つをあげることができる。

その原因はまず、ブロック基盤の定数ＤＣＴ変換に起因する。前記ＤＣＴ変換結果のＤＣＴ係数を量子化することによってブロック境界での不連続性が発生するためである。Ｈ．２６４では相対的に小さい大きさの４ｘ４大きさのＤＣＴ変換単位を利用するためこのような問題は多少減るだろうが充分に解決されたとは見ることができない。

そして、ブロック人為性を発生させる二番目の原因はモーション補償予測である。モーション補償ブロックは異なる参照フレームの異なる位置から補間されたピクセルデータをコピーして生成される。このデータが正確に一致しないため、コピーされたブロックのエッジには不連続性が発生する。また、前記コピー過程において参照フレームに存在するブロックの不連続性はモーション補間されるブロックの内部にそのまま伝達される。

最近、このようなブロック人為性を減少させるための幾つかの技術が開発された。Ｈ．２６３およびＭＰＥＧ−４ではブロッキング効果を減少させるために重複ブロックモーション補償（ｏｖｅｒｌａｐｐｅｄ ｂｌｏｃｋ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ；ＯＢＭＣ）技法を提示する。ＯＢＭＣがブロック人為性の減少に効果的であるとしても、エンコーダ端でのモーション推定時に要求される演算量が非常に大きいという問題がある。したがって、Ｈ．２６４ではデブロックフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）を利用して前記ブロック人為性を減少させ主観的／客観的画質を向上させようとする。前記フィルタによるフィルタリング過程は、エンコーダまたはデコーダ端で、逆変換以後、マクロブロックを復元する前に適用される。この場合、色々な状況に適するようにデブロックフィルタを適用する強度を調節できる。

図２は従来のＨ．２６４標準によるデブロックフィルタ強度を決定する方法を説明するフローチャートである。ここで、ブロックｑおよびブロックｐはデブロックフィルタを適用するブロック境界をなす二つのブロックであって、各々現在ブロック（ｃｕｒｒｅｎｔ ｂｌｏｃｋ）および隣接ブロック（ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を表す。ｐまたはｑがイントラコーディングされたブロックなのか、対象サンプルがマクロブロック境界に位置するのか、ｐまたはｑがコーディングされたブロックなのかなどに応じて０ないし４まで５種のフィルタ強度（Ｂｓと表示されること）が付与される。ここでＢｓ＝０である場合、該当対象ピクセルはデブロックフィルタを適用しないという意味である。

言い換えれば、このような従来のデブロックフィルタ強度決定では、対象サンプルが存在する現在ブロックおよび隣接ブロックがイントラコーディングされたものなのか、インターコーディングされたものなのか、またはコーディングされていないものであるかをフィルタ強度適用のための基準としている。そして、対象サンプルが４ｘ４ブロックの境界に存在するのか１６ｘ１６マクロブロックの境界に存在するのかも、さらなる適用基準としている。

ところで、現在まで進行されたＳＶＣ標準の草案（ｄｒａｆｔ）では図３のように既存のインターコーディング方式（インターモード）、イントラコーディング方式（イントラモード）だけでなく、下位階層で生成されたフレームを利用して現在階層でのフレームを予測する技術、すなわちイントラＢＬコーディング方式（イントラＢＬモード）を採択している。

図３は前記三種のモードを説明する概略図であって、現在フレーム（１）のあるマクロブロック（４）に対してイントラコーディングをする場合（ｉ）と、現在フレーム（１）と他の時間的位置にあるフレーム（２）を利用してインターコーディングをする場合（ｉｉ）と、前記マクロブロック（４）と対応される基礎階層フレーム（３）の領域（６）のイメージを利用してイントラＢＬコーディングをする場合（ｉｉｉ）を各々示している。

このように、前記スケーラブルビデオコーディング標準ではマクロブロック単位で前記三種の予測方法のうち有利な一つの方法を選択し、それに応じて該当マクロブロックを符号化する方法を利用する。すなわち、一つのマクロブロックではインター予測、イントラ予測およびイントラＢＬ予測のうち一つの予測方法が選択的に使用される。

ところで、現在ＳＶＣ標準ではデブロックフィルタ強度を決定するにおいて図２のフローチャートでも示したように従来Ｈ．２６４標準にそのまま従っている。

しかし、多階層ビデオエンコーダ／デコーダでは各階層別にデブロックフィルタが適用されるため、現在階層フレームを効率的に予測するために下位階層で提供されているフレームにまたデブロックフィルタを強く適用させるのは非合理的である。それにも拘わらず現在のＳＶＣ標準ではイントラＢＬモードをイントラコーディングの一種と見なすため、図２のようなＨ．２６４のフィルタ強度決定方式をそのまま適用することによって、前記フィルタ強度を決定することにおいて現在ブロックがイントラＢＬモードでコーディングされたのか否かは全く考慮されていないという実情である。

各々の状況に適合したフィルタ強度を決定しデブロックフィルタを適用するのが復元されたビデオの客観的、主観的画質の上昇に相当に役立つということは既に知られている。したがって、多階層ビデオエンコーディング／デコーディング時にイントラＢＬモードに該当するのか否かを考慮して適切にフィルタ強度を決定する技法を考案する必要がある。

本発明は、前記した必要性を考慮して創案されたもので、多階層ビデオエンコーダ／デコーダでデブロックフィルタが適用されるブロックがイントラＢＬモードを使用するのか否かに応じて適切なデブロックフィルタ強度を付与することを目的とする。

本発明の目的は前記言及した目的に制限されず、言及されないまた他の目的は次の記載から当業者に明確に理解できるであろう。

前記した目的を達成するために、スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードでコーディングされた現在ブロックとおよびその隣接ブロックとの境界に対するデブロックフィルタリング時にフィルタ強度を決定する方法において、（ａ）前記現在ブロックまたは前記隣接ブロックが係数を有するのかを判断する段階と、（ｂ）前記判断の結果、そのような場合には前記フィルタ強度を第１フィルタ強度に設定する段階、および（ｃ）前記判断の結果、そうでない場合には前記フィルタ強度を前記第１フィルタ強度より小さい第２フィルタ強度に設定する段階を含む。

前記した目的を達成するために、スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードでコーディングされた現在ブロックとおよびその隣接ブロックとの境界に対するデブロックフィルタリング時にフィルタ強度を決定する方法において、（ａ）前記現在ブロックおよび前記隣接ブロックが、予測に用いる他の階層のピクチャを示す基礎ピクチャが同一である前記イントラＢＬモードに属すのかを判断する段階と（ｂ）前記判断の結果、そうでない場合には前記フィルタ強度を第１フィルタ強度に設定する段階、および（ｃ）前記判断の結果、そのような場合には前記フィルタ強度を前記第１フィルタ強度よりも小さい第２フィルタ強度に設定する段階を含む。

前記した目的を達成するために、スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードでコーディングされた現在ブロックとおよびその隣接ブロックとの境界に対するデブロックフィルタリング時にフィルタ強度を決定する方法において、（ａ）前記現在ブロックと前記隣接ブロックが係数を有するのかを判断する段階と、（ｂ）前記現在ブロックと前記隣接ブロックが、予測に用いる他の階層のピクチャを示す基礎ピクチャが同一である前記イントラＢＬモードに属すのかを判断する段階、および（ｃ）前記現在ブロックと前記隣接ブロックが係数を有することを第１条件として、前記現在ブロックと前記隣接ブロックが同一な基礎ピクチャを有する前記イントラＢＬモードに属しないことを第２条件とする時、前記二つの条件を共に満足すれば前記フィルタ強度を第１フィルタ強度に設定し、前記二つの条件のうち何れか一つだけ満足すれば前記フィルタ強度を第２フィルタ強度に設定し、前記二つの条件を共に満足しなければ前記フィルタ強度を第３フィルタ強度に設定する段階を含むが、前記第１フィルタ強度、前記第２フィルタ強度、および前記第３フィルタ強度順でどんどん大きさが小さくなる。

前記した目的を達成するために、デブロックフィルタリングを利用する多階層のビデオエンコーディング方法において、（ａ）入力ビデオフレームを符号化する段階と、（ｂ）前記符号化されたフレームを復号化する段階と、（ｃ）前記復号化されたフレームに含まれる現在ブロックと隣接ブロックが成す境界に対して適用するフィルタ強度を決定する段階、および（ｄ）前記決定されたデブロックフィルタ強度に応じて前記境界に対してデブロックフィルタリングを遂行する段階を含み、前記（ｃ）段階は、前記現在ブロック及び前記隣接ブロックが、スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードであり、予測に用いる他の階層のピクチャを示す基礎ピクチャが同一である前記イントラＢＬモードに属しないことを第１条件とし、前記現在ブロックと前記隣接ブロックが係数を有することを第２条件とする時、前記二つの条件を共に満足すれば前記フィルタ強度を第１フィルタ強度に設定し、前記二つの条件のうち何れか一つだけ満足すれば前記フィルタ強度を第２フィルタ強度に設定し、前記二つの条件を共に満足しなければ前記フィルタ強度を第３フィルタ強度に設定する段階を含むが、前記第１フィルタ強度、前記第２フィルタ強度、および前記第３フィルタ強度順でどんどん大きさが小さくなる。

前記した目的を達成するために、デブロックフィルタリングを利用する多階層のビデオデコーディング方法において、（ａ）入力されたビットストリームからビデオフレームを復元する段階と、（ｂ）前記復元されたフレームに含まれる現在ブロックと隣接ブロックが成す境界に対して適用するフィルタ強度を決定する段階、および（ｃ）前記決定されたデブロックフィルタ強度に応じて前記境界に対してデブロックフィルタリングを遂行する段階を含み、前記（ｂ）段階は、前記現在ブロック及び前記隣接ブロックが、スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードであり、予測に用いる他の階層のピクチャを示す基礎ピクチャが同一である前記イントラＢＬモードに属しないことを第１条件とし、前記現在ブロックと前記隣接ブロックが係数を有することを第２条件とする時、前記二つの条件を共に満足すれば前記フィルタ強度を第１フィルタ強度に設定し、前記二つの条件のうち何れか一つだけ満足すれば前記フィルタ強度を第２フィルタ強度に設定し、前記二つの条件を共に満足しなければ前記フィルタ強度を第３フィルタ強度に設定する段階を含むが、前記第１フィルタ強度、前記第２フィルタ強度、および前記第３フィルタ強度順でどんどん大きさが小さくなる。

前記した目的を達成するために、デブロックフィルタリングを利用する多階層のビデオエンコーダにおいて、入力ビデオフレームを符号化する第１ユニットと、前記符号化されたフレームを復号化する第２ユニットと、前記復号化されたフレームに含まれる現在ブロックと隣接ブロックが成す境界に対して適用するフィルタ強度を決定する第３ユニット、および前記決定されたデブロックフィルタ強度に応じて前記境界に対してデブロックフィルタリングを遂行する第４ユニットを含み、前記第３ユニットは、前記現在ブロック及び前記隣接ブロックが、スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードであり、予測に用いる他の階層のピクチャを示す基礎ピクチャが同一である前記イントラＢＬモードに属しないことを第１条件とし、前記現在ブロックと前記隣接ブロックが係数を有することを第２条件とする時、前記二つの条件を共に満足すれば前記フィルタ強度を第１フィルタ強度に設定し、前記二つの条件のうち何れか一つだけ満足すれば前記フィルタ強度を第２フィルタ強度に設定し、前記二つの条件を共に満足しなければ前記フィルタ強度を第３フィルタ強度に設定する段階を含むが、前記第１フィルタ強度、前記第２フィルタ強度、および前記第３フィルタ強度順でどんどん大きさが小さくなる。

前記した目的を達成するために、デブロックフィルタリングを利用する多階層のビデオデコーダにおいて、入力されたビットストリームからビデオフレームを復元する第１ユニットと、前記復元されたフレームに含まれる現在ブロックと隣接ブロックが成す境界に対して適用するフィルタ強度を決定する第２ユニット、および前記決定されたデブロックフィルタ強度に応じて前記境界に対してデブロックフィルタリングを遂行する第３ユニットを含み、前記第２ユニットは、前記現在ブロック及び前記隣接ブロックが、スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードであり、予測に用いる他の階層のピクチャを示す基礎ピクチャが同一である前記イントラＢＬモードに属しないことを第１条件とし、前記現在ブロックと前記隣接ブロックが係数を有することを第２条件とする時、前記二つの条件を共に満足すれば前記フィルタ強度を第１フィルタ強度に設定し、前記二つの条件のうち何れか一つだけ満足すれば前記フィルタ強度を第２フィルタ強度に設定し、前記二つの条件を共に満足しなければ前記フィルタ強度を第３フィルタ強度に設定する段階を含むが、前記第１フィルタ強度、前記第２フィルタ強度、および前記第３フィルタ強度順でどんどん大きさが小さくなる。

本発明によれば、多階層ビデオエンコーダ／デコーダでデブロックフィルタを適用するあるブロックがイントラＢＬモードを使用するのかの可否に応じて適切なデブロックフィルタ強度を付与することができる。

また上記のように適切なデブロックフィルタ強度を付与することによって復元されたビデオの画質の向上を招き得る。

以下、添付された図面を参照し、本発明の好ましい実施形態を詳細に説明する。本発明の利点および特徴、そしてそれらを達成する方法は添付される図面と共に詳細に後述されている実施形態を参照すれば明確になるであろう。しかし本発明は以下で開示される実施形態に限定されるものではなく互いに異なる多様な形態で具現され得るものであり、単に本実施形態は本発明の開示が完全なようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されているもので、本発明は請求項の範囲によってのみ定義される。明細書全体にかけて同一参照符号は同一構成要素を指称する。

本発明において、従来のＨ．２６４による方向的イントラ予測モード（ｄｉｒｅｃｔｉｏｎａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ；以下方向的イントラモードという）と他の階層のピクチャを参照するイントラＢＬモード（ｉｎｔｒａ ＢＬ ｍｏｄｅ）は厳格に区分されるだけでなく、前記イントラＢＬモードはむしろインター予測モード（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ：以下インターモードという）の一種と判断する。なぜならば、インターモードは現在ピクチャを予測するにおいて同一な階層での周辺ピクチャを参照するもので、現在ピクチャを予測するにおいて他の階層のピクチャ、すなわち基礎ピクチャを参照するインターＢＬモードと類似するためである。すなわち、インターモードとイントラＢＬモードはどのピクチャを参照して予測するかの差異だけがあるためである。

一方、本発明ではＨ．２６４でのイントラモードとイントラＢＬモードを明確に区分するために、前記イントラモードは方向的イントラモードと明記する。

本発明では現在ブロックｑがイントラＢＬモードでなければ従来のＨ．２６４でのフィルタ強度を適用し、イントラＢＬモードであればフィルタ強度選択のため新たなアルゴリズムを適用する。前記アルゴリズムによれば、まず現在ブロックｑと隣接した周辺ブロックｐがイントラモードの場合には最大フィルタ強度（Ｂｓ＝４）を適用する。そうではないならば、ｑはイントラＢＬモードであったり、インターモードであるが、この時にはｐまたはｑが係数（ｃｏｅｆｆｉｃｉｅｎｔｓ）を有することを第１条件と、ｐおよびｑが同一基礎ピクチャを有するイントラＢＬモードに属しないことを第２条件と設定する。

前記第１条件はｐおよびｑのうち少なくとも一つが係数を有する場合にはそうでない場合に比べて、相対的に高いフィルタ強度を適用する必要があると考慮した条件である。一般的に、ビデオコーディング時にある値をコーディングするとき、その値がある閾値より小さい場合にはその値を単純に０に変えてコーディングをしない。したがって、この場合にはあるブロックに含まれる係数（ｃｏｅｆｆｉｃｉｅｎｔ）は０になり、前記ブロックは係数を有しないこともある。係数を有しないブロックに対しては高い強度のフィルタを適用する必要がない。

前記第２条件はｐおよびｑが同一基礎ピクチャを有するイントラＢＬモードに属しないことを条件とする。したがって、ｐまたはｑがインターモードに属したりｐおよびｑが互いに異なる基礎ピクチャを有するイントラＢＬモードに属する場合に前記第２条件が満足されない。

図４のように、イントラＢＬモードに属する二つのブロック（ｐ、ｑ）が同一の基礎ピクチャ１５を有するという。前記二つのブロック（ｐ、ｑ）は現在ピクチャ２０に属し、基礎ピクチャ５で各々対応される領域１１、１２を参照してコーディングされる。このように、同一の基礎ピクチャから参照イメージを持ってくる場合には二つのブロックの間の境界の部分にブロック人為性が発生する可能性が低い。しかし、前記参照イメージを各々他の基礎ピクチャから持ってくると当然にブロック人為性が発生する可能性が高いだろう。一方、インターモードの場合には前記二つのブロック（ｐ、ｑ）が同一のピクチャを参照しはするが参照イメージは前記二つのブロック（ｐ、ｑ）とは異なり隣接しない可能性が大きいためブロック人為性が発生する可能性が高い。結論的に、前記第２条件が満足される場合はそうでない場合に比べて、相対的に高いフィルタ強度を適用しなければならないことを知ることができる。

本発明の好ましい実施形態において、前記第１条件および第２条件が全て満足されればフィルタ強度は２と設定され、このうち一つの条件だけ満足されれば１と設定され、二つとも満足されなければ０と設定される。前記フィルタ強度に対する具体的な数値（０、１、２、または４）は一実施例に過ぎないが、その強度の順序だけは前記順序で維持されなければならないものである。

ところで、前記第１条件および前記第２条件が必ず共に判断されなければならないものではない。単純に第１条件だけを判断し、フィルタ強度を決定することもできる。この時、第１条件が満足される場合のフィルタ強度は最小限そうではない場合のフィルタ強度よりは高くなければならないであろう。また、単純に第２条件だけを判断し、フィルタ強度を決定することもできる。この時、第２条件が満足される場合のフィルタ強度は最小限そうではない場合のフィルタ強度よりは高くなければならないであろう。

図５は本発明の一実施形態による多階層ビデオコーダー（ｃｏｄｅｒ）のフィルタ強度決定方法を示すフローチャートである。本明細書でビデオコーダーとはビデオエンコーダおよびビデオデコーダを通称する概念で使用される。図４の実施形態は図２の従来技術と比較する時Ｓ１１０、Ｓ１１５、Ｓ１２５、Ｓ１３０、およびＳ１４５段階がさらに追加されている。

まず、デブロックフィルタを適用する隣接したブロック（例えば、４ｘ４ブロック）の境界を選択する（Ｓ１０）。デブロックフィルタが適用されるのはブロック境界の部分であって、より詳細に話せば前記ブロック境界に隣接している対象サンプルである。前記対象サンプルとは、現在ブロックｑと隣接ブロックｐ間の境界を中心に図６または図７のように配列されたサンプルの集合を意味する。図８に示したように、ブロックの生成順序を考慮する時、現在ブロックｑの上側ブロックおよび左側ブロックが隣接ブロックｐ（ｐａおよびＰｂ）に該当され、したがってデブロックフィルタが適用される対象は現在ブロックｑの上側境界と左側境界となる。もちろん、現在ブロックｑの下側境界および右側境界は次に下側ブロックおよび右側ブロックに対するデブロック施行時にフィルタリングされる。

本発明の好ましい実施形態において、前記ブロックは４ｘ４大きさを有するが、これはＨ．２６４標準でモーション推定時の可変ブロックの最小単位が４ｘ４であることを考慮したものである。しかし、前記ブロックが８ｘ８の大きさまたはその他異なる大きさを有するとしても差し支えないことは当業者ならば十分に知り得るものである。

図６を見れば、ブロック境界が垂直の場合、すなわち現在ブロックｑの左側境界を中心にした対象サンプルが示されている。対象サンプルは垂直境界を中心に隣接ブロックｐに存在する境界線左側４個のサンプル（ｐ０、ｐ１、ｐ２、ｐ３）および現在ブロックｑに存在する境界線右側４個のサンプル（ｑ０、ｑ１ ｑ２、ｑ３）である。いったん対象自体は４個全てが対象になるが実際決定されるフィルタ強度に応じて参照されるサンプルの個数および実際フィルタリングされるサンプルの個数は変わり得る。

一方、図７を見れば、ブロック境界が水平の場合、すなわち現在ブロックｑの上側境界を中心にした対象サンプルが示されている。対象サンプルは水平境界を中心に隣接ブロックｐに存在する境界線の上側４個のサンプル（ｐ０、ｐ１、ｐ２、ｐ３）および現在ブロックｑに存在する境界線の下側４個のサンプル（ｑ０、ｑ１、ｑ２、ｑ３）である。

既存のＨ．２６４標準によれば、デブロックフィルタは輝度信号および色差信号成分に各々適用され、一つのフレームを構成するマクロブロック単位でラスタースキャン（ｒａｓｔｅｒ ｓｃａｎ）順序にしたがって順次に遂行される。各マクロブロックに対して、図６のような垂直方向境界に対するフィルタリングを先に遂行した後、図７のような水平方向境界に対するフィルタリングを遂行し得るが、その反対の順序でフィルタリングを遂行することもできる。

再び図５に戻れば、Ｓ１０段階に続いて現在ブロックｑがイントラＢＬモードに属すのかを判断する（Ｓ１１０）。前記判断の結果、イントラＢＬモードに属さなければ（Ｓ１１０のいいえ）、従来のＨ．２６４でのフィルタ強度決定アルゴリズムに従う。

具体的に見れば、前記対象サンプルが属するブロックｐおよびブロックｑのうち少なくとも一つのが方向的イントラモードに属すのかを判断する（Ｓ１５）。Ｓ１５の判断の結果、イントラモードに属するならば（Ｓ１５のはい）、前記ブロック境界がマクロブロック境界に含まれるのかを判断し（Ｓ２０）、そうであるならばＢｓは４と設定され（Ｓ２５）、そうでないならばＢｓは３と設定される（Ｓ３０）。Ｓ２０の判断はマクロブロック境界では他のブロック境界に比べてブロック人為性が発生する可能性が高いということを考慮したものである。

前記Ｓ１５の判断の結果、そうではないならば（Ｓ１５のいいえ）、ブロックｐとブロックｑのうちでコーディングされたものがあるのか、すなわちブロックｐまたはブロックｑが係数を有するのかを判断する（Ｓ３５）。もしブロックｐとブロックｑのうちコーディングされたブロックが一つでも存在すれば（Ｓ３５のはい）、Ｂｓは２と設定される（Ｓ４０）。しかし、両ブロックがすべてコーディングされていない場合には（Ｓ３５のいいえ）、ブロックｐおよびブロックｑ間に参照フレームが互いに異なったり、参照フレームの数が互いに異なる場合（Ｓ４５のはい）にはＢｓは１と設定される（Ｓ５０）。その理由は参照フレームが互いに異なるということは相対的にブロック人為性が発生する可能性が大きいということを意味するためである。

Ｓ４５の判断の結果、そうでなければ（Ｓ４５のいいえ）、ブロックｐおよびブロックｑのモーションベクタが互いに異なるのかを判断する（Ｓ５５）。これは両ブロックが同じ参照フレームを有する場合（Ｓ４５のいいえ）にもモーションベクタが一致しない場合はモーションベクタが一致する場合に比べ、ブロック人為性が発生する可能性が相対的に高いということを反映するためである。Ｓ５５の判断の結果、そうであるならば（Ｓ５５のはい）Ｂｓは１と設定され（Ｓ５０）そうでないならばＢｓは０と設定された（Ｓ６０）。

一方、Ｓ１１０の判断の結果、ブロックｑがイントラＢＬモードに属しなら（Ｓ１１０のはい）、本発明で提案する第１条件と第２条件を利用してフィルタ強度を決定する。

具体的に見れば、まず隣接ブロックｐが方向的イントラモードに属すのかを判断する（Ｓ１１５）。前記ｐが方向的イントラモードに属す場合にはＢｓは４と設定される（Ｓ１２０）。フレーム内の類似性を利用するイントラコーディング（ｉｎｔｒａ ｃｏｄｉｎｇ）はフレーム間の類似性を利用するインターコーディング（ｉｎｔｅｒ ｃｏｄｉｎｇ）に比べて相対的にブロック人為性が大きく示され得るためである。したがってイントラコーディングされたブロックが存在する場合はそうではない場合に比べて相対的にフィルタ強度を高める。

前記ｐが方向的イントラモードに属しないならば（Ｓ１１５のいいえ）、始めて第１条件および第２条件を判断するようになる。まず、第１条件、すなわちｐまたはｑが係数を有するのかを判断して（Ｓ１２５）、そうであるならばｐおよびｑが同一基礎ピクチャを有するイントラＢＬモードに属すのかを判断し（Ｓ１３０）、そうであるならば（Ｓ１３０のはい）すなわち第２条件が満足されないならばＢｓは１と設定される（Ｓ１４０）。もし、そうでないならば（Ｓ１３０のいいえ）すなわち第２条件が満足されたらＢｓは２と設定される（Ｓ１３５）。

Ｓ１２５で、ｐおよびｑがすべて係数を有しないならば（Ｓ１２５のいいえ）、同様にｐおよびｑが同一基礎ピクチャを有するイントラＢＬモードに属すのかを判断し（Ｓ１４５）、そうであるならば（Ｓ１４５のはい）すなわち第２条件が満足されないならばＢｓは０と設定される。もし、そうでないならば（Ｓ１４５のいいえ）すなわち第２条件が満足されたらＢｓは１と設定される。

以上Ｓ１２０、Ｓ１３５、Ｓ１４０、およびＳ１５０段階で各々Ｂｓは４、２、１および０と設定されることにした。しかしこれは好ましい実施形態であるだけであり、前記フィルタ強度（Ｂｓ）の順序が維持される限り他の値に設定されても本発明の技術的思想を外れない。

現在ブロックｑがイントラＢＬモードに属しない場合（Ｓ１１０のいいえ）とは異なり、前記ｑがイントラＢＬモードに属する場合（Ｓ１１０のはい）には前記ブロック境界がＳ２０のようにマクロブロック境界なのかを判断する段階は含まれていない。これは現在ブロックがイントラＢＬモードに属する場合には前記ブロック境界がマクロブロック境界に属すのかの可否がフィルタ強度の変化にそれほど影響を及ぼさないということを確認できたためである。

図９は図５のようなフィルタ強度決定方式を使用するデブロックフィルタを含む多階層ビデオエンコーダの構成を示したものである。前記多階層ビデオエンコーダはクローズループ（ｃｌｏｓｅｄ−ｌｏｏｐ）方式、またはオープンループ（ｏｐｅｎ−ｌｏｏｐ）方式で具現され得る。ここでクローズループ方式という本来のフレームを参照でし、予測を遂行する方式を、オープンループ方式という復元されたフレームを参照とし、予測を遂行する方式を意味する。

選択部２８０は基礎階層エンコーダ１００のアップサンプラ１９５から伝達される信号と、モーション補償部２６０から伝達される信号と、イントラ予測部２７０から伝達される信号のうち一つを選択して出力する。このような選択はイントラＢＬモード、インター予測モード、およびイントラ予測モードのうちでよりコーディング効率が高い方を選択する過程で遂行される。

イントラ予測部２７０は加算器２１５から提供される復元された隣接ブロックイメージから所定のイントラ予測モードによって現在ブロックのイメージを予測する。Ｈ．２６４ではこのようなイントラ予測モードを定義しているが、前記イントラ予測モードは方向性を有する８個のモードと一つのＤＣモードを含み、総９個が存在する。このうちいかなるモードを使用するのかということもコーディング効率が高い方を選択する方式で成される。イントラ予測部２７０は前記選択されたイントラ予測モードによって生成される予測ブロックを加算器２０５に提供する。

モーション推定部２５０は入力ビデオフレームのうちで、参照フレームを基準で現在マクロブロックのモーション推定を遂行してモーションベクタを求める。このような動き推定のために広く使用されるアルゴリズムはブロック整合（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）アルゴリズムである。すなわち、与えられたモーションブロックを参照フレームの特定探索領域内でピクセル単位で動きつつ、そのエラーが最低となる場合の変位を動きベクターとして推定するものである。モーション推定のために固定された大きさのモーションブロックを利用することもできるが、階層的可変サイズブロック整合法（Ｈｉｅｒａｒｃｈｉｃａｌ Ｖａｒｉａｂｌｅ Ｓｉｚｅ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ；ＨＶＳＢＭ）による可変大きさを有するモーションブロックを利用してモーション推定を遂行することもできる。モーション推定部２５０はモーション推定結果、求められるモーションベクタ、モーションブロックのモード、参照フレーム番号などのモーションデータをエントロピ符号化部２４０に提供する。

モーション補償部２６０は前記モーション推定部２５０で計算されたモーションベクタおよび参照フレームを利用してモーション補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を遂行して現在フレームに対するインター予測イメージを生成する。

差分機２０５は現在入力フレーム信号において前記選択部２８０が選択された信号を差分することによって残余フレーム（ｒｅｓｉｄｕａｌ ｆｒａｍｅ）を生成する。

空間的変換部２２０は差分機２０５によって生成された残余フレームに対して空間的変換（ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍ）を遂行する。このような空間的変換方法としてはＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換（ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ）等が使用され得る。空間的変換結果変換係数が求められるが、空間的変換方法でＤＣＴを使用する場合、ＤＣＴ係数が、ウェーブレット変換を使用する場合にウェーブレット係数が求められる。

量子化部２３０は空間的変換部２２０で求めた変換係数を量子化して量子化係数を生成する。量子化（ｑｕａｎｔｉｚａｔｉｏｎ）とは任意の実数値で表現される前記変換係数を一定区間で分けて不連続的な値（ｄｉｓｃｒｅｔｅ ｖａｌｕｅ）で示す作業を意味する。このような量子化方法ではスカラー量子化、ベクター量子化などの方法があるが、このうち簡単なスカラー量子化方法は変換係数を量子化テーブルの該当値に分けた後、整数の桁に四捨五入する過程で遂行される。

一方、空間的変換方法でウェーブレット変換を利用する場合には量子化方法として主にエンベデッド量子化（ｅｍｂｅｄｄｅｄ ｑｕａｎｔｉｚａｔｉｏｎ）方法を利用する。このようなエンベデッド量子化方法は前記変換係数を、閾値を変更させつつ（１／２に変更）その閾値を越える成分を優先的に符号化する方式であって、空間的関連性（ｓｐａｔｉａｌ ｒｅｄｕｎｄａｎｃｙ）を利用して効率的な量子化を遂行する。このようなエンベデッド量子化方法ではＥＺＷ（Ｅｍｂｅｄｄｅｄ Ｚｅｒｏｔｒｅｅｓ Ｗａｖｅｌｅｔ Ａｌｇｏｒｉｔｈｍ）、ＳＰＩＨＴ（Ｓｅｔ Ｐａｒｔｉｔｉｏｎｉｎｇ ｉｎ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒｅｅｓ）、ＥＺＢＣ（Ｅｍｂｅｄｄｅｄ ＺｅｒｏＢｌｏｃｋ Ｃｏｄｉｎｇ）等がある。

以上のエントロピ符号化以前の段階までの符号化過程を損失符号化過程という。
エントロピ符号化部２４０は前記量子化係数と、モーション推定部２５０によって提供されるモーション情報を無損失符号化し出力ビットストリームを生成する。このような無損失符号化方法としては、算術符号化（ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、可変長符号化（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）等が使用され得る。

図１０は前記生成されるビットストリーム５０の構造の例を示したものである。Ｈ．２６４ではビットストリームはスライス（ｓｌｉｃｅ）単位で符号化される。ビットストリーム５０はスライスヘッダー（ｓｌｉｃｅ ｈｅａｄｅｒ；６０）と、スライスデータ（ｓｌｉｃｅ ｄａｔｅ；７０）を含み、スライスデータ７０は複数のマクロブロックデータ（ＭＢ；７１ないし７４）で構成される。また一つのマクロブロックデータ７３はｍｂ＿ｔｙｐｅフィールド８０と、ｍｂ＿ｐｒｅｄフィールド８５と、テクスチャデータ（ｔｅｘｔｕｒｅ ｄａｔａ）フィールド９０で構成され得る。

ここで、ｍｂ＿ｔｙｐｅフィールド８０にはマクロブロックの種類を表す値が記録される。すなわち、現在マクロブロックがイントラマクロブロック（ｉｎｔｒａ ｍａｃｒｏｂｌｏｃｋ）なのか、インターマクロブロック（ｉｎｔｅｒ ｍａｃｒｏｂｌｏｃｋ）なのか、またはイントラＢＬマクロブロック（ｉｎｔｒａ ＢＬ ｍａｃｒｏｂｌｏｃｋ）なのかを表す。

そして、ｍｂ＿ｐｒｅｄフィールド８５には前記マクロブロックの種類による細部予測モードが記録される。イントラマクロブロックの場合には前記選択されたイントラ予測モードが記録され、インターマクロブロックの場合にはマクロブロックパーテーション別に参照フレーム番号およびモーションベクタが記録される。

テクスチャデータフィールド９０には符号化された残余フレーム、すなわちテクスチャデータが記録される。
改めて図９を参照すれば、向上階層エンコーダ２００は逆量子化部２７１、逆ＤＣＴ変換部２７２、および加算器２１５をさらに含むが、これら損失符号化されたフレームを逆に復号化して復元するために使用される。

逆量子化部２７１は量子化部２３０で量子化された係数を逆量子化する。このような逆量子化過程は量子化過程の逆に該当する過程である。そして、逆空間的変換部２７２は前記逆量子化結果を逆空間的変換して、これを加算器２１５に提供する。

加算器２１５は逆空間的変換部２７２から提供された信号と選択部２８０で選択され、フレームバッファ（未図示）に保存された予測信号を加算して、ビデオフレームを復元する。加算器２１５によって復元されたビデオフレームはデブロックフィルタ２９０に提供され、前記復元されたビデオフレームのうち隣接ブロックのイメージはイントラ予測部２７０に提供される。

フィルタ強度決定部２９１は図５で説明したフィルタ強度決定方式によって一つのマクロブロックでのマクロブロック境界およびブロック（例：４ｘ４ブロック）境界に対してフィルタ強度を決定する。輝度成分（ｌｕｍｉｎａｎｃｅ ｃｏｍｐｏｎｅｎｔ）の場合、マクロブロックは図１１のように１６ｘ１６の大きさだが、色差成分（ｃｈｒｏｍｉｎａｎｃｅ ｃｏｍｐｏｎｅｎｔ）の場合、マクロブロックは図１２のように８ｘ８大きさを有する。図１１および図１２で一つのマクロブロックに対してフィルタ強度を表示する境界の部分には「Ｂｓ」と表記した。ただし、マクロブロックの右側境界線および下側境界線には表示されていない。現在マクロブロックの右側または下側にマクロブロックが存在しなければ、その部分に対するデブロックフィルタは不必要なものであり、右側または下側にマクロブロックが存在すれば該当マクロブロックに対するデブロックフィルタリング時に前記境界線に対するフィルタ強度が決定されるためである。

デブロックフィルタ２９０はフィルタ強度決定部２９１で決定されたフィルタ強度に応じて各々の境界線に対して実際にデブロックフィルタリングを遂行する。改めて図４および図５を参照すれば、垂直境界または水平境界の両側での４個のピクセルが示されている。各々のフィルタリング動作は境界の両側の最大３個のピクセルに、すなわち最大｛ｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２｝にまで影響を及ぼし得る。これはフィルタ強度（Ｂｓ）と、隣接したブロックの量子化パラメータ（ＱＰ）等を考慮して決定される。

ところでデブロックフィルタリングにおいて、ピクチャに存在する実際エッジ（ｒｅａｌ ｅｄｇｅ）とＤＣＴ係数を量子化して発生したエッジを区別するのは大変重要である。イメージの鮮明さを維持するために、実際エッジは可能な限りフィルタリングされず残っていなければならず、人為的なエッジはフィルタリングされ眼に触れないようにされなくてはならない。したがって次の式（１）の条件がすべて満足される時にだけフィルタリングが遂行される。

ここで、αとβは量子化パラメータ、ＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢ等により定められる閾値（ｔｈｒｅｓｈｏｌｄ）である。

もし、Ｂｓが１、２、３のうちで一つで、４−タブフィルタ（４−ｔａｂ ｆｉｌｔｅｒ）が入力ｐ１、ｐ０、ｑ０、およびｑ１に適用されれば、フィルタリングされた出力はＰ０（ｐ０をフィルタリングした結果）、およびＱ０（ｑ０をフィルタリングした結果）となるであろう。輝度成分において、もし

ならば、４−タブフィルタは入力ｐ２、ｐ１、ｐ０およびｑ０に適用され、フィルタリングされた出力はＰ１（ｐ１をフィルタリングある結果）となるであろう。同様に、もし

ならば、４−タブフィルタはｑ２、ｑ１、ｑ０、およびｐ０に適用され、フィルタリングされた出力はＱ１（ｑ１をフィルタリングした結果）となるであろう。

一方、Ｂｓが４ならば、３−タブフィルタ、４−タブフィルタ、または５−タブフィルタが適用され、閾値α、β、および実際８個のピクセルに基づいてＰ０、Ｐ１、Ｐ２（ｐ０、ｐ１、ｐ２をフィルタリングした結果）、Ｑ０、Ｑ１、およびＱ２（ｑ０、ｑ１、ｑ２をフィルタリングした結果）が出力される。

改めて図９に戻れば、デブロックフィルタ２９０によってフィルタリングされた結果フレーム（Ｄ１）は他の入力フレームに対するインター予測をするのに使用するためにモーション推定部２５０に提供される。また、現在向上階層上位の向上階層がさらに存在する場合には前記Ｄ１は上位の向上階層でイントラＢＬモードの予測を遂行するのに参照フレームとして提供され得る。

ただし、上記のようにデブロックフィルタの出力Ｄ１がモーション推定部２５０に入力されるのはクローズループ方式のビデオエンコーダの場合だけである。ＭＣＴＦ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ）基盤のビデオエンコーダのようにオープンループ方式を利用する場合にはインター予測時に参照フレームとして原本フレームを利用するためデブロックフィルタの出力が再度モーション推定部２５０に入力される必要はない。

一方、基礎階層エンコーダ１００は、空間的変換部１２０、量子化部１３０、エントロピ符号化部１４０、モーション推定部１５０、モーション補償部１６０、イントラ予測部１７０、選択部１８０、逆量子化部１７１、逆空間的変換部１７２、ダウンサンプラ１０５、アップサンプラ１９５、デブロックフィルタ１９０を含み構成され得る。

ダウンサンプラ１０５は原入力フレームを基礎階層の解像度でダウンサンプリング（ｄｏｗｎ−ｓａｍｐｌｉｎｇ）し、アップサンプラ１９５はデブロックフィルタ１９０でフィルタリングされた結果をアップサンプリングして向上階層の選択部２８０に提供する。

ただし、基礎階層エンコーダ１００では下位階層の情報を利用できないため選択部１８０はイントラ予測信号およびインター予測信号のうち一つを選択するようになり、デブロックフィルタ１９０は従来のＨ．２６４と同じ方式でフィルタ強度を決定するようになる。

これ以外に他の構成要素は前記向上階層エンコーダ２００に存在する同一名称の構成要素の動作と同様であるため重複的な説明は省略する。

図１３は本発明の一実施形態によるビデオデコーダ３０００の構成の一形態を図示したブロック図である。ビデオデコーダ３０００は大きく分けて向上階層デコーダ６００と、基礎階層デコーダ５００を含み構成され得る。

まず、向上階層デコーダ６００の構成を察し見る。エントロピ復号化部６１０は入力される向上階層ビットストリームに対してエントロピ符号化方式の逆に無損失復号化を遂行し、マクロブロックタイプ情報（マクロブロックの種類を表す情報）、イントラ予測モード、モーション情報、およびテクスチャデータなどを抽出する。

ここで、前記ビットストリームは図９で示した形態のように構成され得る。ここでマクロブロックの種類はｍｂ＿ｔｙｐｅフィールド８０から知ることができ、具体的なイントラ予測モードおよびモーション情報はｍｂ＿ｐｒｅｄフィールド８５から知ることができる。そして、テクスチャデータはテクスチャデータフィールド９０を読むことによって知ることができる。

エントロピ復号化部６１０は、テクスチャデータは逆量子化部６２０に提供し、イントラ予測モードはイントラ予測部６４０に提供し、モーション情報はモーション補償部６５０に提供する。そして、現在マクロブロックの種類情報はフィルタ強度決定部６９１に提供する。

逆量子化部６２０はエントロピ復号化部６１０から伝達されたテクスチャ情報を逆量子化する。この時、ビデオエンコーダ側で使用したものと同一の量子化テーブルを利用する。

次に、逆空間的変換部６３０は前記逆量子化の結果に対して逆空間的変換を遂行する。このような逆空間的変換はビデオエンコーダ端での空間的変換に対応される方式で遂行される。すなわち、エンコーダ端でＤＣＴ変換を遂行すれば、ここでは逆ＤＣＴ変換を、エンコーダ端でウェーブレット変換を遂行すれば、ここでは逆ウェーブレット変換を遂行する。逆空間的変換の結果、残余フレームが復元される。

イントラ予測部６４０はエントロピ復号化部６１０から伝達されるイントラ予測モードに応じて加算器６１５から出力される復元された周辺イントラブロックから現在イントラブロックに対する予測ブロックを生成し選択部６６０に提供する。

一方、モーション補償部６５０はエントロピ復号化部６１０から提供されるモーション情報およびデブロックフィルタ６９０から提供される参照フレームを利用してモーション補償を遂行する。モーション補償の結果、生成される予測フレームは選択部６６０に提供される。

そして、選択部６６０はアップサンプラ５９０から伝達される信号と、モーション補償部６５０から伝達される信号、およびイントラ予測部６４０から伝達される信号のうち一つを選択して、加算器６１５に伝達する。この時、選択部６６０はエントロピ復号化部６１０から提供される現在マクロブロックタイプ情報を把握しその種類に応じて三種の信号のうち該当信号を選択する。

加算器６１５は前記逆空間的変換部６３０から出力される信号で前記選択部６６０で選択された信号を加算することによって向上階層のビデオフレームを復元する。

フィルタ強度決定部６９１は図５で説明したフィルタ強度決定方式によって一つのマクロブロックでのマクロブロック境界およびブロック境界に対してフィルタ強度を決定する。この場合、現在フィルタリングを遂行するためには現在マクロブロックの種類、すなわち現在マクロブロックがイントラマクロブロック、インターマクロブロック、およびイントラＢＬマクロブロックのうち、どんなものなのかを知らなければならないが、このようなマクロブロックの種類に関する情報はビットストリームのヘッダーの部分に含まれ、ビデオデコーダ３０００側に伝達される。

デブロックフィルタ６９０はフィルタ強度決定部６９１で決定されたフィルタ強度に応じて各々の境界線に対して実際にデブロックフィルタリングを遂行する。このような、デブロックフィルタ６９０によってフィルタリングされた結果フレーム（Ｄ３）は他の入力フレームに対するインター予測フレームを生成するためにモーション補償部６５０に提供される。また、現在向上階層上位の向上階層がさらに存在する場合には前記Ｄ３は上位の向上階層でイントラＢＬモードの予測を遂行するのに参照フレームとして提供され得る。

一方、基礎階層デコーダ５００の構成も向上階層の構成と類似する。ただし、基礎階層デコーダ５００では下位階層の情報を利用できないため選択部５６０はイントラ予測信号およびインター予測信号のうち一つを選択するようになり、デブロックフィルタ５９０は従来のＨ．２６４と同じ方式でフィルタ強度を決定するようになる。また、アップサンプラ５９５はデブロックフィルタ５９０でフィルタリングされた結果をアップサンプリングし向上階層の選択部６６０に提供する。

これ以外に他の構成要素は前記向上階層デコーダ６００に存在する同一名称の構成要素の動作と同様であるため重複的な説明は省略する。

以上の説明で、ビデオエンコーダおよびビデオデコーダは各々一つの基礎階層および一つの向上階層、すなわち２個の階層から成されるものとして説明した。しかしこれは一つの形態に過ぎず当業者ならば、このような本発明の説明を背景に３ケ以上の階層を有するように具現することもできるであろう。

今まで図９および図１３の各構成要素はソフトウェアまたは、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）やＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）のようなハードウェアを意味し得る。しかし前記構成要素はソフトウェアまたはハードウェアに限定される意味ではなく、アドレッシングできる保存媒体に存在するように構成され得るが、またはそれ以上のプロセッサを実行させるように構成され得る。前記構成要素中で提供されている機能はさらに細分化された構成要素によって具現され得、複数の構成要素を合わせて特定の機能を遂行する一つの構成要素で具現することもできる。

以上添付された図面を参照し、本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者は本発明がその技術的思想や必須の特徴を変更せず、他の具体的な形態で実施され得るということを理解するはずである。したがって以上で記述した実施形態はすべての面で例示的なものであり、限定的ではないものと理解しなければならない。

多階層構造を利用したスケーラブルビデオコーディングの一形態を示す図である。 従来のＨ．２６４標準によるデブロックフィルタ強度を決定する方法を説明するフローチャートである。 スケーラブルビデオコーディングでの三種のコーディング方式を説明する概略図である。 同一基礎ピクチャを基盤にしたイントラＢＬモードの一形態を図示する図である。 本発明の一実施形態による多階層ビデオコーダーのフィルタ強度決定方法を示したフローチャートである。 ブロックの垂直境界および対象サンプルを示す図である。 ブロックの水平境界および対象サンプルを示す図である。 現在ブロックｑと隣接ブロックｐａ、ｐｂの位置関係を示す図である。 本発明の一実施形態によるクローズループ方式のビデオエンコーダの構成を示すブロック図である。 本発明の一実施形態により生成されるビットストリームの構造を示す図である。 輝度成分に対するマクロブロックおよびブロックの境界を示す図である。 色差成分に対するマクロブロックおよびブロックの境界を示す図である。 本発明の一実施形態によるビデオデコーダの構成を示したブロック図である。

Claims (18)

1. スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードでコーディングされた現在ブロックとおよびその隣接ブロックとの境界に対するデブロックフィルタリング時にフィルタ強度を決定する方法において、
   （ａ）前記現在ブロックまたは前記隣接ブロックが係数を有するのかを判断する段階と、
   （ｂ）前記判断の結果、そのような場合には前記フィルタ強度を第１フィルタ強度に設定する段階、および
   （ｃ）前記判断の結果、そうでない場合には前記フィルタ強度を前記第１フィルタ強度より小さい第２フィルタ強度に設定する段階を含む、デブロックフィルタ強度決定方法。
2. 前記隣接ブロックが、同階層のピクチャを参照する方向的イントラモードに属すのかを判断し、そのような属す場合に前記フィルタ強度を第３フィルタ強度に設定する段階をさらに含み、前記隣接ブロックが方向的イントラモードに属しない場合に限って、前記（ａ）ないし（ｃ）段階を遂行するが、前記第３フィルタ強度は前記第１フィルタ強度および前記第２フィルタ強度より大きい、請求項１に記載のデブロックフィルタ強度決定方法。
3. 前記境界は、前記現在ブロックおよび前記隣接ブロックの水平境界または垂直境界のうち少なくとも一つを含む、請求項２に記載のデブロックフィルタ強度決定方法。
4. 前記フィルタ強度は０＜１＜２＜３＜４の順に強く、
   前記第１フィルタ強度は２であり、前記第２フィルタ強度は０であり、前記第３フィルタ強度は４である、請求項３に記載のデブロックフィルタ強度決定方法。
5. スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードでコーディングされた現在ブロックとおよびその隣接ブロックとの境界に対するデブロックフィルタリング時にフィルタ強度を決定する方法において、
   （ａ）前記現在ブロックおよび前記隣接ブロックが、予測に用いる他の階層のピクチャを示す基礎ピクチャが同一である前記イントラＢＬモードに属すのかを判断する段階と
   （ｂ）前記判断の結果、そうでない場合には前記フィルタ強度を第１フィルタ強度に設定する段階、および
   （ｃ）前記判断の結果、そのような場合には前記フィルタ強度を前記第１フィルタ強度よりも小さい第２フィルタ強度に設定する段階を含む、デブロックフィルタ強度決定方法。
6. 前記隣接ブロックが方向的イントラモードに属すのかを判断して、そのような場合に前記フィルタ強度を第３フィルタ強度に設定する段階をさらに含み、前記隣接ブロックが方向的イントラモードに属しない場合に限って、前記（ａ）ないし（ｃ）段階を遂行するが、前記第３フィルタ強度は前記第１フィルタ強度および前記第２フィルタ強度より大きい、請求項５に記載のデブロックフィルタ強度決定方法。
7. 前記境界は、前記現在ブロックおよび前記隣接ブロックの水平境界または垂直境界のうち少なくとも一つを含む、請求項６に記載のデブロックフィルタ強度決定方法。
8. 前記フィルタ強度は０＜１＜２＜３＜４の順に強く、
   前記第１フィルタ強度は２であり、前記第２フィルタ強度は１であり、前記第３フィルタ強度は４である、請求項７に記載のデブロックフィルタ強度決定方法。
9. スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードでコーディングされた現在ブロックとおよびその隣接ブロックとの境界に対するデブロックフィルタリング時にフィルタ強度を決定する方法において、
   （ａ）前記現在ブロックと前記隣接ブロックが係数を有するのかを判断する段階と、
   （ｂ）前記現在ブロックと前記隣接ブロックが、予測に用いる他の階層のピクチャを示す基礎ピクチャが同一である前記イントラＢＬモードに属すのかを判断する段階、および
   （ｃ）前記現在ブロックと前記隣接ブロックが係数を有することを第１条件として、前記現在ブロックと前記隣接ブロックが同一な基礎ピクチャを有する前記イントラＢＬモードに属しないことを第２条件とする時、前記二つの条件を共に満足すれば前記フィルタ強度を第１フィルタ強度に設定し、前記二つの条件のうち何れか一つだけ満足すれば前記フィルタ強度を第２フィルタ強度に設定し、前記二つの条件を共に満足しなければ前記フィルタ強度を第３フィルタ強度に設定する段階を含むが、前記第１フィルタ強度、前記第２フィルタ強度、および前記第３フィルタ強度順で大きさが小さくなることを特徴とするデブロックフィルタ強度決定方法。
10. 前記隣接ブロックが方向的イントラモードに属すのかを判断し、そのような場合に前記フィルタ強度を第４フィルタ強度に設定する段階をさらに含み、前記隣接ブロックが方向的イントラモードに属しない場合に限って、前記（ａ）ないし（ｃ）段階を遂行するが、前記第４フィルタ強度は前記第１フィルタ強度、前記第２フィルタ強度および前記第３フィルタ強度より大きい、請求項９に記載のデブロックフィルタ強度決定方法。
11. 前記境界は、前記現在ブロックおよび前記隣接ブロックの水平境界または垂直境界のうち少なくとも一つを含む、請求項１０に記載のデブロックフィルタ強度決定方法。
12. 前記フィルタ強度は０＜１＜２＜３＜４の順に強く、
    前記第１フィルタ強度は２であり、前記第２フィルタ強度は１であり、前記第３フィルタ強度は０であり、前記第４フィルタ強度は４である、請求項１１に記載のデブロックフィルタ強度決定方法。
13. デブロックフィルタリングを利用する多階層のビデオエンコーディング方法において、
    （ａ）入力ビデオフレームを符号化する段階と、
    （ｂ）前記符号化されたフレームを復号化する段階と、
    （ｃ）前記復号化されたフレームに含まれる現在ブロックと隣接ブロックが成す境界に対して適用するフィルタ強度を決定する段階、および
    （ｄ）前記決定されたデブロックフィルタ強度に応じて前記境界に対してデブロックフィルタリングを遂行する段階を含み、
    前記（ｃ）段階は、前記現在ブロック及び前記隣接ブロックが、スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードであり、予測に用いる他の階層のピクチャを示す基礎ピクチャが同一である前記イントラＢＬモードに属しないことを第１条件とし、前記現在ブロックと前記隣接ブロックが係数を有することを第２条件とする時、前記二つの条件を共に満足すれば前記フィルタ強度を第１フィルタ強度に設定し、前記二つの条件のうち何れか一つだけ満足すれば前記フィルタ強度を第２フィルタ強度に設定し、前記二つの条件を共に満足しなければ前記フィルタ強度を第３フィルタ強度に設定する段階を含むが、前記第１フィルタ強度、前記第２フィルタ強度、および前記第３フィルタ強度順で大きさが小さくなることを特徴とする、ビデオエンコーディング方法。
14. 前記（ｃ）段階は、前記隣接ブロックが、同階層のピクチャを参照する方向的イントラモードに属す場合、前記第１フィルタ強度よりも大きい第４フィルタ強度を設定する、請求項１３に記載のビデオエンコーディング方法。
15. デブロックフィルタリングを利用する多階層のビデオデコーディング方法において、
    （ａ）入力されたビットストリームからビデオフレームを復元する段階と、
    （ｂ）前記復元されたフレームに含まれる現在ブロックと隣接ブロックが成す境界に対して適用するフィルタ強度を決定する段階、および
    （ｃ）前記決定されたデブロックフィルタ強度に応じて前記境界に対してデブロックフィルタリングを遂行する段階を含み、
    前記（ｂ）段階は、前記現在ブロック及び前記隣接ブロックが、スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードであり、予測に用いる他の階層のピクチャを示す基礎ピクチャが同一である前記イントラＢＬモードに属しないことを第１条件とし、前記現在ブロックと前記隣接ブロックが係数を有することを第２条件とする時、前記二つの条件を共に満足すれば前記フィルタ強度を第１フィルタ強度に設定し、前記二つの条件のうち何れか一つだけ満足すれば前記フィルタ強度を第２フィルタ強度に設定し、前記二つの条件を共に満足しなければ前記フィルタ強度を第３フィルタ強度に設定する段階を含むが、前記第１フィルタ強度、前記第２フィルタ強度、および前記第３フィルタ強度順で大きさが小さくなることを特徴とする、ビデオデコーディング方法。
16. 前記（ｂ）段階は、前記隣接ブロックが、同階層のピクチャを参照する方向的イントラモードに属す場合、前記第１フィルタ強度よりも大きい第４フィルタ強度を設定する、請求項１５に記載のビデオデコーディング方法。
17. デブロックフィルタリングを利用する多階層のビデオエンコーダにおいて、
    入力ビデオフレームを符号化する第１ユニットと、
    前記符号化されたフレームを復号化する第２ユニットと、
    前記復号化されたフレームに含まれる現在ブロックと隣接ブロックが成す境界に対して適用するフィルタ強度を決定する第３ユニット、および
    前記決定されたデブロックフィルタ強度に応じて前記境界に対してデブロックフィルタリングを遂行する第４ユニットを含み、
    前記第３ユニットは、前記現在ブロック及び前記隣接ブロックが、スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードであり、予測に用いる他の階層のピクチャを示す基礎ピクチャが同一である前記イントラＢＬモードに属しないことを第１条件とし、前記現在ブロックと前記隣接ブロックが係数を有することを第２条件とする時、前記二つの条件を共に満足すれば前記フィルタ強度を第１フィルタ強度に設定し、前記二つの条件のうち何れか一つだけ満足すれば前記フィルタ強度を第２フィルタ強度に設定し、前記二つの条件を共に満足しなければ前記フィルタ強度を第３フィルタ強度に設定する段階を含むが、前記第１フィルタ強度、前記第２フィルタ強度、および前記第３フィルタ強度順で大きさが小さくなることを特徴とする、ビデオエンコーダ。
18. デブロックフィルタリングを利用する多階層のビデオデコーダにおいて、
    入力されたビットストリームからビデオフレームを復元する第１ユニットと、
    前記復元されたフレームに含まれる現在ブロックと隣接ブロックが成す境界に対して適用するフィルタ強度を決定する第２ユニット、および
    前記決定されたデブロックフィルタ強度に応じて前記境界に対してデブロックフィルタリングを遂行する第３ユニットを含み、
    前記第２ユニットは、前記現在ブロック及び前記隣接ブロックが、スケーラブルビデオコーディングにおける下位階層で生成されたフレームを利用して現在階層でのフレームを予測するイントラＢＬモードであり、予測に用いる他の階層のピクチャを示す基礎ピクチャが同一である前記イントラＢＬモードに属しないことを第１条件とし、前記現在ブロックと前記隣接ブロックが係数を有することを第２条件とする時、前記二つの条件を共に満足すれば前記フィルタ強度を第１フィルタ強度に設定し、前記二つの条件のうち何れか一つだけ満足すれば前記フィルタ強度を第２フィルタ強度に設定し、前記二つの条件を共に満足しなければ前記フィルタ強度を第３フィルタ強度に設定する段階を含むが、前記第１フィルタ強度、前記第２フィルタ強度、および前記第３フィルタ強度順で大きさが小さくなることを特徴とするビデオデコーダ。