JP5937720B2 - ピクセルグループ別ピクセル値補償のためのビデオ符号化方法とその装置、及びピクセルグループ別ピクセル値補償のためのビデオ復号化方法とその装置 - Google Patents

Description

本発明は、ビデオの符号化及び復号化に関する。

高解像度または高画質ビデオコンテンツを再生、保存できるハードウェアの開発及び普及につれて、高解像度または高画質ビデオコンテンツを効果的に符号化または復号化するビデオコーデックのニーズが高まりつつある。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式によって符号化されている。

ビデオ符号化／復号化によって映像の画質が歪曲される恐れがあり、復元映像の画質を改善するために、復号化端に復元映像に対して後処理モジュールが追加される場合がある。

本発明は、所定ピクセルグループのピクセル値を補償するためのビデオ符号化方法及びその装置、そしてビデオ復号化方法及びその装置に関する。

本発明の一実施形態によるピクセル値を補償するためのビデオ符号化方法は、映像データを符号化する段階と、符号化された映像データを復号化し、前記復号化された映像データに対してループフィルタリングを行って復元映像を生成する段階と、前記復元映像のうち、所定グループの復元ピクセル及び対応する原本ピクセル間の誤差に対する補償値、及び前記補償値を用いて補償される復元ピクセルを含むピクセルグループを定める段階と、前記補償値を符号化して、前記符号化された補償値及び前記符号化された映像データのビットストリームを伝送する段階と、を含む。

本発明の一実施形態によるピクセル値補償のためのビデオ符号化及びビデオ復号化によって、所定ピクセルグループに対する復元映像及び原本映像間の局所最小値及び最大値に対する平均誤差がそれぞれ定められて、該当ピクセルグループの復元ピクセルのピクセル値が補償される。

本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置のブロック図である。 本発明の一実施形態によるピクセル値補償のためのビデオ復号化装置のブロック図である。 本発明の一実施形態によって復元ピクセルの極値及び／またはエッジ値レベルを定めるために比較対象になる、隣接する復元ピクセルを示す図面である。 本発明の一実施形態による適応的ループフィルタリングのフローチャートである。 本発明の他の実施形態による適応的ループフィルタリングのフローチャートである。 本発明の一実施形態によるピクセル値補償のためのビデオ符号化方法のフローチャートである。 本発明の一実施形態によるピクセル値補償のためのビデオ復号化方法のフローチャートである。 本発明の一実施形態によるツリー構造による符号化単位に基づいて、ループフィルタリング後にピクセル値を補償するためのビデオ符号化装置のブロック図である。 本発明の一実施形態によるツリー構造による符号化単位に基づいて、ループフィルタリング後にピクセル値を補償するためのビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を示す図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及び予測単位を示す図面である。 本発明の一実施形態による符号化単位及び変換単位の関係を示す図面である。 本発明の一実施形態による深度別符号化情報を示す図面である。 本発明の一実施形態による深度別符号化単位を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態によるツリー構造による符号化単位に基づいて、ループフィルタリング後にピクセル値を補償するためのビデオ符号化方法のフローチャートである。 本発明の一実施形態によるツリー構造による符号化単位に基づいて、ループフィルタリング後にピクセル値を補償するためのビデオ復号化方法のフローチャートである。

本発明の一実施形態によるピクセル値を補償するためのビデオ符号化方法は、映像データを符号化する段階と、符号化された映像データを復号化し、前記復号化された映像データに対してループフィルタリングを行って復元映像を生成する段階と、前記復元映像のうち、所定グループの復元ピクセル及び対応する原本ピクセル間の誤差に対する補償値、及び前記補償値を用いて補償される復元ピクセルを含むピクセルグループを定める段階と、前記補償値を符号化して、前記符号化された補償値及び前記符号化された映像データのビットストリームを伝送する段階と、を含む。

本発明の一実施形態による前記補償値及びピクセルグループ決定段階は、前記復元映像のうち隣接する復元ピクセルのピクセル値を比較して、復元ピクセル別に最大値または最小値に近い程度を示す極値レベルを定める段階と、前記定められた極値レベルに基づいて、前記隣接する復元ピクセルのうち補償される復元ピクセルを含むピクセルグループを定める段階と、を含む。本発明の一実施形態による前記極値レベルに基づいたピクセルグループ決定段階は、前記定められた極値レベルに基づいて、前記隣接する復元ピクセルを、同じ極値レベルを持つ復元ピクセルを含むピクセルグループに分類して、少なくとも１つの極値レベルのピクセルグループを前記補償されるピクセルグループに定め、前記補償値及びピクセルグループ決定段階は、前記補償される復元ピクセルに定められた少なくとも１つの極値レベル別に、該当ピクセルグループのための補償値を定める段階をさらに含む。

本発明の一実施形態による前記補償値及びピクセルグループ決定段階は、ピクセル値の全区間が複数に分割された帯域に基づいて、前記復元映像の復元ピクセルを、同じ帯域の復元ピクセルを含む帯域別ピクセルグループに分類する段階と、前記帯域別ピクセルグループごとに補償値を定める段階と、を含む。本発明の一実施形態による前記帯域別ピクセルグループ分類段階は、前記ピクセル値の全区間が２の累の数に分割された帯域に基づいて、前記復元ピクセルを帯域別ピクセルグループに分類できる。本発明の一実施形態において、前記２の累乗の指数は、前記復元ピクセルのビットデプスのうち最上位ビットの数に基づいて定められ、前記ピクセル値の全区間は、拡張されたビットデプスの範囲である。

本発明の一実施形態による前記補償値及びピクセルグループ決定段階は、前記復元映像の復元ピクセルを、同じライン上に位置している復元ピクセルを含むライン別ピクセルグループに分類する段階と、前記ライン別ピクセルグループごとに補償値を定める段階と、を含む。本発明の一実施形態による前記ライン別ピクセルグループ分類段階は、前記復元映像の復元ピクセルのうち、水平方向、垂直方向、対角方向、曲線方向及び所定客体の境界方向のラインを構成する復元ピクセルを検出する段階を含む。

本発明の一実施形態による前記補償値及び補償される復元ピクセル決定段階は、前記ピクセルグループの復元ピクセルと原本ピクセル間の誤差の平均値を用いて前記補償値を定められる。本発明の一実施形態による前記補償値及び補償される復元ピクセル決定段階は、前記補償される復元ピクセル全てのための補償値を定めるか、または前記補償される復元ピクセルの所定グループ別に、補償値を個別的に定められる。

本発明の一実施形態による前記復元映像生成段階は、連続的な複数の１次元フィルタを用いる適応的ループフィルタリングを用いて前記復元映像を生成する。

本発明の一実施形態による前記補償値及び補償される復元ピクセル決定段階は、前記ビデオの映像シーケンス、スライス、フレーム及び符号化単位のうち少なくとも１つのデータ単位別に、前記補償値及び前記補償される復元ピクセルを定める。

本発明の一実施形態による前記ビットストリーム伝送段階は、前記符号化された補償値をスライスヘッダに挿入して伝送できる。

本発明の一実施形態による前記映像データの符号化段階は、ピクチャーを最大サイズの符号化単位に分割する段階と、それぞれの最大符号化単位に対して、深度（デプス）が深くなるにつれて前記最大符号化単位が階層的に分割された領域別に、少なくとも１つの深度別符号化単位ごとに符号化を行って、最小符号化誤差を発生させる少なくとも１つの符号化深度に関する情報を含む、前記符号化深度の符号化単位に対する符号化モードを定める段階と、前記定められた符号化深度及び符号化モードによる符号化結果である符号化された映像データを出力する段階と、を含む。

本発明の一実施形態によるピクセル値補償のためのビデオ復号化方法は、符号化された映像に対するビットストリームをパージングして、前記ビットストリームから符号化された映像データ及び補償値を抽出する段階と、前記抽出された映像データを復号化し、前記復号化された映像データに対してループフィルタリングを行って復元映像を生成する段階と、前記復元映像の復元ピクセルのうち、前記抽出された補償値を用いて補償する復元ピクセルを含むピクセルグループを定める段階と、前記定められたピクセルグループの復元ピクセルに対して、前記抽出された補償値を用いて前記復元ピクセル及び対応する原本ピクセル間の誤差を補償する段階と、を含む。

本発明の一実施形態による前記ピクセルグループ決定段階は、前記復元映像のうち隣接する復元ピクセルのピクセル値を比較して、復元ピクセル別に極値レベルを定める段階と、前記定められた極値レベルに基づいて、前記隣接する復元ピクセルのうち補償する復元ピクセルを定める段階と、を含む。本発明の一実施形態による前記定められた極値レベルに基づいたピクセルグループ決定段階は、前記定められた極値レベルに基づいて、前記隣接する復元ピクセルを、同じ極値レベルを持つ復元ピクセルを含むピクセルグループに分類する段階と、少なくとも１つの所定極値レベルのピクセルグループを、前記ピクセル値を補償するピクセルグループに定める段階をさらに含む。本発明の一実施形態による前記ピクセル値補償段階は、前記極値レベル別ピクセルグループごとにピクセル値を補償するための、前記極値レベル別補償値を用いて、前記極値レベル別ピクセルグループの復元ピクセルのピクセル値の誤差を補償できる。

本発明の一実施形態による前記ピクセルグループ決定段階は、前記復元映像の復元ピクセルを帯域別ピクセルグループに分類する段階を含む。本発明の一実施形態による前記ピクセル値補償段階は、前記極値レベル別ピクセルグループごとにピクセル値を補償するための、前記極値レベル別補償値を用いて、前記極値レベル別ピクセルグループの復元ピクセルのピクセル値を補償できる。

本発明の一実施形態による前記ピクセルグループ決定段階は、前記復元映像の復元ピクセルを、同じライン上に位置している復元ピクセルを含むライン別ピクセルグループに分類する段階を含む。本発明の一実施形態による前記ピクセル値補償段階は、前記ライン別ピクセルグループの復元ピクセルのためのラインピクセルグループ別補償値を用いて、前記ライン別ピクセルグループの復元ピクセルのピクセル値を補償できる。本発明の一実施形態による前記ライン別ピクセルグループ分類段階は、前記復元映像の復元ピクセルのうち、水平方向、垂直方向、対角方向、曲線方向及び所定客体の境界方向のラインを構成する復元ピクセルを検出する段階を含む。

本発明の一実施形態による前記補償値は、符号化段階で、前記ピクセルグループの前記復元ピクセル及び対応する原本ピクセル間の誤差の平均値を用いて定められて伝送されたものである。本発明の一実施形態による前記補償される復元ピクセル補償段階は、前記補償値を用いて前記補償される復元ピクセル全てを補償する。本発明の一実施形態による前記補償される復元ピクセル補償段階は、前記補償される復元ピクセルの所定グループ別に個別的に定められた補償値を用いて、前記復元ピクセルのピクセル値を補償できる。

本発明の一実施形態による前記復元映像生成段階は、前記ループフィルタリングは、連続的な複数の１次元フィルタを用いる適応的ループフィルタリングを用いて前記復元映像を生成する段階を含む。

本発明の一実施形態による前記抽出段階は、前記符号化された映像データは、ピクチャーを最大サイズの符号化単位に分割し、それぞれの最大符号化単位に対して、深度が深くなるにつれて前記最大符号化単位が階層的に分割された領域別に、少なくとも１つの深度別符号化単位ごとに符号化を行うことで前記ピクチャーが符号化され、最小符号化誤差を発生させる少なくとも１つの符号化深度に関する情報を含む、前記符号化深度の符号化単位に対する符号化モードに関する情報が前記ビットストリームからさらに抽出され、本発明の一実施形態による前記復元映像生成段階は、前記符号化モードに関する情報に基づいて、前記符号化深度及び符号化モードに基づいて前記符号化された映像データを復号化して前記ループフィルタリングを行える。

本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置は、映像データを符号化する符号化部と、符号化された映像データを復号化し、前記復号化された映像データに対してループフィルタリングを行って復元映像を生成する復元映像生成部と、前記復元映像のうち、復元ピクセルの所定グループ及び対応する原本ピクセル間の誤差に対する補償値、及び前記補償値を用いて補償される復元ピクセルを含むピクセルグループを定める補償値及びピクセルグループ決定部と、前記補償値を符号化して前記符号化された補償値及び前記符号化された映像データのビットストリームを伝送する伝送部と、を備える。

本発明の一実施形態によるピクセル値補償のためのビデオ復号化装置は、符号化された映像に対するビットストリームをパージングして、前記ビットストリームから符号化された映像データ及び補償値を抽出する抽出部と、前記抽出された映像データを復号化し、前記抽出された映像データに対してループフィルタリングを行って復元映像を生成する復元映像生成部と、前記復元映像の復元ピクセルのうち、前記抽出された補償値を用いて補償する復元ピクセルを含むピクセルグループを定めるピクセルグループ決定部と、前記定められたピクセルグループの復元ピクセルに対して、前記抽出された補償値を用いて前記復元ピクセル及び対応する原本ピクセル間の誤差を補償する復元ピクセル補償部と、を備える。

本発明は、本発明の一実施形態によるピクセル値補償のためのビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。また本発明は、本発明の一実施形態によるピクセル値補償のためのビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

以下、図１ないし図２２を参照して、本発明の多様な実施形態が詳述される。並べられた構成要素に先行して記載した“少なくとも１つの”などの表現は、並べられた構成要素全体を修飾するものであり、それぞれの構成要素を修飾するものではない。

以下、図１ないし図２２を参照して、所定ピクセルグループのピクセル値を補償するためのビデオ符号化方法及びその装置、そしてビデオ復号化方法及びその装置の多様な実施形態が詳述される。具体的に図１ないし図７を参照して、本発明の一実施形態によるループフィルタリング後にピクセル値を補償するためのビデオ符号化及び復号化に関する多様な実施形態が開示され、図８ないし図２２を参照して、本発明の一実施形態によるツリー構造による符号化単位に基づいて、ループフィルタリング後にピクセル値を補償するためのビデオ符号化及び復号化に関する多様な実施形態が開示される。

以下、図１ないし図７を参照して、本発明の一実施形態によるループフィルタリング後にピクセル値を補償するためのビデオ符号化及び復号化が詳述される。

図１は、本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置のブロック図を示す。本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置１０は、符号化部１２、復元映像生成部１４、補償値及びピクセルグループ決定部１６及び伝送部１８を備える。

本発明の一実施形態による符号化部１２は、入力映像シーケンスのうちピクチャー単位の映像を符号化する。本発明の一実施形態による符号化部１２は、入力映像に対する動き推定及びインター予測、イントラ予測、変換及び量子化などを経て符号化された映像データを生成できる。

本発明の一実施形態による符号化部１２は、ＭＰＥＧ１、２、４、Ｈ．２６ｘなどの多様なビデオ符号化方式による。例えば、本発明の一実施形態による符号化部１２は、図８ないし図２２を参照して後述される、本発明の一実施形態によるツリー構造による符号化単位に基づいたビデオ符号化方式によってもよい。

本発明の一実施形態による復元映像生成部１４は、符号化部１２によって符号化された映像データを入力されて、符号化された映像データを復号化し、復号化された映像データにループフィルタリングを行って復元映像を生成する。

本発明の一実施形態による復元映像生成部１４は、符号化された映像データに対する逆量子化及び逆変換、インター予測及び動き補償、イントラ予測などを経て復号化された映像データを生成できる。

本発明の一実施形態による復元映像生成部１４で行われる符号化された映像データの復号化は、本発明の一実施形態による符号化部１２によるビデオ符号化方式に対する逆過程として行われる。例えば、本発明の一実施形態による符号化部１２及び復元映像生成部１４が、本発明の一実施形態によるツリー構造による符号化単位に基づいたビデオ符号化方式による場合に、本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置１０の可能な実施形態が図８ないし図２２を通じて後述される。

本発明の一実施形態による復元映像生成部１４は、復号化された映像データに対してインループフィルタリングを行える。本発明の一実施形態によるインループフィルタリングは、デブロッキングフィルタリング及び適応的ループフィルタリングを選択的に含む。本発明の一実施形態による適応的ループフィルタリングは、連続的な複数の１次元フィルタを用いて行われる。図４及び図５を参照して、いろいろな実施形態による適応的ループフィルタリングが具体的に後述される。

本発明の一実施形態による補償値及びピクセルグループ決定部１６は、復元映像生成部１４によって出力された復元映像及び入力映像を入力されて、復元映像のうち、所定グループの復元ピクセルに対してそれぞれの復元ピクセル及び対応する入力映像の原本ピクセル間の誤差に対する補償値を定め、補償値を用いて補償される復元ピクセルを含むピクセルグループを定める。

本発明の一実施形態による補償値及びピクセルグループ決定部１６は、復元映像の復元ピクセルのうち隣接する復元ピクセル間のピクセル値を比較して、最大値及び最小値に近い程度を示す極値及び／またはエッジ値レベルを定められる。以下、説明の便宜のために、‘極値及び／またはエッジ値レベル’は、極値レベル及びエッジ値レベルのうち少なくとも１つを示す。本発明の一実施形態による補償値及びピクセルグループ決定部１６は、隣接する復元ピクセルのそれぞれの極値及び／またはエッジ値レベルに基づいて、隣接する復元ピクセルを、同じ極値及び／またはエッジ値レベルを持つ復元ピクセルを含むピクセルグループに分類できる。

本発明の一実施形態による補償値及びピクセルグループ決定部１６は、分類されたピクセルグループのうち少なくとも１つの極値及び／またはエッジ値レベルのピクセルグループを、ピクセル値補償対象であるピクセルグループに定められる。例えば、本発明の一実施形態による補償値及びピクセルグループ決定部１６は、最大値及び最小値の極値及び／またはエッジ値レベルのピクセルグループのみを、ピクセル値を補償するように定めるか、または所定範囲の極値及び／またはエッジ値レベルのピクセルグループに対してピクセル値を補償するように定める。隣接する復元ピクセルの極値及び／またはエッジ値レベルに基づいた補償対象決定方法は、図３を参照して具体的に後述される。

本発明の一実施形態による補償値及びピクセルグループ決定部１６は、ピクセル値による帯域別ピクセルグループに対してピクセル値補償を行うように定めてもよい。本発明の一実施形態による補償値及びピクセルグループ決定部１６は、復元ピクセルのグループ指定のために、復元ピクセルのピクセル値の総範囲を、複数に分割された帯域に分割できる。本発明の一実施形態による補償値及びピクセルグループ決定部１６は、復元ピクセルを、ピクセル値に基づいて同じ帯域の復元ピクセルを含む帯域別ピクセルグループに分類できる。この場合、すべての帯域別ピクセルグループの復元ピクセルがピクセル値補償対象として定められ、本発明の一実施形態による補償値及びピクセルグループ決定部１６は、帯域別ピクセルグループごとに補償値を別途に定められる。

高速演算のために、ピクセル値の総範囲は２の累乗の数の帯域に分割されることが望ましい。また、さらに速い演算のために、復元ピクセルのビット列のビットデプスのうち最上位ビットの数がｐである場合、ピクセル値の総範囲は２のｐ乗の数の帯域に分割されてもよい。また、復元ピクセルのピクセル値の総範囲は、復元ピクセルの拡張されたビットデプスの範囲であってもよい。

本発明の一実施形態による補償値及びピクセルグループ決定部１６は、復元映像を分析して所定方向のラインを検出し、復元ピクセルを、同じライン上に位置する復元ピクセルを含むライン別ピクセルグループに分類できる。水平方向、垂直方向、対角方向、曲線方向及び所定客体の境界方向のラインなどいろいろな方向のラインが検出されれば、それぞれのラインを構成するピクセルが１つのピクセルグループに分類される。本発明の一実施形態による補償値及びピクセルグループ決定部１６は、ライン別ピクセルグループごとに個別的に補償値を定められる。

本発明の一実施形態による補償値及びピクセルグループ決定部１６は、補償される復元ピクセルごとに、対応する原本ピクセルとの誤差の平均値を補償値として定められる。復元ピクセルと原本ピクセルとの誤差は、復元ピクセルと原本ピクセルとの差値、差の絶対値、差の二乗値などを含む。本発明の一実施形態による補償値及びピクセルグループ決定部１６は、現在補償対象である復元ピクセル全体に対して同一に適用される１つの補償値を定めるか、または特性別に分類されたピクセルグループごとに個別的に補償値を定める。

本発明の一実施形態による補償値及びピクセルグループ決定部１６は、入力ビデオの映像シーケンス、スライス、フレーム及び符号化単位のうち少なくとも１つのデータ単位別に、補償される復元ピクセルを定め、該当補償値を定める。

本発明の一実施形態による伝送部１８は、補償値及びピクセルグループ決定部１６によって定められた補償値を入力されて符号化する。また、本発明の一実施形態による伝送部１８は、符号化部１２によって符号化された映像データを入力されて、符号化された補償値及び符号化された映像データを含むビットストリームを生成して出力する。符号化部１２によって符号化された映像データは、エントロピー符号化を通じてビットストリーム形態に変換された後、伝送用ビットストリームに挿入される。

本発明の一実施形態による伝送部１８は、補償値及びピクセルグループ決定部１６からピクセルグループ決定方式についての付加情報を入力されて、これを符号化してビットストリームに挿入してもよい。例えば、補償されるピクセルグループの決定方式が、前述した極値及び／またはエッジ値レベル、ピクセル値帯域、方向性ラインでありうるので、伝送される補償値がいかなる方式によって採択された補償値であるか、いかなるピクセルグループのための補償値であるかを示す情報が伝送される。

本発明の一実施形態による伝送部１８は、復元映像生成部１４で適応的ループフィルタリングが行われた場合、適応的ループフィルタリングのためのループフィルタの係数に関する情報を入力されて符号化し、ビットストリームに挿入してもよい。本発明の一実施形態によるビデオ符号化装置１０は、映像を正方形、長方形または非定形の部分領域に分割し、各領域内の所定ピクセルグループのみのための補正値で選択的にピクセル値を修正できる。映像の分割された部分領域に基づいて、映像の特性に好適にピクセル値が補償される。また本発明の一実施形態によるビデオ符号化装置１０は、直接的に復号化端に伝送されるか、または復号化端と暗黙的に合意された約束に基づいて、補償されるピクセルグループに関する情報を復号化端に伝達できる。

本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置８０は、復号化端で復元映像及び原本映像間の誤差を低減させるために行われる後処理プロセッシングを支援するように、符号化過程で獲得できる誤差補償値に関する情報を復号化端に提供できる。また、ピクセルグループ別に補償値が定められるので、個別ピクセル位置に関する情報なしに、ピクセルグループ別補償値に関する情報のみ符号化されて伝送されることで、伝送ビット量が低減する。

図２は、本発明の一実施形態によるピクセル値補償のためのビデオ復号化装置のブロック図を示す。本発明の一実施形態によるピクセル値補償のためのビデオ復号化装置２０は、抽出部２２、復元映像生成部２４、ピクセルグループ決定部２６及び復元ピクセル補償部２８を備える。

本発明の一実施形態による抽出部２２は、符号化された映像に対するビットストリームを受信してパージングし、ビットストリームから、符号化された映像データ及び補償値関連情報を抽出する。補償値関連情報は補償値情報を含む。また、補償値関連情報が、補償値を用いて補償される復元ピクセルの決定方式に関する情報をさらに含む場合には、本発明の一実施形態による抽出部２２によってビットストリームから、補償値及び補償されるピクセルグループ決定方式に関する情報が抽出されることもある。本発明の一実施形態による抽出部２２は、入力ビデオの映像シーケンス、スライス、フレーム及び符号化単位のうち少なくとも１つのデータ単位別に補償値または補償値関連情報を抽出できる。

また、本発明の一実施形態による抽出部２２は、符号化された映像データの復号化に必要な、符号化方式及び符号化モードなどの符号化情報を抽出する。本発明の一実施形態による抽出部２２は、ビットストリームに適応的ループフィルタリングのためのフィルタ係数に関する情報が挿入されている場合、ビットストリームからフィルタ係数に関する情報を抽出できる。

本発明の一実施形態による復元映像生成部２４は、抽出部２２によって抽出された符号化された映像データ、符号化情報、ループフィルタ係数に関する情報などを入力されて、符号化された映像データを復号化し、ループフィルタリングを行って復元映像を生成する。

符号化された映像データの復号化は、符号化された映像データのビデオ符号化方式に対する逆過程として行われる。例えば、符号化された映像データが、本発明の一実施形態によるツリー構造による符号化単位に基づいたビデオ符号化方式によって符号化されて伝送された場合に、本発明の一実施形態による復元映像生成部２４は、ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式によって復号化する。

本発明の一実施形態による復元映像生成部２４は、復号化された映像データに対してデブロッキングフィルタリングまたは適応的ループフィルタリングなどのインループフィルタリングを選択的に行える。本発明の一実施形態による適応的ループフィルタリングは、連続的な複数の１次元フィルタを用いて行われる。

本発明の一実施形態によるピクセルグループ決定部２６は、復元映像生成部２４によって生成された復元映像及び抽出部２２によって抽出された補償値関連情報を入力されて、復元映像のうち、所定グループの復元ピクセルに対して補償値を用いて補償される復元ピクセルを含むピクセルグループを定められる。本発明の一実施形態による復元ピクセル補償部２８は、抽出部１２によって抽出された補償値及びピクセルグループ決定部２６によって定められた復元ピクセルに関する情報を入力されて、補償値を用いて復元ピクセルのピクセル値を補償し、ピクセル値が補償された復元映像を出力する。

本発明の一実施形態による抽出部２２によって、ピクセル値補償対象であるピクセルグループ決定方式に関する情報が抽出された場合、本発明の一実施形態によるピクセルグループ決定部２６は、ピクセルグループ決定方式に基づいて、ピクセル値補償対象であるピクセルグループを定められる。例えば、本発明の一実施形態によるピクセルグループ決定部２６は、ピクセルグループ決定方式に基づいて、復元ピクセルを極値及び／またはエッジ値レベル、ピクセル値帯域または方向性ラインの構成如何によって分類するか否かを定め、ピクセル値補償対象であるピクセルグループを定めてもよい。

本発明の一実施形態によるピクセルグループ決定部２６は、復元映像のうち隣接する復元ピクセルのピクセル値を比較して、復元ピクセル別に極値及び／またはエッジ値レベルを定められる。本発明の一実施形態によるピクセルグループ決定部２６は、隣接する復元ピクセルを極値及び／またはエッジ値レベルに基づいて分類し、少なくとも１つの所定極値及び／またはエッジ値レベルの復元ピクセルを含むピクセルグループを、補償値を用いてピクセル値を補償する復元ピクセルを含むピクセルグループに定める。本発明の一実施形態による復元ピクセル補償部２８は、ピクセル値補償対象として定められたピクセルグループの復元ピクセルに対して、補償値を用いてピクセル値を補償できる。

また、本発明の一実施形態によるピクセルグループ決定部２６は、ピクセル値の全区間が複数に分割された帯域に基づいて、復元映像の復元ピクセルを帯域別ピクセルグループに分類できる。本発明の一実施形態による復元ピクセル補償部２８は、帯域別ピクセルグループの復元ピクセルのための帯域別補償値を用いて、帯域別ピクセルグループの復元ピクセルのピクセル値を補償できる。

本発明の一実施形態によって、ピクセル値の全区間は２の累乗の数の帯域に分割されることができる。この場合２の累乗の指数は、復元ピクセルのビットデプスの中で最上位ビットの数に基づいて定められる。また、復元ピクセルのピクセル値の全区間は復元ピクセルの拡張されたビットデプスの範囲である。

本発明の一実施形態によるピクセルグループ決定部２６は、復元映像の復元ピクセルを方向性ライン別ピクセルグループに分類できる。本発明の一実施形態による復元ピクセル補償部２８は、ラインピクセルグループ別補償値を用いて、ライン別ピクセルグループの復元ピクセルのピクセル値を補償できる。本発明の一実施形態によるピクセルグループ決定部２６は、復元映像の復元ピクセルのうち、水平方向、垂直方向、対角方向、曲線方向及び所定客体の境界方向のラインを構成する復元ピクセルを検出できる。

本発明の一実施形態による補償値は、符号化段階で前記復元ピクセル及び対応する原本ピクセル間の誤差の平均値を用いて定められて伝送されたものである。本発明の一実施形態による復元ピクセル補償部２８は、受信された１つの補償値を用いて、ピクセル値補償対象である復元ピクセル全てを補償できる。また、本発明の一実施形態による抽出部２２によって抽出された補償値がピクセルグループ別に設定されている場合、本発明の一実施形態による復元ピクセル補償部２８は、ピクセル値補償対象であるピクセルグループ別に個別的に定められた補償値を用いて、復元ピクセルのピクセル値を補償できる。

本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置１０及び本発明の一実施形態によるピクセル値補償のためのビデオ復号化装置２０は、符号化された映像が復号化及び復元された場合、復元映像が原本映像との間に発生するシステム的誤差を補償できる。本発明の一実施形態によるビデオ符号化装置１０は、直接的に復号化端に伝送するか、復号化端と暗黙的に合意された約束に基づいて、補償されるピクセルグループに関する情報を復号化端に伝達できる。本発明の一実施形態によるビデオ符号化装置１０及び本発明の一実施形態によるビデオ復号化装置２０は、映像を正方形、長方形または非定形の部分領域に分割し、各領域内の所定ピクセルグループのみのための補正値で選択的にピクセル値を修正できる。映像の分割された部分領域に基づいて、映像の特性に好適にピクセル値が補償される。

復元映像及び原本映像間のシステム的誤差の一例として、所定グループの復元ピクセル及びそれに当る原本ピクセルに対して、ピクセル値の誤差の平均値が０ではない場合が発生する。したがって、本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置１０、及び本発明の一実施形態によるピクセル値補償のためのビデオ復号化装置２０は、復元ピクセル及び原本ピクセル間の誤差を補償する。

本発明の一実施形態による補償値及びピクセルグループ決定部１６は、下記の数式（１）によって、補償値を定める。

ｍが１、２、…、Ｍ−１、Ｍの定数であり、位置

がピクセルを含むピクセルグループ

に対して、原本ピクセルのピクセル値

復元ピクセルのピクセル値

間の誤差の平均値

が、ピクセルグループ

に対する補償値として用いられる。

本発明の一実施形態による復元ピクセル補償部２８は、下の数式（２）によって、ピクセルグループの復元ピクセルのピクセル値を補償できる。

本発明の一実施形態による復元ピクセル補償部２８は、復元ピクセルのピクセル値

を補償値

を用いて補償することで、ピクセルグループ

に対してピクセル値が補償された結果、ピクセル値

をピクセル別に出力できる。

本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置１０及び本発明の一実施形態によるピクセル値補償のためのビデオ復号化装置２０は、ピクセル値補償対象であるピクセルグループを定めるために、所定基準によって復元ピクセルを分類できる。

ピクセルグループ決定の第１実施形態として、極値及び／またはエッジ値レベルによってピクセルグループが分類される。局所極値（ｌｏｃａｌ ｅｘｔｒｅｍｅ）には、局所最小値（ｌｏｃａｌ ｍｉｎｉｍｕｍ）及び局所最大値（ｌｏｃａｌ ｍａｘｉｍｕｍ）がある。下記の数式（３）及び（４）によって、２次関数ｆ（ｘ，ｙ）に対して、所定範囲ε内で隣接する座標（ｘ，ｙ）の局所最小値ｆ（ｘ_ｍｉｎ，ｙ_ｍｉｎ）及び局所最大値ｆ（ｘ_ｍａｘ，ｙ_ｍａｘ）が数学的にそれぞれ定義される。

ｆ（ｘ，ｙ）＞ｆ（ｘ_ｍｉｎ，ｙ_ｍｉｎ），ｉｆ ｜ｘ_ｍｉｎ−ｘ｜＋｜ｙ_ｍｉｎ−ｙ｜＜ε ａｎｄ ε＞０ （３）
ｆ（ｘ，ｙ）＜ｆ（ｘ_ｍａｘ，ｙ_ｍａｘ），ｉｆ ｜ｘ_ｍａｘ−ｘ｜＋｜ｙ_ｍａｘ−ｙ｜＜ε（但し、ε＞０） （４）
下記の数式（５）及び（６）によって、離散信号ピクセル（ｘ，ｙ）に対して、局所最小値ｆ（ｘ_ｍｉｎ，ｙ_ｍｉｎ）及び局所最大値ｆ（ｘ_ｍａｘ，ｙ_ｍａｘ）が定義される。

本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置１０及び本発明の一実施形態によるピクセル値補償のためのビデオ復号化装置２０は、数式（５）及び（６）によって、水平方向または垂直方向に隣接する復元ピクセルのうち、極値及び／またはエッジ値に当るピクセルを定められる。また例えば、対角方向に隣接するピクセル（ｘ_ｍａｘ＋１，ｙ_ｍａｘ＋１）、（ｘ_ｍａｘ−１，ｙ_ｍａｘ＋１）、（ｘ_ｍａｘ＋１，ｙ_ｍａｘ−１）及び（ｘ_ｍａｘ−１，ｙ_ｍａｘ−１）を含む他の隣接ピクセルがピクセル分類の手続きに含まれる。所定ピクセルはピクセルグループから除外されてもよい。例えば、同じ線上のピクセルのみ所定ピクセルグループに分類される場合、該当線上に位置しない他のピクセルは所定ピクセルグループから除外される。

一般的なビデオ符号化／復号化システムによって平坦化現象が発生する。これによって、復元映像のうち、局所最小値は、原本映像のピクセル値に比べてさらに大きくなり、復元映像及び原本映像間の局所最小値に対する誤差は正の値である。また、復元映像のうち、局所最大値は、原本映像のピクセル値に比べてさらに小さくなり、復元映像及び原本映像間の局所最大値に対する誤差は負の値である。

これによって、本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置１０及び本発明の一実施形態によるピクセル値補償のためのビデオ復号化装置２０は、所定ピクセルグループに対する復元映像及び原本映像間の局所最小値及び最大値に対する平均誤差をそれぞれ定めて、該当ピクセルグループの復元ピクセルのピクセル値を補償できる。以下、図３を参照して、本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置１０の補償値及びピクセルグループ決定部１６、及び本発明の一実施形態によるピクセル値補償のためのビデオ復号化装置２０のピクセルグループ決定部２６が、所定ピクセルグループの復元ピクセルの極値及び／またはエッジ値レベルを定める方式が詳述される。

図３は、本発明の一実施形態によって、復元ピクセルの極値及び／またはエッジ値レベルを定めるために比較対象になる、隣接する復元ピクセルを示す。説明の便宜のために、図３は、隣接する復元ピクセル３２、３４、３５、３７のみを図示している。しかし、本発明の一実施形態によれば、現在復元ピクセル３０と対比されるピクセルは、水平及び垂直線上の復元ピクセル３２、３４、３５、３７に限定されるものではない。

本発明の一実施形態による補償値及びピクセルグループ決定部１６、及び本発明の一実施形態によるピクセルグループ決定部２６は、現在復元ピクセル３０を中心として上下左右に隣接する復元ピクセル３２、３４、３５、３７と比較して、現在復元ピクセル３０の極値及び／またはエッジ値レベルを定められる。現在復元ピクセル３０の極値及び／またはエッジ値レベルを示すパラメータ‘Ｐｉｘｅｌ＿Ｔｙｐｅ’、現在復元ピクセル３０のピクセル値Ｒｅｃ［ｘ］［ｙ］、隣接する復元ピクセル３２、３４、３５、３７のピクセル値Ｒｅｃ［ｘ］［ｙ−１］、Ｒｅｃ［ｘ−１］［ｙ］、Ｒｅｃ［ｘ＋１］［ｙ］、Ｒｅｃ［ｘ］［ｙ＋１］の場合、極値及び／またはエッジ値レベル決定過程は、下記の分類公式の通りである。

Ｐｉｘｅｌ＿Ｔｙｐｅ＝０；
ｉｆ（Ｒｅｃ［ｘ］［ｙ］＞Ｒｅｃ［ｘ−１］［ｙ］）Ｐｉｘｅｌ＿Ｔｙｐｅ＋＋；
ｉｆ（Ｒｅｃ［ｘ］［ｙ］＜Ｒｅｃ［ｘ−１］［ｙ］）Ｐｉｘｅｌ＿Ｔｙｐｅ−−；
ｉｆ（Ｒｅｃ［ｘ］［ｙ］＞Ｒｅｃ［ｘ＋１］［ｙ］）Ｐｉｘｅｌ＿Ｔｙｐｅ＋＋；
ｉｆ（Ｒｅｃ［ｘ］［ｙ］＜Ｒｅｃ［ｘ＋１］［ｙ］）Ｐｉｘｅｌ＿Ｔｙｐｅ−−；
ｉｆ（Ｒｅｃ［ｘ］［ｙ］＞Ｒｅｃ［ｘ］［ｙ−１］）Ｐｉｘｅｌ＿Ｔｙｐｅ＋＋；
ｉｆ（Ｒｅｃ［ｘ］［ｙ］＜Ｒｅｃ［ｘ］［ｙ−１］）Ｐｉｘｅｌ＿Ｔｙｐｅ−−；
ｉｆ（Ｒｅｃ［ｘ］［ｙ］＞Ｒｅｃ［ｘ］［ｙ＋１］）Ｐｉｘｅｌ＿Ｔｙｐｅ＋＋；
ｉｆ（Ｒｅｃ［ｘ］［ｙ］＜Ｒｅｃ［ｘ］［ｙ＋１］）Ｐｉｘｅｌ＿Ｔｙｐｅ−−；
‘Ｐｉｘｅｌ＿Ｔｙｐｅ’の最大値及び最小値は、それぞれ＋４及び−４に仮定される。

本発明の他の実施形態によるピクセル分類パターンが、図３に示したピクセル分類パターンと異なる場合に、これによってピクセル分類公式も変形される。例えば、角度４５°の対角方向線上のエッジ検出過程で、復元ピクセル３１、３８は現在復元ピクセル３０と対照される。本発明の他の実施形態によるピクセル分類パターンによって、極値及び／またはエッジ値レベルは、下記の変形されたピクセル分類公式によって定められる。

Ｐｉｘｅｌ＿Ｔｙｐｅ＝０；
ｉｆ（Ｒｅｃ［ｘ］［ｙ］＞Ｒｅｃ［ｘ−１］［ｙ−１］）Ｐｉｘｅｌ＿Ｔｙｐｅ＋＋；
ｉｆ（Ｒｅｃ［ｘ］［ｙ］＜Ｒｅｃ［ｘ−１］［ｙ−１］）Ｐｉｘｅｌ＿Ｔｙｐｅ−−；
ｉｆ（Ｒｅｃ［ｘ］［ｙ］＞Ｒｅｃ［ｘ＋１］［ｙ＋１］）Ｐｉｘｅｌ＿Ｔｙｐｅ＋＋；
ｉｆ（Ｒｅｃ［ｘ］［ｙ］＜Ｒｅｃ［ｘ＋１］［ｙ＋１］）Ｐｉｘｅｌ＿Ｔｙｐｅ−−
この場合、‘Ｐｉｘｅｌ＿Ｔｙｐｅ’の最大値及び最小値は、それぞれ＋２及び−２でありうる。

すなわち、現在復元ピクセル３０の所定範囲の隣接する復元ピクセル３２、３４、３５、３７とピクセル値とを比べて、極値及び／またはエッジ値レベル‘Ｐｉｘｅｌ＿Ｔｙｐｅ’が定められる。現在復元ピクセル３０の極値及び／またはエッジ値レベルが、最大極値及び／またはエッジ値レベルであるＭならば、現在復元ピクセル３０は局所最大ピクセルに定められ、現在復元ピクセル３０の極値及び／またはエッジ値レベルが、最小極値及び／またはエッジ値レベルである−Ｍならば、現在復元ピクセル３０は局所最小ピクセルに定められる。Ｍの値は、分析対象である隣接する復元ピクセルの数によって定められる。本発明の一実施形態による補償値及びピクセルグループ決定部１６及び本発明の一実施形態によるピクセルグループ決定部２６は、局所最大ピクセル及び局所最小ピクセルに定められた復元ピクセルを、補償されるピクセルに定める。

かかる方式で、本発明の一実施形態による補償値及びピクセルグループ決定部１６及び本発明の一実施形態によるピクセルグループ決定部２６は、現在データ単位の復元ピクセルに対する極値及び／またはエッジ値レベルを定めて、極値及び／またはエッジ値レベルがＭである復元ピクセルを含むピクセルグループ、及び極値及び／またはエッジ値レベルが−Ｍであるピクセルグループを、ピクセル値が補償されるピクセルグループに定める。また、本発明の一実施形態による補償値及びピクセルグループ決定部１６は、ピクセルグループ別に復元ピクセル及びそれぞれの原本ピクセル間のピクセル値誤差の平均値を定め、誤差に基づいて補償値を定める。本発明の一実施形態によるピクセルグループ決定部２６及び復元ピクセル補償部２８は、受信された補償値情報から抽出された補償値を用いて、ピクセルグループごとに復元ピクセルのピクセル値を補償できる。

また、本発明の一実施形態による補償値及びピクセルグループ決定部１６及び本発明の一実施形態によるピクセルグループ決定部２６は、局所最大ピクセル及び局所最小ピクセルに隣接する復元ピクセルを含むピクセルグループをピクセル値補償対象に定める。このために、本発明の一実施形態による補償値及びピクセルグループ決定部１６及び本発明の一実施形態によるピクセルグループ決定部２６は、最大極値及び／またはエッジ値レベル及び最小極値及び／またはエッジ値レベルを含んで所定範囲の極値及び／またはエッジ値レベルに対して補償値を定める。例えば、前記で例示した最大極値及び／またはエッジ値レベルがＭであるので、極値及び／またはエッジ値レベルがＭ−１である復元ピクセルは、局所最大ピクセルに隣接することを示す。

したがって、本発明の一実施形態による補償値及びピクセルグループ決定部１６、及び本発明の一実施形態によるピクセルグループ決定部２６は、極値及び／またはエッジ値レベルが所定の正の値より大きい場合、該当極値及び／またはエッジ値レベルの復元ピクセルを含むピクセルグループは、最大極値及び／またはエッジ値レベルの隣接するピクセルグループに定め、極値及び／またはエッジ値レベルが所定の負の値より小さな場合、該当極値及び／またはエッジ値レベルの復元ピクセルは、最小極値及び／またはエッジ値レベルの隣接するピクセルグループに定める。例えば、極値及び／またはエッジ値レベルがｍより大きいか、または−ｍより小さな場合、すなわち、極値及び／またはエッジ値レベルが−Ｍ、−（Ｍ−１）、−（Ｍ−２）、…、−（ｍ＋１）、（ｍ＋１）、…、（Ｍ−１）、Ｍである場合、極値及び／またはエッジ値レベル別補償値が定められる。

また、本発明の一実施形態による補償値及びピクセルグループ決定部１６は、最大極値及び／またはエッジ値レベルの隣接するピクセルグループごとに、ピクセルグループ別に復元ピクセル及び原本ピクセル間の誤差の平均値を算出して、該当のピクセルグループ別補償値を定める。また、本発明の一実施形態によるピクセルグループ決定部２６及び復元ピクセル補償部２８は、受信された補償値情報から抽出されたピクセルグループ別補償値を用いて、ピクセルグループごとに復元ピクセルのピクセル値を補償できる。

前記で、現在復元ピクセル３０を中心として上下左右に隣接する４個の復元ピクセル３２、３４、３５、３７を用いて極値及び／またはエッジ値レベルが定められたが、さらに詳細な極値及び／またはエッジ値レベルの分類のために、現在復元ピクセル３０を取り囲む８個の復元ピクセル３１、３２、３３、３４、３５、３６、３７、３８を隣接する復元ピクセルとして用いて、現在復元ピクセル３０の極値及び／またはエッジ値レベルが定められてもよい。

ピクセルグループ決定の第２実施形態として、本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置１０、及び本発明の一実施形態によるピクセル値補償のためのビデオ復号化装置２０は、ピクセル値を所定数以上の帯域に分類できる。

例えば、復元ピクセルのビットデプスがＮである場合、復元ピクセルのピクセル値Ｒｅｃ［ｘ］［ｙ］の総範囲は、０≦Ｒｅｃ［ｘ］［ｙ］≦２^Ｎ−１である。すなわち、復元ピクセルのピクセル値Ｒｅｃ［ｘ］［ｙ］の最大値Ｍａｘは２^Ｎ−１であり、復元ピクセルの区間は［０，Ｍａｘ］である。本発明の一実施形態による補償値及びピクセルグループ決定部１６及び本発明の一実施形態によるピクセルグループ決定部２６は、復元ピクセルの区間をＬ個の帯域に分割できる。すなわち、復元ピクセルの帯域は、［０，（Ｍａｘ＋１）／Ｌ−１］、［Ｍａｘ／Ｌ，２＊（Ｍａｘ＋１）／Ｌ−１］、［２＊Ｍａｘ／Ｌ，３＊（Ｍａｘ＋１）／Ｌ−１］、…、［（Ｌ−１）＊Ｍａｘ／Ｌ，Ｌ＊（Ｍａｘ＋１）／Ｌ−１］に分割される。

実際の原本データの範囲は［Ｍｉｎ，Ｍａｘ］以内である。最小値Ｍｉｎ及び最大値Ｍａｘは、それぞれ必ずしも０及び２^Ｎ−１である必要はない。他の値の数は、実際の原本データの範囲に対応する（‘Ｒａｎｇｅ＝Ｍａｘ−Ｍｉｎ＋１’）。復元ピクセルの帯域が均等に分割される場合、均等帯域は［Ｍｉｎ，Ｒａｎｇｅ／Ｌ−１］、［Ｍａｘ／Ｌ，２＊Ｒａｎｇｅ／Ｌ−１］、［２＊Ｍａｘ／Ｌ，３＊Ｒａｎｇｅ／Ｌ−１］…［（Ｌ−１）＊Ｒａｎｇｅ／Ｌ，Ｍａｘ］に分割される。本発明の他の実施形態によれば、復元ピクセルの帯域は不均等に分割されることもある。

復元ピクセルの区間［０，Ｍａｘ］の分割帯域の数Ｌは、迅速な演算のために２の累乗であり、１６以上に定められることが望ましい。また迅速な演算のために、分割帯域の数Ｌは、復元ピクセル値の最上位ビットの数ｐが２の指数になる数以内で定められることが望ましい。例えば、復元ピクセルの最上位ビットが４ビット（ｐ＝４）であり、復元ピクセルの拡張されたビットデプスが１２ビットである場合、分割帯域の数Ｌは、Ｌ＝２^ｐ＝１６に定められる。したがって、この場合、拡張されたビットデプスの復元ピクセルの帯域は、下記の表１のように分割される。

復元ピクセルの最上位ビットの数に基づいてピクセル値帯域が分割される場合にビット演算に有利であるので、復号化端である本発明の一実施形態によるピクセルグループ決定部２６のピクセル帯域決定のための演算が非常に効率的に行われる。

本発明の一実施形態による補償値及びピクセルグループ決定部１６及び本発明の一実施形態によるピクセルグループ決定部２６は、同じ帯域に含まれる復元ピクセルを帯域別ピクセルグループに定める。帯域は、原本信号または復元信号の実際最小値及び最大値に基づいて分割される。

帯域別ピクセルグループに含まれた復元ピクセルに対する原本ピクセルとのピクセル値誤差の平均は、０ではない。したがって、本発明の一実施形態による補償値及びピクセルグループ決定部１６は、帯域別にピクセル値誤差の平均を用いて補償値を定める。また、本発明の一実施形態によるピクセルグループ決定部２６及び復元ピクセル補償部２８は、受信された補償値情報から抽出された帯域別補償値を用いて、帯域別ピクセルグループごとに復元ピクセルのピクセル値を補償できる。

ピクセルグループ決定の第３実施形態として、本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置１０、及び本発明の一実施形態によるピクセル値補償のためのビデオ復号化装置２０は、復元ピクセルのうち所定ラインを構成する復元ピクセルを含むピクセルグループを分類できる。

本発明の一実施形態による補償値及びピクセルグループ決定部１６、及び本発明の一実施形態によるピクセルグループ決定部２６は、復元映像の映像特性を分析して、垂直方向のライン、水平方向のライン、対角方向のライン、曲線方向のライン及び所定境目を構成するラインなどの所定方向のラインを検出できる。本発明の一実施形態による補償値及びピクセルグループ決定部１６、及び本発明の一実施形態によるピクセルグループ決定部２６は、同じラインを構成する復元ピクセルをライン別ピクセルグループに定める。

ライン別ピクセルグループに含まれた復元ピクセルに対する原本ピクセルとのピクセル値誤差の平均も、０ではない。したがって、本発明の一実施形態による補償値及びピクセルグループ決定部１６は、ラインごとにピクセル値誤差の平均を用いて補償値を定める。また、本発明の一実施形態によるピクセルグループ決定部２６及び復元ピクセル補償部２８は、受信された補償値情報から抽出されたライン別補償値を用いて、ライン別ピクセルグループごとに復元ピクセルのピクセル値を補償できる。

本発明の一実施形態による補償値及びピクセルグループ決定部１６、及び本発明の一実施形態によるピクセルグループ決定部２６は、ビデオの映像シーケンス、フレームまたはブロックなどのデータ単位別に極値及び／またはエッジ値レベル別補償値を定める。本発明の一実施形態による伝送部１８は、補償値を含む補償値関連情報を、オーバーヘッド情報として符号化して伝送できる。極値及び／またはエッジ値レベル別補償値を定めるデータ単位が小さければ小さいほど補償値の正確度は向上するが、補償値を含む補償値関連情報を符号化して伝送するための付加情報が増加するため、オーバーヘッドが増加する。

また本発明の一実施形態による抽出部２２は、オーバーヘッド情報またはスライスヘッダ情報から補償値関連情報を抽出して、補償値を用いて復元ピクセルのピクセル値を補償できる。

本発明の一実施形態による復元映像生成部１４及び本発明の一実施形態による復元映像生成部２４は、空間領域に復号化された映像データに対して選択的に適応的ループフィルタリングを行える。本発明の一実施形態による復元映像生成部１４及び本発明の一実施形態による復元映像生成部２４は、適応的ループフィルタリングによって、水平方向の１次元フィルタリング及び垂直方向の１次元フィルタリングを連続的に行って現在ピクチャーを復元できる。

本発明の一実施形態によるピクセル値補償のためのビデオ符号化装置１０の伝送部１８は、適応的ループフィルタリングに用いられるフィルタ係数を符号化して出力できる。また、本発明の一実施形態による適応的ループフィルタリングのために、それぞれの１次元フィルタの種類、数、サイズ、量子化ビット、係数、フィルタリング方向、フィルタリング実行如何及びランニングフィルタリング実行如何などが設定されるので、ループフィルタリングの１次元フィルタセットに関する情報が符号化されて伝送されてもよい。

本発明の一実施形態による復元映像生成部２４は、抽出部２２から抽出されたフィルタ係数の残差情報を用いて、それぞれの１次元フィルタのフィルタ係数を誘導できる。

例えば、それぞれの１次元フィルタごとに、現在フィルタ係数及び以前フィルタ係数間の差値を以前フィルタ係数に加えることで現在フィルタ係数が誘導される。誘導されたそれぞれの１次元フィルタのフィルタ係数を用いて、デブロッキングされたデータに対して連続的な１次元フィルタリングが行われる。デブロッキングは復号化されたデータのブロック効果を低減させ、ループフィルタリングは復元映像及び原本映像間の誤差を最小化させる。

発明の具体的な理解のために、水平方向及び垂直方向の連続的な１次元フィルタリングによるループフィルタリングを、以下の数式を参照して詳述する。

現在のフィルタ係数は数式（７）によって誘導される。

ｃ［ｉ］［ｊ］＝ａｄａｐｔｉｖｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｐｒｅｖ［ｉ］［ｊ］＋ａｄａｐｔｉｖｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ［ｉ］［ｊ］ （７）
ここでｉは、１次元フィルタのインデックスを示し、ｊは、各１次元フィルタのフィルタ係数のインデックスを示す。ｃ［ｉ］［ｊ］は、現在フィルタ係数、ａｄａｐｔｉｖｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｐｒｅｖ［ｉ］［ｊ］は、以前フィルタ係数、ａｄａｐｔｉｖｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ［ｉ］［ｊ］は、フィルタ係数情報として伝送されたフィルタ係数の残差成分を示す。

すなわち、現在フィルタ係数は、以前フィルタ係数及び残差成分の和から誘導される。現在フィルタ係数を誘導した後で次のフィルタ係数を誘導するために、現在フィルタ係数ｃ［ｉ］［ｊ］がａｄａｐｔｉｖｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｐｒｅｖ［ｉ］［ｊ］に更新される。

連続的な１次元フィルタリングによるループフィルタリングは、数式（２）及び（３）によって行われる。数式（８）及び（９）でｉは、現在ピクチャーの幅方向のインデックス、ｊは、現在ピクチャーの高さ方向のインデックスを示す。

ｑ_ｉ，ｊ＝（ｐ_{ｉ，ｊ−４}＊ｃ［０］［４］＋ｐ_{ｉ，ｊ−３}＊ｃ［０］［３］＋ｐ_{ｉ，ｊ−２}＊ｃ［０］［２］＋ｐ_{ｉ，ｊ−１}＊ｃ［０］［１］＋ｐ_ｉ，ｊ＊ｃ［０］［０］＋ｐ_{ｉ，ｊ＋１}＊ｃ［０］［１］＋ｐ_{ｉ，ｊ＋２}＊ｃ［０］［２］＋ｐ_{ｉ，ｊ＋３}＊ｃ［０］［３］＋ｐ_{ｉ，ｊ＋４}＊ｃ［０］［４］） （８）
ｐ_ｉ，ｊは、現在ピクチャーのデブロッキングされたデータを示し、ｑ_ｉ，ｊは、デブロッキングされたデータに対して水平方向の１次元フィルタリングされたデータを示す。対称形フィルタのフィルタ係数ｃを用いて、９個のデブロッキングされたデータに対して、５個のフィルタ係数を用いて対称的にフィルタリングされる。

ｆ_ｉ，ｊ＝（ｑ_{ｉ，ｊ−４}＊ｃ［１］［４］＋ｑ_{ｉ，ｊ−３}＊ｃ［１］［３］＋ｑ_{ｉ，ｊ−２}＊ｃ［１］［２］＋ｑ_{ｉ，ｊ−１}＊ｃ［１］［１］＋ｑ_ｉ，ｊ＊ｃ［１］［０］＋ｑ_{ｉ，ｊ＋１}＊ｃ［１］［１］＋ｑ_{ｉ，ｊ＋２}＊ｃ［１］［２］＋ｑ_{ｉ，ｊ＋３}＊ｃ［１］［３］＋ｑ_{ｉ，ｊ＋４}＊ｃ［１］［４］） （９）
ｆ_ｉ，ｊは、ｑ_ｉ，ｊに対して垂直方向の１次元フィルタリングしたデータを示す。フィルタ係数ｃはランニングフィルタリング方式によるので、水平方向の１次元フィルタリングされたデータに対して連続的に垂直方向の１次元フィルタリングが行われる。

対称形フィルタの場合、２次元フィルタに比べて１次元フィルタが、少量の係数のみでもすべてのフィルタの係数が設定されうるという長所がある。したがって、２次元フィルタに比べて複数の１次元フィルタセットが、伝送ビットストリームに挿入されるフィルタ特性に関するビットが相対的に少なく必要である。

また、フィルタリング中に臨時データを保存するためのメモリの容量も、２次元フィルタに比べて１次元フィルタが少ない。２次元フィルタによるフィルタリングの演算量は、１次元フィルタリングに比べて非常に大きい。ランニングフィルタリングの場合、２次元では不可能な複数フィルタリングによる併行処理が不可能であるが、１次元フィルタによっては併行処理が可能である。

しかし、本発明の一実施形態によるループフィルタリングは、水平方向及び垂直方向の連続的な１次元フィルタリングに限定されるものではない。本発明の一実施形態によるループフィルタリングは、任意の数の１次元フィルタの連続的なフィルタリングで具現され、それぞれの１次元フィルタリングは任意の方向に行われる。

本発明の一実施形態によるピクセル値補償のためのビデオ復号化装置２０は、フィルタ係数情報以外に、ループフィルタリングの１次元フィルタセットに関する情報を受信されて、それぞれの１次元フィルタの種類、数、サイズ、量子化ビット、係数、フィルタリング方向、フィルタリング実行如何及びランニングフィルタリング実行如何などを確認できる。これによって、本発明の一実施形態による復元映像生成部２４は、多様な１次元フィルタの組み合わせによるループフィルタリングを行える。

以下、図４及び図５を参照して、本発明の一実施形態による復元映像生成部１４及び本発明の一実施形態による復元映像生成部２４の適応的ループフィルタリングを詳述する。

図４は、本発明の一実施形態による適応的ループフィルタリングのフローチャートを示す。

複数の１次元フィルタが連続的にフィルタリングされることで、ループフィルタリングが行われる。段階４１で、復号化された映像データが入力される。復号化された後、デブロッキングフィルタリングが行われた映像データが入力されてもよい。段階４２で第１フィルタ、第２フィルタないし第Ｎフィルタの全フィルタの使用如何が定められ、いずれも使わないと定められれば、保存または再生段階（段階４６）に直ちに進む。段階４２で、全フィルタによるフィルタリングを行うと定められれば、フィルタリング手順によって、段階４３で、第１フィルタを用いた第１フィルタリング方向の１次元フィルタリング、段階４４で、第２フィルタを用いた第２フィルタリング方向の１次元フィルタリング、段階４５で、第Ｎフィルタを用いた第Ｎフィルタリング方向の１次元フィルタリングまで順次に行われる。

段階４６では、復号化された映像データ、デブロッキングされた映像データまたは連続的に１次元フィルタリングされたデータが、バッファに保存されるかまたは再生装置で再生される。

本発明の一実施形態の１次元フィルタのフィルタリング方向は、映像特性の分析を通じて局所映像の特性に適応的に定められる。例えば、映像のエッジを保存するために、局所映像のエッジ方向に適応的にフィルタリング方向が定められる。

図５は、本発明の他の実施形態による適応的ループフィルタリングのフローチャートを示す。段階５１で、復号化された映像データまたはデブロッキングされた映像データが入力されれば、段階５２では、復号化された映像データのそれぞれのピクセルごとにエッジが検出される。段階５３では、検出されたエッジ方向によって１次元フィルタリングが行われ、段階５４で、フィルタリングされたデータは保存されるか、または再生装置で再生される。

ビデオ符号化過程で、エッジ方向によって定められたフィルタリング方向を含む１次フィルタセットに関する情報は、符号化されて復号化端に提供される。ビデオ復号化過程では、受信されたデータからループフィルタに関する情報を判読して、所定の１次元フィルタのエッジ方向などのフィルタリング方向による１次元フィルタリングが行われる。

ループフィルタリングによる後処理は、複雑な損失圧縮によって発生する原本映像及び復元映像間の歪曲を低減させる。また、ループフィルタリングされた映像を参照映像として用いることで、予測または動き補償の結果映像の画質が向上する。

これによって、本発明の一実施形態による復元映像生成部１４及び本発明の一実施形態による復元映像生成部２４は、選択的に適応的ループフィルタリングを行うことで、多様な特徴の１次元フィルタの組み合わせを通じて映像の特徴、システム環境またはユーザのニーズなどを考慮したループフィルタリングを行える。本発明の一実施形態による適応的ループフィルタリングによって、２次元フィルタの代わりに、連続的な１次元フィルタが用いられるので、２次元フィルタに比べて、メモリ、演算量、伝送ビットなどの多様な方面で有利である。また、本発明の一実施形態による復元映像生成部１４及び本発明の一実施形態による復元映像生成部２４が適応的ループフィルタリングを行う場合、本発明の一実施形態による伝送部１８及び本発明の一実施形態による抽出部２２は、符号化されたフィルタ係数の残差成分が符号化された情報を送受信するので、適応的ループフィルタリングのために必要な情報量の負担が低減する。

図６は、本発明の一実施形態によるピクセル値補償のためのビデオ符号化方法のフローチャートを示す。段階６２で、入力映像シーケンスが符号化される。段階６４で、符号化された映像データが復号化され、復号化された映像データに対してループフィルタリングが行われて復元映像が生成される。本発明の一実施形態によって、復号化された映像データまたはデブロッキングされた映像データに対して、１回以上の１次元フィルタリングを連続的に行う適応的ループフィルタリングが行われることで復元映像が生成される。

段階６６で、復元映像のうち、所定グループの復元ピクセルに対して、それぞれの復元ピクセル及び原本ピクセル間の誤差に対する補償値及び補償対象であるピクセルを含むピクセルグループが定められる。ピクセル値補償対象である復元ピクセルを含むピクセルグループは、ピクセル値の極値及び／またはエッジ値レベル、ピクセル値帯域またはラインの構成如何によって定められる。ピクセルグループ別補償値は、該当の復元ピクセル及びそれぞれの対応する原本ピクセル間の誤差の平均値に基づいて定められる。

段階６８で、補償値が符号化されて、符号化された補償値及び符号化された入力映像のビットストリームが伝送される。さらに細分化されたピクセルグループに対して補償値が定められる場合、さらに正確なピクセル値補償が可能であるが、オーバーヘッドが増加する恐れがある。

図７は、本発明の一実施形態によるピクセル値補償のためのビデオ復号化方法のフローチャートを示す。

段階７２で、符号化された映像に対するビットストリームが受信されてパージングされ、ビットストリームから符号化された映像データ及び補償値が抽出される。

段階７４で、符号化された映像データが復号化され、復号化された映像データに対してループフィルタリングが行われて復元映像が生成される。復号化された映像データまたはデブロッキングされた映像データに対して、本発明の一実施形態によって、１回以上の１次元フィルタリングが連続的に行われる適応的ループフィルタリングが行われることで、復元映像が生成される。

段階７６で、復元映像の復元ピクセルのうち、補償値を用いて補償する復元ピクセルを含むピクセルグループが定められる。抽出された補償値関連情報に基づいて、ピクセルグループ決定方式によって、復元ピクセルのピクセル値の極値及び／またはエッジ値レベル、ピクセル値帯域またはラインの構成如何によって、補償値を用いてピクセル値が補償される復元ピクセルを含むピクセルグループが定められる。段階７８で、定められたピクセルグループの復元ピクセルに対して、補償値を用いて復元ピクセル及び原本ピクセル間の誤差が補償されて、誤差が補償された復元映像が出力される。

本発明の一実施形態によるピクセル値補償のためのビデオ符号化方法、または本発明の一実施形態によるピクセル値補償のためのビデオ復号化方法によれば、復元映像のシステム的誤差が補償されることで復元映像の画質が改善され、ピクセルグループ別補償値情報のみ符号化されて送受信され、ピクセル値補償対象であるピクセルの位置に関する情報まで送受信される必要がないので、復元映像の画質改善のための付加情報の伝送ビット量が低減する。

以下、図８ないし図２２を参照して、本発明の一実施形態によるツリー構造による符号化単位に基づいてループフィルタリング後にピクセル値を補償するためのビデオ符号化及び復号化が詳述される。

図８は、本発明の一実施形態によるツリー構造による符号化単位に基づいてループフィルタリング後にピクセル値を補償するためのビデオ符号化装置のブロック図を示す。

本発明の一実施形態によるツリー構造による符号化単位に基づいてループフィルタリング後にピクセル値を補償するためのビデオ符号化装置８０は、符号化部８１、復元映像生成部８４、補償値及びピクセルグループ決定部８７及び伝送部８８を備える。本発明の一実施形態による符号化部８１は、最大符号化単位分割部８２及び符号化深度及び符号化モード決定部８３を備え、本発明の一実施形態による復元映像生成部８４は、復号化部８５及びループフィルタリング実行部８６を備える。

本発明の一実施形態による符号化部８１は、入力映像シーケンスを符号化する。本発明の一実施形態による符号化部８１は、ツリー構造による符号化単位に基づいて入力映像シーケンスの符号化を行える。このために、本発明の一実施形態による最大符号化単位分割部８２は、映像の現在ピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーを区切る。本発明の一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６ｘ２５６位のデータ単位であり、横及び縦のサイズが２の累乗である正方形のデータ単位である。

現在ピクチャーが最大符号化単位より大きければ、現在ピクチャーの映像データは少なくとも１つの最大符号化単位に分割される。映像データは、少なくとも１つの最大符号化単位別に符号化深度及び符号化モード決定部８３に出力される。

本発明の一実施形態による符号化単位は、最大サイズ及び深度（デプス）で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位に定義される。最大符号化単位は、深度が深くなるにつれて深度別符号化単位のサイズは低減するので、上位深度の符号化単位は、複数の下位深度の符号化単位を含む。

前述したように符号化単位の最大サイズによって、現在ピクチャーの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。本発明の一実施形態による最大符号化単位は深度別に分割されるので、最大符号化単位に含まれた空間領域の映像データが深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されうる。

符号化深度及び符号化モード決定部８３は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化して、少なくとも１つの分割領域別に最終符号化結果が出力される深度を定める。すなわち、符号化深度及び符号化モード決定部８３は、現在ピクチャーの最大符号化単位ごとに、深度別符号化単位で映像データを符号化して最小の符号化誤差が発生する深度を選択して、符号化深度と定める。定められた符号化深度及び最大符号化単位別映像データは伝送部８８に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最も小さな深度が選択される。それぞれの最大化符号化単位ごとに少なくとも１つの符号化深度が定められる。

最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の数は増加する。また、１つの最大符号化単位に含まれる同じ深度の符号化単位であっても、それぞれのデータに対する符号化誤差を測定して下位深度への分割如何が定められる。したがって、１つの最大符号化単位に含まれるデータであっても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって定められる。したがって、１つの最大符号化単位に対して符号化深度が１つ以上設定され、最大符号化単位のデータは、１つ以上の符号化深度の符号化単位によって区切られる。

したがって、本発明の一実施形態による符号化深度及び符号化モード決定部８３は、現在最大符号化単位に含まれるツリー構造による符号化単位が定められる。本発明の一実施形態による‘ツリー構造による符号化単位’は、現在最大符号化単位に含まれるすべての深度別符号化単位のうち、符号化深度と定められた深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では深度によって階層的に定められ、他の領域に対しては独立的に定められる。同様に、現在領域に対する符号化深度は、他の領域に対する符号化深度と独立的に定められる。

本発明の一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に関する指標である。本発明の一実施形態による最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。例えば、最大符号化単位の深度が０であれば、最大符号化単位が１回分割された符号化単位の深度は１に設定され、２回分割された符号化単位の深度が２に設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位ならば、深度０、１、２、３、４の深度レベルが存在するので、最大深度は４に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位に基づいて行われる。本発明の一実施形態によってビデオ符号化のために行う変換は、変換、直交変換、定数変換などを含む。

最大符号化単位が深度別に分割される度に深度別符号化単位の数が増加するので、深度が深くなるにつれて生成されるすべての深度別符号化単位に対して、予測符号化及び変換を含む符号化が行われねばならない。以下、説明の便宜のために少なくとも１つの最大符号化単位のうち、現在深度の符号化単位に基づく予測符号化及び変換を説明する。

本発明の一実施形態によるビデオ符号化装置８０は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択できる。映像データの符号化のためには予測符号化、変換、エントロピー符号化などの段階を経るが、全段階にわたって同じデータ単位が使われてもよく、段階別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置８０は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択できる。

最大符号化単位の予測符号化のためには、本発明の一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位に基づいて予測符号化が行われる。以下、予測符号化の基盤になる、それ以上分割されない符号化単位を‘予測単位’と称する。予測単位が分割されたパーティションは、予測単位、あるいは予測単位の高さ及び幅のうち少なくとも１つが分割されたデータ単位を含む。

例えば、サイズ２Ｎ×２Ｎ（但し、Ｎは、正の定数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位になり、パーティションのサイズは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどでありうる。本発明の一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションだけでなく、１：ｎまたはｎ：１などの非対称的な割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

符号化単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも１つである。例えば、イントラモード及びインターモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズの予測単位に対して行われる。また、スキップモードは、２Ｎ×２Ｎサイズの予測単位に対してのみ行われる。符号化単位以内の１つの予測単位ごとに独立的に符号化が行われて、符号化誤差の最も小さな予測モードが選択される。

また、本発明の一実施形態によるビデオ符号化装置８０は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位に基づいて符号化単位の映像データの変換を行える。

符号化単位の変換のためには、符号化単位より小さいか、または同じサイズの変換単位に基づいて変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含む。

本発明の一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小さなサイズの変換単位に分割されつつ、符号化単位の残差データが、変換深度によってツリー構造による変換単位によって区切られる。

本発明の一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割させて変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在符号化単位の変換単位のサイズが２Ｎ×２Ｎならば、変換深度０、変換単位のサイズがＮ×Ｎならば、変換深度１、変換単位のサイズがＮ／２×Ｎ／２ならば、変換深度２に設定される。すなわち、変換単位に対しても、変換深度によってツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけでなく、予測関連情報及び変換関連情報が必要である。したがって、符号化深度及び符号化モード決定部８３は、最小符号化誤差を発生させた符号化深度だけでなく、符号化深度の符号化単位を予測単位に分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを定める。

本発明の一実施形態による符号化深度及び符号化モード決定部８３は、深度別符号化単位の符号化誤差を、ラグランジュの乗数基盤の率−歪曲最適化技法を用いて測定する。

本発明の一実施形態による復元映像生成部８４は、符号化された映像データを復号化し、復号化された映像データにループフィルタリングを行って復元映像を生成する。本発明の一実施形態による復元映像生成部８４のうち復号化部８５は、符号化部８１によって、ツリー構造による符号化単位に基づいて符号化された映像データを復号化する。本発明の一実施形態による復号化部８５は、符号化深度及び符号化モード決定部８３０によって定められた符号化深度及び符号化モードに基づいて、符号化された映像データを復号化し、最大符号化単位別に空間領域の映像データを出力する。

本発明の一実施形態による復元映像生成部８４のうちループフィルタリング実行部８６は、復号化された映像データに対してインループフィルタリングを行える。本発明の一実施形態によるループフィルタリング実行部８６に対して、本発明の一実施形態による復元映像生成部１４で選択的に行われる適応的ループフィルタリングと同じ技術が適用される。したがって、本発明の一実施形態によるループフィルタリング実行部８６は、水平方向の１次元フィルタリング及び垂直方向の１次元フィルタリングを連続的に行って現在ピクチャーを復元できる。本発明の一実施形態によるループフィルタリング実行部８６は復元映像を出力し、復元映像は補償値及びピクセルグループ決定部８７に入力される。

本発明の一実施形態による補償値及びピクセルグループ決定部８７は、復元映像のうち所定グループの復元ピクセルに対して、それぞれの復元ピクセル及び対応する原本ピクセル間の誤差に対する補償値及びピクセル値補償対象である復元ピクセルを含むピクセルグループを定める。本発明の一実施形態による補償値及びピクセルグループ決定部８７と、本発明の一実施形態による補償値及びピクセルグループ決定部１６とは、相応する技術的構成要素である。

したがって、本発明の一実施形態による補償値及びピクセルグループ決定部８７は、復元映像の隣接する復元ピクセルの復元ピクセル別極値及び／またはエッジ値レベルを定め、隣接する復元ピクセルを、極値及び／またはエッジ値レベル別ピクセルグループに分類できる。また、本発明の一実施形態による補償値及びピクセルグループ決定部８７は、復元ピクセルをピクセル値に基づいて帯域別ピクセルグループに分類できる。また、本発明の一実施形態による補償値及びピクセルグループ決定部８７は、復元映像を分析して所定方向のラインを検出し、復元ピクセルを、同じライン上に位置している復元ピクセルを含むライン別ピクセルグループに分類できる。

本発明の一実施形態による補償値及びピクセルグループ決定部８７は、ピクセルグループごとに個別的に、復元ピクセル及び原本ピクセル間の誤差の平均値を用いて補償値を定められる。本発明の一実施形態による補償値及びピクセルグループ決定部８７は、入力ビデオの映像シーケンス、スライス、フレーム及び符号化単位のうち少なくとも１つのデータ単位別に補償される復元ピクセルを定め、該当補償値を定められる。本発明の一実施形態による補償値及びピクセルグループ決定部８７によって定められた補償値またはピクセルグループに関する情報は、伝送部８８に出力される。

本発明の一実施形態による伝送部８８は、符号化深度及び符号化モード決定部８３で定められた少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに関する情報をビットストリーム形態に出力する。符号化部８１によって符号化された映像データは、エントロピー符号化を通じてビットストリーム形態に変換された後、伝送用ビットストリームに挿入される。

また本発明の一実施形態による伝送部８８は、補償値及びピクセルグループ決定部１６によって定められた補償値を符号化して伝送用ビットストリームに挿入する。本発明の一実施形態による伝送部８８は、補償値及びピクセルグループ決定部８７からピクセルグループ決定方式についての付加情報を入力されて、これを符号化してビットストリームに挿入することもできる。

符号化された映像データは、映像の残差データの符号化結果でありうる。深度別符号化モードに関する情報は、符号化深度情報、符号化深度の符号化単位の予測単位のパーティションタイプ情報、予測単位別予測モード情報、変換単位のサイズ情報などを含む。

符号化深度情報は、現在深度に符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を用いて定義される。現在符号化単位の現在深度が符号化深度ならば、現在符号化単位は現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度でなければ、下位深度の符号化単位を用いた符号化を試みねばならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が１つ以上存在するので、それぞれの下位深度の符号化単位ごとに繰り返して符号化が行われて、同じ深度の符号化単位ごとに再帰的符号化が行われる。

１つの最大符号化単位内にツリー構造の符号化深度が定められ、符号化深度ごとに少なくとも１つの符号化モードに関する情報が定められねばならないので、１つの最大符号化単位に対しては、少なくとも１つの符号化モードに関する情報が定められる。また、最大符号化単位のデータは、深度によって階層的に区切られて位置別に符号化深度が異なるので、データに対して符号化深度及び符号化モードに関する情報が設定される。

したがって、本発明の一実施形態による伝送部８８は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも１つに対して、該当の符号化深度及び符号化モードに関する符号化情報を割り当てられる。

本発明の一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。本発明の一実施形態による最小単位は、最大符号化単位に含まれるすべての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位である。

例えば、伝送部８８を通じて出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に関する情報、インターモードの参照映像インデックスに関する情報、動きベクトルに関する情報、イントラモードのクロマ成分に関する情報、イントラモードの補間方式に関する情報などを含む。また、ピクチャー、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズに関する情報及び最大深度に関する情報は、ビットストリームのヘッダに挿入される。

本発明の一実施形態による伝送部８８は、適応的ループフィルタリングに用いられるフィルタ係数を符号化して出力する。また、本発明の一実施形態による適応的ループフィルタリングのために、それぞれの１次元フィルタの種類、数、大きさ、量子化ビット、係数、フィルタリング方向、フィルタリング実行如何及びランニングフィルタリング実行如何などが設定されるので、ループフィルタリングの１次元フィルタセットに関する情報が符号化されて伝送されてもよい。

本発明の一実施形態によるビデオ符号化装置８０の最も簡単な形態の実施形態によれば、深度別符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎ×２Ｎならば、下位深度の符号化単位のサイズはＮ×Ｎである。また、２Ｎ×２Ｎサイズの現在符号化単位は、Ｎ×Ｎサイズの下位深度符号化単位を最大４個含む。

したがって、本発明の一実施形態によるビデオ復号化装置８０は、現在ピクチャーの特性を考慮して定められた最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を定める。また、それぞれの最大符号化単位ごとに多様な予測モード、変換方式などで符号化できるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが定められる。

したがって、映像の解像度が非常に高いか、またはデータ量が非常に大きい映像を既存マクロブロック単位で符号化すれば、ピクチャー当りマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。したがって、本発明の一実施形態によるビデオ符号化装置は、映像のサイズを考慮して符号化単位の最大サイズを増大させつつ、映像特性を考慮して符号化単位を調節できるので、映像圧縮効率が高くなる。

また、復号化端で復元映像の画質を改善するために必要な、復元映像及び原本映像間のピクセル値を補償するための補償値情報が、ピクセル位置に関する情報なしに符号化されて伝送されるので、付加情報の伝送ビット量が低減する。

図９は、本発明の一実施形態によるツリー構造による符号化単位に基づいてループフィルタリング後にピクセル値を補償するためのビデオ復号化装置のブロック図を示す。

本発明の一実施形態によるツリー構造による符号化単位に基づいてループフィルタリング後にピクセル値を補償するためのビデオ復号化装置９０は、抽出部９１、復元映像生成部９４、ピクセルグループ決定部９７及び復元ピクセル補償部９８を備える。本発明の一実施形態による抽出部９１は、受信部９２及び映像データ、符号化モード情報、ループフィルタ係数情報及び補償値情報抽出部９３を備え、復元映像生成部９４は、復号化部９５及びループフィルタリング実行部９６を備える。

本発明の一実施形態によるツリー構造による符号化単位に基づいてループフィルタリング後にピクセル値を補償するためのビデオ復号化装置９０の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに関する情報など各種用語の定義は、図８の本発明の一実施形態によるツリー構造による符号化単位に基づいてループフィルタリング後にピクセル値を補償するためのビデオ符号化装置８０を参照して前述した通りである。

本発明の一実施形態による抽出部９１は、符号化された映像に対するビットストリームを受信してパージングし、ビットストリームから符号化された映像データ及び補償値を抽出する。本発明の一実施形態による抽出部９１のうち受信部９２は、符号化されたビデオに対するビットストリームを受信してパージングする。本発明の一実施形態による映像データ、符号化モード情報、ループフィルタ係数情報及び補償値情報抽出部９３（以下、‘情報抽出部’と称する）は、パージングされたビットストリームから最大符号化単位別に映像データを抽出して復号化部９５に出力する。本発明の一実施形態による情報抽出部９３は、現在ピクチャーに対するヘッダから、現在ピクチャーの符号化単位の最大サイズに関する情報を抽出できる。

また、本発明の一実施形態による情報抽出部９３は、パージングされたビットストリームから最大符号化単位別符号化深度及び符号化モードに関する情報を抽出する。抽出された符号化深度及び符号化モードに関する情報は復号化部９５に出力される。すなわち、ビット列の映像データを最大符号化単位に分割して、復号化部９５をして最大符号化単位ごとに映像データを復号化させる。

最大符号化単位別符号化深度及び符号化モードに関する情報は、１つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに関する情報は、符号化単位別予測単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。

本発明の一実施形態による情報抽出部９３が抽出した最大符号化単位別符号化深度及び符号化モードに関する情報は、本発明の一実施形態によるビデオ符号化装置８０のように符号化端で、最大符号化単位別深度別符号化単位ごとに繰り返して符号化を行って最小符号化誤差を発生させることで定められた符号化深度及び符号化モードに関する情報である。したがって、本発明の一実施形態によるビデオ復号化装置９０は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元できる。

本発明の一実施形態による符号化深度及び符号化モードに関する符号化情報は、該当符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、本発明の一実施形態による情報抽出部９３は、最小符号化単位別に符号化深度及び符号化モードに関する情報を抽出できる。最小符号化単位別に、該当の最大符号化単位の符号化深度及び符号化モードに関する情報が記録されていれば、同じ符号化深度及び符号化モードに関する情報を持っている最小符号化単位は、同じ最大符号化単位に含まれるデータ単位と類推される。

本発明の一実施形態による復号化部９５は、最大符号化単位別符号化深度及び符号化モードに関する情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャーを復元する。すなわち、本発明の一実施形態による復号化部９５は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションタイプ、予測モード、変換単位情報に基づいて、符号化された映像データを復号化できる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含む。

また、本発明の一実施形態による映像データ復号化部９５は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいてツリー構造による変換単位を判読して、符号化単位ごとに変換単位に基づいた逆変換を行える。

本発明の一実施形態による復号化部９５は、深度別分割情報を用いる現在最大符号化単位の符号化深度を定める。もし、分割情報が現在深度で復号化することを示していれば、現在深度が符号化深度である。したがって、本発明の一実施形態による復号化部９５は、現在最大符号化単位の映像データに対して現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を用いて復号化できる。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察して、同じ分割情報を含む符号化情報を保有しているデータ単位が集まって、復号化部９５によって同じ符号化モードで復号化する１つのデータ単位と見なされる。

本発明の一実施形態による情報抽出部９３は、ビットストリームに適応的ループフィルタリングのためのフィルタ係数に関する情報が挿入されている場合、ビットストリームからフィルタ係数に関する情報を抽出する。本発明の一実施形態によるループフィルタリング実行部９６は、情報抽出部９３によって抽出されたループフィルタ係数に関する情報を入力されて、復号化部９５によって復号化された映像データに対してループフィルタリングを行って復元映像を生成できる。

本発明の一実施形態によるループフィルタリング実行部９６に対して、本発明の一実施形態による復元映像生成部２４の技術的構成要素が同様に適用される。したがって、本発明の一実施形態によるループフィルタリング実行部９６は、復号化された映像データに対してデブロッキングフィルタリング及び適応的ループフィルタリングを選択的に行える。本発明の一実施形態による適応的ループフィルタリングは、連続的な複数の１次元フィルタを用いて行われる。

本発明の一実施形態による復元映像生成部９４は、情報抽出部９３から抽出されたフィルタ係数の残差情報を用いて、それぞれの１次元フィルタのフィルタ係数を誘導できる。例えば、それぞれの１次元フィルタごとに、現在フィルタ係数及び以前フィルタ係数間の差値を以前フィルタ係数に加えることで、現在フィルタ係数が誘導される。誘導されたそれぞれの１次元フィルタのフィルタ係数を用いて、デブロッキングされたデータに対して連続的な１次元フィルタリングが行われる。デブロッキングは、復号化されたデータのブロック効果を低減させ、ループフィルタリングは、復元映像及び原本映像の間の誤差を最小化させる。

本発明の一実施形態による情報抽出部９３は、ビットストリームから符号化された映像データ及び補償値関連情報を抽出する。補償値関連情報は補償値情報を含む。また、補償値関連情報が、補償値を用いて補償される復元ピクセルの決定方式に関する情報を含む場合には、本発明の一実施形態による情報抽出部９３によって、ビットストリームから補償値及び補償されるピクセルグループ決定方式に関する情報が抽出される。本発明の一実施形態による情報抽出部９３は、入力ビデオの映像シーケンス、スライス、フレーム及び符号化単位のうち少なくとも１つのデータ単位別に、補償値または補償値関連情報を抽出する。

本発明の一実施形態によるピクセルグループ決定部９７は、復元映像生成部９４によって生成された復元映像、及び情報抽出部９３によって抽出された補償値情報を入力されて、復元映像のうち、所定グループの復元ピクセルに対して補償値を用いて補償される復元ピクセルを含むピクセルグループを定める。本発明の一実施形態による復元ピクセル補償部９８は、情報抽出部９３によって抽出された補償値及びピクセルグループ決定部９７によって定められた復元ピクセルに関する情報を入力されて、補償値を用いて復元ピクセルのピクセル値を補償し、ピクセル値が補償された復元映像を出力する。

本発明の一実施形態による情報抽出部９３によって補償されるピクセルグループ決定方式に関する情報が抽出された場合、本発明の一実施形態によるピクセルグループ決定部９７は、ピクセルグループ決定方式に基づいて、選択的にピクセル値補償対象であるピクセルグループを定める。例えば、本発明の一実施形態によるピクセルグループ決定部９７は、ピクセルグループ決定方式に基づいて、復元ピクセルを、前述した極値及び／またはエッジ値レベル、ピクセル値帯域または方向性ラインによって分類するか否かを定め、ピクセル値補償対象であるピクセルグループを定める。この場合、本発明の一実施形態による復元ピクセル補償部９８は、極値及び／またはエッジ値レベル別ピクセルグループ、帯域別ピクセルグループまたはライン別ピクセルグループのための補償値を用いて、ピクセルグループの復元ピクセルのピクセル値を補償できる。

本発明の一実施形態によるビデオ復号化装置９０は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って、最小符号化誤差を発生させた符号化単位に関する情報を獲得して、現在ピクチャーに対する復号化に用いる。すなわち、最大符号化単位ごとに最適符号化単位で映像データの復号化が可能になる。

したがって、高い解像度の映像またはデータ量が過度に多い映像であっても、符号化端から伝送された最適符号化モードに関する情報を用いて、映像の特性に適応的に定められた符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元できる。

また、本発明の一実施形態によるツリー構造による符号化単位に基づいてピクセル値を補償するためのビデオ符号化装置８０、及び本発明の一実施形態によるツリー構造による符号化単位に基づいてピクセル値を補償するためのビデオ復号化装置９０は、符号化された映像が復号化及び復元された場合、復元映像が、原本映像間に発生するシステム誤差を補償できる。

以下、図１０ないし図２０を参照して、本発明の一実施形態によるツリー構造による符号化単位に基づいたビデオ符号化及び復号化が詳述される。

図１０は、本発明の一実施形態による符号化単位の概念を示す。符号化単位の例は、符号化単位のサイズは幅×高さで表現され、サイズ６４×６４である符号化単位から、３２×３２、１６×１６、８×８を含む。サイズ６４×６４の符号化単位は、サイズ６４×６４、６４×３２、３２×６４、３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２、３２×１６、１６×３２、１６×１６のパーティションに分割され、サイズ１６×１６の符号化単位は、サイズ１６×１６、１６×８、８×１６、８×８のパーティションに分割され、サイズ８×８の符号化単位は、サイズ８×８、８×４、４×８、４×４のパーティションに分割される。

ビデオデータ３１０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度は３５２×２８８、符号化単位の最大サイズは１６、最大深度が１に設定されている。最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。したがって、ビデオデータ３３０に比べて、解像度の高いビデオデータ３１０、３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度は２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割して深度が２階層深くなって長軸サイズが３２、１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度は１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割して深度が１階層深くなって長軸サイズが８である符号化単位まで含む。

ビデオデータ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割して深度が３階層深くなって長軸サイズが３２、１６、８である符号化単位まで含む。深度が深くなるほど詳細情報の表現能力が向上する。

図１１は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を示す。

本発明の一実施形態による映像符号化部４００は、本発明の一実施形態によるビデオ符号化装置８０の符号化部８１で映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のうちイントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を用いてインター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を通じて空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて、参照フレーム４９５に出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５として出力される。

本発明の一実施形態によるビデオ符号化装置８０に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０がいずれも、最大符号化単位ごとにツリー構造による符号化単位に基づいて作業を行わねばならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを定め、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを定めねばならない。

図１２は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を示す。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化されたビデオデータ及び復号化のために必要な符号化に関する情報がパージングされる。符号化されたビデオデータは、エントロピー復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータとして出力され、逆変換部５４０を経て空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に用いてインターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されて復元フレーム５９５として出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

本発明の一実施形態によるビデオ復号化装置９０の復号化部９５で映像データを復号化するために、本発明の一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

本発明の一実施形態によるビデオ復号化装置９０に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０がいずれも、最大符号化単位ごとに符号化深度の符号化単位に基づいて作業を行わねばならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれにパーティション及び予測モードを定め、逆変換部５４０は、符号化単位ごとに変換単位のサイズを定めなければならない。

図１３は、本発明の一実施形態による深度別符号化単位及び予測単位を示す。

本発明の一実施形態によるビデオ符号化装置８０及び本発明の一実施形態によるビデオ復号化装置９０は、映像特性を考慮するために階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に定められてもよく、ユーザのニーズに応じて多様に設定されてもよい。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位のサイズが定められる。

本発明の一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。この時、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。本発明の一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であって、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が深くなり、サイズ３２×３２である深度１の符号化単位６２０、サイズ１６×１６である深度２の符号化単位６３０、サイズ８×８である深度３の符号化単位６４０、サイズ４×４である深度４の符号化単位６５０が存在する。サイズ４×４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位ならば、予測単位は、サイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、サイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２×１６のパーティション６２２、サイズ１６×３２のパーティション６２４、サイズ１６×１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、サイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、サイズ４×４のパーティション６４６に分割される。

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位であって最下位深度の符号化単位であり、該当の予測単位も、サイズ４×４のパーティション６５０のみに設定される。また、サイズ４×２のパーティション６５２、サイズ２×４のパーティション６５４、サイズ２×２のパーティション６５６が用いられてもよい。

本発明の一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を定めるために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同じ範囲及びサイズのデータを含むための深度別符号化単位の数は、深度が深くなるほど深度別符号化単位の数も増加する。例えば、深度１の符号化単位１つを含むデータに対して、深度２の符号化単位は４つが必要である。したがって、同じデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を用いてそれぞれ符号化されねばならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、該当の深度で最小符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図１４は、本発明の一実施形態による、符号化単位及び変換単位の関係を示す。本発明の一実施形態によるビデオ符号化装置８０、または本発明の一実施形態によるビデオ復号化装置９０は、最大符号化単位ごとに最大符号化単位より小さいか、または同じサイズの符号化単位で映像を符号化または復号化する。符号化過程における変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位に基づいて選択される。

例えば、本発明の一実施形態によるビデオ符号化装置８０、または本発明の一実施形態によるビデオ復号化装置９０で、現在符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を用いて変換が行われる。

また、６４×６４サイズの符号化単位７１０のデータを、６４×６４サイズ以下の３２×３２、１６×１６、８×８、４×４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。

図１５は、本発明の一実施形態による深度別符号化情報を示す。本発明の一実施形態によるビデオ符号化装置８０の伝送部８８は、符号化モードに関する情報であって、それぞれの符号化深度の符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を符号化して伝送できる。

パーティションタイプに関する情報８００は、現在符号化単位の予測符号化のためのデータ単位であって、現在符号化単位の予測単位が分割されたパーティションの形態に関する情報を示す。例えば、サイズ２Ｎ×２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、サイズＮ×Ｎのパーティション８０８のうちいずれか１つのタイプに分割されて用いられる。この場合、現在符号化単位のパーティションタイプに関する情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６及びサイズＮ×Ｎのパーティション８０８のうち１つを示すように設定される。

予測モードに関する情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに関する情報８１０を通じて、パーティションタイプに関する情報８００の示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち１つで予測符号化が行われるかどうかが設定される。

また、変換単位サイズに関する情報８２０は、現在符号化単位をいかなる変換単位に基づいて変換するかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち１つである。

本発明の一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を抽出して復号化に用いる。

図１６は、本発明の一実施形態による深度別符号化単位を示す。深度の変化を示すために分割情報が用いられる。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０×２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１４、Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的な割合で分割されたパーティション９１２、９１４、９１６、９１８のみが例示されているが、前述したようにパーティションタイプはこれに限定されず、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。

パーティションタイプごとに、１つの２Ｎ＿０×２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０×Ｎ＿０サイズのパーティション、２つのＮ＿０×２Ｎ＿０サイズのパーティション、４つのＮ＿０×Ｎ＿０サイズのパーティションごとに繰り返して予測符号化が行われねばならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０及びサイズ２Ｎ＿０×Ｎ＿０及びサイズＮ＿０×Ｎ＿０のパーティションに対しては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０×２Ｎ＿０のパーティションに対してのみ予測符号化が行われる。

サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２、９１４、９１６のうち１つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要がない。

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しつつ分割し（９２０）、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０に対して繰り返して符号化を行って最小符号化誤差を検索できる。

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１×Ｎ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１×Ｎ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しつつ分割し（９５０）、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０に対して繰り返して符号化を行って最小符号化誤差を検索できる。

最大深度がｄである場合、深度別分割情報は深度ｄ−１にまで設定され、分割情報は深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割（９７０）されて深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに繰り返して予測符号化を通じる符号化が行われて、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）はそれ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１に定められ、パーティションタイプはＮ＿（ｄ−１）×Ｎ＿（ｄ−１）に定められる。また最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に対する‘最小単位’と称される。本発明の一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。かかる反復的な符号化過程を通じて、本発明の一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較して最小符号化誤差が発生する深度を選択して符号化深度を定め、該当パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。

このように、深度０、１、…、ｄ−１、ｄのすべての深度別最小符号化誤差を比較して誤差が最も小さな深度が選択され、符号化深度と定められる。符号化深度、及び予測単位のパーティションタイプ及び予測モードは、符号化モードに関する情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報のみ‘０’に設定され、符号化深度を除いた深度別分割情報は‘１’に設定されねばならない。

本発明の一実施形態によるビデオ復号化装置９０の情報抽出部９３は、符号化単位９１２に対する符号化深度及び予測単位に関する情報を抽出して、符号化単位９１２の復号化に用いる。本発明の一実施形態によるビデオ復号化装置９０は、深度別分割情報を用いて分割情報が‘０’である深度を符号化深度と把握し、該当深度に対する符号化モードに関する情報を用いて復号化に用いる。

図１７ないし図１９は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を示す。

符号化単位１０１０は、最大符号化単位に対して本発明の一実施形態によるビデオ符号化装置１００が定めた符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０のうちそれぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であれば、符号化単位１０１２、１０５４は深度が１、符号化単位１０１４、１０１６、１０１８、１０２８、１０５０、１０５２は深度が２、符号化単位１０２０、１０２２、１０２４、１０２６、１０３０、１０３２、１０４８は深度が３、符号化単位１０４０、１０４２、１０４４、１０４６は深度が４である。

予測単位１０６０のうち一部のパーティション１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４、１０２２、１０５０、１０５４は、２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６、１０４８、１０５２は、Ｎ×２Ｎのパーティションタイプ、パーティション１０３２は、Ｎ×Ｎのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、または同一である。

変換単位１０７０のうち一部１０５２の映像データに対しては、符号化単位に比べて小さなサイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、予測単位１０６０のうち該当予測単位及びパーティションと比較すれば、相異なるサイズまたは形態のデータ単位である。すなわち、本発明の一実施形態によるビデオ符号化装置８０及び本発明の一実施形態によるビデオ復号化装置９０は、同じ符号化単位に対するイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位に基づいて行える。

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われて最適の符号化単位が定められることで、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に関する分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。以下、表２は、本発明の一実施形態によるビデオ符号化装置８０及び本発明の一実施形態によるビデオ復号化装置９０で設定できる一例を示す。

本発明の一実施形態によるビデオ符号化装置８０の伝送部８８は、ツリー構造による符号化単位に関する符号化情報を出力し、本発明の一実施形態によるビデオ復号化装置９０の情報抽出部９３は、受信されたビットストリームから、ツリー構造による符号化単位に関する符号化情報を抽出できる。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０ならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対してパーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって１段階さらに分割されねばならない場合には、分割された４個の下位深度の符号化単位ごとに独立的に符号化が行われねばならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち１つで示す。イントラモード及びインターモードは、すべてのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎ×２Ｎのみで定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ及びＮ×Ｎと、非対称的な割合で分割された非対称的パーティションタイプ２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎとを示す。非対称的パーティションタイプ２Ｎ×ｎＵ及び２Ｎ×ｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種のサイズ、インターモードで２種のサイズに設定される。すなわち、変換単位分割情報が０ならば、変換単位のサイズが現在符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位分割情報が１ならば、現在符号化単位が分割されたサイズの変換単位が設定される。またサイズ２Ｎ×２Ｎである現在符号化単位に対するパーティションタイプが対称形パーティションタイプならば、変換単位のサイズはＮ×Ｎ、非対称形パーティションタイプならば、Ｎ／２×Ｎ／２に設定される。

本発明の一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも１つに対して割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を１つ以上含む。

したがって、隣接するデータ単位同士でそれぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を用いれば、該当符号化深度の符号化単位が確認できるので、最大符号化単位内の符号化深度の分布が類推される。

したがって、現在符号化単位を、周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて用いられる。

本発明の他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を用いて、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることで、周辺符号化単位が参照される。

図２０は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す。

最大符号化単位１３００は、符号化深度の符号化単位１３０２、１３０４、１３０６、１３１２、１３１４、１３１６、１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６、Ｎ×Ｎ １３２８、２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち１つに設定される。

変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）は、変換インデックスの一種であり、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が対称形パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち１つに設定されている場合、変換単位分割情報が０ならば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、変換単位分割情報が１ならば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が非対称形パーティションタイプ２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち１つに設定された場合、変換単位分割情報が０ならば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、変換単位分割情報が１ならば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

図１８を参照して前述された変換単位分割情報は、０または１の値を持つフラグであるが、本発明の一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって０、１、２、３…などに増加しつつ変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施形態として用いられる。

この場合、本発明の一実施形態による変換単位分割情報を変換単位の最大サイズ、変換単位の最小サイズと共に用いれば、実際に用いられた変換単位のサイズが表現される。本発明の一実施形態によるビデオ符号化装置８０は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化できる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報はＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に挿入される。本発明の一実施形態によるビデオ復号化装置９０は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を用いてビデオ復号化に用いる。

例えば、（ａ）現在符号化単位がサイズ６４×６４であり、最大変換単位サイズは３２×３２ならば、（ａ−１）変換単位分割情報が０である時に変換単位のサイズが３２×３２、（ａ−２）変換単位分割情報が１である時に変換単位のサイズが１６×１６、（ａ−３）変換単位分割情報が２である時に変換単位のサイズが８×８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２×３２であり、最小変換単位サイズが３２×３２ならば、（ｂ−１）変換単位分割情報が０である時、変換単位のサイズが３２×３２に設定され、変換単位のサイズが３２×３２より小さくないので、それ以上の変換単位分割情報が設定されない。

他の例として、（ｃ）現在符号化単位がサイズ６４×６４であり、最大変換単位分割情報が１ならば、変換単位分割情報は０または１であり、他の変換単位分割情報が設定されない。

したがって、最大変換単位分割情報を‘ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ’、最小変換単位サイズを‘ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ’、変換単位分割情報が０である場合の変換単位サイズを‘ＲｏｏｔＴｕＳｉｚｅ’と定義する時、現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’は、下記の関係式（１０）のように定義される。

ＣｕｒｒＭｉｎＴｕＳｉｚｅ
＝ｍａｘ（ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ，ＲｏｏｔＴｕＳｉｚｅ／（２＾ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ）） （１０）
現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’と比較して、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、システム上採択可能な最大変換単位サイズを示す。すなわち、関係式（１０）によれば、‘ＲｏｏｔＴｕＳｉｚｅ／（２＾ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ）’は、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、‘ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ’は、最小変換単位サイズであるので、これらのうち小さな値が、現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’でありうる。

本発明の一実施形態による最大変換単位サイズＲｏｏｔＴｕＳｉｚｅは、予測モードによって変わる。

例えば、現在予測モードがインターモードならば、ＲｏｏｔＴｕＳｉｚｅは、下記の数式（１１）によって定められる。数式（１１）で‘ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ’は、最大変換単位サイズ、‘ＰＵＳｉｚｅ’は、現在予測単位サイズを示す。

ＲｏｏｔＴｕＳｉｚｅ＝ｍｉｎ（ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ，ＰＵＳｉｚｅ） （１１）
すなわち、現在予測モードがインターモードならば、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、最大変換単位サイズ及び現在予測単位サイズのうち小さな値に設定される。

現在パーティション単位の予測モードがイントラモードならば、‘ＲｏｏｔＴｕＳｉｚｅ’は、下記の数式（１２）によって定められる。‘Ｐａｒｔｉｔｉｏｎ Ｓｉｚｅ’は、現在パーティション単位のサイズを示す。

ＲｏｏｔＴｕＳｉｚｅ＝ｍｉｎ（ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ，Ｐａｒｔｉｔｉｏｎ Ｓｉｚｅ） （１２）
すなわち、現在予測モードがイントラモードならば、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さな値に設定される。

但し、パーティション単位の予測モードによって変わる一実施形態による現在最大変換単位サイズ‘ＲｏｏｔＴｕＳｉｚｅ’は一実施形態であるだけで、現在最大変換単位サイズを定める要因がこれに限定されるものではないということに留意せねばならない。

図２１は、本発明の一実施形態によるツリー構造による符号化単位に基づいてループフィルタリング後にピクセル値を補償するためのビデオ符号化方法のフローチャートを示す。

段階２１１０で、現在ピクチャーは少なくとも１つの最大符号化単位に分割され、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域が符号化されて、少なくとも１つの分割領域別に最終符号化結果が出力される深度である符号化深度が定められる。また、深度別符号化単位ごとに、符号化深度または分割回数、符号化深度のパーティションタイプ、予測モード及び変換単位サイズなどの符号化モードが定められる。

可能な総分割回数を示す最大深度があらかじめ設定されてもよい。最大符号化単位が段階別に分割されつつ深度が深くなる度に、下位深度別符号化単位ごとに反復的に符号化が行われねばならない。符号化単位の最小符号化誤差を発生させる符号化深度が定められるためには、すべての深度別符号化単位ごとに符号化誤差が測定されて比較されねばならない。

段階２１２０で、符号化された映像データが符号化深度及び符号化モードに基づいて復号化され、復号化された映像データに対してループフィルタリングが行われて復元映像が生成される。本発明の一実施形態によって、復号化された映像データまたはデブロッキングされた映像データに対して、１回以上の１次元フィルタリングを連続的に行う適応的ループフィルタリングが行われることで復元映像が生成される。

段階２１３０で、復元映像のうち、所定グループの復元ピクセルに対して、それぞれの復元ピクセル及び原本ピクセル間の誤差に対する補償値及び補償対象であるピクセルを含むピクセルグループが定められる。ピクセル値補償対象である復元ピクセルを含むピクセルグループは、ピクセル値の極値及び／またはエッジ値レベル、ピクセル値帯域またはラインの構成如何によって定められる。ピクセルグループ別補償値は、該当復元ピクセル及びそれぞれの対応する原本ピクセル間の誤差の平均値に基づいて定められる。

段階２１４０で、最大符号化単位ごとに少なくとも１つの分割領域別最終符号化結果である映像データと、符号化深度及び符号化モードに関する情報、ループフィルタリング係数情報及び補償値関連情報が出力される。符号化モードに関する情報は、符号化深度に関する情報または分割情報、符号化深度のパーティションタイプ情報、予測モード情報及び変換単位サイズ情報などを含む。

ツリー構造による符号化単位に基づいて、ビデオ符号化方式によって符号化された符号化モードに関する情報、符号化されたビデオデータ、ループフィルタリング係数情報とともに、復元映像及び原本映像間のピクセルグループ別補償値関連情報が符号化されて、復号化端に送信される。

図２２は、本発明の一実施形態によるツリー構造による符号化単位に基づいてループフィルタリング後にピクセル値を補償するためのビデオ復号化方法のフローチャートを示す。

段階２２１０で、ツリー構造による符号化単位に基づいて、ビデオ符号化方式によって符号化されたビデオに対するビットストリームが受信されてパージングされ、パージングされたビットストリームから最大サイズの最大符号化単位に割り当てられる現在ピクチャーの映像データ、最大符号化単位別符号化深度及び符号化モードに関する情報、ループフィルタリング係数情報及び補償値関連情報などが抽出される。

最大符号化単位別符号化深度は、現在ピクチャーの符号化過程で最大符号化単位別に符号化誤差が最も小さい深度に選択された深度である。最大符号化単位別符号化は、最大符号化単位を深度別に階層的に分割した少なくとも１つのデータ単位に基づいて映像データが符号化されたものである。したがって、符号化単位別符号化深度を把握した後、それぞれの映像データを復号化することで、映像の符号化／復号化の効率性が向上する。

段階２２２０で、最大符号化単位別符号化深度及び符号化モードに関する情報に基づいてそれぞれの最大符号化単位の映像データが復号化され、復号化された映像データに対してループフィルタリングが行われて復元映像が生成される。復号化された映像データまたはデブロッキングされた映像データに対して、本発明の一実施形態によって１回以上の１次元フィルタリングが連続的に行われる適応的ループフィルタリングが行われることで復元映像が生成される。

段階２２３０で、復元映像の復元ピクセルのうち、補償値を用いて補償する復元ピクセルを含むピクセルグループが定められる。抽出された補償値関連情報に基づいて、ピクセルグループ決定方式によって、復元ピクセルのピクセル値の極値及び／またはエッジ値レベル、ピクセル値帯域またはラインの構成如何によって、補償値を用いてピクセル値が補償される復元ピクセルを含むピクセルグループが定められる。

段階２２４０で、定められたピクセルグループの復元ピクセルに対して、補償値を用いて復元ピクセル及び原本ピクセル間の誤差が補償されて、誤差が補償された復元映像が出力される。

本発明の一実施形態によるツリー構造による符号化単位に基づいてピクセル値を補償するためのビデオ符号化方法、または本発明の一実施形態によるツリー構造による符号化単位に基づいてピクセル値を補償するためのビデオ復号化方法によれば、復元映像のシステム的誤差が補償されることで復元映像の画質が改善され、ピクセルグループ別補償値情報のみ符号化されて送受信されるので、ピクセル値補償対象であるピクセルの位置に関する情報まで送受信される必要はないので、復元映像の画質改善のための付加情報の伝送ビットレートが低減する。

一方、前述した本発明の実施形態はコンピュータで行われるプログラムで作成でき、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現できる。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど）及び光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）などの記録媒体を含む。

以上、本発明についてその望ましい実施形態を中心として説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現できるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にいるすべての差異は、本発明に含まれていると解釈されねばならない。

Claims (4)

1. ビデオ復号化装置が実行するビデオ復号化方法において、
   ピクセル値補償に対する情報をビットストリームから獲得する段階と、
   前記ピクセル値補償に対する情報がピクセル値帯域タイプ及びエッジタイプのうち少なくとも一つを示すとき、前記ビットストリームから複数のオフセットを獲得する段階と、
   前記ピクセル値補償に対する情報が前記ピクセル値帯域タイプを示すとき、現在ブロックのピクセルのうち、一つのピクセル値帯域に対応する一つのピクセルに、前記複数のオフセットのうち一つを適用する段階と、
   前記ピクセル値補償に対する情報が前記エッジタイプを示すとき、前記現在ブロックのピクセルのうち、一つのエッジレベルに対応する一つのピクセルに、前記複数のオフセットのうち一つを適用する段階とを含み、
   前記ピクセル値帯域は複数のピクセル値帯域のうち一つであり、
   前記エッジレベルは前記ピクセルのサンプル値と前記ピクセルの隣接ピクセルのサンプル値の大きさを比較することによって、複数のエッジレベルのうち一つと決定され、
   前記ピクセル値補償に対する情報が前記ピクセル値帯域タイプを示すとき、前記複数のオフセットは前記複数のピクセル値帯域に対応し、
   前記ピクセル値補償に対する情報が前記エッジタイプを示すとき、前記複数のオフセットは前記複数のエッジレベルに対応することを特徴とするビデオ復号化方法。
2. 前記ピクセルと前記ピクセルの隣接ピクセルとを比較して、前記エッジレベルが決定されることを特徴とする請求項１に記載のビデオ復号化方法。
3. 前記ピクセル値帯域は前記ピクセルのサンプル値の範囲であることを特徴とする請求項１に記載のビデオ復号化方法。
4. ピクセル値補償に対する情報をビットストリームから獲得し、前記ピクセル値補償に対する情報がピクセル値帯域タイプ及びエッジタイプのうち少なくとも一つを示す時、前記ビットストリームから複数のオフセットを獲得するプロセッサと、
   前記ピクセル値補償に対する情報が前記ピクセル値帯域タイプを示すとき、現在ブロックのピクセルのうち、一つのピクセル値帯域に対応する一つのピクセルに、前記複数のオフセットのうち一つを適用するピクセル値帯域タイプ補償部と、
   前記ピクセル値補償に対する情報が前記エッジタイプを示すとき、前記現在ブロックのピクセルのうち、一つのエッジレベルに対応する一つのピクセルに、前記複数のオフセットのうち一つを適用するエッジタイプ補償部とを備え、
   前記ピクセル値帯域は複数のピクセル値帯域のうち一つであり、
   前記エッジレベルは前記ピクセルのサンプル値と前記ピクセルの隣接ピクセルのサンプル値の大きさを比較することによって複数のエッジレベルのうち一つと決定され、
   前記ピクセル値補償に対する情報が前記ピクセル値帯域タイプを示すとき、前記複数のオフセットは前記複数のピクセル値帯域に対応し、
   前記ピクセル値補償に対する情報が前記エッジタイプを示すとき、前記複数のオフセットは前記複数のエッジレベルに対応することを特徴とするビデオ復号化装置。

Images