JP6902937B2 - ビデオ復号化方法及びビデオ復号化装置 - Google Patents

Description

本発明は、動き補償による予測符号化等に関する。

従来技術による映像符号化／復号化方法では、映像を符号化するために、１枚のピクチャをマクロブロックに分割する。その後、インタ予測（inter prediction）またはイントラ予測（intra prediction）を利用して、それぞれのマクロブロックを予測符号化する。

インタ予測は、ピクチャ間の時間的な重複性を除去して映像を圧縮する方法であり、動き推定符号化が代表的な例である。動き推定符号化は、少なくとも１枚の参照ピクチャを利用して、現在ピクチャのブロックをそれぞれ予測する。所定の評価関数を利用して、現在ブロックと最も類似した参照ブロックを所定の検索範囲で検索する。

現在ブロックを、参照ブロックに基づいて予測し、現在ブロックでの予測結果として生成された予測ブロックを減算して生成された残差ブロックを符号化する。このとき、予測をさらに正確に行うために、参照ピクチャの検索範囲について補間を行い、画素単位（integer pel unit）より小さいピクセル単位の副ピクセルを生成し、生成された副ピクセルに基づいてインタ予測を行う。

本発明は、映像補間を介して、画素単位ピクセルを補間し、副画素単位ピクセルを生成するために、映像特性を考慮して適する補間フィルタ係数を決定するものである。

本発明の一実施形態による平滑化を考慮した映像補間方法は、画素単位間に位置する少なくとも１つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択する段階と、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも１つの副画素単位のピクセル値を生成する段階と、を含む。

ビデオの符号化過程及び復号化過程で、動き予測／補償時、参照フレームを補間して高画質の映像を生成し、高画質の映像に基づいて、動き推定及び補償を行うことにより、インター予測の正確度が高くなる。また、平滑化補間フィルタを利用して、補間結果の高周波成分が低減し、さらに平滑な補間結果が導き出されることにより、高周波成分が除去され、映像符号化及び映像復号化の効率も向上する。

一実施形態による映像補間装置のブロック図である。 画素単位と副画素単位との関係を図示する図面である。 副画素単位のピクセル値を決定するために参照される隣接する画素単位ピクセルを図示する図面である。 一実施形態によって、副画素単位のピクセル値を決定するために参照される画素単位ピクセルグループを例示する図面である。 一実施形態によって、副画素単位のピクセル値を決定するために参照される画素単位ピクセルグループを例示する図面である。 一実施形態によって、副画素単位のピクセル値を決定するために参照される画素単位ピクセルグループを例示する図面である。 一実施形態によって、平滑化補間フィルタの平滑度パラメータを図示するグラフである。 図６は一実施形態による平滑化補間フィルタで利用可能なスプライン関数のグラフである。 一実施形態による映像補間方法のフローチャートである。 一実施形態によって、平滑度パラメータと補間位置とによって決定される１２タップ補間フィルタのフィルタ係数を図示する図面である。 一実施形態によって、平滑度パラメータと補間位置とによって決定される１２タップ補間フィルタのフィルタ係数を図示する図面である。 一実施形態によって、平滑度パラメータと補間位置とによって決定される１２タップ補間フィルタのフィルタ係数を図示する図面である。 一実施形態によって、平滑度パラメータと補間位置とによって決定される６タップ補間フィルタのフィルタ係数を図示する図面である。 一実施形態によって、平滑度パラメータと補間位置とによって決定される６タップ補間フィルタのフィルタ係数を図示する図面である。 一実施形態によって、平滑度パラメータと補間位置とによって決定される６タップ補間フィルタのフィルタ係数を図示する図面である。 一実施形態によって、クロマ成分のピクセルのための平滑度パラメータと補間位置とによって決定される６タップ補間フィルタのフィルタ係数を例示する図面である。 一実施形態によって、カラー成分及び映像補間位置によって異なって決定される平滑化補間フィルタのフィルタ係数を例示する図面である。 一実施形態によって、映像補間位置及びスケーリング比率による平滑化補間フィルタのフィルタ係数を例示する図面である。 一実施形態によって、映像補間位置及びスケーリング比率による平滑化補間フィルタのフィルタ係数を例示する図面である。 一実施形態によって、映像補間位置及びスケーリング比率による平滑化補間フィルタのフィルタ係数を例示する図面である。 一実施形態による平滑化補間フィルタを利用するビデオ符号化装置のブロック図である。 一実施形態による平滑化補間フィルタを利用する映像復号化装置のブロック図である。 一実施形態による平滑化補間フィルタを利用する映像符号化方法のフローチャートである。 一実施形態による平滑化補間フィルタを利用する映像復号化方法のフローチャートである。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態によって、ツリー構造による符号化単位に基づいて平滑化補間フィルタを利用するビデオ符号化方法のフローチャートである。 本発明の一実施形態によって、ツリー構造による符号化単位に基づいて平滑化補間フィルタを利用するビデオ復号化方法のフローチャートである。

本発明の一実施形態による平滑化を考慮した映像補間方法は、画素単位間に位置する少なくとも１つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択する段階と、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも１つの副画素単位のピクセル値を生成する段階と、を含む。

一実施形態による前記補間フィルタは、複数個の基底関数に基づいて、前記画素単位ピクセルを変換し、前記変換結果として生成された複数個の係数を逆変換するためのフィルタ係数から構成されてもよい。

一実施形態による前記補間フィルタは、前記画素単位ピクセルと前記補間位置との距離に基づいて、前記平滑度が決定されるフィルタ係数から構成されてもよい。一実施形態による前記補間フィルタは、前記画素単位ピクセルのうち、前記補間位置に隣接するピクセルと前記補間位置との距離に基づいて、前記平滑度が決定されるフィルタ係数から構成されてもよい。

一実施形態による前記補間フィルタは、前記画素単位ピクセルを空間ドメインで補間するために、前記複数個の基底関数を利用した変換及び逆変換のためのフィルタ及びウィンドウ関数を合成したフィルタ係数から構成されてもよい。一実施形態による前記ウィンドウ関数は、前記補間位置を中心に対称的な形態であってもよい。

一実施形態による前記補間フィルタは、前記画素単位ピクセルを空間ドメインで補間するために、前記複数個の基底関数を利用した変換及び逆変換のためのフィルタに、平滑度パラメータを合成させたフィルタ係数から構成され、前記平滑度パラメータは、前記平滑度の速度及び前記平滑度の範囲のうち少なくとも一つを制御することができる。

一実施形態による前記補間フィルタは、前記補間フィルタは、スプライン関数に基づいたフィルタ係数から構成されてもよい。一実施形態による前記補間フィルタは、多項式に基づいて、前記補間フィルタの低周波応答を最大化するフィルタ係数から構成されてもよい。

一実施形態による前記補間フィルタ選択段階は、前記補間フィルタにおいて、フィルタ係数が整数に拡大された補間フィルタを選択する段階を含み、前記副画素単位のピクセル値生成段階は、前記選択された補間フィルタを利用して生成したピクセル値を、前記スケーリング比率に基づいて正規化する段階を含んでもよい。

一実施形態による前記補間フィルタ選択段階は、ピクセルの特性に基づいて、前記補間フィルタのうち互いに異なる補間フィルタを選択する段階を含み、前記副画素単位のピクセル値生成段階は、前記ピクセルの特性別にそれぞれ選択された互いに異なる補間フィルタを利用して、前記副画素単位のピクセル値を生成する段階を含んでもよい。

本発明の一実施形態による平滑化を考慮した映像補間装置は、画素単位間に位置する少なくとも１つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択するフィルタ選択部と、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも１つの副画素単位のピクセル値を生成する補間部と、を含む。

本発明の一実施形態によるカラー成分を考慮した映像補間方法は、画素単位間に位置する少なくとも１つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び現在ピクセルのカラー成分に基づいて異なって補間フィルタを選択する段階と、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも１つの副画素単位のピクセル値を生成する段階と、を含む。

一実施形態によるカラー成分を考慮した映像補間方法の前記補間フィルタ選択段階は、クロマ成分のピクセル補間のために、前記補間フィルタのうち、ルマ成分のピクセルのための補間フィルタより平滑度が高い補間フィルタを選択する段階を含んでもよい。

一実施形態による前記平滑度が高い補間フィルタは、前記画素単位ピクセルを平滑化し、複数個の基底関数を利用して、前記平滑化された画素単位ピクセルを変換し、前記変換結果として生成された複数個の係数を逆変換するためのフィルタ係数から構成されたフィルタ；前記複数個の基底関数を利用した変換及び逆変換のためのフィルタ係数及び低域通過フィルタリングのためのウィンドウ関数係数を合成したフィルタ；スプライン関数の境界条件に基づいて、前記画素単位ピクセルの境界ピクセルで最大に平滑化するためのフィルタ係数から構成されたフィルタ；及び補間フィルタの低周波応答を最大化させる多項式に基づいたフィルタ係数から構成されたフィルタのうち一つであってもよい。

本発明の一実施形態によるカラー成分を考慮した映像補間装置は、画素単位間に位置する少なくとも１つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び現在ピクセルのカラー成分に基づいて異なって補間フィルタを選択するフィルタ選択部と、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも１つの副画素単位のピクセル値を生成する補間部と、を含む。

本発明の一実施形態による映像補間フィルタを利用したビデオ符号化装置は、入力ピクチャのブロック別に、画素単位間に位置する少なくとも１つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択し、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも１つの副画素単位のピクセル値を生成して予測符号化を行い、前記予測符号化による予測結果について変換及び量子化を行う符号化部と、前記量子化された変換係数及び符号化情報についてエントロピ符号化を行って生成されたビットストリームを出力する出力部と、前記補間フィルタのフィルタ係数が保存された保存部と、を含む。

本発明の一実施形態による映像補間フィルタを利用したビデオ復号化装置は、ビデオの符号化されたビットストリームを受信し、エントロピ復号化を行ってパージングし、符号化情報と、前記ビデオピクチャの符号化されたデータとを抽出する受信抽出部と、前記ピクチャのうち現在ブロックの符号化されたデータのうち、量子化された変換係数について逆量子化及び逆変換を行い、画素単位間に位置する少なくとも１つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択し、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも１つの副画素単位のピクセル値を生成して予測復号化を行い、前記ピクチャを修復する復号化部と、前記補間フィルタのフィルタ係数が保存された保存部と、を含む。

本発明は、一実施形態による映像補間方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

以下、本明細書に記載した本発明の多様な実施形態で、「映像」は、静止映像だけではなく、ビデオのような動画を含んで包括的に指称することができる。

以下、図１ないし図１２Ｃを参照して、一実施形態による平滑化を考慮した映像補間について開示する。また、図１３Ａないし図２７を参照して、一実施形態による平滑化補間フィルタを利用するビデオの符号化及び復号化について開示し、特に、以下図１５ないし図２７を参照して、一実施形態によって、ツリー構造による符号化単位に基づいて、平滑化補間フィルタを利用するビデオの符号化及び復号化について開示する。

以下、図１ないし図１２Ｃを参照して、一実施形態による平滑化を考慮した映像補間及び平滑化補間フィルタについて説明する。

図１は、一実施形態による映像補間装置のブロック図を図示している。一実施形態による平滑化を考慮した映像補間装置１０は、フィルタ選択部１２及び補間部１４を含む。以下、説明の便宜のために、一実施形態による平滑化を考慮した映像補間装置１０を「ビデオ符号化装置１０」と縮約して指称する。ビデオ符号化装置１０の符号化部１２０及び出力部１３０の動作は、ビデオエンコーディング・プロセッサ、中央プロセッサ、グラフィック・プロセッサなどによって有機的に制御されてもよい。

一実施形態による映像補間装置１０は、映像を入力され、画素単位（integer pel unit）のピクセルを補間し、副画素単位（sub-pel unit）のピクセル値を生成することができる。入力される映像は、ビデオピクチャシーケンス、ピクチャ、フレーム、ブロックであってもよい。

一実施形態によるフィルタ選択部１２は、画素単位間に位置する少なくとも１つの副画素単位のピクセル値を生成するための補間フィルタにおいて、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択することができる。

一実施形態による補間部１４は、フィルタ選択部１２で選択された補間フィルタを利用して、副画素単位の補間位置に隣接した画素単位ピクセルを補間し、副画素単位のピクセル値を生成することができる。副画素単位ピクセル値を生成するための画素単位ピクセルに係わる補間フィルタリングは、副画素単位の補間位置に隣接した画素単位ピクセルを含み、画素単位の参照ピクセル値について補間フィルタリングを行う動作を含んでもよい。

一実施形態による補間フィルタは、複数個の基底関数に基づいて画素単位参照ピクセルを変換し、変換結果として生成された複数個の係数を逆変換するためのフィルタ係数から構成されてもよい。

一実施形態による補間フィルタは、一次元フィルタまたは二次元フィルタの形態であってもよい。一実施形態による補間部１４は、選択された補間フィルタが一次元フィルタである場合、２方向以上の一次元補間フィルタを利用して、連続してフィルタリングを行い、現在副画素単位のピクセル値を生成することができる。

一実施形態による平滑化補間フィルタは、補間位置と画素単位ピクセルとの距離に基づいて、平滑度が決定されてもよい。一実施形態による補間フィルタは、副画素単位の補間位置と平滑度とによって異なるフィルタ係数から構成されてもよい。以下、一実施形態によって、副画素単位の補間位置と平滑度とを考慮して決定される補間フィルタを、平滑化補間フィルタと指称する。

一実施形態による平滑化補間フィルタは、画素単位ピクセルのうち、補間位置に隣接するピクセルと補間位置との距離に基づいて、平滑度が決定される。また、一実施形態による補間フィルタは、画素単位の参照ピクセルのうち、補間位置と遠い参照ピクセルであるほどさらに平滑にするためのフィルタ係数から構成されてもよい。

一実施形態による平滑化補間フィルタは、画素単位ピクセルを空間ドメイン（spatial domain）で補間するために、複数個の基底関数を利用した変換及び逆変換のためのフィルタ係数、及び低域通過フィルタリングのためのウィンドウ関数係数を合成したフィルタ係数から構成されてもよい。

一実施形態によるウィンドウ関数は、補間位置を中心に対称的な形態であってもよい。一実施形態によって、変換及び逆変換のためのフィルタ係数、及び低域通過フィルタリングのためのウィンドウ関数係数が合成された平滑化補間フィルタは、画素単位の参照ピクセルのうち、補間位置に近い参照ピクセルであればあるほど、大きい加重値を付与し、遠い参照ピクセルであればあるほど、小さい加重値を付与するためのフィルタ係数から構成されてもよい。

一実施形態による平滑化補間フィルタは、画素単位の参照ピクセルを平滑化し、複数個の基底関数を利用して、平滑化された画素単位の参照ピクセルを変換し、変換結果として生成された複数個の係数を逆変換するためのフィルタ係数から構成されてもよい。

一実施形態による平滑化補間フィルタは、空間ドメインの補間フィルタとして、変換及び逆変換のための補間フィルタに、平滑度パラメータを合成させたフィルタ係数から構成される。平滑度パラメータは、平滑度の速度及び平滑度の範囲のうち、少なくとも一つを制御することができる。

一実施形態による平滑化補間フィルタは、スプライン関数に基づいたフィルタ係数から構成される。すなわち、補間フィルタ係数を決定するための変換及び逆変換の基底関数がスプライン関数であってもよい。一実施形態による補間フィルタは、さらに平滑な補間結果のために、スプライン関数を利用して決定されたフィルタ係数から構成される。

一実施形態によって、スプライン関数に基づいた平滑化補間フィルタは、スプライン関数の境界条件に基づいて、画素単位の参照ピクセルのうち境界ピクセルで、最大に平滑化するためのフィルタ係数から構成される。

他の実施形態によって、変換及び逆変換の基底関数が多項式である場合、平滑化補間フィルタは、多項式に基づいて、補間フィルタの低周波応答を最大化させるフィルタ係数から構成される。

一実施形態による平滑化補間フィルタは、副画素単位の補間位置及び平滑度だけではなく、フィルタ長によって異なるフィルタ係数から構成される。また一実施形態による平滑化補間フィルタは、副画素単位の補間位置、平滑度及びフィルタ長だけではなく、補間結果のスケーリング比率によって異なるフィルタ係数から構成される。一実施形態によるフィルタ選択部１２は、平滑化補間フィルタにおいて、フィルタ係数が整数に拡大された補間フィルタを選択することができる。一実施形態による補間部１４は、フィルタ選択部１２で選択された平滑化補間フィルタを利用して、生成したピクセル値を正規化する。

また一実施形態によるフィルタ選択部１２は、ピクセルの特性によって、補間フィルタのうち、互いに異なる補間フィルタを選択することができる。一実施形態による補間部１４は、ピクセルの特性別に、それぞれ選択された互いに異なる補間フィルタを利用して、副画素単位のピクセル値を生成することができる。

一実施形態によるフィルタ選択部１２で選択可能な補間フィルタは、一実施形態による平滑化補間フィルタだけではなく、平滑化を考慮していない一般補間フィルタも含んでもよい。従って、フィルタ選択部１２は、映像特性によって、平滑化を全然考慮しない一般補間フィルタを選択することもできる。

具体的に、例えば、他の実施形態による映像補間装置１０は、カラー成分別に異なる補間フィルタを利用して、映像補間を行うことができる。

他の実施形態によるフィルタ選択部１２は、補間フィルタにおいて、副画素単位の補間位置及び現在ピクセルのカラー成分に基づいて異なって補間フィルタを選択することができる。他の実施形態による補間部１４は、選択された補間フィルタを利用して、画素単位ピクセルを補間し、少なくとも１つの副画素単位のピクセル値を生成することができる。

例えば、フィルタ選択部１２は、ルマ成分の補間フィルタとクロマ成分の補間フィルタとを、異なって決定することができる。他の実施形態によるフィルタ選択部１２は、クロマ成分のピクセル補間のために、補間フィルタのうち、ルマ成分のピクセルのための補間フィルタより平滑度が高い平滑化補間フィルタを選択することができる。

例えば、クロマ成分のピクセル補間のために、スプライン関数に基づいて決定されたフィルタ係数から構成された補間フィルタ、多項式に基づいて決定されたフィルタ係数から構成された補間フィルタなどが選択されてもよい。スプライン関数に基づいて決定されたフィルタ係数は、スプライン関数の境界条件に基づいて、画素単位ピクセルの境界ピクセルで、最大に平滑化することができる。一実施形態によって、多項式によって決定された補間フィルタは、低周波応答を最大化させるためのフィルタ係数から構成される。

また、クロマ成分のピクセル補間のために、ルマ成分のピクセルのための補間フィルタより平滑度が高い平滑度パラメータに基づいて決定されたフィルタ係数から構成された補間フィルタ、ルマ成分のピクセルのための補間フィルタより高周波成分を多く除去するウィンドウ関数と合成されたフィルタ係数から構成された補間フィルタなどが選択されてもよい。

一実施形態によって、クロマ成分の平滑な補間結果を導き出すために、複数個の基底関数に基づいた変換及び逆変換のためのフィルタ係数、及び低域通過フィルタリングのためのウィンドウ関数係数が合成された平滑化補間フィルタが選択される。

映像の補間は、低画質の映像を高画質に変換するときに利用される。インターレース（interlace）映像をプログレシブ（progressive）映像に変換するときに利用されたり、あるいは低画質の映像をアップサンプリング（up-sampling）し、高画質の映像に変換するときに利用されたりする。また、ビデオ符号化装置が映像を符号化するとき、動き推定及び動き補償部は、補間された参照フレームを利用してインター予測を行うことができる。参照フレームを補間して高画質の映像を生成し、高画質の映像に基づいて、動き推定及び補償を行うことにより、インター予測の正確度を高めることができる。同様に、映像復号化装置が映像を復号化するときにも、動き補償部は、補間された参照フレームを利用して動き補償を行うことにより、インター予測の正確度を高めることができる。

また一実施形態による映像補間装置１０が利用する平滑化補間フィルタは、補間フィルタを利用した補間結果の高周波成分を低減させ、さらに平滑な補間結果を導き出すことができる。高周波成分の存在は、映像圧縮効率を阻害するので、平滑度が調節可能な映像補間を介して、映像符号化及び映像復号化効率も向上することができる。

図２は、画素単位と副画素単位との関係を図示している。図２を参照すれば、映像補間装置１０は、空間ドメインの画素単位のピクセル値、すなわち、所定ブロック２０の「Ｏ」位置のピクセル値間を補間し、補間位置である「Ｘ」位置のピクセル値を生成する。「Ｘ」位置のピクセル値は、αｘ及びαｙによって補間位置が決定される副画素単位のピクセル値である。図２は、所定のブロック２０が４ｘ４の場合を例として挙げて説明するが、ブロックの大きさは、４ｘ４に限定されるものではなく、さらに大きかったり、あるいは小さいサイズのブロックに係わる補間フィルタリングを介して、副画素単位のピクセル値を生成することができるということは、当業者であるならば容易に分かるであろう。

ビデオ処理分野で、現在映像の動き補償及び予測のために動きベクトルが利用される。予測符号化によれば、現在映像を予測するために、以前に復号化された映像が参照され、動きベクトルは、参照映像の所定地点を示す。それにより、動きベクトルは、参照映像の画素単位のピクセルを示す。

しかし、現在映像が参照するピクセルの位置が、参照映像の画素単位のピクセル間に位置する地点であってもよい。かような地点を、副画素単位の位置であるという。副画素単位の位置には、ピクセルが存在しないので、画素単位ピクセルのピクセル値を利用して、副画素単位のピクセル値が予測されるだけである。すなわち、画素単位ピクセルに係わる補間を介して、副画素単位のピクセル値が推定される。

以下、図３、図４Ａ、図４Ｂ及び図４Ｃを参照して、画素単位ピクセルに係わる補間方法について説明する。

図３は、副画素単位のピクセル値を決定するために参照される隣接する画素単位ピクセルを図示している。図３を参照すれば、映像補間装置１０は、空間ドメインの画素単位のピクセル値３１，３３間の補間を行い、補間位置のピクセル値３５を生成する。αによって補間位置が決定される副画素単位のピクセル値３５である。

図４Ａ、図４Ｂ及び図４Ｃは、一実施形態によって、副画素単位のピクセル値を決定するために参照される画素単位ピクセルを例示している。

図４Ａを参照すれば、画素単位ピクセルの２つのピクセル値３１，３３間を補間して、副画素単位のピクセル値３５を生成するために、ピクセル値３１，３３を含む隣接した複数の画素単位ピクセルのピクセル値３７，３９を利用する。言い換えれば、−（Ｍ−１）番目からＭ番目までの２Ｍ個のピクセル値を、一次元補間フィルタリングすることにより、０番目ピクセルと１番目ピクセルとの間を補間することができる。

また、図４Ａは、水平方向のピクセル値間を補間する場合を例として挙げて説明したが、垂直方向のピクセル値間、または対角（diagonal）方向のピクセル値を利用して、一次元補間フィルタリングが可能である。

図４Ｂを参照すれば、垂直方向に隣接したＰ０ ４１及びＰ１ ４３間を補間して、垂直方向の補間位置αのピクセル値Ｐ（α）を生成することができる。図４Ａと比較すれば、水平方向に配列されたピクセル値３７，３９の代わりに、垂直方向に配列されたピクセル値４７，４９を利用して補間を行うという点のみ異なるだけ、補間フィルタリング方法は類似している。

図４Ｃの実施形態も、図４Ｂの実施形態と同様に、水平方向に配列されたピクセル値３７，３９の代わりに、対角方向に配列されたピクセル値４６，４８を利用するという点のみ異なるだけ、隣接した２つのピクセル値４０，４２間を補間して、補間位置αのピクセル値４４を生成する方法は、水平方向の一次元補間フィルタリング方法と類似している。

図４Ａ、図４Ｂ及び図４Ｃで例示された方向の一次元補間フィルタリングだけではなく、さらに多様な方向の補間位置のピクセル値が生成される。
副画素単位のピクセル値を生成するための画素単位ピクセルに係わる補間は、補間フィルタリングを介して具現されてもよい。補間フィルタリングを数学式で表現すれば、下記の通りである。

２Ｍ個の画素単位参照ピクセル｛ｐｍ｝＝｛ｐ−Ｍ＋１，ｐ−Ｍ＋２、…，ｐ０，ｐ１，…，ｐＭ｝のベクトルｐと、フィルタ係数｛ｆｍ｝＝｛ｆ−Ｍ＋１，ｆ−Ｍ＋２，…，ｆ０，ｆ１，…，ｆＭ｝のベクトルｆ（ｘ）との内積（dot product）により、補間の結果として生成されたピクセル値ｐ（ｘ）が導出される。補間位置αによって、フィルタ係数ｆ（α）が変わり、これによって、補間の結果、ピクセル値ｐ（α）が決定されるので、いかなる補間フィルタが選択されるか、すなわち、フィルタ係数ｆ（ｘ）がいかように決定されるかが補間フィルタリングの性能に相当な影響を及ぼす。

以下、基底関数に基づいた変換及び逆変換を利用した映像補間、及び補間フィルタの決定方法について説明する。

一実施形態によって、変換及び逆変換を利用した補間フィルタは、まず、互いに異なる周波数成分の複数の基底関数を利用して、ピクセル値を変換する。変換は、空間ドメインのピクセル値を変換ドメインの係数に変換する全ての変換であってもよく、前述の離散コサイン変換であってもよい。画素単位のピクセル値は、複数の基底関数を利用して変換される。ピクセル値は、輝度（luminance）成分に対するピクセル値でもあり、彩度（chroma）成分に対するピクセル値でもある。基底関数には制限がなく、空間ドメインのピクセル値を変換ドメインの値に変換する全ての変換であってもよい。例えば、基底関数は、離散コサイン変換及び逆離散コサイン変換のためのコサイン（cosine）関数またはサイン（sine）関数である。または、スプライン（spline）関数、多項基底（polynomial basis）など多様な基底関数が利用されてもよい。また、離散コサイン変換は、変形離散コサイン変換（modified ＤＣＴ）、ウィンドウを利用した変形離散コサイン変換（modified ＤＣＴ with windowing）であってもよい。

一実施形態によって、変換及び逆変換を利用した補間フィルタは、変換に利用された複数の基底関数の位相を変更（shift）し、位相変更された複数の基底関数を利用して生成された複数の係数、すなわち、変換ドメイン（transform domain）の値を逆変換する。逆変換の結果、空間ドメインのピクセル値が出力され、出力された値は、補間位置のピクセル値である。

＜直交基底関数に基づいた直交変換及び逆変換を利用したフィルタ係数＞
以下、補間部１４が直交基底関数に基づいた変換及び逆変換を利用する補間フィルタリングについて説明する。特に、直交基底関数の一例として、離散コサイン変換を例として挙げて説明する。

例えば、図４Ａを参照すれば、画素単位ピクセルの２つのピクセル値３１，３３間を補間して、副画素単位のピクセル値３５を生成するために、ピクセル値３１，３３を含む隣接した複数のピクセル値３７，３９を利用して、−（Ｍ−１）番目からＭ番目までの２Ｍ個のピクセル値を一次元離散コサイン変換し、位相変更された基底関数に基づいて、一次元逆離散コサイン変換することにより、０番目ピクセルと１番目ピクセルとの間を補間することができる。

補間部１４は、まず、画素単位のピクセル値を一次元離散コサイン変換する。一次元離散コサイン変換は、次の数式（１）を計算することによって行われる。

ｐ（ｌ）は、−（Ｍ−１）番目からＭ番目までのピクセル値３７，３９であり、Ｃｋは、ピクセル値を一次元離散コサイン変換した結果として生成された複数の周波数ドメインの係数である。このとき、ｋは、数式（１）の条件を満足する正の整数である。

補間部１４が数式（２）を計算し、ピクセル値３７，３９を一次元離散コサイン変換すれば、次の数式（２）を計算して係数を逆変換する。

αは、図１３に図示されたように２つのピクセル値間の補間位置を意味するところ、１／２、１／４、３／４、１／８、３／８、５／８、７／８、１／１６，…と同様に、多様な分数値である。分数値には制限がなく、αは、分数ではない間違い値でもある。Ｐ（α）は、一次元逆離散コサイン変換結果として生成される補間位置のピクセル値３５を意味する。

数式（１）と比較すれば、逆離散コサイン変換に利用される基底関数であるコサイン関数の位相は、整数ｌによって決定される代わりに、分数αによって決定されるので、一次元離散コサイン変換に利用される基底関数の位相と異なる。すなわち、逆変換で利用する基底関数、すなわち、コサイン関数の位相が、それぞれ２αによって変更されたということが分かる。補間部１４が、数式（２）の位相変更された複数のコサイン関数に基づいて、逆離散コサイン変換を行えば、図４Ａの補間位置、すなわち、Ｐ０のピクセル値３５が生成される。

数式（１）による離散コサイン変換を行列式で表現すれば、下記数式（３）のようである。

ここで、Ｃは、数式（１）と係わって説明した２Ｍ個の係数に係わる２Ｍｘ１行列であり、ＲＥＦは、数式（１）と係わって説明した画素単位のピクセル値、すなわち、Ｐ−（Ｍ−１），…ＰＭピクセル値に係わる２Ｍｘ１行列である。補間に利用される画素単位ピクセル位置のピクセル値の個数、すなわち、２Ｍは、一次元補間フィルタのタップ（tap）数を意味する。Ｄは、一次元離散コサイン変換のための正方行列であり、次の数式（４）のように定義される。

ｋ及びｌは、前記条件を満足する整数であり、Ｄｋｌは、数式（３）の離散コイン変換のための正方行列Ｄのｋ行、ｌ列を意味する。Ｍは、数式（３）のＭと同一のＭである。

数式（２）による位相変更された複数の基底関数を利用した逆離散コサイン変換を、行列式で表現すれば、次の数式（５）の通りである。

ここで、Ｐ（α）は、数式（２）のＰ（α）と同一であり、Ｗ（α）は、位相変更された複数の基底関数を利用した一次元逆離散コサイン変換のための１ｘ２Ｍ行列であり、次の数式（６）のように定義されてもよい。

ｋは、前記条件を満足する整数であり、Ｗｋ（α）は、数式（５）と係わって説明したＷ（α）行列のｋ列を意味する。数式（３）及び数式（５）に基づいて、一次元離散コサイン変換、及び位相変更された複数の基底関数を利用した一次元逆離散コサイン変換のためのフィルタＦ（α）は、次の数式（７）のように定義することができる。

ｋ及びｌは、前記条件を満足する整数であり、Ｆｌ（α）は、Ｆ（α）のｌ列を意味し、Ｗ（α）及びＤは、数式（３）のＷ（α）及びＤと同一である。

一実施形態による補間部１４は、さらに平滑化された副画素単位のピクセル値を生成するために、基底関数に基づいた変換及び逆変換に利用した補間フィルタを変形することができる。

以下、実施形態による多様な平滑化補間フィルタを決定するために、ウィンドウ関数が利用される場合、複数個の平滑化パラメータが利用される場合、スプライン関数が基底関数に利用される場合、及び多項式が基底関数に利用される場合について順に説明する。

＜ウィンドウ関数を利用した平滑化補間フィルタ＞
一実施形態によって、ウィンドウ関数を利用して、補間フィルタ係数を平滑化する方式について説明する。

一実施形態によって、使用可能なウィンドウ関数は、ハミング（Hamming）ウィンドウ関数、コサインウィンドウ関数、エクスポネンシャル（exponential）ウィンドウ関数、ハニング（Hanning）ウィンドウ関数、ブラックマン（Blackman）ウィンドウ関数、三角（triangle）ウィンドウ関数を含んでもよい。以下、説明の便宜のために、特定ウィンドウ関数を利用して、一実施形態による変換及び逆変換に基づいた補間フィルタを平滑化する実施形態について説明するが、説明するウィンドウ関数以外に、類似した周波数応答を有する他のウィンドウ関数も活用可能であるということは、当業者であるならば、容易に理解することができるであろう。

ハミングウィンドウ関数によるウィンドウ係数は、数式（８）による。

ハミングウィンドウ関数を含んで多様であるウィンドウ関数は、入力ｎが、Ｎ／２を基準で対称であり、周波数応答が、低域通過フィルタと類似している。ウィンドウ関数に対する入力において、ウィンドウ関数が形成するウィンドウにカバーされる入力だけが出力されてもよい。ウィンドウサイズＮは、原本補間フィルタのフィルタ長より大きい正の整数として設定されてもよい。例えば、１／２ピクセルまたは１／４ピクセルのように、副画素単位を生成するための補間フィルタに、ウィンドウ関数を適用するために、ウィンドウ関数の中央位置が、１／２または１／４の副画素単位ほど移動されてもよい。すなわち、ウィンドウ関数の中央位置が補間位置に移動され、補間位置を中心に対称形態である。

例えば、数式（９）と数式（１０）は、それぞれ１／２ピクセル単位と１／４ピクセル単位との補間フィルタのための、ハミングウィンドウ関数によるウィンドウ係数を例示している。

数式（１１）のウィンドウ係数は、副画素単位の補間位置αによって一般化された、補間フィルタのためのウィンドウ関数であり、順序通り、ハミングウィンドウ関数、コサインウィンドウ関数、エクスポネンシャルウィンドウ関数によるウィンドウ係数を例示している。

数式（１１）によるウィンドウ係数を、原本補間フィルタｆｋ（α）に合成することにより、平滑化補間フィルタ係数は、数式（１２）によって決定される。

一実施形態によって、ウィンドウ関数を利用して、平滑化補間フィルタを決定することにより、画素単位参照ピクセルと補間位置との距離に基づいて、補間フィルタ係数に係わる加重値が調節されてもよい。例えば、ウィンドウ関数によって、補間フィルタのフィルタ係数のうち、補間位置から遠い距離に位置した画素単位参照ピクセルのためのフィルタ係数は、大きく平滑化され、補間位置に近い参照ピクセルのためのフィルタ係数は、大きく変更されない形態に、平滑化補間フィルタが決定される。

また、ウィンドウ関数を利用して、平滑化補間フィルタを決定することにより、画素単位参照ピクセルを平滑化した後、補間フィルタリングが行われるという効果がある。入力された画素単位参照ピクセルＲｅｆ＝｛ｐ−Ｍ＋１，ｐ−Ｍ＋２，…，ｐ０，ｐ１，…，ｐＭ｝は、ノイズを含んでいるか、あるいは量子化エラーによって毀損されてもいる。このために、一実施形態による映像補間装置１０は、画素単位参照ピクセルを利用した補間前に、まず、画素単位参照ピクセルを平滑化した後で補間フィルタリングを行うことにより、補間効果を向上させることができる。

＜２個のパラメータを利用した平滑化補間フィルタ＞
他の実施形態による平滑化補間フィルタは、２個のパラメータに基づいて、フィルタ係数の平滑度を決定することができる。変換及び逆変換に基づいた補間フィルタ係数と、平滑化マトリックスＳとを合成した、副画素単位のための平滑化補間フィルタ係数は、数式（１３）による。

数式（１４）は、平滑化マトリックスＳの一例である。

数式（１４）による平滑化マトリックスＳは、３対角マトリックス形態である。すなわち、平滑化マトリックスＳの成分において、１本の中心対角線と、中心対角線に隣接しながら、相応する２本の対角線との上の成分を除いた残りの成分は、いずれも０である。

平滑化マトリックスＳで、平滑度σｉは、補間される画素単位ピクセルからの距離（ｉ−α）と無関係に決定されてもよい。その場合、平滑化マトリックスＳによる平滑化は、均等平滑化と指称することができる。

また、一実施形態による平滑化マトリックスＳで、平滑度σｉは、画素単位ピクセル位置のインデックスｉによって変更されてもよい。その場合、平滑化マトリックスＳによる平滑化は、非均等滑化と指称することができる。例えば、平滑度σｉは、数式（１５）による。

正の指数ｌは、補間される補間位置と画素単位参照ピクセルとの距離が遠いほど、平滑化効果を上昇させることができる。従って、正の指数ｌは、平滑化の速度、すなわち、補間位置と画素単位参照ピクセルとの距離によって、平滑化効果が増大する速度を制御することができる。平滑化パラメータβは、平滑化の範囲、すなわち、補間位置近くでの平滑化を制御することができる。

もし０より小さいβが使用されるのであるならば、数式（１３）による平滑化マトリックスＳは、シャープニングフィルタ（sharpening filter）に変更される。従って、０より小さい平滑化マトリックスＳ、が変換及び逆変換を利用した補間フィルタと合成されるのであるならば、高周波成分を増幅させるフィルタの生成は、他の実施形態で具現されもするであろう。

一実施形態による映像補間装置１０は、副画素単位の予測のために、平滑化補間フィルタ係数データを、あらかじめメモリなどに積載しておいて使用することができる。

図５は、一実施形態によって、平滑化補間フィルタの平滑度パラメータによる平滑化ファクタのグラフ５０を図示している。第１曲線５２及び第２曲線５４は、一実施形態による離散変換に基づいた補間フィルタを平滑化させるための平滑化ファクタのグラフを示している。ｍが大きいほど、すなわち、補間される画素単位ピクセルから遠くなるほど、平滑化ファクタは０に近くなる。

ここで、平滑化パラメータβが小さい第１曲線５２は、平滑化パラメータβが大きい第２曲線５４に比べて、相対的に平滑化ファクタの幅が広い。すなわち、平滑化パラメータβが大きい平滑化補間フィルタによれば、低周波成分だけが主にフィルタリングされ、相対的に強く平滑化された副画素単位のピクセル値が生成される。平滑化補間フィルタの平滑化パラメータβが相対的に小さければ、相対的に高周波成分が保存されたまま補間され、副画素単位のピクセル値が生成される。

一実施形態による映像補間装置１０は、平滑化補間フィルタのフィルタ係数を決定するために、基底関数として、直交基底関数以外にも、スプライン関数及び多項式を利用することができる。

＜スプライン関数に基づいた平滑化補間フィルタ＞
一実施形態による映像補間装置１０は、スプライン関数に基づいて、平滑化補間フィルタのフィルタ係数を決定することができる。

また、映像補間装置１０は、補間結果を平滑化するために、境界条件が付加されたスプライン関数を利用することができる。具体的に、例えば、２個以上のＭ個の画素単位ピクセルｐｍを利用する補間フィルタを構成するために、変数ρを有する多項スプライン補間を利用する場合、変数ρが３≦ρ≦Ｍ＋１の範囲で最大平滑度を示し、（−Ｍ＋２）番目ピクセルと（Ｍ−１）番目ピクセルとでは、スプライン値、すなわち、補間の結果値が無限大に平滑になるように、（ρ−１）個の追加条件が設定されてもよい。かような追加条件は、ノット・ア・ノット（not-a-knot）境界条件またはde Boor境界条件と呼ばれる。

スプライン関数に基づいた補間フィルタ係数を利用した補間結果は、数式（１６）のような加重和で表現されてもよい。

入力ピクセルｐｍは、画素単位参照ピクセルであり、ｍの範囲が［−Ｍ＋１，Ｍ］（すなわち、−Ｍ＋１≦ｍ≦Ｍ）である入力ピクセルの集合｛ｐｍ｝が入力される。スプライン関数Ｓ（ｘ）が、補間の結果として生成されたピクセル値である。ｆｍ（ｘ）は、カージナルスプラインインターポラント（cardinal spline interpolants）であり、カージナルスプライン関数によるフィルタ係数である。ｆｍ（ｘ）は、同一の境界条件を有し、画素単位参照ピクセルの位置（すなわち、−Ｍ＋１≦ｍ≦Ｍ、ｍは整数）だけで値を有するカージナルスプライン関数値である。

フィルタ係数ｆｍ（ｘ）は、数式（１７）によって決定される。

ｋが０≦ｋ≦２Ｍ−２の範囲の整数であるとき、スプラインフィルタ係数ｆｍ（ｘ）は、［−Ｍ＋１＋ｋ，−Ｍ＋ｋ＋２］の範囲、すなわち、（−Ｍ＋１＋ｋ）から（−Ｍ＋ｋ＋２）までの整数ｍごとに決定される。数式（１７）で、係数

は、数式（１８）の等式に基づいて決定される。

一実施形態による副画素単位の補間のために、補間位置αによるスプラインフィルタ係数ｆｍ（α）で構成されたＦＩＲフィルタをあらかじめ算出して保存しておき、画素単位参照ピクセルｐｍに、スプラインフィルタ係数ｆｍ（α）から構成されたＦＩＲフィルタを利用した補間フィルタリングを介して、０番ピクセルと１番目ピクセルとの間の補間位置αの副画素単位のピクセル値が生成される。

図６は、一実施形態による平滑化補間フィルタで利用可能なスプライン関数のグラフ６０を例示している。図６を参照すれば、変数ρが３であるスプライン関数に基づいて、２Ｍ＝６、すなわち、６タップ補間フィルタのための３個のスプラインインターポラント曲線ｆ−２（ｘ）６１、ｆ−１（ｘ）６２、ｆ０（ｘ）６３が図示されている。例えば、α＝１／４である副画素単位のピクセル値を生成するための補間フィルタ係数は、スプラインインターポラント曲線ｆ−２（ｘ）６１，ｆ−１（ｘ）６２，ｆ０（ｘ）６３上で、ｆ−２（１／４）６４、ｆ−１（１／４）６５、ｆ０（１／４）６６と決定される。

＜多項式に基づいた平滑化補間フィルタ＞
一実施形態による映像補間装置１０は、多項式に基づいて、平滑化補間フィルタのフィルタ係数を決定することができる。

多項式に基づいた補間フィルタ係数｛ｆｋ｝で構成された多項式補間関数は、数式（１９）のように、多項式の基底関数に基づいて表現されてもよい。整数ｋは、−Ｍ＋１≦ｋ≦Ｍの範囲に定義される。

また、映像補間装置１０は、補間結果を平滑化するために、多項式に基づいた補間フィルタ係数｛ｆｋ｝において、低周波帯域で最適化されたフィルタ係数を決定することができる。一例として、周波数ωが０であるとき、多項式補間関数の関数値と、多項式補間関数の導関数の値とがいずれも同一である場合に決定されるフィルタ係数｛ｆｋ｝が、低周波帯域で最適化された補間フィルタ係数に決定される。これによれば、数式（２０）のように、整数ｋに係わる関数として、未知数である２Ｍ個のフィルタ係数｛ｆｋ｝のための２Ｍ個の線形関数が導き出される。

数式（２０）の線形関数の解は、ニュートン多項式（Newton polynomial）に係わる解法を介して求めることができる。数式（２１）は、数式（２０）の線形関数に係わる解として算出された２Ｍ個のフィルタ係数｛ｆｋ｝である。

数式（２０）及び数式（２１）のニュートン多項式に基づいて決定されたフィルタ係数｛ｆｋ｝から構成された補間フィルタは、低周波数帯域で最高周波数応答を有するので、この補間フィルタを利用したピクセル値は、さらに平滑化された補間結果を導き出すことができる。従って、多項式の基底関数に基づいて決定されたフィルタ係数から構成された補間フィルタが、平滑化補間フィルタとして選択される。

これによって、一実施形態による映像補間装置１０は、多項式に基づいた補間フィルタ係数から構成された平滑化補間フィルタを選択し、さらに平滑化された補間ピクセルを生成することができる。特に、クロマ成分のピクセルは、高周波成分が強いので、クロマ成分の画素単位ピクセルについて副画素単位のピクセル値を生成するために、多項式に基づいた補間フィルタ係数から構成された平滑化補間フィルタが利用される。

＜拡大補間のための補間フィルタ係数＞
一実施形態による多様な平滑化補間フィルタ生成方法は、整数ではない浮動小数点数（floating point number）を生成する演算式に基づいて、フィルタ係数の絶対値は、ほぼ１より大きくない。特に、副画素単位の補間位置αによって、整数ではない実数の演算結果が発生することもある。

浮動小数点基盤の演算の効率より、整数基盤の演算効率の方が高い。これにより、一実施形態による映像補間装置１０は、スケーリング比率を利用して、フィルタ係数を整数に拡大することにより、補間フィルタリングの演算効率性を向上させることができる。また、ピクセル値のビット深が大きくなることにより、補間フィルタリングの正確度も向上する。

一実施形態による映像補間装置１０は、フィルタ係数ｆｍ（α）に所定の値を乗じ、大きい値の係数Ｆｍ（α）を利用して映像を補間することができる。例えば、数式（２２）によって、フィルタ係数Ｆｍ（α）は、フィルタ係数ｆｍ（α）から拡大することができる。

演算効率のためにスケーリング比率は、２ｎの形態である。ｎは、０及び正の整数である。２ｎほど拡大されたフィルタ係数による補間フィルタリング結果は、原フィルタ係数によるフィルタリング結果に比べて、ビット深がｎビットほど拡大される。

拡大されたフィルタ係数Ｆｍ（α）を利用した整数演算補間フィルタリングは、数式（２３）による。すなわち、拡大されたフィルタ係数Ｆｍ（α）を利用して補間フィルタリングが行われた後、拡大されたビット深が原本ビット深に復元されなければならない。

このとき、offsetは、２ｎ−１である。

すなわち、一実施形態による拡大された平滑化補間フィルタを利用して拡大されたフィルタリング結果は、原本ビットに復元されるために、スケーリング比率２ｎほど縮小されるので、拡大されたフィルタリング結果のビット深がｎビットほど縮小される。

もし水平方向の一次元補間フィルタリングと、垂直方向の一次元補間フィルタリングとを介して、２段階補間フィルタリングが行われた場合、全２ｎビットほど縮小される。従って、第１一次元補間フィルタがｎ１ビットほど拡大され、第２一次元補間フィルタがｎ２ほど拡大された場合、第１一次元補間フィルタリングと第２一次元補間フィルタリングとを介して、２段階補間フィルタリング後、ｎ１とｎ２との和２ｎほど縮小される。第１一次元補間フィルタは、拡大されていない補間フィルタである。

平滑化補間フィルタ係数ｆｍ（α）の総和は、１である（数式（２４））。

拡大された平滑化補間フィルタのフィルタ係数Ｆｍ（α）のための正規化条件は、数式（２５）による必要がある。

しかし、数式（２５）による正規化条件は、ラウンディングエラー（rounding error）によって誤差が発生することもある。一実施形態による映像補間装置１０は、数式（１９）による正規化条件に基づいて、拡大されたフィルタ係数Ｆｍ（α）を四捨五入することができる。正規化のために拡大されたフィルタ係数Ｆｍ（α）のうち一部は、原本値に比べて所定範囲内で調整されてもよい。例えば、拡大されたフィルタ係数は、ラウンディングエラーを補正するために、±１の範囲内で調整される。

以上、多様な平滑化補間フィルタ及びフィルタ係数について開示した。特に、平滑化補間フィルタのフィルタ係数を決定するための関数として、ウィンドウ関数、スプライン関数、多項式などが利用される。補間フィルタのためには、関数の周波数応答は、周波数によって変わるが、平滑化補間フィルタのためには、関数の周波数応答のフィルタ利得（filter gain）が１に近いことが望ましい。従って、一実施形態による映像補間装置１０は、周波数が変わったにしても、周波数応答のフィルタ利得が１に最も近い関数を利用してフィルタ係数を決定し、このフィルタ係数から構成された補間フィルタを平滑化補間フィルタとして選択することができる。

図７は、一実施形態による映像補間方法のフローチャートを図示している。段階７１で、ピクチャの画素単位間に位置する少なくとも１つの副画素単位のピクセル値を生成するための補間フィルタにおいて、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタが選択される。一実施形態による補間フィルタの平滑度は、補間位置と画素単位との距離に基づいて決定される。

一実施形態による補間フィルタは、複数個の基底関数に基づいた変換及び逆変換を行うためのフィルタ係数から構成されたフィルタである。一実施形態による平滑化補間フィルタは、ウィンドウ関数が合成された補間フィルタ、複数個の平滑化パラメータに基づいた補間フィルタ、平滑化パラメータに基づいた補間フィルタ、スプライン補間フィルタ及び多項式補間フィルタのうち少なくとも一つを含んでもよい。

一実施形態によって、平滑化補間フィルタを利用したフィルタリングのために、画素単位参照ピクセルに係わるフィルタ係数において、画素単位参照ピクセルと補間位置との距離が遠いほど、当該フィルタ係数は、さらに平滑になるように決定される。

段階７２で、段階７１で選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、少なくとも１つの副画素単位のピクセル値が生成される。補間フィルタにおいて、フィルタ係数が整数に拡大された補間フィルタが選択されれば、補間フィルタを利用して生成したピクセル値は、スケーリング比率に基づいて正規化される。

一実施形態によって、補間されるピクセルの特性によって、補間フィルタのうち、互いに異なる補間フィルタが選択され、ピクセルの特性別に、それぞれ選択された互いに異なる補間フィルタを利用して、副画素単位のピクセル値が生成される。

以下、図８Ａないし図１２Ｃを参照して、副画素単位の補間位置及び平滑度を考慮して決定された補間フィルタのフィルタ係数の多様な実施形態について開示する。

図８Ａ、図８Ｂ及び図８Ｃは、一実施形態によって、平滑度パラメータと補間位置とによって決定される１２タップ補間フィルタのフィルタ係数を図示している。図８Ａ、図８Ｂ及び図８Ｃを参照して、前述の直交変換に基づいた補間フィルタのうち、図５を参照して説明した、画素単位参照ピクセルを平滑にした後で直交変換及び逆変換を行うために、平滑化マトリックスと直交変換とに基づいた補間フィルタが合成された平滑化補間フィルタのフィルタ係数について開示する。

図８Ａ、図８Ｂ及び図８Ｃは、平滑化パラメータβが、０、０．００２、０．００４、０．００６、０．００８、０．０１０、０．０１２、０．０１４、０．０１６、０．０１８、０．０２０に変動することによって、そして補間位置αが、１／８、１／４、３／８、１／２、５／８、３／４、７／８に変動することによって、互いに異なるフィルタ係数から構成された多様な補間フィルタが開示されている。

例えば、図８Ａのテーブルにおいて、平滑化パラメータβが０．００２であり、補間位置αが１／８であるところを見れば、補間フィルタとして、フィルタ係数｛ｆｍ｝、すなわち、｛ｆ−１１，ｆ−１０，ｆ−９，ｆ−８，ｆ−７，ｆ−６，ｆ−５，ｆ−４，ｆ−３，ｆ−２，ｆ−１，ｆ０，ｆ１，ｆ２，ｆ３，ｆ４，ｆ５，ｆ６，ｆ７，ｆ８，ｆ９，ｆ１０，ｆ１１，ｆ１２｝が｛−１，４，−７，１２，−２４，２４６，３７，−１６，９，−５，３，−１｝で構成されたフィルタが選択される。

図９Ａ、図９Ｂ及び図９Ｃは、一実施形態によって、平滑度パラメータと補間位置とによって決定される６タップ補間フィルタのフィルタ係数を図示している。

図８Ａ、図８Ｂ及び図８Ｃのフィルタ係数は、平滑化マトリックスと直交変換補間フィルタとが合成された平滑化補間フィルタのうち、１２タップ補間フィルタの１２個のフィルタ係数であることに比べて、図９Ａ、図９Ｂ、及び図９Ｃでは、６タップ補間フィルタの６個のフィルタ係数について開示している。図８Ａ、図８Ｂ及び図８Ｃは、平滑化パラメータβと補間位置αとが変動することによって、互いに異なるフィルタ係数から構成された多様な平滑化補間フィルタが開示される。

図８Ａ、図８Ｂ、図８Ｃ、図９Ａ、図９Ｂ及び図９Ｃを参照して開示されたフィルタ係数は、一実施形態による拡大補間フィルタリングによって、スケーリング比率２５６（＝２８）に拡大されて四捨五入された係数である。

図８Ａ、図８Ｂ、図８Ｃ、図９Ａ、図９Ｂ及び９Ｃを観察すれば、補間位置αが一定であり、平滑化パラメータβが増大することにより、フィルタ係数ｆｍが相対的に小さくなる傾向が発生する。

また、平滑化パラメータβが一定であり、補間位置αが１／２から遠くなることにより、フィルタ係数ｆｍにおいて、ｍがｍ＝０からｍ＝−Ｍ＋１またはｍ＝Ｍの方に遠くなるほど、ｆ０に比べて、フィルタ係数ｆｍが相対的に小さくなり、ｍ＝０近くのフィルタ係数のフィルタ係数ｆｍが相対的に大きくなる傾向が発生する。

従って、平滑化パラメータβが増大することにより、補間位置αが１／２から遠くなる（すなわち、画素単位ピクセルに近くなる）ことにより、さらにシャープな補間フィルタ、すなわち、あまり平滑化されない補間フィルタが選択される。

一実施形態による補間フィルタは、ミラー反射型対称フィルタであるので、補間位置αのフィルタ係数ｆｍ（α）を利用して、補間位置（１−α）のフィルタ係数ｆｍ（α）が決定される。例えば、図９Ａで、平滑化パラメータβ＝０．００２であるフィルタ係数｛ｆｍ｝において、補間位置α＝３／８であるフィルタ係数｛ｆｍ（３／８）｝と、補間位置α＝１−３／８＝５／８であるフィルタ係数｛ｆｍ（５／８）｝とを比較すれば、以下の通りである。

｛ｆｍ（３／８）｝＝｛１１，−４２，１９６，１１７，−３５，１０｝
｛ｆｍ（５／８）｝＝｛１０，−３５，１１７，１９６，−４２，１１｝
すなわち、ｍ＝−２，−１，０であるときの｛ｆｍ（３／８）｝と、ｍ＝３，２，１であるときの｛ｆｍ（５／８）｝とが同一であり、ｍ＝３，２，１であるときの｛ｆｍ（３／８）｝と、ｍ＝−２，−１，０であるときの｛ｆｍ（５／８）｝とが同一であるということが確認される。従って、以下、図１０ないし図１２Ｃのテーブルでは、補間位置が１／２より小さいか、あるいはそれと同じである場合の補間フィルタ係数｛ｆｍ（α）｝だけが開示されているとしても、補間位置が１／２より大きい場合の残りの補間フィルタ係数｛ｆｍ（α）｝が決定されるということは、当業者であるならば、容易に理解することができるであろう。

図１０は、一実施形態によって、クロマ（chroma）成分のピクセルのための平滑度パラメータと補間位置とによって決定される６タップ補間フィルタのフィルタ係数を例示している。

一実施形態による映像補間装置１０は、映像特性によって、異なる種類の補間フィルタを選択することができる。例えば、平滑化マトリックスと直交変換補間フィルタとが合成された平滑化補間フィルタが決定される場合、映像特性によって、平滑度パラメータが変更される。

具体的な例として、クロマ成分のピクセルは、４：２：０カラーフォーマットによってダウンサンプリングされるので、ルマ成分のピクセルに比べて、低周波成分が少ない。その場合、図１０を参照して、ルマ成分のピクセルのための補間フィルタと別個に、クロマ成分のピクセルのための補間フィルタだけが別途に選択される。以下、図１１を参照して、カラー成分によって、補間フィルタと異なって選択される多様なフィルタ係数について開示する。

図１１は、一実施形態によって、カラー成分及び映像補間位置によって異なって決定される平滑化補間フィルタのフィルタ係数を例示している。図１１を参照すれば、フィルタタップ数２Ｍ、補間位置α、カラー成分Ｌ（ルマ）／Ｃ（クロマ）に変動することによって、互いに異なるフィルタ係数から構成された多様な平滑化補間フィルタが例示される。図１１のフィルタ係数は、スケーリング比率２５６（＝２８）に拡大されて四捨五入された係数である。前述のように、補間フィルタ係数のミラー反射特性に基づいて、補間位置σが１／２より小さいか、あるいはそれと同じ場合だけが開示されている。

図８Ａないし図１０で観察したところと類似して、クロマ成分のためのフィルタ係数と、ルマ成分のためのフィルタ係数とを比較すれば、平滑化パラメータβが大きい場合のフィルタ係数と、小さい場合のフィルタ係数とを比較した結果と類似している。

図１２Ａ、図１２Ｂ及び図１２Ｃは、一実施形態によって、映像補間位置及びスケーリング比率による平滑化補間フィルタのフィルタ係数を例示している。

図１２Ａ、図１２Ｂ及び図１２Ｃを参照して、スケーリング比率２ｎが５１２、２５６，１２８、６４に変動し、補間フィルタのフィルタタップ及び補間位置αが変動することにより、平滑化補間フィルタの拡大、四捨五入及び正規化されたフィルタ係数の多様な変形例について開示している。

特に、図１２Ｃの補間フィルタ係数のうち、１／８ピクセル単位の補間のためのフィルタ係数は、クロマ成分ピクセルの動き補償で、有用に利用される。ただし、クロマ成分のピクセルについては、ルマ成分のピクセルに比べて、人間が視覚的に認知する画質がそれほど重要ではないので、相対的に短いフィルタタップ４タップと、ビット深が低く、スケーリング比率２５である平滑化補間フィルタとが利用される。

以上、図８Ａないし図１２Ｃを介して開示されたフィルタ係数は、多様な実施形態のうち一部であるのみ、一実施形態による平滑化を考慮した補間フィルタについて、補間位置、平滑化パラメータ、ウィンドウ関数の種類、スプライン関数の種類、多項式解法の種類、スケーリング比率、四捨五入いかんなどを含んだ多様な要因によって、フィルタ係数が変形されもするということは、当業者であるならば、容易に理解することができるであろう。

以下、図１３Ａないし図２７を参照して、一実施形態による平滑化補間フィルタを利用するビデオの符号化及び復号化について開示する。図１５ないし図２５を参照して、一実施形態により、ツリー構造による符号化単位に基づいたビデオの符号化及び復号化について開示し、図２６及び図２７を参照して、一実施形態による平滑化補間フィルタを利用するビデオの符号化及び復号化方法について開示する。

映像と係わるデータについて各種動作が遂行されるとき、映像と係わるデータは、データグループに分割され、同一データグループに含まれるデータについて、同一の動作が遂行される。以下、本明細書で、所定基準によって形成されるデータグループを「データ単位」と指称する。以下、本明細書で、「データ単位」ごとになされる動作は、データ単位に含まれたデータを利用して、当該動作が遂行されるということを意味する。

＜平滑化補間フィルタを利用するビデオ符号化／復号化＞
図１３Ａは、一実施形態による平滑化補間フィルタを利用するビデオ符号化装置のブロック図を図示している。

ビデオ符号化装置１００の符号化部１２０及び出力部１３０の動作は、ビデオエンコーディング・プロセッサ、中央プロセッサ、グラフィック・プロセッサなどによって有機的に制御される。

一実施形態によるビデオ符号化装置１００は、入力されたビデオにおいて、現在ピクチャを符号化するために、現在ピクチャを所定サイズのデータ単位に分割し、データ単位別に符号化を行う。

例えば、現在ピクチャは、空間ドメインの画素で構成される。現在ピクチャにおいて、空間的に隣接する画素を共に符号化するために、所定範囲内の隣接画素が１つのグループをなすように、現在ピクチャは、所定サイズの画素グループに分割される。分割された所定サイズの画素グループの画素に係わる一連の符号化動作により、現在ピクチャに係わる符号化が行われる。

ピクチャの符号化処理対象になる初期データが、空間ドメインの画素値であるので、それぞれの所定サイズの画素グループが、符号化処理対象になるデータ単位に利用される。また、空間ドメインの画素グループの画素値についてビデオ符号化のための変換を行い、変換ドメインの変換係数が生成されるが、変換係数も、空間ドメインの画素グループと同一サイズの係数グループを維持する。従って、変換ドメインの変換係数の係数グループも、ピクチャの符号化のためのデータ単位に利用される。

従って、空間ドメイン及び変換ドメインをまとめて、所定サイズのデータグループが、符号化のためのデータ単位に利用される。このとき、データ単位の大きさは、データ単位に含まれるデータの個数と定義される。例えば、空間ドメインの画素の個数、または変換ドメインの変換係数の個数が、データ単位の大きさを示すことができる。

ビデオにおいて、現在符号化処理対象であるデータ単位、スライス、ピクチャ、ピクチャシーケンスのうち、いずれか１つのデータレベルのデータグループごとに、現在データ単位に係わる符号化方式または符号化特性が決定される。

一実施形態によるビデオ符号化装置１００は、データ単位別に、インター予測、イントラ予測を含む予測符号化、変換、量子化及びエントロピ符号化を行うことにより、現在ピクチャの符号化を行うことができる。

インター予測によれば、経時的に、先行するか、あるいは後続するピクチャのピクセル値を参照して、現在ピクセル値が推定されるように、参照ピクチャの参照領域のピクセル値と、現在ピクチャのピクセル値との残差データ、及び参照されたピクセル値を示す参照データが決定される。

一実施形態によるビデオ符号化装置１００は、さらに正確なインター予測のために、副画素単位ピクセル値を利用して、残差データ及び参照データを決定することができる。ビデオ符号化装置１００は、副画素単位のインター予測のために、隣接する画素単位ピクセル間に位置する副画素単位ピクセル値を決定するために、隣接する画素単位ピクセルを補間して、副画素単位のピクセル値を決定することができる。

また、隣接する画素単位ピクセルを含み、２以上の画素単位の参照ピクセルに係わる補間フィルタリングを介して、副画素単位のピクセル値が生成される。補間フィルタリングのための参照ピクセルは、参照ピクチャ上のピクセルである。

一実施形態によるビデオ符号化装置１００は、効率的な映像補間のために、補間フィルタ係数を選択的に決定することができる。一実施形態による符号化部１２０に、一実施形態による映像補間装置１０が搭載される。すなわち、符号化部１２０は、副画素単位のインター予測のために、映像補間装置１０によって、変換及び逆変換に基づいて決定されたフィルタ係数から構成された補間フィルタを利用して、副画素単位のピクセル値を生成することができる。

一実施形態によるビデオ符号化装置１００は、効果的な補間フィルタリングのために、補間フィルタ係数をあらかじめメモリに保存しておくことができる。一実施形態による補間フィルタ係数は、補間位置、平滑度、フィルタタップ数、ビット深、スケーリング比率、変換に基づいた補間フィルタリングの基底関数の種類により、多様な種類の補間フィルタ係数が、ビデオ符号化装置１００のメモリに保存される。

例えば、（ｉ）８タップ、スケーリング比率２６、１／４画素単位のフィルタ係数である｛−１，４，−１０，５７，１９，−７，３，−１｝、（ｉｉ）８タップ、スケーリング比率２６、１／２画素単位の補間フィルタ係数である｛−１，４，−１１，４０，４０，−１１，４，−１｝、（ｉｉｉ）４タップ、スケーリング比率２６、１／８画素単位のフィルタ係数である｛−３，６０，８，−１｝、（ｉｖ）４タップ、スケーリング比率２６、１／４画素単位のフィルタ係数である｛−４，５４，１６，−２｝、（ｖ）４タップ、スケーリング比率２６、３／８画素単位のフィルタ係数である｛−５，４６，２７，−４｝、（ｖｉ）４タップ、スケーリング比率２６、１／２画素単位のフィルタ係数である｛−４，３６，３６，−４｝がメモリに保存され、本発明による平滑化補間フィルタリングのために利用される。

本例によるフィルタ係数を含み、図８Ａないし図１２Ｃで例示された多様なフィルタ係数のように、多様な基底関数、ウィンドウ関数などを介して変形可能な平滑化補間フィルタ係数が、補間フィルタとして利用されるということは、前述の通りである。

メモリに保存されたフィルタ係数を利用した補間フィルタリングを介して、インター予測のための演算速度が向上する。

符号化部１２０は、補間フィルタのうち、副画素単位の補間位置αと平滑度とによって、所望の平滑化補間フィルタを選択し、インター予測に利用することができる。それだけではなく、フィルタタップ数、ビット深、スケーリング比率などによって、現在ピクセルに適する平滑化補間フィルタが決定される。

一実施形態による符号化部１００は、映像特性によって、補間フィルタを決定することができる。例えば、符号化部１００は、ピクセルのカラー成分により、互いに異なる補間フィルタを決定することができる。例えば、ルマ成分のピクセルのための補間フィルタ、及びクロマ成分のピクセルのための補間フィルタが別個に選択され、互いに異なる補間フィルタリングを介して補間された副画素単位のピクセル値がそれぞれ生成される。

副画素単位の補間に基づいたインター予測を含み、イントラ予測、変換／量子化を行い、ビデオが符号化される。

一実施形態による出力部１３０は、符号化情報を符号化して出力し、符号化されたピクチャデータを出力することができる。符号化情報は、補間フィルタの選択に係わる情報が別途に符号化される。すなわち、副画素単位の予測符号化のために、いかなる補間フィルタが使用されたかということに係わる情報が符号化される。例えば、映像の符号化過程で、いかなるフィルタを利用して補間したかということを復号化する側が知っていてこそ、符号化過程で利用された補間フィルタと同一のフィルタを利用して、映像を補間して復号化することができる。このために、補間に利用されたフィルタを特定することができる情報が映像と共に符号化される。ただし、フィルタの選択が、以前の符号化結果、すなわち、コンテクスト（context）に基づいて行われる場合には、フィルタ選択と係わる情報を別途に符号化する必要がない。

出力部１３０は、符号化情報及び符号化されたピクチャデータについてエントロピ符号化を行い、ビットストリームを出力することができる。

図１３Ｂは、一実施形態による平滑化補間フィルタを利用する映像復号化装置のブロック図を図示している。

一実施形態による平滑化補間フィルタを利用するビデオ復号化装置２００は、受信抽出部２２０及び復号化部２３０を含む。以下、説明の便宜のために、一実施形態による平滑化補間フィルタを利用するビデオ復号化装置２００を「ビデオ復号化装置２００」と縮約して指称する。ビデオ復号化装置２００の受信抽出部２２０及び復号化部２３０の動作は、ビデオデコーディング・プロセッサ、グラフィック・プロセッサ、中央プロセッサなどによって有機的に制御される。

ビデオ復号化装置２００は、ビットストリームから映像を復元するために、エントロピ復号化、逆量子化、逆変換、インター予測／補償、イントラ予測／補償を含む動作を介して、ビットストリームの符号化されたピクチャデータを復号化することができる。

一実施形態による受信抽出部２２０は、符号化されたビデオに係わるビットストリームを受信してパージングする。受信抽出部２２０は、パージングされたビットストリームから、現在ピクチャについて、データ単位別に符号化されたデータを抽出し、符号化されたデータを復号化することができるように、符号化方式に係わる情報が収録された符号化情報を抽出することができる。

符号化情報が補間フィルタ情報を含んでいる場合、復号化部２３０は、補間フィルタ情報から、いずれの補間フィルタを利用して、副画素単位のイントラ予測を行ったかを読み取り、復号化部２３０は、符号化過程で利用された補間フィルタを利用して、動き補償を行うこともできる。

復号化部２３０は、符号化モードに係わる情報に基づいて決定された各種復号化方式に従って、符号化されたピクチャについて、エントロピ復号化、逆量子化、逆変換、インター予測／補償、イントラ予測／補償などの各種復号化動作を遂行することにより、符号化されたピクチャデータを復号化することができる。

動き補償のために、参照データを利用して、現在ピクチャに係わる時間順序上、先行するか、あるいは後続する参照ピクチャの参照領域が決定され、参照領域のピクセル値と残差データとが合成されて現在ピクセル値が復元される。

符号化過程で、副画素単位で補間されたピクセルを基に、残差データ及び参照データが決定された場合、復号化部２３０も、副画素単位で補間されたピクセルを基に、動き補償を行うことができる。復号化部２３０は、副画素単位の動き補償のために、参照ピクチャのピクセルのうち、隣接する画素単位ピクセルを補間して、副画素単位のピクセル値を生成することができる。隣接する画素単位ピクセルを含み、２以上の画素単位の参照ピクセルに係わる補間フィルタリングを介して、副画素単位のピクセル値が生成される。

一実施形態によるビデオ復号化装置２００は、効率的な映像補間のために、補間フィルタ係数を選択的に決定することができる。一実施形態による復号化部２３０に、一実施形態による映像補間装置１０が搭載される。すなわち、復号化部２３０は、副画素単位の動き補償のために、変換に基づいた補間フィルタを利用して、副画素単位のピクセル値を生成することができる。

一実施形態によるビデオ復号化装置２００は、効果的な補間フィルタリングのために、補間位置、平滑度、フィルタタップ数、ビット深、スケーリング比率、変換に基づいた補間フィルタリングの基底関数の種類により、多様に選択可能な補間フィルタのフィルタ係数をメモリに保存しておくことができる。

前述のように、例えば、（ｉ）８タップ、スケーリング比率２６、１／４画素単位のフィルタ係数である｛−１，４，−１０，５７，１９，−７，３，−１｝、（ｉｉ）８タップスケーリング比率２６、１／２画素単位のフィルタ係数である｛−１，４，−１１，４０，４０，−１１，４，−１｝、（ｉｉｉ）４タップ、スケーリング比率２６、１／８画素単位のフィルタ係数である｛−３，６０，８，−１｝、（ｉｖ）４タップ、スケーリング比率２６、１／４画素単位のフィルタ係数である｛−４，５４，１６，−２｝、（ｖ）４タップ、スケーリング比率２６、３／８画素単位のフィルタ係数である｛−５，４６，２７，−４｝、（ｖｉ）４タップ、スケーリング比率２６、１／２画素単位のフィルタ係数である｛−４，３６，３６，−４｝のうち少なくとも１つのフィルタ係数がメモリに保存され、本発明による平滑化補間フィルタリングのために利用される。本例によるフィルタ係数を含み、図８Ａないし１２Ｃに図示されたように、多様な基底関数、ウィンドウ関数などを介して変形可能な平滑化補間フィルタ係数が、平滑化補間フィルタリングのために利用されるということは、前述の通りである。

復号化部２３０は、補間フィルタのうち、副画素単位の補間位置α及び平滑度、それだけではなく、フィルタタップ数、ビット深、スケーリング比率などによって、現在ピクセルに適する補間フィルタを選択的に決定し、副画素単位の動き補償を行うことができる。

また、復号化部２３０は、映像特性によって平滑化補間フィルタを決定することができる。例えば、ピクセルのカラー成分によって、互いに異なる補間フィルタを選択し、ルマ成分のピクセルのための補間フィルタリング、及びクロマ成分のピクセルのための補間フィルタリングが別個に行われ、補間された副画素単位のピクセル値がそれぞれ生成される。

従って、復号化部２３０は、逆量子化／逆変換を介して、空間ドメインのデータを復元し、イントラ予測及び画素単位の補間だけではなく、副画素単位の補間に基づいた動き補償を行うことにより、ピクセル値を復元して、現在ピクチャを復元することができる。ピクチャが復元されることにより、ビデオが復号化される。

図１４Ａは、一実施形態による平滑化補間フィルタを利用する映像符号化方法のフローチャートを図示している。段階１４１０で、入力されたビデオのうち、現在ピクチャを符号化するために、副画素単位の補間を利用した予測符号化が行われる。副画素単位のピクセル値を生成するための補間フィルタにおいて、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタが選択される。一実施形態による補間フィルタの平滑度は、補間位置と画素単位との距離に基づいて決定される。

参照ピクチャ上の２以上の画素単位の参照ピクセルに係わる補間フィルタリングを介して、副画素単位のピクセル値が生成される。生成された副画素単位ピクセル値を利用して、残差データ及び参照データが決定されることにより、予測符号化が行われる。

効率的な映像補間のために、補間フィルタ係数を選択的に決定することができる。メモリにあらかじめ保存された補間フィルタ係数において、副画素単位の補間位置、平滑度、フィルタタップ数、ビット深、スケーリング比率、変換に基づいた補間フィルタリングの基底関数の種類、カラー成分などにより、所望の補間フィルタが選択され、副画素単位のピクセル値のための補間が行われる。

段階１４２０で、副画素単位の補間に基づいたインター予測を含み、イントラ予測が行われた結果について変換／量子化が行われる、段階１４３０で、量子化された変換係数の形態である符号化されたピクチャデータ及び符号化情報について、エントロピ符号化を行い、ビットストリームを出力することができる。符号化情報は、副画素単位の予測符号化のために、いかなる補間フィルタが使用されたかということに係わる情報を含んでもよい。

図１４Ｂは、一実施形態による平滑化補間フィルタを利用する映像復号化方法のフローチャートを図示している。段階１４５０で、符号化されたビデオに係わるビットストリームを受信し、エントロピ復号化してパージングし、ビットストリームから、現在ピクチャの量子化された変換係数及び符号化情報が抽出される。

符号化情報が補間フィルタ情報を含んでいる場合、補間フィルタ情報から、必要な補間フィルタの種類を読み取ることもできる。

段階１４６０で、符号化情報から読み取られた符号化モードに基づいて決定された各種復号化方式に従って、量子化された変換係数について逆量子化及び逆変換を行い、残差データを含んで空間ドメインのデータが復元される。

段階１４７０で、符号化モードに基づいて、動き補償、イントラ予測などの各種復号化動作を介して、符号化されたピクチャデータが復号化される。

特に、副画素単位で補間されたピクセルを基に、符号化された残差データ及び参照データが抽出された場合、副画素単位で補間されたピクセルを基に、動き補償が行われる。副画素単位のピクセル値を生成するための補間フィルタにおいて、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタが選択される。
効率的な映像補間のために、補間フィルタ係数を選択的に決定することができる。メモリにあらかじめ保存された補間フィルタ係数において、副画素単位の補間位置、平滑度、フィルタタップ数、ビット深、スケーリング比率、変換に基づいた補間フィルタリングの基底関数の種類、カラー成分などにより、所望の補間フィルタが選択され、副画素単位のピクセル値のための補間が行われる。メモリにあらかじめ保存された補間フィルタ係数を利用して補間されたピクセルを参照して動き補償が行われることにより、演算速度が増大する。

参照データを利用して、参照ピクチャ及び参照領域が決定され、参照ピクチャ上の２以上の画素単位の参照ピクセルに係わる補間フィルタリングを介して、副画素単位のピクセル値が生成される。生成された副画素単位ピクセル値と残差データとが合成されることにより、動き補償が行われて予測復号化が行われる。

段階１４８０で、予測復号化を介して復元されたピクセル値を利用して、現在ピクチャが復元され、ビデオが復号化される。

＜ツリー構造による符号化単位に基づいて平滑化補間を利用するよったビデオ符号化／復号化＞
以下、図１５ないし図２７を参照して、一実施形態により、ツリー構造による符号化単位に基づいて、平滑化補間フィルタを利用するビデオ符号化装置及びビデオ復号化装置、並びにそれに相応するビデオ符号化方法及びビデオ復号化方法の実施形態について説明する。

本実施形態によるビデオ符号化装置１００は、一実施形態によるツリー構造による符号化単位及び変換単位に基づいて、ビデオを符号化することができる。

ビデオの現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャが区画される。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが２の自乗である正方形のデータ単位である。本実施形態による符号化部１２０は、少なくとも１つの最大符号化単位別に、ピクチャデータを符号化することができる。

一実施形態による符号化単位は、最大サイズ及び深度によって特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位に定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位の大きさが小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。

前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定される。

本実施形態による符号化部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度に決定する。

符号化部１２０は、最大符号化単位別に決定された符号化深度の符号化単位で符号化された映像データを出力することができる。また、符号化部１２０は、決定された符号化深度に係わる情報を出力部１３０に伝達し、符号化深度に係わる情報が、符号化情報として符号化される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれて、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定して、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されてもよく、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による符号化部１２０で、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全ての分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度が１に設定され、２回分割された符号化単位の深度が２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２、３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなることによって生成される全ての深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を、多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使用され、段階別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基盤になるそれ以上分割されない符号化単位を「予測単位」と指称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含む。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含む。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち、少なくとも一つである。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。

符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じサイズの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含む。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。符号化深度別符号化情報は、インター予測のために、副画素単位の補間のための補間フィルタリングと係わる情報を含む。

また、符号化部１２０は、最大符号化単位または現在符号化単位ごとに、あらかじめ限定的に設定された変換単位の最多分割レベルに基づいて、符号化単位に係わる符号化過程で、ツリー構造の変換単位を利用して変換を行うことができる。

深度別符号化単位ごとに、符号化単位と同じであるか、あるいはそれより小サイズの基礎変換単位は、段階的に下位変換深度の変換単位に分割される。一実施例によるツリー構造の変換単位は、現在許容される最大サイズの変換単位である基礎変換単位から、符号化単位に許容される最多分割レベルまでの下位レベルの変換単位を含む。

符号化部１２０は、現在符号化単位内で、変換深度によるレベル別に変換を行った結果、周辺領域の変換単位とは独立して、同一領域の変換深度別変換単位間には、階層的な構造を形成するツリー構造による変換単位を決定することができる。

すなわち、符号化単位ごとに、多様な大きさの変換単位を利用して変換を行って変換結果を比べることにより、ツリー構造による変換単位が決定される。符号化単位の決定過程において、符号化単位の変換のための変換単位が決定される。一つ以上の深度の深度別符号化単位と、それぞれの深度別符号化ごとに、内部に含まれる一つ以上の変換深度の変換深度別変換単位とが変換に利用される。

符号化単位ごとに、符号化誤差が最小である変換単位が決定されなければならない。変換単位の最小符号化誤差を発生させる変換深度が決定されるために、全ての変換深度別変換単位ごとに、符号化誤差が測定されて比較される。一実施形態による変換単位は、符号化単位の変換による誤差を最小化するデータ単位に決定される。

従って、深度別符号化単位と変換単位との組み合わせのうち、最も符号化誤差の小さい組み合わせが決定され、最大符号化単位内の領域ごとに、個別的に組み合わせが決定されるので、ツリー構造の符号化単位と、ツリー構造の変換単位とが決定される。

一実施形態による最大符号化単位のツリー構造による符号化単位、パーティション及びツリー構造による変換単位の決定方式については、図１５ないし図２５を参照して説明する。

符号化部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

ビデオ符号化装置１００は、符号化部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、並びに出力部１３０によって符号化された、深度別符号化モードに関する情報を、共に含んだビットストリーム形態で出力することができる。

一実施形態によるツリー構造の符号化単位、予測単位、変換単位などに基づいて、ピクチャが符号化されることによって決定された、符号化深度の符号化単位の符号化モードについての情報は、ビットストリームのヘッダ、ＳＰＳ、ＰＰＳなどに含まれる。

符号化された映像データは、映像の残差データの符号化結果である。深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含む。

符号化深度情報は、現在深度に符号化せずに、下位深度の符号化単位に符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位に符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位中に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードについての情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち、少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位である。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティション大きさ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含む。

ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャごとにマクロブロックの数が過度に多くなる。このために、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。

出力部１３０は、ツリー構造の符号化単位、ツリー構造の変換単位に基づいて、ビデオが符号化されるのに使用された符号化方式についての情報を示す符号化情報を符号化して出力することができる。一実施形態による符号化情報は、符号化深度の符号化単位に係わる各種符号化モードに係わる情報及び符号化深度に係わる情報を含む。

本実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、ビデオ符号化装置１００を参照して説明したところと同一である。

ビデオ復号化装置２００は、符号化されたビデオに係わるビットストリームを受信する。受信抽出部２２０は、受信されたビットストリームをパージングする。受信抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化されたピクチャデータを抽出して復号化部２３０に出力する。受信抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。

また、受信抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。符号化情報から、符号化深度に係わる情報及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、復号化部２３０が、最大符号化単位ごとに映像データを復号化する。

最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定されてもよく、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含む。符号化深度別符号化情報から、インター予測のために、副画素単位の補間のための補間フィルタリングと係わる情報が抽出される。また、符号化深度情報として、深度別分割情報が抽出される。

受信抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式に従ってデータを復号化し、映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位について割り当てられるので、受信抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一の符号化深度及び符号化モードについての情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。

復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度でそれ以上分割されないことを示しているならば、現在深度が符号化深度である。従って、復号化部２３０は、現在最大符号化単位の符号化されたピクチャデータについても、現在深度の符号化単位を予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、復号化部２３０によって同一の符号化モードで復号化する１つのデータ単位と見なされる。

復号化部２３０は、最大符号化単位ごとに、前記読み取られた符号化深度及び符号化モードに基づいて、それぞれの最大符号化単位の符号化されたピクチャデータを復号化し、現在ピクチャを復元することができる。最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、符号化モードとして、パーティションタイプ、予測モード、変換単位構造などが読み取られる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含む。

復号化部２３０は、ツリー構造の符号化単位の予測単位のパーティションタイプ及び予測モードに基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、復号化部２３０は、ツリー構造の変換単位構造を読み取り、符号化単位ごとに変換単位に基づいた逆変換を行うことができる。

ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位で決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

図１５は、本発明の一実施形態による符号化単位の概念を図示している。符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含む。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割されてもよく、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１５に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含む。

ビデオデータ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２、１６、８である符号化単位まで含む。深度が深くなるほど、詳細情報の表現能力が向上する。

図１６は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

一実施形態による動き推定部４２０及び動き補償部４２５は、副画素単位の参照ピクセルを利用して、細密に動きを推定するために、画素単位のピクセルを補間して、副画素単位のピクセルを生成することができる。副画素単位のピクセルを生成するための補間フィルタは、図１及び図１３Ａで説明した平滑化補間フィルタである。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決めなければならない。

図１７は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。

一実施形態による動き補償部５６０は、副画素単位の参照ピクセルを利用して、細密に動きを償うために、画素単位のピクセルを補間して、副画素単位のピクセルを生成することができる。副画素単位のピクセルを生成するための補間フィルタは、図２及び図１３Ｂで説明した平滑化補間フィルタである。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決めなければならない。

図１８は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定される。あらかじめ設定された符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸にそって深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位はサイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。

一実施形態によるビデオ符号化装置１００の符号化部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図１９は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００または、一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じサイズの符号化単位で映像を符号化するか復号化する。符号化過程中の変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００または、一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図２０は、本発明の一実施形態による深度別符号化情報を図示している。一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるか設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出して、復号化に利用することができる。

図２１は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０について反復的に符号化を行い、最小符号化誤差を検索していくことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０について反復的に符号化を行い、最小符号化誤差を検索していくことができる。

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１であるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９９０について分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」と指称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。

かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度に決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。

図２２、図２３及び図２４は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決めた符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、それと同じである。

変換単位１０７０のうち一部パーティション（１０５２）の映像データについては、符号化単位に比べて小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０における当該予測単位及びパティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

このために、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の受信抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種類の大きさ、インターモードで２種類の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含む。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。

図２５は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

変換単位分割情報ＴＵ size flagは、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図２５を参照して説明した変換単位分割情報ＴＵ size flagは、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって０，１，２，３，…などに増加して、変換単位が階層的に分割される。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさが１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさが８ｘ８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定され、変換単位の大きさが、３２ｘ３２より小さいなることがないので、それ以上の変換単位分割情報が設定されることがない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

従って、最大変換単位分割情報を「ＭａｘTransformSizeIndex」、最小変換単位サイズを「ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ」、変換単位分割情報が０である場合の変換単位、すなわち、基礎変換単位RootＴｕの大きさを「RootＴｕSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」は、下記数式のように定義される。

ＣｕｒｒＭｉｎＴｕSize
＝ｍａｘ（ＭｉｎTransformSize，RootＴｕSize／（２＾ＭａｘTransformSizeIndex））
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」と比べて、基礎変換単位サイズである「RootＴｕSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、前記数式によれば、「RootＴｕSize／（２＾ＭａｘTransformSizeIndex）」は、基礎変換単位サイズである「RootＴｕSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、これらのうち小さい値が、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」である。

一実施形態による基礎変換単位サイズRootＴｕSizeは、予測モードによって変わることもある。

例えば、現在予測モードがインターモードであるならば、RootＴｕSizeは、下記数式によって決定される。下記数式で、「ＭａｘTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize，ｐＵSize）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位である基礎変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードがイントラモードであるならば、「RootＴｕSize」は、下記数式によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize，partitionSize）
すなわち、現在予測モードがイントラモードであるならば、基礎変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変わる事実施形態による現在最大変換単位サイズである基礎変換単位サイズ「RootＴｕSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がそれに限定されるものではないということを留意しなければならない。

図２６は、本発明の一実施形態により、ツリー構造による符号化単位に基づいて平滑化補間フィルタを利用するビデオ符号化方法のフローチャートを図示している。段階２６１０で、入力されたビデオのうち、現在ピクチャを符号化するために、現在ピクチャは、少なくとも１つの最大符号化単位に分割される。最大符号化単位の領域が、１つ以上の深度によって分割された少なくとも１つの分割領域がそれぞれ符号化される。深度別に分割領域ごとに符号化するために、副画素単位の補間に基づいたインター予測を含み、イントラ予測が行われた結果について変換／量子化が行われる。

ここで、深度別に分割領域の符号化結果を比較し、少なくとも１つの分割領域別に、最終符号化結果が出力される分割深度が決定され、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。ツリー構造の符号化単位と同様に、ツリー構造による変換単位が決定される。すなわち、ピクチャの符号化結果として、決定されたツリー構造の符号化単位と同様に、ツリー構造による変換単位の符号化結果が、ピクチャの符号化されたデータとして出力される。

一実施形態によるインター予測は、符号化単位の予測単位またはパーティションごとに行われる。副画素単位の補間を利用して生成されたピクセルを参照して、現在予測単位またはパーティーの動きが予測される。副画素単位のピクセル値を生成するための補間フィルタにおいて、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタが選択される。効率的な映像補間のために、補間フィルタ係数を選択的に決定することができる。メモリにあらかじめ保存された補間フィルタ係数において、副画素単位の補間位置、平滑度、フィルタタップ数、ビット深、スケーリング比率、変換に基づいた補間フィルタリングの基底関数の種類、カラー成分などにより、所望の補間フィルタが選択され、副画素単位のピクセル値のための補間が行われる。

段階２６２０で、最大符号化単位ごとに、少なくとも１つの分割領域別に、最終符号化結果である映像データと、符号化深度及び符号化モードについての情報とがビットストリームの形態に出力される。

符号化モードについての情報は、符号化深度についての情報または分割情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位階層構造情報などを含む。符号化情報は、副画素単位の予測符号化のためにいかなる補間フィルタが使用されたかということに係わる情報を含む。符号化された符号化モードについての情報は、符号化された映像データと共に、復号化端に伝送される。

図２７は、本発明の一実施形態により、ツリー構造による符号化単位に基づいて、平滑化補間フィルタを利用するビデオ復号化方法のフローチャートを図示している。段階２７１０で、符号化されたビデオに係わるビットストリームが受信される。段階２７２０で、パージングされたビットストリームから、最大サイズの最大符号化単位に割り当てられる現在ピクチャの映像データ、最大符号化単位別符号化深度、及び符号化モードについての情報が抽出される。符号化情報から、副画素単位の動き補償のために、いかなる補間フィルタが必要であるかということに係わる情報を抽出される。

符号化情報から、一実施形態による符号化深度及び符号化モードについての情報が読み取られる。一実施形態による符号化深度及び符号化モードについての情報によれば、最大符号化単位がツリー構造による符号化単位に分割される。また、抽出された情報のうち変換単位階層構造情報によれば、符号化単位内のツリー構造による変換深度の変換単位が決定される。

段階２７３０で、最大符号化単位別符号化深度及び符号化モードについての情報を利用して、ツリー構造の符号化単位、これに係わる予測単位、これに係わるツリー構造の変換単位に基づいて、それぞれの最大符号化単位の映像データが復号化される。符号化深度及び符号化モードについての情報に基づいて、現在符号化単位について復号化が行われながら、ツリー構造の変換単位のうち決定された変換単位を利用して、現在符号化単位について逆変換が行われる。

符号化単位の予測単位またはパーティションごとに、符号化モードに基づいて動き補償、イントラ予測などの各種復号化動作を介して、符号化されたピクチャデータが復号化される。

特に、副画素単位で補間されたピクセルを基に符号化された残差データ及び参照データが抽出された場合、現在予測単位または現在パーティションに係わる動き補償は、副画素単位で補間されたピクセルを参照して行われる。副画素単位のピクセル値を生成するための補間フィルタにおいて、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタが選択される。

効率的な映像補間のために、補間フィルタ係数の選択的に決定することができる。メモリにあらかじめ保存された補間フィルタ係数において、副画素単位の補間位置、平滑度、フィルタタップ数、ビット深、スケーリング比率、変換に基づいた補間フィルタリングの基底関数の種類、カラー成分などにより、所望の補間フィルタが選択され、副画素単位のピクセル値のための補間が行われる。

参照データを利用して、参照ピクチャ及び参照領域が決定され、参照ピクチャ上の２以上の画素単位の参照ピクセルに係わる補間フィルタリングを介して、副画素単位のピクセル値が生成される。生成された副画素単位ピクセル値と残差データとが合成されることにより、現在予測単位または現在パーティションに係わる動き補償が行われて予測復号化が行われる。

最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、ネットワークを介して伝送される。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

以下、実施の形態により教示される手段を例示的に列挙する。

（付記１）
映像を補間する方法において、
画素単位間に位置する少なくとも１つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択する段階と、
前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも１つの副画素単位のピクセル値を生成する段階と、を含むことを特徴とする平滑化を考慮した映像補間方法。

（付記２）
前記補間フィルタは、複数個の基底関数に基づいて、前記画素単位ピクセルを変換し、前記変換結果として生成された複数個の係数を逆変換するためのフィルタ係数から構成されたことを特徴とする付記１に記載の平滑化を考慮した映像補間方法。

（付記３）
前記補間フィルタは、前記画素単位ピクセルと前記補間位置との距離に基づいて、前記平滑度が決定されるフィルタ係数から構成されたことを特徴とする付記１に記載の平滑化を考慮した映像補間方法。

（付記４）
前記補間フィルタは、前記画素単位ピクセルのうち、前記補間位置に隣接するピクセルと前記補間位置との距離に基づいて、前記平滑度が決定されるフィルタ係数から構成されたことを特徴とする付記１に記載の平滑化を考慮した映像補間方法。

（付記５）
前記補間フィルタは、前記画素単位ピクセルを空間ドメインで補間するために、前記複数個の基底関数を利用した変換及び逆変換のためのフィルタ及びウィンドウ関数を合成したフィルタ係数から構成され、
前記ウィンドウ関数は、前記補間位置を中心に対称的な形態であることを特徴とする付記２に記載の平滑化を考慮した映像補間方法。

（付記６）
前記補間フィルタは、前記画素単位ピクセルを空間ドメインで補間するために、前記複数個の基底関数を利用した変換及び逆変換のためのフィルタに、平滑度パラメータを合成させたフィルタ係数から構成され、
前記平滑度パラメータは、前記平滑度の速度及び前記平滑度の範囲のうち少なくとも一つを制御することを特徴とする付記２に記載の平滑化を考慮した映像補間方法。

（付記７）
前記補間フィルタは、スプライン関数である基底関数に基づいて、前記スプライン関数の境界条件によって、前記画素単位ピクセルの境界ピクセルで、最大に平滑化するためのフィルタ係数から構成されることを特徴とする付記２に記載の平滑化を考慮した映像補間方法。

（付記８）
前記補間フィルタは、多項式である基底関数に基づいて、前記補間フィルタの低周波応答を最大化させるフィルタ係数から構成されたことを特徴とする付記２に記載の平滑化を考慮した映像補間方法。

（付記９）
前記補間フィルタ選択段階は、前記補間フィルタにおいて、フィルタ係数が整数に拡大された補間フィルタを選択する段階を含み、
前記副画素単位のピクセル値生成段階は、前記選択された補間フィルタを利用して生成したピクセル値を、前記スケーリング比率に基づいて正規化する段階を含むことを特徴とする付記１に記載の平滑化を考慮した映像補間方法。

（付記１０）
前記補間フィルタ選択段階は、クロマ成分のピクセル補間のために、前記補間フィルタのうち、ルマ成分のピクセルのための補間フィルタより平滑度が高い補間フィルタを選択する段階を含み、
前記副画素単位のピクセル値生成段階は、前記クロマ成分のピクセル及びルマ成分のピクセル別に、それぞれ選択された互いに異なる補間フィルタを利用して、前記副画素単位のピクセル値を生成する段階を含むことを特徴とする付記１に記載の平滑化を考慮した映像補間方法。

（付記１１）
前記補間フィルタは、ｉ）フィルタ係数｛−１，４，−１０，５７，１９，−７，３，−１｝で構成された８タップ、スケーリング比率２６、１／４画素単位の補間フィルタ、（ｉｉ）フィルタ係数｛−１，４，−１１，４０，４０，−１１，４，−１｝で構成された８タップ、スケーリング比率２６、１／２画素単位の補間フィルタ、（ｉｉｉ）フィルタ係数｛−３，６０，８，−１｝で構成された４タップ、スケーリング比率２６、１／８画素単位の補間フィルタ、（ｉｖ）フィルタ係数｛−４，５４，１６，−２｝で構成された４タップ、スケーリング比率２６、１／４画素単位の補間フィルタ、（ｖ）フィルタ係数｛−５，４６，２７，−４｝で構成された４タップ、スケーリング比率２６、３／８画素単位の補間フィルタ、（ｖｉ）フィルタ係数｛−４，３６，３６，−４｝で構成された４タップ、スケーリング比率２６、１／２画素単位の補間フィルタのうち少なくとも一つを含むことを特徴とする付記１に記載の平滑化を考慮した映像補間方法。

（付記１２）
前記映像補間方法は、
ビデオエンコーダにより、入力ピクチャのブロック別に、前記ビデオエンコーダに保存された補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択し、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも１つの副画素単位のピクセル値を生成して予測符号化を行い、前記予測符号化による予測結果について、変換及び量子化を行う段階と、
前記量子化された変換係数及び符号化情報について、エントロピ符号化を行って生成されたビットストリームを出力する段階と、を含む特徴とする付記１に記載の平滑化を考慮した映像補間方法。

（付記１３）
前記映像補間方法は、
ビデオデコーダにより、ビデオの符号化されたビットストリームを受信し、エントロピ復号化を行ってパージングし、符号化情報と、前記ビデオピクチャの符号化されたデータとを抽出する段階と、
前記ピクチャのうち現在ブロックの符号化されたデータのうち、量子化された変換係数について逆量子化及び逆変換を行い、前記ビデオデコーダに保存された補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択し、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも１つの副画素単位のピクセル値を生成して予測復号化を行い、前記ピクチャを復元する段階と、を含むことを特徴とする付記１に記載の平滑化を考慮した映像補間方法。

（付記１４）
映像補間装置において、
画素単位間に位置する少なくとも１つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択するフィルタ選択部と、
前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも１つの副画素単位のピクセル値を生成する補間部と、を含むことを特徴とする平滑化を考慮した映像補間方法。

（付記１５）
付記１に記載の映像補間方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

McCann,K.,et al.,Samsung’s Response to the Call for Proposals on Video Compression Technology,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-A124,２０１０年４月１５日,P.1-6,12-14

Claims (2)

1. 第１参照ピクチャ内の整数画素位置の第１サンプルに対して８タップフィルタを適用して２／４−画素位置の第１サンプルを生成する段階と、
   現在ブロックの１／４副画素単位補間予測のための第１参照ピクチャ内の第１参照ブロックを前記２／４−画素位置の第１サンプルによって決定する段階と、
   第２参照ピクチャ内の整数画素位置の第２サンプルに対して４タップフィルタを適用して１／８−画素位置、２／８−画素位置及び３／８−画素位置のうち、何れかに該当する第２サンプルを生成する段階と、
   前記現在ブロックの１／８副画素単位補間予測のための第２参照ピクチャ内の第２参照ブロックを前記１／８−画素位置、２／８−画素位置及び３／８−画素位置のうち、何れかに該当する第２サンプルによって決定する段階と、
   を含み、
   前記８タップフィルタは、８つのフィルタ係数を含み、
   前記４タップフィルタは、４つのフィルタ係数を含み、
   前記１／４副画素単位の第１動きベクトルは、１／４−副画素単位の画素位置を示し、
   前記１／８副画素単位の第２動きベクトルは、１／８−副画素単位の画素位置を示し、
   ２／４−画素位置の第１サンプルの生成に使用される前記８タップフィルタの８個の係数は｛−１、４、−１１、４０、４０、−１１、４、−１｝であることを特徴とするビデオ復号化方法。
2. 第１参照ピクチャ内の整数画素位置の第１サンプルに対して８タップフィルタを適用して２／４−画素位置の第１サンプルを生成し、
   現在ブロックの１／４副画素単位補間予測のための第１参照ピクチャ内の第１参照ブロックを前記２／４−画素位置の第１サンプルによって決定する第１補間フィルタリング部と、
   第２参照ピクチャ内の整数画素位置の第２サンプルに対して４タップフィルタを適用して１／８−画素位置、２／８−画素位置及び３／８−画素位置のうち、何れかに該当する第２サンプルを生成し、前記現在ブロックの１／８副画素単位補間予測のための第２参照ピクチャ内の第２参照ブロックを前記１／８−画素位置、２／８−画素位置及び３／８−画素位置のうち、何れかに該当する第２サンプルによって決定する第２補間フィルタリング部と、を備え、
   前記８タップフィルタは、８つのフィルタ係数を含み、
   前記４タップフィルタは、４つのフィルタ係数を含み、
   前記１／４副画素単位の第１動きベクトルは、１／４−副画素単位の画素位置を示し、
   前記１／８副画素単位の第２動きベクトルは、１／８−副画素単位の画素位置を示し、
   ２／４−画素位置の第１サンプルの生成に使用される前記８タップフィルタの８個の係数は、｛−１、４、−１１、４０、４０、−１１、４、−１｝であることを特徴とするビデオ復号化装置。

Images