JP4339784B2 - 複数個のブロックとして符号化された圧縮ビットストリーム符号化ビデオを復号する方法。 - Google Patents

Description

本発明は、一般に圧縮ビデオビットストリームを符号化する技術分野に係わり、特に、圧縮ビデオビットストリームを復号する際に低域解像度を用いる圧縮ビデオビットストリームの復号に関する。

離散コサイン変換
離散コサイン変換（以下、ＤＣＴとも略称する）は、フーリエ変換と同様に、分離可能な正規直交周波数をベースとする。ＤＣＴの導入は画像圧縮にとって重要な進歩であった。ＤＣＴ、即ち離散コサイン変換は、離散フーリエコサイン変換（以下、ＤＦＴとも略称する）の離散−時間バージョンと見なすことができる。ＤＦＴとは異なり、ＤＣＴは実数値を扱い、少ない数の係数で信号の良好な近似を行う。ＤＣＴでは、画像の各ブロックが係数のブロックに変換される。

ＤＣＴは画像圧縮用途で広汎に用いられている。例えば、二次元ＤＣＴ、即ち2D DCTは、静止画像の圧縮、動画像の圧縮及びビデオ電話での符号化技術に利用されている。画像圧縮規格については後に詳細に述べる。ＤＣＴのエネルギー圧縮性は、多くの画像において、エネルギーは人間の視覚系が一層敏感である低周波数乃至中周波数に集中すると言う理由から画像圧縮に良く適している。

ＤＣＴは、画像の視覚品質に関し異なった重要度のスペクトル副帯域に画像を分離するのを容易にする。ＤＣＴは、信号又は画像を空間ドメインから周波数ドメインに変換する点でＤＦＴに類似している。

Ｍ×Ｎ入力画像ｙに対して、出力Ｙの二次元ＤＣＴ係数は次のように定義される。

上記式において、乗数は次式で与えられる。即ち、

及び

上式中、
Ｍ＝入力データセットにおける行数、
Ｎ＝入力データセットにおける列数、
ｍ＝空間ドメインにおける行インデックスであって０≦ｍ≦Ｍ−１、
ｎ＝空間ドメインにおける列インデックスであって０≦ｎ≦Ｎ−１、
ｙ(m, n)＝空間ドメインデータ、
u＝周波数ドメインにおける行インデックス、
v＝周波数ドメインにおける列インデックス、
Y(u, v)＝周波数ドメイン係数。

上式中、y（m, n）は空間ドメインにおける入力信号又は元の画像を表し、Y（u, v）は周波数ドメインにおける出力信号または変換画像を表す。関数 F(.) は表記法を簡略化するのに用いている。

上式における関数の逆数を用いて空間ドメインにおける信号を再生（reconstruct）することができる。従って、二次元逆離散コサイン変換（2D IDCT）は下記のように定義される。

関心のある多くの用途に対して、Ｍ及びＮは同じ値を有する。最初に述べた式でＭ＝Ｎの置換を行えば、次式が得られる。

上式は、Ｎ×Ｎ点ＤＣＴ関数を定義する。ビデオ圧縮のような多くの用途において、入力ビデオ信号は通常基本的な矩形ブロックに分割もしくは区分され、ＤＣＴはこれらデータブロックに対して行われる。画像圧縮用途においては８×８ブロックＤＣＴが最も普通に用いられている。その理由は、計算上の複雑さと圧縮効率との間に合理的な妥協が得られるからである。最後に述べた式（３）においてＮ＝８の置換を行えば次式が得られる。

上記のコサイン関数Ｆ(.) は、入力データの次元には依存するが、データ自体には依存しない点に留意されたい。８×８の固定入力ブロックサイズの場合には、特定の用途に用いられるＤＣＴプロセスに依存して、コサイン値を予め計算して置くことができる。

ビデオ圧縮規格
ビデオ圧縮は、より小数の記憶装置、ネットワーク及びプロセッサ資源を用いて可視情報の記憶、伝送及び処理が可能にする。国際標準化機構（International Standards Organization、略してISO）の動画エキスパートグループ（Moving Pictures Experts Group、略してＭＰＥＧ）がデジタルビデオ圧縮、即ち画像または「フレーム」の時間シーケンス及びオーディオ圧縮に関する規格を作成している。特に、ＭＰＥＧは、陰的に符号化器もしくはエンコーダ、復号器もしくはデコーダ及びトランスコーダを定める標準圧縮ビットストリームについての定義をしている。

ＭＰＥＧ圧縮によれば、ビデオ信号に対して、ビデオフレーム内の空間的冗長性並びにビデオフレーム間の時間的冗長性が取り除かれる。静止画像圧縮用のＪＰＥＧ規格の場合と同様に、上述のようなＤＣＴベースの圧縮は、空間的冗長性を低減もしくは縮減するのに用いられる。時間的冗長性を利用するのに運動補償が用いられる。ビデオストリームにおける画像は、通常、短い時間間隔中に大きく変化することはない。この運動補償という考え方は、ビデオフレームの符号化を他の時間的に隣接するフレームに基づかせるためのものである。

最も広汎に用いられているビデオ圧縮規格には動画の記憶及び検索のためのＭＰＥＧ−１が含まれる。このＭＰＥＧ−１によれば、入力信号の複雑さ及び所望の品質に依存し、アナログビデオ及びオーディオ信号を、５０：１乃至１００：１の範囲内の比率で圧縮することができる。ディジタルテレビジョン用にはＭＰＥＧ−２が用いられる。ＭＰＥＧ−２によれば、ＭＰＥＧ−１よりも高いデータレートで高品質のビデオ圧縮が可能になる。ビデオ会議用には、H.263 規格が採用されている。これら規格に関しては、ＩＳＯ/ＩＥＣ 11172-2：1993，「Information Technology−Coding of Moving Pictures and Associated Audio for Digital Storage Media up to about 1.5 Mbit/s Part 2: Video」、D. LeGall,「ＭＰＥＧ: A Video Compression Standard for Multimedia Applications」, Communications of the ＡＣＭ, Vol.34, No.4, pp.46-58,1991、ＩＳＯ/ＩＥＣ 13818-2：1996「Information Technology−Grneric Coding of Moving Pictures and Associated Audio Information−Part 2: Video」1994、ＩＴＵ-Ｔ ＳＧＸＶ, ＤＲＡＦＴ Ｈ.263「Video Coding for Low Bitrate Communication」1996 及びＩＴＵ-Ｔ ＳＧ ＸＶＩ,ＤＲＡＦＴ13 Ｈ.263+Ｑ15-A-60 rev.0,「Video Coding for Low Bitrate Communication」1997 を参照されたい。

これら規格は、主に画像またはフレームの空間及び時間圧縮並びにフレームのシーケンスの空間及び時間圧縮を取り扱う比較的低レベルの仕様である。共通の特徴として、これら規格では、フレームベースでの圧縮が行われる。これら規格に準拠すれば、広範囲の用途に亙って高い圧縮比を達成することができる。

マルチメディア用のＭＰＥＧ−４のような比較的新しいビデオ符号化規格の出現で、任意の形状のオブジェクトを別のビデオオブジェクト平面（ＶＯＰ）として符号化したり復号することが可能である。MPEG-4に関しては、ＩＳＯ／ＩＥＣ14496-2:1999,「Information technology−coding of audio/visual objects, Part 2: Visual」を参照されたい。この場合、オブジェクトとしては、ビジュアルオブジェクト、オーディオオブジェクト、自然オブジェクト、人工オブジェクト、原始オブジェクト、混成オブジェクト或いはそれらの組み合わせからなるオブジェクトが挙げられる。また、無線チャンネルのようなエラーの起こりがちなチャンネルを介してロバストな、即ち堅牢な伝送を可能にするためにこの規格には相当量の耐エラー対策が採られている。

この最新のＭＰＥＧ−４規格は、自然及び人工マテリアルが統合され然もアクセスが普遍的である対話型ビデオのようなマルチメディア アプリケーションを可能化することを企図している。ビデオ伝送と関連して、これ等の圧縮規格は、ネットワーク帯域幅、メモリ及びプロセッサのような用いられる資源を最小化するのに必要とされる。

デバイスがコンテンツをロバストに、即ち堅実に伝送したりコンテンツの品質を利用可能な資源に適応化することを可能にするシステム及び方法に関して多大な努力が払われている。コンテンツをエンコードもしくは符号化する場合、低ビットレート或いは低空間解像度ビットストリームでネットワークを介しビットストリームを伝送するようにするためには、先ずその前に該ビットストリームを更にトランスコード（符号変換）することが時として必要とされる。

圧縮ビデオビットストリーム
ビデオビットストリームは、ビデオフレームのシーケンスからなる。各フレームは静止画像である。ビデオプレィヤは、通常、毎秒30フレーム（fps）に近いレート、具体的には 23.976、24、25、 29.97 又は 30 fps（フレーム／秒）でフレームを次から次へと表示する。

フレームの画素、即ちピクセルは、２４ビット／ピクセル、即ちレッド（赤）、グリーン（緑）及びブルー（青）チャンネル毎に８ビットの標準のＲＧＢフォーマットでデジタル化されている。ＭＰＥＧ−１は、1.5 M bps（ビット／秒）またはそれ以下のビットレートを発生するように設計されており、24−30 fps(フレーム／秒)で３５２×２８８サイズの画像で用いるように企図されている。この結果、データレートは 55.7 乃至 69.6 M bps（ビット／秒）となる。

ＭＰＥＧ−１は、ＹＵＶ色空間（Ｙ，Ｃｒ，Ｃｂ）で表される画像で動作する。従って、画像がＲＧＢフォーマットで表される場合には、先ず始めに画像をＹＵＶフォーマットに変換しなければならない。ＹＵＶフォーマットでも、画像はピクセル毎に２４ビット、即ちルミナンス（輝度）情報（Ｙ）に対して８ビットで２つのクロミナンス情報（Ｕ及びＶ）に対しそれぞれ８ビットの計２４ビット／ピクセルで表される。ＹＵＶフォーマットはサブサンプリング（二次抽出）される。全てのルミナンス情報は保存される。しかしながら、クロミナンス情報は水平及び垂直両方向において、２：１の割合でサブサンプリングされる。従って、Ｕ及びＶ情報のピクセル毎にそれぞれ２ビットが割り当てられる。このサブサンプリングは、人間の視覚系がクロミナンス情報よりもルミナンス情報に対し大きな感度を有するところから、品質に対してはさほど顕著な影響を与えることはない。サブサンプリングはロス（損失）を伴う圧縮である。２４ビットのＲＧＢ情報は１２ビットのＹＵＶ情報に縮減され、自動的に２：１の圧縮が行われる。専門的に言えば、ＭＰＥＧ−１は４：２：０ ＹＣｒＣｂである。

フレームは１６×１６のピクセルのマクロブロックに分割もしくは区分することができ、この場合各マクロブロックは４つの８×８ルミナンス ブロックと２つの８×８クロミナンス ブロック、即ち、Ｕに対し１ブロック、Ｖに対し１ブロックを有する。マクロブロックは運動補償圧縮用の単位である。ブロックはＤＣＴ圧縮に対して用いられる。

フレームの形式
圧縮ドメインにおいては、フレームは３つの形式もしくはタイプ、即ちイントラ フレーム（Ｉ−フレーム）、順方向予測フレーム（Ｐ−フレーム）及び双方向予測フレーム（Ｂ−フレーム）に従って符号化することができる。

Ｉ−フレーム
Ｉ−フレームは、過去または未来のフレームを参照もしくは基準としない単一のフレームとして符号化される。用いられる符号化方式はＪＰＥＧ圧縮に類似する。各８×８ブロックは、追って述べる１つの例外を除き、互いに独立に符号化される。先ず、ブロックは、信号を独立の周波数帯域で分離するＤＣＴを用いて、空間ドメインから周波数ドメインに変換される。殆どの周波数情報は、得られる８×８ブロックの左上隅部に存在する。しかる後に、データは量子化パラメータ（ＱＰ）に従って量子化される。

量子化
量子化とは、この場合、下位ビットを無視するプロセスと考えることができる。尤も実際には、このプロセスはより複雑ではある。量子化は、全圧縮プロセスのうち、サブサンプリング以外に唯一のロスを伴うプロセスである。得られるデータは次いで、圧縮を最適化するためにジグザグ順序でランレングス符号化（run-length encoding）される。このジグザグ順序化によれば、各ジグザグが、８×８ブロックの左上隅から右下隅に向かって延びるので高周波数情報が殆どない、即ち、大部分は“０”であるという事実からして、長い“０”のランが生ずる。なお、独立性に対する上述の１つの例外とは、ＤＣ係数と呼称されるブロックの左上隅における係数が差動パルス符号変調（ＤＣＰＭ）符号化の場合のように、先行のブロックのＤＣ係数に対して符号化されることである。

Ｐ−フレーム
Ｐ−フレームは、過去の基準フレーム（参照フレームとも称し得る）に関連して符号化される。基準フレームとなるのは、Ｐ−またはＩ−フレームである。ここで、過去の基準フレームとは、時間的に最も近接する先行の基準フレームである。Ｐ−フレーム内の各マクロブロックは、Ｉ−マクロブロック或いはＰ−マクロブロックのいずれかとして符号化することができる。Ｉ−マクロブロックはＩ−フレームにおけるマクロブロックと全く同様に符号化される。Ｐ−マクロブロックは過去の基準フレームの１６×１６エリアにエラー項を加えたものとして符号化される。基準フレームの１６×１６エリアを特定するために運動ベクトルが含まされる。

運動ベクトル
運動ベクトル（０，０）は、１６×１６エリアが、マクロブロックが符号化されつつある位置と同じ位置にあること表す。他の運動ベクトルは、このブロックの位置に対して用いられる。運動ベクトルは、ピクセルが平均化される場合半ピクセル値を含み得る。エラー項は、ＤＣＴ、量子化及びランレングス符号化を用いて符号化される。（０，０）ベクトル及び全てゼロのエラー項に等価であるマクロブロックはスキップすることもできる。良好な運動ベクトル、即ち小さいエラー項と良好な圧縮を可能にする運動ベクトルのサーチ（検索）はＭＰＥＧビデオ エンコーダ（符号化器）の枢要部である。このサーチはエンコーダ（符号化器）の性能にインパクトを与える一次的もしくは主要な因子である。

Ｂ−フレーム
Ｂ−フレームは、過去の基準フレーム、未来の基準フレーム或いはこれら２つのフレームに対して符号化される。未来の基準フレームとは、最も近い次続の基準フレーム（Ｉ−またはＰ−フレーム）である。Ｂ−フレームに対する符号化は、運動ベクトルが未来の基準フレーム内のエリアを参照する点を除いてＰ−フレームの場合に類似する。過去及び未来の基準フレーム両者を用いるマクロブロックの場合には、２つの１６×１６エリアの平均が取られる。

ビデオ信号の空間解像度を減少もしくは縮減するための従来技術として、数多くの技術が知られている。例えば、米国特許第5,737,019号「Method and apparatus for changing resolution by direct DCT mapping」、米国特許第 5,926,573号「MPEG bit-stream format converter for changing resolution」、米国特許第 6,025,878号「Method and apparatus for decoding both high and standard definition video signals using a single video decoder」、米国特許第 6,005,623号「Image conversion apparatus for transforming compressed image data of different resolutions wherein information is scaled」及び米国特許第6,104,434号「Video coding apparatus and decoding apparatus」を参照されたい。

ＭＰＥＧ−２に関しては、Sun外の論文「Architectures for MPEG compressed bitstream scaling」IEEE Transactions on Circuits and Systems for Video Technology（1996年４月）がある。この論文には、複雑性及びアーキテクチャが異なる４つのレート減少方法が記述されている。また、多くのトランスコーダが、例えば、Vetro外の米国特許願Serial No.09/853,394号「Video Transcoder with Spatial Resolution Deduction」(2001年５月５日出願) に記述されている。また、Assuncao外の論文「A frequency domain video transcoder for dynamic bit-rate reduction of MPEG-2 bitstreams」IEEE Transaction on Circuits and System for Video Technology, pp. 953-957（1998）をも参照されたい。

上述した方法の多くのもので発生されるビットストリームの空間解像度は低く品質が悪い。また、その実施には大きな複雑さが伴う。更にまた、再生マクロブロックの形成する手段に関しては適切な考慮が払われていない。このことは、品質及び複雑さ双方に対してインパクトとなり得る。このことは、「２」とは異なった縮減因子を考慮した場合に特に重要である。更にまた、これら方法のうちの幾つかのものでは、アーキテクチャ（構造）上の詳細が明確にされていない。殆どの関心は、因子「２」での運動ベクトルのスケーリングに関する種々な手段に費やされている。

従って、従来の空間解像度減少もしくは縮減方法の上記のような問題点を克服するビデオビットストリーム復号化方法を得るのが望まれる。更にまた、デコーダにおける複雑さと品質との間にバランスを実現することも望ましい。

本発明による方法及び装置は、入力として、圧縮されたビデオビットストリームを受け、制限されたサイズのフレームメモリの制約を受容するように、低解像度の参照もしくは基準フレームを用いてビデオを再生（再構成）する。制約された離散コサイン変換（ＣＤＣＴとも略称する）及びインデクシング方法を用いることにより、元のフレームがコサイン変換されてフレームメモリにセイビングされる。

本発明では離散コサイン変換の変更バージョンが用いられる。本発明によるＤＣＴ変更バージョンは、パターン発生器で特定の係数だけを求める。パターン発生器は、形状関数(shape function)に関連して係数の順序化（ordering）を行う。この形状関数は対角線方向に対称になるように設計されており、メモリサイズの制約条件を満たしながら最良の視覚品質が得られるように、垂直及び水平の空間周波数に対応するＤＣＴ係数を選択する。

復号フロセス中に次のフレームを再構成もしくは再生する際には、変換された係数をフレームメモリから読み出し、逆インデクシング及びそれに続く逆離散コサイン変換によって基準フレームを構成する。

特に、本方法では、ブロックとして構成されたフレームを含む圧縮ビットストリームとして符号化されているビデオの復号が行われる。

ビットストリームは可変長復号及び逆量子化されて運動ベクトル及びビットストリームのブロックのＤＣＴ係数が求められる。

次いで、ＤＣＴ係数は逆離散コサイン変換される。各再生ブロック毎に低解像度ブロックが生成され、再生されたブロックは低解像度のブロックで運動補償されて、ビデオが復号される。

システム構成
図１は本発明による圧縮ビデオビットストリームを復号するための方法及び装置１００を示す。前処理段階において、高解像度の圧縮ビデオビットストリーム、例えばＭＰＥＧは、個別のオーデオ及びビデオストリーム並びにヘッダにパース（構文解析）される。高解像度のブロック１０１は可変長デコーダ（ＶＬＤ）及び逆量子化器（ＩＱ）１１０を通され、それにより運動ベクトル及びブロック毎のＤＣＴ係数１０２が求められる。ＶＬＤは、ビットストリームの可変長シンボルを一定長さのシンボルに変換する。

入力ビットストリームの符号化中、２つのフレーム間の時間差を表すデータはＤＣＴを用いて変換される。ビデオの高周波成分は量子化を用い制限されている。逆の順序で、逆量子化及び逆離散コサイン変換（ＩＤＣＴ）１２０によりこのデータは復号される。運動補償ブロック１３０は、可変長復号ビットストリームから復号された復号データ及び運動ベクトル情報に基づきビデオフレームの各ブロックを再生し、それにより再生画像ブロック１０３が生成される。後述するように、運動補償１３０ではフレームメモリ１４０に記憶されている低解像度ブロック（ＬＲＢ）１０４が用いられる。再生されたブロック１０３は表示のために出力デバイス１８０に送ることができる。

本発明では、フレームメモリ１４０の大きさもしくはサイズが制約されるところから、現在のブロックの再生には低解像度の基準ブロック１０４が用いられる。低解像度の基準ブロックは制約ＤＣＴ（ＣＤＣＴとも略称する）１５０、フィルタリング及びインデクシング２００により生成される。このことについては追って詳述する。低解像度の基準ブロックは専用のフレームメモリ１４０に格納される。メモリの大きさもしくはサイズに制約があるため、基準ブロックは、従来技術の場合と同様に基準ビデオフレームを変換するのに全解像度画像ブロックを用いる代わりに低解像度フォーマットに変換される。

ビデオフレームのＹＣｂＣｒを用いる従来方法と異なり、本発明ではフレームメモリ１４０に格納されている変換された係数が用いられる。各再生ブロック１０３毎に、対応の制約ＤＣＴ（ＣＤＣＴ）係数が後続のフレームに対する基準として求められる。ここで、ＣＤＣＴ係数の数は元のＤＣＴ係数の数よりも小さい。ＣＤＣＴ１５０は、ＤＣＴと比較して、秩序化された係数の特定のパターンの係数だけが求められＣＤＣＴ係数として割り当てられるという点でＤＣＴの洗練されたバージョンであると言える。

このように、ＤＣＴの定義もしくはデフィニションには、対応のＤＣＴ係数の秩序化されたパターン並びにこれら係数のインデクシング双方が含まれる。なお、このことに関しては追って詳述する。ＣＤＣＴ１５０では、通常のＤＣＴよりも少数の係数が用いられ、従って、ＣＤＣＴはそれに比例し高速となる。ＣＤＣＴでは全てのＤＣＴ係数が求められるのではなく、低解像度の基準フレームのブロックを得るのに必要とされるＤＣ係数だけが求められる。

低解像度のフレームは１６０で逆インデクシングされ、そして逆ＣＤＣＴ１７０は運動補償１３０のために行われる。

制約ＤＣＴ及びインデクシング
図２a及び図２bは、ＣＤＣＴ１５０並びに１６×１６マクロブロック２０１をインデクシングするためのインデクシング２００並びにそれぞれパターン２０３及び２０４を用いる４つの８×８ブロック２０２の群を示す。パターン２０３及び２０４は、図３に示すようなパターン発生器３００によって発生される。これらパターンは次いで、インデクシング２００及びそれと相補関係にある逆インデクシング１６０をそれぞれ制御する（３０２及び３０３参照）のに用いることができる。従って、パターンＰは後述のように、ピクセルに対応し順序化された係数位置（u, v）のリストであると定義される。

パターン発生器３００は係数の順序化（ordering）を決定する。フレームメモリ制約条件３０１に加えて、パターン発生器３００では分類のためにすべり形状関数４００が用いられる。

形状関数
図４aは追って詳述する形状関数４００の使用法を示す。ブロック４０１はピクセル４０２を含んでいる。ピクセルの座標フレームは、原点４０５から出発しu軸４０３及びv軸４０４を有する。形状関数４００はブロック４０１を、ハッチングで示してある包覆されたピクセル（包覆ピクセルと称する）４１０並びに包覆されていないピクセル（非包覆ピクセルと称する）４２０に区分けする。

図４bは、追って詳述するように、ジグザグ順序化されたピクセルがパターン発生器３００により、どのようにしてマーキング（４２１）されるか或いはマーキングされない（４２２）かを示している。

ＤＣＴ係数はＹ(u, v）で表され、ここで、（u，v）は、上述のフレームにおける座標である。この座標系の原点４０５は、（u，v）＝（０，０）に対応する左上隅に位置する。ブロックのディメンション、即ち寸法はＮ×Ｎである。即ち、

水平方向及び垂直方向は、それぞれu軸４０３及びv軸４０４を表す。形状関数 ｆ(u, v)４００は次式により定義することができる。

上式中Ｓは座標（u, v）上における条件の集合を表す。人間の視覚系は対角線よりも水平線及び垂直線に対して一層敏感であるので、パターン発生器３００は第１の列及び第１の行におけるピクセルの係数を選択する。これらのピクセルは、それぞれ水平画像線及び垂直画像線に対応する。形状関数４００は対角線方向に対称であって、水平空間周波数及び垂直空間周波数を等しく重み付けする。即ち、

これが集合Ｓの基本的条件である。

図７a乃至図７f は以下の順序で幾つかの形状関数例を示す。

上式中ｋ及びｃは定数である。これら形状関数の各々はｆ(i. i) ＝１のような特異点７００を有する。点（i. i）７００は、対称の中心と呼ばれる。

軸４０３及び４０４と形状関数４００との間に画成される領域内にある係数は包覆ピクセル４１０の包覆係数と定義する。

パターンの発生
図５は、ピクセルと呼称される順序化された係数位置（u. v）のリストとしてパターンＰを発生する詳細を示す。この手順は次の通りである。ステップ５０５におて、現在のインデックスを”１”（ｈ＝”１”）にセットする。これは全てのピクセルがマークングされていないこと、即ち未マーキングを表す。形状関数４００の対称中心７００を原点４０５に設定する。ステップ５１０において、形状関数を対角線方向にスライド（滑動）する。ステップ５１５において、マーキングされていない、即ち未マーキングのピクセル４２１の包覆エリア４１０を求める。

ステップ５２０において、複数の未マーキングピクセルが完全に包覆されているか否かを判定する。

ステップ５２０の答えが“真”であるならば、次いで、ステップ５２５において現在のインデックスを原点に最も近い次の包覆された未マーキングピクセルに割り当てる。即ち、Ｐ(ｈ)＝(u, v）とする。ここで（u, v）は原点に最も近い包覆された未マーキングのピクセルである。次にステップ５３０でピクセルをマーキングし、ステップ５３５で現在のインデックス数をｈ＝ｈ＋１に従って増分する。包覆された未マーキングの点が残っている場合には（ステップ５４０）、ステップ５２５に進み、残っていなければ（else）ステップ５１０に進む。

ステップ５２０が“偽”であれば、ステップ５５０において、唯１つの未マーキングピクセルが完全に包覆されているか否かを判定し、“偽”ならばステップ５１０に戻る。マーキングされていない場合には、ステップ５５０で次の包覆されている未マーキングピクセルに現在のインデックスを割り当てる。即ち、Ｐ(ｈ）＝（u, v）とする。但し（u, v）は包覆されている未マーキングのピクセルである。次いでステップ５６０でピクセルのマーキングを行い、現在のインデックス数をステップ５６５で増分し（ｈ＝ｈ＋１）、なお、未マーキングのピクセルが存在する場合にはステップ５１０に戻る。

このようにしてパターン発生器は、次式で表すような順序化された係数位置のリストを生成する。

制約されたメモリサイズまで順序化されたＤＣＴ係数を選択してメモリにセービングする。

滑り形状関数
図６は形状関数４００の滑り（滑動）６００を示し、図８a 乃至図８c は滑りにより発生されたジグザグパターンのサンプルを示す。

インデクシング
フレームメモリ１４０の制約されたサイズもしくは大きさをＫとすると、これは、制約されたサイズのフレームメモリに一度に格納することができる係数の総数を表す。これら係数には実施の際のデータ構造に依存し８ビット、１２ビット或いは任意数のビットを割り当てることができる。最初からＫ番目まで係数は次式で与えられる。

次いでＮ×Ｎブロックに対しＣＤＣＴを下記のように定義する。

上式中、（u_k, v_k）＝Ｐ(ｋ)であり、且つ１≦ｋ≦Ｋである。

制約されたサイズのフレームメモリ１４０にＣＤＣＴ係数を書き込み前に、これらＣＤＣＴ係数はフレームメモリ１４０の抑制されたサイズに適合、即ちマッチするようにインデクシングされる。普通のメモリ構成ではブロックフォーマットが利用されるので、インデクシング機能をＱとして下記のように表す。

逆インデクシングはインデクシングの逆順で行われる。逆インデクシングは、インデクシングされた係数をＤＣＴブロック内の元の位置に転送する。これは次式で表される。

係数はフレームメモリ１４０から読み出され、元の位置に逆順でインデクシングされる。参考もしくは基準画像ブロックを再構成するために、逆制約ＤＣＴ１７０が係数ブロックに施される。即ち、

復号ループ
図９は、ＭＰＥＧ符号化ビットストリーム用のＣＤＣＴ係数のためのフレームメモリ１４０に対するアクセスを示す図である。Ｉ−フレーム９０１の初期ＣＤＣＴ係数がフレームメモリ１４０に書き込まれる。ビットストリームにおいて、Ｉ−フレームはそれ自身に関してのみ符号化されるだけである。従って、Ｉ−フレーム用のフレームメモリからＣＤＣＴ係数が読み出されることはない。

Ｐ−フレーム９０２は、ビットストリームからパース（解析）されるブロック別の運動ベクトルを用いて推定される。エンコーダもしくは符号化器において、これらフレームは、先行のＩ−映像またはＰ−映像から運動補償予測を用いて符号化される。予測誤差が、現在の映像と先行の基準Ｉ−またはＰ−フレームにおけるブロックとの間で算出される。中間フレームは、フレームメモリ内で現在利用可能であるＣＤＣＴ係数から再生（再構成）される。次いで現在のフレームが、ビデオビットストリームからパースされる運動ベクトル及び中間フレームを用いて運動補償により推定される。ＣＤＣＴ係数をフレームメモリから読み出し、中間フレームを得るために逆ＣＤＣＴを適用する。次のＰ−フレームの復号時には、現在のフレームが基準フレームとして用いられる。現在のフレームに対してＣＤＣＴ係数を計算した後に、これら係数は基準メモリに書き込まれる。

二方向フレームは、即ち、Ｂ−フレーム９０３は、現在及び／または次のＩ−またはＰ−フレームからの運動補償予測を用いて符号化される。しかしながら、復号器もしくはデコーダにおいては、Ｂ−フレームの再生（再構成）に当たりフレームメモリからＣＤＣＴ係数が直接読み出されることはない。その代わりにＩ−またはＰ−フレームが用いられる。

単一の１６×１６マクロブロック及び４重の８×８ブロックでの実施
図１０a及び図１０bは、本発明による単一の１６×１６マクロブロック及び４重の８×８ブロックを用いての空間縮減プロセスを示す図である。なお、本発明はこれに限定されるものではなく、他のブロックサイズをも使用することができる。

ＣＤＣＴ１５０は、離散コサイン変換係数１０００の計算、フィルタリング及びインデクシングの連続したブロックとして表すことができる。単一のマクロブロックの場合（図１０a参照）には、１６×１６ＤＣＴを入力マクロブロック１００１に与えることにより変換係数が求められる。これら係数は特定の形状関数４００により発生されるパターンに関し順序化される。次いで、順序化された係数はメモリサイズ制約条件を満足するようにフィルタリングされる。インデクシングによりフィルタリングされた係数はＮ×Ｎブロック１０１０に配列される。ここでＮ＜１６である。このブロック配列はメモリサイズが制約されているという理由から用いられる。これらの演算は全てＣＤＣＴで統合的に行われる。

ダウンサイジング／アプサイジング プロセスにおける改良は、より小さいＤＣＴカーネルを用いることにより達成することができる。また、インターレース ビデオの場合には、符号化プロセスでより小さい８×８または８×１６ブロックの使用が考えられる。従って、符号化仕様に関し復号プロセスにおいてはマクロブロックの代わりに４重の８×８ブロックのセット１００２が用いられる。この場合、各８×８ブロックに対して８×８ＤＣＴ係数が算出される。８×８ブロックサイズのパターンは、特定の形状関数４００を用いて発生される。各ブロックの係数はパターンに関し個別に順序化される。各順序化された係数リストには同じフィルタリングが適用される。フィルタカットオフ数は、マクロブロックの場合に用いられる元のフィルタカットオフ数の４分の１である。次いで、インデクシングにより４つのブロックの全てのフィルタリングされた係数は、上述のように単一のＮ×Ｎブロック１０１１に配列される。

以上、本発明を好適な実施例を参照し説明したが、本発明の精神及び範囲内で種々な他の適応及び変更が可能であることは理解されるべきである。従って、請求の範囲に記述されている対象は、本発明の真の精神及び範囲内にある限りにおいてこのような変形及び変更を全て包摂するものである。

本発明によるビデオトランスコーダのブロックダイヤグラムである。 （ａ）は本発明により１６×１６マクロブロックを変換しインデクシングするプロセスを示すフローダイヤグラムであり、（ｂ）は本発明により８×８の群を変換しインデクシングするプロセスのフローダイヤグラムである。 本発明によるパターン発生器に混成し組み込まれるフレームメモリサイズ制約、形状関数及びインデクシングに関連するブロックダイヤグラムである。 （ａ）は図３のパターン発生器で用いられるブロック座標のブロックダイヤグラムであり、（ｂ）はマーキングされたピクセル及びマーキングされていないピクセル、即ち未マーキングピクセルのブロックダイヤグラムである。 本発明によるパターン発生器のフローダイヤグラムである。 本発明による係数の順序化を決定する滑り形状関数のブロックダイヤグラムである。 （ａ）〜（ｆ）は形状関数の例を示すグラフである。 （ａ）〜（ｃ）はそれぞれ、４×４、８×８及び１６×１６未完成ブロックのブロックダイヤグラムである。 本発明に従いフレームメモリ内に格納されるフレームのブロックダイヤグラムである。 （ａ）、（ｂ）はそれぞれ１６×１６及び８×８ブロックに対する空間縮減プロセスを示すフローダイヤグラムである。

Claims (10)

1. 複数のブロックとして符号化された圧縮ビットストリームとして符号化されているビデオを復号するために、
   前記ブロックから再生された再生ブロックの低解像度ブロックを、一度に格納することができる係数の総数で表される制約されたサイズを有するフレームメモリに格納し、
   前記再生ブロックを前記低解像度ブロックで運動補償してビデオを復号する方法であって、
   前記圧縮ビットストリームを可変長復号及び逆量子化して該圧縮ビットストリームのブロックの運動ベクトル及びＤＣＴ係数を求め、
   該ＤＣＴ係数を逆離散コサイン変換して、前記再生ブロックを生成し、
   前記再生ブロック毎に、前記フレームメモリの制約されたサイズに適合するように、前記逆離散コサイン変換されたＤＣＴ係数を制約離散コサイン変換し、
   前記制約離散コサイン変換されたＤＣＴ係数を、前記フレームメモリのメモリサイズ制約条件を満足するようにインデクシングによりフィルタリングして、前記低解像度ブロックを発生し、
   前記低解像度ブロックを前記フレームメモリに格納し、
   前記フレームメモリに格納された低解像度ブロックを逆インデクシングし、
   前記フレームメモリの制約されたサイズに適合するように、前記逆インデクシングされた低解像度ブロックの逆制約離散コサイン変換を行い、
   前記可変長復号された圧縮ビットストリームの運動ベクトル及びＤＣＴ係数に基づいて、前記再生ブロックを、前記逆制約離散コサイン変換された低解像度ブロックで運動補償して前記ビデオを復号すること
   を含む方法。
2. 前記フレームメモリに格納される低解像度ブロックの制約離散コサイン変換されたＤＣＴ係数の数が、前記再生ブロックのＤＣＴ係数の数よりも少ない請求項１に記載の方法。
3. 前記フレームメモリに格納される低解像度ブロックの制約離散コサイン変換されたＤＣＴ係数が、該ＤＣＴ係数の順序化されたパターンに従って構成される請求項２に記載の方法。
4. 順序化されるパターンが形状関数によって決定される請求項３に記載の方法。
5. 各再生ブロックが複数のピクセルを含み、形状関数が再生されたブロックを包覆ピクセル及び非包覆ピクセルに区分けする請求項４に記載の方法。
6. 形状関数ｆ(u, v）が下記の群
   

   

   から選択され、
   上式中ｋ及びｃは定数、u及びｖはＤＣＴ係数の座標、そして各ブロックの寸法はＮ×Ｎである請求項４に記載の方法。
7. 形状関数が、特異点即ち、対称中心を有する請求項６に記載の方法。
8. ＤＣＴ係数の順序化されたパターンが
   

   

   である請求項６に記載の方法。
9. 最初からＫ番目までの係数が
   

   

   である請求項８に記載の方法。
10. Ｎ×Ｎブロックに対する制約されたサイズに適合した逆離散コサイン変換が
    

    

    で与えられ、上式中、Ｙ(u, v)はＤＣＴ係数、（u，v）はフレームにおける座標、ｋ、ｃは定数であり、Ｆはコサイン関数であり、(uk, vk)＝P(k) 及び１≦ｋ≦Ｋである請求項９に記載の方法。

Images