JP6394966B2 - 時間動きベクトル予測を用いた、符号化方法、復号方法、符号化装置、及び、復号装置 - Google Patents

Description

本発明は、時間動きベクトル予測を用いた、符号化方法、及び、復号方法、並びに、それらの装置に関する。本発明は、任意のマルチメディアデータ符号化及び復号に適用でき、特に、時間動きベクトル予測を用いてピクチャ間予測を行う、画像及び動画像コンテンツの符号化及び復号に適用できる。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、及び、次世代ＨＥＶＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率動画像符号化）等の動画像符号化及び復号方式は、既に符号化／復号された参照ピクチャを用いたピクチャ間（又は、単に「インター」）予測を用いて画像／動画像コンテンツを符号化及び復号する。つまり、当該動画像符号化及び復号方式は、時間的に連続するピクチャ全体の情報の冗長性を利用する。

符号化ビデオビットストリームにおいて、予測ユニット（Ｍ×Ｎサンプルブロックなど）をインター予測処理するために用いられる参照ピクチャは、参照インデックスを用いて特定又は参照される。参照インデックスは、１以上の参照ピクチャから構成される順序リスト（参照ピクチャリストとして周知である）に含まれるインデックスである。各参照インデックスは、参照ピクチャリスト内の参照ピクチャと一意に関連付けられている。つまり、参照インデックスは、複数の参照ピクチャを区別するために用いられる値である。

上記符号化及び復号方式は、動きベクトルの時間予測（つまり、動きベクトル予測、又は、ＭＶＰ）をサポートしている。そのため、対象サンプルブロックの動きベクトルは、同位置参照ピクチャ内の、既に符号化／復号された１以上のサンプルブロックの動きベクトルから予測される。さらに、時間動きベクトル予測は、時間的な隣接動きベクトル間の情報冗長性を利用することによって、動きベクトルに関連付けられたビットレートを削減する。同位置参照ピクチャは、所定の方式で、利用可能な参照ピクチャの中から選択される。例えば、所定の参照ピクチャリスト（参照ピクチャリスト０など）内の１番目の参照ピクチャを同位置参照ピクチャとして選択する。

不可逆環境全体で動画像の伝送が必要なアプリケーションでは、時間動きベクトル予測は、同位置参照ピクチャが見つからなかったりエラーを含んでいる場合の動きベクトル誤予測の影響を受けやすい。開発中のＨＥＶＣ規格では、あるサブピクチャユニット（例えば、スライス）の時間動きベクトル予測を無効にする技術が開示された。ＪＣＴＶＣ−Ｇ３９８、「Ｈｉｇｈ−ｌｅｖｅｌ Ｓｙｎｔａｘ： Ｍａｒｋｉｎｇ ｐｒｏｃｅｓｓ ｆｏｒ ｎｏｎ−ＴＭＶＰ ｐｉｃｔｕｒｅｓ」、ＩＴＵ−Ｔ ＳＧ １６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１との動画像符号化共同チーム（ＪＣＴ−ＶＣ：Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、第７回会議、ジュネーブ、ＣＨ、２０１１年１１月。この技術では、復号ピクチャバッファ（ＤＰＢ）内のピクチャに「時間動きベクトル予測で使用しない」とマークするために用いられるマーキングフラグをピクチャパラメータセット（ＰＰＳ）に導入する必要がある。このマーキング処理は、「真」に等しいマーキングフラグを有するＰＰＳをサブピクチャユニットが参照する場合に、デコーダによって行われる。

ＩＳＯ／ＩＥＣ １４４９６−１０、「ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」 ＪＣＴＶＣ−Ｇ３９８、「Ｈｉｇｈ−ｌｅｖｅｌ Ｓｙｎｔａｘ： Ｍａｒｋｉｎｇ ｐｒｏｃｅｓｓ ｆｏｒ ｎｏｎ−ＴＭＶＰ ｐｉｃｔｕｒｅｓ」、ＩＴＵ−Ｔ ＳＧ １６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１との動画像符号化共同チーム（ＪＣＴ−ＶＣ：Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、第７回会議、ジュネーブ、ＣＨ、２０１１年１１月

背景技術で述べたように、あるスライスの時間動きベクトル予測を無効にする開示技術では、復号ピクチャバッファ（ＤＰＢ）内のピクチャに「時間動きベクトル予測で使用しない」とマークするために用いられるマーキングフラグをピクチャパラメータセット（ＰＰＳ）に導入する必要がある。この技術に関する大きな課題は、マーキング処理されるスライスが見つからなかったりエラーを含んでいる場合に、意図したマーキング処理をデコーダが実行できないことである。そのため、その後のエンコーダとデコーダとの同期が失われる。したがって、時間動きベクトル予測を無効にする上記技術にはロバスト性がない。

本発明は、エラーに対するロバスト性が改善された時間動きベクトル予測を用いた、符号化方法、復号方法、符号化装置、及び、復号装置を提供することを目的とする。特に、サブピクチャユニット（例えば、スライス）の時間動きベクトル予測を、エラーにあまり影響されない方法で有効／無効にする。例えば、本発明の実施の形態では、デコーダによって行われる上記マーキング処理（つまり、「時間動きベクトル予測で使用しない」と参照ピクチャにマークする処理）を削除する。

本発明の第１態様によれば、時間動きベクトル予測を用いて、動画像を符号化ビデオビットストリームに符号化する符号化方法であって、ピクチャのサブピクチャユニットのピクチャ間予測に時間動きベクトル予測を用いるか否かを示すフラグの値を決定し、前記値のフラグを前記サブピクチャユニットのヘッダ又は前記ピクチャのヘッダに書き込み、時間動きベクトル予測を用いると前記フラグが示す場合は、さらに、同位置参照ピクチャからの少なくとも１つの動きベクトルから導出された時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルの第１リストを作成し、前記サブピクチャユニット内の予測ユニットのための予測動きベクトルを前記第１リストから選択し、前記第１リストから選択された前記予測動きベクトルを示す第１パラメータを前記符号化ビデオビットストリームに書き込む符号化方法を提供する。

時間動きベクトル予測を用いないと前記フラグが示す場合は、さらに、時間予測動きベクトルを含まない複数の予測動きベクトルから構成される予測動きベクトルの第２リストを作成し、前記サブピクチャユニット内の予測ユニットのための予測動きベクトルを前記第２リストから選択し、前記第２リストから選択された前記予測動きベクトルを示す第２パラメータを前記符号化ビデオビットストリームに書き込んでもよい。

実施の形態では、前記フラグの値は、前記ピクチャの時間レイヤに基づき決定される。

前記ピクチャの時間レイヤが最下層又はベースレイヤであると判断される場合は、時間動きベクトル予測を用いないことを示すように前記フラグの値を設定し、そうでない場合は、時間動きベクトル予測を用いることを示すように前記フラグの値を設定してもよい。

別の実施の形態では、前記フラグの値は、前記ピクチャのピクチャ・オーダ・カウント（ＰＯＣ）値に基づき決定される。

前記ピクチャのＰＯＣ値が、復号ピクチャバッファ（ＤＰＢ）内の参照ピクチャのいずれのＰＯＣ値よりも大きいと判断される場合は、時間動きベクトル予測を用いないことを示すように前記フラグの値を設定し、そうでない場合は、時間動きベクトル予測を用いることを示すように前記フラグの値を設定してもよい。

また別の実施の形態では、前記フラグの値は、前記ピクチャ内のピクチャ間サブピクチャユニットのサブピクチャユニットタイプに基づき決定される。

前記サブピクチャユニットタイプがＰ（単予測）タイプである場合は、時間動きベクトル予測を用いないことを示すように前記フラグの値を設定し、そうでない場合は、時間動きベクトル予測を用いることを示すように前記フラグの値を設定してもよい。

また別の実施の形態では、前記フラグの値は、前記サブピクチャユニットを含むピクチャがランダム・アクセス・ポイント（ＲＡＰ）ピクチャかどうかに基づき決定される。

前記ピクチャがＲＡＰピクチャであり、かつ、前記サブピクチャユニットが前記ピクチャの非ベースレイヤに属する場合は、時間動きベクトル予測を用いないことを示すように前記フラグの値を設定し、そうでない場合は、時間動きベクトル予測を用いることを示すように前記フラグの値を設定してもよい。

前記フラグを前記サブピクチャユニットのヘッダに書き込んでもよい。

さらに、前記サブピクチャユニットのインター予測に用いられる１以上の参照ピクチャリストに含まれる参照ピクチャの順序を指定するための１以上のパラメータを前記サブピクチャユニットのヘッダに書き込んでもよい。

さらに、選択された前記予測動きベクトルを用いて動き補償ピクチャ間予測を行って、前記予測ユニットを生成し、元のサンプルブロックから前記予測ユニットを減算して、残差サンプルブロックを生成し、前記予測ユニットに対応する前記残差サンプルブロックを符号化して、符号化ビデオビットストリームを生成してもよい。

ある実施の形態では、前記第２リストの予測動きベクトル数は前記第１リストの予測動きベクトル数より１少なく、かつ、前記第１リストの予測動きベクトルと前記第２リストの予測動きベクトルとは時間予測動きベクトル以外同じである。

前記第１パラメータと前記第２パラメータとは、符号化ビデオビットストリームにおいて、異なる所定のビット表現を用いて表されてもよい。

別の実施の形態では、前記第１リストの予測動きベクトル数は前記第２リストの予測動きベクトル数と同じ所定数であり、かつ、前記第２リストは、前記第１リストに存在しない予測動きベクトルであって、参照ピクチャからの動きベクトルを用いずに導出される予測動きベクトルを含む。

前記フラグは、前記ピクチャ内の他のサブピクチャユニットとは別個に、サブピクチャユニットのピクチャ間予測に時間動きベクトル予測を用いるか否かについて示すために用いられてもよい。

前記サブピクチャユニットは前記ピクチャのスライスでもよい。

本発明の第２態様によれば、時間動きベクトル予測を用いて符号化ビデオビットストリームを復号する復号方法であって、前記符号化ビデオビットストリームのピクチャのヘッダ又はサブピクチャユニットのヘッダからフラグを読み解き、前記フラグが、時間動きベクトル予測を用いるか否かのどちらを示しているのか判断し、時間動きベクトル予測を用いると前記フラグが示す場合は、さらに、同位置参照ピクチャからの少なくとも１つの動きベクトルから導出された時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルの第１リストを作成し、前記サブピクチャユニット内の予測ユニットのために前記第１リストから選択される予測動きベクトルを示す第１パラメータを前記符号化ビデオビットストリームから読み解く復号方法を提供する。

時間動きベクトル予測を用いないと前記フラグが示す場合は、さらに、時間予測動きベクトルを含まない複数の予測動きベクトルから構成される予測動きベクトルの第２リストを作成し、前記サブピクチャユニット内の予測ユニットのために前記第２リストから選択される予測動きベクトルを示す第２パラメータを前記符号化ビデオビットストリームから読み解いてもよい。

本発明の第３態様によれば、時間動きベクトル予測を用いて、動画像を符号化ビデオビットストリームに符号化する符号化装置であって、ピクチャのサブピクチャユニットのピクチャ間予測に時間動きベクトル予測を用いるか否かを示すフラグの値を決定する制御部と、前記値のフラグを前記サブピクチャユニットのヘッダ又は前記ピクチャのヘッダに書き込む書込部と、動きベクトル予測部と、前記動きベクトル予測部によって選択される予測動きベクトルに基づきピクチャ間予測を行うピクチャ間予測部とを備え、前記動きベクトル予測部は、前記フラグを受信し、第１の値である前記フラグに基づき、同位置参照ピクチャからの少なくとも１つの動きベクトルから導出された時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルの第１リストを作成し、前記サブピクチャユニット内の予測ユニットのための予測動きベクトルを前記第１リストから選択し、前記書込部は、さらに、前記第１リストから選択された前記予測動きベクトルを示す第１パラメータを前記符号化ビデオビットストリームに書き込む符号化装置を提供する。

前記フラグが第２の値である場合、前記動きベクトル予測部は、時間予測動きベクトルを含まない複数の予測動きベクトルから構成される予測動きベクトルの第２リストを作成し、前記サブピクチャユニット内の予測ユニットのための予測動きベクトルを前記第１リストから選択し、前記書込部は、さらに、前記第２リストから選択された前記予測動きベクトルを示す第２パラメータを前記符号化ビデオビットストリームに書き込んでもよい。

本発明の第４態様によれば、時間動きベクトル予測を用いて符号化ビデオビットストリームを復号する復号装置であって、前記符号化ビデオビットストリームのピクチャのヘッダ又はサブピクチャユニットのヘッダからフラグを読み解き、前記フラグが、時間動きベクトル予測を用いるか否かのどちらを示しているのか判断する読解部と、動きベクトル予測部と、前記動きベクトル予測部によって選択される予測動きベクトルに基づきピクチャ間予測を行うピクチャ間予測部とを備え、前記動きベクトル予測部は、前記フラグを受信し、第１の値である前記フラグに基づき、同位置参照ピクチャからの少なくとも１つの動きベクトルから導出された時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルの第１リストを作成し、前記読解部は、さらに、前記サブピクチャユニット内の予測ユニットのために前記第１リストから選択される予測動きベクトルを示す第１パラメータを前記符号化ビデオビットストリームから読み解く復号装置を提供する。

前記フラグが第２の値である場合、前記動きベクトル予測部は、時間予測動きベクトルを含まない複数の予測動きベクトルから構成される予測動きベクトルの第２リストを作成し、前記読解部は、さらに、前記サブピクチャユニット内の予測ユニットのために前記第２リストから選択される予測動きベクトルを示す第２パラメータを前記符号化ビデオビットストリームから読み解いてもよい。

本発明の実施の形態は、ピクチャ間予測のエラーに対するロバスト性が改善された時間動きベクトル予測を用いた、符号化方法、復号方法、符号化装置、及び、復号装置を提供する。例えば、同一ピクチャ内の複数のサブピクチャユニットに対し、時間動きベクトル予測を別個に有効及び無効にすることができるため、実施の形態により、ピクチャ間予測の柔軟性及び符号化効率も改善することができる。

図１は、本発明の実施の形態に係る符号化ビデオビットストリームの例を表す分解図である。 図２は、本発明の実施の形態に係る符号化方法を示すフローチャートである。 図３は、入力動画像／画像ビットストリームの符号化装置の例の概略ブロック図である。 図４は、本発明の実施の形態に係る符号化動画像の復号方法を示すフローチャートである。 図５は、入力符号化ビットストリームの復号装置の例の概略ブロック図である。 図６は、ピクチャ群の例における様々な時間レイヤを示す図である。 図７は、実施の形態１に係る時間動きベクトル予測使用フラグの値を決定する方法を示すフローチャートである。 図８は、実施の形態２に係る時間動きベクトル予測使用フラグの値を決定する方法を示すフローチャートである。 図９は、実施の形態３に係る時間動きベクトル予測使用フラグの値を決定する方法を示すフローチャートである。 図１０は、ＮＡＬユニットストリーム、つまり、符号化ビデオビットストリームの一連のＮＡＬユニットを表す図である。 図１１は、複数のスライスを有するビュー／レイヤを複数含むＲＡＰピクチャの例を表す図である。 図１２は、実施の形態４に係る時間動きベクトル予測使用フラグの値を決定する方法を示すフローチャートである。 図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図１４は、デジタル放送用システムの全体構成図である。 図１５は、テレビの構成例を示すブロック図である。 図１６は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図１７は、光ディスクである記録メディアの構造例を示す図である。 図１８Ａは、携帯電話の一例を示す図である。 図１８Ｂは、携帯電話の構成例を示すブロック図である。 図１９は、多重化データの構成を示す図である。 図２０は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図２１は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図２２は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図２３は、ＰＭＴのデータ構成を示す図である。 図２４は、多重化データ情報の内部構成を示す図である。 図２５は、ストリーム属性情報の内部構成を示す図である。 図２６は、映像データを識別するステップを示す図である。 図２７は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。 図２８は、駆動周波数を切り替える構成を示す図である。 図２９は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図３０は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図３１Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図３１Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。

本発明の実施の形態は、時間動きベクトル予測（ＴＭＶＰ）を用いた、符号化方法、復号方法、符号化装置、及び、復号装置を提供する。特に、サブピクチャユニット（例えば、スライス）の時間動きベクトル予測を、エラーにあまり影響されない方法で有効／無効にする。これを実現するために、本発明の好適な実施の形態では、ピクチャのヘッダ、より好ましくは、サブピクチャユニットのヘッダにフラグを導入して、サブピクチャユニットのピクチャ間（又は、単に「インター」）予測に時間動きベクトル予測を用いるか否かを示す。このフラグは、時間動きベクトル予測使用フラグとも呼ばれる。本発明のさらなる態様では、フラグの値を決定／判定する好適な技術を様々な実施の形態で開示する。

明瞭性と簡潔性のため、ここでは、サブピクチャユニットをピクチャのスライスとして、本発明の実施の形態を詳細に説明する。当業者であれば、スライス分割は、ピクチャを複数のサブピクチャに分割する方法の単なる１候補にすぎないことは明らかであろう。したがって、以下に説明する本発明の実施の形態において、サブピクチャユニットはスライスに限定されない。例えば、タイル、エントロピースライス、ウェーブフロントなど、他のサブピクチャ分割方法も全て本発明の範囲内である。

図１は、本発明の実施の形態に係る符号化ビデオビットストリーム１００の例を示した分解図である。符号化ビデオビットストリーム１００は、ヘッダ１１０と、当該ヘッダ１１０に関連付けられた複数のピクチャ１１２とを含む。ピクチャ１１２は、通常、複数のサブピクチャユニット（例えば、スライス）１１４に分割される。各スライス１１４は、スライスヘッダ１１６と、当該スライスヘッダ１１６に関連付けられたスライスデータ１１８とを含む。スライスデータ１１８は、インター予測タイプの予測ユニット１２０を複数含む。

図１に示す実施の形態において、スライス１１４のインター予測に時間動きベクトル予測を用いるか否かを示すフラグ１２２はスライスヘッダ１１６内に設定することが好ましい。これにより、各スライス１１４の時間動きベクトル予測を、同一ピクチャ１１２内の他のスライス１１４とは別個に有効及び無効にすることができる。さらに、スライスヘッダ１１６は、１以上の参照ピクチャリストに含まれる参照ピクチャの順序を指定する参照ピクチャリスト順序パラメータ１２４も含む。これらのパラメータ１２４により、スライスヘッダ１１６に関連付けられた、又は、対応するスライス１１４のインター予測に用いられる参照ピクチャリスト内の参照ピクチャの効率的又は最終的な順序を決定する。これらのパラメータ１２４により、１以上の最初の参照ピクチャリストに対して行われる再順序付け処理を指定してもよいし、再順序付けを行わずに最初の参照ピクチャリストを用いることを指定してもよい。図１に示すように、フラグ１２２は、参照ピクチャリスト順序パラメータ１２４と同じスライスヘッダ１１６に設定することが好ましい。予測ユニット１２０のインター予測に利用可能な複数の予測動きベクトルの中から予測動きベクトルを選択するための予測動きベクトル選択パラメータ１２６は、各予測ユニット１２０に設定される。

別の実施の形態では、参照ピクチャリスト順序パラメータ１２４と時間動きベクトル予測使用フラグ１２２とは、同一ピクチャ１１２内の複数のスライス１１４で共有されるヘッダ（図示せず）に設定される。例えば、ピクチャレベルのヘッダ１１０は、適応パラメータセット（ＡＰＳ：Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）又はＨＥＶＣ符号化及び復号方式における共通スライスセグメントヘッダでもよい。

上述したように、スライス分割は、ピクチャを複数のサブピクチャに分割する方法の単なる１候補にすぎない。例えば、タイル、エントロピースライス、ウェーブフロントなど、他のサブピクチャ分割方法を用いてもよい。このような他のサブピクチャ分割方法では、上述したようにスライスヘッダ１１６に設定されたパラメータ１２４とフラグ１２２とを、代わりに、サブピクチャユニットのヘッダに設定してもよい。

図２は、本発明の実施の形態に係る符号化方法２００を示すフローチャートである。ステップＳ２０２では、スライス１２４のインター予測に用いられる１以上の参照ピクチャリストに含まれる参照ピクチャの順序を指定するための１以上のパラメータ（つまり、参照ピクチャリスト順序パラメータ）１２４をスライス１１４のヘッダ１１６に書き込む。参照ピクチャリストのうちの１つ（参照ピクチャリスト０など）における所定の位置（１番目のピクチャなど）は、同位置参照ピクチャを示す。ステップＳ２０４では、スライス１２４のインター予測に時間動きベクトル予測を用いるか否かを示すフラグ１２２の値を決定する。フラグ１２２の値を決定する数々の技術については、本発明の様々な実施の形態を用いて後ほど説明する。次に、ステップ２０６では、フラグ１２２をスライス１１４のヘッダ１１６に書き込む。ステップＳ２０８では、フラグ１２２の値を解析又は判定して、フラグ１２２が時間動きベクトル予測を用いるか否かのどちらを示しているのか判断する。例えば、値「０」を有するフラグ１２２は、時間動きベクトル予測を用いないことを示してもよく、値「１」を有するフラグ１２２は、時間動きベクトル予測を用いることを示してもよい。また、その逆の場合でもよい。

フラグ１２２が、時間動きベクトル予測を用いると示していれば、ステップＳ２１０において、同位置参照ピクチャからの少なくとも１つの動きベクトルから導出された時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルのリスト（例えば、第１リスト）を作成する。ほんの一例として、複数の動きベクトルは、少なくとも１つの時間予測動きベクトルと、空間隣接予測ユニット／ブロック（つまり、予測空間動きベクトル）から導出された１以上の動きベクトルと、ゼロ動きベクトルとを含んでもよい。ステップＳ２１２では、スライス１２４内の対象サンプルブロック（つまり、予測ユニット）１２０のための予測動きベクトルを予測動きベクトルリストから選択する。ステップ２１４では、予測動きベクトルリストから選択された予測動きベクトルを示すパラメータ（つまり、予測動きベクトル選択パラメータ）（例えば、第１パラメータ）１２６を符号化ビデオビットストリーム１００（つまり、スライス１１４の予測ユニット１２０）に書き込む。

一方、フラグ１２２が、時間動きベクトル予測を用いないと示していれば、ステップＳ２１６において、時間予測動きベクトルを含まない複数の予測動きベクトルから構成される予測動きベクトルのリスト（例えば、第２リスト）を作成する。ステップＳ２１８では、スライス１２４内の対象サンプルブロック（つまり、予測ユニット）のための予測動きベクトルを予測動きベクトルリストから選択する。ステップＳ２２０では、予測動きベクトルリストから選択された予測動きベクトルを示すパラメータ（つまり、予測動きベクトル選択パラメータ）（例えば、第２パラメータ）を符号化ビデオビットストリーム１００（つまり、スライスヘッダ１１６に関連付けられたスライスデータ１１８の各予測ユニット１２０）に書き込む。

ステップＳ２１４又はステップＳ２２０の後、選択された予測動きベクトルを用いてスライス２１４に対し動き補償インター予測を行って、予測サンプルブロックを生成する。次に、ステップＳ２２６では、元のサンプルブロックから予測サンプルブロックを減算して、残差サンプルブロックを生成する。その後、ステップＳ２２６では、対象ブロックに対応する残差サンプルブロックを符号化して、符号化ビデオビットストリーム１００を生成する。

したがって、本発明の上記実施の形態では、時間動きベクトル予測を用いるか否かを示すフラグ１２２により、同一ピクチャ１１２内の他のスライス１１４とは別個に１つのスライス１１４を制御することができる。したがって、第１スライス１１４に対応するフラグ１２２は、同一ピクチャ１１２内の第２又は他のスライスで時間動きベクトル予測を用いるか否かについては判断しない。さらに、上記実施の形態では、背景技術で説明したような、復号ピクチャバッファ（ＤＰＢ）内参照ピクチャへのマーキング処理は削除済みである。これにより、インター予測の柔軟性及び符号化効率が改善される。

本発明の実施の形態において、予測動きベクトルの第１リストと第２リストとでは、予測動きベクトルの数が異なる。第２リストの予測動きベクトル数は、第１リストの予測動きベクトル数より１少ないことが好ましい。第１リストと第２リストとでは、時間予測動きベクトル以外の予測動きベクトルが同じ又は同等でもよい。これにより、時間予測動きベクトルを含むリスト（つまり、第１リスト）から最も良い候補を選択する選択肢がエンコーダ側で増えるほど、符号化効率を大きくすることができる。第２リストは、時間予測動きベクトルを用いないため、より良い誤り耐性を提供することができる。符号化ビデオビットストリーム１００では、選択された予測動きベクトルを表す第１パラメータと第２パラメータとで異なるビット表現を用いてもよい。例えば、算術符号化の２値化又は可変長符号化において最大値が異なるトランケーティド・ユーナリ（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）表現を用いてもよい。

本発明の別の実施の形態では、第１リスト及び第２リストは、同じ所定数の予測動きベクトルを含む。時間予測動きベクトルの代わりに、第２リストは、第１リストには存在しない別の固有な所定予測動きベクトルを含む。これにより、固有の所定予測動きベクトルを含むリスト（つまり、第２リスト）から最も良い候補を選択する選択肢がエンコーダ側で増えるほど、符号化効率を大きくすることができる。時間予測動きベクトルの候補の最大数は、第１リストと第２リストとで同じである。これにより、選択された予測動きベクトルを示すために用いられるインデックスパラメータの読解処理における複雑さが低減される。固有の予測動きベクトルは、時間的な依存関係なしに、つまり、いかなる参照ピクチャからの動きベクトルも用いずに導出される。ほんの一例として、固有の予測動きベクトルは、所定の隣接位置からの予測空間動きベクトルでもよい。別の例として、固有の予測動きベクトルは、予測ゼロ動きベクトルでもよい。

ここで、本発明の実施の形態に係る符号化装置３００の例を以下に説明する。

図３は、入力動画像／画像ビットストリーム３０２をブロック単位で符号化して符号化ビデオビットストリーム３０４を生成する装置３００の例の概略ブロック図である。装置３００は、入力データを周波数係数に変換する変換部３０６と、入力データを量子化する量子化部３０８と、入力データを逆量子化する逆量子化部３１０と、入力データを逆周波数変換する逆変換部３１２と、映像や画像などのデータを格納するブロックメモリ３１４及びピクチャメモリ３１６と、イントラ予測を行うイントラ予測部３１８と、インター予測を行うインター予測部３２０と、入力データを符号化して符号化ビデオビットストリーム３０４を生成するエントロピー符号化部３２２と、対象スライスのインター予測に時間動きベクトル予測を用いるか否かを判定する制御部３２４と、動きベクトル予測部３３０と、符号化ビデオビットストリーム３０４にデータを書き込む書き込み部３２８とを備える。

明瞭性のため、図３に示す装置３００におけるデータフローの例をここで説明する。入力動画像３０２が加算器に入力され、加算値３０５が変換部３０６に出力される。変換部３０６は、加算値３０５を周波数係数に変換し、得られた周波数係数３０７を量子化部３０８に出力する。量子化部３０８は、入力された周波数係数３０７を量子化し、得られた量子化値３０９を逆量子化部３１０とエントロピー符号化部３２２とに出力する。エントロピー符号化部３２２は、量子化部３０８から出力された量子化値３０９を符号化し、符号化ビデオビットストリーム３０４を出力する。

逆量子化部３１０は、量子化部３０８から出力された量子化値３０９を逆量子化し、その周波数係数３１１を逆変換部３１２に出力する。逆変換部３１２は、周波数係数３１１に逆周波数変換を行うことにより周波数係数をビットストリームのサンプル値に変換し、得られたサンプル値３１３を加算器に出力する。加算器は、逆変換部３１４から出力されたビットストリームのサンプル値３１３を、イントラ又はインター予測部３１８又は３２０から出力された予測動画像／画像値３１９に加算し、今後の予測のために、得られた加算値３１５をブロックメモリ１０５又はピクチャメモリ１０６に出力する。イントラ又はインター予測部３１８又は３２０は、ブロックメモリ３１４又はピクチャメモリ３１６に格納された再構成動画像／画像内を検索し、予測のために、例えば、入力動画像／画像に最も類似している動画像／画像領域を検出する。

制御部３２４は、対象スライスのインター予測に時間動きベクトルを用いるか否かについて判定を行い、動きベクトル予測部３３０と書き込み部３２２とにその判定を示す信号３２５を出力する。時間動きベクトル予測を用いるか否かを判定／判断する（つまり、フラグ１２２の値を決定する）数々の技術については、後ほど、本発明の様々な実施の形態に従って説明する。この判定に基づき、インター予測部３２０は、時間予測動きベクトルを用いて又は用いずにインター予測を行う。特に、動きベクトル予測部３３０はフラグ１２２を受信し、フラグが第１の値（例えば、「１」）であれば、動きベクトル予測部３３０は、同位置参照ピクチャからの少なくとも１つの動きベクトルから導出される時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルの第１リストを作成し、サブピクチャユニット内の予測ユニットのための予測動きベクトルを第１リストから選択する。書き込み部３２８は、さらに、第１リストから選択された予測動きベクトル３３１を示す第１パラメータを符号化ビデオビットストリームに書き込む。一方、フラグ１２２が第２の値（例えば、「０」）であれば、動きベクトル予測部３３０は、時間予測動きベクトルを含まない複数の予測動きベクトルから構成される予測動きベクトルの第２リストを作成し、サブピクチャユニット内の予測ユニットための予測動きベクトルを第２リストから選択する。この場合、書き込み部３２８は、さらに、第２リストから選択された予測動きベクトル３３１を示す第２パラメータを符号化ビデオビットストリーム３０４に書き込む。また、書き込み部３２８は、時間動きベクトル予測を用いるか否かのどちらかを示す第１の値又は第２の値（例えば、「０」又は「１」）を有するフラグ１２２を表すデータ３２６も符号化ビデオビットストリーム３０４（例えば、サブピクチャユニットのヘッダ又はピクチャのヘッダ）に書き込む。

図４は、本発明の実施の形態に係る符号化動画像の復号方法４００を示すフローチャートである。特に、方法４００は、図２に示すような上記符号化方法で符号化された符号化ビデオビットストリーム１００を復号する。ステップＳ４０２では、１以上のパラメータ（つまり、参照ピクチャリスト順序パラメータ）をスライス１１４のヘッダ１１６から読み解いて、スライス１１４のインター予測に用いられる１以上の参照ピクチャリストに含まれる参照ピクチャの順序を指定する。前述したように、参照ピクチャリストのうちの１つ（参照ピクチャリスト０など）における所定の位置（１番目のピクチャなど）は、同位置参照ピクチャを示す。ステップＳ４０４では、スライス１１８のインター予測に時間動きベクトル予測を用いるか否かを示すフラグ（つまり、時間動きベクトル予測使用フラグ）１２２をヘッダ１１６から読み解く。ステップＳ４０６では、フラグ１２２の値を解析又は判定して、フラグ１２２が時間動きベクトル予測を用いるか否かのどちらを示しているのか判断する。

フラグ１２２が、時間動きベクトル予測を用いると示していれば、ステップＳ４０８において、同位置参照ピクチャからの少なくとも１つの動きベクトルから導出された時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルのリスト（例えば、第１リスト）を作成する。ほんの一例として、複数の動きベクトルは、少なくとも１つの時間予測動きベクトルと、空間隣接予測ユニット／ブロック（つまり、予測空間動きベクトル）から導出された１以上の動きベクトルと、ゼロ動きベクトルとを含んでもよい。ステップＳ４１０では、スライス１１４内の対象サンプルブロック（つまり、予測ユニット１２０）のために予測動きベクトルリストから選択される予測動きベクトルを示すパラメータ（つまり、予測動きベクトル選択パラメータ）（例えば、第１パラメータ）１２６を符号化ビデオビットストリーム１００（つまり、スライス１１４の予測ユニット１２０）から読み解く。

一方、フラグ１２２が、時間動きベクトル予測を用いないと示していれば、ステップＳ４１２において、時間予測動きベクトルを含まない複数の予測動きベクトルから構成される予測動きベクトルのリスト（例えば、第２リスト）を作成する。ステップＳ４１４では、スライス１１４内の対象サンプルブロック（つまり、予測ユニット１２０）のために予測動きベクトルリストから選択される予測動きベクトルを示すパラメータ（つまり、予測動きベクトル選択パラメータ）（例えば、第２パラメータ）を符号化ビデオビットストリーム１００（つまり、スライス１１４の予測ユニット１２０）から読み解く。

ステップＳ４１０又はＳ４１４の後、ステップＳ４１６では、選択された予測動きベクトルを用いて動き補償インター予測を行って、予測サンプルブロックを生成する。次に、ステップＳ４１８では、残差サンプルブロックを符号化ビデオビットストリーム１００から復号する。その後、ステップＳ４２０において、予測サンプルブロックと残差サンプルブロックとを加算して、対象ブロックに対応する再構成サンプルブロックを生成する。

ここで、本発明の実施の形態に係る符号化動画像の復号装置５００の例を以下に説明する。

図５は、入力符号化ビットストリーム５０２をブロック単位で復号し、動画像／画像５０４をディスプレイなどに出力する装置５００の例の概略ブロック図である。装置５００は、入力符号化ビットストリーム５０２を復号するエントロピー復号部５０６と、入力データに逆量子化を行う逆量子化部５０８と、入力データに逆周波数変換を行う逆変換部５１０と、動画像や画像などのデータを格納するブロックメモリ５１２及びピクチャメモリ５１４と、イントラ予測を行うイントラ予測部５１６と、インター予測を行うインター予測部５１８と、動きベクトル予測部５２２と、入力符号化ビットストリーム５０２を読み解き、様々なパラメータ５２０、５２１を出力する読解部５０３とを備える。

明瞭性のため、図５に示す装置５００におけるデータフローの例をここで説明する。入力符号化ビットストリーム５０２をエントロピー復号部５０６に入力する。符号化ビットストリーム５０２をエントロピー復号部５０６に入力した後、エントロピー復号部５０６は入力符号化ビットストリーム５０２を復号し、その復号値５０７を逆量子化部５０８に出力する。逆量子化部５０８は、復号値５０７を逆量子化し、その周波数係数５０９を逆変換部５１０に出力する。逆変換部５１０は、周波数係数５０９に逆周波数変換を行うことにより周波数係数５０９をサンプル値５１１に変換し、得られたサンプル値５１１を加算器に出力する。加算器は、得られたサンプル値５１１を、イントラ又はインター予測部５１６又は５１８から出力された予測動画像／画像値５１９に加算して、得られた値５０４をディスプレイなどに出力し、かつ、今後の予測のために、ブロックメモリ５１２またはピクチャメモリ５１４に出力する。また、イントラ又はインター予測部５１６又は５１８は、ブロックメモリ５１２又はピクチャメモリ５１４に格納された動画像／画像内を検索し、予測のために、例えば、復号された動画像／画像に最も類似している動画像／画像領域を検出する。

さらに、読解部５０６は、対象スライスのインター予測に時間動きベクトル予測を用いるか否かを示すフラグ１２２をスライス又はピクチャのヘッダから読み解き、読解されたデータ５２０を動きベクトル予測部５２２に出力する。インター予測部５１８は、動きベクトル予測部５２２によって選択される予測動きベクトルとフラグ１２２の値とに基づき、時間予測動きベクトルを用いて又は用いずにインター予測を行う。特に、動きベクトル予測部５２２はフラグ１２２を含むデータ５２０を受信し、フラグが第１の値（例えば、「１」）であれば、動きベクトル予測部５２２は、同位置参照ピクチャからの少なくとも１つの動きベクトルから導出される時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルの第１リストを作成する。フラグが第２の値（例えば、「０」）であれば、動きベクトル予測部５２２は、時間予測動きベクトルを含まない複数の予測動きベクトルから構成される予測動きベクトルの第２リストを作成する。読解部５０３は、さらに、サブピクチャユニット内の予測ユニットのために第２リストから選択される予測動きベクトルを示す第１又は第２パラメータを符号化ビデオビットストリーム５０２から読み解き、読解されたデータ５２１を動きベクトル予測部５２２に出力する。

前述したように、時間動きベクトル予測を用いるか否かを判定／判断する（つまり、フラグ１２２の値を決定する）数々の技術について、ここで、本発明の様々な実施の形態に従い説明する。

実施の形態１によると、フラグ１２２の値は、対象ピクチャの時間レイヤに基づき決定される。図６は、例えば、グループサイズ／構成が４の場合のピクチャ群における異なる時間レイヤを示す図である。例では、３つの時間レイヤ、つまり、時間レイヤ「０」６０２、時間レイヤ「１」６０４、時間レイヤ「２」６０６がある。ピクチャ・オーダ・カウント（ＰＯＣ）の値が０、４、８のピクチャは時間レイヤ「０」６０２に、ＰＯＣの値が２、６のピクチャは時間レイヤ「１」６０４に、ＰＯＣの値が１、３、５、７のピクチャは時間レイヤ「２」６０６に位置する。時間レイヤ「０」、「１」、「２」はそれぞれ、時間ＩＤ０、１、２に関連付けられているか、又は、時間ＩＤ０、１、２で表されている。したがって、時間レイヤ「０」６０２のピクチャは時間ＩＤ「０」に、時間レイヤ「１」６０４のピクチャは時間ＩＤ「１」に、時間レイヤ「２」６０６のピクチャは時間ＩＤ「２」に既に関連付けられている。

図７は、実施の形態１に係るフラグ１２２値決定方法７００を示すフローチャートである。ステップＳ７０２では、対象ピクチャの時間レイヤを、当該対象ピクチャに関連付けられた時間ＩＤに基づいて決定する。次に、ステップＳ７０４において、決定された時間レイヤを解析、つまり、決定された時間レイヤが最下層のレイヤ又はベースレイヤかどうか（つまり、時間ＩＤ＝０かどうか）を判定する。時間レイヤが最下層のレイヤであれば、ステップＳ７０６において、フラグ１２２を、時間動きベクトル予測を用いないことを示す値（例えば、「０」）に設定する。一方、時間レイヤが最下層のレイヤでなければ、ステップＳ７０８において、フラグ１２２を、時間動きベクトル予測を用いることを示す値（例えば、「１」）に設定する。これは、典型的な符号化構造では、時間ＩＤ＝０のピクチャは時間ＩＤがより大きなピクチャから参照されることが多いからである。時間ＩＤ＝０のピクチャが見つからない、又は、エラーを含んでいる場合、この時間ＩＤ＝０のピクチャを参照するいずれのピクチャにもエラーが伝搬することになる。このエラー伝搬は継続し、時間ＩＤ＝０のピクチャの時間動きベクトルを用いる全ての後続ピクチャの再構成に影響を与えるかもしれない。したがって、この実施の形態では、時間ＩＤ＝０のピクチャの時間動きベクトルを用いないことにより、エラー耐性が改善される。

実施の形態２によると、フラグ１２２の値は、対象ピクチャのＰＯＣ値に基づき決定される。図８は、実施の形態２に係るフラグ１２２値決定方法８００を示すフローチャートである。ステップＳ８０２では、対象ピクチャのＰＯＣ値とＤＰＢ内の全参照ピクチャのＰＯＣ値とを取得又は決定する。ステップＳ８０４では、対象ピクチャのＰＯＣ値を解析、つまり、対象ピクチャのＰＯＣ値がＤＰＢ内の参照ピクチャのいずれのＰＯＣ値よりも大きいかどうかを判定する。そうであれば、ステップＳ８０６において、フラグ１２２を、時間動きベクトル予測を用いないことを示す値（例えば、「０」）に設定する。そうでなければ、ステップＳ８０８において、フラグ１２２を、時間動きベクトル予測を用いることを示す値（例えば、「１」）に設定する。これは、高画質なピクチャ（例えば、時間レイヤが０のピクチャ）は、同じ画質のピクチャか、より高画質なピクチャだけを参照するからである。この実施の形態では、複数の参照ピクチャを格納する復号ピクチャバッファに含まれている参照ピクチャのＰＯＣ値を考慮して、より高画質なピクチャを特定する。上記実施の形態１と同様の理由により、高画質なピクチャほど後続のピクチャから参照されることが多い。したがって、エラーの伝搬を防ぐ又は最小化するため、かつ、エラー耐性を改善するために、より高画質なピクチャの場合はフラグ１２２を無効にする。

実施の形態３によると、フラグ１２２の値は、対象ピクチャ内のインタースライスのスライスタイプに基づき決定される。インタースライスとは、インター予測を用いて符号化又は復号されるスライスのことである。図９は、実施の形態３に係るフラグ１２２値決定方法９００を示すフローチャートである。ステップ９０２では、対象ピクチャ内のインタースライスのスライスタイプを決定する。次に、スライスタイプを解析、つまり、Ｐスライス（つまり、単予測スライス）かどうかを判定する。そうであれば、ステップＳ９０６において、フラグ１２２を、時間動きベクトル予測を用いないことを示す値（例えば、「０」）に設定する。一方、決定スライスタイプがＰスライスでなければ（例えば、双予測スライス、つまりＢスライス）、ステップＳ９０８において、フラグ１２２を、時間動きベクトル予測を用いることを示す値（例えば、「１」）に設定する。この理由は、Ｐスライスが一方向の前方予測を用いるからである。したがって、エラーの伝搬を防ぐ又は最小化するため、かつ、エラー耐性を改善するために、Ｐスライスの場合はフラグ１２２を無効にする。

実施の形態４によると、フラグ１２２の値は、ピクチャがランダム・アクセス・ポイント（ＲＡＰ）ピクチャかどうかに基づき決定される。ＲＡＰピクチャとは、復号順序がＲＡＰピクチャより前のピクチャをいずれも復号処理する必要なく、自身と復号順序が自身より後のピクチャ全てとを正しく復号できるピクチャのことである。例えば、ＨＥＶＣ規格では、ＲＡＰピクチャを、各スライスセグメントが７以上１２以下のＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を有する符号化ピクチャと規定している。図１０は、ＮＡＬユニットストリーム、つまり、符号化ビデオビットストリームの一連のＮＡＬユニット１０２を表した図である。当業者には周知のとおり、ＮＡＬ（ネットワーク抽象化層）は、符号化動画像のビデオ符号化層（ＶＣＬ）表現の形式を整えたものであり、様々なトランスポート層による伝送や記憶媒体に適するようにヘッダ情報を提供する。各ＮＡＬユニット１０２は、ヘッダ１０４と、それに続くデータセクション１０６とを有する。ヘッダ１０４はＮＡＬユニット１０２のデータタイプを示すパラメータを含み、データセクション１０６は、ヘッダ１０４によって示されたデータを含む。例えば、図１０は、パラメータセットを含む第１ＮＡＬユニット（ＮＡＬユニットタイプ１０８で示される）と、ベースビュー／レイヤを含む第２ＮＡＬユニット（ＮＡＬユニットタイプ１１０で示される）と、非ベースビュー／レイヤを含む第３ＮＡＬユニット（ＮＡＬユニットタイプ１１２で示される）との３つのＮＡＬユニットを示している。各ＮＡＬユニットのヘッダ１０４は、さらに、図７で示した実施の形態１において説明したような時間ＩＤを有する。

図１１は、複数のスライスを有するビュー／レイヤを複数含むＲＡＰピクチャ１１００の例を表す図である。図のように、ＲＡＰピクチャ１１００は、ベースレイヤ（イントラビュー）１１０４の複数のスライス１１０２と、非ベースレイヤ（インタービュー）１１１０の複数のスライス１１０６とを有する。

図１２は、実施の形態４に係るフラグ１２２値決定方法１２００を示すフローチャートである。ステップＳ１２０２では、ピクチャを解析して、スライスのＮＡＬユニットタイプを指定する、ピクチャの各スライスのパラメータを決定又は取得する。次に、ステップＳ１２０４では、対象スライスを含むピクチャがＲＡＰピクチャかどうかを、取得したパラメータに基づき判断又は判定し、対象スライスが当該ピクチャの非ベースレイヤ／ビューに属するかどうかを判断又は判定する。ピクチャがＲＡＰピクチャ１１００かどうかは、ピクチャの各ＮＡＬユニット又はスライス１００２のヘッダ１００４に含まれるＮＡＬユニットタイプ１００８、１０１０、１０１２の値を解析することによって判断できる。前述したように、ＲＡＰピクチャ１１００とは、復号順序がＲＡＰピクチャ１１００より前のピクチャをいずれも復号処理する必要なく、自身と復号順序が自身より後のピクチャ全てとを正しく復号できるピクチャのことである。例えば、ＨＥＶＣ規格では、ＲＡＰピクチャを、各スライスセグメントが７以上１２以下のＮＡＬユニットタイプを有する符号化ピクチャと規定している。したがって、この例では、ピクチャの各ＮＡＬユニット１００２のＮＡＬユニットタイプ１００８、１０１０、１０１２が７以上１２以下であれば、そのピクチャはＲＡＰピクチャ１１００であると判断される。対象スライスがピクチャの非ベースレイヤかどうかは、対象スライスのＮＡＬユニットタイプ１００８、１０１０、１０１２を調べることによって判断できる。例えば、ＮＡＬユニットタイプ１０１２は、対応スライス１００６が非ベースレイヤに属していることを示し、ＮＡＬユニットタイプ１０１０は、対応スライス１００６がベースレイヤに属していることを示している。しかしながら、当業者であれば、非ベースレイヤは、動画像符号化方式による他のパラメータに基づいても特定できることは明らかであろう。例えば、現在のＨＥＶＣマルチビューのＨＥＶＣ作業草案では、対象スライスがピクチャの非ベースレイヤかどうかは、レイヤＩＤにより判断される。ピクチャがＲＡＰピクチャ１１００で、かつ、対象スライスが当該ピクチャの非ベースレイヤに属していれば、ステップＳ１２０６において、フラグ１２２を、時間動きベクトル予測を用いないことを示す値（例えば、「０」）に設定する。そうでなければ、ステップＳ１２０８において、フラグ１２２を、時間動きベクトル予測を用いることを示す値（例えば、「１」）に設定する。この理由は、時間動きベクトル予測を用いる利点が、動きベクトル予測を時間的に改善すること、つまり、時間的に異なる他のピクチャからの予測を改善することだからである。しかしながら、イントラピクチャとインターピクチャとが対象ピクチャで同一時間内にあれば、時間動きベクトル予測を用いる利点はない。したがって、符号化／復号効率を改善するために、ＲＡＰピクチャ１１００の非ベース（又はインタービュー）レイヤに属するスライス１１０６の場合はフラグ１２２を無効にする。

（実施の形態Ａ）
上記各実施の形態で示した動画像符号化方法（画像符号化方法）または動画像復号化方法（画像復号方法）の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）や動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０６からｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図１３のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６からｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い（即ち、本発明の一態様に係る画像符号化装置として機能する）、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図１４に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した多重化データを読み取り復号化する、または記録メディアｅｘ２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、多重化データが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図１５は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナｅｘ３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ｅｘ３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ｅｘ３０６で符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５（本発明の一態様に係る画像符号化装置または画像復号装置として機能する）を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した多重化データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から多重化データを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図１６に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１、ｅｘ４０２、ｅｘ４０３、ｅｘ４０４、ｅｘ４０５、ｅｘ４０６、ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図１７に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図１５に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。

図１８Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ３５０、映像、静止画を撮ることが可能なカメラ部ｅｘ３６５、カメラ部ｅｘ３６５で撮像した映像、アンテナｅｘ３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ３５８を備える。携帯電話ｅｘ１１４は、さらに、操作キー部ｅｘ３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ｅｘ３５７、音声を入力するためのマイク等である音声入力部ｅｘ３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ｅｘ３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ｅｘ３６４を備える。

さらに、携帯電話ｅｘ１１４の構成例について、図１８Ｂを用いて説明する。携帯電話ｅｘ１１４は、表示部ｅｘ３５８及び操作キー部ｅｘ３６６を備えた本体部の各部を統括的に制御する主制御部ｅｘ３６０に対して、電源回路部ｅｘ３６１、操作入力制御部ｅｘ３６２、映像信号処理部ｅｘ３５５、カメラインタフェース部ｅｘ３６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３５９、変調／復調部ｅｘ３５２、多重／分離部ｅｘ３５３、音声信号処理部ｅｘ３５４、スロット部ｅｘ３６４、メモリ部ｅｘ３６７がバスｅｘ３７０を介して互いに接続されている。

電源回路部ｅｘ３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ３６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ３５６で収音した音声信号を音声信号処理部ｅｘ３５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ３５２でスペクトラム拡散処理し、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ３５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ３５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ３５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ｅｘ３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３６２を介して主制御部ｅｘ３６０に送出される。主制御部ｅｘ３６０は、テキストデータを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して基地局ｅｘ１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ３５５は、カメラ部ｅｘ３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し（即ち、本発明の一態様に係る画像符号化装置として機能する）、符号化された映像データを多重／分離部ｅｘ３５３に送出する。また、音声信号処理部ｅｘ３５４は、映像、静止画等をカメラ部ｅｘ３６５で撮像中に音声入力部ｅｘ３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ３５３に送出する。

多重／分離部ｅｘ３５３は、映像信号処理部ｅｘ３５５から供給された符号化された映像データと音声信号処理部ｅｘ３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ３５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３７０を介して符号化された映像データを映像信号処理部ｅｘ３５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ３５４に供給する。映像信号処理部ｅｘ３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し（即ち、本発明の一態様に係る画像復号装置として機能する）、ＬＣＤ制御部ｅｘ３５９を介して表示部ｅｘ３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ３５４は、音声信号を復号し、音声出力部ｅｘ３５７から音声が出力される。

また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態Ｂ）
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図１９は、多重化データの構成を示す図である。図１９に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図２０は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームｅｘ２３５、複数のオーディオフレームからなるオーディオストリームｅｘ２３８を、それぞれＰＥＳパケット列ｅｘ２３６およびｅｘ２３９に変換し、ＴＳパケットｅｘ２３７およびｅｘ２４０に変換する。同じくプレゼンテーショングラフィックスストリームｅｘ２４１およびインタラクティブグラフィックスｅｘ２４４のデータをそれぞれＰＥＳパケット列ｅｘ２４２およびｅｘ２４５に変換し、さらにＴＳパケットｅｘ２４３およびｅｘ２４６に変換する。多重化データｅｘ２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図２１は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図２１における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図２１の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図２２は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図２２下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図２３はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図２４に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図２４に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図２５に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、本実施の形態における動画像復号化方法のステップを図２６に示す。ステップｅｘＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップｅｘＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップｅｘＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップｅｘＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

（実施の形態Ｃ）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図２７に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１、ｅｘ５０２、ｅｘ５０３、ｅｘ５０４、ｅｘ５０５、ｅｘ５０６、ｅｘ５０７、ｅｘ５０８、ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力された多重化データは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ｅｘ５０１が、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有するとしているが、制御部ｅｘ５０１の構成は、この構成に限らない。例えば、信号処理部ｅｘ５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ｅｘ５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵｅｘ５０２が信号処理部ｅｘ５０７、または信号処理部ｅｘ５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ｅｘ５０１は、信号処理部ｅｘ５０７、またはその一部を有するＣＰＵｅｘ５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（実施の形態Ｄ）
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩｅｘ５００において、従来の規格に準拠する映像データを復号する際のＣＰＵｅｘ５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビｅｘ３００、ＬＳＩｅｘ５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図２８は、本実施の形態における構成ｅｘ８００を示している。駆動周波数切替え部ｅｘ８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ｅｘ８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ｅｘ８０３は、図２７のＣＰＵｅｘ５０２と駆動周波数制御部ｅｘ５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１、および、従来の規格に準拠する復号処理部ｅｘ８０２は、図２７の信号処理部ｅｘ５０７に該当する。ＣＰＵｅｘ５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵｅｘ５０２からの信号に基づいて、駆動周波数制御部ｅｘ５１２は、駆動周波数を設定する。また、ＣＰＵｅｘ５０２からの信号に基づいて、信号処理部ｅｘ５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態Ｂで記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態Ｂで記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵｅｘ５０２における駆動周波数の選択は、例えば、図３０のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファｅｘ５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵｅｘ５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図２９は、本実施の形態の方法を実施するステップを示している。まず、ステップｅｘＳ２００では、信号処理部ｅｘ５０７において、多重化データから識別情報を取得する。次に、ステップｅｘＳ２０１では、ＣＰＵｅｘ５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップｅｘＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップｅｘＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵｅｘ５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

（実施の形態Ｅ）
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩｅｘ５００の信号処理部ｅｘ５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ｅｘ５０７を個別に用いると、ＬＳＩｅｘ５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図３１Ａのｅｘ９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ｅｘ９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明の一態様に特有の他の処理内容については、専用の復号処理部ｅｘ９０１を用いるという構成が考えられる。特に、本発明の一態様は、逆量子化に特徴を有していることから、例えば、逆量子化については専用の復号処理部ｅｘ９０１を用い、それ以外のエントロピー復号、デブロッキング・フィルタ、動き補償のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図３１Ｂのｅｘ１０００に示す。この例では、本発明の一態様に特有の処理内容に対応した専用の復号処理部ｅｘ１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ｅｘ１００２と、本発明の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ｅｘ１００３とを用いる構成としている。ここで、専用の復号処理部ｅｘ１００１、ｅｘ１００２は、必ずしも本発明の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩｅｘ５００で実装することも可能である。

このように、本発明の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

当業者であれば、広義に説明したように、本発明の精神又は範囲から逸脱することなく、具体的な実施の形態で示したように、本発明に対して様々な変形及び／又は改良を行ってもかまわないことは明らかであろう。したがって、本実施の形態は、あらゆる点で説明目的とみなされるべきであり、限定されるものではない。

本発明は、オーディオ、静止画、及び、ビデオを符号化する符号化装置、並びに、符号化装置で符号化されたデータを復号する復号装置に適用可能である。例えば、本発明は、オーディオ機器、携帯電話、デジタルカメラ、ＢＤレコーダ、デジタルテレビなど様々なＡＶ機器に適用可能である。

Claims (18)

1. 時間動きベクトル予測を用いて、動画像を符号化ビデオビットストリームに符号化する符号化方法であって、
   ピクチャのサブピクチャユニットのピクチャ間予測に時間動きベクトル予測を用いるか否かを示すフラグの値を決定し、
   前記値のフラグを前記サブピクチャユニットのヘッダ又は前記ピクチャのヘッダに書き込み、
   時間動きベクトル予測を用いると前記フラグが示す場合は、さらに、
   所定の方式で利用可能な参照ピクチャの中から選択された同位置参照ピクチャ内の既に符号化されたサンプルブロックの動きベクトルから予測された時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルの第１リストを作成し、
   前記サブピクチャユニット内の予測ユニットのための予測動きベクトルを前記第１リストから選択し、
   前記第１リストから選択された前記予測動きベクトルを示す第１パラメータを前記符号化ビデオビットストリームに書き込み、
   前記ピクチャの時間レイヤがベースレイヤである場合に、時間動きベクトル予測を用いないことを示すように前記フラグの値を設定すると、後続する画像からの時間動きベクトル予測を用いず、
   前記ピクチャの時間レイヤがベースレイヤでない場合に、時間動きベクトル予測を用いることを示すように前記フラグの値を設定する
   符号化方法。
2. 時間動きベクトル予測を用いないと前記フラグが示す場合は、さらに、
   時間予測動きベクトルを含まない複数の予測動きベクトルから構成される予測動きベクトルの第２リストを作成し、
   前記サブピクチャユニット内の予測ユニットのための予測動きベクトルを前記第２リストから選択し、
   前記第２リストから選択された前記予測動きベクトルを示す第２パラメータを前記符号化ビデオビットストリームに書き込む
   請求項１記載の符号化方法。
3. 時間動きベクトル予測を用いて、動画像を符号化ビデオビットストリームに符号化する符号化方法であって、
   ピクチャのサブピクチャユニットのピクチャ間予測に時間動きベクトル予測を用いるか否かを示すフラグの値を決定し、
   前記値のフラグを前記サブピクチャユニットのヘッダ又は前記ピクチャのヘッダに書き込み、
   時間動きベクトル予測を用いると前記フラグが示す場合は、さらに、
   所定の方式で利用可能な参照ピクチャの中から選択された同位置参照ピクチャ内の既に符号化されたサンプルブロックの動きベクトルから予測された時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルの第１リストを作成し、
   前記サブピクチャユニット内の予測ユニットのための予測動きベクトルを前記第１リストから選択し、
   前記第１リストから選択された前記予測動きベクトルを示す第１パラメータを前記符号化ビデオビットストリームに書き込み、
   前記サブピクチャユニットタイプがＰ（単予測）タイプである場合は、時間動きベクトル予測を用いないことを示すように前記フラグの値を設定し、
   そうでない場合は、時間動きベクトル予測を用いることを示すように前記フラグの値を設定する
   符号化方法。
4. 時間動きベクトル予測を用いて、動画像を符号化ビデオビットストリームに符号化する符号化方法であって、
   ピクチャのサブピクチャユニットのピクチャ間予測に時間動きベクトル予測を用いるか否かを示すフラグの値を決定し、
   前記値のフラグを前記サブピクチャユニットのヘッダ又は前記ピクチャのヘッダに書き込み、
   時間動きベクトル予測を用いると前記フラグが示す場合は、さらに、
   所定の方式で利用可能な参照ピクチャの中から選択された同位置参照ピクチャ内の既に符号化されたサンプルブロックの動きベクトルから予測された時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルの第１リストを作成し、
   前記サブピクチャユニット内の予測ユニットのための予測動きベクトルを前記第１リストから選択し、
   前記第１リストから選択された前記予測動きベクトルを示す第１パラメータを前記符号化ビデオビットストリームに書き込み、
   前記サブピクチャユニットを含むピクチャがランダム・アクセス・ポイント（ＲＡＰ）ピクチャであり、かつ、前記サブピクチャユニットが前記ピクチャの非ベースレイヤに属する場合は、時間動きベクトル予測を用いないことを示すように前記フラグの値を設定し、
   そうでない場合は、時間動きベクトル予測を用いることを示すように前記フラグの値を設定する
   符号化方法。
5. 前記フラグを前記サブピクチャユニットのヘッダに書き込む
   請求項１〜４のいずれか１項に記載の符号化方法。
6. さらに、前記サブピクチャユニットのインター予測に用いられる１以上の参照ピクチャリストに含まれる参照ピクチャの順序を指定するための１以上のパラメータを前記サブピクチャユニットのヘッダに書き込む
   請求項１〜５のいずれか１項に記載の符号化方法。
7. さらに、
   選択された前記予測動きベクトルを用いて動き補償ピクチャ間予測を行って、前記予測ユニットを生成し、
   元のサンプルブロックから前記予測ユニットを減算して、残差サンプルブロックを生成し、
   前記予測ユニットに対応する前記残差サンプルブロックを符号化して、符号化ビデオビットストリームを生成する
   請求項１〜６のいずれか１項に記載の符号化方法。
8. 前記第２リストの予測動きベクトル数は前記第１リストの予測動きベクトル数より１少なく、かつ、前記第１リストの予測動きベクトルと前記第２リストの予測動きベクトルとは時間予測動きベクトル以外同じである
   請求項２に記載の符号化方法。
9. 前記第１パラメータと前記第２パラメータとは、符号化ビデオビットストリームにおいて、異なる所定のビット表現を用いて表される
   請求項２に記載の符号化方法。
10. 前記第１リストの予測動きベクトル数は前記第２リストの予測動きベクトル数と同じ所定数であり、かつ、前記第２リストは、前記第１リストに存在しない予測動きベクトルであって、参照ピクチャからの動きベクトルを用いずに導出される予測動きベクトルを含む
    請求項２に記載の符号化方法。
11. 前記フラグは、前記ピクチャ内の他のサブピクチャユニットとは別個に、サブピクチャユニットのピクチャ間予測に時間動きベクトル予測を用いるか否かについて示すために用いられる
    請求項１〜１０のいずれか１項に記載の符号化方法。
12. 前記サブピクチャユニットは前記ピクチャのスライスである
    請求項１〜１１のいずれか１項に記載の符号化方法。
13. 時間動きベクトル予測を用いて符号化ビデオビットストリームを復号する復号方法であって、
    前記符号化ビデオビットストリームのピクチャのヘッダ又はサブピクチャユニットのヘッダからフラグを読み解き、
    前記フラグが、時間動きベクトル予測を用いるか否かのどちらを示しているのか判断し、
    時間動きベクトル予測を用いると前記フラグが示す場合は、さらに、
    所定の方式で利用可能な参照ピクチャの中から選択された同位置参照ピクチャ内の既に符号化されたサンプルブロックの動きベクトルから予測された時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルの第１リストを作成し、
    前記サブピクチャユニット内の予測ユニットのために前記第１リストから選択される予測動きベクトルを示す第１パラメータを前記符号化ビデオビットストリームから読み解き、
    前記フラグの値は、
    前記ピクチャの時間レイヤがベースレイヤである場合は、時間動きベクトル予測を用いないことを示し、
    そうでない場合は、時間動きベクトル予測を用いることを示す
    復号方法。
14. 時間動きベクトル予測を用いないと前記フラグが示す場合は、さらに、
    時間予測動きベクトルを含まない複数の予測動きベクトルから構成される予測動きベクトルの第２リストを作成し、
    前記サブピクチャユニット内の予測ユニットのために前記第２リストから選択される予測動きベクトルを示す第２パラメータを前記符号化ビデオビットストリームから読み解く
    請求項１３記載の復号方法。
15. 時間動きベクトル予測を用いて、動画像を符号化ビデオビットストリームに符号化する符号化装置であって、
    ピクチャのサブピクチャユニットのピクチャ間予測に時間動きベクトル予測を用いるか否かを示すフラグの値を決定する制御部と、
    前記値のフラグを前記サブピクチャユニットのヘッダ又は前記ピクチャのヘッダに書き込む書込部と、
    動きベクトル予測部と、
    前記動きベクトル予測部によって選択される予測動きベクトルに基づきピクチャ間予測を行うピクチャ間予測部とを備え、
    前記動きベクトル予測部は、
    前記フラグを受信し、
    第１の値である前記フラグに基づき、所定の方式で利用可能な参照ピクチャの中から選択された同位置参照ピクチャ内の既に符号化されたサンプルブロックの動きベクトルから予測された時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルの第１リストを作成し、
    前記サブピクチャユニット内の予測ユニットのための予測動きベクトルを前記第１リストから選択し、
    前記書込部は、さらに、前記第１リストから選択された前記予測動きベクトルを示す第１パラメータを前記符号化ビデオビットストリームに書き込み、
    前記制御部は、前記ピクチャの時間レイヤがベースレイヤである場合に、時間動きベクトル予測を用いないことを示すように前記フラグの値を設定すると、後続する画像からの時間動きベクトル予測を用いず、
    前記ピクチャの時間レイヤがベースレイヤでない場合に、時間動きベクトル予測を用いることを示すように前記フラグの値を設定する
    符号化装置。
16. 前記フラグが第２の値である場合、前記動きベクトル予測部は、時間予測動きベクトルを含まない複数の予測動きベクトルから構成される予測動きベクトルの第２リストを作成し、
    前記サブピクチャユニット内の予測ユニットのための予測動きベクトルを前記第１リストから選択し、
    前記書込部は、さらに、前記第２リストから選択された前記予測動きベクトルを示す第２パラメータを前記符号化ビデオビットストリームに書き込む
    請求項１５記載の符号化装置。
17. 時間動きベクトル予測を用いて符号化ビデオビットストリームを復号する復号装置であって、
    前記符号化ビデオビットストリームのピクチャのヘッダ又はサブピクチャユニットのヘッダからフラグを読み解き、前記フラグが、時間動きベクトル予測を用いるか否かのどちらを示しているのか判断する読解部と、
    動きベクトル予測部と、
    前記動きベクトル予測部によって選択される予測動きベクトルに基づきピクチャ間予測を行うピクチャ間予測部とを備え、
    前記動きベクトル予測部は、
    前記フラグを受信し、
    第１の値である前記フラグに基づき、所定の方式で利用可能な参照ピクチャの中から選択された同位置参照ピクチャ内の既に符号化されたサンプルブロックの動きベクトルから予測された時間予測動きベクトルを少なくとも１つ含む複数の予測動きベクトルから構成される予測動きベクトルの第１リストを作成し、
    前記読解部は、さらに、前記サブピクチャユニット内の予測ユニットのために前記第１リストから選択される予測動きベクトルを示す第１パラメータを前記符号化ビデオビットストリームから読み解き、
    前記フラグの値は、
    前記ピクチャの時間レイヤがベースレイヤである場合は、時間動きベクトル予測を用いないことを示し、
    そうでない場合は、時間動きベクトル予測を用いることを示す
    復号装置。
18. 前記フラグが第２の値である場合、前記動きベクトル予測部は、時間予測動きベクトルを含まない複数の予測動きベクトルから構成される予測動きベクトルの第２リストを作成し、
    前記読解部は、さらに、前記サブピクチャユニット内の予測ユニットのために前記第２リストから選択される予測動きベクトルを示す第２パラメータを前記符号化ビデオビットストリームから読み解く
    請求項１７記載の復号装置。

Images