JP6327435B2 - 画像符号化方法、画像復号方法、画像符号化装置、及び、画像復号装置 - Google Patents

Description

本発明は、符号化画像への画像符号化方法、符号化画像の復号方法、及び、その装置に関する。本発明は、マルチメディアデータの符号化、特に、高効率動画像圧縮符号化（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に適用可能である。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、又は、ＭＰＥＧ４−ＡＶＣといった今までの符号化規格では、通常、圧縮されたピクチャは、符号化単位であるマクロブロックと呼ばれる矩形単位に複数分割される。マクロブロックは、通常、輝度サンプルに対し、１６×１６画素からなる複数の画像サンプルの２次元ブロックとして定義される。マクロブロックの圧縮率は、マクロブロックごとに量子化パラメータ（又は、量子化スケールパラメータ）によって制御される。この量子化パラメータは、通常、符号化されてマクロブロックのヘッダに格納される。符号化されてマクロブロックのヘッダに格納される量子化パラメータの値は、通常、符号化順序が先のマクロブロックの量子化パラメータに対する差分値として表される。このような差分値で表された量子化パラメータは、デルタ量子化パラメータと呼ばれる。

同様に、今までの動画像符号化規格では、画像サンプルブロック（つまり、マクロブロック）に対する予測サンプルが空間的に予測されるのか（イントラ予測）ピクチャ間で予測されるのか（インター予測）を示す予測符号化タイプのパラメータもマクロブロック単位で信号化される。

図１は、可変サイズの符号化単位に対応する最新動画像符号化規格、例えば、ＨＥＶＣなどに基づいて符号化された符号化単位（ＣＵｓ：Ｃｏｄｉｎｇ Ｕｎｉｔｓ）１０４からなる最大符号化単位（ＬＣＵ：Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）１０２を示す図である。図のように、符号化単位１０４は、イントラ予測ブロック（網掛けブロック）１０６、又は、インター予測ブロック（網掛けなしブロック）１０８として符号化される。図１の例では、符号化単位１０４がイントラ予測ブロックかインター予測ブロックかを信号化する又は示す予測モードタイプパラメータ１１０を、デルタ量子化パラメータ１１２を含む符号化単位１０２より小さな符号化単位で符号化する。つまり、図１に示すように、デルタ量子化パラメータ１１２は、ＬＣＵレベル（例えば、ＬＣＵ１０２のヘッダ）で符号化されるが、予測モードタイプ１１０は、ＣＵレベル（例えば、ＣＵ１０４のヘッダ）で符号化される。しかしながら、デルタ量子化パラメータ１１２はＬＣＵレベルでしか信号化できないので、ＬＣＵ１０２内の符号化単位１０４は全て同じ量子化パラメータ１１２を共有しなければならないことになる。

本発明で発展させてきたことは、こういう背景においてである。

ＩＳＯ／ＩＥＣ １４４９６−１０「ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」

上記背景技術で述べたように、デルタ量子化パラメータはＬＣＵレベルでしか信号化できないので、ＨＥＶＣなどの、可変サイズの符号化単位に対応する最新動画像符号化規格では、同一の最大符号化単位（ＬＣＵ）内にあるインター予測符号化単位とイントラ予測符号化単位とは同じ量子化パラメータを用いなければならない。これは、ＬＣＵを符号化する際に効率が悪いという問題になることを発明者らは発見した。特に、同一のＬＣＵ内にあるインター予測符号化単位とイントラ予測符号化単位とは同じ量子化パラメータを用いる必要があるので、イントラ予測符号化単位の量子化パラメータと一致させるために、インター予測符号化単位の量子化パラメータを小さくしなければならない。なぜなら、同じ最大符号化単位内にあるイントラ予測符号化単位のほうがより小さな量子化パラメータを必要とするからである。その結果、インター予測符号化の量子化パラメータは必要以上に小さくなり、例えば、ＬＣＵのサイズが不適切に増加してしまう。

イントラ予測符号化単位は空間的に予測され、インター予測符号化単位はピクチャ間で予測されるので、同じような主観画質を得るためには、インター予測符号化単位よりもイントラ予測符号化単位のほうが小さい量子化パラメータが必要になると発明者らは考えていた。したがって、上記背景技術で述べたように、画像全体のデータサイズを必要以上に増加させることなくインター予測画像の主観画質を向上させるため、同一ＬＣＵ内にあるイントラ予測符号化単位とインター予測符号化単位とは、同じ量子化パラメータを共有するのではなく別個の量子化パラメータを用いるべきだと発明者らは考えていた。

そのため、本発明の実施の形態では、例えば、ＬＣＵ、ピクチャのスライス、又は、符号化ビデオビットストリーム内の全イントラ予測符号化単位に対するデルタ量子化パラメータをオフセットするための量子化オフセットパラメータを信号化する方法を用いる。この信号化により、ピクチャ又はＬＣＵのイントラ予測符号化単位の量子化パラメータを同じピクチャ又はＬＣＵのインター予測ブロックよりも小さくすることができ、同一のＬＣＵ内にあるイントラ予測符号化単位とインター予測符号化単位とが同じ量子化パラメータを共有しなくてはいけないという先行技術における課題を克服することができる。また、これは、インター予測符号化単位とイントラ予測符号化単位とで量子化パラメータを変更するために、デルタ量子化パラメータを明確に信号化しなくとも実現可能である。

本発明の第１の様態では、画像を符号化して符号化画像を生成する画像符号化方法であって、インター予測符号化単位よりもイントラ予測符号化単位のほうが小さい量子化パラメータとするための量子化オフセットパラメータを前記符号化画像に書き込む量子化オフセットパラメータ書き込みステップと、前記画像の画像サンプルブロックを符号化して前記符号化画像の符号化単位を生成するための予測モードタイプを決定する予測モードタイプ決定ステップと、前記画像サンプルブロックの量子化パラメータを決定する量子化パラメータ決定ステップと、前記予測モードタイプが所定のタイプかどうかを判定する判定ステップとを含み、前記予測モードタイプが前記所定のタイプである場合には、前記量子化オフセットパラメータを用いて、決定された前記量子化パラメータを変更する量子化パラメータ変更ステップと、変更された前記量子化パラメータを用いて、前記画像サンプルブロックの量子化処理を行う量子化ステップとを含み、前記予測モードタイプが前記所定のタイプでない場合には、決定された前記量子化パラメータを用いて、前記画像サンプルブロックの量子化処理を行う量子化ステップとを含む画像符号化方法を提供する。

前記量子化パラメータ変更ステップは、決定された前記量子化パラメータから前記量子化オフセットパラメータの値を減算するステップを含んでもよい。

前記量子化オフセットパラメータ書き込みステップは、スライスヘッダ、ピクチャヘッダ、及び、シーケンスヘッダのうちいずれか１つに前記量子化オフセットパラメータを書き込むステップを含んでもよい。

当該方法は、さらに、決定された前記予測モードタイプを示す予測モードタイプパラメータを前記符号化単位のヘッダに書き込む予測モードタイプパラメータ書き込みステップを含んでもよい。

当該方法は、さらに、デルタ量子化パラメータを決定するデルタ量子化パラメータ決定ステップと、前記デルタ量子化パラメータを前記符号化単位のヘッダに書き込むデルタ量子化パラメータ書き込みステップとを含んでもよく、前記デルタ量子化パラメータは、以前の符号化単位の量子化パラメータから決定された前記量子化パラメータの値を減算することにより決定された値を表す。

前記以前の符号化単位は、前記符号化画像の符号化順序において前記符号化単位の直前の符号化単位と定義されてもよい。

前記符号化画像の符号化単位は四分木構造で表され、前記以前の符号化単位は、前記符号化画像の符号化順序に関わらず、前記四分木構造に基づいて、前記符号化単位のすぐ左に位置する符号化単位と定義されてもよい。

予測モードの前記所定のタイプはイントラ予測モードであることが好ましい。

前記符号化画像は複数の符号化単位からなる最大符号化単位を含み、前記量子化オフセットパラメータは、前記最大符号化単位内において、前記イントラ予測モードで符号化された符号化単位と予測モードの他のタイプで符号化された符号化単位との量子化パラメータの差に基づいて決定されることが好ましい。

予測モードの前記他のタイプはインター予測モードでもよい。

本発明の第２の様態では、符号化画像を復号する画像復号方法であって、インター予測符号化単位よりもイントラ予測符号化単位のほうが小さい量子化パラメータとするための量子化オフセットパラメータを前記符号化画像から読み出す量子化オフセットパラメータ読み出しステップと、前記符号化画像の符号化単位の予測モードタイプを読み出す予測モードタイプ読み出しステップと、前記符号化単位の量子化パラメータを決定する量子化パラメータ決定ステップと、前記予測モードタイプが所定のタイプかどうかを判定する判定ステップとを含み、前記予測モードタイプが前記所定のタイプである場合には、前記量子化オフセットパラメータを用いて、決定された前記量子化パラメータを変更する量子化パラメータ変更ステップと、変更された前記量子化パラメータを用いて、前記符号化単位の逆量子化処理を行う逆量子化ステップとを含み、前記予測モードタイプが前記所定のタイプでない場合には、決定された前記量子化パラメータを用いて、前記符号化単位の逆量子化処理を行う逆量子化ステップとを含む画像復号方法を提供する。

前記決定量子化パラメータ変更ステップは、決定された前記量子化パラメータから前記量子化オフセットパラメータの値を減算するステップを含んでもよい。

前記量子化オフセットパラメータ読み出しステップは、スライスヘッダ、ピクチャヘッダ、及び、シーケンスヘッダのうちいずれか一つから前記量子化オフセットパラメータを読み出すステップを含んでもよい。

前記符号化単位は変換単位を含み、さらに、前記変換単位が符号化されているかどうかを判定する判定ステップを含み、前記変換単位が符号化されていると決定した場合には、さらに、前記符号化単位のヘッダから前記符号化単位のデルタ量子化パラメータを読み出すデルタ量子化パラメータ読み出しステップを含み、前記変換単位が符号化されていないと決定した場合には、さらに、前記符号化単位のデルタ量子化パラメータの値を０に設定するデルタ量子化パラメータ設定ステップを含むことが好ましい。

前記量子化パラメータ決定ステップは、前記デルタ量子化パラメータと以前の符号化単位の量子化パラメータとを足し合わせるステップを含んでもよい。

前記以前の符号化単位を、前記符号化画像の符号化順序において前記符号化単位の直前の符号化単位と定義してもよい。

前記符号化画像の符号化単位は四分木構造で表され、前記以前の符号化単位は、前記符号化画像の符号化順序に関わらず、前記四分木構造に基づいて、前記符号化単位のすぐ左に位置する符号化単位と定義されてもよい。

前記予測モードタイプ読み出しステップは、前記符号化単位のヘッダから前記予測モードタイプを読み出すステップを含んでもよい。

予測モードの前記所定のタイプはイントラ予測モードであることが好ましい。

前記符号化画像は複数の符号化単位からなる最大符号化単位を含み、前記量子化オフセットパラメータは、前記最大符号化単位内において、前記イントラ予測モードで符号化された符号化単位と予測モードの他のタイプで符号化された符号化単位との量子化パラメータの差に基づいて決定されることが好ましい。

予測モードの前記他のタイプはインター予測モードでもよい。

本発明の第３の様態では、画像を符号化して符号化画像を生成する画像符号化装置であって、インター予測符号化単位よりもイントラ予測符号化単位のほうが小さい量子化パラメータとするための量子化オフセットパラメータを前記符号化画像に書き込む書き込み部と、前記画像の画像サンプルブロックを符号化して前記符号化画像の符号化単位を生成するための予測モードタイプを決定する予測モードタイプ決定部と、前記画像サンプルブロックの量子化パラメータを決定する量子化パラメータ決定部と、前記予測モードタイプが所定のタイプかどうかを判定する量子化パラメータ算出部と、前記画像サンプルブロックの量子化処理を行う量子化部とを備え、前記予測モードタイプが前記所定のタイプである場合には、前記量子化パラメータ算出部は、前記量子化オフセットパラメータを用いて、決定された前記量子化パラメータを変更し、前記量子化部は、変更された前記量子化パラメータを用いて、前記画像サンプルブロックの量子化処理を行い、前記予測モードタイプが前記所定のタイプでない場合には、前記量子化部は、決定された前記量子化パラメータを用いて、前記画像サンプルブロックの量子化処理を行う画像符号化装置を提供する。

本発明の第４の様態では、符号化画像を復号する画像復号装置であって、インター予測符号化単位よりもイントラ予測符号化単位のほうが小さい量子化パラメータとするための量子化オフセットパラメータを前記符号化画像から読み出す解析部と、前記符号化画像の符号化単位から予測モードタイプパラメータを読み出す復号部と、前記符号化単位の量子化パラメータを決定する量子化パラメータ決定部と、前記予測モードタイプが所定のタイプかどうかを判定する量子化パラメータ算出部と、前記符号化単位の逆量子化処理を行う逆量子化部とを備え、前記予測モードタイプが前記所定のタイプである場合には、前記量子化パラメータ算出部は、前記量子化オフセットパラメータを用いて、決定された前記量子化パラメータを変更し、前記逆量子化部は、変更された前記量子化パラメータを用いて、前記符号化単位の逆量子化処理を行い、前記予測モードタイプが前記所定のタイプでない場合には、前記逆量子化部は、決定された前記量子化パラメータを用いて、前記符号化単位の逆量子化処理を行う画像復号装置を提供する。

本発明の実施の形態では、イントラ予測符号化単位の量子化パラメータをオフセットするための量子化オフセットパラメータの信号化が可能になる。例えば、デルタ量子化パラメータの信号化におけるオーバーヘッドを符号化単位レベルで削減することができるだけでなく、必要なビット数を削減して符号化効率を向上させることもできる。

図１は、最大符号化単位（ＬＣＵ）の例を図示したものである。 図２は、本発明の実施の形態１における、符号化画像への画像符号化方法を示すフローチャートである。 図３は、本発明の実施の形態における符号化画像を図示したものである。 図４は、本発明の実施の形態における符号化画像の分解図である。 図５は、本発明の実施の形態１における画像復号方法を示すフローチャートである。 図６は、本発明の実施の形態２における、符号化画像への画像符号化方法を示すフローチャートである。 図７は、本発明の実施の形態２における画像復号方法を示すフローチャートである。 図８は、本発明の実施の形態２における、符号化画像への画像符号化装置の例を示すブロック図である。 図９は、本発明の実施の形態２における、画像復号装置の例を示すブロック図である。 図１０は、本発明の実施の形態における、以前の符号化単位を示す矢印を記載したＬＣＵを図示したものである。 図１１は、本発明の別の実施の形態における、以前の符号化単位を示す矢印を記載したＬＣＵを図示したものである。 図１２は、本発明の実施の形態３における画像復号方法を示すフローチャートである。 図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図１４は、デジタル放送用システムの全体構成図である。 図１５は、テレビの構成例を示すブロック図である。 図１６は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図１７は、光ディスクである記録メディアの構造例を示す図である。 図１８Ａは、携帯電話の一例を示す図である。 図１８Ｂは、携帯電話の構成例を示すブロック図である。 図１９は、多重化データの構成を示す図である。 図２０は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図２１は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図２２は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図２３は、ＰＭＴのデータ構成を示す図である。 図２４は、多重化データ情報の内部構成を示す図である。 図２５は、ストリーム属性情報の内部構成を示す図である。 図２６は、映像データを識別するステップを示す図である。 図２７は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。 図２８は、駆動周波数を切り替える構成を示す図である。 図２９は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図３０は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図３１Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図３１Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。

本発明の実施の形態では、符号化画像への画像の符号化方法、符号化画像の復号方法、及び、それらの装置を提供する。

図１は、高効率動画像圧縮符号化（ＨＥＶＣ）などの、可変サイズの符号化単位に対応する最新動画像符号化規格に基づいて符号化された符号化単位（ＣＵｓ）１０４からなる最大符号化単位（ＬＣＵ）１０２を図示したものである。図のように、符号化単位１０４は、イントラ予測ブロック（網掛けブロック）１０６又はインター予測ブロック（網掛けなしブロック）１０８として符号化される。図１を参照して上記背景技術で述べたように、先行技術の教示に基づき、デルタ量子化パラメータ（ΔＱＰ（以下「ＤＥＬＴＡＱＰ」という））１１２はＬＣＵレベルでしか信号化できない。つまり、ＬＣＵ１０２内の符号化単位１０４は全て同じ量子化パラメータ（ＱＰ）１１２を共有しなければならない。

イントラ予測符号化単位１０６は空間的に予測され、インター予測符号化単位１０８はピクチャ間で予測されるので、同じような主観画質を得るためには、インター予測符号化単位１０８よりもイントラ予測符号化単位１０６のほうが小さいＱＰが必要になると発明者らは考えていた。したがって、上記背景技術で述べたように、画像全体のデータサイズを必要以上に増加させることなくインター予測画像の主観画質を向上させるため、同一ＬＣＵ１０２内にあるイントラ予測符号化単位１０６とインター予測符号化単位１０８とは、同じＱＰ１１２を共有するのではなく別個の量子化パラメータ（ＱＰｓ）を用いるべきだと発明者らは考えていた。

そのため、本発明の実施の形態では、例えば、ＬＣＵ、ピクチャのスライス３０２、又は、符号化ビデオビットストリーム内の全イントラ予測符号化単位のＤＥＬＴＡＱＰ３１６をオフセットするための量子化オフセットパラメータ（オフセットＱＰ）３０６を信号化する方法を用いる。この信号化により、ピクチャ又はＬＣＵ３０８のイントラ予測符号化単位のＱＰを同じピクチャ又はＬＣＵ３０８のインター予測ブロックよりも小さくすることができ、同一のＬＣＵ内にあるイントラ予測符号化単位とインター予測符号化単位とが同じＱＰを共有しなくてはいけないという先行技術における課題を克服することができる。また、これは、インター予測符号化単位とイントラ予測符号化単位とでＱＰを変更するために、ＤＥＬＴＡＱＰを明確に信号化しなくとも実現可能である。

図２は、本発明の実施の形態１における、符号化画像４１０への画像符号化方法を示すフローチャートである。第１ステップ２０２として、当該方法は、オフセットＱＰ３０６を符号化画像４１０に書き込むオフセットＱＰ書き込みステップを含む。例えば、画像を符号化して符号化ビデオビットストリーム４１０を生成する場合、図３に図示するように、オフセットＱＰ３０６を、符号化ビデオビットストリーム４１０のスライス３０２のヘッダ３０４（つまり、スライスヘッダ）に書き込んでもよい。なお、オフセットＱＰ３０６をスライス３０２のヘッダ３０４に書き込む必要はなく、代わりに、ピクチャヘッダ４０２、又は、シーケンスヘッダ４０８に書き込んでもよいことは当業者にとって明らかであろう。ピクチャヘッダ４０２とは、ピクチャ４０４（例えば、複数のスライス）のヘッダのことであり、シーケンスヘッダ４０８とは、符号化ビデオビットストリーム４１０（例えば、複数のピクチャ）のヘッダのことである。図４は、スライスヘッダ３０４、ピクチャヘッダ４０２、及び、シーケンスヘッダ４０８の位置関係の例を示した、符号化ビデオビットストリーム４１０の分解図である。

本発明の実施の形態１における、符号化画像４１０への画像符号化方法は、さらに、画像の画像サンプルブロックを符号化して符号化画像４１０の符号化単位３１０を生成するための予測モードタイプを決定する予測モードタイプ決定ステップ２０４を含む。例えば、予測モードタイプとは、イントラ予測モード又はインター予測モードのことである。１ブロック分の画像を符号化する予測モードタイプを判断又は決定する既存の手法は当該技術分野において周知であるため、ここではその説明を省略する。実施の形態では、図３に示すように、決定された予測モードタイプを表す又は示す予測モードパラメータ３１４を符号化単位３１０のヘッダ３１２に書き込む。一例として、予測モードパラメータ３１４の値が「０」であれば、予測モードタイプがイントラ予測モードであることを示し、予測モードパラメータ３１４の値が「１」であれば、予測モードタイプがインター予測モードであることを示してもよい。当該方法は、さらに、画像サンプルブロックを圧縮するためのＱＰを決定するＱＰ決定ステップ２０６を含む。画像サンプルブロックのＱＰは、当該ブロックの圧縮率を制御する。例えば、ＱＰの値が大きければ圧縮率が高いことを表し（データサイズは小さくなるが、画質は悪くなる）、ＱＰの値が小さければ圧縮率が低いことを表す（データサイズは大きくなるが、画質はよくなる）。画像サンプルブロックのＱＰを判断又は決定する既存の手法は当該技術分野において周知であるため、ここではその詳細な説明を省略する。実施の形態では、画像サンプルブロックのＱＰを決定した後に、ＤＥＬＴＡＱＰ３１６（決定ＱＰと以前の符号化単位のＱＰとの差分）を符号化単位３１０のヘッダ３１２に書き込む。

そして、ステップ２０８において、画像サンプルブロックの予測モードタイプを表す予測モードパラメータ３１４が所定の予測モードタイプであるか（つまり、一致するか）どうかを決定する。実施の形態では、所定の予測モードタイプは、イントラ予測モードであり、前述したように例えば値「０」で表す又は示すことができる。

画像サンプルブロックの予測モードタイプが所定の予測モードタイプと一致する場合は、ステップ２１０で、オフセットＱＰ３０６を用いて決定ＱＰを変更する。例えば、画像サンプルブロックの予測モードタイプがイントラ予測モードタイプである場合は、画像サンプルブロックを圧縮するための決定ＱＰからオフセットＱＰ３０６の値を減算することにより、当該決定ＱＰを変更する。例えば、決定ＱＰの値が「５」であり、オフセットＱＰの値が「３」であり、かつ、画像サンプルブロックに対してイントラ予測モードタイプが検出された場合は、値が「２」になるように決定ＱＰを変更する（すなわち、「５」−「３」＝「２」）。つまり、検出された予測モードタイプがイントラ予測モードタイプの場合は、「変更ＱＰ＝決定ＱＰ−オフセットＱＰ」である。なお、決定ＱＰは、「ＤＥＬＴＡＱＰ＋以前のＣＵのＱＰ」と表すことができるので、上記の式は、「変更ＱＰ＝ＤＥＬＴＡＱＰ＋以前のＣＵのＱＰ−オフセットＱＰ」としても等価的に表すことができる。オフセットＱＰが負の値又は数で表される場合には、上記の式が、「変更ＱＰ＝決定ＱＰ＋オフセットＱＰ（又は、変更ＱＰ＝ＤＥＬＴＡＱＰ＋以前のＣＵのＱＰ＋オフセットＱＰ）」として等価的に表すことができることは当業者にとって明らかであろう。当該変更ＱＰを用いて、ステップ１１２で、画像サンプルブロックの量子化処理を行い、符号化単位３１０を生成する。

画像サンプルブロックの予測モードタイプが所定の予測モードタイプと一致しない場合は、ステップ２１４で、決定ＱＰを用いて画像サンプルブロックの量子化処理を行い、符号化単位３１０を生成する。

実施の形態では、オフセットＱＰ３０６は、ある予測モードタイプ（例えば、イントラ予測符号化単位）で符号化された符号化単位３１０と、他の予測モードタイプで符号化された符号化単位３１０との、量子化レベルの所望の差分に基づいて決定される。例えば、所定の予測モードタイプがイントラ予測モードの場合、オフセットＱＰ３０６は、イントラ予測モードで符号化された符号化単位３１０（つまり、イントラ予測符号化単位）と、インター予測モードなど他の予測モードタイプで符号化された符号化単位３１０との、量子化レベルの所望の差分に基づいて決定される。

図５は、本発明の実施の形態１における、符号化画像４１０の復号方法を示すフローチャートである。第１ステップ５０２として、当該方法は、符号化画像４１０から量子化オフセットパラメータ（オフセットＱＰ）３０６を解析又は読み出すオフセットＱＰ読み出しステップを含む。前述したとおり、例えば、オフセットＱＰ３０６は、図３に示すように、符号化ビデオビットストリーム４１０のスライス３０２のヘッダ３０４（つまり、スライスヘッダ）内にあってもよい。あるいは、図４に示すように、ピクチャヘッダ４０２内又はシーケンスヘッダ４０８内にあってもよい。

符号化画像４１０の復号方法は、さらに、符号化画像４１０の符号化単位３１０から予測モードタイプパラメータ３１４を解析又は読み出す予測モードタイプパラメータ読み出しステップ５０４を含む。例えば、前述したように、予測モードタイプパラメータ３１４は、符号化単位３１０の予測モードタイプを示し、イントラ予測モード又はインター予測モードとなり得る。当該実施の形態では、予測モードパラメータ３１４は、図３に示すように、符号化単位３１０のヘッダ３１２内にある。一例として、予測モードパラメータ３１４の値が「０」であれば、予測モードタイプがイントラ予測モードであることを示してもよいし、予測モードパラメータ３１４の値が「１」であれば、予測モードタイプがインター予測モードであることを示してもよい。当該方法は、さらに、符号化単位３１０を復元／復号するためのＱＰを決定するＱＰ決定ステップ５０６を含む。例えば、復元／復号対象の符号化単位３１０のＱＰは、以前の符号化単位のＱＰを用いて、復元／復号対象の符号化単位３１０のＤＥＬＴＡＱＰと足し合わせることにより決定される。この場合、図３に示されるように、復元／復号対象の符号化単位３１０のＤＥＬＴＡＱＰ３１６は、復元／復号対象の符号化単位３１０のヘッダ３１２から読み出し又は解析することができる。つまり、「復元／復号対象の符号化単位のＱＰ＝復元／復号対象の符号化単位のＤＥＬＴＡＱＰ＋以前の符号化単位のＱＰ」である。

そして、ステップ５０８において、符号化単位３１０の予測モードタイプ（つまり、読み出された予測モードタイプパラメータ３１４で示される予測モードタイプ）が所定の予測モードタイプであるか（つまり、所定の予測モードタイプと一致するか）どうかを決定する。実施の形態では、前述したように、所定の予測モードタイプはイントラ予測モードであり、例えば、値「０」で示すことができる。

符号化単位３１０の予測モードタイプが所定の予測モードタイプと一致する場合は、ステップ５１０で、符号化単位３１０の決定ＱＰを、オフセットＱＰ３０６を用いて変更する。例えば、符号化単位３１０の予測モードタイプがイントラ予測モードタイプであれば、符号化単位３１０を復元／復号する決定ＱＰからオフセットＱＰの値を減算することによって、当該決定ＱＰを変更する。例えば、決定ＱＰの値が「５」であり、オフセットＱＰの値が「３」であり、かつ、符号化単位３１０に対してイントラ予測モードタイプが検出された場合は、値が「２」になるように決定ＱＰを変更する（すなわち、「５」−「３」＝「２」）。つまり、前述したように、「変更ＱＰ＝決定ＱＰ−オフセットＱＰ」である。あるいは、決定ＱＰは、「ＤＥＬＴＡＱＰ＋以前の符号化単位のＱＰ」と表すことができるので、上記の式は、「変更ＱＰ＝ＤＥＬＴＡＱＰ＋以前のＣＵのＱＰ−オフセットＱＰ」と等価的に表すことができる。オフセットＱＰが負の値又は数で表される場合には、上記の式が、「変更ＱＰ＝決定ＱＰ＋オフセットＱＰ（又は、変更ＱＰ＝ＤＥＬＴＡＱＰ＋以前のＣＵのＱＰ＋オフセットＱＰ）」として等価的に表すことができることは当業者にとって明らかであろう。当該変更ＱＰを用いて、ステップ５１２で、符号化単位３１０の逆量子化処理を行い、符号化単位３１０を復号する。

符号化単位３１０の予測モードタイプが所定の予測モードタイプと一致しない場合は、ステップ５１４で、決定ＱＰを用いた符号化単位３１０の逆量子化処理を行い、符号化単位３１０を復号する。

本発明の実施の形態１における符号化画像への画像符号化装置は、書き込み部と、予測モードタイプ決定部と、ＱＰ決定部と、ＱＰ算出部と、量子化部とを備える。書き込み部は、量子化オフセットパラメータを符号化画像に書き込み又は埋め込みする。例えば、前述したように、オフセットＱＰを、符号化ビデオビットストリーム４１０のスライス３０２のヘッダ３０４に書き込んでもよい。予測モードタイプ決定部は、画像サンプルブロックを符号化して符号化画像の符号化単位を生成するための予測タイプ（例えば、イントラ予測モード又はインター予測モード）を表す予測モードタイプパラメータを決定する。ＱＰ決定部は、画像サンプルブロックを圧縮するためのＱＰを決定する。ＱＰ算出部は、予測モードタイプが所定のタイプかどうかを判定する。予測モードタイプが所定のタイプであれば、ＱＰ算出部は、前述したような方法で、オフセットＱＰを用いて決定ＱＰを変更する。予測モードタイプが所定のタイプでない場合は、ＱＰ算出部は、変更を行わずに、決定ＱＰを出力する。量子化部は、ＱＰ算出部から出力された決定ＱＰ又は変更ＱＰを用い、画像サンプルブロックの予測モードタイプに応じて量子化処理を行う。

本発明の実施の形態１における符号化画像５１０の復号装置は、解析又は読み出し部と、復号部と、ＱＰ決定部と、ＱＰ算出部と、逆量子化部とを備える。解析部は、符号化画像４１０からオフセットＱＰ３０６を読み出す。復号部は、例えば、符号化単位がイントラ予測モードで符号化されたかインター予測モードで符号化されたかを示す、符号化画像４１０の符号化単位３１０の予測モードタイプパラメータ３１４を読み出す。ＱＰ決定部は、符号化単位３１０を復号／復元するためのＱＰを決定する。例えば、当該ＱＰは、復元／復号対象の符号化単位３１０のＤＥＬＴＡＱＰと以前の符号化単位のＱＰとを足し合わせることにより決定される。ＱＰ算出部は、符号化単位３１０の予測モードタイプ（つまり、読み出された予測モードタイプパラメータ３１４で示される予測モードタイプ）が所定のタイプであるかどうかを判定する。予測モードタイプが所定のタイプであれば、ＱＰ算出部は、前述したような方法で、オフセットＱＰを用いて決定ＱＰを変更する。予測モードタイプが所定のタイプでない場合は、ＱＰ算出部は、変更を行わずに、決定ＱＰを出力する。量子化部は、ＱＰ算出部から出力された決定ＱＰ又は変更ＱＰを用い、符号化単位３１０の予測モードタイプに応じて量子化処理を行う。

本発明の実施の形態１のより具体的な例を挙げて、本発明の実施の形態をさらに後述する。なお、後述する実施の形態は単なる一例にすぎず、本発明の範囲を限定するものではないことを当業者は理解されよう。

図６は、本発明の実施の形態２における、符号化画像４１０への画像符号化方法を示すフローチャートである。図６に示すように、ステップ６００で、量子化オフセットパラメータ（オフセットＱＰ）を符号化画像４１０のスライス３０２のヘッダ３０４に書き込む。次に、ステップ６０２で、画像サンプルブロックを符号化する予測モードタイプを判断する。例えば、予測モードタイプは、イントラ予測モードでも、インター予測モードでもかまわない。そして、ステップ６０４で、判断された予測モードタイプを示す予測モードタイプパラメータを符号化単位３１０のヘッダ３１２に書き込む。ステップ６０４の後、ステップ６０６において、画像サンプルブロックに対する量子化パラメータ（ＱＰ）を判断し、判断されたＱＰと以前の符号化単位のＱＰとの差分であるデルタ量子化パラメータ（ＤＥＬＴＡＱＰ）を符号化単位３１０のヘッダ３１２に書き込む。

ステップ６１０で、判断された予測モードパラメータ３１４を判定又は比較して、所定値であるかどうかを判定する。当該所定値の例として、予測モードがイントラ予測モードであることを示す「０」などの値がある。予測モードパラメータが所定値である場合は、ステップ６１２で、判断された量子化パラメータからオフセットＱＰを減算することによって当該判断量子化パラメータを変更し、ステップ６１４で量子化処理を、続いて、ステップ６１６で逆量子化処理を、変更された量子化パラメータを用いて行う。一方、予測モードパラメータが所定値でない場合は、ステップ６１８で量子化処理を、続いて、ステップ６２０で逆量子化処理を、判断された量子化パラメータを用いて行う。

図７は、本発明の実施の形態２における符号化画像４１０の復号方法又は処理を示すフローチャートである。フローチャートに示すように、ステップ７００において、オフセットＱＰをまず、符号化画像のスライス３０２のヘッダ３０４から解析する。そして、ステップ７０２において、以前の符号化単位のＱＰを読み出し又は決定する。続いて、ステップ７０４において、ＤＥＬＴＡＱＰを符号化単位３１０のヘッダ３１２から解析し、ステップ７０６において、以前の符号化単位のＱＰと解析されたＤＥＬＴＡＱＰとを足し合わせることによって、符号化単位３１０のＱＰを決定する。次に、ステップ７０８において、符号化単位３１０のヘッダ３１２から予測モードパラメータ３１４を解析する。そして、解析された予測モードパラメータ３１４を判定又は比較して、所定の値であるかどうかを判定する。前述したように、当該所定値の例として、符号化単位３１０がイントラ予測モードで符号化されたことを示す「０」などの値がある。解析された予測モードパラメータが所定値である場合は、ステップ７１２で、解析されたオフセットＱＰを決定ＱＰから減算することによって決定ＱＰを変更し、ステップ７１４で、変更された量子化パラメータを用いて逆量子化処理を行う。一方、解析された予測モードパラメータが所定値でない場合は、ステップ７１６で、決定ＱＰを用いて逆量子化処理を行う。

図８は、本発明の実施の形態２における符号化画像４１０への画像符号化装置の例を示すブロック図である。図２を参照して前述した方法や本発明の範囲から逸脱しない他の方法など、ここに開示された画像符号化方法のうちいずれかを実現するために、図８に示す装置例を変更できることは当業者にとって明らかであろう。つまり、本発明にかかる画像符号化装置は、図８に示すような、部／構成要素及び相互接続に限定されることはなく、様々な目的に応じて変更可能である。

図８に示すように、当該装置は、書き込み部８００と、ローカルメモリ部８０２と、空間予測部８０４と、切り替え部８０６と、フレームメモリ部８０８と、インター予測部８１０と、残差算出部８１２と、量子化部８１４と、逆量子化部８１６と、エントロピー符号化部８１８と、予測モード決定部８２０と、量子化パラメータ決定部８２２と、量子化パラメータ算出部８２４と、変換部８２６と、逆変換部８２８と、再構成部８３０とを備える。

書き込み部８００は、オフセットＱＰ（Ｄ８０１）を読み込み、当該オフセットＱＰを符号化画像のスライスヘッダに書き込む（Ｄ８０３）。予測モード決定部８２０は、画像サンプルブロック（Ｄ８２１）を読み込み、画像サンプルブロック（Ｄ８２１）を符号化する予測モードタイプを判断又は決定し、決定された予測モードタイプ（又は予測モードパラメータ）（Ｄ８２３）を出力する。切り替え部８０６は、予測モード決定部８２０からの予測モードタイプ（Ｄ８２３）に応じて、空間予測部８０４の出力（Ｄ８０９）又はインター予測部８１０の出力（Ｄ８１１）を残差算出部８１２に接続する。空間予測部８０４は、ローカルメモリ部８０２から隣接する再構成サンプル（Ｄ８０５）を読み込み、予測サンプルブロック（Ｄ８０９）を出力する。インター予測部８１０は、フレームメモリ部８０８から以前のピクチャの再構成サンプル（Ｄ８０７）を読み込み、予測サンプルブロック（Ｄ８１１）を出力する。

量子化パラメータ（ＱＰ）決定部８２２は、画像サンプルブロックを圧縮するためのＱＰ（Ｄ８２７）を決定し出力する。例えば、当該ＱＰは、以前のＱＰ（Ｄ８２５）に基づいて決定してもよい。ＱＰ算出部８２４は、決定ＱＰ（Ｄ８２７）と、予測モードタイプパラメータ（Ｄ８２３）と、オフセットＱＰ（Ｄ８０１）とを読み込み、予測モードタイプが所定のタイプ（例えば、イントラ予測モードタイプ）であれば、変更ＱＰ（Ｄ８２９）を出力し、予測モードタイプが所定のタイプでなければ、変更を行わずに、決定ＱＰ（Ｄ８２９）を出力する。前述したように、変更ＱＰ（Ｄ８２９）は、決定ＱＰからオフセットＱＰを減算することにより決定することができる。

残差算出部８１２は、予測サンプルブロック（Ｄ８１３）と画像サンプルブロック（Ｄ８２１）とを読み込み、残差サンプルブロック（Ｄ８１５）を出力する。変換部８２６は、残差サンプルブロック（Ｄ８１５）を読み込み、変換係数ブロック（Ｄ８１７）を出力する。量子化部８１４は、変換係数ブロック（Ｄ８１７）とＱＰ算出部８２４からのＱＰ（Ｄ８２９）（つまり、変更ＱＰ又は決定ＱＰ）とを読み込み、量子化係数ブロック（Ｄ８１９）を出力する。エントロピー符号化部８１８は、量子化係数ブロック（Ｄ８１９）と、予測モードパラメータ（Ｄ８２３）と、決定ＱＰ（Ｄ８２７）とを読み込み、符号化ブロック（Ｄ８３７）を出力する。逆量子化部８１６は、ＱＰ算出部８２４からのＱＰ（Ｄ８２９）（つまり、変更ＱＰ又は決定ＱＰ）と量子化係数ブロック（Ｄ８１９）とを読み込み、復号変換係数ブロック（Ｄ８３３）を出力する。逆変換部８２８は、変換係数ブロック（Ｄ８３３）を読み込み、復号残差ブロック（Ｄ８３５）を出力する。再構成部８３０は、復号残差ブロック（Ｄ８３５）と予測サンプルブロック（Ｄ８１３）とを読み込み、再構成サンプルブロック（Ｄ８３９）を出力する。

図９は、本発明の実施の形態２における画像復号装置の例を示すブロック図である。図３を参照して前述した方法や本発明の範囲をから逸脱しない他の方法など、ここに開示された画像復号方法のうちいずれかを実現するために、図９に示す装置例を変更できることは当業者にとって明らかであろう。つまり、本発明にかかる画像復号装置は、図９に示すような、部／構成要素及び相互接続に限定されることはなく、様々な目的に応じて変更可能である。

図９に示すように、当該装置は、解析部９００と、ローカルメモリ部９０２と、空間予測部９０４と、切り替え部９０６と、フレームメモリ部９０８と、インター予測部９１０と、逆量子化部９１８と、エントロピー復号部９１２と、量子化パラメータ導出部９１４と、量子化パラメータ算出部９１６と、逆変換部９２２と、再構成部９２０とを備える。

解析部９００は、スライスヘッダからオフセットＱＰ（Ｄ９０３）を読み込む（Ｄ９０１）。エントロピー復号部９１２は、圧縮画像又はビデオ（Ｄ９１５）を読み込み、係数ブロック（Ｄ９１７）と、予測モードタイプパラメータ（Ｄ９１９）と、ＤＥＬＴＡＱＰ（Ｄ９２１）とを出力する。切り替え部９０６は、エントロピー復号部６１２で読み出された決定予測モードタイプ（Ｄ９１９）に応じて、空間予測部９０４の出力（Ｄ９０７）又はインター予測部９１０の出力（Ｄ９１１）を出力する。空間予測部９０４は、ローカルメモリ部９０２から隣接する再構成サンプル（Ｄ９０５）を読み込み、予測サンプルブロック（Ｄ９０７）を出力する。インター予測部９１０は、フレームメモリ部９０８から以前のピクチャの再構成サンプル（Ｄ９０９）を読み込み、予測サンプルブロック（Ｄ９１１）を出力する。

量子化パラメータ（ＱＰ）導出部９１４は、以前の符号化単位のＱＰ（Ｄ９２３）と復号された又は読み出されたＤＥＬＴＡＱＰ（Ｄ９２５）とに基づいて、ＱＰ（Ｄ９２５）を決定し出力する。量子化パラメータ（ＱＰ）算出部９２４は、決定ＱＰ（Ｄ９２５）と、予測モードタイプパラメータ（Ｄ９１９）と、オフセットＱＰ（Ｄ９０３）とを読み込み、予測モードタイプが所定のタイプ（例えば、イントラ予測モードタイプ）であれば、変更ＱＰ（Ｄ９２７）を出力し、予測モードタイプが所定のタイプでなければ、変更を行わずに、決定ＱＰ（Ｄ９２７）を出力する。前述したように、変更ＱＰ（Ｄ９２７）は、決定ＱＰからオフセットＱＰを減算することによって決定される。

逆量子化部９１８は、ＱＰ（Ｄ９２７）（つまり、変更ＱＰ又は決定ＱＰ）と量子化係数ブロック（Ｄ９１７）とを読み込み、復号変換係数ブロック（Ｄ９３３）を出力する。逆変換部９２２は、変換係数ブロック（Ｄ９３３）を読み込み、復号残差ブロック（Ｄ９２９）を出力する。再構成部９２０は、復号残差ブロック（Ｄ９２９）と予測サンプルブロック（Ｄ９１３）とを読み込み、再構成サンプルブロック（Ｄ９３１）を出力する。

前述したように、復号対象の符号化単位３１０の決定ＱＰは、復号対象の符号化単位のＤＥＬＴＡＱＰと以前の符号化単位のＱＰとを足し合わせることにより、つまり、「決定ＱＰ＝復号対象のＣＵのＤＥＬＴＡＱＰ＋以前のＣＵのＱＰ」で決定される。実施の形態では、以前の符号化単位を、符号化画像４１０の符号化順序（例えば、ジグザグスキャン順）において復号対象の符号化単位３１０の直前の符号化単位と定義する。一例として、これを図１０に示す。ここでは、矢印の方向が以前の符号化単位を示している。他の好ましい実施の形態では、符号化画像４１０の符号化単位３１０が四分木構造で表されており、符号化順序に関わらず、四分木構造に基づいて、以前の符号化単位を、復号対象の符号化単位３１０のすぐ左に位置する符号化単位とする。一例として、これを図１１に示す。ここでは、矢印の方向が以前の符号化単位を示している。図１１に示すように、復号対象の符号化単位３１０（例えば、符号化単位「７」）のすぐ左に１以上の符号化単位（例えば、符号化単位「１」、「４」、「６」）がある場合、最初の行にある符号化単位（つまり、一番上の符号化単位）を以前の符号化単位とする。この例では、符号化単位「１」を、符号化単位「７」に対する以前の符号化単位とする。

図１２は、本発明の実施の形態３における、符号化画像４１０の復号方法を示すフローチャートである。この方法は、図７に示した、本発明の実施の形態２における符号化画像４１０の復号方法を一部改良したものであり、例えば、復号効率を向上させたものである。実施の形態２における復号方法では、ステップ７００において、符号化画像４１０のスライス３０２のヘッダ３０４からオフセットＱＰを解析した後に、ステップ７０２において、以前の符号化単位のＱＰを読み出し、ステップ７０４において、復号対象の符号化単位３１０のヘッダ３１２からＤＥＬＴＡＱＰを解析して、ステップ７０６において、以前の符号化単位のＱＰと解析されたＤＥＬＴＡＱＰとを足し合わせることにより復号対象の符号化単位３１０のＱＰを決定する。復号対象の符号化単位３１０に含まれる変換単位３１８が符号化されていない場合には、復号対象の符号化単位３１０からＤＥＬＴＡＱＰを信号化又は解析する必要がないことを発明者らは発見した。復号対象の符号化単位３１０からＤＥＬＴＡＱＰを解析する代わりに、ＤＥＬＴＡＱＰを単に０に設定してもよい。したがって、この場合では、ＤＥＬＴＡＱＰの信号化及び解析を省略することにより、復号効率を向上させることができる。

以下、実施の形態３における符号化画像４１０の復号方法を、図１２を参照しながらさらに説明する。フローチャートに示すように、ステップ１２００において、オフセットＱＰをまず、符号化画像４１０のスライス３０２のヘッダ３０４から読み出す又は解析する。そして、ステップ１２０２において、符号化単位３１０の変換単位３１８が符号化されたかどうか（つまり、変換単位３１８が存在するかどうか）を決定又は検出する。例えば、通常、変換単位３１８は、それと関連付けられた特定可能なパラメータ又はフラグを有している。ゆえに、符号化単位３１０内にこのようなパラメータ／フラグがあることを検出すれば、変換単位３１８が符号化されていることを示す。また、符号化単位３１０内にこのようなパラメータ／フラグがなければ、変換単位３１８が符号化されていないことを示すことになる。例えば、「スキップモード」や「ダイレクトモード」など特別な予測モードでは、このようなパラメータ／フラグは符号化単位３１０内に存在しないため、変換単位３１８は符号化されていないと推測することができる。「スキップモード」や「ダイレクトモード」がインター予測モードのサブセットであることは当業者にとって明らかである。変換単位３１８が符号化されている（つまり、存在する）場合は、ステップ１２０３において、符号化単位３１０のヘッダ３１２からＤＥＬＴＡＱＰを解析することにより、ＤＥＬＴＡＱＰの値を取得する。一方、変換単位３１８が符号化されていない（つまり、存在しない）場合は、ステップ１２０４において、ＤＥＬＴＡＱＰの値を０に設定する。そして、ステップ１２０５において、以前の符号化単位のＱＰを決定する。

ステップ１２０６において、以前の符号化単位のＱＰとＤＥＬＴＡＱＰとを足し合わせることにより、符号化単位３１０のＱＰを決定する。次に、ステップ１２０８において、符号化単位３１０のヘッダ３１２から予測モードパラメータ３１４を解析する。そして、ステップ１２１０において、解析された予測モードパラメータ３１４を判定又は比較して、所定の値であるかどうかを判定する。前述したように、当該所定値の例として、符号化単位３１０がイントラ予測モードで符号化されたことを示す「０」などの値がある。

解析された予測モードパラメータが所定値である場合は、ステップ１２１２で、解析されたオフセットＱＰの値を決定ＱＰから減算することによって決定ＱＰを変更する。その後、ステップ１２１４において変換単位が符号化されていれば、ステップ１２１６で、変更ＱＰを用いて量子化変換係数ブロックに逆量子化処理を行い、復号変換係数ブロックを生成し、そして、これら復号変換係数に逆変換処理を行って復号残差ブロックを生成する。そして、ステップ１２１８において、復号残差ブロック及び予測サンプルブロック（例えば、図９を参照して前述したような予測サンプルブロックＤ９０７又はＤ９１１）に基づき、再構成サンプルブロック（又は再構成画像）を生成する。ステップ１２１４において、符号化された変換単位が存在しなければ、当該方法はステップ１２１８に進み、再構成サンプルブロックを生成する。この場合、符号化された変換単位は存在しないので、逆量子化処理を省略することができ、生成された再構成サンプルブロックが単に予測サンプルブロックとなる。

一方、ステップ１２１０で、解析された予測モードが所定値ではない場合、変換単位３１８が符号化されているかどうかによって次のステップが決まる（ステップ１２２２）。変換単位３１８が符号化されていれば、ステップ１２２４で、変更ＱＰを用いて量子化変換係数ブロックに逆量子化処理を行い、復号変換係数ブロックを生成し、そして、これら復号変換係数に逆変換処理を行って復号残差ブロックを生成する。そして、ステップ１２１８において、復号残差ブロック及び予測サンプルブロック（例えば、図９を参照して前述したような予測サンプルブロックＤ９０７又はＤ９１１）に基づき、再構成サンプルブロック（又は再構成画像）を生成する。しかしながら、ステップ１２２２において、符号化された変換単位が存在しなければ、当該方法はステップ１２１８に進み、再構成サンプルブロックを生成する。この場合、符号化された変換単位は存在しないので、逆量子化処理を省略することができ、生成された再構成サンプルブロックが単に予測サンプルブロックとなる。

本発明の実施の形態では、画質を向上させるために、逆量子化処理で適用されるＱＰに加え、ＱＰ（つまり、決定ＱＰ又は変更ＱＰ）も用いてインループフィルタ（例えば、デブロッキングフィルタ又はスムージングフィルタ）などの後処理技術を制御することができる。インループフィルタに対し、ＱＰを用いて、再構成サンプルブロック（又は再構成画像）をフィルタ処理するデブロッキングフィルタを制御することができる。特に、インループフィルタの強度決定における要因としてＱＰを用いることができる。例えば、ＱＰが大きいと主観画質は悪くなるので、高圧縮により生じる視覚的なアーチファクトを減らすためにより強いフィルタが適用される。一方、ＱＰが小さいと主観画質は良くなるので、弱いフィルタで十分である。

したがって、前述した本発明の実施の形態における符号化画像４１０の復号方法は、さらに、変更ＱＰか決定ＱＰかのどちらか一方を適宜用いて、再構成サンプルブロック（又は、再構成画像）をフィルタ処理するステップを含む。例えば、予測モードタイプがイントラ予測モードの場合は変更ＱＰを用い、予測モードタイプがインター予測モードの場合は決定ＱＰを用いる。一例として、図１２は、実施の形態３における、参照符号１２３０で示されるような、再構成サンプルブロックをフィルタ処理するステップをさらに含む符号化画像４１０の復号方法を示したものである。

（実施の形態４）
上記各実施の形態で示した動画像符号化方法（画像符号化方法）または動画像復号化方法（画像復号方法）の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）や動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０６からｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図１３のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６からｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した画像データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図１４に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した多重化データを読み取り復号化する、または記録メディアｅｘ２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、多重化データが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図１５は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナｅｘ３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ｅｘ３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ｅｘ３０６で符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した多重化データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から多重化データを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図１６に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１、ｅｘ４０２、ｅｘ４０３、ｅｘ４０４、ｅｘ４０５、ｅｘ４０６、ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図１７に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図１５に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。

図１８Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ３５０、映像、静止画を撮ることが可能なカメラ部ｅｘ３６５、カメラ部ｅｘ３６５で撮像した映像、アンテナｅｘ３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ３５８を備える。携帯電話ｅｘ１１４は、さらに、操作キー部ｅｘ３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ｅｘ３５７、音声を入力するためのマイク等である音声入力部ｅｘ３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ｅｘ３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ｅｘ３６４を備える。

さらに、携帯電話ｅｘ１１４の構成例について、図１８Ｂを用いて説明する。携帯電話ｅｘ１１４は、表示部ｅｘ３５８及び操作キー部ｅｘ３６６を備えた本体部の各部を統括的に制御する主制御部ｅｘ３６０に対して、電源回路部ｅｘ３６１、操作入力制御部ｅｘ３６２、映像信号処理部ｅｘ３５５、カメラインタフェース部ｅｘ３６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３５９、変調／復調部ｅｘ３５２、多重／分離部ｅｘ３５３、音声信号処理部ｅｘ３５４、スロット部ｅｘ３６４、メモリ部ｅｘ３６７がバスｅｘ３７０を介して互いに接続されている。

電源回路部ｅｘ３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ３６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ３５６で収音した音声信号を音声信号処理部ｅｘ３５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ３５２でスペクトラム拡散処理し、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ３５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ３５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ３５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ｅｘ３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３６２を介して主制御部ｅｘ３６０に送出される。主制御部ｅｘ３６０は、テキストデータを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して基地局ｅｘ１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ３５５は、カメラ部ｅｘ３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ３５３に送出する。また、音声信号処理部ｅｘ３５４は、映像、静止画等をカメラ部ｅｘ３６５で撮像中に音声入力部ｅｘ３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ３５３に送出する。

多重／分離部ｅｘ３５３は、映像信号処理部ｅｘ３５５から供給された符号化された映像データと音声信号処理部ｅｘ３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ３５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３７０を介して符号化された映像データを映像信号処理部ｅｘ３５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ３５４に供給する。映像信号処理部ｅｘ３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ３５９を介して表示部ｅｘ３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ３５４は、音声信号を復号し、音声出力部ｅｘ３５７から音声が出力される。

また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態５）
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図１９は、多重化データの構成を示す図である。図１９に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図２０は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームｅｘ２３５、複数のオーディオフレームからなるオーディオストリームｅｘ２３８を、それぞれＰＥＳパケット列ｅｘ２３６およびｅｘ２３９に変換し、ＴＳパケットｅｘ２３７およびｅｘ２４０に変換する。同じくプレゼンテーショングラフィックスストリームｅｘ２４１およびインタラクティブグラフィックスｅｘ２４４のデータをそれぞれＰＥＳパケット列ｅｘ２４２およびｅｘ２４５に変換し、さらにＴＳパケットｅｘ２４３およびｅｘ２４６に変換する。多重化データｅｘ２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図２１は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図２１における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図２１の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図２２は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図２２下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図２３はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図２４に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図２４に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図２５に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、本実施の形態における動画像復号化方法のステップを図２６に示す。ステップｅｘＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップｅｘＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップｅｘＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップｅｘＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

（実施の形態６）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図２７に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１、ｅｘ５０２、ｅｘ５０３、ｅｘ５０４、ｅｘ５０５、ｅｘ５０６、ｅｘ５０７、ｅｘ５０８、ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力された多重化データは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ｅｘ５０１が、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有するとしているが、制御部ｅｘ５０１の構成は、この構成に限らない。例えば、信号処理部ｅｘ５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ｅｘ５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵｅｘ５０２が信号処理部ｅｘ５０７、または信号処理部ｅｘ５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ｅｘ５０１は、信号処理部ｅｘ５０７、またはその一部を有するＣＰＵｅｘ５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（実施の形態７）
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩｅｘ５００において、従来の規格に準拠する映像データを復号する際のＣＰＵｅｘ５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビｅｘ３００、ＬＳＩｅｘ５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図２８は、本実施の形態における構成ｅｘ８００を示している。駆動周波数切替え部ｅｘ８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ｅｘ８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ｅｘ８０３は、図２７のＣＰＵｅｘ５０２と駆動周波数制御部ｅｘ５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１、および、従来の規格に準拠する復号処理部ｅｘ８０２は、図２５の信号処理部ｅｘ５０７に該当する。ＣＰＵｅｘ５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵｅｘ５０２からの信号に基づいて、駆動周波数制御部ｅｘ５１２は、駆動周波数を設定する。また、ＣＰＵｅｘ５０２からの信号に基づいて、信号処理部ｅｘ５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態５で記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態５で記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵｅｘ５０２における駆動周波数の選択は、例えば、図３０のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファｅｘ５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵｅｘ５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図２９は、本実施の形態の方法を実施するステップを示している。まず、ステップｅｘＳ２００では、信号処理部ｅｘ５０７において、多重化データから識別情報を取得する。次に、ステップｅｘＳ２０１では、ＣＰＵｅｘ５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップｅｘＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップｅｘＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵｅｘ５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

（実施の形態８）
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩｅｘ５００の信号処理部ｅｘ５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ｅｘ５０７を個別に用いると、ＬＳＩｅｘ５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図３１Ａのｅｘ９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ｅｘ９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明の一態様に特有の他の処理内容については、専用の復号処理部ｅｘ９０１を用いるという構成が考えられる。特に、本発明は、変換部に特徴を有していることから、例えば、逆変換については専用の復号処理部ｅｘ９０１を用い、それ以外のエントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償予測のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図３１Ｂのｅｘ１０００に示す。この例では、本発明の一態様に特有の処理内容に対応した専用の復号処理部ｅｘ１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ｅｘ１００２と、本発明の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ｅｘ１００３とを用いる構成としている。ここで、専用の復号処理部ｅｘ１００１、ｅｘ１００２は、必ずしも本発明の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩｅｘ５００で実装することも可能である。

このように、本発明の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

なお、具体的な実施の形態で示されたような本発明に対し、本発明の精神と範囲を逸脱することがなければ、様々な変形例及び／又は一部改良がなされてもよいことを当業者は理解されよう。したがって、上述の実施の形態は例示するためのものであり、本発明を限定するものではない。

本発明は、オーディオ、静止画、及び、ビデオを符号化する符号化装置、並びに、当該符号化装置により符号化されたデータを復号する復号装置に適用可能である。例えば、本発明は、オーディオ装置、携帯電話、デジタルカメラ、ＢＤレコーダ、及び、デジタルテレビなどの様々なＡＶ装置に適用可能である。

Claims (23)

1. 画像を符号化して符号化画像を生成する画像符号化方法であって、
   インター予測符号化単位よりもイントラ予測符号化単位のほうが小さい量子化パラメータとするための量子化オフセットパラメータを前記符号化画像に書き込む量子化オフセットパラメータ書き込みステップと、
   前記画像の画像サンプルブロックを符号化して前記符号化画像の符号化単位を生成するための予測モードタイプを決定する予測モードタイプ決定ステップと、
   前記画像サンプルブロックの量子化パラメータを決定する量子化パラメータ決定ステップと、
   前記予測モードタイプが所定のタイプかどうかを判定する判定ステップとを含み、
   前記予測モードタイプが前記所定のタイプである場合には、
   前記量子化オフセットパラメータを用いて、決定された前記量子化パラメータを変更する量子化パラメータ変更ステップと、
   変更された前記量子化パラメータを用いて、前記画像サンプルブロックの量子化処理を行う量子化ステップとを含み、
   前記予測モードタイプが前記所定のタイプでない場合には、
   決定された前記量子化パラメータを用いて、前記画像サンプルブロックの量子化処理を行う量子化ステップとを含む
   画像符号化方法。
2. 前記量子化パラメータ変更ステップは、決定された前記量子化パラメータから前記量子化オフセットパラメータの値を減算するステップを含む
   請求項１に記載の画像符号化方法。
3. 前記量子化オフセットパラメータ書き込みステップは、スライスヘッダ、ピクチャヘッダ、及び、シーケンスヘッダのうちいずれか１つに前記量子化オフセットパラメータを書き込むステップを含む
   請求項１又は２に記載の画像符号化方法。
4. さらに、
   決定された前記予測モードタイプを示す予測モードタイプパラメータを前記符号化単位のヘッダに書き込む予測モードタイプパラメータ書き込みステップを含む
   請求項１〜３のいずれか１項に記載の画像符号化方法。
5. さらに、
   デルタ量子化パラメータを決定するデルタ量子化パラメータ決定ステップと、
   前記デルタ量子化パラメータを前記符号化単位のヘッダに書き込むデルタ量子化パラメータ書き込みステップとを含み、
   前記デルタ量子化パラメータは、以前の符号化単位の量子化パラメータから、決定された前記量子化パラメータの値を減算することにより決定された値を表す
   請求項４に記載の画像符号化方法。
6. 前記以前の符号化単位は、前記符号化画像の符号化順序において前記符号化単位の直前の符号化単位と定義される
   請求項５に記載の画像符号化方法。
7. 前記符号化画像の符号化単位は四分木構造で表され、前記以前の符号化単位は、前記符号化画像の符号化順序に関わらず、前記四分木構造に基づいて、前記符号化単位のすぐ左に位置する符号化単位と定義される
   請求項５に記載の画像符号化方法。
8. 予測モードの前記所定のタイプはイントラ予測モードである
   請求項１〜７のいずれか１項に記載の画像符号化方法。
9. 前記符号化画像は複数の符号化単位からなる最大符号化単位を含み、
   前記量子化オフセットパラメータは、前記最大符号化単位内において、前記イントラ予測モードで符号化された符号化単位と予測モードの他のタイプで符号化された符号化単位との量子化パラメータの差に基づいて決定される
   請求項８に記載の画像符号化方法。
10. 予測モードの前記他のタイプはインター予測モードである
    請求項９に記載の画像符号化方法。
11. 符号化画像を復号する画像復号方法であって、
    インター予測符号化単位よりもイントラ予測符号化単位のほうが小さい量子化パラメータとするための量子化オフセットパラメータを前記符号化画像から読み出す量子化オフセットパラメータ読み出しステップと、
    前記符号化画像の符号化単位の予測モードタイプを読み出す予測モードタイプ読み出しステップと、
    前記符号化単位の量子化パラメータを決定する量子化パラメータ決定ステップと、
    前記予測モードタイプが所定のタイプかどうかを判定する判定ステップとを含み、
    前記予測モードタイプが前記所定のタイプである場合には、
    前記量子化オフセットパラメータを用いて、決定された前記量子化パラメータを変更する量子化パラメータ変更ステップと、
    変更された前記量子化パラメータを用いて、前記符号化単位の逆量子化処理を行う逆量子化ステップとを含み、
    前記予測モードタイプが前記所定のタイプでない場合には、
    決定された前記量子化パラメータを用いて、前記符号化単位の逆量子化処理を行う逆量子化ステップとを含む
    画像復号方法。
12. 前記決定量子化パラメータ変更ステップは、決定された前記量子化パラメータから前記量子化オフセットパラメータの値を減算するステップを含む
    請求項１１に記載の画像復号方法。
13. 前記量子化オフセットパラメータ読み出しステップは、スライスヘッダ、ピクチャヘッダ、及び、シーケンスヘッダのうちいずれか一つから前記量子化オフセットパラメータを読み出すステップを含む
    請求項１１又は１２に記載の画像復号方法。
14. 前記符号化単位は変換単位を含み、
    さらに、
    前記変換単位が符号化されているかどうかを判定する判定ステップを含み、
    前記変換単位が符号化されていると決定した場合には、さらに、前記符号化単位のヘッダから前記符号化単位のデルタ量子化パラメータを読み出すデルタ量子化パラメータ読み出しステップを含み、
    前記変換単位が符号化されていないと決定した場合には、さらに、前記符号化単位のデルタ量子化パラメータの値を０に設定するデルタ量子化パラメータ設定ステップを含む
    請求項１１〜１３のいずれか１項に記載の画像復号方法。
15. 前記量子化パラメータ決定ステップは、前記デルタ量子化パラメータと以前の符号化単位の量子化パラメータとを足し合わせるステップを含む
    請求項１４に記載の画像復号方法。
16. 前記以前の符号化単位を、前記符号化画像の符号化順序において前記符号化単位の直前の符号化単位と定義する
    請求項１５に記載の画像復号方法。
17. 前記符号化画像の符号化単位は四分木構造で表され、前記以前の符号化単位は、前記符号化画像の符号化順序に関わらず、前記四分木構造に基づいて、前記符号化単位のすぐ左に位置する符号化単位と定義される
    請求項１５に記載の画像復号方法。
18. 前記予測モードタイプ読み出しステップは、前記符号化単位のヘッダから前記予測モードタイプを読み出すステップを含む、請求項１４〜１７のいずれか１項に記載の画像復号方法。
19. 予測モードの前記所定のタイプはイントラ予測モードである
    請求項１１〜１８のいずれか１項に記載の画像復号方法。
20. 前記符号化画像は複数の符号化単位からなる最大符号化単位を含み、
    前記量子化オフセットパラメータは、前記最大符号化単位内において、前記イントラ予測モードで符号化された符号化単位と予測モードの他のタイプで符号化された符号化単位との量子化パラメータの差に基づいて決定される
    請求項１９に記載の画像復号方法。
21. 予測モードの前記他のタイプはインター予測モードである
    請求項２０に記載の画像復号方法。
22. 画像を符号化して符号化画像を生成する画像符号化装置であって、
    インター予測符号化単位よりもイントラ予測符号化単位のほうが小さい量子化パラメータとするための量子化オフセットパラメータを前記符号化画像に書き込む書き込み部と、
    前記画像の画像サンプルブロックを符号化して前記符号化画像の符号化単位を生成するための予測モードタイプを決定する予測モードタイプ決定部と、
    前記画像サンプルブロックの量子化パラメータを決定する量子化パラメータ決定部と、
    前記予測モードタイプが所定のタイプかどうかを判定する量子化パラメータ算出部と、
    前記画像サンプルブロックの量子化処理を行う量子化部とを備え、
    前記予測モードタイプが前記所定のタイプである場合には、
    前記量子化パラメータ算出部は、前記量子化オフセットパラメータを用いて、決定された前記量子化パラメータを変更し、
    前記量子化部は、変更された前記量子化パラメータを用いて、前記画像サンプルブロックの量子化処理を行い、
    前記予測モードタイプが前記所定のタイプでない場合には、
    前記量子化部は、決定された前記量子化パラメータを用いて、前記画像サンプルブロックの量子化処理を行う
    画像符号化装置。
23. 符号化画像を復号する画像復号装置であって、
    インター予測符号化単位よりもイントラ予測符号化単位のほうが小さい量子化パラメータとするための量子化オフセットパラメータを前記符号化画像から読み出す解析部と、
    前記符号化画像の符号化単位から予測モードタイプパラメータを読み出す復号部と、
    前記符号化単位の量子化パラメータを決定する量子化パラメータ決定部と、
    前記予測モードタイプが所定のタイプかどうかを判定する量子化パラメータ算出部と、
    前記符号化単位の逆量子化処理を行う逆量子化部とを備え、
    前記予測モードタイプが前記所定のタイプである場合には、
    前記量子化パラメータ算出部は、前記量子化オフセットパラメータを用いて、決定された前記量子化パラメータを変更し、
    前記逆量子化部は、変更された前記量子化パラメータを用いて、前記符号化単位の逆量子化処理を行い、
    前記予測モードタイプが前記所定のタイプでない場合には、
    前記逆量子化部は、決定された前記量子化パラメータを用いて、前記符号化単位の逆量子化処理を行う
    画像復号装置。

Images