JP6268989B2 - 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム - Google Patents

Description

本発明は、例えば、符号化対象ピクチャの符号化対象領域を符号化済みの他の領域の情報を用いて符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムに関する。

動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを高能率符号化する。なお、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。

動画像データの高能率符号化方法として、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法は、動画像データが空間方向に相関性が高いことを利用し、他のピクチャの符号化画像を用いない。ピクチャ内予測符号化方法で符号化されたピクチャは、そのピクチャ内の情報のみで復元できる。

また、高能率符号化方法で採用されている他の符号化方式として、ピクチャ間予測（インター予測）符号化方法が知られている。この符号化方法は、動画像データが時間方向に相関性が高いことを利用する。動画像データでは、一般に、あるタイミングのピクチャとそのピクチャに後続するピクチャ間の類似度が高いことが多い。そのため、インター予測符号化方法は、動画像データのその性質を使用する。一般に、動画像符号化装置は、符号化対象の原ピクチャを複数の符号化ブロックに分割する。動画像符号化装置は、ブロックごとに、符号化済みピクチャを復号して得られた参照ピクチャから、符号化ブロックと類似している領域を参照領域として選択し、参照領域と符号化ブロック間の差分を表す予測誤差画像を計算することで、時間的な冗長性を取り除く。そして動画像符号化装置は、参照領域を示す動きベクトル情報および予測誤差画像を符号化することにより、高い圧縮率が実現される。一般的に、イントラ予測符号化方法よりも、インター予測符号化方法の方が圧縮効率が高い。

これらの予測符号化方法を採用する代表的な動画像の符号化方式として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding（H.264 MPEG-4 AVC）が広く利用されている。これらの符号化方式では、例えば、ピクチャについて、イントラ予測符号化方法とインター予測符号化方法のいずれが選択されたかは、符号化された動画像データを含む映像ストリームに明示的に記載される。選択された予測符号化方法は符号化モードと呼ばれる。さらに、選択された符号化モードがイントラ予測符号化モードであれば、動画像符号化装置は、符号化ブロックに対する予測ブロックの生成方法を規定する複数の予測モードの中から、何れかの予測モードを選択できる。

図１は、H.264で規定されている、4x4画素の符号化ブロックにおける8種類の予測モードを示す図である。図１に示されるように、符号化ブロック１００の予測ブロックは、符号化ブロック１００の周囲の符号化済みの画素１０１の値に基づいて生成される。図１において、矢印１０２は、それぞれの予測モードにおける参照方向を表す。例えば、予測モード０では、予測ブロックの各垂直ライン上の画素の値は、符号化ブロック１００の上側に隣接する画素の値に設定される。

これら動画像符号化方式では、Iピクチャ、Pピクチャ、Bピクチャが規定されている。Iピクチャは、ピクチャ自身の情報のみを用いて符号化されるピクチャである。Pピクチャは、既に符号化されている１枚のピクチャの情報を用いてインター符号化されるピクチャである。Bピクチャは、既に符号化されている２枚のピクチャの情報を用いて双方向予測符号化されるピクチャである。Bピクチャが参照する二つの参照ピクチャを示す時間的な方向は、L0、L1で表される。なお、Bピクチャが参照する２枚の参照ピクチャの一方がそのBピクチャよりも時間的に前のピクチャであり、他方がそのBピクチャよりも時間的に後のピクチャであってもよい。この場合、L0方向は、例えば、Bピクチャである符号化対象ピクチャから時間的に前方を示す向きとなり、L1方向は、符号化対象ピクチャから時間的に後方を示す向きとなる。あるいは、２枚の参照ピクチャの何れも、Bピクチャよりも時間的に前のピクチャであってもよい。この場合、L0方向、L1方向は、何れも、符号化対象ピクチャから時間的に前方を示す向きとなる。さらに、２枚の参照ピクチャの何れも、Bピクチャよりも時間的に後のピクチャであってもよい。この場合、L0方向、L1方向は、何れも、符号化対象ピクチャから時間的に後方を示す向きとなる。

このような符号化方式を用いて符号化された動画像データをリアルタイム通信する場合、動画像符号化装置および動画像復号装置において低遅延化が図られている。例えば、H.264における低遅延を実現するための方式では、ピクチャの並び替えによる遅延を防ぐために、符号化対象ピクチャよりも時間的に後のピクチャを参照する後方向予測は使用されない。また、動画像符号化装置は、ピクチャを16x16画素のブロック単位に分割する。このブロックはマクロブロックと呼ばれる。また、マクロブロックのラインはスライスと呼ばれる。マクロブロックには、イントラ予測符号化を行うイントラマクロブロックと、インター予測符号化を行うインターマクロブロックがある。さらなる低遅延を実現するため、あるスライス内のデータをすべて、イントラマクロブロックとして符号化するイントラリフレッシュ方式が提案されている（例えば、特許文献１を参照）。

図２（ａ）及び図２（ｂ）を参照しつつ、このイントラリフレッシュ方式を説明する。図２（ａ）は、垂直方向にリフレッシュ済み領域が移動する例を示し、図２（ｂ）は、水平方向にリフレッシュ済み領域が移動する例を示す。図２（ａ）及び図２（ｂ）において、横軸は時間を表す。各ピクチャ２０１〜２０５は、Pピクチャまたは過去のピクチャのみを参照するBピクチャとして符号化される。動画像符号化装置は、イントラリフレッシュが適用されるスライスの位置を、ピクチャごとに、第０マクロブロックラインから第tマクロブロックライン、第（t＋１）マクロブロックラインと徐々にずらしていく。そして動画像符号化装置は、一定のリフレッシュ周期でピクチャ全体にイントラリフレッシュが適用されるスライスを巡回させる。例えば、図２（ａ）では、時間経過とともに、イントラリフレッシュが適用されるスライスが通過した領域であるリフレッシュ済み領域２１０が下方に拡張される。また、図２（ｂ）では、時間経過とともに、リフレッシュ済みの領域２２０が右方に拡張される。ここで、リフレッシュ済み領域では、すなわち、図２（ａ）では、リフレッシュ境界２３０よりも上側の領域では、各ブロックは、過去の符号化済みのピクチャのリフレッシュ済み領域、または現ピクチャの符号化済みであるリフレッシュ済み領域のみを参照して符号化されなければならない。その結果、イントラリフレッシュが適用されるスライスが一巡した後、ピクチャ全体がリフレッシュされるので、動画像復号装置は、伝送エラーなどでピクチャを復号不能なエラーが生じても、リフレッシュ後のピクチャから復号を再開できる。また、動画像復号装置は、映像ストリームを途中から復号できる。さらに、情報量が多いIピクチャが用いられないので、動画像符号化装置及び動画像復号装置のバッファのサイズが小さくて済む。その結果、バッファによる遅延も軽減できる。さらに、図２（ｂ）に示されるように、イントラリフレッシュが適用されるスライスを垂直方向のマクロブロックラインとすることで、マクロブロックライン単位の情報量が均一化される。その結果として、動画像符号化装置は、情報量制御を簡単化できる。

なお、イントラリフレッシュが適用されるスライスに含まれるマクロブロックについても、必ずしもイントラ予測符号化される必要はなく、動画像符号化装置は、過去の符号化済みのピクチャのリフレッシュ済み領域のみを参照するようにして、インター予測符号化してもよい。しかしながら、動画像符号化装置は、イントラリフレッシュが適用されるスライスに含まれるマクロブロックについては、符号化効率の面でイントラマクロブロックとすることが好ましい。

図３を参照しつつ、イントラリフレッシュが適用される場合の一つのピクチャ内の符号化方法を説明する。ピクチャ３００において、リフレッシュ境界３０１よりも左側の領域３０２は、イントラリフレッシュが適用されるスライスが通過したリフレッシュ済み領域である。一方、リフレッシュ境界３０１よりも右側の領域３０３は、イントラリフレッシュが適用されるスライスが通過していない未リフレッシュ領域である。また図３において、個々のブロック３０４は、マクロブロックである。

リフレッシュ済み領域３０２のインター予測符号化されるマクロブロックであるインターマクロブロックは、過去の符号化済みピクチャを参照してインター予測符号化される。また、リフレッシュ境界３０１に隣接する、イントラリフレッシュが適用されるスライス３０５に含まれる、イントラ予測符号化されるマクロブロックであるイントラマクロブロックについては、リフレッシュ境界３０１を越えた位置にある画素を参照しないように、適用できる予測モードが制限される。動画像符号化装置は、一般に、スライスを用いることにより、一つのスライス内のマクロブロックについて、他のスライスのデータから予測することを禁止できる。また、スライスを用いることなく、特定の予測モードの適用を直接禁止する方法が知られている。例えば、図１に示される符号化ブロック１００の右端がリフレッシュ境界に接していれば、符号化ブロック１００については予測モード３と７の適用が禁止される。

特公平６−１０１８４１号公報

最新の動画像符号化方式(High Efficiency Video Coding、HEVC)では、ピクチャをブロックに分割する方法が従来の符号化方式と異なる。図４は、HEVCによる、ピクチャの分割の一例を示す図である。

図４に示されるように、ピクチャ４００は、符号化ブロックCoding Tree Unit(CTU)単位で分割され、各CTU４０１は、ラスタスキャン順に符号化される。CTU４０１のサイズは、64x64〜16x16画素の中から選択できる。ただし、CTU４０１のサイズは、シーケンス単位で一定とされる。

CTU４０１は、さらに、四分木構造で複数のCoding Unit（CU）４０２に分割される。一つのCTU４０１内の各CU４０２は、Zスキャン順に符号化される。CU４０２のサイズは可変であり、そのサイズは、CU分割モード8x8〜64x64画素の中から選択される。CU４０２は、符号化モードであるイントラ予測符号化モードとインター予測符号化モードを選択する単位となる。CU４０２は、Prediction Unit（PU）４０３単位またはTransform Unit（TU）４０４単位で個別に処理される。PU４０３は、符号化モードに応じた予測が行われる単位となる。例えば、PU４０３は、イントラ予測符号化モードでは、予測モードが適用される単位となり、インター予測符号化モードでは、動き補償を行う単位となる。PU４０３のサイズは、例えば、イントラ予測符号化モードが適用される場合、2Nx2NとNxN（Nは、CUサイズ/2）から選択可能である。

一方、TU４０４は、直交変換の単位である。またイントラ予測符号化モードでは、TU４０４は、予測ブロックの生成単位でもある。TU４０４のサイズは、4x4画素〜32x32画素の中から選択される。TU４０４は、四分木構造で分割され、Zスキャン順に処理される。本明細書では、便宜上、Transform Unitを第１のサブブロックと呼び、Prediction Unitを第２のサブブロックと呼び、Coding Unitを第３のサブブロックと呼ぶ。

HEVCでは、動画像符号化装置は、イントラ予測符号化モードでは、PUサイズよりもTUサイズを大きくすることはできない（TUサイズは、最大でPUサイズと同じサイズまで設定可能）という制限がある。このように、イントラ予測符号化を行うためのブロックサイズ及び予測モードの組み合わせをイントラモードと呼ぶ。HEVCのように、予測モードの適用の単位のブロックサイズと予測ブロックの生成単位のブロックサイズが別個に規定される動画像符号化方式においてイントラリフレッシュ方式が採用される場合、未リフレッシュ領域内の情報がリフレッシュ済み領域内に伝搬することを防止するには、各ブロックのサイズ及び適用される予測モードを適切に決定することが求められている。

そこで、本明細書は、イントラリフレッシュ方式が採用される場合において、イントラ予測符号化モードが適用されるサイズ可変のブロックについて未リフレッシュ領域内の情報が参照されることを防止できる動画像符号化装置を提供することを目的とする。

一つの実施形態によれば、イントラリフレッシュ方式により動画像に含まれる符号化対象ピクチャを符号化する動画像符号化装置が提供される。この動画像符号化装置は、符号化対象ピクチャにおけるイントラリフレッシュが適用されるスライスが通過したリフレッシュ済み領域に含まれる符号化対象ブロックを、符号化対象ピクチャの符号化済みの領域の情報を用いて符号化対象ブロックの予測ブロックを生成し、符号化対象ブロックと予測ブロック間の誤差信号を符号化するイントラ予測符号化モードにより符号化する際に、符号化対象ブロック内の予測ブロックの生成単位である第１のサブブロックが取り得る複数のサイズのそれぞれについて、第１のサブブロックについての予測ブロックを生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数の予測モードのうち、参照範囲がイントラリフレッシュが適用されるスライスが通過していない未リフレッシュ領域と重ならない予測モードを有効予測モードとする制限ブロック特定部と、第１のサブブロックのサイズ、第１のサブブロックを含む、予測モードの適用単位である第２のサブブロックのサイズ、及び、有効予測モードの組み合わせのそれぞれについて、第１及び第２のサブブロックを含む、イントラ予測符号化モードの適用単位である第３のサブブロックをイントラ予測符号化したときの符号量の推定値を算出し、その推定値が最小となる、第１のサブブロックのサイズ、第２のサブブロックのサイズ及び有効予測モードの組み合わせをイントラ予測モードとして特定する符号化モード決定部と、第３のサブブロックを、イントラ予測モードを用いて符号化することにより符号化データを生成する予測符号化部と、符号化データをエントロピー符号化するエントロピー符号化部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された動画像符号化装置は、イントラリフレッシュ方式が採用される場合において、イントラ予測符号化モードが適用されるサイズ可変のブロックについて未リフレッシュ領域内の情報が参照されることを防止できる。

H.264で規定されている、4x4画素の符号化ブロックにおける8種類の予測モードを示す図である。 （ａ）は、垂直方向にリフレッシュ済み領域が移動する例を示す図であり、（ｂ）は、水平方向にリフレッシュ済み領域が移動する例を示す図である。 イントラリフレッシュ方式において符号化対象ピクチャ内の各領域と、符号化済みピクチャ内の参照可能な領域との関係を示す図である。 HEVCによる、ピクチャの分割の一例を示す図である。 （ａ）〜図５（ｃ）は、それぞれ、4x4画素、8x8画素、16x16画素のイントラブロックについて予測ブロックの生成の際に参照される画素を示す図である。 HEVCにおける各符号化ブロックにおいて参照される領域とリフレッシュ境界との位置関係の一例を示す図である。 一つの実施形態による動画像符号化装置の概略構成図である。 リフレッシュ境界の位置の決定方法の説明図である。 CTUのインデックスの割り当て方法を示す図である。 リフレッシュ境界の位置とTU制限対象CTUの関係を示す図である。 TU制限対象CTUを示す図である。 （ａ）〜（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素である各TUのインデックスを表す図である。 （ａ）〜（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻(t+6)のピクチャのTU制限対象CTUのTU禁止マップである。 （ａ）〜（ｅ）は、PUのサイズの階層ごとに、各PUのインデックスを示す図である。 （ａ）〜（ｅ）は、それぞれ、サイズが64x64画素、32x32画素、16x16画素、8x8画素、4x4画素のPUについて、図１０に示された時刻(t+6)のピクチャのTU制限対象CTUのPU禁止マップである。 （ａ）〜（ｅ）は、それぞれ、変形例による、サイズが64x64画素、32x32画素、16x16画素、8x8画素、4x4画素のPUについて、図１０に示された時刻(t+6)のピクチャのTU制限対象CTUのPU禁止マップである。 （ａ）〜（ｄ）は、CUのサイズの階層ごとに、各CUのインデックスを示す図である。 （ａ）〜（ｄ）は、それぞれ、サイズが64x64画素、32x32画素、16x16画素、8x8画素のCUについて、図１０に示された時刻(t+6)のピクチャのTU制限対象CTUのCU禁止マップである。 図１０に示された時刻t〜(t+7)の各ピクチャにおける、予測モード制限対象CTUを示す図である。 （ａ）〜（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻tのピクチャの左側のCTUについてのTU予測モード制限マップである。 （ａ）〜（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻(t+6)のピクチャの右側のCTUについてのTU予測モード制限マップである。 HEVCにおいて規定されている予測モードを示す図である。 （ａ）は、予測モードが0（intraPlanar）である場合の8x8画素のブロックに対する参照画素を示す図である。（ｂ）は、予測モードが1（intraDC）である場合の8x8画素のブロックに対する参照画素を示す図である。 （ａ）〜（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻(t+6)のピクチャの右側のCTUについてのTU予測モード条件マップである。 （ａ）〜（ｃ）は、サイズが32x32画素、16x16画素、8x8画素のTUについて、予測ブロックの生成において右上のブロックを参照できないTUと符号化順序の関係を示す図である。 右上の符号化済みブロックを参照できないTUについての参照画素の値の決定方法を説明する図である。 （ａ）〜（ｅ）は、それぞれ、サイズが64x64画素、32x32画素、16x16画素、8x8画素、4x4画素のPUについて、図１０に示された時刻(t+6)のピクチャの右側のCTUについてのPU予測モード条件マップである。 図１０に示された時刻(t+6)のピクチャの左側のCTUについて、PUSIZE=32としたきの符号化コストとPUSIZE=16としたときの比較の例を示す図である。 変形例による、図１０に示された時刻(t+6)のピクチャの左側のCTUについて、PUSIZE=32としたきの符号化コストとPUSIZE=16としたときの比較の例を示す図である。 動画像符号化処理の動作フローチャートである。 図１０の時刻t〜(t+7)のピクチャに対して第２の実施形態により設定されるTU制限対象CTUを示す図である。 （ａ）〜（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻tのピクチャのリフレッシュ境界を含むCTUに隣接するTU制限対象CTUのTU禁止マップである。 （ａ）〜（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻(t+6)のピクチャの右側のCTUのTU禁止マップである。 第２の実施形態による、図１０に示された時刻t〜(t+7)の各ピクチャにおける、予測モード制限対象CTUを示す図である。 （ａ）〜（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、第２の実施形態により設定される、図１０に示された時刻(t+6)のピクチャの右側のCTUのTU予測モード制限マップである。 （ａ）〜（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻(t+6)のピクチャのCTU１０１２についてのTU予測モード条件マップである。 実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。

以下、図を参照しつつ、一つの実施形態による、動画像符号化装置について説明する。
上述したように、イントラリフレッシュ方式が採用される場合において、上述のイントラスライス構造が前提となる。すなわち、リフレッシュ済み領域のインターマクロブロックは、過去の符号化済みピクチャを参照してインター予測符号化される。また、リフレッシュ境界に接するイントラスライスに含まれるイントラマクロブロックについては、リフレッシュ境界を越えた位置にある画素を参照しないように、適用可能な予測モードが制限される。すなわち、予測モード決定時にその制限が行われる。

特に、HEVCのように、符号化ブロックが可変サイズのサブブロックで分割される動画像符号化方法では、イントラスライスに含まれるイントラマクロブロックについて、サブブロックのサイズごとに、適用が制限される予測モードが決定される。

HEVCのイントラ予測符号化モードでは、H.264と同様に、符号化ブロックの予測ブロックは、符号化済みの周辺画素から作成される。そして、符号化ブロックのサイズごとに、予測ブロックの生成の際に参照される画素の範囲が異なる。

図５（ａ）〜図５（ｃ）は、それぞれ、4x4画素、8x8画素、16x16画素のイントラブロックについて予測ブロックの生成の際に参照される画素を示す図である。図５（ａ）に示されるように、4x4画素のイントラマクロブロック５００については、その左上端画素の左上方に隣接する画素５０１から下方に連続する９個の画素と画素５０１から右側に連続する９個の画素が予測ブロックの生成の際に参照される可能性がある。同様に、8x8画素のイントラマクロブロック５１０については、その左上端画素の左上方に隣接する画素５１１から下方に連続する１７個の画素と画素５１１から右側に連続する１７個の画素が予測ブロックの生成の際に参照される可能性がある。そして16x16画素のイントラマクロブロック５２０については、その左上端画素の左上方に隣接する画素５２１から下方に連続する３３個の画素と画素５２１から右側に連続する３３個の画素が予測ブロックの生成の際に参照される可能性がある。なお、32x32画素のイントラマクロブロックについても同様に、その左上端に隣接する画素から下方に連続する６５個の画素と右側に連続する６５個の画素が予測ブロックの生成の際に参照される可能性がある。また、予測ブロックのサイズは、TUのサイズと等しい。

図６は、HEVCにおける各符号化ブロックにおいて参照される領域とリフレッシュ境界との位置関係の一例を示す図である。簡単化のため、符号化対象ピクチャ６００及び一つ前の符号化済みピクチャ６１０は、それぞれ、二つのCTU６０１、６０２を含むものとする。各CTU６０１、６０２は、64x64画素を持つ。この例では、ラスタスキャン順に従って、左側のCTU６０１が符号化された後に、右側のCTU６０２が符号化される。各CTU６０１、６０２は、四分木構造で予測ブロックの生成単位である複数のサブブロックTUに分割される。各TUは、四分木によって分割された四つのブロックごとにZスキャン順に符号化される。そのため、TU６２１のように、TUの位置によってはそのTUの符号化時においてそのTUの右上のブロックが符号化されておらず、予測ブロックの生成において参照できないことがある。その場合は、TUの右上の画素は参照されず、予測ブロックの生成の際、その右上の画素の値の代わりに、TUの上側に隣接する参照可能な画素のうちの最も右側の画素の値が用いられる。

また、符号化対象ピクチャ６００と一つ前の符号化済みピクチャ６１０とでは、リフレッシュ済み領域と未リフレッシュ領域の境界であるリフレッシュ境界６３１の位置が異なる。リフレッシュ境界６３１は、ピクチャごとに、予め設定された方向にリフレッシュ更新サイズSだけシフトされる。ただし、動画像符号化装置は、ピクチャごとにリフレッシュ境界の位置を更新しなくてもよく、一定周期でピクチャ全体にリフレッシュ境界を巡回させればよい。なお、便宜上、リフレッシュ境界が移動する方向、すなわち、イントラリフレッシュが適用されるスライスが移動する方向をリフレッシュ方向と呼ぶ。
なお、本実施形態では、簡単化のため、リフレッシュ境界の位置がピクチャごとに更新されるものとする。

上述したように、リフレッシュ済み領域に属するTUは、予測ブロックの生成において未リフレッシュ領域を参照することが禁止される。リフレッシュ境界に接するTUを含むPUにおいて、H.264と同様に、図５（ａ）〜図５（ｃ）に示される、符号化対象のTUの右上の画素を参照する予測モードの適用が禁止される。さらに、HEVCでは、TU及びPUなどのブロックサイズが可変であるため、リフレッシュ境界に接しないTUを含むPUにおいても、未リフレッシュ領域を参照する予測モードが存在する。そこでこの動画像符号化装置は、これらのTU及びPUについても、未リフレッシュ領域を参照する予測モードの適用を禁止する。またこの動画像符号化装置は、上述したように符号化対象のTUの右上のブロックが符号化されておらず、元々参照できないTUであれば、そのTUを含むPUについて、予測モードの適用を制限しない。

なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。

本実施形態では、動画像符号化装置は、動画像符号化方式としてHEVCを利用し、かつ、イントラリフレッシュ方式により動画像データを符号化する。本実施形態では、リフレッシュ境界は水平方向に移動するものとする。また動画像符号化装置は、ピクチャごとに、リフレッシュ境界を移動させなくてもよく、一定周期でピクチャ全体にリフレッシュ境界を巡回させればよい。

図７は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、リフレッシュ境界決定部１０と、制限ブロック特定部１１と、符号化モード決定部１８と、予測符号化部１９と、エントロピー符号化部２０とを有する。また、制限ブロック特定部１１は、TU制限対象CTU決定部１２と、制限対象TU決定部１３と、制限対象PU決定部１４と、制限対象CU決定部１５と、予測モード制限対象CTU決定部１６と、制限対象予測モード決定部１７とを有する。

動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

符号化対象となるピクチャは、例えば、動画像符号化装置１全体を制御する制御部（図示せず）により所定数の画素を持つ複数のCTUに分割される。そして動画像符号化装置１には、各CTUが、例えばラスタスキャン順で入力される。そして動画像符号化装置１は、CTUごとに符号化する。以下、動画像符号化装置１が有する各部について説明する。

リフレッシュ境界決定部１０は、リフレッシュ周期及び前回のリフレッシュ境界の更新時におけるリフレッシュ境界の位置に基づいて、符号化対象ピクチャにおけるリフレッシュ境界の位置を決定する。

リフレッシュ境界は、リフレッシュ済み領域が、所定のリフレッシュ周期でピクチャ全体を占めるように巡回される。これにより、イントラリフレッシュが適用されるスライスが、リフレッシュ方向において、ピクチャの一方の端部からピクチャの他方の端部まで一巡したときに、リフレッシュ済み領域がピクチャ全体を占めることができる。そのため、動画像復号装置は、その時点でピクチャを正しく復号できる。

リフレッシュ周期Tは、PicWidth/Sで表される。ここで、Sは、イントラリフレッシュが適用されるスライスのリフレッシュ方向におけるサイズであるリフレッシュ更新サイズである。また、PicWidthは、ピクチャのリフレッシュ方向におけるサイズ、すなわち、この例ではピクチャの水平方向のサイズである。例えば、HDTVである2Kx1K（1920x1080）画素のピクチャに対するリフレッシュ更新サイズがSであるとする。この場合、UHDTVである4Kx2K（3840×2160）画素のピクチャでは、水平方向及び垂直方向の解像度がHDTVのピクチャの解像度の２倍となる。そのため、UHDTVにおけるリフレッシュ周期TをHDTVにおけるリフレッシュ周期と同じにするには、リフレッシュ更新サイズは2*Sに設定される。ただし、ピクチャの解像度によりリフレッシュ周期は制限されない。

一般に、リフレッシュ周期Tは予め設定され、制御部（図示せず）がピクチャのサイズ及びリフレッシュ周期Tに基づいてリフレッシュ更新サイズSを算出する。そしてリフレッシュ更新サイズSは、制御部からリフレッシュ境界決定部１０に通知される。リフレッシュ更新サイズSは、イントラ予測の選択単位となるサブブロック、すなわちCUの取り得る最小サイズの整数倍となることが好ましい。HEVCでは、CTUのサイズ、選択可能なCUサイズの候補及び選択可能なTUサイズの候補は予め設定可能である。ここでは、説明のために、CTUのサイズを64x64画素とし、CUサイズの候補を64x64画素、・・・、8x8画素とする。また、TUサイズの候補を、32x32画素、・・・、4x4画素とする。したがって、リフレッシュ更新サイズSは、CUサイズの候補の最小値である8の倍数となるように設定される。例えば、リフレッシュ更新サイズS(=PicWidth/T)が8の倍数で無ければ、リフレッシュ更新サイズSが8の倍数となるように丸め処理が行われる。

図８を参照しつつ、リフレッシュ境界の位置の決定方法を説明する。図８において、横軸は時間を表す。時刻t0のピクチャP0では、イントラリフレッシュが適用されるスライス８１０（水平方向の幅がリフレッシュ更新サイズSに相当）は、ピクチャの左端に位置し、時刻t4のピクチャP4でピクチャの右端まで移動する。また各ピクチャの水平方向の画素数をPicWidthとする。

リフレッシュ境界決定部１０は、符号化対象ピクチャの一つ前のピクチャのリフレッシュ境界位置とリフレッシュ更新サイズSにより、リフレッシュ済み領域が１ピクチャ毎にリフレッシュ更新サイズSだけ右方向へ拡張されるようにリフレッシュ境界rの位置を決定する。この例では、リフレッシュ境界rは、水平方向の画素の座標で表される。各ピクチャにおける水平方向の座標系を、左端画素が0となるように設定すると、イントラリフレッシュの先頭ピクチャ、すなわちピクチャP0では、リフレッシュ境界rは、リフレッシュ済み領域の右端の画素位置(S-1)に設定される。同様に、ピクチャPtでは、リフレッシュ境界rは、リフレッシュ済み領域の右端の画素位置{S*(t+1)-1}に設定される。以下では、説明の便宜のため、ピクチャPtのリフレッシュ境界位置をr(t)と表す。さらに、説明の便宜上、未リフレッシュ領域の左端の画素位置をR(=r+1)と表記する。

制限ブロック特定部１１は、リフレッシュ境界に基づいて、符号化対象ピクチャのリフレッシュ済み領域に含まれ、かつ、TUをイントラ予測符号化する場合に未リフレッシュ領域を参照する可能性の有るTUを、TUの取り得るサイズごとに特定する。そして制限ブロック特定部１１は、その特定されたTUについて、未リフレッシュ領域を参照しないように適用される予測モードを制限する。さらに、制限ブロック特定部１１は、リフレッシュ境界を含むようなTUが適用されることを防止するために、TUの取り得るサイズごとに、リフレッシュ境界を含むTUを、適用が禁止されるTUとして特定する。そのために、制限ブロック特定部１１は、TU制限対象CTU決定部１２と、制限対象TU決定部１３と、制限対象PU決定部１４と、制限対象CU決定部１５と、予測モード制限対象CTU決定部１６と、制限対象予測モード決定部１７とを有する。

TU制限対象CTU決定部１２は、符号化対象ピクチャのリフレッシュ境界位置に基づいて、何れかの予測モードにおいて未リフレッシュ領域を参照するTU、すなわち、何れかの予測モードの適用が禁止されるTUを含むCTUを決定する。なお、何れかの予測モードの適用が禁止されるTUを含むCTUを、以下では、TU制限対象CTUと呼ぶ。

TU制限対象CTUの特定方法の理解を容易にするために、図９を参照しつつ、各CTUに割り当てられる、CTUを特定するためのインデックスについて説明する。図９において、ピクチャ９００は複数のCTU９０１に分割される。ここでは、CTUのサイズCTUSIZEは64画素とする。上述したように、ピクチャに含まれる複数のCTUは、ラスタスキャン順に符号化される。そこで、各CTUを特定するためのインデックスCTUIDXは、符号化順に設定される。また、各CTU９０１内に示されている、各CTUの水平方向のインデックスCTUHIDXは、リフレッシュ境界がピクチャ左端から右端へ移動すると仮定しているため、左端のCTUから順に割り当てられる。すなわち、左端のCTUについてのCTUHIDXは0であり、左端から(N+1)番目のCTUについてのCTUHIDXはNとなる。そして右端のCTUについてのCTUHIDXは(PicWidth/CTUSIZE)-1となる。同様に、垂直方向のCTUごとのインデックスCTUVIDXが、0,1,...,{(PicHeight/CTUSIZE)-1}に設定される。ただし、PicWidth、PicHeightは、それぞれ、ピクチャの水平方向及び垂直方向のサイズである。

図１０は、リフレッシュ境界の位置とTU制限対象CTUの関係を示す図である。図１０では、簡単化のために、ピクチャは、二つのCTU１０１１、１０１２を含むものとする。この例では、時刻tのピクチャ１０００から時刻(t+7)のピクチャ１００７までの間に、リフレッシュ境界１０１０が右側のCTU１０１２全体を１巡する。

TU制限対象CTU決定部１２は、リフレッシュ境界１０１０が隣接する二つのCTU間の境界と等しいとき(この例では、時刻(t+7)のピクチャ１００７)、すなわち、R%CTUSIZE=0のとき、何れのCTUもTU制限対象CTUとしない。この理由は、リフレッシュ境界の位置とCTU間の境界の位置が一致する場合には、リフレッシュ境界を含むTUが存在しないためである。一方、リフレッシュ境界１０１０が隣接する二つのCTU間の境界と等しくないとき(この例では、時刻(t+7)以外のピクチャ)、TU制限対象CTU決定部１２は、リフレッシュ境界１０１０を含むCTU、すなわち、CTUHIDX=r/CTUSIZEであるCTUをTU制限対象CTUとする。ただし、記号'/'は、切り捨て除算（すなわち、整数の除算）を表す。例えば、図１０では、時刻t〜(t+6)では、リフレッシュ境界の位置rが64<r≦128の範囲で時間経過とともに移動しているので、CTUHIDX=1であるCTU１０１２が、TU制限対象CTUとなる。

図１１は、TU制限対象CTUを示す図である。時刻(t+7)のピクチャ以外のピクチャにおいて、CTU１０１２がTU制限対象CTUに設定されている。TU制限対象CTU１０１２において、リフレッシュ境界１０１０よりも右側の領域が未リフレッシュ領域であり、左側の領域がリフレッシュ済み領域である。
ここで、以降の説明の便宜のために、TU制限対象CTUであるCTUの左端を基準とした座標を定義する。この座標系における未リフレッシュ領域側からリフレッシュ境界に接する画素の位置をR'とすると、R'=R-(R/CTUSIZE)*CTUSIZEとなる。また、この座標系におけるリフレッシュ済み領域側からリフッシュ境界に接する画素の位置をr'とすると、r'=R'-1となる。

制限対象TU決定部１３は、TU制限対象CTUにおいて、TUが取り得る複数のサイズのそれぞれについて、リフレッシュ境界を含むTUの適用を禁止する。さらに、制限対象TU決定部１３は、リフレッシュ境界の位置とTU間の境界の位置が一致するTUを、利用可能なTUとして特定する。なお、以下では、便宜上、適用が禁止されるTUを禁止対象TUと呼ぶ。

HEVCでは、TUは、最大32x32画素のブロック、四分木構造で設定される16x16画素のブロック、8x8画素のブロック、4x4画素のブロックの中から選択可能である。これはTUのサイズの階層構造を表している。そこで、後述の符号化モード決定部１８が、適用するTUのサイズを決定できるようにするために、制限対象TU決定部１３は、TUのサイズの階層ごとに、そのサイズを持つTUを禁止か適用可能かを判断する。

図１２（ａ）〜図１２（ｄ）を参照しつつ、TUのサイズの階層ごとに、各TUに割り当てられる、TUを識別するためのTUインデックスTUIDXについて説明する。図１２（ａ）〜図１２（ｄ）において、各ブロック１２０１がそれぞれ一つのTUを表し、ブロック内に示された数値がTUインデックスTUIDXを表す。また、ブロックの上側に示された数値は、水平方向のTUインデックスTUHIDXを表す。図１２（ａ）は、TUサイズが32x32画素である場合のインデックスTUIDXを表す。同様に、図１２（ｂ）〜図１２（ｄ）は、それぞれ、TUサイズが16x16画素、8x8画素、4x4画素である場合のTUインデックスTUIDXを表す。

TUインデックスTUIDXは、符号化順に従って割り当てられる。また、水平方向のTUのインデックスであるTU水平インデックスTUHIDXは、本実施形態では、リフレッシュ境界がピクチャ左端から右端へ移動すると仮定しているため、水平方向に左から右へ順にTUごとに割り当てられる。

制限対象TU決定部１３は、まず、TU制限対象CTU内の４個の32x32画素のTUのそれぞれについて、そのTU内に、リフレッシュ境界が含まれるか否か判定する。そのTU内にリフレッシュ境界が含まれるとき、制限対象TU決定部１３は、その32x32画素のTUの適用を禁止する。一方、そのTU内にリフレッシュ境界が含まれないとき、制限対象TU決定部１３は、その32x32画素のTUの適用を許可する。

次に、制限対象TU決定部１３は、適用が禁止される32x32画素のTU内の４個の16x16画素のTUのそれぞれについて、そのTU内に、リフレッシュ境界が含まれるか否か判定する。そのTU内にリフレッシュ境界が含まれるとき、制限対象TU決定部１３は、その16x16画素のTUの適用を禁止する。一方、そのTU内にリフレッシュ境界が含まれないとき、制限対象TU決定部１３は、その16x16画素のTUの適用を許可する。8x8画素以下のサイズのTUに関しては、リフレッシュ更新サイズが8以上であるため、必ず適用が許可される。すなわち、TUのサイズTUSIZE=32,16として、R'%TUSIZE=0（すなわち、リフレッシュ境界とTU境界が等しい）ならば、制限対象TU決定部１３は、そのTUSIZEを持つTUを全て許可する。ただし、演算子'%'は除算の余りを示す。リフレッシュ境界とTU境界が等しくなければ、制限対象TU決定部１３は、TUHIDX=r'/TUSIZEとなるTUの適用を禁止する。

処理順に関して、制限対象TU決定部１３は、例えば、一つの32x32画素のTUに含まれる４個の16x16画素のブロックそれぞれについてリフレッシュ境界を含むか否か判定した後に、次の32x32画素のTUについてリフレッシュ境界を含むか否かを判定してもよい。あるいは、制限対象TU決定部１３は、４個の32x32画素のTUのそれぞれについてリフレッシュ境界を含むか否か判定した後に、16個の16x16画素のTUのそれぞれについてリフレッシュ境界を含むか否か判定してもよい。
制限対象TU決定部１３は、TUサイズの階層ごとに、各TUに禁止対象TUか否かを表すTU禁止フラグを設定することで、適用可能なTUと適用が禁止されるTUとを示すTU禁止マップを生成する。

図１３（ａ）〜図１３（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻(t+6)のピクチャのTU制限対象CTU１０１２のTU禁止マップである。各ブロック１３０１は、それぞれ、一つのTUを表す。そして各TU内には、禁止対象TUか否かを表すTU禁止フラグが示される。TU禁止フラグの値が'0'であるTUは、禁止対象TUでないことを表す。一方、TU禁止フラグの値が'1'であるTUは、禁止対象TUであることを表す。図１３（ａ）〜図１３（ｄ）に示されるように、リフレッシュ更新サイズ(8画素)よりも大きいサイズのTUについてのみ、リフレッシュ境界r'が含まれるTUが禁止対象TUに設定される。

制限対象PU決定部１４は、禁止対象TUを含むPUのサイズの候補において、少なくともTUサイズがPUサイズ以下になるようにPUのサイズの適用を制限する。

上述したように、HEVCでは、PUサイズPUSIZEがTUサイズTUSIZE以上になるように制限される。一方、PUのサイズは、64,32,16,8,4画素から選択可能である。イントラ予測符号化モードにおいては、制限対象PU決定部１４は、PUSIZE≧TUSIZEを満たす範囲で、適用可能なPUサイズの候補を制限することで、適用可能なTUサイズの候補も制限できる。
ここで、HEVCでは、PUは、最大64x64画素のブロック、四分木構造で設定される32x32画素のブロック、16x16画素のブロック、8x8画素のブロック、4x4画素のブロックの中から選択可能である。これはPUの階層構造を表している。そこで、後述の符号化モード決定部１８が、適用するPUサイズを決定できるようにするために、制限対象PU決定部１４は、PUのサイズの階層ごとに、そのサイズを持つPUを禁止か適用可能かを判断する。

最初に、各PUを識別するためのPUインデックスPUIDX及び水平方向のPU水平インデックスPUHIDXについて説明する。
図１４（ａ）〜図１４（ｅ）は、PUのサイズの階層ごとに、各PUのPUインデックスPUIDX及び水平方向のPUインデックスPUHIDXを示す図である。図１４（ａ）〜図１４（ｅ）において、各ブロック１４０１がそれぞれ一つのPUを表し、ブロック内に示された数値がPUインデックスPUIDXを表す。また、ブロックの上側に示された数値は、PU水平インデックスPUHIDXを表す。図１４（ａ）は、PUサイズが64x64画素である場合のPUインデックスPUIDXを表す。同様に、図１４（ｂ）〜図１４（ｅ）は、それぞれ、PUサイズが32x32画素、16x16画素、8x8画素、4x4画素である場合のPUインデックスPUIDXを表す。

PUインデックスPUIDXは、符号化順に従って割り当てられる。また、PU水平インデックスPUHIDXは、本実施形態では、リフレッシュ境界がピクチャ左端から右端へ移動すると仮定しているため、水平方向に左から右へ順にPUごとに割り当てられる。

制限対象PU決定部１４は、適用されるPUのサイズが、許可された最大のTUのサイズ以上となるように、適用可能なPUのサイズの候補を制限する。なお、以下では、便宜上、適用が禁止されるPUを制限対象PUと呼ぶ。

ここで、処理量を削減するために、制限対象PU決定部１４は、適用が許可されたTUの最大サイズ以下となるように、適用可能なPUのサイズを制限することが好ましい。このように、適用可能なTUのサイズに合わせて、適用可能なPUのサイズの選択範囲を狭くすることで、符号化モード決定の際の演算量が削減される。
制限対象PU決定部１４は、PUサイズの階層ごとに、各PUに制限対象PUか否かを表すPU禁止フラグを設定することで、適用可能なPUと適用が禁止されるPUとを示すPU禁止マップを生成する。

図１５（ａ）〜図１５（ｅ）は、それぞれ、サイズが64x64画素、32x32画素、16x16画素、8x8画素、4x4画素のPUについて、図１０に示された時刻(t+6)のピクチャのTU制限対象CTU１０１２の制限対象PUを示すPU禁止マップである。各ブロック１５０１は、それぞれ、一つのPUを表す。そして各PU内には、制限対象PUか否かを表すPU禁止フラグが示される。PU禁止フラグの値が'0'であるPUは、制限対象PUでないことを表す。一方、PU禁止フラグの値が'1'であるPUは、制限対象PUであることを表す。図１５（ａ）〜図１５（ｅ）に示されるように、この例では、32x32画素以下のサイズのPUについてのPU禁止マップは、図１３（ａ）〜図１３（ｄ）に示されるTU禁止マップと同一のマップとなる。

なお、PUごとに、そのPUについて適用が許可されたTUが一つでも含まれていればよい。そこで変形例によれば、制限対象PU決定部１４は、適用が許可された最大のTUサイズと等しいサイズのPU以外のPUの適用を禁止してもよい。

図１６（ａ）〜図１６（ｅ）は、それぞれ、この変形例による、サイズが64x64画素、32x32画素、16x16画素、8x8画素、4x4画素のPUについて、図１０に示された時刻(t+6)のピクチャのTU制限対象CTU１０１２の制限対象PUを示すPU禁止マップである。各ブロック１６０１は、それぞれ、一つのPUを表す。そして各PU内には、PU禁止フラグが示される。図１３（ａ）に示されるように、32x32画素のTUでは、TU制限対象CTU内の左半分のTUの適用が許可されている。そのため、図１６（ｂ）〜図１６（ｅ）に示されるように、TU制限対象CTU内の左半分については、32x32画素のPUについてのみ適用が許可される。また、図１３（ｂ）に示されるように、TU制限対象CTU内の中心から右側1/4の範囲では、最大で16x16画素のTUの適用が許可されている。そのため、図１６（ｂ）〜図１６（ｅ）に示されるように、TU制限対象CTU内の中心から右側1/4の範囲については、16x16画素のPUについてのみ適用が許可される。さらに、図１３（ｃ）に示されるように、TU制限対象CTU内の右端側1/4の範囲では、最大で8x8画素のTUの適用が許可されている。そのため、図１６（ｂ）〜図１６（ｅ）に示されるように、TU制限対象CTU内の右端側1/4の範囲については、8x8画素のPUについてのみ適用が許可される。

なお、制限対象PU決定部１４は、全てのPUサイズの候補について、PU禁止フラグの値を'0'としてもよい。この場合には、後述の符号化モード決定部１８が、全てのPUのサイズを考慮して、適用するPUサイズ及び符号化モードを決定することになる。

制限対象CU決定部１５は、適用が許可されたTUを含むPUのサイズがCUのサイズ以下になるように、CUが取り得る複数のサイズの中から適用可能なCUのサイズを制限する。
上述したように、HEVCでは、CUのサイズCUSIZEは、PUSIZE以上になるように制限される。また、CUは、64x64画素、32x32画素、16x16画素、8x8画素のブロックの中から選択可能である。ただし、イントラ予測符号化モードでは、CUSIZEが64,32,16である場合には、CUSIZEはPUSIZEと等しくなり、CUSIZEが8である場合には、選択可能なPUSIZEは、8または4である。制限対象CU決定部１５は、この条件を満たすように、CUのサイズを制限する。

CUは、最大64x64画素のブロック、四分木構造で設定される32x32画素のブロック、16x16画素のブロック、8x8画素のブロックのブロックの中から選択可能である。これはCUのサイズの階層構造を表している。そこで、後述の符号化モード決定部１８が、適用するCUサイズを決定できるようにするために、制限対象CU決定部１５は、CUのサイズの階層ごとに、そのサイズを持つCUを禁止か適用可能かを判断する。

最初に、各CUを識別するためのCUインデックスCUIDX及び水平方向のCU水平インデックスCUHIDXについて説明する。
図１７（ａ）〜図１７（ｄ）は、CUのサイズの階層ごとに、各CUのCUインデックスCUIDX及び水平方向のCUインデックスCUHIDXを示す図である。図１７（ａ）〜図１７（ｄ）において、各ブロック１７０１がそれぞれ一つのCUを表し、ブロック内に示された数値がCUインデックスCUIDXを表す。また、ブロックの上側に示された数値は、CU水平インデックスCUHIDXを表す。図１７（ａ）は、CUサイズが64x64画素である場合のCUインデックスCUIDXを表す。同様に、図１７（ｂ）〜図１７（ｄ）は、それぞれ、CUサイズが32x32画素、16x16画素、8x8画素である場合のCUインデックスCUIDXを表す。

CUインデックスCUIDXは、符号化順に従って割り当てられる。また、CU水平インデックスCUHIDXは、本実施形態では、リフレッシュ境界がピクチャ左端から右端へ移動すると仮定しているため、水平方向に左から右へ順にCUごとに割り当てられる。

制限対象CU決定部１５は、CUサイズが少なくとも適用が許可された最大のTUサイズ以上になるように、適用可能なCUのサイズを制限する。

ここで、処理量を削減するために、制限対象CU決定部１５は、適用が許可されたTUの最大サイズ以下となるように、適用可能なCUのサイズを制限することが好ましい。このように、適用可能なTUのサイズに合わせて、適用可能なCUのサイズの選択範囲を狭くすることで、符号化モード決定の際の演算量が削減される。
制限対象CU決定部１５は、CUサイズの階層ごとに、各CUに制限対象CUか否かを表すCU禁止フラグを設定することで、適用可能なCUと適用が禁止されるCUとを示すCU禁止マップを生成する。

図１８（ａ）〜図１８（ｄ）は、それぞれ、サイズが64x64画素、32x32画素、16x16画素、8x8画素のCUについて、図１０に示された時刻(t+6)のピクチャのTU制限対象CTU１０１２のCU禁止マップである。各ブロック１８０１は、それぞれ、一つのCUを表す。そして各CU内には、制限対象CUか否かを表すCU禁止フラグが示される。CU禁止フラグの値が'0'であるPUは、制限対象CUでないことを表す。一方、CU禁止フラグの値が'1'であるCUは、制限対象CUであることを表す。

なお、CUごとに、一つのTUが含まれていればよい。そこで、制限対象CU決定部１５は、制限対象PU決定部１４の変形例と同様に、適用が許可された最大のTUサイズと等しいサイズのCU以外のCUの適用を禁止してもよい。

HEVCでは、CUのサイズとPUのサイズの関係により、CUのサイズを制限するとPUのサイズも制限される。ここで、イントラ予測符号化モードで適用可能なCUのサイズを制限するとインター予測符号化モードにおいて適用可能なCUのサイズも同様に制限されるようにしてもよい。イントラ予測符号化モードについてのみ、CUのサイズを制限する場合は、PUのサイズも制限されるので、イントラ予測符号化モードにおいて適用が禁止されたPUを含むCUでは、インター予測符号化モードのPUしか選択できない場合がある。そこで上記のように、インター予測符号化モードにおいてもCUのサイズを制限することで、動画像符号化装置１は、インター予測符号化モードのPUしか選択できないCUが発生することを防止できる。

なお、制限対象CU決定部１５は、全てのCUサイズの候補について、CU禁止フラグの値を'0'としてもよい。この場合には、後述の符号化モード決定部１８が、全てのCUのサイズを考慮して、適用するCUサイズ及び符号化モードを決定することになる。

予測モード制限対象CTU決定部１６は、符号化対象ピクチャのリフレッシュ境界位置に基づいて、何れかの予測モードにおいて未リフレッシュ領域を参照するPU、すなわち、何れかの予測モードの適用が禁止されるPUを含むCTUを決定する。なお、以下では、説明の便宜上、何れかの予測モードの適用が禁止されるPUを含むCTUを予測モード制限対象CTUと呼ぶ。

図１０を再度参照しつつ、予測モード制限対象CTU決定部１６の処理を説明する。
時刻(t+7)のピクチャ１００７のように、リフレッシュ境界１０１０の位置がCTU間の境界の位置と等しいとき、予測モード制限対象CTU決定部１６は、リフレッシュ済み領域に含まれ、かつ、リフレッシュ境界に接するCTU(この例では、CTU１０１２)を予測モード制限対象CTUとする。

一方、リフレッシュ境界の位置がCTU間の境界の位置と異なり、かつ、リフレッシュ境界を含むCTU内に選択可能な最大のTUサイズ以上のリフレッシュ済み領域があるとき、予測モード制限対象CTU決定部１６は、リフレッシュ境界を含むCTUを予測モード制限対象CTUとする。図１０では、時刻(t+3)〜(t+6)のピクチャ１００３〜１００６が該当し、リフレッシュ境界１０１０を含むCTU１０１２が予測モード制限対象CTUとなる。

また、リフレッシュ境界の位置がCTU境界の位置と異なり、かつ、リフレッシュ境界を含むCTUに選択可能な最大のTUサイズ以上のリフレッシュ済み領域がないとき、予測モード制限対象CTU決定部１６は、リフレッシュ境界を含むCTUとリフレッシュ境界を含むCTUのリフレッシュ済み領域側に隣接するCTUを、予測モード制限対象CTUとする。図１０では、時刻t〜(t+2)のピクチャ１０００〜１００２が該当し、リフレッシュ境界１０１０を含むCTU１０１２及びCTU１０１１が予測モード制限対象CTUとなる。

すなわち、R%CTUSIZE=0ならば、CTUHIDX = r/CTUSIZEとなるCTUが予測モード制限対象CTUとなる。一方、R%CTUSIZEが0でなければ、CTUHIDX=r/CTUSIZEとなるCTUが予測モード制限対象CTUとなる。さらに、R%CTUSIZEが0でなく、かつ、R-P < MAXTUSIZE=32(ただし、Pはリフレッシュ境界を含むCTUの左端の座標であり、P=(R/CTUSIZE)*CTUSIZE)であれば、CTUHIDX={(r/CTUSIZE)-1}となるCTUが予測モード制限対象CTUとなる。なお、CTUHIDX≧0である。

図１９は、図１０に示された時刻t〜(t+7)の各ピクチャにおける、予測モード制限対象CTUを示す図である。時刻t〜(t+2)ではCTUHIDX=0であるCTU１０１１と、CTUHIDX=1であり、リフレッシュ境界１０１０を含むCTU１０１２が予測モード制限対象CTUである。一方、時刻(t+3)〜(t+7)ではCTUHIDX=1であるCTU１０１２が予測モード制限対象CTUである。

ここで改めて、以下での説明の便宜上、予測モード制限対象CTUの左端を基準とした座標系を定義する。この座標系における、リフレッシュ境界に未リフレッシュ領域側から隣接する画素の位置をR''は、以下のように算出される。
CTUHIDX=(r/CTUSIZE)-1のとき、R''=R-((R-1)/CTUSIZE)*CTUSIZE
CTUHIDX=r/CTUSIZEのとき、R''=R-(R/CTUSIZE)*CTUSIZE
またこの座標系において、リフレッシュ境界にリフレッシュ済み領域側から隣接する画素の位置r''は、(R''-1)である。この座標系における、リフレッシュ境界を含むCTUの左端の座標P''も同様に算出される。ただし、CTUHIDX = R/CTUSIZEのとき、P''=0である。ここで、リフレッシュ境界を含むCTUの左端に隣接する画素の座標をp=P-1とすると、予測モード制限対象CTUの左端を基準とした座標系では、リフレッシュ境界を含むCTUの左端に隣接する画素の座標p''は(P''-1)となる。

制限対象予測モード決定部１７は、予測モード制限対象CTUにおいて、参照範囲が異なる複数の予測モードのうち、予測ブロックを生成するために参照する符号化済みの周辺画素の少なくとも一部が非リフレッシュ領域に含まれる予測モードの適用を禁止する。そして、制限対象予測モード決定部１７は、予測モード制限対象CTUにおいて、複数の予測モードの中から、符号化対象のTUについて、リフレッシュ境界よりもリフレッシュ済み領域側に位置する画素のみを参照する予測モードの適用を許可する。

ここで、予測ブロックを生成するために参照される周辺画素はTU単位で制限されるが、対応する予測モードはPU単位で制限される。すなわち参照制限されるTUを含むPUについては、適用可能な予測モードが制限される。一方、予測モードが制限されるPUに含まれる全てのTUについて周辺画素の参照が制限される。そこで、以下、予測モード制限対象CTUとリフレッシュ境界の位置関係ごとに、予測モードの適用が制限されるTUについて説明する。

具体的には、予測ブロックを生成するために参照される、TU周辺の画素の範囲内に、参照できない画素が含まれる予測モードの適用が禁止される。予測ブロックを生成するために参照される周辺画素の範囲はTUSIZEにより異なるため、予測モードの適用が制限されるTUもTUSIZEによって異なる。上述のようにイントラ予測符号化モードでは、着目する符号化対象ブロックに対して周辺の水平方向に並んだ画素と垂直方向に並んだ画素が参照される。ここでは、リフレッシュ境界がピクチャ左端から右端へ移動すると仮定している。そこで、制限対象予測モード決定部１７は、水平方向に並んだ画素の何れかの参照が制限される場合に、対応する予測モードの適用を禁止する。具体的には、制限対象予測モード決定部１７は、参照範囲の少なくとも一部と非リフレッシュ領域が重なる予測モードの適用を禁止し、参照範囲全てがリフレッシュ済み領域に含まれる予測モードを適用可能な有効予測モードとする。しかし、符号化対象のTUの右端からリフレッシュ境界までの範囲に含まれる画素の参照は許可されるので、(R''-P'')の値によって制限対象となるTUが変動する。具体的な予測モードの制限については後述する。

（１）CTUHIDX={(r/CTU_SIZE)-1}である予測モード制限対象CTU、すなわち、リフレッシュ境界を含むCTUに対してリフレッシュ済み領域側で隣接する予測モード制限対象CTUについて
図６に示されるTU６２２のように、TUのサイズによっては、p''の座標が含まれるTUの周辺画素の参照範囲と未リフレッシュ境界が重なる。TUからリフレッシュ境界までの範囲に含まれる画素については参照が許可されるため、(R''-P'')の値によって制限対象となるTUが変動する。すなわち、(R''-P'')≧TUSIZEとなるTUについて、そのTUSIZEのTUでは全ての参照画素の参照が許可されるため、そのTUSIZEを持つTUについては何れの予測モードも適用可能である。

一方、(R''-P'')<TUSIZEならば、そのTUSIZEを持つTUでは、予測モードによっては、予測ブロックの生成の際に参照される範囲にリフレッシュ領域が含まれてしまう。そこで、このようなTUについては、そのような予測モードの適用は禁止される。よって、CTUHIDX=(r/CTUSIZE)となるCTUにおいて、TU境界の位置とリフレッシュ境界の位置が異なる場合、TUHIDX=p''/TUSIZEとなるTUについて適用可能な予測モードが制限される可能性がある。

まず、予測モード制限対象CTU内の一つの32x32画素のTUについて説明する。CTUHIDX=(r/CTUSIZE)となるCTU、すなわち、隣接するリフレッシュ境界を含むCTUにおいて、TU間の境界の位置とリフレッシュ境界の位置が異なるとき、すなわち(R''-P'')%32!=0のとき、p''が含まれる32x32画素のTUについて適用可能な予測モードが制限される。次に、その32x32画素のTU内の16x16画素のTUについて、隣接するリフレッシュ境界を含むCTUにおいて、TU境界の位置とリフレッシュ境界の位置が異なるとき、すなわち(R''-P'')%16!=0のとき、p''が含まれる16x16画素のTUについて適用可能な予測モードが制限される。8x8画素のTU及び4x4画素のTUについては、TU境界の位置とリフレッシュ境界の位置が等しいので、そのサイズのTUについては適用可能な予測モードは制限されない。
すなわち、制限対象予測モード決定部１７は、TUSIZE=32,16,8,4として、(R''-P'')%TUSIZE!=0ならば、TUHIDX=p''/TUSIZEとなるTUについて適用可能な予測モードを制限する。

処理順に関して、制限対象予測モード決定部１７は、例えば一つの32x32画素のTUについて適用可能な予測モードが制限されるか否か判定した後に、そのTUに含まれる４個の16x16画素のTUのそれぞれについて適用可能な予測モードが制限されるか否か判定する。そして制限対象予測モード決定部１７は、他の32x32画素のTUについて同様に判定してもよい。あるいは、制限対象予測モード決定部１７は、４個の32x32画素のTUのそれぞれについて、適用可能な予測モードが制限されるか否か判定した後に、16個の16x16画素のTUのそれぞれについて、適用可能な予測モードが制限されるか否か判定してもよい。

制限対象予測モード決定部１７は、TUサイズの階層ごとに、各TUに予測モードの適用が制限される予測モード制限対象TU（制限対象第１サブブロック）か否かを表すTU予測モード制限フラグを設定する。これにより、制限対象予測モード決定部１７は、予測モード制限対象TUか否かを示すTU予測モード制限マップを生成する。

図２０（ａ）〜図２０（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻tのピクチャのCTU１０１１のTU予測モード制限マップである。この例では、CTU１０１１の右端の座標がp''となる。各ブロック２００１は、それぞれ、一つのTUを表す。そして各TU内には、TU予測モード制限フラグが示される。TU予測モード制限フラグの値が'0'であるTUは、予測モード制限対象TUでないことを表す。一方、TU予測モード制限フラグの値が'1'であるTUは、予測モード制限対象TUであることを表す。図２０（ａ）〜図２０（ｄ）に示されるように、リフレッシュ更新サイズ(8画素)よりも大きいサイズのTUについてのみ、リフレッシュ境界を含むCTUに隣接するTUが予測モード制限対象TUに設定される。

（２）CTUHIDX= (r/CTU_SIZE)である予測モード制限対象CTU、すなわち、リフレッシュ境界を含むCTUについて
まず、リフレッシュ境界r''の座標を含むTUが、予測モード制限対象TUとなる。ここで、便宜上、リフレッシュ境界を含むTUの左端の座標をQ''{=(R''/TUSIZE)*TUSIZE}、リフレッシュ境界を含むTUの左端に隣接する画素の座標をq''(=Q''-1)とする。
図６に示されるTU６２３のように、TUサイズによっては、座標q''を含むTUについて、予測モードによっては、周辺画素の参照範囲の少なくとも一部と未リフレッシュ領域が重なる。具体的には、R''-Q''≧TUSIZEとなる場合には、そのTUのサイズでは周辺画素の参照範囲にリフレッシュ境界が含まれない、すなわち、参照範囲と未リフレッシュ領域が重ならないため、制限対象予測モード決定部１７は、そのTUについては予測モードの適用を制限しなくてよい。一方、(R''-Q'')<TUSIZEならば、制限対象予測モード決定部１７は、そのTUを予測モード制限対象TUとする。したがって、TU境界の位置とリフレッシュ境界の位置が異なる場合、制限対象予測モード決定部１７は、TUHIDX=q'/TUSIZE={(r'/TUSIZE)-1}となるTUを予測モード制限対象TUとする。

例えば、制限対象予測モード決定部１７は、予測モード制限対象CTU内の32x32画素のTUのそれぞれについて、そのTU内にリフレッシュ境界r''が含まれるか判定する。リフレッシュ境界r''がそのTU内に含まれるとき、制限対象予測モード決定部１７は、その32x32画素のTUを予測モード制限対象TUとする。

さらに、TU境界とリフレッシュ境界が異なるとき、すなわち(R''-Q'')%32!=0のとき、制限対象予測モード決定部１７は、リフレッシュ済み領域において座標q''を含む32x32画素のTUの左側に隣接する32x32画素のTUを予測モード制限対象TUとする。次に制限対象予測モード決定部１７は、その32x32画素のTU内の16x16画素のTUのそれぞれについて、そのTU内にリフレッシュ境界r''が含まれるか否か判定する。リフレッシュ境界r''がその16x16画素のTUに含まれるとき、制限対象予測モード決定部１７は、その16x16画素のTUを予測モード制限対象TUとする。また、16x16画素のTUについてのTU境界の位置とリフレッシュ境界の位置が異なるとき、すなわち(R''-Q'')%16!=0のとき、制限対象予測モード決定部１７は、座標q''を含む16x16画素のTUに隣接し、かつ、リフレッシュ済み領域に含まれる16x16画素のTUを予測モード制限対象TUとする。8x8画素のTU及び4x4画素のTUについても同様に、予測モード制限対象TUか否かが判定される。なお、8x8画素のTU及び4x4画素のTUについては、必ずTU境界の位置とリフレッシュ境界の位置が等しくなる。
すなわち、制限対象予測モード決定部１７は、TUSIZE=32,16,8,4として、TUHIDX=r''/TUSIZEとなるTUを予測モード制限対象TUとする。さらに、(R''-Q'')%TUSIZE!=0ならば、制限対象予測モード決定部１７は、TUHIDX=q''/TUSIZEとなるTUを予測モード制限対象TUとする。

処理順に関して、制限対象予測モード決定部１７は、例えば一つの32x32画素のTUについて適用可能な予測モードが制限されるか否か判定した後に、そのTUに含まれる４個の16x16画素のTUのそれぞれについて適用可能な予測モードが制限されるか否か判定する。そして制限対象予測モード決定部１７は、他の32x32画素のTUについて同様に判定してもよい。あるいは、制限対象予測モード決定部１７は、４個の32x32画素のTUのそれぞれについて、適用可能な予測モードが制限されるか否か判定した後に、16個の16x16画素のTUのそれぞれについて、適用可能な予測モードが制限されるか否か判定してもよい。

図２１（ａ）〜図２１（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻(t+6)のピクチャのCTU１０１２のTU予測モード制限マップである。この例では、CTU１０１２の右端から8画素の位置にリフレッシュ境界r''が位置する。各ブロック２１０１は、それぞれ、一つのTUを表す。そして各TU内には、TU予測モード制限フラグが示される。図２１（ａ）〜図２１（ｄ）に示されるように、リフレッシュ更新サイズ(8画素)よりも大きいサイズのTUでは、リフレッシュ境界r''を含むTU及びそのTUの左側（すなわち、リフレッシュ済み領域側）に隣接するTUが予測モード制限対象TUに設定される。一方、リフレッシュ更新サイズ以下のサイズのTUでは、リフレッシュ境界r''が右端となるTUのみが予測モード制限対象TUに設定される。

次に、予測モード制限対象TUにおける、適用可能な予測モードの制限方法について説明する。

図２２は、HEVCにおいて規定されている予測モードを示す図である。図２２に示される数値'0'〜'34'は、それぞれ、一つの予測モードを表す。予測モード0は、intraPlanarモードと呼ばれ、予測モード1はintraDCと呼ばれる。その他の予測モード2〜34は、Angleモードと呼ばれる。そして矢印２２０１は、その矢印が示す数値で表されるAngleモードにおける参照方向を表す。このように、予測モードによって参照される画素の位置が異なる。以下では、便宜上、予測ブロックを生成するために参照される画素を単に参照画素と呼ぶ。

制限対象予測モード決定部１７は、参照画素の位置と予測モードの関係に基づいて、適用できない予測モードを特定できる。例えば、図２３（ａ）には、予測モードが0（intraPlanar）である場合の8x8画素のブロック２３００に対する参照画素２３０１が示される。この例では、ブロック２３００の上端に隣接し、かつ、ブロック２３００の左端よりも１画素左側からブロック２３００の右端よりも１画素右側までの範囲に含まれる各画素と、ブロック２３００の左側に隣接し、かつ、ブロック２３００の上端から下端よりも１画素下までの範囲に含まれる各画素が参照画素２３０１となる。また、図２３（ｂ）には、予測モードが1（intraDC）である場合の8x8画素のブロック２３００に対する参照画素２３０２が示される。この例では、ブロック２３００の上端に隣接し、かつ、ブロック２３００の左端よりも１画素左側からブロック２３００の右端までの範囲に含まれる各画素と、ブロック２３００の左側に隣接し、かつ、ブロック２３００の上端から下端までの範囲に含まれる各画素が参照画素２３０２となる。

本実施形態では、予測モードの適用制限の対象となるのは、水平方向に並ぶ参照画素を参照する予測モードである。そのため、垂直方向に並ぶ参照画素のみを参照する予測モード2〜17は、常に有効、すなわち、適用が制限されない。したがって、制限対象予測モード決定部１７は、予測モード0,1,18〜34について、参照画素の位置と予測モードの関係を求める。

予測モード0では、参照画素の一つが、符号化対象ブロックの上端に隣接し、かつ、符号化対象ブロックの右端よりも１画素右側の画素である。そのため、予測モード制限対象TUについて、そのTUの右端よりも右側の全ての画素の参照が禁止される場合には、予測モード0は適用できない。一方、予測モード1では、符号化対象ブロックの右端よりも右側の画素は参照されない。そのため、予測モード制限対象TUについて、そのTUの右端よりも右側の画素全ての参照が禁止される場合でも、予測モード1は適用できる。

以下に、Angleモードの参照画素について説明する。簡単化のため、HEVCのイントラ予測符号化モードでBIフィルタ処理を行わない場合(strongIntraSmoothingEnabledFlag=0の場合)を例とする。例えば、イントラ予測符号化モードにおいて、8x8画素の符号化対象ブロックについては、図５（ｂ）に示されるように、符号化対象ブロックの上端に隣接する、水平方向に連続する１７画素と、左端に隣接する、垂直方向に連続する１７画素が参照画素として利用される。ここで、予測ブロックの上端に隣接する水平方向に連続する参照画素を、左から順にref[x](x=0,1,...,2*TbS)で表す。ただし、Tbsは、予測ブロックの水平方向サイズを表す。また、ref[0]は、予測ブロックの左上端画素よりも１画素左かつ上側の画素である。

また、HEVCのイントラ予測符号化モードにおいて、以下の表に示す予測ブロックのサイズに対する予測モードでは、予測ブロックの生成の前に、ref[x]と隣り合う画素に対して、3TAPフィルタ処理が行われる。

このフィルタ処理により、予測モード制限対象TUについて、そのTUの右端よりも右側の画素全ての参照が禁止される場合、フィルタ処理が行われる予測モードでは、参照画素ref[TbS]よりも右側の参照画素の何れかを参照する予測モードの適用が禁止される。一方、フィルタ処理が行われない予測モードでは、参照画素ref[TbS+1]よりも右側の参照画素の何れかを参照する予測モードの適用が禁止される。

表２は、各予測モード及び各TUサイズにおいて、予測ブロックの生成で参照される参照画素のうちの最も右側に位置する参照画素ref[x]の番号xを示す参照テーブルである。この参照テーブルは、例えば、制限対象予測モード決定部１７が有するメモリ回路（図示せず）に記憶される。そして制限対象予測モード決定部１７は、この参照テーブルを参照することにより、予測モード制限対象TUについて、適用が制限される予測モードを特定する。

具体的には、制限対象予測モード決定部１７は、予測モード制限対象TUについて、下記の条件に従って適用が制限される予測モードを特定する。また、輝度信号及び色差信号の何れについても、適用が制限される予測モードは同じである。なお、色差信号については、予測ブロックの水平方向及び垂直方向のサイズが、輝度信号の予測ブロックの水平方向及び垂直方向のサイズの1/2となる。ただし、輝度信号の予測ブロックが4x4画素である場合には、色差信号の予測ブロックも4x4画素となる。なお、以下では、輝度信号のTUサイズを基準として説明する。

制限対象予測モード決定部１７は、CTUHIDX={(r/CTUSIZE)-1}である予測モード制限対象CTUについて、上述したように、(R''-P'')の値に応じて、予測モード制限対象TUについて参照可能な参照画素の範囲を特定する。また、制限対象予測モード決定部１７は、CTUHIDX=r/CTUSIZEである予測モード制限対象CTUについて、(R''-Q'')の値に応じて予測モード制限対象TUについて参照可能な参照画素の範囲を特定する。そして制限対象予測モード決定部１７は、下記のTU予測モード条件に従って、適用可能な予測モードを特定する。

（条件１）予測モード制限対象TUの右端よりも右側の全ての画素が参照禁止の場合
この場合、制限対象予測モード決定部１７は、予測モード制限対象TUのサイズにかかわらず、1〜26の予測モードを適用可能な有効予測モードとし、その他の予測モードの適用を禁止する。
（条件２）予測モード制限対象TUの右端から8画素までは参照可能であり、かつ、予測モード制限対象TUのサイズが16x16画素(TUSIZE=16)の場合
この場合、制限対象予測モード決定部１７は、0〜30の予測モードを適用可能な有効予測モードとし、その他の予測モードの適用を禁止する。
（条件３）予測モード制限対象TUの右端から8画素までは参照可能であり、かつ、予測モード制限対象TUのサイズが32x32画素(TUSIZE=32)の場合
この場合、制限対象予測モード決定部１７は、0〜28の予測モードを適用可能な有効予測モードとし、その他の予測モードの適用を禁止する。
（条件４）予測モード制限対象TUの右端から16画素までは参照可能であり、かつ、予測モード制限対象TUのサイズが32x32画素の場合
この場合、制限対象予測モード決定部１７は、0〜30の予測モードを適用可能な有効予測モードとし、その他の予測モードの適用を禁止する。
（条件５）予測モード制限対象TUの右端から24画素までは参照可能であり、かつ、予測モード制限対象TUのサイズが32x32画素の場合
この場合、制限対象予測モード決定部１７は、0〜32の予測モードを適用可能な有効予測モードとし、その他の予測モードの適用を禁止する。

制限対象予測モード決定部１７は、予測モード制限対象CTUについて、TUのサイズごとに、各TUに対して該当するTU予測モード条件を表す予測モード制限フラグを割り当てることにより、TU予測モード制限マップを生成する。

例えば、図１０に示された、時刻(t+6)のピクチャについて、制限対象TU決定部１３により生成された、図１３（ａ）〜図１３（ｄ）に示されたTU禁止マップと、図２１（ａ）〜図２１（ｄ）のTU予測モード制限マップに上記条件を適用する場合について説明する。

制限対象予測モード決定部１７は、まず、TU予測モード制限マップにおいて、TU禁止マップでTU禁止フラグが'1'であるTU、すなわち、適用できないTUについて、無効とする。その他のTUのうち、予測モード制限フラグが'1'であるTUについて、制限対象予測モード決定部１７は、上記の条件のうち、該当する条件を決定する。

図２４（ａ）〜図２４（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻(t+6)のピクチャのCTU１０１２についてTUごとに適用が禁止される予測モードを表すTU予測モード条件マップである。この例では、CTU１０１２の右端から8画素の位置にリフレッシュ境界r''が位置する。各ブロック２４０１は、それぞれ、一つのTUを表す。そして各TU内には、上記のTU予測モード条件が示される。また、無効となるTUには、'Nan'が示される。さらに、予測モードの適用に制限が無いTUについては、'0'が示される。例えば、32x32画素のTUのうち、左側のTUについては、TU予測モード条件５が適用されるので、制限対象予測モード決定部１７は、そのTUについて、0〜32の予測モードを有効予測モードとし、その他の予測モードの適用を禁止する。一方、32x32画素のTUのうち、右側のTUは、無効なので、32x32画素のTUとしてはイントラ予測符号化されない。また、16x16画素のTUのうち、右から２番目のTUについては、TU予測モード条件２が適用されるので、制限対象予測モード決定部１７は、そのTUについて、0〜30の予測モードを有効予測モードとし、その他の予測モードの適用を禁止する。

変形例によれば、制限対象予測モード決定部１７は、処理簡単化のために、無効でないサイズのTUのうち、予測モード制限対象TUについて、有効予測モードが最も少ないTU予測モード条件１を適用してもよい。この場合には、全ての予測モード制限対象TUについて、その予測モード制限対象TUよりもリフレッシュ境界側の画素を参照する予測モードの適用が禁止される。

あるいは、制限対象予測モード決定部１７は、予測ブロックの生成において右上のブロックを参照できない予測モード制限対象TUについて、予測モードの適用を制限しなくてもよい。例えば、予測モード制限対象TUの符号化時に、そのTUの右上のブロックがまだ符号化されていない場合、制限対象予測モード決定部１７は、その予測モード制限対象TUについて全ての予測モードを有効予測モードとする。

図２５（ａ）〜図２５（ｃ）は、サイズが32x32画素、16x16画素、8x8画素のTUについて、予測ブロックの生成において右上のブロックを参照できないTUと符号化順序の関係を示す図である。図２５（ａ）〜図２５（ｃ）において、一つのブロックが一つのTUを表す。また、矢印２５０１〜２５０３は、符号化順序を表す。そしてハッチングで示されたTU２５１１が、右上のブロックを参照できないTUである。なお、サイズが4x4画素のTUについても、同様に、制限対象予測モード決定部１７は、予測ブロックの生成において右上のブロックを参照できない予測モード制限対象TUについて全ての予測モードを有効予測モードとする。

なお、図２６に示されるように、右上の符号化済みブロックを参照できないTU２６００については、HEVCの規定により、TU２６００の上端に隣接し、かつ、TU２６００の右端に位置する画素２６０１の画素値が、TU２６００の右上の参照画素２６０２の値としてコピーされる。したがって、右上の符号化済みブロックを参照できないTUについては、予測ブロックの生成において未リフレッシュ領域は参照されない。なお、符号化モード決定部１８が、上記のような予測モードの制限を除外するか否かの判定を、符号化の際に適用されるPUとTUの組み合わせを決定する際に行ってもよい。

上述したように、予測ブロックを生成する際の周辺の参照画素の参照制限はTU単位で行われるが、その制限に対応する予測モードの制限はPU単位で行われる。すなわち、参照制限が行われるTUを含むPUについては、適用可能な予測モードが制限される。そして、適用可能な予測モードが制限されるPUに含まれる全てのTUにもその制限は反映される。そこで、制限対象予測モード決定部１７は、PU単位の予測モード条件マップを作成してもよい。この場合、制限対象予測モード決定部１７は、着目するPUに含まれる各サイズのTUの中で、最も制限の強い（非ゼロであり、かつ、数値が最小）条件を代表値として抽出し、そのPUに適用される予測モード条件とする。

例えば、図１０に示される時刻(t+6)のピクチャのCTU１０１２では、制限対象予測モード決定部１７は、図２４（ａ）〜図２４（ｄ）に示されるTU予測モード条件マップを参照する。そして、64x64画素のPU(PUSIZE=64)については、そのPUに含まれる、TUSIZE=32,16,8,4の各TUのTU予測モード条件のうちの最小値は'1'となるので、制限対象予測モード決定部１７は、64x64画素のPUには、TU予測モード条件１を適用する。
また、32x32画素のPUについては、制限対象予測モード決定部１７は、それぞれのPUごとに、そのPUに含まれる、TUSIZE=32,16,8,4の各TUのTU予測モード条件のうちの最小値を抽出する。そして制限対象予測モード決定部１７は、PUIDX=0または2のPUについてはTU予測モード条件５を適用し、PUIDX=1または3のPUについてはTU予測モード条件１を適用する。同様に、制限対象予測モード決定部１７は、16x16画素、8x8画素、4x4画素の各PUについて適用されるTU予測モード条件を決定する。

図２７（ａ）〜図２７（ｅ）は、それぞれ、サイズが64x64画素、32x32画素、16x16画素、8x8画素、4x4画素のPUについて、図１０に示された時刻(t+6)のピクチャのCTU１０１２についてPUごとに、予測モードの適用が制限されるPUを表すPU予測モード条件マップである。この例では、CTU１０１２の右端から8画素の位置にリフレッシュ境界r''が位置する。各ブロック２７０１は、それぞれ、一つのPUを表す。そして各PU内には、上記のTU予測モード条件が示される。また、予測モードの適用に制限が無いPUについては、'0'が示される。

符号化モード決定部１８は、符号化対象のCUにおいて、そのCUのサイズの適用制限と、そのCUに含まれるTU及びPUのサイズの適用制限と、予測モードの適用制限とに基づいて、適用可能なCUサイズ、PUサイズ、TUサイズ及び予測モードの組み合わせを求める。そして符号化モード決定部１８は、その組み合わせの中から、符号量の推定値が最小となる一つの組合せをそのCUに適用するイントラ予測符号化モードとする。

符号化モード決定部１８は、TU及びPUのサイズを決定するために、TUとPUのサイズの組み合わせのそれぞれについて、符号量の推定値である符号化コストを算出し、その符号化コストが最小となる組み合わせを選択する。符号化モード決定部１８は、符号化コストを算出するために、次式に従って予測誤差、すなわち画素差分絶対値和SADを算出する。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは符号化対象ピクチャの着目するブロック、例えば、TUに含まれる画素の値であり、PredPixelはHEVC規格で求められる、着目するブロックに対応する予測ブロックに含まれる画素の値である。
ただし、符号化モード決定部１８は、SADの代わりに、着目するブロックと予測ブロックとの差分画像をアダマール変換した後の各画素の絶対値和SATDなどを算出してもよい。

図２８を参照しつつ、予測モードの適用制限がPU単位で行われるとして、PUに含まれるTUについて適用する予測モード及びTUとPUのサイズを決定する処理について説明する。
イントラ予測符号化モードでは、CUのサイズCUSIZEが64, 32, 16の何れかである場合、CUのサイズCUSIZEとPUのサイズPUSIZEは等しくなる。例えば、CUSIZE=32ならばPUSIZE=32となり、CUSIZE=16ならばPUSIZE=16となる。
図２８は、図１０に示された時刻(t+6)のピクチャのCTU１０１２について、PUSIZE=32としたきの符号化コストとPUSIZE=16としたときの比較の例を示している。
PU3203は、PUSIZE=32、かつ、PUIDX=3のPUを表している。また、PU3203に含まれるサイズnのTUは、PU3203(TUn)で表される。例えば、TUSIZE=16であるTUは、PU3203(TU16)と表記される。さらに、PU3203内のサイズn、かつTUIDX=mのTUは、PU3203(TUn-m)と表記される。例えば、TUSIZE=16であり、かつ、TUIDX=2であるTUは、PU3203(TU16-2)と表記される。

符号化モード決定部１８は、CU禁止マップとPU禁止マップを参照して、適用可能なCU及びPUのサイズの組み合わせであれば、そのCUとPUの組み合わせについて、符号化コストを算出する。ここでは、CUSIZE=32及びPUSIZE=32とCUSIZE=16及びPUSIZE=16が許可されていると仮定して説明する。

符号化モード決定部１８は、PU3203では、図２７（ｂ）に示された、PUSIZE=32のPU予測モード条件マップのPUIDX=3であるPUを参照する。PU3203については、TU予測モード条件１が適用されるので、予測モード1〜26の適用が許可される。符号化モード決定部１８は、その予測モードの制限の下で、TUSIZE=32、16、8及び4のそれぞれについて符号化コストを算出する。
このときTUSIZE=32では、PU3203には、PU3203(TU32-3)のみが含まれる。そのため、符号化モード決定部１８は、図１３（ａ）に示される、TUSIZE=32のTU禁止マップのTUIDX=3のTU禁止フラグを参照する。TUIDX=3のTUには、リフレッシュ境界１０１０が含まれているので、TU禁止フラグは'1'である。これにより、PU3203(TU32-3)の適用が禁止されていることが分かる。そのため、符号化モード決定部１８は、PU3203(TU32-3)の符号化コストを無効な値（例えば、非常に大きな値）に設定する。なお、TU禁止マップはTU予測モード条件マップに統合されているので、符号化モード決定部１８は、TUSIZE=32のTU予測モード条件マップにおける、TUIDX=3のTUの予測モード制限フラグの値を参照してもよい。そしてその予測モード制限フラグの値がNanであることにより、符号化モード決定部１８は、PU3203(TU32-3)の適用が禁止されていると判断してもよい。

同様に、TUSIZE=16では、PU3203には、PU3203(TU16-12)、PU3203(TU16-13)、PU3203(TU16-14)、PU3203(TU16-15)が含まれる。そこで符号化モード決定部１８は、図１３（ｂ）に示される、TUSIZE=16のTU禁止マップのTUIDX=12〜15のTU禁止フラグを参照する。ここで、PU3203(TU16-12)、PU3203(TU16-13)、PU3203(TU16-14)、PU3203(TU16-15)のうちの一つでも適用が禁止されていれば、そのサイズのTUの適用はできない。この例では、図１３（ｂ）に示されるように、PU3203(TU16-13)、PU3203(TU16-15)の適用が禁止されている。よって、符号化モード決定部１８は、TUSIZE=16のTUを適用しない。そのため、符号化モード決定部１８は、PU3203(TU16-12)、PU3203(TU16-13)、PU3203(TU16-14)、PU3203(TU16-15)の符号化コストを無効な値（例えば、非常に大きな値）に設定する。同様にして、符号化モード決定部１８は、TUSIZE=8または4であるTUについては、全てのTUの適用が許可されることが分かる。

符号化モード決定部１８は、適用が許可されたTUSIZEの各TUについて、適用が許可された予測モードを用いて符号化コストを求める。以下では、便宜上、TUについての符号化コストをTUコストと呼ぶ。TUSIZE=8では、TU選択条件１が適用されるので、符号化モード決定部１８は、PU3203に含まれる16個のTUのそれぞれについて、予測モード1〜26のそれぞれのTUコストを算出する。そして符号化モード決定部１８は、予測モードごとに、各TUのTUコストの総和をモードコストCostPU3203(TU8)Mode1、・・・、CostPU3203(TU8)Mode26=ΣSAD（Mode,TUIDX）として算出する。符号化モード決定部１８は、モードコストのうちの最小値を、TUSIZE=8の場合のPU3203のコストCostPU3203(TU8)とする。また、そのモードコストの最小値に対応する予測モードMode PU3203(TU8)を、符号化モード決定部１８が有するメモリ回路（図示せず）に記憶する。

同様に、符号化モード決定部１８は、TUSIZE=4の各TUについて予測モードごとのTUコストを算出し、その総和をモードコストとして算出する。そして符号化モード決定部１８は、モードコストの最小値を、TUSIZE=4の場合のPU3203のコストCostPU3203(TU4)とし、その最小値に対応する予測モードMode PU3203(TU4)を、符号化モード決定部１８が有するメモリ回路（図示せず）に記憶する。

符号化モード決定部１８は、TUSIZE=8の場合のPU3203のコストCostPU3203(TU8)と、TUSIZE=4の場合のPU3203のコストCostPU3203(TU4)とを比較し、小さい方のコストをPU3203の符号化コストCostPU3203とする。そして符号化モード決定部１８は、その小さい方のコストに対応するTUSIZEと予測モードMode PU3203を、符号化モード決定部１８が有するメモリ回路（図示せず）に記憶する。

次に、PU3203を4分割した、PUSIZE=16のPUについての符号化コストの算出について説明する。符号化モード決定部１８は、PU3203についての符号化コストの算出と同様の処理を行うことにより、PU3203に含まれる４個のPUのそれぞれについて符号化コストを算出する。図２７（ｃ）に示された、PUSIZE=16のPU予測モード条件マップを参照すると、PU1612(すなわち、PUSIZE=16,PUIDX=12のPU)、PU1614(すなわち、PUSIZE=16,PUIDX=14のPU)においては、TU選択条件２が適用されるので、予測モード0〜30の適用が許可される。一方、PU1613、PU15においては、TU選択条件１が適用されるので、予測モード1〜26の適用が許可される。符号化モード決定部１８は、その予測モードの制限の下で、TUSIZE=8及び4のそれぞれについて符号化コストを算出する。これにより、PU1612〜PU1615のそれぞれについての最小となる符号化コストCostPU1612〜CostPU1615が算出され、対応する予測モードModePU1612〜ModePU1615が求められる。

最後に、符号化モード決定部１８は、PUSIZE=32のときの符号化コストPUコストCost PU3203と、PUSIZE=16のときの各PUの符号化コストCostPU1612〜CostPU1615の総和を比較する。そして符号化モード決定部１８は、符号化コストが小さい方のPUSIZEとそのときのTUSIZE及び予測モードの組み合わせを、PU3203について適用するイントラ予測符号化モードとする。

なお、符号化モード決定部１８は、インター予測符号化モードによる符号化コストについては、例えば、HEVCに規定されたインター予測符号化モードの処理に応じて算出すればよい。そして符号化モード決定部１８は、符号化対象ブロックについて、CUのサイズごとに上記と同様のコスト比較処理を行うことによって、CUのサイズごとにイントラ予測符号化モードによる符号化コストとインター予測符号化モードによる符号化コストを算出する。そして符号化モード決定部１８は、符号化対象ブロックを符号化コストが最小となるサイズのCUに分割し、その符号化コストに対応する符号化モードを適用する。

なお、符号化モード決定部１８は、PUを変更せず、例えば、適用可能なサイズのうちの最大となるPUとし、TU単位で予測モードの適用制限を変更しながら符号化コストの最小値を求めることで、着目するCUに適用するイントラ予測符号化モードを決定してもよい。

再度、図１０に示された時刻(t+6)のピクチャのCTU１０１２を例として、この変形例による、符号化モードの決定処理を、図２９を参照しつつ説明する。符号化モード決定部１８は、まず、CU禁止マップとPU禁止マップを参照する。例えば、図１５（ａ）〜図１５（ｅ）及び図１８（ａ）〜図１８（ｅ）を参照すると、PUSIZE=64またはPUSIZE=32のPUの適用は禁止されているので、符号化モード決定部１８は、PUSIZE=64またはPUSIZE=32のPUについては、符号化コストを算出しない。したがって、符号化モード決定部１８は、PUSIZE=16、8、または4のPUについて符号化コストを算出する。ただし、PUSIZE=16、8 における符号化コストの算出処理と、PUSIZE=4での符号化コストの算出処理は同様であるので、以下では、PUSIZE=4についての符号化コストの算出の説明は省略する。

PUSIZE=16では、PUIDX=5,7,13,15のPUの適用が禁止されているため、符号化モード決定部１８は、他の適用が許可されているPUについて符号化コストを算出する。ここでは、PU1612とPU1614の符号化コストの算出について説明する。

PU1612(TU16)では、図２４（ｂ）に示される、TUSIZE=16のTU予測モード条件マップのTUIDX=12のTUを参照する。PU1612(TU16)については、TU選択条件２が適用されるので、予測モード1〜30の適用が許可される。符号化モード決定部１８は、予測モード1〜30のそれぞれについてPU1612(TU16)のSADを求める。そして符号化モード決定部１８は、予測モードごとに、SADの合計を、その予測モードについての符号化コストであるモードコストCost PU1612(TU16)Mode1〜Cost PU1612 (TU16)Mode30として算出する。符号化モード決定部１８は、モードコストの最小値をTUコストCost PU1612 (TU16)とし、その最小値に対応する予測モードMode PU1612 (TU16)を符号化モード決定部１８が有するメモリ回路（図示せず）に記憶する。

PU1612(TU8)について、PU1612に含まれる全てのTUについて予測モードの適用制限が同一であれば、符号化モード決定部１８は、符号化コストを算出する。図２４（ｃ）のTUSIZE=8のTUについてのTU予測モード条件マップを参照すると、PU1612に含まれる全てのTUについて、予測モードの適用制限が無いことが分かる。そこで符号化モード決定部１８は、全ての予測モードについてPU1612の符号化コストを算出し、そのうちの最小値をTUコストCostPU1612 (TU8)とする。また符号化モード決定部１８は、その最小値に対応する予測モードMode PU1612 (TU8)を、符号化モード決定部１８が有するメモリ回路（図示せず）に記憶する。

さらにPU1612(TU4)について、図２４（ｄ）のTUSIZE=4のTUについてのTU予測モード条件マップを参照すると、PU1612に含まれる全てのTUについて、予測モードの適用制限が無いことが分かる。そこで符号化モード決定部１８は、全ての予測モードについてPU1612の符号化コストを算出し、そのうちの最小値をTUコストCostPU1612 (TU4)とする。また符号化モード決定部１８は、その最小値に対応する予測モードMode PU1612 (TU4)を、符号化モード決定部１８が有するメモリ回路（図示せず）に記憶する。

符号化モード決定部１８は、TUコストCostPU1612 (TU16)、Cost PU1612 (TU8)、Cost PU1612 (TU4)のうちの最小値をPUコストCostPU1612とし、その最小値に対応するTUSIZEと予測モードMode PU1612を符号化モード決定部１８が有するメモリ回路（図示せず）に記憶する。

一方、PU1612を4分割した、PUSIZE=8のPU848、PU849、PU850、PU851について、符号化モード決定部１８は、TUSIZE=8のTUコストとTUSIZE=4のTUコストを求める。
例えば、PU848について、図２４（ｃ）のTUSIZE=8のTUについてのTU予測モード条件マップを参照すると、PU848に含まれるTUSIZE=8のTUについて、予測モードの適用制限が無いことが分かる。そこで符号化モード決定部１８は、PU848に含まれるTUSIZE=8のTUについて、全ての予測モードについて符号化コストを算出し、その最小値をTUコストCost PU848 (TU8)とする。また符号化モード決定部１８は、その最小値及びその最小値に対応する予測モードMode PU848 (TU8)を、符号化モード決定部１８が有するメモリ回路（図示せず）に記憶する。
同様に、符号化モード決定部１８は、TUSIZE=4のTUについて適用が許可されている全ての予測モードのそれぞれについて符号化コストを算出し、その最小値をCostPU848 (TU4)とする。また符号化モード決定部１８は、その最小値及びその最小値に対応する予測モードMode PU848 (TU4)を、符号化モード決定部１８が有するメモリ回路（図示せず）に記憶する。

符号化モード決定部１８は、Cost PU848 (TU8)とCost PU848 (TU4)のうちの最小値をPUコストCostPU848とし、その最小値に対応するTUSIZEと予測モードMode PU848を符号化モード決定部１８が有するメモリ回路（図示せず）に記憶する。同様に、符号化モード決定部１８は、PU849、PU850、PU851についてもPUコスト及び対応するTUSIZEと予測モードを求める。

符号化モード決定部１８は、PUSIZE=16のときの符号化コストPUコストCost PU1612と、PUSIZE=8のときの各PUの符号化コストCostPU848〜CostPU851の総和を比較する。そして符号化モード決定部１８は、符号化コストが小さい方のPUSIZEとそのときのTUSIZE及び予測モードの組み合わせを、PU1612について適用するイントラ予測符号化モードとする。符号化モード決定部１８は、PU1614についても同様の処理を行って、符号化コストが最小となるPUSIZE、TUSIZE及び予測モードの組み合わせを求め、その組み合わせを、PU1614に適用されるイントラ予測符号化モードとする。

次に、符号化モード決定部１８は、PU852、PU853、PU854、PU855 、PU860、PU861、PU862、PU863について、TUSIZE=8のTUコストとTUSIZE=4のTUコストを求める。例えば、PU852（TU8-52）において、図２４（ｃ）のTUSIZE=8のTUについてのTU予測モード条件マップを参照すると、PU852に含まれるTUSIZE=8のTUには、TU選択条件２が適用されることが分かる。したがって、符号化モード決定部１８は、PU852に含まれるTUSIZE=8のTUについて、予測モード1〜26のそれぞれについて符号化コストを算出し、そのうちの最小値をPU852（TU8）のTUコストとする。符号化モード決定部１８は、TUSIZE=4についても同様の処理を行って、PU852(TU4)のTUコストを算出する。そして符号化モード決定部１８は、PU852（TU8）のTUコストとPU852(TU4)のTUコストのうちの最小値に対応するTUSIZE及び予測モードを求める。符号化モード決定部１８は、それ以降、上記の変形例と同様の処理を行うことで、符号化コストが最小となるPUSIZE、TUSIZE及び予測モードの組み合わせを求め、その組み合わせを、PU852に適用されるイントラ予測符号化モードとする。また、符号化モード決定部１８は、 PU853、PU854、PU855 、PU860、PU861、PU862、PU863についても、同様に、符号化コストが最小となるPUSIZE、TUSIZE及び予測モードの組み合わせを求め、その組み合わせを、それらのPUに適用されるイントラ予測符号化モードとする。

予測符号化部１９は、各CUについて、符号化モード決定部１８により決定された符号化モードに従って、CUに含まれるTUごとに予測ブロックを生成し、その予測ブロックとTU間の予測誤差を量子化することで、各CUの符号化データを生成する。

具体的に、予測符号化部１９は、符号化対象TUと、予測ブロックとの差分演算を実行する。そして予測符号化部１９は、その差分演算により得られたTU内の各画素に対応する差分値を、予測誤差信号とする。

予測符号化部１９は、符号化対象TUの予測誤差信号を直交変換することにより、予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す周波数信号を求める。例えば、予測符号化部１９は、直交変換処理として、離散コサイン変換（Discrete Cosine Transform、DCT）を予測誤差信号に対して実行することにより、周波数信号として、TUごとのDCT係数の組を得る。

次に、予測符号化部１９は、周波数信号を量子化することにより、その周波数信号の量子化係数を算出する。この量子化処理は、一定区間に含まれる信号値を一つの信号値で表す処理である。そしてその一定区間は、量子化幅と呼ばれる。例えば、予測符号化部１９は、周波数信号から、量子化幅に相当する所定数の下位ビットを切り捨てることにより、その周波数信号を量子化する。量子化幅は、量子化パラメータによって決定される。例えば、予測符号化部１９は、量子化パラメータの値に対する量子化幅の値を表す関数にしたがって、使用される量子化幅を決定する。またその関数は、量子化パラメータの値に対する単調増加関数とすることができ、予め設定される。

あるいは、水平方向及び垂直方向の周波数成分のそれぞれに対応する量子化幅を規定する量子化マトリクスが、予め複数準備され、予測符号化部１９が有するメモリに記憶される。そして予測符号化部１９は、量子化パラメータにしたがって、それら量子化マトリクスのうちの特定の量子化マトリクスを選択する。そして予測符号化部１９は、選択された量子化マトリクスを参照して、周波数信号の各周波数成分に対する量子化幅を決定してもよい。

また予測符号化部１９は、HEVCなどの動画像符号化規格に対応した様々な量子化パラメータ決定方法の何れかに従って量子化パラメータを決定すればよい。予測符号化部１９は、例えば、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法を用いることができる。なお、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法に関しては、例えば、http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlで特定されるURLを参照されたい。
予測符号化部１９は、量子化処理を実行することにより、周波数信号の各周波数成分を表すために使用されるビットの数を削減できるので、符号化対象TUに含まれる情報量を低減できる。予測符号化部１９は、量子化係数を符号化データとしてエントロピー符号化部２０へ出力する。

また予測符号化部１９は、符号化対象TUの量子化係数から、そのブロックよりも後のブロックを符号化するための参照ピクチャを生成する。そのために、予測符号化部１９は、量子化係数に、量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより、量子化係数を逆量子化する。この逆量子化により、符号化対象TUの周波数信号、例えば、DCT係数の組が復元される。その後、予測符号化部１９は、周波数信号を逆直交変換処理する。例えば、予測符号化部１９がDCTを用いて周波数信号を算出している場合、予測符号化部１９は、復元された周波数信号に対して逆DCT処理を実行する。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号が再生される。

予測符号化部１９は、予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算する。これらの処理を各ブロックについて実行することにより、予測符号化部１９は、その後に符号化されるPUに対する予測ブロックを生成するために利用される参照ブロックを生成する。
予測符号化部１９は、参照ブロックを生成する度に、その参照ブロックを、予測符号化部１９が有するメモリに記憶する。

予測符号化部１９が有するメモリは、順次生成された参照ブロックを一時的に記憶する。各ブロックの符号化順序にしたがって、１枚のピクチャ分の参照ブロックを結合することで、後続するピクチャの符号化の際に参照される参照ピクチャが得られる。予測符号化部１９が有するメモリは、符号化対象ピクチャが参照する可能性がある、予め定められた所定枚数分の参照ピクチャを記憶し、参照ピクチャの枚数がその所定枚数を超えると、符号化順序が古い参照ピクチャから順に破棄する。

さらに、予測符号化部１９が有するメモリは、インター予測符号化された参照ブロックのそれぞれについての動きベクトルを記憶する。

また、予測符号化部１９は、インター予測符号化用の予測ブロックを生成するために、符号化対象PUと参照ピクチャとの間でブロックマッチングを実行して、符号化対象PUと最も一致する参照ピクチャ及びその参照ピクチャ上の領域の位置を決定することにより、動きベクトルを求める。

予測符号化部１９は、符号化モード決定部１８によって選択された符号化モードに従って予測ブロックを生成する。予測符号化部１９は、符号化対象PUがインター予測符号化される場合、参照ピクチャを動きベクトルに基づいて動き補償することで予測ブロックを生成する。

また予測符号化部１９は、符号化対象PUがイントラ予測符号化される場合、符号化対象PUに隣接するブロックから予測ブロックを生成する。その際、予測符号化部１９は、例えば、HEVCに規定されている各種の予測モードのうち、符号化モード決定部１８により決定された予測モード、PUSIZE及びTUSIZEに従って予測ブロックを生成する。

エントロピー符号化部２０は、予測符号化部１９から出力された量子化信号及び動きベクトルの予測誤差信号などをエントロピー符号化することにより得られたビットストリームを出力する。そして制御部（図示せず）は、出力されたビットストリームを所定の順序で結合し、HEVCなどの符号化規格で規定されるヘッダ情報などを付加することで、符号化された動画像データが得られる。

図３０は、動画像符号化装置１による動画像符号化処理の動作フローチャートである。動画像符号化装置１はピクチャごとに、下記の動作フローチャートに従ってピクチャを符号化する。
リフレッシュ周期は動画像符号化装置１の動作開始時に設定される。そして制御部（図示せず）は、リフレッシュ周期及びピクチャサイズに基づいて連続する二つのピクチャ間でのリフレッシュ更新サイズを決定する。

リフレッシュ境界決定部１０は、リフレッシュ更新サイズと一つ前の符号化済みピクチャのリフレッシュ境界位置とから符号化対象ピクチャのリフレッシュ境界の位置を決定する（ステップＳ１０１）。TU制限対象CTU決定部１２は、符号化対象ピクチャのリフレッシュ境界位置に基づいて、適用が制限されるTUを含むTU制限対象CTUを特定する（ステップＳ１０２）。また、予測モード制限対象CTU決定部１６は、符号化対象ピクチャのリフレッシュ境界位置に基づいて、予測モードの適用が制限されるTU及びPUを含む予測モード制限対象CTUを特定する（ステップＳ１０３）。

制限対象TU決定部１３は、TU制限対象CTU内で、TUの取り得る複数のサイズのそれぞれごとに、適用が禁止されるTUを決定し、TU禁止マップを作成する（ステップＳ１０４）。また、制限対象PU決定部１４は、TU禁止マップ及びTUとPU間のサイズの関係に基づいて、PUの取り得る複数のサイズのそれぞれごとに、適用が禁止されるPUを決定し、PU禁止マップを作成する（ステップＳ１０５）。さらに、制限対象CU決定部１５は、TU禁止マップ及びTUとCU間のサイズの関係に基づいて、CUの取り得る複数のサイズのそれぞれごとに、適用が禁止されるCUを決定し、CU禁止マップを作成する（ステップＳ１０６）。

一方、制限対象予測モード決定部１７は、予測モード制限対象CTU内で、TUごとに、そのTUからリフレッシュ境界またはリフレッシュ境界を含む隣接CTUとの境界までの距離に応じて、参照可能な範囲を決定する（ステップＳ１０７）。そしてその参照可能な範囲に基づいて、制限対象予測モード決定部１７は、TUごとに、適用可能な予測モードを特定し、TU予測モード条件マップを作成する（ステップＳ１０８）。

符号化モード決定部１８は、CTUごとに、TU禁止マップ、PU禁止マップ及びCU禁止マップと、TU予測モード条件マップに基づいて、CUのサイズ、PUのサイズ、TUのサイズ及び予測モードのそれぞれについて適用可能な候補の組み合わせを特定し、その組み合わせごとに符号化コストを算出する。そして符号化モード決定部１８は、符号化コストが最小となるCU、PU及びTUのサイズと予測モードの組み合わせを、適用されるイントラ予測符号化モードとする（ステップＳ１０９）。さらに、符号化モード決定部１８は、CU単位で、イントラ予測符号化モードの符号化コストとインター予測符号化モードの符号化コストを比較し、符号化コストの小さい方を、そのCUに適用する符号化モードとする（ステップＳ１１０）。

予測符号化部１９は、各CTUを、CU単位で決定された符号化モードに従って予測符号化する（ステップＳ１１１）。そしてエントロピー符号化部２０は、予測符号化により得られた符号化データをエントロピー符号化する（ステップＳ１１２）。ステップＳ１１２の後、動画像符号化装置１は、動画像符号化処理を終了する。

以上に説明してきたように、この動画像符号化装置では、イントラリフレッシュ方式が適用される。この動画像符号化装置は、符号化対象ピクチャのリフレッシュ境界を含むTUの適用を禁止するとともに、未リフレッシュ領域を参照する予測モードの適用を禁止する。その制限下で、この動画像符号化装置は、符号化コストが最小となるCUサイズ、PUサイズ、TUサイズ及び予測モードの組み合わせを、適用するイントラ予測符号化モードとして決定する。そのため、この動画像符号化装置は、イントラ予測符号化されるリフレッシュ済み領域内のブロックに、未リフレッシュ領域の情報が伝播することを防止できる。

次に、第２の実施形態による動画像符号化装置について説明する。第１の実施形態による動画像符号化装置では、制限対象TU決定部１３において、できる限りTUサイズ候補数を維持するように動作させ、制限対象予測モード決定部１７によりそれぞれのTUサイズに対応した予測モードの適用制限を行う。一方、第２の実施形態による動画像符号化装置は、制限対象TU決定部１３において、TUの複数の取り得るサイズのそれぞれごとに、そのサイズを持つTUのうち、予測モードによっては符号化ブロックの生成に未リフレッシュ領域を参照するTUを適用禁止対象とする。これにより、第２の実施形態による動画像符号化装置は、制限対象予測モード決定部１７の予測モードの制限条件を簡略化する。

第２の実施形態による動画像符号化装置は、第１の実施形態による動画像符号化装置と比較して、TU制限対象CTU決定部１２、制限対象TU決定部１３、予測モード制限対象CTU決定部１６及び制限対象予測モード決定部１７の処理が異なる。そこで以下では、TU制限対象CTU決定部１２、制限対象TU決定部１３、予測モード制限対象CTU決定部１６及び制限対象予測モード決定部１７について説明する。

TU制限対象CTU決定部１２は、リフレッシュ境界の位置がCTU境界の位置と等しいとき（例えば、図１０における時刻(t+7）のピクチャ)については、TU制限対象CTUを設定しない。
一方、リフレッシュ境界の位置がCTU境界の位置と異なり、かつ、リフレッシュ境界を含むCTU内に、TUサイズの候補の最大値(32画素)以上のリフレッシュ済み領域があるとき（例えば、図１０における時刻(t+3)、(t+4)、(t+5)、(t+6)のピクチャ）、TU制限対象CTU決定部１２は、リフレッシュ境界を含むCTUをTU制限対象CTUとする。
また、リフレッシュ境界の位置がCTU境界の位置と異なり、かつ、リフレッシュ境界を含むCTU内に、TUサイズの候補の最大値以上のリフレッシュ済み領域がないとき（例えば、図１０における時刻t、(t+1)、(t+2)のピクチャ）、TU制限対象CTU決定部１２は、リフレッシュ境界を含むCTUとリフレッシュ境界を含むCTUのリフレッシュ済み領域側に隣接するCTUをTU制限対象CTUとする。

すなわち、R%CTUSIZE=0であれば、TU制限対象CTU決定部１２は、TU制限対象CTUを設定しない。一方、R%CTUSIZEが0でなければ、TU制限対象CTU決定部１２は、CTUHIDX=r/CTUSIZEとなるCTUをTU制限対象CTUとする。さらに、TU制限対象CTU決定部１２は、P=(R/CTUSIZE)* CTUSIZEとして、R-P<MAXTUSIZEのとき、CTUHIDX={(r/CTUSIZE)-1}となるCTUもTU制限対象CTUとする。なお、CTUHIDX≧0である。

図３１は、図１０の時刻t〜(t+7)のピクチャに対して第２の実施形態により設定されるTU制限対象CTUを示す図である。リフレッシュ境界１０１０よりも右側の領域が未リフレッシュ領域であり、左側の領域がリフレッシュ済み領域である。時刻t〜(t+2)のピクチャでは、リフレッシュ境界１０１０を含むCTU１０１２の左側の領域の幅が、TUサイズの候補の最大値である32画素未満であるため、CTU１０１２及びCTU１０１２の左側に隣接するCTU１０１１がTU制限対象CTUとなる。一方、時刻(t+3)〜(t+6)のピクチャでは、リフレッシュ境界１０１０を含むCTU１０１２の左側の領域の幅が、TUサイズの候補の最大値以上であるため、CTU１０１２のみがTU制限対象CTUとなる。そして時刻(t+7)のピクチャについては、リフレッシュ境界１０１０の位置がCTU１０１２の右端側のCTU境界と一致するため、TU制限対象CTUは設定されない。

ここで、以降の説明の便宜のために、TU制限対象CTUであるCTUの左端を基準とした座標を定義する。この座標系における未リフレッシュ領域側からリフレッシュ境界に接する画素の位置をR'とすると、CTUHIDX={(r/CTUSIZE)-1}となるCTUについて、R'={R-((R-1)/CTUSIZE)*CTUSIZE}となる。一方、CTUHIDX=(r/CTUSIZE)となるCTUについて、R'=R-(R/CTUSIZE)*CTUSIZEとなる。また、この座標系におけるリフレッシュ済み領域側からリフッシュ境界に接する画素の位置をr'とすると、r'=R'-1となる。この座標系における、リフレッシュ境界を含むCTUの左端の座標P'も同様に算出される。ただし、CTUHIDX = R/CTUSIZEのとき、P'=0である。ここで、リフレッシュ境界を含むCTUの左端に隣接する画素の座標をp=P-1とすると、予測モード制限対象CTUの左端を基準とした座標系では、リフレッシュ境界を含むCTUの左端に隣接する画素の座標p'は(P'-1)となる。

制限対象TU決定部１３は、リフレッシュ境界を含むCTUのリフレッシュ済み領域側に隣接するTU制限対象CTUにおいて、複数のサイズのTUのそれぞれについて、全ての予測モードについて、参照画素全てがリフレッシュ済み領域に含まれるか否を判定する。そして制限対象TU決定部１３は、何れかの予測モードについての参照画素の少なくとも一つが未リフレッシュ領域に含まれるTUを禁止対象TUとする。
また、制限対象TU決定部１３は、リフレッシュ境界を含むTU制限対象CTUにおいて、リフレッシュ境界に接するTU以外の、リフレッシュ済み領域に含まれるサイズのTUのそれぞれについて、全ての予測モードについて、参照画素全てがリフレッシュ済み領域に含まれるか否を判定する。そして制限対象TU決定部１３は、何れかの予測モードについての参照画素の少なくとも一つが未リフレッシュ領域に含まれるTUを禁止対象TUとする。

上記のように、禁止対象TUは、リフレッシュ境界を含むTU制限対象CTUに隣接するTU制限対象CTUと、リフレッシュ境界を含むTU制限対象CTUとで個別に設定できる。そのため、例えば、図１０に示された時刻t、(t+1)、(t+2)のピクチャにおける、リフレッシュ境界を含むTU制限対象CTUに隣接するTU制限対象CTUにのみ、禁止対象TUを設定してもよい。これにより、制限対象TU決定部１３は、リフレッシュ境界を含むTU制限対象CTUについて、CTUの端からリフレッシュ境界までの幅が少なくともTUサイズだけ離れているか否かを判定しなくてもよい。そして制限対象TU決定部１３は、リフレッシュ境界を含むTU制限対象CTUについて、適用可能なTUのサイズを、リフレッシュ更新サイズを割りきれるTUのサイズのうちの最大値以下にすればよいため、リフレッシュ境界を含むTU制限対象CTUについての禁止対象TUの設定処理を簡単化できる。

（１）CTUHIDX={(r/CTUSIZE)-1}であるTU制限対象CTUについて
図６に示されるように、TUのサイズによっては、p'を含むTU、すなわち、リフレッシュ境界を含むCTUに隣接するTUの参照画素の範囲にリフレッシュ境界が含まれる。TUからリフレッシュ境界までの間に位置する画素の参照は許可されるため、(R'-P')%TUSIZEの値によって、p'を含むTUが禁止対象TUになるか否かが判定される。すなわち、R'-P'≧TUSIZEであれば、そのTUSIZEを持つTUについては参照画素全てについて参照が許可されるため、そのTUは、禁止対象TUでなくてよい。一方、R'-P'<TUSIZEであれば、制限対象TU決定部１３は、そのTUSIZEを持つTUを禁止対象TUとする。したがって、CTUHIDX=(r/CTUSIZE)となるCTUにおいてTU境界とリフレッシュ境界が異なる場合（すなわち、(R'-P')%TUSIZE!=0）、制限対象TU決定部１３は、TUHIDX=p'/TUSIZEとなるTUを禁止対象TUとする。ただし、TUSIZE=32,16,8,4である。言い換えれば、制限対象TU決定部１３は、p'を含むTUについて、リフレッシュ更新サイズSを割りきれるTUSIZEのうちの最大値以下のTUSIZEを持つTUの適用を許可する。

処理順に関して、制限対象TU決定部１３は、例えば、一つの32x32画素のTUに含まれる４個の16x16画素のTUそれぞれについて禁止対象TUとなるか否か判定した後に、次の32x32画素のTUについて禁止対象TUとなるか否かを判定してもよい。あるいは、制限対象TU決定部１３は、４個の32x32画素のTUのそれぞれについて禁止対象TUとなるか否か判定した後に、16個の16x16画素のTUのそれぞれについて禁止対象TUとなるか否か判定してもよい。
制限対象TU決定部１３は、TUサイズの階層ごとに、各TUに禁止対象TUか否かを表すTU禁止フラグを設定することで、適用可能なTUと適用が禁止されるTUとを示すTU禁止マップを生成する。

図３２（ａ）〜図３２（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻tのピクチャのリフレッシュ境界を含むCTUに隣接するTU制限対象CTU１０１１のTU禁止マップである。各ブロック３２０１は、それぞれ、一つのTUを表す。そして各TU内には、禁止対象TUか否かを表すTU禁止フラグが示される。TU禁止フラグの値が'0'であるTUは、禁止対象TUでないことを表す。一方、TU禁止フラグの値が'1'であるTUは、禁止対象TUであることを表す。時刻tでは、R'-P'=8であるため、図３２（ａ）〜図３２（ｄ）に示されるように、リフレッシュ更新サイズ(8画素)よりも大きいサイズのTUについてのみ、p'の座標が含まれるTUが禁止対象TUに設定される。

なお、変形例によれば、処理の簡単化のため、制限対象TU決定部１３は、選択可能なTUSIZEのうちの最小値となるTUSIZEを持つTUのみ、適用を許可（すなわち、禁止対象TUにしない）してもよい。
あるいは、制限対象TU決定部１３は、リフレッシュ更新サイズSを割りきれるCUSIZEのうちの最大値、すなわち、(R'-P')%CUSIZE=0となる最小のCUSIZEより大きいTUSIZEを持つTUを禁止対象TUとしてもよい。この場合、制限対象TU決定部１３は、その最小のCUSIZE以下のTUSIZEを持つTUの適用を許可してもよい。

また、制限対象TU決定部１３は、TUSIZEが小さい方から順に、TUHIDX=P'%TUSIZEかつR'-P'≧TUSIZEとなる条件、すなわち、p'を含むTUの適用が許可される条件が満たされるか否か判定してもよい。制限対象TU決定部１３は、この条件が満たされる最大のTUSIZEが見つかった時点で禁止対象TUの判定処理を打ち切り、適用が許可されるTUSIZEの最大値よりも大きいTUSIZEを持つ、p'を含むTUを禁止対象TUとしてもよい。

（２）CTUHIDX=r/CTUSIZEとなる、すなわち、リフレッシュ境界を含むTU制限対象CTUについて
リフレッシュ境界を含むTU制限対象CTUでは、制限対象TU決定部１３は、リフレッシュ境界r'を含むTUを禁止対象TUとする。ここで、便宜上、リフレッシュ境界を含むTUの左端の座標をQ'{=(R'/TUSIZE)*TUSIZE}、リフレッシュ境界を含むTUの左端に隣接する画素の座標をq'(=Q'-1)とする。

図６に示されるようにTUサイズによっては、座標q'を含むTUの参照画素の範囲にリフレッシュ境界が含まれる。具体的には、R'-Q'≧TUSIZEとなる場合には、そのTUSIZEでは参照画素の範囲にリフレッシュ境界が含まれず、何れの予測モードにおいても全ての参照画素の参照が許可される。そのため、制限対象TU決定部１３は、そのTUSIZEを持つTUの適用を許可し、禁止対象TUに設定しない。一方、(R'-Q')<TUSIZEであれば、制限対象TU決定部１３は、そのTUSIZEを持つTUを禁止対象TUとする。したがって、TU境界の位置とリフレッシュ境界の位置が異なる場合、制限対象TU決定部１３は、TUHIDX=q'/TUSIZE={(r'/TUSIZE)-1}となるTUを禁止対象TUとする。

例えば、制限対象TU決定部１３は、TU制限対象CTU内の32x32画素のTUのそれぞれについて、そのTU内にリフレッシュ境界rが含まれるか判定する。リフレッシュ境界r'がそのTU内に含まれるとき、制限対象TU決定部１３は、その32x32画素のTUを禁止対象TUとする。

さらに、TU境界の位置とリフレッシュ境界の位置が異なるとき、すなわち(R'-Q')%32!=0のとき、制限対象TU決定部１３は、リフレッシュ済み領域において、リフレッシュ境界r'を含む32x32画素のTUの左側に隣接する32x32画素のTUを禁止対象TUとする。次に制限対象TU決定部１３は、その32x32画素のTU内の16x16画素のTUのそれぞれについて、そのTU内にリフレッシュ境界r'が含まれるか否か判定する。リフレッシュ境界r'がその16x16画素のTUに含まれるとき、制限対象TU決定部１３は、その16x16画素のTUを禁止対象TUとする。また、16x16画素のTUについてのTU境界の位置とリフレッシュ境界の位置が異なるとき、すなわち(R'-Q')%16!=0のとき、制限対象TU決定部１３は、リフレッシュ境界r'を含む16x16画素のTUに隣接し、かつ、リフレッシュ済み領域に含まれる16x16画素のTUを禁止対象TUとする。8x8画素のTU及び4x4画素のTUについても同様に、禁止対象TUか否かが判定される。なお、8x8画素のTU及び4x4画素のTUについては、必ずTU境界の位置とリフレッシュ境界の位置が等しくなる。
すなわち、制限対象TU決定部１３は、TUSIZE=32,16,8,4として、TUHIDX=r'/TUSIZEとなるTUを禁止対象TUとする。さらに、(R'-Q')%TUSIZE!=0ならば、制限対象TU決定部１３は、TUHIDX=q'/TUSIZEとなるTUを禁止対象TUとする。

処理順に関して、制限対象TU決定部１３は、例えば一つの32x32画素のTUについて禁止対象TUとなるか否か判定した後に、そのTUに含まれる４個の16x16画素のTUのそれぞれについて禁止対象TUとなるか否か判定する。そして制限対象TU決定部１３は、他の32x32画素のTUについて同様に判定してもよい。あるいは、制限対象TU決定部１３は、４個の32x32画素のTUのそれぞれについて、禁止対象TUとなるか否か判定した後に、16個の16x16画素のTUのそれぞれについて、禁止対象TUとなるか否か判定してもよい。

図３３（ａ）〜図３３（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻(t+6)のピクチャのCTU１０１２のTU禁止マップである。この例では、CTU１０１２の右端から8画素の位置にリフレッシュ境界r'が位置する。各ブロック３３０１は、それぞれ、一つのTUを表す。そして各TU内には、TU禁止フラグが示される。図３３（ａ）〜図３３（ｄ）に示されるように、リフレッシュ更新サイズ(8画素)よりも大きいサイズのTUでは、リフレッシュ境界r'を含むTU及びそのTUの左側（すなわち、リフレッシュ済み領域側）に隣接するTUが禁止対象TUに設定される。

なお、変形例によれば、処理の簡単化のため、制限対象TU決定部１３は、選択可能なTUSIZEのうちの最小値となるTUSIZEを持つTUのみ、適用を許可（すなわち、禁止対象TUにしない）してもよい。
あるいは、制限対象TU決定部１３は、リフレッシュ更新サイズSを割りきれるCUSIZEのうちの最大値、すなわち、(R'-P')%CUSIZE=0となる最小のCUSIZEより大きいTUSIZEを持つTUを禁止対象TUとしてもよい。この場合、制限対象TU決定部１３は、その最小のCUSIZE以下のTUSIZEを持つTUの適用を許可してもよい。

また、制限対象TU決定部１３は、TUSIZEが小さい方から順に、TUHIDX=Q'%TUSIZEかつR'-Q'≧TUSIZEとなる条件、すなわち、q'を含むTUの適用が許可される条件が満たされるか否か判定してもよい。制限対象TU決定部１３は、この条件が満たされる最大のTUSIZEが見つかった時点で禁止対象TUの判定処理を打ち切り、適用が許可されるTUSIZEの最大値よりも大きいTUSIZEを持つ、q'を含むTUを禁止対象TUとしてもよい。

予測モード制限対象CTU決定部１６は、リフレッシュ境界を含むCTU、すなわち、CTUHIDX=r''/CTUSIZEとなるCTUを予測モード制限対象CTUとする。

図３４は、第２の実施形態による、図１０に示された時刻t〜(t+7)の各ピクチャにおける、予測モード制限対象CTUを示す図である。時刻t〜(t+7)の何れについても、CTUHIDX=1であるCTU１０１２が予測モード制限対象CTUとなる。

ここで改めて、以下での説明の便宜上、予測モード制限対象CTUの左端を基準とした座標系を定義する。この座標系における、リフレッシュ境界に未リフレッシュ領域側から隣接する画素の位置をR''は、以下のように算出される。
CTUHIDX=R/CTUSIZEのとき、R''=R-(R/CTUSIZE)*CTUSIZE
またこの座標系において、リフレッシュ境界にリフレッシュ済み領域側から隣接する画素の位置r''は、(R''-1)である。この座標系における、リフレッシュ境界を含むCTUの左端の座標P''も同様に算出される。ただし、CTUHIDX = R/CTUSIZEのとき、P''=0である。ここで、リフレッシュ境界を含むCTUの左端に隣接する画素の座標をp=P-1とすると、予測モード制限対象CTUの左端を基準とした座標系では、リフレッシュ境界を含むCTUの左端に隣接する画素の座標p''は(P''-1)となる。

制限対象予測モード決定部１７は、第１の実施形態と同様の処理を行って、予測モード制限対象TUについて、適用可能な予測モードを特定する。ただし、第２の実施形態では、予測モード制限対象TUの決定手順が簡略化される。

制限対象予測モード決定部１７は、リフレッシュ境界が含まれるTUを予測モード制限対象TUとする。あるいは、TU境界の位置とリフレッシュ境界の位置が等しい場合、制限対象予測モード決定部１７は、r''の座標を含むTUを予測モード制限対象TUとする。

具体的には、制限対象予測モード決定部１７は、予測モード制限対象CTU内の32x32画素のTUのそれぞれについて、そのTU内にリフレッシュ境界r'が含まれるか判定する。リフレッシュ境界r'がそのTU内に含まれるとき、制限対象予測モード決定部１７は、その32x32画素のTUを予測モード制限対象TUとする。次に制限対象予測モード決定部１７は、その32x32画素のTU内の16x16画素のTUのそれぞれについて、そのTU内にリフレッシュ境界r''が含まれるか否か判定する。リフレッシュ境界r''がその16x16画素のTUに含まれるとき、制限対象予測モード決定部１７は、その16x16画素のTUを予測モード制限対象TUとする。8x8画素のTU及び4x4画素のTUについても同様に、予測モード制限対象TUか否かが判定される。なお、8x8画素のTU及び4x4画素のTUについては、必ずTU境界の位置とリフレッシュ境界の位置が等しくなる。
すなわち、制限対象予測モード決定部１７は、TUSIZE=32,16,8,4として、TUHIDX=r''/TUSIZEとなるTUを予測モード制限対象TUとする。

処理順に関して、制限対象予測モード決定部１７は、例えば一つの32x32画素のTUについて予測モード制限対象TUとなるか否か判定した後に、そのTUに含まれる４個の16x16画素のTUのそれぞれについて予測モード制限対象TUとなるか否か判定する。そして制限対象予測モード決定部１７は、他の32x32画素のTUについて同様に判定してもよい。あるいは、制限対象予測モード決定部１７は、４個の32x32画素のTUのそれぞれについて、予測モード制限対象TUとなるか否か判定した後に、16個の16x16画素のTUのそれぞれについて、予測モード制限対象TUとなるか否か判定してもよい。

図３５（ａ）〜図３５（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、第２の実施形態により設定される、図１０に示された時刻(t+6)のピクチャのCTU１０１２のTU予測モード制限マップである。この例では、CTU１０１２の右端から8画素の位置にリフレッシュ境界r''が位置する。各ブロック３５０１は、それぞれ、一つのTUを表す。そして各TU内には、TU予測モード制限フラグが示される。図３５（ａ）〜図３５（ｄ）に示されるように、リフレッシュ更新サイズ(8画素)よりも大きいサイズのTUでは、リフレッシュ境界r''を含むTUが予測モード制限対象TUに設定される。一方、リフレッシュ更新サイズ以下のサイズのTUでは、リフレッシュ境界r''が右端となるTUが予測モード制限対象TUに設定される。

制限対象予測モード決定部１７は、TU禁止マップとTU予測モード制限マップを参照して、TUごとに適用されるTU予測モード条件を決定する。
例えば、制限対象予測モード決定部１７は、TU予測モード制限マップにおいて、TU禁止マップでTU禁止フラグが'1'であるTU、すなわち、適用できないTUについて、無効とする。その他のTUのうち、予測モード制限フラグが'1'であるTUについて、制限対象予測モード決定部１７は、上記のTU予測モード条件のうち、該当する条件を決定する。

図３６（ａ）〜図３６（ｄ）は、それぞれ、サイズが32x32画素、16x16画素、8x8画素、4x4画素のTUについて、図１０に示された時刻(t+6)のピクチャのCTU１０１２についてのTU予測モード条件マップである。この例では、CTU１０１２の右端から8画素の位置にリフレッシュ境界r''が位置する。各ブロック３６０１は、それぞれ、一つのTUを表す。そして各TU内には、上記のTU予測モード条件を適用するか否かを表すフラグが示される。このフラグが'1'であるTUについては、上記のTU予測モード条件のうちの該当する条件が適用される。なお、処理の簡単化のために、このフラグが'1'であるTUについては、TUの右端よりもリフレッシュ境界画素の画素を参照しない予測モードのみを含むTU予測モード条件１が適用されてもよい。一方、予測モードの適用に制限が無いTUについては、そのフラグは'0'となる。また、無効となるTUには、'Nan'が示される。

図３７は、上記の実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。

コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。

ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化する動画像データあるいは復号する符号化動画像データを選択する操作信号をプロセッサ１０５へ出力する。またユーザインターフェース部１０１は、プロセッサ１０５から受け取った、復号された動画像データを表示してもよい。

通信インターフェース部１０２は、コンピュータ１００を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。

さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。

この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。

記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。

記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。

プロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ１０５は、生成された符号化動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。

なお、動画像符号化装置１の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ 動画像符号化装置
１０ リフレッシュ境界決定部
１１ 制限ブロック特定部
１２ TU制限対象CTU決定部
１３ 制限対象TU決定部
１４ 制限対象PU決定部
１５ 制限対象CU決定部
１６ 予測モード制限対象CTU決定部
１７ 制限対象予測モード決定部
１８ 符号化モード決定部
１９ 予測符号化部
２０ エントロピー符号化部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ

Claims (12)

1. イントラリフレッシュ方式により動画像に含まれる符号化対象ピクチャを符号化する動画像符号化装置であって、
   前記符号化対象ピクチャにおけるイントラリフレッシュが適用されるスライスが通過したリフレッシュ済み領域に含まれる符号化対象ブロックを、前記符号化対象ピクチャの符号化済みの領域の情報を用いて前記符号化対象ブロックの予測ブロックを生成し、該符号化対象ブロックと該予測ブロック間の誤差信号を符号化するイントラ予測符号化モードにより符号化する際に、前記符号化対象ブロック内の前記予測ブロックの生成単位である第１のサブブロックが取り得る複数のサイズのそれぞれについて、前記第１のサブブロックについての前記予測ブロックを生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数の予測モードのうち、前記参照範囲が前記イントラリフレッシュが適用されるスライスが通過していない未リフレッシュ領域と重ならない予測モードを有効予測モードとし、かつ、前記第１のサブブロックが取り得る複数のサイズのそれぞれについて、前記リフレッシュ済み領域と前記未リフレッシュ領域間のリフレッシュ境界を含む第１のサブブロックを禁止対象サブブロックとして特定する制限ブロック特定部と、
   前記第１のサブブロックのサイズ、前記第１のサブブロックを含む、前記予測モードの適用単位である第２のサブブロックのサイズ、及び前記有効予測モードの組み合わせのそれぞれについて、前記第１及び前記第２のサブブロックを含む、前記イントラ予測符号化モードの適用単位である第３のサブブロックをイントラ予測符号化したときの符号量の推定値を算出し、該推定値が最小となる、前記第１のサブブロックのサイズ、前記第２のサブブロックのサイズ及び前記有効予測モードの組み合わせをイントラ予測モードとして特定する符号化モード決定部と、
   前記第３のサブブロックを、前記イントラ予測モードを用いて符号化することにより符号化データを生成する予測符号化部と、
   前記符号化データをエントロピー符号化するエントロピー符号化部と、
   を有し、
   前記符号化モード決定部は、前記禁止対象サブブロックに対応する前記第１サブブロックのサイズを前記符号量の推定値を算出する組み合わせから除外する、
   動画像符号化装置。
2. 前記制限ブロック特定部は、前記第１サブブロックのうち、前記複数の予測モードの何れかについての前記参照範囲の少なくとも一部が前記未リフレッシュ領域と重なる第１のサブブロックを制限対象第１サブブロックとして特定し、
   前記制限対象第１サブブロックについての前記複数の予測モードの前記参照範囲に含まれる画素が符号化されていない場合、前記複数の予測モードの全てを前記有効予測モードとする、請求項１に記載の動画像符号化装置。
3. 前記制限ブロック特定部は、前記第１サブブロックのうち、前記複数の予測モードの何れかについての前記参照範囲の少なくとも一部が前記未リフレッシュ領域と重なる第１のサブブロックを制限対象第１サブブロックとして特定し、
   前記複数の予測モードのうち、前記制限対象第１サブブロックの前記未リフレッシュ領域側の端部よりも前記未リフレッシュ領域側に位置する画素が前記参照範囲に含まれない予測モードを前記制限対象第１サブブロックについての前記有効予測モードとする、請求項１に記載の動画像符号化装置。
4. 前記制限ブロック特定部は、前記第２のサブブロックに含まれる前記第１のサブブロックのそれぞれのうち、前記有効予測モードの数が最小となる第１のサブブロックについての前記有効予測モードを前記第２のサブブロックに含まれる全ての前記第１のサブブロックについての有効予測モードとする、請求項１に記載の動画像符号化装置。
5. 前記制限ブロック特定部は、前記第２サブブロックのサイズを、前記リフレッシュ済み領域と前記未リフレッシュ領域間のリフレッシュ境界を含まない第１のサブブロックの最大サイズに設定する、請求項１〜４の何れか一項に記載の動画像符号化装置。
6. イントラリフレッシュ方式により動画像に含まれる符号化対象ピクチャを符号化する動画像符号化装置であって、
   前記符号化対象ピクチャにおけるイントラリフレッシュが適用されるスライスが通過したリフレッシュ済み領域に含まれる符号化対象ブロックを、前記符号化対象ピクチャの符号化済みの領域の情報を用いて前記符号化対象ブロックの予測ブロックを生成し、該符号化対象ブロックと該予測ブロック間の誤差信号を符号化するイントラ予測符号化モードにより符号化する際に、前記符号化対象ブロック内の前記予測ブロックの生成単位である第１のサブブロックが取り得る複数のサイズのそれぞれについて、前記第１のサブブロックについての前記予測ブロックを生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数の予測モードのうち、前記参照範囲が前記イントラリフレッシュが適用されるスライスが通過していない未リフレッシュ領域と重ならない予測モードを有効予測モードとする制限ブロック特定部と、
   前記第１のサブブロックのサイズ、前記第１のサブブロックを含む、前記予測モードの適用単位である第２のサブブロックのサイズ、及び前記有効予測モードの組み合わせのそれぞれについて、前記第１及び前記第２のサブブロックを含む、前記イントラ予測符号化モードの適用単位である第３のサブブロックをイントラ予測符号化したときの符号量の推定値を算出し、該推定値が最小となる、前記第１のサブブロックのサイズ、前記第２のサブブロックのサイズ及び前記有効予測モードの組み合わせをイントラ予測モードとして特定する符号化モード決定部と、
   前記第３のサブブロックを、前記イントラ予測モードを用いて符号化することにより符号化データを生成する予測符号化部と、
   前記符号化データをエントロピー符号化するエントロピー符号化部と、
   を有し、
   前記制限ブロック特定部は、前記リフレッシュ済み領域と前記未リフレッシュ領域間のリフレッシュ境界が前記符号化対象ブロックに含まれ、かつ、前記符号化対象ブロックの前記リフレッシュ済み領域側の端部から前記リフレッシュ境界までの幅が前記第１のサブブロックの取り得る複数のサイズのうちの最大値未満である場合、前記符号化対象ブロック内の前記リフレッシュ済み領域及び前記符号化対象ブロックの前記リフレッシュ済み領域側に隣接する第２の符号化対象ブロック内の前記リフレッシュ境界から前記第１のサブブロックの取り得るサイズの最大値以内に位置する前記第１サブブロックについて、前記複数の予測モードのそれぞれの前記参照範囲の少なくとも一部が前記未リフレッシュ領域と重なるか否か判定する、動画像符号化装置。
7. 前記符号化モード決定部は、前記第２の符号化対象ブロック内の前記第１のサブブロックのうち、前記複数の予測モードの何れかの前記参照範囲の少なくとも一部が前記未リフレッシュ領域と重なる第１サブブロックを前記符号量の推定値を算出する組み合わせから除外する、請求項６に記載の動画像符号化装置。
8. 前記制限ブロック特定部は、前記第２の符号化対象ブロック内で、前記符号化対象ブロックと隣接し、かつ、前記第１のサブブロックが取り得る複数のサイズのうちの最小サイズ以外のサイズを持つ前記第１のサブブロックを前記符号量の推定値を算出する組み合わせから除外する、請求項６に記載の動画像符号化装置。
9. イントラリフレッシュ方式により動画像に含まれる符号化対象ピクチャを符号化する動画像符号化方法であって、
   前記符号化対象ピクチャにおけるイントラリフレッシュが適用されるスライスが通過したリフレッシュ済み領域に含まれる符号化対象ブロックを、前記符号化対象ピクチャの符号化済みの領域の情報を用いて前記符号化対象ブロックの予測ブロックを生成し、該符号化対象ブロックと該予測ブロック間の誤差信号を符号化するイントラ予測符号化モードにより符号化する際に、前記符号化対象ブロック内の前記予測ブロックの生成単位である第１のサブブロックが取り得る複数のサイズのそれぞれについて、前記第１のサブブロックについての前記予測ブロックを生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数の予測モードのうち、前記参照範囲が前記イントラリフレッシュが適用されるスライスが通過していない未リフレッシュ領域と重ならない予測モードを有効予測モードとし、
   前記第１のサブブロックが取り得る複数のサイズのそれぞれについて、前記リフレッシュ済み領域と前記未リフレッシュ領域間のリフレッシュ境界を含む第１のサブブロックを禁止対象サブブロックとして特定し、
   前記第１のサブブロックのサイズ、前記第１のサブブロックを含む、前記予測モードの適用単位である第２のサブブロックのサイズ、及び前記有効予測モードの組み合わせのそれぞれについて、前記第１及び前記第２のサブブロックを含む、前記イントラ予測符号化モードの適用単位である第３のサブブロックをイントラ予測符号化したときの符号量の推定値を算出し、該推定値が最小となる、前記第１のサブブロックのサイズ、前記第２のサブブロックのサイズ及び前記有効予測モードの組み合わせをイントラ予測モードとして特定し、
   前記第３のサブブロックを、前記イントラ予測モードを用いて符号化することにより符号化データを生成し、
   前記符号化データをエントロピー符号化する、
   ことを含み、
   前記符号量の推定値を算出することは、前記禁止対象サブブロックに対応する前記第１サブブロックのサイズを前記符号量の推定値を算出する組み合わせから除外することを含む
   動画像符号化方法。
10. イントラリフレッシュ方式により動画像に含まれる符号化対象ピクチャを符号化する動画像符号化することをコンピュータに実行させる動画像符号化用コンピュータプログラムであって、
    前記符号化対象ピクチャにおけるイントラリフレッシュが適用されるスライスが通過したリフレッシュ済み領域に含まれる符号化対象ブロックを、前記符号化対象ピクチャの符号化済みの領域の情報を用いて前記符号化対象ブロックの予測ブロックを生成し、該符号化対象ブロックと該予測ブロック間の誤差信号を符号化するイントラ予測符号化モードにより符号化する際に、前記符号化対象ブロック内の前記予測ブロックの生成単位である第１のサブブロックが取り得る複数のサイズのそれぞれについて、前記第１のサブブロックについての前記予測ブロックを生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数の予測モードのうち、前記参照範囲が前記イントラリフレッシュが適用されるスライスが通過していない未リフレッシュ領域と重ならない予測モードを有効予測モードとし、
    前記第１のサブブロックが取り得る複数のサイズのそれぞれについて、前記リフレッシュ済み領域と前記未リフレッシュ領域間のリフレッシュ境界を含む第１のサブブロックを禁止対象サブブロックとして特定し、
    前記第１のサブブロックのサイズ、前記第１のサブブロックを含む、前記予測モードの適用単位である第２のサブブロックのサイズ、及び前記有効予測モードの組み合わせのそれぞれについて、前記第１及び前記第２のサブブロックを含む、前記イントラ予測符号化モードの適用単位である第３のサブブロックをイントラ予測符号化したときの符号量の推定値を算出し、該推定値が最小となる、前記第１のサブブロックのサイズ、前記第２のサブブロックのサイズ及び前記有効予測モードの組み合わせをイントラ予測モードとして特定し、
    前記第３のサブブロックを、前記イントラ予測モードを用いて符号化することにより符号化データを生成し、
    前記符号化データをエントロピー符号化する、
    ことをコンピュータに実行させ、
    前記符号量の推定値を算出することは、前記禁止対象サブブロックに対応する前記第１サブブロックのサイズを前記符号量の推定値を算出する組み合わせから除外することを含む動画像符号化用コンピュータプログラム。
11. イントラリフレッシュ方式により動画像に含まれる符号化対象ピクチャを符号化する動画像符号化方法であって、
    前記符号化対象ピクチャにおけるイントラリフレッシュが適用されるスライスが通過したリフレッシュ済み領域に含まれる符号化対象ブロックを、前記符号化対象ピクチャの符号化済みの領域の情報を用いて前記符号化対象ブロックの予測ブロックを生成し、該符号化対象ブロックと該予測ブロック間の誤差信号を符号化するイントラ予測符号化モードにより符号化する際に、前記符号化対象ブロック内の前記予測ブロックの生成単位である第１のサブブロックが取り得る複数のサイズのそれぞれについて、前記第１のサブブロックについての前記予測ブロックを生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数の予測モードのうち、前記参照範囲が前記イントラリフレッシュが適用されるスライスが通過していない未リフレッシュ領域と重ならない予測モードを有効予測モードとし、
    前記第１のサブブロックのサイズ、前記第１のサブブロックを含む、前記予測モードの適用単位である第２のサブブロックのサイズ、及び前記有効予測モードの組み合わせのそれぞれについて、前記第１及び前記第２のサブブロックを含む、前記イントラ予測符号化モードの適用単位である第３のサブブロックをイントラ予測符号化したときの符号量の推定値を算出し、該推定値が最小となる、前記第１のサブブロックのサイズ、前記第２のサブブロックのサイズ及び前記有効予測モードの組み合わせをイントラ予測モードとして特定し、
    前記第３のサブブロックを、前記イントラ予測モードを用いて符号化することにより符号化データを生成し、
    前記符号化データをエントロピー符号化する、
    ことを含み、
    前記有効予測モードとすることは、前記リフレッシュ済み領域と前記未リフレッシュ領域間のリフレッシュ境界が前記符号化対象ブロックに含まれ、かつ、前記符号化対象ブロックの前記リフレッシュ済み領域側の端部から前記リフレッシュ境界までの幅が前記第１のサブブロックの取り得る複数のサイズのうちの最大値未満である場合、前記符号化対象ブロック内の前記リフレッシュ済み領域及び前記符号化対象ブロックの前記リフレッシュ済み領域側に隣接する第２の符号化対象ブロック内の前記リフレッシュ境界から前記第１のサブブロックの取り得るサイズの最大値以内に位置する前記第１サブブロックについて、前記複数の予測モードのそれぞれの前記参照範囲の少なくとも一部が前記未リフレッシュ領域と重なるか否か判定することを含む、
    動画像符号化方法。
12. イントラリフレッシュ方式により動画像に含まれる符号化対象ピクチャを符号化する動画像符号化することをコンピュータに実行させる動画像符号化用コンピュータプログラムであって、
    前記符号化対象ピクチャにおけるイントラリフレッシュが適用されるスライスが通過したリフレッシュ済み領域に含まれる符号化対象ブロックを、前記符号化対象ピクチャの符号化済みの領域の情報を用いて前記符号化対象ブロックの予測ブロックを生成し、該符号化対象ブロックと該予測ブロック間の誤差信号を符号化するイントラ予測符号化モードにより符号化する際に、前記符号化対象ブロック内の前記予測ブロックの生成単位である第１のサブブロックが取り得る複数のサイズのそれぞれについて、前記第１のサブブロックについての前記予測ブロックを生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数の予測モードのうち、前記参照範囲が前記イントラリフレッシュが適用されるスライスが通過していない未リフレッシュ領域と重ならない予測モードを有効予測モードとし、
    前記第１のサブブロックのサイズ、前記第１のサブブロックを含む、前記予測モードの適用単位である第２のサブブロックのサイズ、及び前記有効予測モードの組み合わせのそれぞれについて、前記第１及び前記第２のサブブロックを含む、前記イントラ予測符号化モードの適用単位である第３のサブブロックをイントラ予測符号化したときの符号量の推定値を算出し、該推定値が最小となる、前記第１のサブブロックのサイズ、前記第２のサブブロックのサイズ及び前記有効予測モードの組み合わせをイントラ予測モードとして特定し、
    前記第３のサブブロックを、前記イントラ予測モードを用いて符号化することにより符号化データを生成し、
    前記符号化データをエントロピー符号化する、
    ことをコンピュータに実行させ、
    前記有効予測モードとすることは、前記リフレッシュ済み領域と前記未リフレッシュ領域間のリフレッシュ境界が前記符号化対象ブロックに含まれ、かつ、前記符号化対象ブロックの前記リフレッシュ済み領域側の端部から前記リフレッシュ境界までの幅が前記第１のサブブロックの取り得る複数のサイズのうちの最大値未満である場合、前記符号化対象ブロック内の前記リフレッシュ済み領域及び前記符号化対象ブロックの前記リフレッシュ済み領域側に隣接する第２の符号化対象ブロック内の前記リフレッシュ境界から前記第１のサブブロックの取り得るサイズの最大値以内に位置する前記第１サブブロックについて、前記複数の予測モードのそれぞれの前記参照範囲の少なくとも一部が前記未リフレッシュ領域と重なるか否か判定することを含む、
    動画像符号化用コンピュータプログラム。

Images