JP7622339B2

JP7622339B2 - Ｏｌｓに対するｈｒｄ適合性試験

Info

Publication number: JP7622339B2
Application number: JP2022518761A
Authority: JP
Inventors: ワン、イエ－クイ
Original assignee: ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date: 2019-09-24
Filing date: 2020-09-08
Publication date: 2025-01-28
Anticipated expiration: 2040-09-08
Also published as: EP4026327A1; EP4026339A4; US12041254B2; JP7440197B2; US20220217394A1; US12323609B2; CN114424558A; AU2020354305A1; CN114514741A; US12075076B2; CA3152325A1; BR112022005402A2; CN117156146A; BR112022005527A2; JP2024073415A; US12563219B2; AU2020354305B2; CN117336493A; EP4026338A4; WO2021061390A1

Description

関連出願の相互参照
本特許出願は、Ｙｅ－ＫｕｉＷａｎｇによって２０１９年９月２４日に出願された「ＨｙｐｏｔｈｅｔｉｃａｌＲｅｆｅｒｅｎｃｅＤｅｃｏｄｅｒ（ＨＲＤ）ｆｏｒＭｕｌｔｉ－ＬａｙｅｒＶｉｄｅｏＢｉｔｓｔｒｅａｍｓ」と題する米国仮特許出願第６２／９０５，２４４号の利益を主張するものであり、参照により本明細書に組み込まれる。

本開示は、一般にビデオコーディングに関し、詳細には、マルチレイヤビットストリームの効率的な符号化および／または適合性試験をサポートするための仮想参照デコーダ（ＨＲＤ）パラメータ変更に関する。

比較的短いビデオであってもその描写に必要なビデオデータの量は膨大なものとなる可能性があり、このため、帯域幅容量が限られた通信ネットワークを介してデータをストリーミングまたはその他の方法で通信する際に困難が伴う場合がある。したがって、ビデオデータは、現代の電気通信ネットワークを介して通信される前に圧縮されるのが一般的である。また、ビデオをストレージデバイスに記憶する場合、メモリのリソースが限られている場合があるため、ビデオのサイズが問題となることもある。ビデオ圧縮デバイスは、しばしば、送信または記憶の前にソースにおいてソフトウェアおよび／またはハードウェアを使用して、ビデオデータをコーディングし、それによって、デジタルビデオイメージを表すために必要なデータの量を減少させる。その後、圧縮されたデータは、配信先において、ビデオデータを復号するビデオ伸張デバイスによって受信される。ネットワークリソースが限られ、ビデオの高品質化が増々求められている中で、画質をほとんどまたは全く犠牲にすることなく圧縮率を向上させる、改善された圧縮および伸長技術が望まれている。

一実施形態では、本開示は、デコーダによって実施される方法を含み、本方法は、デコーダの受信機によって、１つまたは複数の出力レイヤセット（ＯＬＳ）と、ＯＬＳを指定するビデオパラメータセット（ＶＰＳ）とを含むビットストリームを受信する段階であって、ビットストリームが、ＶＰＳによって指定された各ＯＬＳの各動作ポイント（ＯＰ）の適合性を試験するビットストリーム適合性試験のセットによってチェックされている、段階と、デコーダのプロセッサによって、ＯＬＳから画像を復号する段階と、を含む。

ビデオコーディングシステムは、ビットストリームがデコーダによって復号可能であることを保証するために様々な適合性試験を採用する。例えば、適合性チェックは、適合性についてビットストリーム全体を試験することと、次いで適合性についてビットストリームの各レイヤを試験することと、最後に適合性について潜在的な復号可能出力をチェックすることと、を含むことができる。適合性チェックを実施するために、対応するパラメータがビットストリームに含まれている。仮想参照デコーダ（ＨＲＤ）は、パラメータを読み取り、試験を実行することができる。ビデオは、多くのレイヤおよび多くの異なるＯＬＳを含むことができる。リクエストに応じて、エンコーダは、選択されたＯＬＳの１つまたは複数のレイヤを送信する。例えば、エンコーダは、現在のネットワーク帯域幅によってサポート可能なＯＬＳから最良のレイヤを送信することができる。この手法の問題は、かなりの数のレイヤが試験されるが、実際にはデコーダに送信されないことである。しかしながら、このような試験をサポートするためのパラメータは、ビットストリームに依然として含まれている場合があり、ビットストリームのサイズを不必要に増加させる。本実施例は、ビットストリーム適合性試験を各ＯＬＳのみに適用するメカニズムを含む。このようにして、対応するＯＬＳを試験する際に、ビットストリーム全体、各レイヤ、および復号可能な出力がまとめて試験される。したがって、適合性試験の数が減り、それによってエンコーダでのプロセッサおよびメモリリソースの使用量が削減される。さらに、適合性試験の数を減らすことで、ビットストリームに含まれる関連付けられたパラメータの数を減らすことができる。これにより、ビットストリームサイズが小さくなり、したがって、エンコーダおよびデコーダの両方でプロセッサ、メモリ、および／またはネットワークリソースの利用率が削減される。

任意選択で、前述の態様のいずれかにおいて、ビットストリーム適合性試験のセットが、エンコーダ上で動作する仮想参照デコーダ（ＨＲＤ）によって実行される、態様の別の実施態様が提供される。

任意選択で、前述の態様のいずれかにおいて、ＶＰＳが、ＶＰＳによって指定されたＯＬＳの総数を指定する、出力レイヤセットの総数－１（ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１）＋１を含む、態様の別の実施態様が提供される。

任意選択で、前述の態様のいずれかにおいて、各ＯＰが、ＯＰＯＬＳインデックス（ｏｐＯｌｓＩｄｘ）および最も高いＯＰ時間識別子値（ｏｐＴｉｄ）を有するターゲットＯＬＳに基づいて試験対象ＯＰ（ｔａｒｇｅｔＯｐ）として選択される、態様の別の実施態様が提供される。

任意選択で、前述の態様のいずれかにおいて、各ＯＬＳが、レイヤのうちの１つまたは複数が出力レイヤとして指定されるレイヤのセットである、態様の別の実施態様が提供される。

任意選択で、前述の態様のいずれかにおいて、ＶＰＳが、ＶＰＳによって指定されたすべてのＯＬＳに適用されるＨＲＤパラメータを提供する一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造を含む、態様の別の実施態様が提供される。

任意選択で、前述の態様のいずれかにおいて、ビットストリーム中のＨＲＤパラメータの存在が、デコーダが配信スケジュールに従ってビットストリームを復号することが可能であることを示す、態様の別の実施態様が提供される。

一実施形態では、本開示は、エンコーダによって実施される方法を含み、本方法は、エンコーダのプロセッサによって、１つまたは複数のＯＬＳを含むビットストリームを符号化する段階と、プロセッサによって、ＯＬＳを指定するＶＰＳをビットストリームに符号化する段階と、プロセッサによって、ＶＰＳによって指定される各ＯＬＳの各ＯＰにおいてビットストリーム適合性試験のセットを実行して、適合性について各ＯＰを試験する段階と、を含む。

任意選択で、前述の態様のいずれかにおいて、ビットストリーム適合性試験のセットが、プロセッサ上で動作するＨＲＤによって実行される、態様の別の実施態様が提供される。

任意選択で、前述の態様のいずれかにおいて、ＶＰＳが、ＶＰＳによって指定されたＯＬＳの総数を指定するｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１＋１を含む、態様の別の実施態様が提供される。

任意選択で、前述の態様のいずれかにおいて、プロセッサによって、ｏｐＯｌｓＩｄｘおよび最も高いｏｐＴｉｄを有するターゲットＯＬＳを選択することによって各ＯＰをｔａｒｇｅｔＯｐとして選択する段階をさらに含む、態様の別の実施態様が提供される。

任意選択で、前述の態様のいずれかにおいて、ＶＰＳが、ＶＰＳによって指定されたすべてのＯＬＳに適用されるＨＲＤパラメータを提供するｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造を含む、態様の別の実施態様が提供される。

一実施形態において、本開示は、プロセッサと、プロセッサに結合された受信機と、プロセッサに結合されたメモリと、プロセッサに結合された送信機と、を備えるビデオコーディングデバイスであって、プロセッサ、受信機、メモリ、および送信機が前述の態様のいずれかの方法を実行するように構成されている、ビデオコーディングデバイスを含む。

一実施形態では、本開示は、ビデオコーディングデバイスが使用するためのコンピュータプログラム製品を備える非一時的コンピュータ可読媒体を含み、コンピュータプログラム製品は、プロセッサによって実行されるとビデオコーディングデバイスに前述の態様のいずれかの方法を実行させるように非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を有する。

一実施形態では、本開示は、１つまたは複数のＯＬＳと、ＯＬＳを指定するＶＰＳとを含むビットストリームを受信するための受信手段であって、ビットストリームが、ＶＰＳによって指定された各ＯＬＳの各ＯＰの適合性を試験するビットストリーム適合性試験のセットによってチェックされている、受信手段と、ＯＬＳから画像を復号するための復号手段と、復号されたビデオシーケンスの一部として表示するために画像を転送するための転送手段と、を備えるデコーダを含む。

任意選択で、前述の態様のいずれかにおいて、デコーダが前述の態様のいずれかの方法を実行するようにさらに構成されている、態様の別の実施態様が提供される。

一実施形態では、本開示は、１つまたは複数のＯＬＳを含むビットストリームを符号化し、ＯＬＳを指定するＶＰＳをビットストリームに符号化するための符号化手段と、ＶＰＳによって指定される各ＯＬＳの各ＯＰにおいてビットストリーム適合性試験のセットを実行して、適合性について各ＯＰを試験するためのＨＲＤ手段と、デコーダに向けて通信するためのビットストリームを記憶するための記憶手段と、を備えるエンコーダを含む。

任意選択で、前述の態様のいずれかにおいて、エンコーダが前述の態様のいずれかの方法を実行するようにさらに構成されている、態様の別の実施態様が提供される。

明確にするために、前述の実施形態のうちのいずれか１つは、本開示の範囲内の新しい実施形態を作成するために、他の前述の実施形態のうちのいずれか１つまたは複数と組み合わせられてもよい。

これらおよび他の特徴は、添付の図面および特許請求の範囲と併せて以下の詳細な説明からより明確に理解されるであろう。

本開示をより完全に理解するために、ここで、同様の参照番号が同様の部分を表す添付の図面および詳細な説明に関連して得られる以下の簡単な説明を参照されたい。

ビデオ信号をコーディングする例示的な方法のフローチャートである。

ビデオコーディングのための例示的なコーディング・復号（コーデック）システムの概略図である。

例示的なビデオエンコーダを示す概略図である。

例示的なビデオデコーダを示す概略図である。

例示的な仮想参照デコーダ（ＨＲＤ）を示す概略図である。

インターレイヤ予測のために構成された例示的なマルチレイヤビデオシーケンスを示す概略図である。

時間スケーラビリティのために構成された例示的なマルチレイヤビデオシーケンスを示す概略図である。

例示的なビットストリームを示す概略図である。

例示的なビデオコーディングデバイスの概略図である。

ＯＬＳについてのビットストリーム適合性試験の実行をサポートするためにビデオシーケンスを符号化する例示的な方法のフローチャートである。

ＯＬＳについてのビットストリーム適合性試験を受けたビデオシーケンスを復号する例示的な方法のフローチャートである。

ＯＬＳについてのビットストリーム適合性試験の実行をサポートするためにビデオシーケンスをコーディングするための例示的なシステムの概略図である。

１つまたは複数の実施形態の例示的な実施態様が以下に提供されるが、開示されるシステムおよび／または方法は、現在知られているかまたは存在しているかにかかわらず、任意の数の技術を使用して実施され得ることを最初に理解されたい。本開示は、本明細書で図示および説明される例示的な設計および実施態様を含む、以下に示される例示的な実施態様、図面、および技術に決して限定されるべきではなく、添付の特許請求の範囲内で、それらの均等物の全範囲とともに修正され得る。

以下の用語は、本明細書において反対の文脈で使用されない限り、以下のように定義される。具体的には、以下の定義は、本開示にさらなる明確性を提供することが意図されている。しかしながら、用語は、異なる文脈において異なるように説明されることがある。したがって、以下の定義は、補足として考えられるべきであり、本明細書においてこのような用語について提供される説明の任意の他の定義を限定すると考えられるべきではない。

ビットストリームは、エンコーダとデコーダとの間で伝送するために圧縮されたビデオデータを含むビットのシーケンスである。エンコーダは、ビデオデータをビットストリームに圧縮するために符号化プロセスを採用するように構成されたデバイスである。デコーダは、表示のためにビットストリームからビデオデータを再構成するために復号プロセスを採用するように構成されたデバイスである。画像は、フレームまたはそのフィールドを構築するルマサンプルのアレイおよび／またはクロマサンプルのアレイである。符号化または復号されている画像は、説明を明確にするために現在の画像（ｃｕｒｒｅｎｔｐｉｃｔｕｒｅ）と呼ばれることがある。ネットワーク抽象化レイヤ（ＮＡＬ）ユニットは、未加工バイトシーケンスペイロード（ＲＢＳＰ）、データのタイプの表示、必要に応じて差し挟まれる（ｉｎｔｅｒｓｐｅｒｓｅｄ）エミュレーション防止バイトの形式のデータを含むシンタックス構造である。ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットは、画像のコーディングされたスライスなどの、ビデオデータを含むようにコーディングされたＮＡＬユニットである。非ＶＣＬＮＡＬユニットは、ビデオデータの復号、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニットである。アクセスユニット（ＡＵ）は、指定された分類規則に従って互いに関連付けられ、１つの特定の出力時間に関係するＮＡＬユニットのセットである。復号ユニット（ＤＵ）は、ＡＵまたはＡＵのサブセットおよび関連付けられた非ＶＣＬＮＡＬユニットである。例えば、ＡＵは、ＶＣＬＮＡＬユニットと、ＡＵ内のＶＣＬＮＡＬユニットに関連付けられた任意の非ＶＣＬＮＡＬユニットとを含む。さらに、ＤＵは、ＡＵからのＶＣＬＮＡＬユニットのセットまたはそのサブセット、ならびにＤＵ内のＶＣＬＮＡＬユニットに関連付けられた任意の非ＶＣＬＮＡＬユニットを含む。レイヤは、指定された特性（例えば、共通の解像度、フレームレート、イメージサイズなど）を共有するＶＣＬＮＡＬユニットと、関連付けられた非ＶＣＬＮＡＬユニットとのセットである。復号順序は、シンタックス要素が復号プロセスによって処理される順序である。ビデオパラメータセット（ＶＰＳ）は、ビデオ全体に関連するパラメータを含むデータユニットである。

時間スケーラブルビットストリームは、様々な時間解像度／フレームレートを提供する複数のレイヤにおいてコーディングされたビットストリームである（例えば、各レイヤは、異なるフレームレートをサポートするようにコーディングされる）。サブレイヤは、特定の時間識別子値を有するＶＣＬＮＡＬユニットと、関連付けられた非ＶＣＬＮＡＬユニットとを含む時間的にスケーラブルなビットストリームの時間的にスケーラブルなレイヤである。例えば、時間サブレイヤは、指定されたフレームレートに関連付けられたビデオデータを含むレイヤである。サブレイヤ表現は、特定のサブレイヤおよび下位サブレイヤのＮＡＬユニットを含むビットストリームのサブセットである。したがって、１つまたは複数の時間サブレイヤ組み合わせて、指定されたフレームレートを有するビデオシーケンスとなるように復号することができるサブレイヤ表現を達成することができる。出力レイヤセット（ＯＬＳ）は、１つまたは複数のレイヤが出力レイヤとして指定されるレイヤのセットである。出力レイヤは、（例えば、ディスプレイに）出力するために指定されるレイヤである。ＯＬＳインデックスは、対応するＯＬＳを一意に識別するインデックスである。ゼロ番目（０番目）のＯＬＳは、最下位レイヤ（最下位レイヤ識別子を有するレイヤ）のみを含み、したがって出力レイヤのみを含むＯＬＳである。時間識別子（ＩＤ）は、データがビデオシーケンス内の時間位置に対応することを示すデータ要素である。サブビットストリーム抽出プロセスは、ターゲットＯＬＳインデックスおよびターゲット最高時間ＩＤによって決定されるターゲットセットに属さないＮＡＬユニットをビットストリームから除去するプロセスである。サブビットストリーム抽出プロセスにより、ビットストリームからターゲットセットの一部であるＮＡＬユニットを含むサブビットストリームが出力される。

ＨＲＤは、エンコーダ上で動作するデコーダモデルであり、符号化プロセスによって生成されたビットストリームの変動性をチェックして、指定された制約との適合性を検証するものである。ビットストリーム適合性試験は、符号化されたビットストリームがＶＶＣ（ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ）などの規格に準拠しているかどうかを判定するための試験である。ＨＲＤパラメータは、ＨＲＤの動作条件を初期化および／または定義するシンタックス要素である。ＨＲＤパラメータは、ＨＲＤパラメータのシンタックス構造に含めることができる。シンタックス構造は、複数の異なるパラメータを含むように構成されたデータオブジェクトである。シンタックス要素は、同じタイプの１つまたは複数のパラメータを含むデータオブジェクトである。したがって、シンタックス構造は、複数のシンタックス要素を含むことができる。シーケンスレベルのＨＲＤパラメータは、コーディングされたビデオシーケンス全体に適用されるＨＲＤパラメータである。最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］）は、ＨＲＤパラメータがｉ番目のＯＬＳＨＲＤパラメータセットに含まれる最も高いサブレイヤ表現の時間ＩＤを指定する。一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造は、シーケンスレベルのＨＲＤパラメータを含むシンタックス構造である。動作ポイント（ＯＰ）は、ＯＬＳの時間サブセットであり、ＯＬＳインデックスおよび最高時間ＩＤによって識別される。試験対象ＯＰ（ｔａｒｇｅｔＯｐ）は、ＨＲＤにおいて適合性試験のために選択されるＯＰである。ターゲットＯＬＳは、ビットストリームから抽出するために選択されるＯＬＳである。復号ユニットＨＲＤパラメータ存在フラグｆｌａｇ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、対応するＨＲＤパラメータがＤＵレベルとＡＵレベルのどちらで動作するかを示すフラグである。コーディングされた画像バッファ（ＣＰＢ）は、ＨＲＤ内の先入れ先出しバッファであり、ビットストリーム適合性検証中に使用するためのコーディングされた画像を復号順で含む。復号された画像バッファ（ＤＰＢ）は、参照、出力並べ替え、および／または出力遅延のために復号された画像を保持するためのバッファである。

補足拡張情報（ＳＥＩ）メッセージは、復号された画像のサンプルの値を決定するために、復号プロセスによって必要とされない情報を伝達する、セマンティクスが指定されたシンタックス構造である。スケーラブルネスティングＳＥＩメッセージは、１つもしくは複数のＯＬＳまたは１つもしくは複数のレイヤに対応する複数のＳＥＩメッセージを含むメッセージである。非スケーラブルネスト化ＳＥＩメッセージは、ネスティングされていないメッセージであり、したがって、単一のＳＥＩメッセージを含む。バッファリング期間（ＢＰ）ＳＥＩメッセージは、ＣＰＢを管理するためにＨＲＤを初期化するためのＨＲＤパラメータを含むＳＥＩメッセージである。画像タイミング（ＰＴ）ＳＥＩメッセージは、ＣＰＢおよび／またはＤＰＢにおけるＡＵの配信情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージである。復号ユニット情報（ＤＵＩ）ＳＥＩメッセージは、ＣＰＢおよび／またはＤＰＢにおけるＤＵのための配信情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージである。

ＣＰＢ除去遅延は、対応する現在のＡＵが除去されてＤＰＢに出力される前にＣＰＢに留まることができる期間である。初期ＣＰＢ除去遅延は、ビットストリーム、ＯＬＳ、および／またはレイヤにおける各画像、ＡＵ、および／またはＤＵのデフォルトＣＰＢ除去遅延である。ＣＰＢ除去オフセットは、ＣＰＢにおける対応するＡＵの境界を決定するために使用されるＣＰＢ内のロケーションである。初期ＣＰＢ除去オフセットは、ビットストリーム、ＯＬＳ、および／またはレイヤにおける各画像、ＡＵ、および／またはＤＵに関連付けられたデフォルトのＣＰＢ除去オフセットである。復号された画像バッファ（ＤＰＢ）出力遅延情報は、対応するＡＵが出力前にＤＰＢに留まることができる期間である。ＣＰＢ除去遅延情報は、ＣＰＢからの対応するＤＵの除去に関連する情報である。配信スケジュールは、ＣＰＢおよび／またはＤＰＢなどのメモリロケーションへのおよび／またはメモリロケーションからのビデオデータの配信のためのタイミングを指定する。ＶＰＳレイヤＩＤ（ｖｐｓ＿ｌａｙｅｒ＿ｉｄ）は、ＶＰＳにおいて示されるｉ番目のレイヤのレイヤＩＤを示すシンタックス要素である。出力レイヤセットの総数－１（ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１）＋１は、ＶＰＳによって指定されたＯＬＳの総数を指定するシンタックス要素である。ＨＲＤコーディングされた画像バッファカウント（ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）は、代替のＣＰＢ配信スケジュールの数を指定するシンタックス要素である。サブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、ＯＬＳＨＲＤパラメータのセットが、指定されたサブレイヤ表現のためのＨＲＤパラメータを含むかどうかを指定するシンタックス要素である。スケジュールインデックス（ＳｃＩｄｘ）は、配信スケジュールを識別するインデックスである。ＢＰＣＰＢカウント－１（ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）は、初期ＣＰＢ除去遅延とオフセットとのペアの数、したがって時間サブレイヤに利用可能な配信スケジュールの数を指定するシンタックス要素である。ＮＡＬユニットヘッダレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）は、ＮＡＬユニットを含むレイヤの識別子を指定するシンタックス要素である。固定画像レート一般フラグ（ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｇｅｎｅｒａｌ＿ｆｌａｇ）シンタックス要素は、出力順に連続する画像のＨＲＤ出力時間間の時間的距離を制約するかどうかを指定するシンタックス要素である。サブレイヤＨＲＤパラメータ（ｓｕｂｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造は、対応するサブレイヤのＨＲＤパラメータを含むシンタックス構造である。一般ＶＣＬＨＲＤパラメータ存在フラグ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、一般ＨＲＤパラメータのシンタックス構造中にＶＣＬＨＲＤパラメータが存在するかどうかを指定するフラグである。ＢＰ最大サブレイヤ－１（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素は、ＢＰＳＥＩメッセージにおいてＣＰＢ除去遅延およびＣＰＢ除去オフセットが示される時間サブレイヤの最大数を指定するシンタックス要素である。ＶＰＳ最大サブレイヤ－１（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素は、ＶＰＳによって指定されたレイヤに存在し得る時間サブレイヤの最大数を指定するシンタックス要素である。スケーラブルネスティングＯＬＳフラグは、スケーラブルネスト化ＳＥＩメッセージが特定のＯＬＳに適用されるのか、または特定のレイヤに適用されるのかを指定するフラグである。スケーラブルネスティングＯＬＳ数－１（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）は、スケーラブルネスト化ＳＥＩメッセージが適用されるＯＬＳの数を指定するシンタックス要素である。ネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ）は、スケーラブルネスト化ＳＥＩメッセージが適用されるＯＬＳのＯＬＳインデックスを指定するシンタックス要素である。ターゲットＯＬＳインデックス（ｔａｒｇｅｔＯｌｓＩｄｘ）は、復号対象のターゲットＯＬＳのＯＬＳインデックスを識別する変数である。ＯＬＳの総数－１（ＴｏｔａｌＮｕｍＯｌｓｓ－１）は、ＶＰＳにおいて指定されるＯＬＳの総数を指定するシンタックス要素である。

以下の頭字語、アクセスユニット（ＡＵ）、コーディングツリーブロック（ＣＴＢ）、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、コーディングされたレイヤビデオシーケンス（ＣＬＶＳ）、コーディングされたレイヤビデオシーケンス開始（ＣＬＶＳＳ）、コーディングされたビデオシーケンス（ＣＶＳ）、コーディングされたビデオシーケンス開始（ＣＶＳＳ）、ジョイントビデオエキスパートチーム（ＪＶＥＴ）、仮想参照デコーダ（ＨＲＤ）、動き制約タイルセット（ＭＣＴＳ）、最大転送ユニット（ＭＴＵ）、ネットワーク抽象化レイヤ（ＮＡＬ）、出力レイヤセット（ＯＬＳ）、画像順序カウント（ＰＯＣ）、ランダムアクセスポイント（ＲＡＰ）、未加工バイトシーケンスペイロード（ＲＢＳＰ）、シーケンスパラメータセット（ＳＰＳ）、ビデオパラメータセット（ＶＰＳ）、汎用ビデオコーディング（ＶＶＣ）が本明細書で使用される。

データの損失を最小限に抑えてビデオファイルのサイズを小さくするために、多くのビデオ圧縮技術を採用することができる。例えば、ビデオ圧縮技術は、ビデオシーケンス中のデータ冗長性を低減または除去するために空間的（例えば、画像内）予測および／または時間的（例えば、画像間）予測を実行することを含むことができる。ブロックベースのビデオコーディングの場合、ビデオスライス（例えば、ビデオ画像またはビデオ画像の一部分）は、ツリーブロック、コーディングツリーブロック（ＣＴＢ）、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、および／またはコーディングノードと呼ばれることもあるビデオブロックに分割されることがある。画像のイントラコーディングされた（Ｉ）スライス内のビデオブロックは、同じ画像内の隣接ブロックの参照サンプルに対して空間的予測を使用してコーディングされる。画像のインターコーディングされた単方向予測（Ｐ）スライスまたは双方向予測（Ｂ）スライス内のビデオブロックは、同じ画像内の隣接ブロックの参照サンプルに対する空間的予測、または他の参照画像の参照サンプルに対する時間的予測を採用することによってコーディングされることがある。画像は、フレームおよび／またはイメージと呼ばれることがあり、参照画像は、参照フレームおよび／または参照イメージと呼ばれることがある。空間予測または時間予測により、イメージブロックを表す予測ブロックが得られる。残差データは、元のイメージブロックと予測ブロックとの間のピクセルの差分を表す。したがって、インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指し示す動きベクトルと、コーディングされたブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されてもよい。その結果、量子化され得る残差変換係数が得られる。量子化された変換係数は、最初に２次元アレイに配列されてもよい。量子化された変換係数は、変換係数の１次元ベクトルを生成するために走査されてもよい。さらに多くの圧縮を達成するためにエントロピーコーディングが適用されてもよい。このようなビデオ圧縮技術については、以下でより詳細に説明する。

符号化されたビデオが正確に復号され得ることを保証するために、ビデオは、対応するビデオコーディング規格に従って符号化および復号される。ビデオコーディング規格は、国際電気通信連合（ＩＴＵ）標準化部門（ＩＴＵ－Ｔ）Ｈ．２６１、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ（ＭＰＥＧ）－１Ｐａｒｔ２、ＩＴＵ－ＴＨ．２６２またはＩＳＯ／ＩＥＣＭＰＥＧ－２Ｐａｒｔ２、ＩＴＵ－ＴＨ．２６３、ＩＳＯ／ＩＥＣＭＰＥＧ－４Ｐａｒｔ２、ＩＴＵ－ＴＨ．２６４またはＩＳＯ／ＩＥＣＭＰＥＧ－４Ｐａｒｔ１０としても知られるＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ（ＡＶＣ）、およびＩＴＵ－ＴＨ．２６５またはＭＰＥＧ－ＨＰａｒｔ２としても知られるＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ（ＨＥＶＣ）を含む。ＡＶＣは、ＳｃａｌａｂｌｅＶｉｄｅｏＣｏｄｉｎｇ（ＳＶＣ）、ＭｕｌｔｉｖｉｅｗＶｉｄｅｏＣｏｄｉｎｇ（ＭＶＣ）およびＭｕｌｔｉｖｉｅｗＶｉｄｅｏＣｏｄｉｎｇｐｌｕｓＤｅｐｔｈ（ＭＶＣ＋Ｄ）、ならびに３次元（３Ｄ）ＡＶＣ（３Ｄ－ＡＶＣ）などの拡張を含む。ＨＥＶＣは、ＳｃａｌａｂｌｅＨＥＶＣ（ＳＨＶＣ）、ＭｕｌｔｉｖｉｅｗＨＥＶＣ（ＭＶ－ＨＥＶＣ）、および３ＤＨＥＶＣ（３Ｄ－ＨＥＶＣ）などの拡張を含む。ＩＴＵ－ＴおよびＩＳＯ／ＩＥＣのｊｏｉｎｔｖｉｄｅｏｅｘｐｅｒｔｓｔｅａｍ（ＪＶＥＴ）は、ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ（ＶＶＣ）と呼ばれるビデオコーディング規格の開発を開始した。ＶＶＣは、ＪＶＥＴ－Ｏ２００１－ｖ１４を含むＷｏｒｋｉｎｇＤｒａｆｔ（ＷＤ）に含まれている。

ビデオコーディングシステムは、ビットストリームがデコーダによって復号可能であることを保証するために様々な適合性試験を採用する。例えば、適合性チェックは、適合性についてビットストリーム全体を試験することと、次いで適合性についてビットストリームの各レイヤを試験することと、最後に適合性について潜在的な復号可能出力をチェックすることと、を含むことができる。適合性チェックを実施するために、対応するパラメータがビットストリームに含まれている。仮想参照デコーダ（ＨＲＤ）は、パラメータを読み取り、試験を実行することができる。ビデオは、多くのレイヤおよび多くの異なる出力レイヤセット（ＯＬＳ）を含むことができる。リクエストに応じて、エンコーダは、選択されたＯＬＳの１つまたは複数のレイヤを送信する。例えば、エンコーダは、現在のネットワーク帯域幅によってサポート可能なＯＬＳから最良のレイヤを送信することができる。この手法の第１の問題は、かなりの数のレイヤが試験されるが、実際にはデコーダに送信されないことである。しかしながら、このような試験をサポートするためのパラメータは、ビットストリームに依然として含まれている場合があり、ビットストリームのサイズを不必要に増加させる。

第１の実施例では、各ＯＬＳのみにビットストリーム適合性試験を適用するためのメカニズムが本明細書で開示される。このようにして、対応するＯＬＳを試験する際に、ビットストリーム全体、各レイヤ、および復号可能な出力がまとめて試験される。したがって、適合性試験の数が減り、それによってエンコーダでのプロセッサおよびメモリリソースの使用量が削減される。さらに、適合性試験の数を減らすことで、ビットストリームに含まれる関連付けられたパラメータの数を減らすことができる。これにより、ビットストリームサイズが小さくなり、したがって、エンコーダおよびデコーダの両方でプロセッサ、メモリ、および／またはネットワークリソースの利用率が削減される。

第２の問題は、いくつかのビデオコーディングシステムにおいてＨＲＤ適合性試験に使用されるＨＲＤパラメータのシグナリングプロセスが、マルチレイヤのコンテキストにおいて複雑になる可能性があることである。例えば、ＨＲＤパラメータのセットは、各ＯＬＳのレイヤごとにシグナリングされ得る。このようなＨＲＤパラメータは、パラメータの意図された範囲に応じて、ビットストリーム内の異なるロケーションにおいてシグナリングされ得る。その結果、より多くのレイヤおよび／またはＯＬＳが追加されるにつれて方式がより複雑になる。さらに、異なるレイヤおよび／またはＯＬＳのＨＲＤパラメータは、冗長な情報を含んでいる場合がある。

第２の実施では、ＯＬＳおよび対応するレイヤのＨＲＤパラメータのグローバルなセットをシグナリングするためのメカニズムが本明細書で開示される。例えば、すべてのＯＬＳおよびＯＬＳに含まれるすべてのレイヤに適用されるすべてのシーケンスレベルのＨＲＤパラメータは、ビデオパラメータセット（ＶＰＳ）でシグナリングされる。ＶＰＳはビットストリームで１回シグナリングされ、したがって、シーケンスレベルのＨＲＤパラメータは１回シグナリングされる。さらに、シーケンスレベルのＨＲＤパラメータは、すべてのＯＬＳで同一であるように制約されてもよい。このようにして、冗長なシグナリングが低減され、コーディング効率が向上する。また、この手法により、ＨＲＤプロセスが簡略化される。その結果、プロセッサ、メモリ、および／またはネットワークのシグナリングリソースの使用量がエンコーダおよびデコーダの両方において削減される。

第３の問題は、ビデオコーディングシステムがビットストリームの適合性チェックを行う際に発生することがある。ビデオは、複数のレイヤおよび／またはサブレイヤにコーディングされてもよく、次いでそれらをＯＬＳに編成することができる。各ＯＬＳの各レイヤおよび／またはサブレイヤは、配信スケジュールに従って適合性についてチェックされる。各配信スケジュールは、異なる送信帯域幅およびシステム能力を考慮するために、異なるコーディングされた画像バッファ（ＣＰＢ）サイズおよびＣＰＢ遅延に関連付けられる。一部のビデオコーディングシステムは、各サブレイヤが任意の数の配信スケジュールを定義することを可能にする。これにより、適合性チェックをサポートするための大量のシグナリングが生じる可能性があり、その結果、ビットストリームのコーディング効率が低下することになる。

第３の実施例では、複数のレイヤを含むビデオのコーディング効率を高めるためのメカニズムが本明細書で開示される。具体的には、すべてのレイヤおよび／またはサブレイヤは、同じ数のＣＰＢ配信スケジュールを含むように制約される。例えば、エンコーダは、任意の１つのレイヤにも使用されるＣＰＢ配信スケジュールの最大数を決定し、すべてのレイヤに対するＣＰＢ配信スケジュールの数をこの最大数に設定することができる。次いで、配信スケジュールの数は、例えば、ＶＰＳにおけるＨＲＤパラメータの一部として、１回シグナリングされてもよい。これにより、レイヤ／サブレイヤごとにいくつかのスケジュールをシグナリングする必要がなくなる。いくつかの例では、ＯＬＳのすべてのレイヤ／サブレイヤは、同じ配信スケジュールインデックスを共有することもできる。これらの変更により、適合性チェックに関連するデータをシグナリングするために使用されるデータの量が削減される。これにより、ビットストリームサイズが小さくなり、したがって、エンコーダおよびデコーダの両方でプロセッサ、メモリ、および／またはネットワークリソースの利用率が削減される。

第４の問題は、ビデオが複数のレイヤおよび／またはサブレイヤにコーディングされ、次いでそれらがＯＬＳに編成される際に発生することがある。ＯＬＳは、出力レイヤのみを含むゼロ番目（０番目）のＯＬＳを含んでもよい。規格への適合性についてビットストリームの複数のレイヤを試験するために使用されるレイヤ／ＯＬＳ固有のパラメータをＨＲＤに通知するために、補足拡張情報（ＳＥＩ）メッセージがビットストリームに含まれることがある。具体的には、ＯＬＳがビットストリームに含まれる場合、スケーラブルネスティングＳＥＩメッセージが採用される。スケーラブルネスティングＳＥＩメッセージは、１つもしくは複数のＯＬＳおよび／またはＯＬＳの１つもしくは複数のレイヤに適用されるネスティングされたＳＥＩメッセージのグループを含む。ネスティングされたＳＥＩメッセージはそれぞれ、対応するＯＬＳおよび／またはレイヤとの関連付けを示すためのインジケータを含むことができる。ネスティングされたＳＥＩメッセージは、複数のレイヤで使用するために構成されており、単一のレイヤを含む０番目のＯＬＳに適用すると、無関係な情報が含まれる場合がある。

第４の実施例では、０番目のＯＬＳを含むビデオのコーディング効率を高めるためのメカニズムが本明細書で開示される。非スケーラブルネスト化ＳＥＩメッセージは、０番目のＯＬＳに採用される。非スケーラブルネスト化ＳＥＩメッセージは、０番目のＯＬＳのみに、したがって０番目のＯＬＳに含まれる出力レイヤのみに適用されるように制約される。このようにして、ネスティング関係、レイヤ指示などの無関係な情報をＳＥＩメッセージから省くことができる。非スケーラブルネスト化ＳＥＩメッセージは、バッファリング期間（ＢＰ）ＳＥＩメッセージ、画像タイミング（ＰＴ）ＳＥＩメッセージ、復号ユニット（ＤＵ）ＳＥＩメッセージ、またはそれらの組合せとして使用されてもよい。これらの変更により、０番目のＯＬＳに適合性チェック関連情報をシグナリングするために使用されるデータの量が削減される。これにより、ビットストリームサイズが小さくなり、したがって、エンコーダおよびデコーダの両方でプロセッサ、メモリ、および／またはネットワークリソースの利用率が削減される。

第５の問題は、ビデオが複数のレイヤおよび／またはサブレイヤに分離される際に発生することもある。エンコーダは、これらのレイヤをビットストリームに符号化することができる。さらに、エンコーダは、規格との適合性についてビットストリームをチェックするために適合性試験を実行するＨＲＤを用いることができる。エンコーダは、このような適合性試験をサポートするために、レイヤ固有のＨＲＤパラメータをビットストリームに含めるように構成されることがある。レイヤ固有のＨＲＤパラメータは、いくつかのビデオコーディングシステムではレイヤごとに符号化されることがある。場合によっては、レイヤ固有ＨＲＤパラメータは、レイヤごとに同じであり、その結果、ビデオ符号化のサイズを不必要に増加させる冗長な情報が生じる。

第５の実施例では、複数のレイヤを採用するビデオについて、ＨＲＤパラメータ冗長性を低減するためのメカニズムが本明細書で開示される。エンコーダは、最上位レイヤのＨＲＤパラメータを符号化することができる。エンコーダは、サブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を符号化することもできる。ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを０に設定すると、すべての下位レイヤが最上位レイヤと同じＨＲＤパラメータを使用すべきであることを示すことができる。本文脈では、最上位レイヤは、最大のレイヤ識別子（ＩＤ）を有し、下位レイヤは、最上位レイヤのレイヤＩＤよりも小さいレイヤＩＤを有する任意のレイヤである。このようにして、下位レイヤのＨＲＤパラメータをビットストリームから省くことができる。これにより、ビットストリームサイズが小さくなり、したがって、エンコーダおよびデコーダの両方でプロセッサ、メモリ、および／またはネットワークリソースの利用率が削減される。

第６の問題は、ビデオ中の各ビデオシーケンスに関連するシンタックス要素を含むシーケンスパラメータセット（ＳＰＳ）の使用量に関する。ビデオコーディングシステムは、レイヤおよび／またはサブレイヤでビデオをコーディングすることができる。ビデオシーケンスは、異なるレイヤおよび／またはサブレイヤにおいて動作が異なる場合がある。したがって、異なるレイヤは、異なるＳＰＳを参照することがある。ＢＰＳＥＩメッセージは、規格への適合性がチェックされるレイヤ／サブレイヤを示すことができる。ビデオコーディングシステムによっては、ＢＰＳＥＩメッセージがＳＰＳで示されたレイヤ／サブレイヤに適用されることを示すことがある。これは、異なるレイヤが異なるＳＰＳを参照した場合、このようなＳＰＳが矛盾する情報を含む可能性があるため、予期しないエラーが発生するという問題を引き起こすことがある。

第６の実施例では、ビデオシーケンスに複数のレイヤを採用した場合の適合性チェックに関係するエラーに対処するためのメカニズムが本明細書で開示される。具体的には、ＢＰＳＥＩメッセージは、ＶＰＳに記述される任意の数のレイヤ／サブレイヤの適合性をチェックすることができることを示すように修正される。例えば、ＢＰＳＥＩメッセージは、ＢＰＳＥＩメッセージ内のデータに関連付けられたレイヤ／サブレイヤの数を示す、ＢＰ最大サブレイヤ－１（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素を含むことができる。一方、ＶＰＳにおけるＶＰＳ最大サブレイヤ－１（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素は、ビデオ全体におけるサブレイヤの数を示す。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、０からｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素の値までの任意の値に設定することができる。このようにして、ＳＰＳの不整合（ｉｎｃｏｎｓｔａｎｃｙ）に関連するレイヤベースのシーケンス問題を回避しながら、ビデオ内の任意の数のレイヤ／サブレイヤの適合性をチェックすることができる。したがって、本開示は、レイヤベースのコーディングエラーを回避し、したがって、エンコーダおよび／またはデコーダの機能性を向上させる。さらに、本実施例は、コーディング効率を向上させることができるレイヤベースのコーディングをサポートする。したがって、本実施例は、エンコーダおよび／またはデコーダにおけるプロセッサ、メモリ、および／またはネットワークリソース使用量の削減をサポートする。

第７の問題は、ＯＬＳに含まれるレイヤに関する。各ＯＬＳは、デコーダで表示されるように構成された少なくとも１つの出力レイヤを含む。エンコーダのＨＲＤは、規格との適合性について各ＯＬＳをチェックすることができる。適合するＯＬＳは、適合するデコーダで常に復号し表示することができる。ＨＲＤプロセスは、ＳＥＩメッセージによって部分的に管理されることがある。例えば、スケーラブルなネスティングＳＥＩメッセージは、スケーラブルなネスティングされたＳＥＩメッセージを含むことができる。各スケーラブルなネスティングされたＳＥＩメッセージは、対応するレイヤに関連するデータを含むことができる。適合性チェックを行う際、ＨＲＤは、ターゲットＯＬＳに対してビットストリーム抽出プロセスを行うことができる。ＯＬＳ内のレイヤに関連しないデータは、一般に、各ＯＬＳを別々にチェックすることができるよう、適合性試験の前に（例えば、送信前に）除去される。ビデオコーディングシステムによっては、スケーラブルなネスティングＳＥＩメッセージが複数のレイヤに関係するため、サブビットストリーム抽出プロセス中にそのようなメッセージを除去しないものがある。このため、スケーラブルなネスティングＳＥＩメッセージがターゲットＯＬＳ（抽出されているＯＬＳ）のいずれのレイヤにも関連しない場合でさえ、スケーラブルネスティングＳＥＩメッセージがサブビットストリーム抽出後にビットストリームに残ってしまうことがある。これにより、追加の機能性をなんら提供することなく、最終ビットストリームのサイズが大きくなる可能性がある。

第７の実施例では、マルチレイヤビットストリームのサイズを低減するためのメカニズムが本明細書で開示される。サブビットストリーム抽出中に、スケーラブルなネスティングＳＥＩメッセージは、ビットストリームから除去するために考慮され得る。スケーラブルネスティングＳＥＩメッセージが１つまたは複数のＯＬＳに関連する場合、スケーラブルネスティングＳＥＩメッセージ中のスケーラブルなネスティングされたＳＥＩメッセージがチェックされる。スケーラブルなネスティングされたＳＥＩメッセージがターゲットＯＬＳのいずれのレイヤにも関連しない場合、スケーラブルなネスティングＳＥＩメッセージ全体をビットストリームから除去することができる。この結果、デコーダに送られるビットストリームのサイズが小さくなる。したがって、本実施例は、コーディング効率を高め、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソースの使用量を削減する。

図１は、ビデオ信号をコーディングする例示的な動作方法１００のフローチャートである。具体的には、ビデオ信号は、エンコーダで符号化される。符号化プロセスは、ビデオファイルサイズを小さくするために様々なメカニズムを採用することによってビデオ信号を圧縮する。ファイルサイズを小さくすることで、関連付けられた帯域幅オーバーヘッドを削減しながら、圧縮されたビデオファイルをユーザに向けて送信することができる。デコーダは、圧縮されたビデオファイルを復号して、エンドユーザに表示するための元のビデオ信号を再構成する。復号プロセスは一般に、デコーダがビデオ信号を首尾一貫して再構成することができるように符号化プロセスをミラーリングする。

ステップ１０１において、ビデオ信号がエンコーダに入力される。例えば、ビデオ信号は、メモリに記憶された非圧縮のビデオファイルであってもよい。別の例として、ビデオファイルは、ビデオカメラなどのビデオキャプチャデバイスによってキャプチャされ、ビデオのライブストリーミングをサポートするために符号化されることがある。ビデオファイルは、オーディオ成分とビデオ成分の両方を含むことができる。ビデオ成分は、一連のイメージフレームを含み、これは、連続して見ると、視覚的に動きのある印象を与える。フレームは、本明細書ではルマ成分（またはルマサンプル）と呼ばれる光、およびクロマ成分（または色サンプル）と呼ばれる色に関して表されるピクセルを含む。いくつかの例では、フレームは、３次元ビューをサポートするための深度値を含むこともできる。

ステップ１０３において、ビデオはブロックに分割される。分割は、各フレーム内のピクセルを圧縮のために正方形および／または長方形のブロックに再分割することを含む。例えば、高効率ビデオコーディング（ＨＥＶＣ）（Ｈ．２６５およびＭＰＥＧ－ＨＰａｒｔ２としても知られている）では、フレームは最初に、あらかじめ定義されたサイズ（例えば、６４ピクセル×６４ピクセル）のブロックであるコーディングツリーユニット（ＣＴＵ）に分割することが可能である。ＣＴＵは、ルマサンプルとクロマサンプルの両方を含む。コーディングツリーを採用して、ＣＴＵをブロックに分割し、次いで、さらなる符号化をサポートする構成が達成されるまで、ブロックを再帰的に再分割することができる。例えば、フレームのルマ成分は、個々のブロックが比較的均質な輝度値（ｌｉｇｈｔｉｎｇｖａｌｕｅ）を含むまで再分割されてもよい。さらに、フレームのクロマ成分は、個々のブロックが比較的均一な色値を含むまで再分割されてもよい。したがって、分割メカニズムは、ビデオフレームのコンテンツに応じて変化する。

ステップ１０５では、ステップ１０３で分割されたイメージブロックを圧縮するために様々な圧縮メカニズムが採用される。例えば、インター予測および／またはイントラ予測を採用することができる。インター予測は、共通のシーン内のオブジェクトが連続したフレーム中に現れる傾向があるという事実を利用するように設計されている。したがって、参照フレーム内のオブジェクトを示すブロックを隣接するフレームに繰り返し記述する必要がなくなる。具体的には、テーブルなどのオブジェクトは、複数のフレームにわたって一定の位置に留まる可能性がある。したがって、テーブルは一度記述され、隣接するフレームは参照フレームに戻って参照することができる。パターンマッチングメカニズムを用いて、複数のフレームにわたってオブジェクトをマッチングすることができる。さらに、移動しているオブジェクトは、例えばオブジェクトの移動またはカメラの移動に起因して、複数のフレームにわたって表現されることがある。特定の例として、ビデオは、複数のフレームにわたってスクリーンを横切って移動する自動車を示すことがある。動きベクトルを用いて、このような動きを記述することができる。動きベクトルは、フレーム内のオブジェクトの座標から、参照フレーム内のオブジェクトの座標へのオフセットを提供する２次元ベクトルである。したがって、インター予測は、現在のフレーム内のイメージブロックを、参照フレーム内の対応するブロックからのオフセットを示す動きベクトルのセットとして符号化することができる。

イントラ予測は、ブロックを共通フレーム内で符号化する。イントラ予測は、ルマ成分およびクロマ成分がフレーム内でクラスタ化する傾向があるという事実を利用する。例えば、木の一部の緑のパッチは、同じような緑のパッチに隣接して配置される傾向がある。イントラ予測は、複数の方向予測モード（例えば、ＨＥＶＣでは３３）と、平面モードと、直流（ＤＣ）モードとを採用する。方向モードは、現在のブロックが対応する方向の隣接ブロックのサンプルと類似している／同一であることを示す。平面モードは、行／列（例えば、平面）に沿った一連のブロックが、行のエッジにある隣接ブロックに基づいて補間され得ることを示す。平面モードは、値を変化させる際に比較的一定の傾きを用いることによって、行／列にわたって光／色の滑らかな遷移を事実上示す。ＤＣモードは、境界平滑化のために採用され、方向予測モードの角度方向に関連付けられたすべての隣接ブロックのサンプルに関連付けられた平均値とブロックが類似している／同一であることを示す。したがって、イントラ予測ブロックは、実際の値ではなく、様々な関係予測モード（ｒｅｌａｔｉｏｎａｌｐｒｅｄｉｃｔｉｏｎｍｏｄｅ）値としてイメージブロックを表現することができる。さらに、インター予測ブロックは、実際の値ではなく、動きベクトル値としてイメージブロックを表現することができる。いずれの場合も、予測ブロックは、場合によっては、イメージブロックを正確に表さないことがある。差分は、残差ブロックに記憶される。残差ブロックに変換を適用して、ファイルをさらに圧縮することができる。

ステップ１０７において、様々なフィルタリング技術を適用することができる。ＨＥＶＣでは、ループ内フィルタリング方式に従ってフィルタが適用される。上述したブロックベースの予測では、デコーダにおいてブロックノイズのあるイメージが生成されることがある。さらに、ブロックベースの予測方式は、ブロックを符号化した後、符号化されたブロックを参照ブロックとして後で使用するために再構成することがある。ループ内フィルタリング方式は、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ、およびサンプル適応オフセット（ＳＡＯ）フィルタをブロック／フレームに反復的に適用する。これらのフィルタにより、このようなブロッキングアーチファクトが軽減され、その結果、符号化されたファイルを正確に再構成することができるようになる。さらに、これらのフィルタにより、再構成された参照ブロックのアーチファクトが軽減され、その結果、アーチファクトが、再構成された参照ブロックに基づいて符号化される後続のブロックにおいて追加のアーチファクトを生成する可能性が低くなる。

ビデオ信号が分割され、圧縮され、フィルタリングされると、ステップ１０９において、得られたデータがビットストリームに符号化される。ビットストリームには、上述したデータ、ならびにデコーダにおいて適切なビデオ信号再構成をサポートするために所望される任意のシグナリングデータが含まれる。例えば、このようなデータには、分割データ、予測データ、残差ブロック、デコーダにコーディング命令を提供する様々なフラグが含まれてもよい。ビットストリームは、リクエストに応じてデコーダに向けて送信するためにメモリに記憶されてもよい。また、ビットストリームは、複数のデコーダに向けてブロードキャストおよび／またはマルチキャストされてもよい。ビットストリームの作成は、反復プロセスである。したがって、ステップ１０１、１０３、１０５、１０７、および１０９は、多くのフレームおよびブロックにわたって連続的におよび／または同時に行われることがある。図１に示す順序は、議論を明確にし、容易にするために提示されており、ビデオコーディングプロセスを特定の順序に限定することを意図するものではない。

デコーダは、ビットストリームを受信し、ステップ１１１において復号プロセスを開始する。具体的には、デコーダは、エントロピー復号方式を採用して、ビットストリームを対応するシンタックスおよびビデオデータに変換する。デコーダは、ステップ１１１において、ビットストリームからのシンタックスデータを用いて、フレームの分割を決定する。この分割は、ステップ１０３におけるブロック分割の結果と一致すべきである。次に、ステップ１１１で採用されるエントロピー符号化／復号について説明する。エンコーダは、入力イメージにおける値の空間的配置に基づいて、いくつかの可能な選択肢からブロック分割方式を選択するなど、圧縮プロセス中に多くの選択を行う。正確な選択をシグナリングすることは、多数のビンを用いる可能性がある。本明細書で使用される場合、ビンは、変数として扱われるバイナリ値（例えば、文脈に応じて変化する可能性があるビット値）である。エントロピーコーディングにより、エンコーダは、特定のケースについて明らかに実行不可能ないかなるオプションも破棄し、許容されるオプションのセットを残すことができる。次に、許容される各オプションには、コードワードが割り当てられる。コードワードの長さは、許容されるオプションの数に基づく（例えば、２つのオプションに対して１つのビン、３～４つのオプションに対して２つのビンなど）。次いで、エンコーダは、選択されたオプションのコードワードを符号化する。この方式は、可能なすべてのオプションの潜在的に大きなセットからの選択を一意に示すのとは対照的に、許容されるオプションの小さなサブセットからの選択を一意に示すためにコードワードが所望の大きさであるため、コードワードのサイズを低減する。次いで、デコーダは、エンコーダと同様に、許容されるオプションのセットを決定することによってこの選択を復号する。デコーダは、許容されるオプションのセットを決定することによって、コードワードを読み取り、エンコーダによって行われた選択を決定することができる。

ステップ１１３において、デコーダは、ブロック復号を行う。具体的には、デコーダは、逆変換を用いて、残差ブロックを生成する。次いで、デコーダは、残差ブロックおよび対応する予測ブロックを用いて、分割に従ってイメージブロックを再構成する。予測ブロックは、ステップ１０５においてエンコーダで生成されたイントラ予測ブロックとインター予測ブロックの両方を含むことができる。次いで、ステップ１１１で決定された分割データに従って、再構成されたイメージブロックを再構成されたビデオ信号のフレーム内に配置する。ステップ１１３のシンタックスはまた、上述したように、エントロピーコーディングを介してビットストリームでシグナリングされてもよい。

ステップ１１５において、エンコーダにおけるステップ１０７と同様のやり方で、再構成されたビデオ信号のフレームに対してフィルタリングが行われる。例えば、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ、およびＳＡＯフィルタをフレームに適用して、ブロッキングアーチファクトを除去することができる。フレームがフィルタリングされると、ビデオ信号は、ステップ１１７においてエンドユーザが視聴するためのディスプレイに出力され得る。

図２は、ビデオコーディングのための例示的なコーディング・復号（コーデック）システム２００の概略図である。具体的には、コーデックシステム２００は、動作方法１００の実施をサポートする機能を提供する。コーデックシステム２００は、エンコーダおよびデコーダの両方で用いられるコンポーネントを示すように一般化されている。コーデックシステム２００は、動作方法１００のステップ１０１および１０３に関して説明したように、ビデオ信号を受信して分割し、その結果、分割されたビデオ信号２０１が得られる。次いで、コーデックシステム２００は、方法１００のステップ１０５、１０７、および１０９に関して説明したように、エンコーダとして動作する場合、分割されたビデオ信号２０１をコーディングされたビットストリームに圧縮する。デコーダとして動作する場合、コーデックシステム２００は、動作方法１００のステップ１１１、１１３、１１５、および１１７に関して説明したように、ビットストリームから出力ビデオ信号を生成する。コーデックシステム２００は、一般コーダ制御コンポーネント２１１と、変換スケーリングおよび量子化コンポーネント２１３と、イントラ画像推定コンポーネント２１５と、イントラ画像予測コンポーネント２１７と、動き補償コンポーネント２１９と、動き推定コンポーネント２２１と、スケーリングおよび逆変換コンポーネント２２９と、フィルタ制御分析コンポーネント２２７と、ループ内フィルタコンポーネント２２５と、復号された画像バッファコンポーネント２２３と、ヘッダフォーマッティングおよびコンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）コンポーネント２３１と、を含む。このようなコンポーネントは、図示するように結合されている。図２において、黒線は符号化／復号されるデータの移動を示し、破線は他のコンポーネントの動作を制御する制御データの移動を示す。コーデックシステム２００のコンポーネントはすべて、エンコーダ内に存在してもよい。デコーダは、コーデックシステム２００のコンポーネントのサブセットを含むことができる。例えば、デコーダは、イントラ画像予測コンポーネント２１７と、動き補償コンポーネント２１９と、スケーリングおよび逆変換コンポーネント２２９と、ループ内フィルタコンポーネント２２５と、復号された画像バッファコンポーネント２２３と、を含むことができる。ここで、これらのコンポーネントについて説明する。

分割されたビデオ信号２０１は、コーディングツリーによってピクセルのブロックに分割されたキャプチャされたビデオシーケンスである。コーディングツリーは、様々な分割モードを用いて、ピクセルのブロックをより小さいピクセルのブロックに再分割する。次いで、これらのブロックをより小さなブロックにさらに再分割することができる。ブロックは、コーディングツリー上のノードと呼ばれことがある。より大きな親ノードは、より小さな子ノードに分割される。ノードが再分割される回数は、ノード／コーディングツリーの深度と呼ばれる。分割されたブロックは、場合によってはコーディングユニット（ＣＵ）に含まれることもある。例えば、ＣＵは、ＣＵのための対応するシンタックス命令とともに、ルマブロック、赤色差クロマ（Ｃｒ）ブロック、および青色差クロマ（Ｃｂ）ブロックを含むＣＴＵの下位部分とすることができる。分割モードは、ノードを、用いられる分割モードに応じて様々な形状の２つ、３つ、または４つの子ノードにそれぞれ分割するために採用される二分木（ＢＴ）、三分木（ＴＴ）、および四分木（ＱＴ）を含むことができる。分割されたビデオ信号２０１は、圧縮のために、一般コーダ制御コンポーネント２１１、変換スケーリングおよび量子化コンポーネント２１３、イントラ画像推定コンポーネント２１５、フィルタ制御分析コンポーネント２２７、および動き推定コンポーネント２２１に転送される。

一般コーダ制御コンポーネント２１１は、アプリケーション制約に従ってビデオシーケンスのイメージをビットストリームにコーディングすることに関連する決定を行うように構成される。例えば、一般コーダ制御コンポーネント２１１は、再構成品質に対するビットレート／ビットストリームサイズの最適化を管理する。このような決定は、記憶空間／帯域幅利用可能性およびイメージ解像度リクエストに基づいて行うことができる。一般コーダ制御コンポーネント２１１はまた、伝送速度を考慮してバッファ利用率を管理し、バッファのアンダーランおよびオーバーランの問題を軽減する。これらの問題を管理するために、一般コーダ制御コンポーネント２１１は、他のコンポーネントによる分割、予測、およびフィルタリングを管理する。例えば、一般コーダ制御コンポーネント２１１は、解像度を向上させ、帯域幅使用量を増加させるために圧縮の複雑さを動的に増加させるか、または解像度および帯域幅使用量を減らすために圧縮の複雑さを減少させることができる。したがって、一般コーダ制御コンポーネント２１１は、コーデックシステム２００の他のコンポーネントを制御して、ビデオ信号再構成品質とビットレートの関係とのバランスをとる。一般コーダ制御コンポーネント２１１は、他のコンポーネントの動作を制御する制御データを作成する。制御データはまた、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送され、ビットストリームに符号化されて、デコーダで復号するためのパラメータをシグナリングする。

分割されたビデオ信号２０１はまた、インター予測のために動き推定コンポーネント２２１および動き補償コンポーネント２１９に送られる。分割されたビデオ信号２０１のフレームまたはスライスは、複数のビデオブロックに分割されてもよい。動き推定コンポーネント２２１および動き補償コンポーネント２１９は、１つまたは複数の参照フレーム内の１つまたは複数のブロックに対して受信ビデオブロックの相対的なインター予測コーディングを行い、時間予測を提供する。コーデックシステム２００は、例えば、ビデオデータの各ブロックについて適切なコーディングモードを選択するために、複数のコーディングパスを実行することができる。

動き推定コンポーネント２２１および動き補償コンポーネント２１９は、高度に統合されてもよいが、概念的な目的のために別々に示されている。動き推定コンポーネント２２１によって実行される動き推定は、ビデオブロックの動きを推定する、動きベクトルを生成するプロセスである。動きベクトルは、例えば、予測ブロックに対するコーディングされたオブジェクトの相対的な変位を示すことができる。予測ブロックは、ピクセル差分の観点から、コーディングされるブロックと密接に一致することが見出されるブロックである。予測ブロックは、参照ブロックと呼ばれることもある。このようなピクセル差分は、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、または他の差分メトリックによって決定されてもよい。ＨＥＶＣは、ＣＴＵと、コーディングツリーブロック（ＣＴＢ）と、ＣＵとを含むいくつかのコーディングされたオブジェクトを採用する。例えば、ＣＴＵをＣＴＢに分割し、次いで、ＣＴＢを、ＣＵに含めるためにＣＢに分割することができる。ＣＵは、予測データを含む予測ユニット（ＰＵ）および／またはＣＵに関して変換された残差データを含む変換ユニット（ＴＵ）として符号化され得る。動き推定コンポーネント２２１は、レートひずみ最適化プロセスの一部としてレートひずみ分析を使用することによって、動きベクトル、ＰＵ、およびＴＵを生成する。例えば、動き推定コンポーネント２２１は、現在のブロック／フレームに対して複数の参照ブロック、複数の動きベクトルなどを決定することができ、最良のレートひずみ特性を有する参照ブロック、動きベクトルなどを選択することができる。最良のレートひずみ特性は、ビデオ再構成の品質（例えば、圧縮によるデータ損失の量）とコーディング効率（例えば、最終的な符号化のサイズ）との両方のバランスをとる。

いくつかの例では、コーデックシステム２００は、復号された画像バッファコンポーネント２２３に記憶された参照画像のサブ整数ピクセル位置についての値を計算することができる。例えば、ビデオコーデックシステム２００は、参照画像の１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間することができる。したがって、動き推定コンポーネント２２１は、フルピクセル位置と分数ピクセル位置との相対的な動き探索を行い、分数ピクセル精度で動きベクトルを出力することができる。動き推定コンポーネント２２１は、ＰＵの位置を参照画像の予測ブロックの位置と比較することによって、インターコーディングされたスライス中のビデオブロックのＰＵの動きベクトルを計算する。動き推定コンポーネント２２１は、計算された動きベクトルを動きデータとして、符号化のためにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に出力し、動きを動き補償コンポーネント２１９に出力する。

動き補償コンポーネント２１９によって実行される動き補償は、動き推定コンポーネント２２１によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを含むことができる。この場合も、動き推定コンポーネント２２１および動き補償コンポーネント２１９は、いくつかの例では機能的に統合されてもよい。現在のビデオブロックのＰＵについての動きベクトルを受信すると、動き補償コンポーネント２１９は、動きベクトルが指し示す予測ブロックの位置を特定することができる。次いで、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックが形成される。一般に、動き推定コンポーネント２２１は、ルマ成分に対する動き推定を行い、動き補償コンポーネント２１９は、クロマ成分とルマ成分の両方に対して、ルマ成分に基づいて計算された動きベクトルを使用する。予測ブロックおよび残差ブロックは、変換スケーリングおよび量子化コンポーネント２１３に転送される。

分割されたビデオ信号２０１は、イントラ画像推定コンポーネント２１５およびイントラ画像予測コンポーネント２１７にも送られる。動き推定コンポーネント２２１および動き補償コンポーネント２１９と同様に、イントラ画像推定コンポーネント２１５およびイントラ画像予測コンポーネント２１７は、高度に統合されてもよいが、概念的な目的のために別々に示されている。イントラ画像推定コンポーネント２１５およびイントラ画像予測コンポーネント２１７は、上述したように、フレーム間で動き推定コンポーネント２２１および動き補償コンポーネント２１９によって実行されるインター予測の代替として、現在のフレーム内のブロックに対して現在のブロックをイントラ予測する。特に、イントラ画像推定コンポーネント２１５は、現在のブロックを符号化するために使用するイントラ予測モードを決定する。いくつかの例では、イントラ画像推定コンポーネント２１５は、複数の試験されたイントラ予測モードから現在のブロックを符号化するために適切なイントラ予測モードを選択する。次いで、選択されたイントラ予測モードは、符号化のためにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。

例えば、イントラ画像推定コンポーネント２１５は、様々な試験されたイントラ予測モードについてレートひずみ分析を用いてレートひずみ値を計算し、試験されたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択する。レートひずみ分析は、一般に、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（またはエラー）の量、ならびに符号化されたブロックを生成するために使用されるビットレート（例えば、ビット数）を決定する。イントラ画像推定コンポーネント２１５は、様々な符号化ブロックのひずみおよびレートから比を計算し、どのイントラ予測モードがブロックに対して最良のレートひずみ値を示すかを決定する。加えて、イントラ画像推定コンポーネント２１５は、レートひずみ最適化（ＲＤＯ）に基づく深度モデリングモード（ＤＭＭ）を使用して深度マップの深度ブロックをコーディングするように構成されてもよい。

イントラ画像予測コンポーネント２１７は、エンコーダ上で実施される場合、イントラ画像推定コンポーネント２１５によって決定された選択されたイントラ予測モードに基づいて予測ブロックから残差ブロックを生成することができ、またはデコーダ上で実施される場合、ビットストリームから残差ブロックを読み取ることができる。残差ブロックは、予測ブロックと元のブロックとの間の値の差を含み、行列として表される。次いで、残差ブロックは、変換スケーリングおよび量子化コンポーネント２１３に転送される。イントラ画像推定コンポーネント２１５およびイントラ画像予測コンポーネント２１７は、ルマ成分とクロマ成分の両方において動作することができる。

変換スケーリングおよび量子化コンポーネント２１３は、残差ブロックをさらに圧縮するように構成される。変換スケーリングおよび量子化コンポーネント２１３は、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、または概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換または他のタイプの変換を使用することもできる。この変換は、残差情報をピクセル値領域から周波数領域などの変換領域に変換することができる。変換スケーリングおよび量子化コンポーネント２１３はまた、例えば周波数に基づいて、変換された残差情報をスケーリングするように構成される。このようなスケーリングは、異なる周波数情報が異なる粒度で量子化されるように残差情報にスケールファクタを適用することを含み、これにより、再構成されたビデオの最終的な視覚的品質が影響を受ける可能性がある。変換スケーリングおよび量子化コンポーネント２１３はまた、ビットレートをさらに低減するために変換係数を量子化するように構成される。量子化プロセスは、係数の一部またはすべてに関連付けられたビット深度を減少させることができる。量子化の程度は、量子化パラメータを調整することによって修正することができる。いくつかの例では、変換スケーリングおよび量子化コンポーネント２１３は、次いで、量子化された変換係数を含む行列の走査を実行することができる。量子化された変換係数は、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送されて、ビットストリームに符号化される。

スケーリングおよび逆変換コンポーネント２２９は、変換スケーリングおよび量子化コンポーネント２１３の逆動作を適用して、動き推定をサポートする。スケーリングおよび逆変換コンポーネント２２９は、例えば、別の現在のブロックのための予測ブロックになり得る参照ブロックとして後で使用するために、逆スケーリング、変換、および／または量子化を適用して、ピクセル領域において残差ブロックを再構成する。動き推定コンポーネント２２１および／または動き補償コンポーネント２１９は、後のブロック／フレームの動き推定に使用するために、残差ブロックを対応する予測ブロックに戻して追加することによって、参照ブロックを計算することができる。再構成された参照ブロックにフィルタを適用して、スケーリング、量子化、および変換中に生成されるアーチファクトを軽減する。そうでなければ、このようなアーチファクトは、後続のブロックを予測する際に不正確な予測を引き起こす（および追加のアーチファクトを生成する）可能性があろう。

フィルタ制御分析コンポーネント２２７およびループ内フィルタコンポーネント２２５は、残差ブロックおよび／または再構成されたイメージブロックにフィルタを適用する。例えば、スケーリングおよび逆変換コンポーネント２２９からの変換された残差ブロックは、イントラ画像予測コンポーネント２１７および／または動き補償コンポーネント２１９からの対応する予測ブロックと組み合わされて、元のイメージブロックを再構成することができる。次いで、再構成されたイメージブロックにフィルタを適用することができる。いくつかの例では、代わりに残差ブロックにフィルタを適用することができる。図２の他のコンポーネントと同様に、フィルタ制御分析コンポーネント２２７およびループ内フィルタコンポーネント２２５は、高度に統合され、一緒に実装されてもよいが、概念的な目的のために別々に示されている。再構成された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、このようなフィルタがどのように適用されるかを調整するための複数のパラメータを含む。フィルタ制御分析コンポーネント２２７は、再構成された参照ブロックを分析して、このようなフィルタが適用される箇所を決定し、対応するパラメータを設定する。このようなデータは、符号化のためのフィルタ制御データとしてヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。ループ内フィルタコンポーネント２２５は、フィルタ制御データに基づいてこのようなフィルタを適用する。フィルタには、デブロッキングフィルタ、ノイズ抑制フィルタ、ＳＡＯフィルタ、および適応ループフィルタが含まれてもよい。このようなフィルタは、この例に応じて、空間／ピクセル領域で（例えば、再構成されたピクセルブロックに）、または周波数領域で適用されてもよい。

エンコーダとして動作する場合、フィルタリングされた再構成されたイメージブロック、残差ブロック、および／または予測ブロックは、上述した動き推定において後で使用するために、復号された画像バッファコンポーネント２２３に記憶される。デコーダとして動作する場合、復号された画像バッファコンポーネント２２３は、再構成されフィルタリングされたブロックを記憶し、出力ビデオ信号の一部としてディスプレイに向けて転送する。復号された画像バッファコンポーネント２２３は、予測ブロック、残差ブロック、および／または再構成されたイメージブロックを記憶することが可能な任意のメモリデバイスであってもよい。

ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１は、コーデックシステム２００の様々なコンポーネントからデータを受信し、このようなデータを、デコーダに向けて送信するために、コーディングされたビットストリームに符号化する。具体的には、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１は、一般制御データおよびフィルタ制御データなどの制御データを符号化するために様々なヘッダを生成する。さらに、イントラ予測および動きデータを含む予測データ、ならびに量子化された変換係数データの形態の残差データはすべて、ビットストリームに符号化される。最終的なビットストリームは、元の分割されたビデオ信号２０１を再構成するためにデコーダによって所望されるすべての情報を含む。このような情報には、イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）、様々なブロックのための符号化コンテキストの定義、最確イントラ予測モードの指示、分割情報の指示などが含まれることもある。このようなデータは、エントロピーコーディングを用いることによって符号化することができる。例えば、情報は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、ＣＡＢＡＣ、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔分割エントロピー（ＰＩＰＥ）コーディング、または別のエントロピーコーディング技術を採用することによって符号化することができる。エントロピーコーディングに続いて、コーディングされたビットストリームは、別のデバイス（例えば、ビデオデコーダ）に送信されるか、または後で送信もしくは検索するためにアーカイブされてもよい。

図３は、例示的なビデオエンコーダ３００を示すブロック図である。ビデオエンコーダ３００は、コーデックシステム２００の符号化機能を実施するために、ならびに／あるいは動作方法１００のステップ１０１、１０３、１０５、１０７、および／または１０９を実施するために採用することができる。エンコーダ３００は、入力ビデオ信号を分割し、分割されたビデオ信号２０１と実質的に同様の分割されたビデオ信号３０１をもたらす。次いで、分割されたビデオ信号３０１は、エンコーダ３００のコンポーネントによって圧縮され、ビットストリームに符号化される。

具体的には、分割されたビデオ信号３０１は、イントラ予測のためにイントラ画像予測コンポーネント３１７に転送される。イントラ画像予測コンポーネント３１７は、イントラ画像推定コンポーネント２１５およびイントラ画像予測コンポーネント２１７と実質的に同様であってもよい。分割されたビデオ信号３０１はまた、復号された画像バッファコンポーネント３２３内の参照ブロックに基づいてインター予測のために動き補償コンポーネント３２１に転送される。動き補償コンポーネント３２１は、動き推定コンポーネント２２１および動き補償コンポーネント２１９と実質的に同様であってもよい。イントラ画像予測コンポーネント３１７および動き補償コンポーネント３２１からの予測ブロックおよび残差ブロックは、残差ブロックの変換および量子化のために、変換および量子化コンポーネント３１３に転送される。変換および量子化コンポーネント３１３は、変換スケーリングおよび量子化コンポーネント２１３と実質的に同様であってもよい。変換され量子化された残差ブロックおよび対応する予測ブロックは（関連付けられた制御データとともに）、ビットストリームにコーディングするためにエントロピーコーディングコンポーネント３３１に転送される。エントロピーコーディングコンポーネント３３１は、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１と実質的に同様であってもよい。

変換され量子化された残差ブロックおよび／または対応する予測ブロックはまた、動き補償コンポーネント３２１が使用するための参照ブロックに再構成するために、変換および量子化コンポーネント３１３から逆変換および量子化コンポーネント３２９に転送される。逆変換および量子化コンポーネント３２９は、スケーリングおよび逆変換コンポーネント２２９と実質的に同様であってもよい。ループ内フィルタコンポーネント３２５のループ内フィルタも、この例に応じて、残差ブロックおよび／または再構成された参照ブロックに適用される。ループ内フィルタコンポーネント３２５は、フィルタ制御分析コンポーネント２２７およびループ内フィルタコンポーネント２２５と実質的に同様であってもよい。ループ内フィルタコンポーネント３２５は、ループ内フィルタコンポーネント２２５に関して説明したような複数のフィルタを含むことができる。次いで、フィルタリングされたブロックは、動き補償コンポーネント３２１が参照ブロックとして使用するために、復号された画像バッファコンポーネント３２３に記憶される。復号された画像バッファコンポーネント３２３は、復号された画像バッファコンポーネント２２３と実質的に同様であってもよい。

図４は、例示的なビデオデコーダ４００を示すブロック図である。ビデオデコーダ４００は、コーデックシステム２００の復号機能を実施するために、ならびに／あるいは動作方法１００のステップ１１１、１１３、１１５、および／もしくは１１７を実施するために採用することができる。デコーダ４００は、例えばエンコーダ３００からビットストリームを受信し、このビットストリームに基づいて、エンドユーザに表示するために、再構成された出力ビデオ信号を生成する。

ビットストリームは、エントロピー復号コンポーネント４３３によって受信される。エントロピー復号コンポーネント４３３は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコーディング、または他のエントロピーコーディング技術などのエントロピー復号方式を実装するように構成される。例えば、エントロピー復号コンポーネント４３３は、ビットストリーム中のコードワードとして符号化された追加のデータを解釈するためのコンテキストを提供するために、ヘッダ情報を採用することができる。復号された情報には、一般制御データ、フィルタ制御データ、分割情報、動きデータ、予測データ、および残差ブロックからの量子化された変換係数などの、ビデオ信号を復号するための任意の所望の情報が含まれる。量子化された変換係数は、残差ブロックに再構成するために、逆変換および量子化コンポーネント４２９に転送される。逆変換および量子化コンポーネント４２９は、逆変換および量子化コンポーネント３２９と同様であってもよい。

再構成された残差ブロックおよび／または予測ブロックは、イントラ予測動作に基づいてイメージブロックに再構成するために、イントラ画像予測コンポーネント４１７に転送される。イントラ画像予測コンポーネント４１７は、イントラ画像推定コンポーネント２１５およびイントラ画像予測コンポーネント２１７と同様であってもよい。具体的には、イントラ画像予測コンポーネント４１７は、予測モードを用いてフレーム内の参照ブロックの位置を特定し、その結果に残差ブロックを適用してイントラ予測されたイメージブロックを再構成する。再構成されたイントラ予測されたイメージブロックおよび／または残差ブロックならびに対応するインター予測データは、ループ内フィルタコンポーネント４２５を介して復号された画像バッファコンポーネント４２３に転送され、これらは、復号された画像バッファコンポーネント２２３およびループ内フィルタコンポーネント２２５とそれぞれ実質的に同様であってもよい。ループ内フィルタコンポーネント４２５は、再構成されたイメージブロック、残差ブロック、および／または予測ブロックをフィルタリングし、このような情報は、復号された画像バッファコンポーネント４２３に記憶される。復号された画像バッファコンポーネント４２３からの再構成されたイメージブロックは、インター予測のために動き補償コンポーネント４２１に転送される。動き補償コンポーネント４２１は、動き推定コンポーネント２２１および／または動き補償コンポーネント２１９と実質的に同様であってもよい。具体的には、動き補償コンポーネント４２１は、参照ブロックからの動きベクトルを用いて予測ブロックを生成し、その結果に残差ブロックを適用してイメージブロックを再構成する。結果として得られる再構成されたブロックはまた、ループ内フィルタコンポーネント４２５を介して、復号された画像バッファコンポーネント４２３に転送されてもよい。復号された画像バッファコンポーネント４２３は、追加の再構成されたイメージブロックを記憶し続け、これらのイメージブロックは分割情報によってフレームに再構成され得る。このようなフレームは、シーケンスに配置することもできる。シーケンスは、再構成された出力ビデオ信号としてディスプレイに向けて出力される。

図５は、例示的なＨＲＤ５００を示す概略図である。ＨＲＤ５００は、コーデックシステム２００および／またはエンコーダ３００などのエンコーダで採用することができる。ＨＲＤ５００は、ビットストリームがデコーダ４００などのデコーダに転送される前に、方法１００のステップ１０９で作成されたビットストリームをチェックすることができる。いくつかの例では、ビットストリームは、ビットストリームが符号化されるときに、ＨＲＤ５００を通して連続的に転送されてもよい。ビットストリームの一部が、関連付けられた制約に適合しない場合、ＨＲＤ５００は、そのような失敗をエンコーダに示して、エンコーダが異なるメカニズムでビットストリームの対応するセクションを再符号化するようにさせることができる。

ＨＲＤ５００は、仮想ストリームスケジューラ（ＨＳＳ）５４１を含む。ＨＳＳ５４１は、仮想配信メカニズムを実行するように構成されたコンポーネントである。仮想配信メカニズムは、ＨＲＤ５００に入力されるビットストリーム５５１のタイミングおよびデータフローに関して、ビットストリームまたはデコーダの適合性をチェックするために使用される。例えば、ＨＳＳ５４１は、エンコーダから出力されたビットストリーム５５１を受信し、ビットストリーム５５１に対する適合性試験プロセスを管理することができる。特定の例では、ＨＳＳ５４１は、コーディングされた画像がＨＲＤ５００を通って移動するレートを制御し、ビットストリーム５５１が不適合のデータを含まないことを検証することができる。

ＨＳＳ５４１は、ビットストリーム５５１を所定のレートでＣＰＢ５４３に転送することができる。ＨＲＤ５００は、復号ユニット（ＤＵ）５５３でデータを管理することができる。ＤＵ５５３は、ＡＵまたはＡＵのサブセット、および関連付けられた非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットである。具体的には、ＡＵは、出力時間に関連付けられた１つまたは複数の画像を含む。例えば、ＡＵは、単一レイヤビットストリームに単一の画像を含むことができ、マルチレイヤビットストリームに各レイヤの画像を含むことができる。ＡＵの各画像は、対応するＶＣＬＮＡＬユニットにそれぞれ含まれるスライスに分割することができる。したがって、ＤＵ５５３は、１つまたは複数の画像、画像の１つまたは複数のスライス、またはそれらの組合せを含むことができる。また、ＡＵ、画像、および／またはスライスを復号するために使用されるパラメータは、非ＶＣＬＮＡＬユニットに含めることができる。したがって、ＤＵ５５３には、ＤＵ５５３中のＶＣＬＮＡＬユニットの復号をサポートするために必要なデータを含む非ＶＣＬＮＡＬユニットが含まれる。ＣＰＢ５４３は、ＨＲＤ５００における先入れ先出しバッファである。ＣＰＢ５４３は、復号順にビデオデータを含むＤＵ５５３を含む。ＣＰＢ５４３は、ビットストリーム適合性検証中に使用するためのビデオデータを記憶する。

ＣＰＢ５４３は、ＤＵ５５３を復号プロセスコンポーネント５４５に転送する。復号プロセスコンポーネント５４５は、ＶＶＣ規格に適合したコンポーネントである。例えば、復号プロセスコンポーネント５４５は、エンドユーザが用いるデコーダ４００をエミュレートすることができる。復号プロセスコンポーネント５４５は、例示的なエンドユーザデコーダによって達成可能なレートでＤＵ５５３を復号する。復号プロセスコンポーネント５４５が、ＣＰＢ５４３のオーバーフローを防止するのに十分な速さでＤＵ５５３を復号することができない場合、ビットストリーム５５１は規格に適合しておらず、再符号化する必要がある。

復号プロセスコンポーネント５４５は、ＤＵ５５３を復号し、復号されたＤＵ５５５を生成する。復号されたＤＵ５５５は、復号された画像を含む。復号されたＤＵ５５５は、ＤＰＢ５４７に転送される。ＤＰＢ５４７は、復号された画像バッファコンポーネント２２３、３２３、および／または４２３と実質的に同様であってもよい。インター予測をサポートするために、復号されたＤＵ５５５から得られる参照画像５５６として使用するためにマークされた画像は、さらなる復号をサポートするために復号プロセスコンポーネント５４５に戻される。ＤＰＢ５４７は、復号されたビデオシーケンスを一連の画像５５７として出力する。画像５５７は、エンコーダによってビットストリーム５５１に符号化された画像を全体的にミラーリングした再構成された画像である。

画像５５７は、出力クロッピングコンポーネント５４９に転送される。出力クロッピングコンポーネント５４９は、適合クロッピングウィンドウを画像５５７に適用するように構成される。これにより、クロップされた出力画像５５９が得られる。クロップされた出力画像５５９は、完全に再構成された画像である。したがって、クロップされた出力画像５５９は、ビットストリーム５５１を復号する際にエンドユーザが見ると思われるものを模倣する。このように、エンコーダは、クロップされた出力画像５５９をレビューして、符号化が満足できるものであることを保証することができる。

ＨＲＤ５００は、ビットストリーム５５１内のＨＲＤパラメータに基づいて初期化される。例えば、ＨＲＤ５００は、ＶＰＳ、ＳＰＳ、および／またはＳＥＩメッセージからＨＲＤパラメータを読み取ることができる。次いで、ＨＲＤ５００は、このようなＨＲＤパラメータの情報に基づいてビットストリーム５５１に対して適合性試験動作を行うことができる。具体例として、ＨＲＤ５００は、ＨＲＤパラメータから１つまたは複数のＣＰＢ配信スケジュール５６１を決定することができる。配信スケジュールは、ＣＰＢおよび／またはＤＰＢなどのメモリロケーションへのおよび／またはメモリロケーションからのビデオデータの配信のためのタイミングを指定する。したがって、ＣＰＢ配信スケジュール５６１は、ＣＰＢ５４３への／からのＡＵ、ＤＵ５５３、および／または画像の配信タイミングを指定する。例えば、ＣＰＢ配信スケジュール５６１は、ＣＰＢ５４３のビットレートおよびバッファサイズを記述することができ、このようなビットレートおよびバッファサイズは、特定のクラスのデコーダおよび／またはネットワーク条件に対応する。したがって、ＣＰＢ配信スケジュール５６１は、退避前にＣＰＢ５４３にどれだけ長くデータが留まることができるかを示すことができる。適合性試験中にＨＲＤ５００においてＣＰＢ配信スケジュール５６１を維持できないということは、ＣＰＢ配信スケジュール５６１に対応するデコーダが対応するビットストリームを復号することができないことを示すものである。ＨＲＤ５００は、ＣＰＢ配信スケジュール５６１と同様のＤＰＢ配信スケジュールをＤＰＢ５４７に用いることができることに留意されたい。

ビデオは、様々なレベルのハードウェア能力を有するデコーダによって使用するために、ならびに様々なネットワーク条件のために、異なるレイヤおよび／またはＯＬＳにコーディングされることがある。ＣＰＢ配信スケジュール５６１は、これらの課題を反映するように選択される。したがって、上位レイヤのサブビットストリームは、最適なハードウェアおよびネットワーク条件に対して指定され、したがって、上位レイヤは、ＣＰＢ５４３内の大量のメモリと、ＤＰＢ５４７に向けたＤＵ５５３の転送のための短い遅延とを用いる１つまたは複数のＣＰＢ配信スケジュール５６１を受信することができる。同様に、下位レイヤのサブビットストリームは、制限されたデコーダハードウェア能力および／または劣悪なネットワーク条件に対して指定される。したがって、下位レイヤは、ＣＰＢ５４３内の少量のメモリと、ＤＰＢ５４７に向けたＤＵ５５３の転送のためのより長い遅延とを用いる１つまたは複数のＣＰＢ配信スケジュール５６１を受信することができる。次いで、ＯＬＳ、レイヤ、サブレイヤ、またはそれらの組合せは、対応する配信スケジュール５６１に従って試験されて、結果として得られたサブビットストリームがサブビットストリームに対して期待される条件下で正しく復号できることを保証することができる。ＣＰＢ配信スケジュール５６１はそれぞれ、スケジュールインデックス（ＳｃＩｄｘ）５６３と関連付けられている。ＳｃＩｄｘ５６３は、配信スケジュールを識別するインデックスである。したがって、ビットストリーム５５１内のＨＲＤパラメータは、ＣＰＢ配信スケジュール５６１をＳｃＩｄｘ５６３によって示すことができるだけでなく、ＨＲＤ５００がＣＰＢ配信スケジュール５６１を決定し、ＣＰＢ配信スケジュール５６１を対応するＯＬＳ、レイヤ、および／またはサブレイヤに相関させることを可能にするのに十分なデータを含むことができる。

図６は、レイヤ間予測６２１のために構成された例示的なマルチレイヤビデオシーケンス６００を示す概略図である。マルチレイヤビデオシーケンス６００は、例えば方法１００に従って、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによって符号化され、コーデックシステム２００および／またはデコーダ４００などのデコーダによって復号されてもよい。さらに、マルチレイヤビデオシーケンス６００は、ＨＲＤ５００などのＨＲＤによって規格適合性をチェックすることができる。マルチレイヤビデオシーケンス６００は、コーディングされたビデオシーケンスにおけるレイヤの例示的なアプリケーションを示すために含まれている。マルチレイヤビデオシーケンス６００は、レイヤＮ６３１およびレイヤＮ＋１６３２などの複数のレイヤを用いる任意のビデオシーケンスである。

一例では、マルチレイヤビデオシーケンス６００は、レイヤ間予測６２１を採用することができる。レイヤ間予測６２１は、異なるレイヤの画像６１１、６１２、６１３、および６１４と画像６１５、６１６、６１７、および６１８との間で適用される。図示する例では、画像６１１、６１２、６１３、および６１４は、レイヤＮ＋１６３２の一部であり、画像６１５、６１６、６１７、および６１８は、レイヤＮ６３１の一部である。レイヤＮ６３１および／またはレイヤＮ＋１６３２などのレイヤは、同様のサイズ、品質、解像度、信号対雑音比、能力など、同様の特性値にすべてが関連付けられた画像のグループである。レイヤは、ＶＣＬＮＡＬユニットおよび関連付けられた非ＶＣＬＮＡＬユニットのセットとして形式的に定義することができる。ＶＣＬＮＡＬユニットは、画像のコーディングされたスライスなど、ビデオデータを含むようにコーディングされたＮＡＬユニットである。非ＶＣＬＮＡＬユニットは、ビデオデータの復号、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニットである。

図示する例では、レイヤＮ＋１６３２はレイヤＮ６３１よりも大きいイメージサイズに関連付けられている。したがって、本例では、レイヤＮ＋１６３２の画像６１１、６１２、６１３、および６１４は、レイヤＮ６３１の画像６１５、６１６、６１７、および６１８よりも大きな画像サイズ（例えば、より大きい高さおよび幅、したがってより多くのサンプル）を有する。しかしながら、このような画像は、他の特性によってレイヤＮ＋１６３２とレイヤＮ６３１との間で分離することができる。２つのレイヤ、レイヤＮ＋１６３２およびレイヤＮ６３１のみが示されているが、画像のセットは、関連付けられた特性に基づいて任意の数のレイヤに分離することができる。レイヤＮ＋１６３２およびレイヤＮ６３１は、レイヤＩＤによって表記されることもある。レイヤＩＤは、画像に関連付けられ、その画像が、示されたレイヤの一部であることを表記するデータの項目である。したがって、各画像６１１～６１８は、対応するレイヤＩＤに関連付けられて、どちらのレイヤＮ＋１６３２またはレイヤＮ６３１が対応する画像を含むかを示すことができる。例えば、レイヤＩＤは、ＮＡＬユニットを含む（例えば、レイヤ内の画像のスライスおよび／またはパラメータを含む）レイヤの識別子を指定するシンタックス要素であるＮＡＬユニットヘッダレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を含むことができる。レイヤＮ６３１などの、より低い品質／ビットストリームサイズに関連付けられたレイヤは、一般に、より低いレイヤＩＤが割り当てられ、下位レイヤと呼ばれる。さらに、レイヤＮ＋１６３２などの、より高い品質／ビットストリームサイズに関連付けられたレイヤは、一般に、より高いレイヤＩＤが割り当てられ、上位レイヤと呼ばれる。

異なるレイヤ６３１～６３２の画像６１１～６１８は、択一的に表示されるように構成される。したがって、異なるレイヤ６３１～６３２の画像は、これらの画像が同じＡＵに含まれる限り、時間ＩＤ６２２を共有することができる。時間ＩＤ６２２は、データがビデオシーケンス内の時間位置に対応することを示すデータ要素である。ＡＵは、指定された分類規則に従って互いに関連付けられ、１つの特定の出力時間に関連するＮＡＬユニットのセットである。例えば、ＡＵは、画像６１１および画像６１５など、そのような画像が同じ時間ＩＤ６２２に関連付けられる場合、異なるレイヤに１つまたは複数の画像を含むことができる。具体例として、デコーダは、より小さい画像が所望される場合、現在の表示時間に画像６１５を復号および表示することができ、またはデコーダは、より大きい画像が所望される場合、現在の表示時間に画像６１１を復号および表示することができる。したがって、上位レイヤＮ＋１６３２の画像６１１～６１４は、（画像サイズの違いにもかかわらず）下位レイヤＮ６３１の対応する画像６１５～６１８と実質的に同じイメージデータを含む。具体的には、画像６１１は、画像６１５と実質的に同じイメージデータを含み、画像６１２は、画像６１６と実質的に同じイメージデータを含み、以下同様である。

画像６１１～６１８は、同じレイヤＮ６３１またはＮ＋１６３２の他の画像６１１～６１８を参照することによってコーディングすることができる。同じレイヤの別の画像を参照して画像をコーディングすることは、結果としてインター予測６２３となる。インター予測６２３は、実線の矢印によって描かれている。例えば、画像６１３は、レイヤＮ＋１６３２の画像６１１、６１２、および／または６１４のうちの１つまたは２つを参照として用いるインター予測６２３を採用することによってコーディングされてもよく、１つの画像は、単方向インター予測のために参照され、および／または２つの画像は、双方向インター予測のために参照される。さらに、画像６１７は、レイヤＮ５３１の画像６１５、６１６、および／または６１８のうちの１つまたは２つを参照として用いるインター予測６２３を採用することによってコーディングされてもよく、１つの画像は、単方向インター予測のために参照され、および／または２つの画像は、双方向インター予測のために参照される。インター予測６２３を実行する際に、画像を同じレイヤの別の画像の参照として用いる場合、その画像は、参照画像と呼ばれることがある。例えば、画像６１２は、インター予測６２３に従って画像６１３をコーディングするために使用される参照画像であってもよい。インター予測６２３は、マルチレイヤコンテキストにおいてイントラレイヤ予測と呼ばれることもある。したがって、インター予測６２３は、現在の画像とは異なる参照画像中の指示されたサンプルを参照することによって、現在の画像のサンプルをコーディングするメカニズムであり、参照画像と現在の画像とが同じレイヤにある。

画像６１１～６１８は、異なるレイヤの他の画像６１１～６１８を参照することによってコーディングすることもできる。このプロセスは、レイヤ間予測６２１として知られており、破線の矢印によって描かれている。レイヤ間予測６２１は、参照画像中の指示されたサンプルを参照することによって現在の画像のサンプルをコーディングするメカニズムであり、現在の画像と参照画像とが異なるレイヤにあり、したがって異なるレイヤＩＤを有する。例えば、下位レイヤＮ６３１の画像は、上位レイヤＮ＋１６３２の対応する画像をコーディングするための参照画像として使用することができる。具体例として、画像６１１は、レイヤ間予測６２１に従って画像６１５を参照することによってコーディングすることができる。このような場合、画像６１５は、レイヤ間参照画像として使用される。レイヤ間参照画像は、レイヤ間予測６２１に使用される参照画像である。ほとんどの場合、レイヤ間予測６２１は、画像６１１などの現在の画像が、同じＡＵに含まれる、画像６１５などの下位レイヤにあるレイヤ間参照画像のみを使用できるように制約される。複数のレイヤ（例えば、３つ以上）が利用可能な場合、レイヤ間予測６２１は、現在の画像よりも低いレベルの複数のレイヤ間参照画像に基づいて現在の画像を符号化／復号することができる。

ビデオエンコーダは、マルチレイヤビデオシーケンス６００を用いて、インター予測６２３とレイヤ間予測６２１の多くの異なる組合せおよび／または順列を介して画像６１１～６１８を符号化することができる。例えば、画像６１５は、イントラ予測に従ってコーディングされてもよい。次いで、画像６１６～６１８は、画像６１５を参照画像として使用することによって、インター予測６２３に従ってコーディングすることができる。さらに、画像６１１は、画像６１５をレイヤ間参照画像として使用することによって、レイヤ間予測６２１に従ってコーディングされてもよい。次いで、画像６１２～６１４は、画像６１１を参照画像として使用することによって、インター予測６２３に従ってコーディングすることができる。したがって、参照画像は、異なるコーディングメカニズムに対して、単一レイヤ参照画像とレイヤ間参照画像の両方の役割を果たすことができる。下位レイヤＮ６３１の画像に基づいて上位レイヤＮ＋１６３２の画像をコーディングすることによって、上位レイヤＮ＋１６３２は、インター予測６２３およびレイヤ間予測６２１よりもコーディング効率がはるかに低いイントラ予測を採用することを回避することができる。したがって、イントラ予測の低いコーディング効率は、最小／最低品質の画像に限定することができ、したがって、最小量のビデオデータのコーディングに限定することができる。参照画像および／またはレイヤ間参照画像として使用される画像は、参照画像リスト構造に含まれる参照画像リストのエントリに示すことができる。

このような動作を行うために、レイヤＮ６３１およびレイヤＮ＋１６３２などのレイヤが、１つまたは複数のＯＬＳ６２５および６２６に含まれることがある。具体的には、画像６１１～６１８は、ビットストリーム６００のレイヤ６３１～６３２として符号化され、次いで、画像の各レイヤ６３１～６３２がＯＬＳ６２５および６２６のうちの１つまたは複数に割り当てられる。次いで、ＯＬＳ６２５および／または６２６を選択することができ、デコーダにおける能力および／またはネットワーク条件に応じて、対応するレイヤ６３１および／または６３２をデコーダに送信することができる。ＯＬＳ６２５は、１つまたは複数のレイヤが出力レイヤとして指定されるレイヤのセットである。出力レイヤは、（例えば、ディスプレイに）出力するために指定されるレイヤである。例えば、レイヤＮ６３１は、レイヤ間予測６２１をサポートするためだけに含まれ、決して出力されなくてもよい。このような場合、レイヤＮ＋１６３２は、レイヤＮ６３１に基づいて復号され、出力される。このような場合、ＯＬＳ６２５は、出力レイヤとしてレイヤＮ＋１６３２を含む。ＯＬＳが出力レイヤのみを含む場合、そのＯＬＳは０番目のＯＬＳ６２６と呼ばれる。０番目のＯＬＳ６２６は、最下位レイヤ（最下位レイヤ識別子を有するレイヤ）のみを含むＯＬＳであり、したがって、出力レイヤのみを含むＯＬＳである。他の場合には、ＯＬＳ６２５は、異なる組合せで多くのレイヤを含むことがある。例えば、ＯＬＳ６２５の出力レイヤは、１つ、２つ、または多くの下位レイヤに基づいてレイヤ間予測６２１に従ってコーディングすることができる。さらに、ＯＬＳ６２５は、２つ以上の出力レイヤを含むことができる。したがって、ＯＬＳ６２５は、１つまたは複数の出力レイヤと、出力レイヤを再構成するのに必要な任意のサポートレイヤとを含むことができる。２つのＯＬＳ６２５および６２６のみが示されているが、マルチレイヤビデオシーケンス６００は、それぞれがレイヤの異なる組合せを採用する多くの異なるＯＬＳ６２５および／または６２６を採用することによってコーディングされてもよい。ＯＬＳ６２５および６２６はそれぞれ、対応するＯＬＳ６２５および６２６を一意に識別するインデックスであるＯＬＳインデックス６２９に関連付けられている。

ＨＲＤ５００でマルチレイヤビデオシーケンス６００の規格適合性をチェックすることは、レイヤ６３１～６３２ならびにＯＬＳ６２５および６２６の数次第では複雑になる可能性がある。ＨＲＤ５００は、試験のためにマルチレイヤビデオシーケンス６００を一連の動作ポイント６２７に分離することができる。ＯＬＳ６２５および／または６２６は、ＯＬＳインデックス６２９によって識別される。動作ポイント６２７は、ＯＬＳ６２５／６２６の時間的なサブセットである。動作ポイント６２７は、対応するＯＬＳ６２５／６２６のＯＬＳインデックス６２９ならびに最高時間ＩＤ６２２の両方によって識別することができる。具体例として、第１の動作ポイント６２７は、時間ＩＤ０から時間ＩＤ２００までの第１のＯＬＳ６２５内のすべての画像を含むことができ、第２の動作ポイント６２７は、時間ＩＤ２０１から時間ＩＤ４００までの第１のＯＬＳ６２５内のすべての画像を含むことができ、以下同様である。このような場合、第１の動作ポイント６２７は、第１のＯＬＳ６２５のＯＬＳインデックス６２９と、２００の時間ＩＤによって記述される。さらに、第２の動作ポイント６２７は、第１のＯＬＳ６２５のＯＬＳインデックス６２９と、４００の時間ＩＤによって記述される。指定された瞬間に試験するために選択された動作ポイント６２７は、試験対象ＯＰ（ｔａｒｇｅｔＯｐ）と呼ばれる。したがって、ｔａｒｇｅｔＯｐは、ＨＲＤ５００において適合性試験のために選択される動作ポイント６２７である。

図７は、時間スケーラビリティのために構成された例示的なマルチレイヤビデオシーケンス７００を示す概略図である。マルチレイヤビデオシーケンス７００は、例えば方法１００に従って、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによって符号化され、コーデックシステム２００および／またはデコーダ４００などのデコーダによって復号され得る。さらに、マルチレイヤビデオシーケンス７００は、ＨＲＤ５００などのＨＲＤによって規格適合性をチェックすることができる。マルチレイヤビデオシーケンス７００は、コーディングされたビデオシーケンスにおけるレイヤのための別の例示的な適用を示すために含まれている。例えば、マルチレイヤビデオシーケンス７００は、別個の実施形態として採用されてもよく、またはマルチレイヤビデオシーケンス６００に関して説明した技術と組み合わされてもよい。

マルチレイヤビデオシーケンス７００は、サブレイヤ７１０、７２０、および７３０を含む。サブレイヤは、特定の時間識別子値を有するＶＣＬＮＡＬユニット（例えば、画像）ならびに関連付けられた非ＶＣＬＮＡＬユニット（例えば、サポートパラメータ）を含む時間スケーラブルビットストリームの時間スケーラブルレイヤである。例えば、レイヤＮ６３１および／またはレイヤＮ＋１６３２などのレイヤは、時間スケーラビリティをサポートするために、サブレイヤ７１０、７２０、および７３０にさらに分割され得る。サブレイヤ７１０は、ベースレイヤと呼ばれることがあり、サブレイヤ７２０および７３０は、エンハンスメントレイヤと呼ばれることがある。図示するように、サブレイヤ７１０は、毎秒３０フレームなどの第１のフレームレートの画像７１１を含む。サブレイヤ７１０は、ベース／最低フレームレートを含むため、サブレイヤ７１０は、ベースレイヤである。サブレイヤ７２０は、サブレイヤ７１０の画像７１１から時間的にオフセットされた画像７２１を含む。その結果、サブレイヤ７１０とサブレイヤ７２０とを組み合わせることができ、その結果、サブレイヤ７１０単独のフレームレートよりも全体として高いフレームレートが得られる。例えば、サブレイヤ７１０および７２０は、合わせて毎秒６０フレームのフレームレートを有することができる。したがって、サブレイヤ７２０は、サブレイヤ７１０のフレームレートを向上させる。さらに、サブレイヤ７３０は、やはりサブレイヤ７２０および７１０の画像７２１および７１１から時間的にオフセットされた画像７３１を含む。したがって、サブレイヤ７３０をサブレイヤ７２０および７１０と組み合わせて、サブレイヤ７１０をさらに強化することができる。例えば、サブレイヤ７１０、７２０、および７３０は、合わせて毎秒９０フレームのフレームレートを有することができる。

サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および／または７３０を組み合わせることによって動的に作成することができる。サブレイヤ表現７４０は、特定のサブレイヤおよび下位サブレイヤのＮＡＬユニットを含むビットストリームのサブセットである。図示する例では、サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および７３０の合成画像７１１、７２１、および７３１である画像７４１を含む。したがって、マルチレイヤビデオシーケンス７００は、サブレイヤ７１０、７２０、および／または７３０の所望のセットを含むサブレイヤ表現７４０を選択することによって、所望のフレームレートに時間的にスケーリングされ得る。サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および／または７３０をレイヤとして含むＯＬＳを採用することによって作成されてもよい。このような場合、サブレイヤ表現７４０が出力レイヤとして選択される。したがって、時間スケーラビリティは、マルチレイヤメカニズムを使用して達成することができるいくつかのメカニズムのうちの１つである。

図８は、例示的なビットストリーム８００を示す概略図である。例えば、ビットストリーム８００は、方法１００に従ってコーデックシステム２００および／またはデコーダ４００によって復号するために、コーデックシステム２００および／またはエンコーダ３００によって生成することができる。さらに、ビットストリーム８００は、マルチレイヤビデオシーケンス６００および／または７００を含むことができる。さらに、ビットストリーム８００は、ＨＲＤ５００などのＨＲＤの動作を制御するための様々なパラメータを含むことができる。このようなパラメータに基づいて、ＨＲＤは、復号のためにデコーダに向けて送信する前に、規格との適合性についてビットストリーム８００をチェックすることができる。

ビットストリーム８００は、ＶＰＳ８１１、１つまたは複数のＳＰＳ８１３、複数の画像パラメータセット（ＰＰＳ）８１５、複数のスライスヘッダ８１７、イメージデータ８２０、およびＳＥＩメッセージ８１９を含む。ＶＰＳ８１１は、ビットストリーム８００全体に関連するデータを含む。例えば、ＶＰＳ８１１は、ビットストリーム８００で使用されるＯＬＳ、レイヤ、および／またはサブレイヤに関連するデータを含むことができる。ＳＰＳ８１３は、ビットストリーム８００に含まれるコーディングされたビデオシーケンス内のすべての画像に共通のシーケンスデータを含む。例えば、各レイヤは、１つまたは複数のコーディングされたビデオシーケンスを含むことができ、各コーディングされたビデオシーケンスは、対応するパラメータについてＳＰＳ８１３を参照することができる。ＳＰＳ８１３のパラメータは、画像サイジング、ビット深度、コーディングツールパラメータ、ビットレート制限などを含むことができる。各シーケンスは、ＳＰＳ８１３を参照するが、いくつかの例では、単一のＳＰＳ８１３が複数のシーケンスに関するデータを含むことができることに留意されたい。ＰＰＳ８１５は、画像全体に適用されるパラメータを含む。したがって、ビデオシーケンス内の各画像は、ＰＰＳ８１５を参照することができる。各画像は、ＰＰＳ８１５を参照するが、いくつかの例では、単一のＰＰＳ８１５が複数の画像についてのデータを含むことができることに留意されたい。例えば、複数の同様の画像は、同様のパラメータに従ってコーディングされてもよい。このような場合、単一のＰＰＳ８１５は、このような類似画像についてのデータを含むことができる。ＰＰＳ８１５は、対応する画像のスライスに利用可能なコーディングツール、量子化パラメータ、オフセットなどを示すことができる。

スライスヘッダ８１７は、画像内の各スライスに固有のパラメータを含む。したがって、ビデオシーケンス内のスライスごとに１つのスライスヘッダ８１７が存在する可能性がある。スライスヘッダ８１７は、スライスタイプ情報、ＰＯＣ、参照画像リスト、予測重み、タイルエントリポイント、デブロッキングパラメータなどを含むことができる。いくつかの例では、ビットストリーム８００はまた、単一の画像内のすべてのスライスに適用されるパラメータを含むシンタックス構造である画像ヘッダを含むことができることに留意されたい。このため、画像ヘッダおよびスライスヘッダ８１７は、いくつかの文脈では交換可能に使用されることがある。例えば、特定のパラメータは、そのようなパラメータが画像内のすべてのスライスに共通であるかどうかに応じて、スライスヘッダ８１７と画像ヘッダとの間で移動することができる。

イメージデータ８２０は、インター予測および／またはイントラ予測に従って符号化されたビデオデータ、ならびに対応する変換されたおよび量子化された残差データを含む。例えば、イメージデータ８２０は、ＡＵ８２１、ＤＵ８２２、および／または画像８２３を含むことができる。ＡＵ８２１は、指定された分類規則に従って互いに関連付けられ、１つの特定の出力時間に関連するＮＡＬユニットのセットである。ＤＵ８２２は、ＡＵまたはＡＵのサブセット、および関連付けられた非ＶＣＬＮＡＬユニットである。画像８２３は、フレームまたはそのフィールドを作成するルマサンプルのアレイおよび／またはクロマサンプルのアレイである。平たく言えば、ＡＵ８２１は、ビデオシーケンス内の指定された瞬間に表示される可能性のある様々なビデオデータ、ならびにサポートするシンタックスデータを含む。したがって、ＡＵ８２１は、単一レイヤビットストリームにおける単一の画像８２３、またはマルチレイヤビットストリームにおけるすべてが同じ瞬間に関連付けられた複数のレイヤからの複数画像を含むことができる。一方、画像８２３は、表示のために出力され得るか、または出力のための他の画像８２３のコーディングをサポートするために使用され得る、コーディングされたイメージである。ＤＵ８２２は、１つまたは複数の画像８２３と、復号に必要な任意のサポートするシンタックスデータとを含むことができる。例えば、ＤＵ８２２およびＡＵ８２１は、（例えば、ＡＵが単一の画像を含む場合）単純なビットストリームにおいて交換可能に使用されることがある。しかしながら、より複雑なマルチレイヤビットストリームでは、ＤＵ８２２は、ＡＵ８２１からのビデオデータの一部分のみを含むことができる。例えば、ＡＵ８２１は、いくつかのレイヤおよび／またはサブレイヤにおいて画像８２３を含むことができ、画像８２３のうちのいくつかが異なるＯＬＳに関連付けられている。このような場合、ＤＵ８２２は、指定されたＯＬＳおよび／または指定されたレイヤ／サブレイヤからの画像８２３のみを含むことができる。

画像８２３は、１つまたは複数のスライス８２５を含む。スライス８２５は、画像８２３の（例えば、タイル内の）整数個の完全なタイルまたは整数個の連続する完全なコーディングツリーユニット（ＣＴＵ）行として定義されてもよく、タイルまたはＣＴＵ行は、単一のＮＡＬユニット８２９に排他的に含まれる。したがって、スライス８２５は、単一のＮＡＬユニット８２９にも含まれる。スライス８２５は、ＣＴＵおよび／またはコーディングツリーブロック（ＣＴＢ）にさらに分割される。ＣＴＵは、コーディングツリーによって分割することができるあらかじめ定義されたサイズのサンプルのグループである。ＣＴＢは、ＣＴＵのサブセットであり、ＣＴＵのルマ成分またはクロマ成分を含む。ＣＴＵ／ＣＴＢは、コーディングツリーに基づいてコーディングブロックにさらに分割される。その後、コーディングブロックは、予測メカニズムに従って符号化／復号され得る。

ビットストリーム８００は、ＮＡＬユニット８２９のシーケンスである。ＮＡＬユニット８２９は、ビデオデータおよび／またはサポートシンタックスのためのコンテナである。ＮＡＬユニット８２９は、ＶＣＬＮＡＬユニットまたは非ＶＣＬＮＡＬユニットとすることができる。ＶＣＬＮＡＬユニットは、コーディングされたスライス８２５および関連付けられたスライスヘッダ８１７などのビデオデータを含むようにコーディングされたＮＡＬユニット８２９である。非ＶＣＬＮＡＬユニットは、ビデオデータの復号、適合性チェックの実行、もしくは他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニット８２９である。例えば、非ＶＣＬＮＡＬユニットは、ＶＰＳ８１１、ＳＰＳ８１３、ＰＰＳ８１５、ＳＥＩメッセージ８１９、または他のサポートシンタックスを含むことができる。

ＳＥＩメッセージ８１９は、復号された画像のサンプルの値を決定するために、復号プロセスによって必要とされない情報を伝達する、セマンティクスが指定されたシンタックス構造である。例えば、ＳＥＩメッセージは、ＨＲＤプロセスをサポートするためのデータ、またはデコーダにおいてビットストリーム８００を復号することに直接関連しない他のサポートデータを含むことができる。ＳＥＩメッセージ８１９は、スケーラブルネスティングＳＥＩメッセージおよび／または非スケーラブルネスト化ＳＥＩメッセージを含むことができる。スケーラブルネスティングＳＥＩメッセージは、１つもしくは複数のＯＬＳまたは１つもしくは複数のレイヤに対応する複数のＳＥＩメッセージを含むメッセージである。非スケーラブルネスト化ＳＥＩメッセージは、ネスティングされていないメッセージであり、したがって、単一のＳＥＩメッセージを含む。ＳＥＩメッセージ８１９は、ＣＰＢを管理するためにＨＲＤを初期化するためのＨＲＤパラメータを含むＢＰＳＥＩメッセージを含むことができる。ＳＥＩメッセージ８１９は、ＣＰＢおよび／またはＤＰＢにおいてＡＵ８２１についての配信情報を管理するためのＨＲＤパラメータを含むＰＴＳＥＩメッセージも含むことができる。ＳＥＩメッセージ８１９は、ＣＰＢおよび／またはＤＰＢにおいてＤＵ８２２についての配信情報を管理するためのＨＲＤパラメータを含むＤＵＩＳＥＩメッセージも含むことができる。

ビットストリーム８００は、ＨＲＤ５００などのＨＲＤの動作条件を初期化および／または定義するシンタックス要素である整数（ｉ）個のＨＲＤパラメータ８３３のセットを含む。いくつかの例では、一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造は、ＶＰＳ８１１によって指定されたすべてのＯＬＳに適用されるＨＲＤパラメータ８３３を含むことができる。一例では、エンコーダは、ビデオシーケンスをレイヤに符号化することができる。次いで、エンコーダは、ＨＲＤパラメータ８３３をビットストリーム８００に符号化して、ＨＲＤを適切に構成し適合性チェックを実行することができる。ＨＲＤパラメータ８３３はまた、デコーダが配信スケジュールに従ってビットストリーム８００を復号することができることをデコーダに示すことができる。ＨＲＤパラメータ８３３は、ＶＰＳ８１１および／またはＳＰＳ８１３に含まれ得る。ＨＲＤを構成するために使用される追加のパラメータも、ＳＥＩメッセージ８１９に含まれてもよい。

上述したように、ビデオストリームは、ＯＬＳ６２５、レイヤＮ６３１、レイヤＮ＋１６３２、サブレイヤ７１０、サブレイヤ７２０、および／またはサブレイヤ７３０などの、多くのＯＬＳおよび多くのレイヤを含むことができる。さらに、レイヤによっては、複数のＯＬＳに含まれるものがあってもよい。そのため、マルチレイヤビデオシーケンス６００および／または７００などのマルチレイヤビデオシーケンスは、かなり複雑になることがある。その結果、ＨＲＤにおけるＨＲＤチェックプロセスが複雑になる可能性がある。いくつかのビデオコーディングシステムは、ＨＲＤを使用して、適合性についてマルチレイヤビデオシーケンスを含むビットストリーム８００全体を試験する。次いで、ＨＲＤは、適合性についてビットストリームの各レイヤ／サブレイヤを試験する。最後に、ＨＲＤは、サブレイヤ表現７４０などの、ビットストリームの潜在的な復号可能出力を適合性についてチェックする。この手法は複雑で冗長であり、かなりの数のＨＲＤパラメータ８３３の使用を伴う。

本開示は、マルチレイヤビットストリームをチェックする際に使用するための簡略化されたＨＲＤ適合性試験のためのメカニズムを含む。この手法は、ビットストリーム８００中のＨＲＤパラメータ８３３の数を低減し、したがって、ビットストリーム８００のサイズを減少させる。さらに、この手法は、ＨＲＤプロセスを簡略化し、エンコーダ／ＨＲＤにおけるリソースを節約する。具体的には、ＨＲＤ５００は、ビットストリーム適合性試験のみをビットストリーム８００の各ＯＬＳに適用し、ＯＬＳの潜在的な出力の試験およびビットストリーム８００全体の試験を省略するように構成することができる。潜在的に復号され出力され得る各レイヤは、ＯＬＳに含まれている。したがって、すべてのＯＬＳを試験することは、結果として、ＯＬＳ適合性チェックプロセスの一部として、適合性について、サブレイヤ表現７４０などの潜在的な出力を試験することになる。さらに、デコーダに送ることができるビットストリーム８００の部分のすべてが、ＯＬＳに含まれている。したがって、適合性について各ＯＬＳを試験することは、結果として、適合性についてビットストリーム８００全体を試験することになる。

具体例では、ＶＰＳ８１１は、いくつかのＯＬＳ８３１を含むことができる。ＯＬＳ８３１の数は、符号化後、かつ任意のサブビットストリーム抽出プロセスの前に、ビットストリーム８００全体において用いられるＯＬＳの数を指定する。例えば、ＯＬＳ８３１の数は、出力レイヤセットの総数－１（ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１）シンタックス要素としてコーディングされてもよい。ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１＋１は、ＶＰＳ８１１によって指定されるＯＬＳの総数を指定する。ｍｉｎｕｓ１は、ＨＲＤが真の値を取得するためにシンタックス要素中に含まれる値に１を加算することができることを示す。ＨＲＤは、ＶＰＳ８１１において指定されたＯＬＳを決定するために、ＯＬＳ８３１の数を読み取ることができる。次いで、ＨＲＤは、ＯＬＳ８３１の数に基づいて各ＯＬＳの各ＯＰをチェックすることができる。具体例として、ＨＲＤは、ＯＬＳ８３１の数を用いて、各ＯＬＳをターゲットＯＬＳとして順次選択して試験することができる。ＯＬＳを試験する際に、ＨＲＤは、試験対象ＯＰ（ｔａｒｇｅｔＯｐ）として現在のＯＬＳの各ＯＰを順次選択して試験することができる。これは、ＯＰＯＬＳインデックス（ｏｐＯｌｓＩｄｘ）および最も高いＯＰ時間識別子値（ｏｐＴｉｄ）に基づいてターゲットＯＬＳを選択することによって達成されてもよい。そのため、ビットストリーム８００は、例えばＨＲＤに関しておよび／またはデコーダに関して、漸進的デコーダリフレッシュ（ＧＤＲ）機能の向上をサポートする様々なメカニズムを含む。したがって、ビットストリーム８００に関して説明したメカニズムは、エンコーダおよび／またはデコーダの機能を高めることができる。さらに、ビットストリーム８００に関して説明したメカニズムは、コーディング効率の向上をサポートし、ならびに／またはエンコーダおよび／もしくはデコーダにおけるプロセッサ、メモリ、および／もしくはネットワーク通信リソースの削減をサポートすることができる。

ここで、前述の情報を本明細書において以下でより詳細に説明する。階層化ビデオコーディングは、スケーラブルビデオコーディングまたはスケーラビリティを有するビデオコーディングとも呼ばれる。ビデオコーディングにおけるスケーラビリティは、マルチレイヤコーディング技術を使用することによってサポートされ得る。マルチレイヤビットストリームは、ベースレイヤ（ＢＬ）と１つまたは複数のエンハンスメントレイヤ（ＥＬ）とを含む。スケーラビリティの例には、空間スケーラビリティ、品質／信号対雑音比（ＳＮＲ）スケーラビリティ、マルチビュースケーラビリティ、フレームレートスケーラビリティなどが含まれる。マルチレイヤコーディング技術が使用される場合、画像またはその一部は、参照画像を使用せずにコーディングすることができ（イントラ予測）、同じレイヤにある参照画像を参照することによってコーディングすることができ（インター予測）、および／または他のレイヤにある参照画像を参照することによってコーディングすることができる（インターレイヤ予測）。現在の画像のインターレイヤ予測に使用される参照画像は、インターレイヤ参照画像（ＩＬＲＰ）と呼ばれる。図６は、異なるレイヤの画像が異なる解像度を有する空間スケーラビリティのためのマルチレイヤコーディングの例を示す。

いくつかのビデオコーディングファミリーは、単一レイヤコーディングのためのプロファイルから分離されたプロファイルのスケーラビリティのサポートを提供する。スケーラブルビデオコーディング（ＳＶＣ）は、空間スケーラビリティ、時間スケーラビリティ、および品質スケーラビリティをサポートする高度ビデオコーディング（ＡＶＣ）のスケーラブルな拡張である。ＳＶＣの場合、ＥＬ画像の各マクロブロック（ＭＢ）に、ＥＬＭＢが下位レイヤからのコロケーションブロックを使用して予測されるかどうかを示すフラグがシグナリングされる。コロケーションブロックからの予測は、テクスチャ、動きベクトル、および／またはコーディングモードを含むことができる。ＳＶＣの実施は、変更されていないＡＶＣの実施を設計で直接再利用することはできない。ＳＶＣＥＬマクロブロックのシンタックスおよび復号プロセスは、ＡＶＣシンタックスおよび復号プロセスとは異なる。

スケーラブルＨＥＶＣ（ＳＨＶＣ）は、空間スケーラビリティおよび品質スケーラビリティをサポートするＨＥＶＣの拡張である。マルチビューＨＥＶＣ（ＭＶ－ＨＥＶＣ）は、マルチビュースケーラビリティをサポートするＨＥＶＣの拡張である。３ＤＨＥＶＣ（３Ｄ－ＨＥＶＣ）は、ＭＶ－ＨＥＶＣよりも高度で効率的な３ＤビデオコーディングをサポートするＨＥＶＣの拡張である。時間スケーラビリティは、単一レイヤＨＥＶＣコーデックの一体部分として含まれていてもよい。ＨＥＶＣのマルチレイヤ拡張では、レイヤ間予測に使用される復号画像は、同じＡＵからのもののみであり、長期参照画像（ＬＴＲＰ）として扱われる。このような画像は、現在のレイヤの他の時間参照画像とともに、参照画像リストの参照インデックスが割り当てられる。レイヤ間予測（ＩＬＰ）は、参照画像リストのレイヤ間参照画像を参照するように参照インデックスの値を設定することによって、予測ユニット（ＰＵ）レベルにおいて達成される。空間スケーラビリティは、ＩＬＲＰが符号化または復号されている現在の画像とは異なる空間解像度を有する場合に、参照画像またはその一部を再サンプリングする。参照画像の再サンプリングは、画像レベルまたはコーディングブロックレベルのいずれかで実現することができる。

ＶＶＣは、階層化ビデオコーディングをサポートすることもできる。ＶＶＣビットストリームは、複数のレイヤを含むことができる。レイヤはすべて互いに独立していてもよい。例えば、各レイヤは、レイヤ間予測を使用せずにコーディングすることができる。この場合、レイヤは、サイマルキャストレイヤとも呼ばれる。場合によっては、レイヤのうちのいくつかは、ＩＬＰを使用してコーディングされる。ＶＰＳのフラグは、レイヤがサイマルキャストレイヤであるかどうか、または一部のレイヤがＩＬＰを使用するかどうかを示すことができる。一部のレイヤがＩＬＰを使用する場合、レイヤ間のレイヤ依存関係もＶＰＳでシグナリングされる。ＶＶＣは、ＳＨＶＣおよびＭＶ－ＨＥＶＣとは異なり、ＯＬＳを指定しないことがある。ＯＬＳは、指定されたレイヤのセットを含み、レイヤのセットの中の１つまたは複数のレイヤは、出力レイヤであると指定される。出力レイヤは、出力されるＯＬＳのレイヤである。ＶＶＣの一部の実施態様では、レイヤがサイマルキャストレイヤの場合、１つのレイヤのみが復号および出力のために選択されることがある。ＶＶＣの一部の実施態様では、すべてのレイヤを含むビットストリーム全体は、いずれかのレイヤがＩＬＰを使用する場合に復号されるように指定される。さらに、レイヤのうちのある特定のレイヤが出力レイヤとして指定される。出力レイヤは、最上位レイヤのみ、すべてのレイヤ、または最上位レイヤ＋指示された下位レイヤのセットであると指示されてもよい。

ビデオコーディング規格は、指定されたＨＲＤ適合性試験を通してビットストリームの適合性を検証するためのＨＲＤを指定することができる。ＳＨＶＣおよびＭＶ－ＨＥＶＣでは、ビットストリームの適合性をチェックするために、ビットストリーム適合性試験の３つのセットが採用される。ビットストリームは、ビットストリーム全体と呼ばれ、ｅｎｔｉｒｅＢｉｔｓｔｒｅａｍと表記される。ビットストリーム適合性試験の第１のセットは、ビットストリーム全体および対応する時間サブセットの適合性を試験するためのものである。このような試験は、ビットストリーム全体に存在するＶＣＬＮＡＬユニットのすべてのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を含むアクティブＶＰＳによって指定されたレイヤセットがあるかどうかにかかわらず採用される。したがって、１つまたは複数のレイヤが出力セットに含まれない場合でも、ビットストリーム全体が適合性について常にチェックされる。ビットストリーム適合性試験の第２のセットは、アクティブＶＰＳによって指定されたレイヤセットおよび関連付けられた時間サブセットの適合性を試験するために採用される。すべてのこれらの試験について、ベースレイヤ画像（例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しい画像）のみが復号され、出力される。他の画像は、復号プロセスが呼び出されたときにデコーダによって無視される。ビットストリーム適合性試験の第３のセットは、ＯＬＳおよびビットストリーム分割に基づいて、アクティブＶＰＳのＶＰＳ拡張部分によって指定されたＯＬＳおよび関連付けられた時間サブセットの適合性を試験するために採用される。ビットストリーム分割は、マルチレイヤビットストリームのＯＬＳの１つまたは複数のレイヤを含む。

前述の態様は、ある特定の問題を含む。例えば、適合性試験の最初の２つのセットは、復号されず、出力されないレイヤに適用されることがある。例えば、最下位レイヤ以外のレイヤは復号されず、出力されない。実際のアプリケーションでは、デコーダは、復号されるデータのみを受信することができる。したがって、適合性試験の最初の２つのセットを用いることは、両方ともコーデック設計を複雑にし、適合性試験をサポートするために使用されるシーケンスレベルパラメータと画像レベルパラメータの両方を搬送するためのビットが無駄になる可能性がある。適合性試験の第３のセットは、ビットストリーム分割を含む。このような分割は、マルチレイヤビットストリームのＯＬＳの１つまたは複数のレイヤに関連することがある。代わりに、適合性試験が常にレイヤごとに別々に動作する場合、ＨＲＤは大幅に簡略化される可能性がある。

シーケンスレベルのＨＲＤパラメータのシグナリングは、複雑な場合がある。例えば、シーケンスレベルのＨＲＤパラメータは、ＳＰＳとＶＰＳの両方など、複数の場所でシグナリングされることがある。さらに、シーケンスレベルのＨＲＤパラメータシグナリングは、冗長性を含むことがある。例えば、ビットストリーム全体について一般に同じである可能性がある情報が、各ＯＬＳの各レイヤで繰り返される可能性がある。さらに、例示的なＨＲＤ方式は、異なる配信スケジュールをレイヤごとに選択することを可能にする。このような配信スケジュールは、動作ポイントごとに各レイヤについてシグナリングされたスケジュールのリストから選択されることがあり、動作ポイントは、ＯＬＳまたはＯＬＳの時間サブセットである。このようなシステムは複雑である。さらに、例示的なＨＲＤ方式は、不完全なＡＵをバッファリング期間ＳＥＩメッセージに関連付けることを可能にする。不完全なＡＵは、ＣＶＳに存在するすべてのレイヤについての画像がないＡＵである。しかしながら、このようなＡＵでのＨＲＤ初期化には問題がある可能性がある。例えば、ＨＲＤは、不完全なＡＵに存在しないレイヤアクセスユニットを有するレイヤについては適切に初期化されないことがある。加えて、レイヤビットストリームを導出するためのデマルチプレクスプロセスは、ターゲットレイヤに適用されないネスティングされたＳＥＩメッセージを十分に効率的に除去できない場合がある。レイヤビットストリームは、ビットストリーム分割に１つのレイヤのみが含まれる場合に発生する。さらに、非スケーラブルなネスト化バッファリング期間、画像タイミング、および復号ユニット情報ＳＥＩメッセージの適用可能なＯＬＳは、ビットストリーム全体に対して指定されることがある。しかしながら、非スケーラブルネスト化バッファリング期間は、代わりに０番目のＯＬＳに適用可能であるべきである。

さらに、ＶＶＣの実装によっては、ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいとき、ＨＤＲパラメータを推測することに失敗することがある。このような推測は、適切なＨＲＤ動作を可能にする場合がある。加えて、ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１およびｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値と等しいことが必要である場合がある。しかしながら、バッファリング期間および画像タイミングＳＥＩメッセージは、ネスティングされてもよく、複数のＯＬＳおよび複数のＯＬＳのそれぞれの複数のレイヤに適用可能であってもよい。このような文脈では、関与するレイヤは、複数のＳＰＳを参照することがある。したがって、システムは、どのＳＰＳが各レイヤに対応するＳＰＳであるかを追跡することが困難である場合がある。したがって、これらの２つのシンタックス要素の値は、代わりにｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値に基づいて制約されるべきである。さらに、異なるレイヤは異なる数のサブレイヤを有することができるため、これらの２つのシンタックス要素の値は、すべてのバッファリング期間および画像タイミングＳＥＩメッセージにおいて特定の値に常に等しいとは限らない。

また、以下の問題が、ＳＨＶＣ／ＭＶ－ＨＥＶＣとＶＶＣの両方においてＨＲＤ設計に関連付けられる。サブビットストリーム抽出プロセスは、ターゲットＯＬＳに必要でないネスティングされたＳＥＩメッセージを含むＳＥＩＮＡＬユニットを除去しないことがある。

一般に、本開示は、マルチレイヤビデオビットストリームにおける出力レイヤセットのためのＳＥＩメッセージのスケーラブルなネスティングのための手法について説明する。本技術の説明は、ＶＶＣに基づいている。しかしながら、本技術は、他のビデオコーデック仕様に基づく階層化ビデオコーディングにも適用される。

上述の問題の１つまたは複数は、以下のように解決することができる。具体的には、本開示は、ＳＨＶＣおよびＭＶ－ＨＥＶＣと比較してはるかに単純なＨＲＤ動作を用いてＨＲＤパラメータの効率的なシグナリングを可能にする、ＨＲＤ設計のための方法および関連する態様を含む。以下に説明する解決策のそれぞれは、上述の問題に対応する。例えば、３セットの適合性試験を必要とする代わりに、本開示は、ＶＰＳによって指定されたＯＬＳの適合性を試験するために１セットの適合性試験のみを採用すればよい。さらに、ビットストリーム分割に基づく設計の代わりに、開示されるＨＲＤメカニズムは、ＯＬＳのレイヤごとに常に別々に動作することができる。さらに、すべてのＯＬＳのすべてのレイヤおよびサブレイヤに対してグローバルであるシーケンスレベルのＨＲＤパラメータは、例えば、ＶＰＳにおいて１回だけシグナリングされればよい。加えて、すべてのＯＬＳのすべてのレイヤおよびサブレイヤに対して単一の数の配信スケジュールがシグナリングされればよい。ＯＬＳのすべてのレイヤに同じ配信スケジュールインデックスを適用することもできる。さらに、不完全なＡＵは、バッファリング期間ＳＥＩメッセージに関連付けられなくてもよい。不完全なＡＵとは、ＣＶＳに存在するすべてのレイヤについての画像を含まないＡＵである。これにより、ＯＬＳのすべてのレイヤについて、確実にＨＲＤを常に適切に初期化することができる。また、ＯＬＳにおいてターゲットレイヤに適用されないネスティングされたＳＥＩメッセージを効率的に除去するためのメカニズムが開示される。これは、レイヤビットストリームを導出するためのデマルチプレクスプロセスをサポートする。加えて、非スケーラブルネスト化バッファリング期間、画像タイミング、および復号ユニット情報ＳＥＩメッセージの適用可能なＯＬＳは、０番目のＯＬＳであると指定されてもよい。さらに、ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合に、ＨＤＲパラメータを推測することができ、適切なＨＲＤ動作が可能になる可能性がある。ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１およびｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０からｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲にあることが必要であることがある。このように、このようなパラメータは、すべてのバッファリング期間および画像タイミングＳＥＩメッセージについて特定の値である必要はない。また、サブビットストリーム抽出プロセスは、ターゲットＯＬＳに適用されないネスティングされたＳＥＩメッセージを含むＳＥＩＮＡＬユニットを除去することができる。

前述のメカニズムの例示的な実施態様は、以下の通りである。出力レイヤは、出力レイヤセットのうちの出力されるレイヤである。ＯＬＳは、指定されたレイヤのセットを含むレイヤのセットであり、レイヤのセット内の１つまたは複数のレイヤが出力レイヤであると指定される。ＯＬＳレイヤインデックスは、ＯＬＳ内のレイヤの、ＯＬＳ内のレイヤのリストに対するインデックスである。サブビットストリーム抽出プロセスは、ターゲットＯＬＳインデックスおよびターゲット最高ＴｅｍｐｏｒａｌＩｄによって決定される、ターゲットセットに属さないビットストリーム内のＮＡＬユニットが、ビットストリームから除去される指定されたプロセスであり、出力サブビットストリームは、ターゲットセットに属するビットストリーム内のＮＡＬユニットを含む。

例示的なビデオパラメータセットのシンタックスは、以下の通りである。

例示的なシーケンスパラメータセットＲＢＳＰのシンタックスは、以下の通りである。

例示的なＤＰＢパラメータのシンタックスは、以下の通りである。

例示的な一般ＨＲＤパラメータのシンタックスは、以下の通りである。

例示的なビデオパラメータセットＲＢＳＰのセマンティクスは、以下の通りである。ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇを１に等しく設定することで、各出力レイヤセットが１つのレイヤのみを含み、ビットストリーム中の各レイヤ自体が出力レイヤセットであり、含まれている単一のレイヤが唯一の出力レイヤであることが指定される。ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇを０に等しく設定することで、出力レイヤセットが２つ以上のレイヤを含むことができることが指定される。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は、１に等しいと推測される。そうではなく、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しい場合、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は、０に等しいと推測される。

ｏｌｓ＿ｍｏｄｅ＿ｉｄｃを０に等しく設定することで、ＶＰＳによって指定されるＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことが指定され、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、ＯＬＳの最上位レイヤのみが出力される。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃを１に等しく設定することで、ＶＰＳによって指定されるＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことが指定され、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、ＯＬＳのすべてのレイヤが出力される。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃを２に等しく設定することで、ＶＰＳによって指定されるＯＬＳの総数が明示的にシグナリングされることが指定され、各ＯＬＳについて、ＯＬＳの最上位レイヤおよび明示的にシグナリングされる下位レイヤのセットが出力される。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値は、両端値を含めて、０～２の範囲にあるものとする。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値３は、予約されている。ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが１に等しく、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値は、２に等しいと推測される。ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１＋１は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２に等しい場合、ＶＰＳによって指定されたＯＬＳの総数を指定する。

ＶＰＳによって指定されるＯＬＳの総数を指定する変数ＴｏｔａｌＮｕｍＯｌｓｓは、以下のように導出される。

ｌａｙｅｒ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２に等しい場合、ｊ番目のレイヤ（ｎｕｈ＿ｌａｙｅｒ＿ｉｄがｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｊ］に等しいレイヤ）をｉ番目のＯＬＳに含めるかどうかを指定する。ｌａｙｅｒ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］を１に等しく設定することで、ｊ番目のレイヤをｉ番目のＯＬＳに含めることを指定する。ｌａｙｅｒ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］を０に等しく設定することで、ｊ番目のレイヤをｉ番目のＯＬＳに含めないことを指定する。

ｉ番目のＯＬＳのレイヤ数を指定する変数ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］と、ｉ番目のＯＬＳのｊ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する変数ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］とは、以下のように導出される。

ｎｕｈ＿ｌａｙｅｒ＿ｉｄがＯｌｓＬａｙｅＩｄｘ［ｉ］［ｊ］に等しいレイヤのＯＬＳレイヤインデックスを指定する変数ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］は、以下のように導出される。

各ＯＬＳにおける最下位レイヤは、独立したレイヤであるものとする。言い換えると、両端値を含めて、０からＴｏｔａｌＮｕｍＯｌｓｓ－１までの範囲の各ｉについて、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［０］］］の値は、１に等しいものとする。各レイヤは、ＶＰＳによって指定された少なくとも１つのＯＬＳに含まれるものとする。言い換えると、両端値を含めて、０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１までの範囲のｋについて、ｎｕｈ＿ｌａｙｅｒ＿ｉｄｎｕｈＬａｙｅｒＩｄの特定の値がｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｋ］のうちの１つに等しい各レイヤについて、ｉとｊの値のペアが少なくとも１つ存在してもよく、ここで、ｉは両端値を含めて、０からＴｏｔａｌＮｕｍＯｌｓｓ－１までの範囲にあり、ｊは両端値を含めて、ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］－１までの範囲にあり、ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］の値がｎｕｈＬａｙｅｒＩｄに等しくなるようになっている。ＯＬＳの任意のレイヤは、ＯＬＳの出力レイヤ、またはＯＬＳの出力レイヤの（直接または間接）参照レイヤであるものとする。

ｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２に等しい場合、ｉ番目のＯＬＳのｊ番目のレイヤが出力されるかどうかを指定する。１に等しいｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］は、ｉ番目のＯＬＳのｊ番目のレイヤが出力されることを指定する。ｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］を０に等しく設定すると、ｉ番目のＯＬＳのｊ番目のレイヤが出力されないことを指定する。ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが１に等しく、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、ｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値は１に等しいと推測される。値１が、ｉ番目のＯＬＳのｊ番目のレイヤが出力されることを指定し、値０が、ｉ番目のＯＬＳのｊ番目のレイヤが出力されないことを指定する変数ＯｕｔｐｕｔＬａｙｅｒＦｌａｇ［ｉ］［ｊ］は、以下のように導出される。
０番目のＯＬＳは、最下位レイヤ（ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［０］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤ）のみを含み、０番目のＯＬＳについては、含まれるレイヤのみが出力される。

ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇを０に等しく設定すると、ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素がＶＰＳＲＢＳＰシンタックス構造中に存在しないことを指定する。ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇを１に等しく設定すると、ＶＰＳＲＢＳＰシンタックス構造中にｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素が存在することを指定する。ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇは、任意の値を有することができる。ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇの存在および値は、指定されたプロファイルに対するデコーダの適合性に影響を及ぼさない。デコーダは、すべてのｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素を無視するものとする。

例示的なＤＰＢパラメータのセマンティクスは、以下の通りである。ｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報と、任意選択で、最大画像並べ替え数および最大待ち時間（ＭＲＭＬ）情報とを提供する。各ＳＰＳは、１つまたはｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を含む。ＳＰＳの第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報とＭＲＭＬ情報の両方を含む。存在する場合、ＳＰＳの第２のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報のみを含む。ＳＰＳの第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のＭＲＭＬ情報は、ＳＰＳを参照するレイヤがＯＬＳの出力レイヤであるかどうかにかかわらず、そのレイヤに適用される。ＳＰＳの第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のＤＰＢサイズ情報は、ＳＰＳを参照するレイヤがＯＬＳの出力レイヤである場合に、そのレイヤに適用される。ＳＰＳの第２のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に含まれるＤＰＢサイズ情報は、存在する場合、ＳＰＳを参照するレイヤがＯＬＳの非出力レイヤである場合に、そのレイヤに適用される。ＳＰＳが１つのｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のみを含む場合、非出力レイヤとしてのレイヤについてのＤＰＢサイズ情報は、出力レイヤとしてのレイヤについてのものと同じであると推測される。

例示的な一般ＨＲＤパラメータのセマンティクスは、以下の通りである。ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＨＲＤ動作で使用されるＨＲＤパラメータを提供する。ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを１に等しく設定すると、ｉ番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が、ＴｅｍｐｏｒａｌＩｄが両端値を含めて０からｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の範囲にあるサブレイヤ表現のためのＨＲＤパラメータを含むことを指定する。ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを０に等しく設定すると、ｉ番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が、ＴｅｍｐｏｒａｌＩｄがｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］のみに等しいサブレイヤ表現のためのＨＲＤパラメータを含むことを指定する。ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は０に等しいと推測される。ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合、ＴｅｍｐｏｒａｌＩｄが両端値を含めて０からｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］－１の範囲にあるサブレイヤ表現のためのＨＲＤパラメータは、ＴｅｍｐｏｒａｌＩｄがｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］に等しいサブレイヤ表現のためのものと同じであると推測される。これらは、ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造においてｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｇｅｎｅｒａｌ＿ｆｌａｇ［ｉ］シンタックス要素から始まって条件文ｉｆ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）の直ぐ下のｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ｉ）シンタックス構造までのＨＲＤパラメータを含む。ｎｕｍ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１＋１は、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中に存在するｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の数を指定する。ｎｕｍ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１の値は、両端値を含めて、０～６３の範囲にあるものとする。ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１は、ＣＶＳのビットストリーム中の代替のＣＰＢ仕様の数を指定する。ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、両端値を含めて、０～３１の範囲にあるものとする。ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、ＨＲＤパラメータがｉ番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に含まれる最上位サブレイヤ表現のＴｅｍｐｏｒａｌＩｄを指定する。ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の値は、両端値を含めて、０からｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１までの範囲にあるものとする。ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の値は０に等しいと推測される。ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［ｉ］［ｊ］は、ｉ番目のＯＬＳのｊ番目のレイヤに適用されるｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のインデックスを指定する。ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［［ｉ］［ｊ］の値は、両端値を含めて、０からｎｕｍ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１までの範囲にあるものとする。存在しない場合、ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［［０］［０］の値は０に等しいと推測される。

例示的なサブビットストリーム抽出プロセスは、以下の通りである。このプロセスへの入力は、ビットストリームｉｎＢｉｔｓｔｒｅａｍ、ターゲットＯＬＳインデックスｔａｒｇｅｔＯｌｓＩｄｘ、およびターゲット最高ＴｅｍｐｏｒａｌＩｄ値ｔＩｄＴａｒｇｅｔである。このプロセスの出力は、サブビットストリームｏｕｔＢｉｔｓｔｒｅａｍである。入力ビットストリームに対するビットストリーム適合性の要件は、ＶＰＳによって指定されるＯＬＳのリストのインデックスに等しいｔａｒｇｅｔＯｌｓＩｄｘと、両端値を含めて、０～６の範囲の任意の値に等しいｔＩｄＴａｒｇｅｔとを入力とした、ビットストリームに関して本節で指定されるプロセスの出力であり、以下の条件を満たす任意の出力サブビットストリームが適合性ビットストリームであることである。出力サブビットストリームは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］におけるｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のそれぞれに等しい少なくとも１つのＶＣＬＮＡＬユニットを含むべきである。出力サブビットストリームは、ＴｅｍｐｏｒａｌＩｄがｔＩｄＴａｒｇｅｔに等しい少なくとも１つのＶＣＬＮＡＬユニットを含むべきである。適合性ビットストリームは、ＴｅｍｐｏｒａｌＩｄが０に等しい１つまたは複数のコーディングされたスライスＮＡＬユニットを含むが、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しいコーディングされたスライスＮＡＬユニットを含む必要はない。

出力サブビットストリームＯｕｔＢｉｔｓｔｒｅａｍは、以下のように導出される。ビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、ビットストリームｉｎＢｉｔｓｔｒｅａｍと同一となるように設定される。ＴｅｍｐｏｒａｌＩｄがｔＩｄＴａｒｇｅｔよりも大きいすべてのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ｎｕｈ＿ｌａｙｅｒ＿ｉｄがリストＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］に含まれないすべてのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しく、かつＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］がｔａｒｇｅｔＯｌｓＩｄｘと等しくなるように、ｉの値が両端値を含めて０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１までの範囲にないスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ｔａｒｇｅｔＯｌｓＩｄｘが０よりも大きい場合、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（画像タイミング）、または１３０（復号ユニット情報）に等しい非スケーラブルネスト化ＳＥＩメッセージを含むすべてのＳＥＩＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。

例示的なＨＲＤの一般的な態様は、以下の通りである。本セクションは、ビットストリームおよびデコーダ適合性をチェックするためのＨＲＤおよびその使用法を指定する。ビットストリーム適合性試験のセットは、ビットストリーム全体と呼ばれるビットストリームの適合性をチェックするために用いられ、ｅｎｔｉｒｅＢｉｔｓｔｒｅａｍと表記される。ビットストリーム適合性試験のセットは、ＶＰＳによって指定された各ＯＬＳおよび各ＯＬＳの時間サブセットの適合性を試験するためのものである。各試験について、以下の順序付けられたステップが列挙された順序で適用される。

ｔａｒｇｅｔＯｐと表記される試験対象の動作ポイントは、ＯＬＳインデックスｏｐＯｌｓＩｄｘおよび最高ＴｅｍｐｏｒａｌＩｄ値ｏｐＴｉｄを有するターゲットＯＬＳを選択することによって選択される。ｏｐＯｌｓＩｄｘの値は、両端値を含めて、０からＴｏｔａｌＮｕｍＯｌｓｓ－１までの範囲にある。ｏｐＴｉｄの値は、両端値を含めて、０からｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１までの範囲にある。ｏｐＯｌｓＩｄｘおよびｏｐＴｉｄの値は、ｅｎｔｉｒｅＢｉｔｓｔｒｅａｍ、ｏｐＯｌｓＩｄｘ、およびｏｐＴｉｄを入力としてサブビットストリーム抽出プロセスを呼び出すことによる出力であるサブビットストリームＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅが以下の条件を満たすような値である。ｎｕｈ＿ｌａｙｅｒ＿ｉｄが、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅのＬａｙｅｒＩｄＩｎＯｌｓ［ｏｐＯｌｓＩｄｘ］のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のそれぞれに等しい少なくとも１つのＶＣＬＮＡＬユニットが存在する。ＴｅｍｐｏｒａｌＩｄが、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅのｏｐＴｉｄに等しい少なくとも１つのＶＣＬＮＡＬユニットが存在する。

ＴａｒｇｅｔＯｌｓＩｄｘおよびＨｔｉｄの値は、ｔａｒｇｅｔＯｐのｏｐＯｌｓＩｄｘおよびｏｐＴｉｄにそれぞれ等しく設定される。ＳｃＩｄｘの値が選択される。選択されたＳｃＩｄｘは、両端値を含めて、０からｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１までの範囲にあるものとする。ＴａｒｇｅｔＯｌｓＩｄｘに適用可能なバッファリング期間ＳＥＩメッセージに関連付けられたＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ内のアクセスユニット（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在するか本明細書で指定されていない外部メカニズムを通じて利用可能）は、ＨＲＤ初期化点として選択され、ターゲットＯＬＳの各レイヤに対してアクセスユニット０と呼ばれる。

後続のステップは、ターゲットＯＬＳ内のＯＬＳレイヤインデックスＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘを有する各レイヤに適用される。ターゲットＯＬＳに１つのレイヤのみがある場合、試験対象レイヤビットストリームＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍは、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅと同一に設定される。そうでない場合、ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍは、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ、ＴａｒｇｅｔＯｌｓＩｄｘ、およびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘを入力としてレイヤビットストリームを導出するためのデマルチプレクスプロセスを呼び出すことによって導出され、出力はＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに割り当てられる。

ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに適用可能なｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造およびｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、以下のように選択される。ＶＰＳ内の（またはユーザ入力などの外部メカニズムを通じて提供される）ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［ＴａｒｇｅｔＯｌｓＩｄｘ］［ＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が選択される。選択されたｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造において、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩビットストリームである場合、条件ｉｆ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）の直ぐ後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（Ｈｔｉｄ）シンタックス構造が選択され、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇが０に等しく設定される。そうでない場合（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームである場合）、条件ｉｆ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）（この場合、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは０に等しく設定される）または条件ｉｆ（ｇｅｎｅｒａｌ＿ｎａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）（この場合、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは１に等しく設定される）のいずれかの直ぐ後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（Ｈｔｉｄ）シンタックス構造が選択される。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームであり、ＮａｌＨｒｄＭｏｄｅＦｌａｇが０に等しい場合、フィラーデータＮＡＬユニットを除くすべての非ＶＣＬＮＡＬユニット、ならびにＮＡＬユニットストリームからバイトストリームを形成するすべてのｌｅａｄｉｎｇ＿０＿８ｂｉｔｓ、０＿ｂｙｔｅ、ｓｔａｒｔ＿ｃｏｄｅ＿ｐｒｅｆｉｘ＿ｏｎｅ＿３ｂｙｔｅｓ、およびｔｒａｉｌｉｎｇ＿０＿８ｂｉｔｓシンタックス要素は、存在する場合、ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍから廃棄され、残ったビットストリームがＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに割り当てられる。

ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合、ＣＰＢは、アクセスユニットレベル（この場合、変数ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇは０に等しく設定される）または復号ユニットレベル（この場合、変数ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇは１に等しく設定される）のいずれかで動作するようにスケジュールされる。そうでない場合、ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇは０に等しく設定され、ＣＰＢはアクセスユニットレベルで動作するようにスケジュールされる。アクセスユニット０から始まるＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍ内の各アクセスユニットについて、アクセスユニットに関連付けられ、ＴａｒｇｅｔＯｌｓＩｄｘおよびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに適用されるバッファリング期間ＳＥＩメッセージ（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在するか、外部メカニズムを通じて利用可能）が選択され、アクセスユニットに関連付けられ、ＴａｒｇｅｔＯｌｓＩｄｘおよびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに適用される画像タイミングＳＥＩメッセージ（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在するか、外部メカニズムを通じて利用可能）が選択され、そしてＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇが１に等しく、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇが０に等しい場合、アクセスユニット内の復号ユニットに関連付けられ、ＴａｒｇｅｔＯｌｓＩｄｘおよびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに適用される復号ユニット情報ＳＥＩメッセージ（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在するか、外部メカニズムを通じて利用可能）が選択される。

各適合性試験は、上記ステップのそれぞれにおける１つのオプションの組合せを含む。あるステップに対して２つ以上のオプションが存在する場合、任意の特定の適合性試験に対して、１つのオプションのみが選択される。すべてのステップのすべての可能な組合せが、適合性試験の全セットを形成する。試験対象の各動作ポイントについて、実行されるビットストリーム適合性試験の数は、ｎ０＊ｎ１＊ｎ２＊ｎ３に等しく、ここで、ｎ０、ｎ１、ｎ２、およびｎ３の値は、次のように指定される。ｎ１は、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１に等しく、ｎ１は、バッファリング期間ＳＥＩメッセージに関連付けられたＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ内のアクセスユニットの数であり、ｎ２は、次のように導出される。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩビットストリームである場合、ｎ０は１に等しい。そうでない場合（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームである場合）、ｎ０は２に等しい。ｎ３は次のように導出される。ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合、ｎ３は１に等しい。そうでない場合、ｎ３は２に等しい。

ＨＲＤは、ビットストリームデマルチプレクサ（任意選択で存在する）と、各レイヤのコーディングされた画像バッファ（ＣＰＢ）と、各レイヤの瞬時復号プロセスと、各レイヤのサブＤＰＢを含む復号された画像バッファ（ＤＰＢ）と、出力クロッピングと、を含む。

一例では、ＨＲＤは以下のように動作する。ＨＲＤは復号ユニットで０に初期化され、ＤＰＢの各ＣＰＢおよび各サブＤＰＢは空となるように設定される。各サブＤＰＢのサブＤＰＢフルネスは、０に等しく設定される。初期化後、ＨＲＤは、その後のバッファリング期間ＳＥＩメッセージによって再び初期化されることはない。指定された到着スケジュールに従って各ＣＰＢに流入した復号ユニットに関連付けられたデータは、ＨＳＳによって配信される。各復号ユニットに関連付けられたデータは、復号ユニットのＣＰＢ除去時間に瞬時復号プロセスによって除去され、瞬時に復号される。復号された各画像は、ＤＰＢに配置される。復号された画像は、インター予測参照にもはや不要となり、出力にもはや不要となったときに、ＤＰＢから除去される。

一例では、レイヤビットストリームを導出するためのデマルチプレクスプロセスは、以下の通りである。このプロセスへの入力は、ビットストリームｉｎＢｉｔｓｔｒｅａｍ、ターゲットＯＬＳインデックスｔａｒｇｅｔＯｌｓＩｄｘ、およびターゲットＯＬＳレイヤインデックスｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘである。このプロセスの出力は、レイヤビットストリームｏｕｔＢｉｔｓｔｒｅａｍである。出力レイヤビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、以下のように導出される。ビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、ビットストリームｉｎＢｉｔｓｔｒｅａｍと同一となるように設定される。ｎｕｈ＿ｌａｙｅｒ＿ｉｄがＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］に等しくないすべてのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］がｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに等しくなるように、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しく、かつ両端値を含めて、０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｍｉｎｕｓ１まで、および両端値を含めて、０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］までの範囲にそれぞれｉおよびｊの値がないスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］がｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘよりも小さくなるように、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しく、かつ両端値を含めて、０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１まで、および両端値を含めて、０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］までの範囲にそれぞれｉおよびｊの値があるスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］がＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］に等しくなるように、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが０に等しく、かつ両端値を含めて、０からＬａｙｅｒＩｄＩｎＯｌｓ－１までの範囲にｉの値がないスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］がＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］よりも小さくなるように、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが０に等しく、かつス両端値を含めて、０からＬａｙｅｒＩｄＩｎＯｌｓ－１までの範囲にｉの少なくとも１つの値があるスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。

例示的なバッファリング期間ＳＥＩメッセージシンタックスは、以下の通りである。

例示的なスケーラブルネスティングＳＥＩメッセージシンタックスは、以下の通りである。

例示的な一般的なＳＥＩペイロードセマンティクスは、以下の通りである。以下は、非スケーラブルネスト化ＳＥＩメッセージの適用可能なレイヤに（ＯＬＳのコンテキストにおいて、または一般的に）適用される。非スケーラブルネスト化ＳＥＩメッセージの場合、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（画像タイミング）、または１３０（復号ユニット情報）に等しい場合、非スケーラブルネスト化ＳＥＩメッセージは、０番目のＯＬＳのコンテキストにおいて最下位レイヤのみに適用される。非スケーラブルネスト化ＳＥＩメッセージの場合、ｐａｙｌｏａｄＴｙｐｅがＶｃｌＡｓｓｏｃｉａｔｅｄＳｅｉＬｉｓｔの中のいずれかの値に等しい場合、非スケーラブルネスト化ＳＥＩメッセージは、ＶＣＬＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄが、ＳＥＩメッセージを含むＳＥＩＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいレイヤにのみ適用される。

例示的なバッファリング期間ＳＥＩメッセージのセマンティクスは、以下の通りである。バッファリング期間ＳＥＩメッセージは、復号順で関連付けられたアクセスユニットの位置でＨＲＤを初期化するための初期ＣＰＢ除去遅延および初期ＣＰＢ除去遅延オフセット情報を提供する。バッファリング期間ＳＥＩメッセージが存在する場合、ＴｅｍｐｏｒａｌＩｄが０に等しく、ＲＡＳＬまたはＲＡＤＬ（ｒａｎｄｏｍａｃｃｅｓｓｄｅｃｏｄａｂｌｅｌｅａｄｉｎｇ）画像でない画像はｎｏｔＤｉｓｃａｒｄａｂｌｅＰｉｃ画像であると言われる。現在の画像が復号順でビットストリームの最初の画像でない場合、ｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＰｉｃを、ＴｅｍｐｏｒａｌＩｄが０に等しく、ＲＡＳＬまたはＲＡＤＬ画像ではない、復号順で先行する画像であるとする。

バッファリング期間ＳＥＩメッセージの存在は、以下のように指定される。ＮａｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが１に等しいかまたはＶｃｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが１に等しい場合、ＣＶＳ内の各アクセスユニットに対して以下が適用される。アクセスユニットがＩＲＡＰまたはＧＤＲアクセスユニットである場合、動作ポイントに適用可能なバッファリング期間ＳＥＩメッセージは、アクセスユニットに関連付けられるものとする。そうでない場合、アクセスユニットがｎｏｔＤｉｓｃａｒｄａｂｌｅＰｉｃを含む場合、動作ポイントに適用可能なバッファリング期間ＳＥＩメッセージは、アクセスユニットに関連付けられてもよく、関連付けられなくてもよい。そうでない場合、アクセスユニットは、動作ポイントに適用可能なバッファリング期間ＳＥＩメッセージに関連付けられないものとする。そうでない場合（ＮａｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇとＶｃｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇの両方が０に等しい場合）、ＣＶＳ内のどのアクセスユニットも、バッファリング期間ＳＥＩメッセージに関連付けられないものとする。いくつかのアプリケーションでは、バッファリング期間ＳＥＩメッセージが頻繁に存在することが望ましい場合がある（例えば、ＩＲＡＰ画像もしくは非ＩＲＡＰ画像におけるランダムアクセスの場合、またはビットストリームスプライシングの場合）。アクセスユニットの画像がバッファリング期間ＳＥＩメッセージに関連付けられている場合、アクセスユニットは、ＣＶＳに存在するレイヤのそれぞれの画像を有するものとし、アクセスユニットの各画像は、バッファリング期間ＳＥＩメッセージに関連付けられるものとする。

ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、バッファリング期間ＳＥＩメッセージでＣＰＢ除去遅延とＣＢＰ除去オフセットが示される時間サブレイヤの最大数を指定する。ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、両端値を含めて、０からｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１までの範囲にあるものとする。ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１は、ｂｐ＿ｎａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合のｉ番目の時間サブレイヤのｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ｉ］［ｊ］とｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ｉ］［ｊ］のシンタックス要素ペアの数を指定し、ｂｐ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合のｉ番目の時間サブレイヤのｖｃｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ｉ］［ｊ］とｖｃｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ｉ］［ｊ］のシンタックス要素ペアの数を指定する。ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、両端値を含めて、０～３１の範囲にあるものとする。ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値に等しいものとする。

例示的な画像タイミングＳＥＩメッセージのセマンティクスは、以下の通りである。画像タイミングＳＥＩメッセージは、ＳＥＩメッセージに関連付けられたアクセスユニットのＣＰＢ除去遅延およびＤＰＢ出力遅延情報を提供する。現在のアクセスユニットに適用可能なバッファリング期間ＳＥＩメッセージのｂｐ＿ｎａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇまたはｂｐ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合、変数ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇは１に等しく設定される。そうでない場合、ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇは０に等しく設定される。画像タイミングＳＥＩメッセージの存在は、以下のように指定される。ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが１に等しい場合、画像タイミングＳＥＩメッセージは、現在のアクセスユニットに関連付けられるものとする。そうでない場合（ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが０に等しい場合）、現在のアクセスユニットに関連付けられた画像タイミングＳＥＩメッセージは存在しないものとする。画像タイミングＳＥＩメッセージシンタックス中のＴｅｍｐｏｒａｌＩｄは、画像タイミングＳＥＩメッセージを含むＳＥＩＮＡＬユニットのＴｅｍｐｏｒａｌＩｄである。ｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、ＣＰＢ除去遅延情報が画像タイミングＳＥＩメッセージに含まれる最上位サブレイヤ表現のＴｅｍｐｏｒａｌＩｄを指定する。ｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、両端値を含めて、０からｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１までの範囲にあるものとする。

例示的なスケーラブルネスティングＳＥＩメッセージのセマンティクスは、以下の通りである。スケーラブルネスティングＳＥＩメッセージは、ＳＥＩメッセージを、特定のＯＬＳのコンテキスト内の特定のレイヤ、またはＯＬＳのコンテキスト内にない特定のレイヤと関連付けるためのメカニズムを提供する。スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のＳＥＩメッセージを含む。スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージは、スケーラブルネスト化ＳＥＩメッセージとも呼ばれる。ビットストリーム適合性の要件は、スケーラブルネスティングＳＥＩメッセージ中にＳＥＩメッセージを含めることに対して以下の制限が適用されることである。ｐａｙｌｏａｄＴｙｐｅが１３２（復号された画像ハッシュ）または１３３（スケーラブルネスティング）に等しいＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれないものとする。スケーラブルネスティングＳＥＩメッセージが、バッファリング期間、画像タイミング、または復号ユニット情報ＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージは、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（画像タイミング）、または１３０（復号ユニット情報）に等しくない他のＳＥＩメッセージを含まないものとする。

ビットストリーム適合性の要件は、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩＮＡＬユニットのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値に対して以下の制限が適用されることである。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（画像タイミング）、１３０（復号ユニット情報）、１４５（従属ＲＡＰ指示）、または１６８（フレームフィールド情報）に等しいＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩＮＡＬユニットは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいものとする。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが１３２（復号された画像ハッシュ）に等しいＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩＮＡＬユニットは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいものとする。

ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇを１に設定して、スケーラブルネスト化ＳＥＩメッセージが特定のＯＬＳのコンテキストで特定のレイヤに適用されることを指定する。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇを０に設定して、スケーラブルネスト化ＳＥＩメッセージが一般に（ＯＬＳのコンテキストではなく）特定のレイヤに適用されることを指定する。ビットストリーム適合性の要件は、以下の制限がｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値に適用されることである。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（画像タイミング）、または１３０（復号ユニット情報）に等しいＳＥＩメッセージを含む場合、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値は１に等しいものとする。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅがＶｃｌＡｓｓｏｃｉａｔｅｄＳｅｉＬｉｓｔの値に等しいＳＥＩメッセージを含む場合、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値は０に等しいものとする。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１＋１は、スケーラブルネスト化ＳＥＩメッセージが適用されるＯＬＳの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、両端値を含めて、０からＴｏｔａｌＮｕｍＯｌｓｓ－１までの範囲にあるものとする。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しい場合にスケーラブルネスト化ＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するために使用される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含めて、０からＴｏｔａｌＮｕｍＯｌｓｓ－２までの範囲にあるものとする。変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、以下のように導出される。

ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］＋１は、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］番目のＯＬＳのコンテキストにおいてスケーラブルネスト化ＳＥＩメッセージが適用されるレイヤの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含めて、０からＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］－１までの範囲にあるものとする。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］［ｊ］は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しい場合に、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］番目のＯＬＳのコンテキストでてスケーラブルネスト化ＳＥＩメッセージが適用されるｊ番目のレイヤのＯＬＳレイヤインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］を導出するために使用される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含めて、０からＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｎｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］－２までの範囲にあるものとする。変数ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］は、以下のように導出される。

両端値を含めて、０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１までの範囲のｉについてＬａｙｅｒＩｄＩｎＯｌｓ［ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］［ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［０］］のすべての値の中で最も小さい値は、現在のＳＥＩＮＡＬユニット（スケーラブルネスティングＳＥＩメッセージを含むＳＥＩＮＡＬユニット）のｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいものとする。ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブルネスト化ＳＥＩメッセージが、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが現在のＳＥＩＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上であるすべてのレイヤに一般的に適用されることを指定するために１に設定される。ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブルネスト化ＳＥＩメッセージが、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが現在のＳＥＩＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上であるすべてのレイヤに一般的に適用されてもされなくてもよいことを指定するために、０に設定される。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、スケーラブルネスト化ＳＥＩメッセージが一般的に適用されるレイヤの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、両端値を含めて、０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］までの範囲にあるものとし、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しい場合にスケーラブルネスト化ＳＥＩメッセージが一般的に適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する。ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］の値は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいものとし、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、スケーラブルネスト化ＳＥＩメッセージが一般的に適用されるレイヤの数を指定する変数ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓと、スケーラブルネスト化ＳＥＩメッセージが一般的に適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定する、両端値を含めて、０からＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１までの範囲のｉについてのリストＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］とは、以下のように導出され、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。

ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１＋１は、スケーラブルネスト化ＳＥＩメッセージの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１の値は、両端値を含めて、０～６３の範囲にあるものとする。ｎｅｓｔｉｎｇ＿０＿ｂｉｔは０に等しいものとする。

図９は、例示的なビデオコーディングデバイス９００の概略図である。ビデオコーディングデバイス９００は、本明細書に記載される開示された実施例／実施形態を実施するのに適している。ビデオコーディングデバイス９００は、下流ポート９２０、上流ポート９５０、ならびに／あるいは、ネットワークを介して上流および／または下流にデータを通信するための送信機および／または受信機を含むトランシーバユニット（Ｔｘ／Ｒｘ）９１０を備える。ビデオコーディングデバイス９００はまた、データを処理するための論理ユニットおよび／または中央処理ユニット（ＣＰＵ）を含むプロセッサ９３０と、データを記憶するためのメモリ９３２とを含む。ビデオコーディングデバイス９００はまた、電気、光、またはワイヤレス通信ネットワークを介したデータの通信のために上流ポート９５０および／または下流ポート９２０に結合された電気、光－電気（ＯＥ）コンポーネント、電気－光（ＥＯ）コンポーネント、および／またはワイヤレス通信コンポーネントを備えることができる。ビデオコーディングデバイス９００はまた、ユーザとの間でデータを通信するための入力および／または出力（Ｉ／Ｏ）デバイス９６０を含むことができる。Ｉ／Ｏデバイス９６０は、ビデオデータを表示するためのディスプレイ、オーディオデータを出力するためのスピーカなどの出力デバイスを含むことができる。Ｉ／Ｏデバイス９６０はまた、キーボード、マウス、トラックボールなどの入力デバイス、および／またはこのような出力デバイスと対話するための対応するインターフェースを含むことができる。

プロセッサ９３０は、ハードウェアおよびソフトウェアによって実装される。プロセッサ９３０は、１つまたは複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、およびデジタル信号プロセッサ（ＤＳＰ）として実装されてもよい。プロセッサ９３０は、下流ポート９２０、Ｔｘ／Ｒｘ９１０、上流ポート９５０、およびメモリ９３２と通信する。プロセッサ９３０は、コーディングモジュール９１４を備える。コーディングモジュール９１４は、マルチレイヤビデオシーケンス６００、マルチレイヤビデオシーケンス７００、および／またはビットストリーム８００を採用することができる方法１００、１０００、および１１００など、本明細書に記載される開示された実施形態を実装する。コーディングモジュール９１４はまた、本明細書に記載される任意の他の方法／メカニズムを実装することができる。さらに、コーディングモジュール９１４は、コーデックシステム２００、エンコーダ３００、デコーダ４００、および／またはＨＲＤ５００を実装することができる。例えば、コーディングモジュール９１４は、ＨＲＤを実装するために採用されてもよい。さらに、コーディングモジュール９１４は、パラメータをビットストリームに符号化するために採用され、ＨＲＤ適合性チェックプロセスをサポートすることができる。したがって、コーディングモジュール９１４は、上述の問題のうちの１つまたは複数に対処するためのメカニズムを実行するように構成されてもよい。したがって、コーディングモジュール９１４は、ビデオデータをコーディングする際に、ビデオコーディングデバイス９００に追加の機能および／またはコーディング効率を提供させる。したがって、コーディングモジュール９１４は、ビデオコーディングデバイス９００の機能を向上させるとともに、ビデオコーディング技術に特有の問題にも対処する。さらに、コーディングモジュール９１４は、ビデオコーディングデバイス９００の異なる状態への変換をもたらす。あるいは、コーディングモジュール９１４は、メモリ９３２に記憶された、プロセッサ９３０によって実行される命令として（例えば、非一時的媒体に記憶されたコンピュータプログラム製品として）実装することができる。

メモリ９３２は、ディスク、テープドライブ、ソリッドステートドライブ、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ターナリ連想メモリ（ＴＣＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）などの１つまたは複数のメモリタイプを備える。メモリ９３２は、オーバーフローデータ記憶デバイスとして使用され、プログラムが実行のために選択されるとそのようなプログラムを記憶し、プログラム実行中に読み取られる命令およびデータを記憶することができる。

図１０は、ＯＬＳについてのビットストリーム適合性試験の実行をサポートするためにビデオシーケンスを符号化する例示的な方法１０００のフローチャートである。方法１０００は、方法１００を実行する際に、コーデックシステム２００、エンコーダ３００、および／またはビデオコーディングデバイス９００などのエンコーダによって採用されてもよい。さらに、方法１０００は、ＨＲＤ５００上で動作することができ、したがって、マルチレイヤビデオシーケンス６００、マルチレイヤビデオシーケンス７００、および／またはビットストリーム８００に対して適合性試験を実行することができる。

方法１０００は、エンコーダがビデオシーケンスを受信し、例えばユーザ入力に基づいて、そのビデオシーケンスをマルチレイヤビットストリームに符号化することを決定したときに開始することができる。ステップ１００１において、エンコーダは、ビットストリームを符号化する。ビットストリームは、１つまたは複数のＯＬＳを含む。各ＯＬＳは、１つまたは複数のレイヤが出力レイヤとして指定されるレイヤのセットである。

ステップ１００３において、エンコーダは、ＶＰＳをビットストリームに符号化する。ＶＰＳは、ＯＬＳを指定するデータを含んで符号化される。具体的には、ＶＰＳは、ステップ１００１においてビットストリームを符号化することの一部として生成されたＯＬＳを記述するデータを含むことができる。例えば、ＶＰＳは、ＶＰＳによって指定されたＯＬＳの総数を指定する、出力レイヤセットの総数－１（ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１）＋１を含むことができる。エンコーダは次いで、ビットストリームをＨＲＤに向けて転送することができる。例えば、エンコーダは、第１のプロセッサ上で動作することができ、ＨＲＤは、例えば同じコンピュータシャーシ上または同じネットワーク内の第２のプロセッサ上で動作することができる。あるいは、エンコーダおよびＨＲＤは、例えばマルチスレッドメカニズムを介して、同じプロセッサまたはプロセッサのセット上で動作することができる。これにより、プロセッサ上で動作するＨＲＤがビットストリーム適合性試験のセットを実行することが可能になる。このようなＨＲＤの試験をサポートするために、エンコーダは、ステップ１００３において、ＨＲＤパラメータのセットをＶＰＳに符号化することができる。例えば、ＶＰＳは、ＶＰＳによって指定されたすべてのＯＬＳに適用されるＨＲＤパラメータを提供する／含む一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造を含むように符号化されてもよい。ＨＲＤパラメータを使用して、各ＯＬＳに対して性能試験を実行するようにＨＲＤを構成することができる。例えば、ＨＲＤパラメータは、適合性試験を実行する際にＨＲＤによって使用されるべき様々な配信スケジュールを示すことができる。したがって、ビットストリーム中のＨＲＤパラメータの存在は、デコーダが配信スケジュールに従ってビットストリームを復号することが可能であることを示す。

ステップ１００５において、ＨＲＤは、各ＯＬＳの各動作ポイント（ＯＰ）をｔａｒｇｅｔＯｐとして順次選択する。これは、例えば、ｏｐＯｌｓＩｄｘおよび最も高いｏｐＴｉｄを有するターゲットＯＬＳを選択することによって行うことができ、ｏｐＴｉｄは、レイヤ／サブレイヤに関連付けられた時間フレームレートを示す。

ステップ１００７において、ＨＲＤは、（例えば、ステップ１００５において選択された）ＶＰＳによって指定される各ＯＬＳの各ＯＰにおいてビットストリーム適合性試験のセットを実行する。これにより、ＨＲＤが適合性について各ＯＰを試験することが可能になる。したがって、ＨＲＤは、規格への適合性について各ＯＬＳを試験する。しかしながら、ＨＲＤは、符号化ビットストリームに対するグローバルな適合性試験、またはＯＬＳから出力され得る表現に対する適合性試験を省略することができる。ビットストリームおよび出力は、ＯＬＳ適合性試験プロセスの一部として適合性について試験される。したがって、冗長な適合性試験を回避することができる。さらに、より少ない適合性試験を、より少ないＨＲＤパラメータによってサポートすることができる。したがって、適合性試験をＯＬＳのみに適用することで、ＶＰＳ中のＨＲＤパラメータの数が低減され、したがって、ステップ１００１および１００３において符号化されたビットストリームのサイズが低減される。ＨＲＤは、エンコーダと同じプロセッサ上で動作してもよいことに留意されたい。別の例では、ＨＲＤは、エンコーダと同じシャーシ内のプロセッサ上で動作することができる。別の例では、ＨＲＤは、エンコーダと同じネットワーク内のプロセッサ上で動作することができる。

ステップ１００９において、エンコーダは、デコーダに向けて通信するためのビットストリームをメモリに記憶する。

図１１は、例えば、ＨＲＤ５００などの、エンコーダ上で動作するＨＲＤによって、ＯＬＳに対するビットストリーム適合性試験を受けたビデオシーケンスを復号する例示的な方法１１００のフローチャートである。方法１１００は、方法１００を実行する際に、コーデックシステム２００、デコーダ４００、および／またはビデオコーディングデバイス９００などのデコーダによって採用されてもよい。さらに、方法１１００は、マルチレイヤビデオシーケンス６００および／またはマルチレイヤビデオシーケンス７００を含む、ビットストリーム８００などのビットストリーム上で動作することができる。

方法１１００は、デコーダが、例えば方法１０００の結果として、マルチレイヤビデオシーケンスを表すコーディングされたデータのビットストリームを受信し始めるときに開始することができる。ステップ１１０１において、デコーダは、１つまたは複数のＯＬＳを含むビットストリームを受信する。各ＯＬＳは、１つまたは複数のレイヤが出力レイヤとして指定されるレイヤのセットである。ビットストリームはまた、ＯＬＳを指定するＶＰＳを含むことができる。ビットストリーム中のＶＰＳは、ＶＰＳによって指定されたＯＬＳの総数を指定するｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１＋１を含むことができる。また、ＶＰＳは、ＶＰＳによって指定されたすべてのＯＬＳに適用されるＨＲＤパラメータを提供する／含むｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造を含むことができる。ビットストリーム中のＨＲＤパラメータの存在は、デコーダが（例えば、ＨＲＤパラメータで指定された）配信スケジュールに従ってビットストリームを復号することが可能であることを示す。受信されるビットストリームは、ＶＰＳによって指定された各ＯＬＳの各ＯＰの適合性を試験するためのビットストリーム適合性試験のセットによってチェックされている。具体的には、ビットストリーム適合性試験のセットは、エンコーダ上で動作するＨＲＤによって実行される。例えば、各ＯＰは、ｏｐＯｌｓＩｄｘおよび最も高いｏｐＴｉｄを有するターゲットＯＬＳに基づいて、ｔａｒｇｅｔＯｐとして選択される。

ステップ１１０３において、デコーダは、例えばサブレイヤ表現の一部として、ＯＬＳから画像を復号することができる。次いで、デコーダは、ステップ１１０５において、復号されたビデオシーケンスの一部として表示するために画像を転送することができる。

図１２は、ＯＬＳに対するビットストリーム適合性試験の実行をサポートするためにビデオシーケンスをコーディングするための例示的なシステム１２００の概略図である。システム１２００は、コーデックシステム２００、エンコーダ３００、デコーダ４００、および／またはビデオコーディングデバイス９００などのエンコーダおよびデコーダによって実装されてもよい。さらに、システム１２００は、ＨＲＤ５００を採用して、マルチレイヤビデオシーケンス６００、マルチレイヤビデオシーケンス７００、および／またはビットストリーム８００に対して適合性試験を実行することができる。加えて、システム１２００は、方法１００、１０００、および／または１１００を実装する際に採用されてもよい。

システム１２００は、ビデオエンコーダ１２０２を含む。ビデオエンコーダ１２０２は、１つまたは複数のＯＬＳを含むビットストリームを符号化するための符号化モジュール１２０３を備える。符号化モジュール１２０３はさらに、ＯＬＳを指定するＶＰＳをビットストリームに符号化するためのものである。ビデオエンコーダ１２０２は、ＶＰＳによって指定される各ＯＬＳの各ＯＰにおいてビットストリーム適合性試験のセットを実行して、適合性について各ＯＰを試験するためのＨＲＤモジュール１２０５をさらに備える。ビデオエンコーダ１２０２は、デコーダに向けて通信するためのビットストリームを記憶するための記憶モジュール１２０６をさらに備える。ビデオエンコーダ１２０２は、ビットストリームをビデオデコーダ１２１０に向けて送信するための送信モジュール１２０７をさらに備える。ビデオエンコーダ１２０２は、方法１０００のステップのいずれかを実行するようにさらに構成されてもよい。

システム１２００はまた、ビデオデコーダ１２１０を含む。ビデオデコーダ１２１０は、１つまたは複数のＯＬＳと、ＯＬＳを指定するＶＰＳとを含むビットストリームを受信するための受信モジュール１２１１を備え、ビットストリームは、ＶＰＳによって指定された各ＯＬＳの各動作ポイント（ＯＰ）の適合性を試験するビットストリーム適合性試験のセットによってチェックされている。ビデオデコーダ１２１０は、ＯＬＳから画像を復号するための復号モジュール１２１３をさらに備える。ビデオデコーダ１２１０は、復号されたビデオシーケンスの一部として表示するために画像を転送するための転送モジュール１２１５をさらに備える。ビデオデコーダ１２１０は、方法１１００のステップのいずれかを実行するようにさらに構成されてもよい。

第１のコンポーネントと第２のコンポーネントとの間にライン、トレース、または別の媒体を除いて、介在するコンポーネントがない場合、第１のコンポーネントは、第２のコンポーネントに直接結合される。第１のコンポーネントと第２のコンポーネントとの間にライン、トレース、または別の媒体以外の介在するコンポーネントが存在する場合、第１のコンポーネントは、第２のコンポーネントに間接的に結合される。用語「結合された」およびその変形は、直接結合されたものおよび間接的に結合されたものの両方を含む。用語「約」の使用は、特に明記しない限り、後続する数の±１０％を含む範囲を意味する。

本明細書に記載される例示的な方法のステップは、必ずしも記載された順序で実行される必要はないことも理解されるべきであり、このような方法のステップの順序は、単なる例示であると理解されるべきである。同様に、本開示の様々な実施形態と一致する方法において、追加のステップがそのような方法に含まれてもよく、特定のステップが省略または組み合わされてもよい。

本開示においていくつかの実施形態が提供されているが、開示されたシステムおよび方法は、本開示の精神または範囲から逸脱することなく、多くの他の特定の形態で具現化され得ることが理解され得る。本実施例は、例示であって限定的なものではないと考えられるべきであり、本発明は、本明細書で提供された詳細に限定されるべきではない。例えば、様々な要素またはコンポーネントは、別のシステムにおいて組み合わされるか、もしくは統合されてもよく、または特定の特徴が省略されるか、もしくは実装されなくてもよい。

加えて、離散的または別個のものとして様々な実施形態において説明および図示された技術、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、コンポーネント、技術、または方法と組み合わせられるか、または統合されてもよい。変更、置換、および代替の他の例は、当業者であれば確認可能であり、本明細書に開示される精神および範囲から逸脱することなく行うことができる。
（他の可能な請求項）
（項目１）
デコーダによって実施される方法であって、
前記デコーダの受信機によって、１つまたは複数の出力レイヤセット（ＯＬＳ）と前記複数のＯＬＳを指定するビデオパラメータセット（ＶＰＳ）とを含むビットストリームを受信する段階であり、前記ビットストリームが、前記ＶＰＳによって指定された各ＯＬＳの各動作ポイント（ＯＰ）の適合性を試験するビットストリーム適合性試験のセットによってチェックされている、段階と、
前記デコーダのプロセッサによって、前記複数のＯＬＳから画像を復号する段階と、
を含む方法。
（項目２）
ビットストリーム適合性試験の前記セットが、エンコーダ上で動作する仮想参照デコーダ（ＨＲＤ）によって実行される、項目１に記載の方法。
（項目３）
前記ＶＰＳが、前記ＶＰＳによって指定されたＯＬＳの総数を指定する、出力レイヤセットの総数－１（ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１）＋１を含む、項目１または２に記載の方法。
（項目４）
各ＯＰが、ＯＰＯＬＳインデックス（ｏｐＯｌｓＩｄｘ）および最も高いＯＰ時間識別子値（ｏｐＴｉｄ）を有するターゲットＯＬＳに基づいて、試験対象ＯＰ（ｔａｒｇｅｔＯｐ）として選択される、項目１から３のいずれか一項に記載の方法。
（項目５）
各ＯＬＳが、前記レイヤのうちの１つまたは複数が出力レイヤとして指定されるレイヤのセットである、項目１から４のいずれか一項に記載の方法。
（項目６）
前記ＶＰＳが、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるＨＲＤパラメータを提供する一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造を含む、項目１から５のいずれか一項に記載の方法。
（項目７）
前記ビットストリーム中の前記ＨＲＤパラメータの存在が、前記デコーダが配信スケジュールに従って前記ビットストリームを復号することが可能であることを示す、項目１から６のいずれか一項に記載の方法。
（項目８）
エンコーダによって実施される方法であって、
前記エンコーダのプロセッサによって、１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームを符号化する段階と、
前記プロセッサによって、前記複数のＯＬＳを指定するビデオパラメータセット（ＶＰＳ）を前記ビットストリームに符号化する段階と、
前記プロセッサによって、適合性について各動作ポイント（ＯＰ）を試験するために、前記ＶＰＳによって指定される各ＯＬＳの各ＯＰにおいてビットストリーム適合性試験のセットを実行する段階と、
を備える方法。
（項目９）
ビットストリーム適合性試験の前記セットが、前記プロセッサ上で動作する仮想参照デコーダ（ＨＲＤ）によって実行される、項目８に記載の方法。
（項目１０）
前記ＶＰＳが、前記ＶＰＳによって指定されたＯＬＳの総数を指定する、出力レイヤセットの総数－１（ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１）＋１を含む、項目８または９に記載の方法。
（項目１１）
前記プロセッサによって、ＯＰＯＬＳインデックス（ｏｐＯｌｓＩｄｘ）および最も高いＯＰ時間識別子値（ｏｐＴｉｄ）を有するターゲットＯＬＳを選択することによって、各ＯＰを試験対象ＯＰ（ｔａｒｇｅｔＯｐ）として選択する段階をさらに備える、項目８から１０のいずれか一項に記載の方法。
（項目１２）
各ＯＬＳが、前記レイヤのうちの１つまたは複数が出力レイヤとして指定されるレイヤのセットである、項目８から１１のいずれか一項に記載の方法。
（項目１３）
前記ＶＰＳが、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるＨＲＤパラメータを提供する一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造を含む、項目８から１２のいずれか一項に記載の方法。
（項目１４）
前記ビットストリーム中の前記ＨＲＤパラメータの存在が、デコーダが配信スケジュールに従って前記ビットストリームを復号することが可能であることを示す、項目８から１３のいずれか一項に記載の方法。
（項目１５）
ビデオコーディングデバイスであって、
プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機とを備え、前記プロセッサ、前記受信機、前記メモリ、および前記送信機が、項目１から１４のいずれか一項に記載の方法を実行するように構成されている、
ビデオコーディングデバイス。
（項目１６）
ビデオコーディングデバイスが使用するためのコンピュータプログラム製品を備える非一時的コンピュータ可読媒体であって、前記コンピュータプログラム製品は、プロセッサによって実行されると前記ビデオコーディングデバイスに項目１から１４のいずれか一項に記載の方法を実行させるように前記非一時的コンピュータ可読媒体上に記憶されたコンピュータ実行可能命令を有する、非一時的コンピュータ可読媒体。
（項目１７）
デコーダであって、
１つまたは複数の出力レイヤセット（ＯＬＳ）と前記複数のＯＬＳを指定するビデオパラメータセット（ＶＰＳ）とを含むビットストリームを受信するための受信手段であり、前記ビットストリームが、前記ＶＰＳによって指定された各ＯＬＳの各動作ポイント（ＯＰ）の適合性を試験するビットストリーム適合性試験のセットによってチェックされている、受信手段と、
前記複数のＯＬＳから画像を復号するための復号手段と、
復号されたビデオシーケンスの一部として表示するために前記画像を転送するための転送手段と、
を備える、デコーダ。
（項目１８）
前記デコーダが項目１～７のいずれか一項に記載の方法を実行するようにさらに構成されている、項目１７に記載のデコーダ。
（項目１９）
エンコーダであって、
１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームを符号化し、
前記複数のＯＬＳを指定するビデオパラメータセット（ＶＰＳ）を前記ビットストリームに符号化する、
ための符号化手段と、
前記ＶＰＳによって指定される各ＯＬＳの各動作ポイント（ＯＰ）においてビットストリーム適合性試験のセットを実行して、適合性について各ＯＰを試験するための仮想参照デコーダ（ＨＲＤ）手段と、
デコーダに向けて通信するための前記ビットストリームを記憶するための記憶手段と、
を備えるエンコーダ。
（項目２０）
項目８から１４のいずれか一項に記載の方法を実行するようにさらに構成されている、項目１９に記載のエンコーダ。

Claims

デコーダと、エンコーダとを備えるシステムによって実施される方法であって、
前記エンコーダのプロセッサによって、１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームを符号化する段階と、
前記エンコーダの前記プロセッサによって、前記ＯＬＳを指定するビデオパラメータセット（ＶＰＳ）を前記ビットストリームに符号化する段階と、
前記エンコーダの前記プロセッサによって、適合性について各動作ポイント（ＯＰ）を試験するために、前記ＶＰＳによって指定されるとおりに、各ＯＬＳの各ＯＰにおいてビットストリーム適合性試験のセットを実行する段階と、
前記エンコーダの前記プロセッサによって、ＯＰＯＬＳインデックス（ｏｐＯｌｓＩｄｘ）および最も高いＯＰ時間識別子値（ｏｐＴｉｄ）を有するターゲットＯＬＳを選択することにより、試験対象ＯＰ（ｔａｒｇｅｔＯｐ）として各ＯＰを選択する段階と、
前記デコーダの受信機によって、前記１つまたは複数のＯＬＳと前記ＶＰＳとを含む前記ビットストリームを受信する段階と、
前記デコーダのプロセッサによって、前記ＯＬＳから画像を復号する段階と、
を備え、
ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが０または１に等しく設定された場合、前記ＶＰＳによって指定されるＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しい、方法。
ビットストリーム適合性試験の前記セットが、前記エンコーダ上で動作する仮想参照デコーダ（ＨＲＤ）によって実行される、請求項１に記載の方法。
前記ＶＰＳが、前記ＶＰＳによって指定されたＯＬＳの総数を指定する、出力レイヤセットの総数－１（ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１）＋１を含む、請求項１または２に記載の方法。
各ＯＬＳが、レイヤのうちの１つまたは複数が出力レイヤとして指定されるレイヤのセットである、請求項１から３のいずれか一項に記載の方法。
前記ＶＰＳが、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるＨＲＤパラメータを提供する一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造を含む、請求項１から４のいずれか一項に記載の方法。
前記ビットストリーム中の前記ＨＲＤパラメータの存在が、前記デコーダが配信スケジュールに従って前記ビットストリームを復号することが可能であることを示す、請求項５に記載の方法。
前記ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが０に等しく設定された場合、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳの最上位レイヤのみが出力される、または、
前記ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが１に等しく設定された場合、前記ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳのすべてのレイヤが出力される、
請求項１から６のいずれか一項に記載の方法。
エンコーダによって実施される方法であって、
前記エンコーダのプロセッサによって、１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームを符号化する段階と、
前記プロセッサによって、前記ＯＬＳを指定するビデオパラメータセット（ＶＰＳ）を前記ビットストリームに符号化する段階と、
前記プロセッサによって、適合性について各動作ポイント（ＯＰ）を試験するために、前記ＶＰＳによって指定されるとおりに、各ＯＬＳの各ＯＰにおいてビットストリーム適合性試験のセットを実行する段階と、
前記プロセッサによって、ＯＰＯＬＳインデックス（ｏｐＯｌｓＩｄｘ）および最も高いＯＰ時間識別子値（ｏｐＴｉｄ）を有するターゲットＯＬＳを選択することにより、試験対象ＯＰ（ｔａｒｇｅｔＯｐ）として各ＯＰを選択する段階と、
を備え、
ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが０または１に等しく設定された場合、前記ＶＰＳによって指定されるＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しい、方法。
ビットストリーム適合性試験の前記セットが、前記プロセッサ上で動作する仮想参照デコーダ（ＨＲＤ）によって実行される、請求項８に記載の方法。
前記ＶＰＳが、前記ＶＰＳによって指定されたＯＬＳの総数を指定する、出力レイヤセットの総数－１（ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１）＋１を含む、請求項８または９に記載の方法。
各ＯＬＳが、レイヤのうちの１つまたは複数が出力レイヤとして指定されるレイヤのセットである、請求項８から１０のいずれか一項に記載の方法。
前記ＶＰＳが、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるＨＲＤパラメータを提供する一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造を含む、請求項８から１１のいずれか一項に記載の方法。
前記ビットストリーム中の前記ＨＲＤパラメータの存在が、デコーダが配信スケジュールに従って前記ビットストリームを復号することが可能であることを示す、請求項１２に記載の方法。
前記ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが０に等しく設定された場合、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳの最上位レイヤのみが出力される、または、
前記ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが１に等しく設定された場合、前記ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳのすべてのレイヤが出力される、
請求項８から１３のいずれか一項に記載の方法。
ビデオコーディングデバイスであって、
プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機とを備え、前記プロセッサ、前記受信機、前記メモリ、および前記送信機が、請求項１から１４のいずれか一項に記載の方法を実行するように構成されている、
ビデオコーディングデバイス。
ビデオコーディングデバイスが使用するためのコンピュータプログラムであって、前記コンピュータプログラムは、プロセッサによって実行されると前記ビデオコーディングデバイスに請求項１から１４のいずれか一項に記載の方法を実行させるコンピュータ実行可能命令を有する、コンピュータプログラム。
デコーダと、エンコーダとを備えるシステムであって、
前記エンコーダは、
１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームを符号化し、前記ＯＬＳを指定するビデオパラメータセット（ＶＰＳ）を前記ビットストリームに符号化するための符号化手段と、
適合性について各動作ポイント（ＯＰ）を試験するために、前記ＶＰＳによって指定されるとおりに、各ＯＬＳの各ＯＰにおいてビットストリーム適合性試験のセットを実行するための実行手段であって、各ＯＰが、ＯＰＯＬＳインデックス（ｏｐＯｌｓＩｄｘ）および最も高いＯＰ時間識別子値（ｏｐＴｉｄ）を有するターゲットＯＬＳに基づいて、試験対象ＯＰ（ｔａｒｇｅｔＯｐ）として選択される、実行手段と、
デコーダへ向けた通信のための前記ビットストリームを記憶するための記憶手段と、
を有し、
前記デコーダは、
１つまたは複数のＯＬＳと前記ＶＰＳとを含む前記ビットストリームを受信するための受信手段と、
前記ＯＬＳから画像を復号するための復号手段と、
復号されたビデオシーケンスの一部として表示するために前記画像を転送するための転送手段と、
を有し、
ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが０または１に等しく設定された場合、前記ＶＰＳによって指定されるＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しい、システム。
前記ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが０に等しく設定された場合、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳの最上位レイヤのみが出力される、または、
前記ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが１に等しく設定された場合、前記ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳのすべてのレイヤが出力される、
請求項１７に記載のシステム。
前記システムが請求項１～７のいずれか一項に記載の方法を実行するようにさらに構成されている、請求項１７または１８に記載のシステム。
エンコーダであって、
１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームを符号化し、
前記ＯＬＳを指定するビデオパラメータセット（ＶＰＳ）を前記ビットストリームに符号化する、
ための符号化手段と、
適合性について各動作ポイント（ＯＰ）を試験するために、前記ＶＰＳによって指定されるとおりに、各ＯＬＳの各ＯＰにおいてビットストリーム適合性試験のセットを実行するための実行手段であって、各ＯＰが、ＯＰＯＬＳインデックス（ｏｐＯｌｓＩｄｘ）および最も高いＯＰ時間識別子値（ｏｐＴｉｄ）を有するターゲットＯＬＳに基づいて、試験対象ＯＰ（ｔａｒｇｅｔＯｐ）として選択される、実行手段と、
デコーダに向けて通信するための前記ビットストリームを記憶するための記憶手段と、
を備え、
ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが０または１に等しく設定された場合、前記ＶＰＳによって指定されるＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しい、エンコーダ。
前記ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが０に等しく設定された場合、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳの最上位レイヤのみが出力される、または、
前記ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが１に等しく設定された場合、前記ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳのすべてのレイヤが出力される、
請求項２０に記載のエンコーダ。
請求項８から１４のいずれか一項に記載の方法を実行するようにさらに構成されている、請求項２０または２１に記載のエンコーダ。