JP7780045B2 - ビデオデータストリーム、ビデオエンコーダ、ｈｒｄタイミング修正のための装置と方法、及びスケーラブルでマージ可能なビットストリームのためのさらなる追加 - Google Patents

Description

本発明は、ビデオ符号化及びビデオ復号に関し、特に、ビデオエンコーダ、ビデオデコーダ、符号化及び復号方法、並びに高度ビデオ符号化概念を実現するためのビデオデータストリームに関する。

Ｈ．２６５／ＨＥＶＣ （ＨＥＶＣ＝Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率ビデオ符号化））により、エンコーダ及び／又はデコーダでの並列処理を向上させるか、さらに有効にするためのツールとして、ビデオコーデックがすでに提供されている。例えば、ＨＥＶＣは、互いから独立して符号化されるタイルアレイへのピクチャの細分化をサポートする。ＨＥＶＣによってサポートされる別の概念は、ＷＰＰに関係しており、これによれば、ピクチャのＣＴＵロウ又はＣＴＵラインは、並列で左から右に処理され得、例えば、一部の最小限ＣＴＵオフセットが連続したＣＴＵラインの処理中に守られている場合、ストライプで処理され得る（ＣＴＵ＝ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ（符号化ツリーユニット））。ただし、ビデオエンコーダ及び／又はビデオデコーダの並列処理能力をさらに効率的にサポートするビデオコーデックがいつでも使えるようになっていると都合がよい。

通常、ビデオ符号化では、ピクチャサンプルの符号化プロセスは、サンプルが予測符号化又は変換符号化などの結合処理のためにいくつかの矩形領域に分割される、より小さいパーティションを必要とする。したがって、ピクチャは、ビデオシーケンスの符号化中に一定である特定のサイズのブロックにパーティション化される。Ｈ．２６４／ＡＶＣ規格では、１６×１６サンプルの固定サイズのブロック、いわゆるマクロブロックが使用されている（ＡＶＣ＝Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高度ビデオ符号化））。

最新のＨＥＶＣ規格（［１］を参照）では、最大限サイズ６４×６４サンプルの符号化ツリーブロック（ＣＴＢ）又は符号化ツリーユニット（ＣＴＵ）がある。ＨＥＶＣのさらなる説明では、ブロックのそのような種類について、より一般的な用語のＣＴＵが使用されている。

ＣＴＵは、左上のＣＴＵから開始し、ピクチャ内のＣＴＵをライン方向に、右下のＣＴＵまで処理するというラスタスキャン順序で処理される。

符号化されたＣＴＵデータは、スライスと呼ばれるコンテナの一種に編成される。元来、以前のビデオ符号化規格では、スライスは、ピクチャの１つ以上の連続したＣＴＵを含むセグメントを意味する。スライスは、符号化されたデータのセグメント化に用いられる。別の視点から、完全なピクチャもまた１つの大きいセグメントとして定義され得るため、歴史的に、スライスという用語が引き続き適用されている。符号化されたピクチャのサンプルに加えて、スライスもまた、いわゆるスライスヘッダ内に置かれているスライス自体の符号化プロセスに関連する追加情報を含む。

最先端の技術によれば、ＶＣＬ（ビデオ符号化層）は、フラグメンテーション及び空間パーティション化のための技術も含む。そのようなパーティション化は、例えば、並列化での負荷分散処理、ネットワーク伝送でのＣＴＵサイズのマッチング、エラーの軽減など、様々な理由でビデオ符号化に適用され得る。

ビデオ符号化規格で指定されているビットストリームは、ＨＲＤ適合性関連情報を有する。この適合性は、バッファモデルを含む仮想参照デコーダ（ＨＲＤ）からなり、このバッファモデルは、ＮＡＬユニットが、デコーダの前に符号化ピクチャバッファ（ＣＰＢ）に入り、そこから、ＣＰＢサイズを超えること（バッファオーバーラン）がないこと、又はＮＡＬユニットが除去される必要があるときよりも遅く到着すること（バッファアンダーラン）がないことを確保する特定の時間に除去されると想定するものである。さらに、このモデルは、復号ピクチャバッファ（ＤＰＢ）からなり、このＤＰＢから、復号されたピクチャは予測に不要になると出力され、そのサイズは、多くの実装では同様に制約される。ＨＲＤのタイミング情報は、いわゆるＳＥＩメッセージ、特に、バッファリング周期（ＢＰ）（複数のアクセスユニット又はＡＵ）の特定のタイミング情報を定義するバッファリング周期ＳＥＩメッセージ、単一の関連したＡＵのタイミング情報を伝達するピクチャタイミング（ＰＴ）ＳＥＩメッセージ、及び関連したＡＵサブセット、すなわち復号ユニット又はＤＵのタイミング情報を伝達する復号ユニット情報（ＤＵＩ）ＳＥＩメッセージによってビットストリームに伝達される。

ビデオコーディングの規格で指定されているビットストリームには、ＨＲＤ（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）適合性関連情報がある。この適合性は、ＮＡＬユニットがコード化ピクチャバッファ（ＣＰＢ）に入り、特定の時間にそこから削除されて、ＣＰＢサイズを超えないことを確実にする（バッファオーバーラン）か、ＮＡＬユニットが削除される必要があるときよりも遅く到着しない（バッファアンダーラン）ことを想定する仮想のバッファモデルからなる。

ビットストリームがスケーラブルなビットストリームである場合、プルーニングを実行して、やはり適合ビットストリームでもあるサブビットストリームを取得できる。例えば、解像度のスケーラビリティを備えた３つの層（例えば、４８０ｐベースの層、７２０ｐの１番目の拡張層、１０８０ｐの２番目の拡張層）、以降Ｂ_３と呼ぶ、を含む出力層セット（ＯＬＳ）がある場合、２つのサブビットストリームを取得でき、１つは２層（４８０ｐ及び７２０ｐ）Ｂ_２で、もう１つは１層（４８０ｐ）Ｂ_１のサブビットストリームである。同様に、ＯＬＳは、時間的なスケーラビリティに使用でき、その場合Ｂ_３、Ｂ_２、及びＢ_１の解像度は同じだが、フレームレートが異なる。

明らかに、このようなビットストリームＢ_３、Ｂ_２、及びＢ_１は、必要なＣＰＢのサイズ、ビットレート、及びタイミング情報が異なる可能性があるため、ＨＲＤ適合性が異なる。

様々なＣＰＢサイズとビットレートが、定義された出力層セットの特性としてＶＰＳに示される（説明されている例では３）。様々なタイミング情報が、いわゆるネスティングＳＥＩメッセージによって提供される。ネストされたＳＥＩメッセージには、ビットストリームプルーニング（ビットストリーム抽出）によって取得できるサブビットストリームに適用される、ネストされたバッファリング周期ＳＥＩとピクチャタイミングＳＥＩを含めることができる。次に、この操作（抽出又はプルーニングが実行される）のとき、例えば、入力ビットストリームＢ_３のバッファリング周期ＳＥＩメッセージ及びピクチャタイミングＳＥＩメッセージは、ビットストリームから削除され、また２番目の拡張層に属するＮＡＬユニットも削除される。さらに、ネストされたＳＥＩメッセージで伝送されるビットストリームＢ_２に対応するバッファリング周期ＳＥＩメッセージとピクチャタイミングＳＥＩメッセージは、ネストされたＳＥＩメッセージビットストリームからビットストリームに配置され、そのため削除されたものに置き換えられる。

本発明の目的は、改善されたビデオ符号化及びビデオ復号概念を提供することである。

本発明の目的は、独立項の発明の主題によって解決される。

好ましい実施形態は、従属項に提供される。

一実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、１つ以上の出力層セットのそれぞれのタイミング情報を含む１つ以上のスケーラブルなネストされた補足拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ：ＳＥＩ）メッセージがビデオデータストリーム内に存在するかどうかを示す表示を含む。

さらに、一実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが、１つ以上の出力層セットのそれぞれのタイミング情報を含む１つ以上のスケーラブルなネストされた補足拡張情報メッセージが、ビデオデータストリーム内に存在するかどうかを示す表示を含むように、ビデオデータストリームを生成するものである。

さらに、一実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。装置は、サブビットストリームを取得するために入力ビットストリームを処理するものである。表示は、１つ以上の出力層セットのそれぞれのタイミング情報を含む１つ以上のスケーラブルなネストされた補足拡張情報メッセージがビデオデータストリーム内に存在するかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するための方法が提供される。方法は、ビデオデータストリームが、１つ以上の出力層セットのそれぞれのタイミング情報を含む１つ以上のスケーラブルなネストされた補足拡張情報メッセージが、ビデオデータストリーム内に存在するかどうかを示す表示を含むように、ビデオデータストリームを生成することを含む。

さらに、一実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。方法は、サブビットストリームを取得するために入力ビットストリームを処理することを含む。表示は、１つ以上の出力層セットのそれぞれのタイミング情報を含む１つ以上のスケーラブルなネストされた補足拡張情報メッセージがビデオデータストリーム内に存在するかどうかを示している。

さらに、コンピュータ又はシグナルプロセッサ上で実行されるときに上記の方法のうちの１つを実装するためのコンピュータプログラムが提供される。

さらに、一実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリーム内の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるかどうかを示す。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリーム内の第１の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージから取得されるかどうかを示す。及び／又は、ビデオデータストリーム内の第２の表示は、サブビットストリームの前記タイミング情報が、前記ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージから取得されるかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームは、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージを含む。ビデオデータストリームが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージを含む場合、これは、スケーラブルなネストされた補足拡張情報メッセージに応じて、１つ以上の非スケーラブルなネストされたタイミング情報拡張情報メッセージのすべてが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージにより代用されることを示す（例えば、タイミング情報は、ピクチャタイミング情報又はバッファリング周期情報又は復号ユニット情報である）。又は、１つ以上の非スケーラブルなネストされたタイミング情報拡張情報メッセージの少なくとも１つを含むサブセットは、前記タイミング情報を含む前記非スケーラブルなネストされた補足拡張情報メッセージにより代用される（例えば、タイミング情報は、ピクチャタイミング情報又はバッファリング周期情報又は復号ユニット情報である）。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリーム内の表示が、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるかどうかを示すよう、ビデオエンコーダがビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオデータストリーム内の第１の表示は、サブビットストリームのタイミング情報が、前記ビデオデータストリームの前記１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージから取得されるかどうかを示す。及び／又は、ビデオデータストリーム内の第２の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージから取得されるかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオデータストリームが、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージを含むよう、ビデオエンコーダは、ビデオデータストリームを生成する。ビデオデータストリームが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージを含む場合、これは、スケーラブルなネストされた補足拡張情報メッセージに応じて、１つ以上の非スケーラブルなネストされたタイミング情報拡張情報メッセージのすべてが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージにより代用されることを示す（例えば、タイミング情報は、ピクチャタイミング情報又はバッファリング周期情報又は復号ユニット情報である）。又は、１つ以上の非スケーラブルなネストされたタイミング情報補足拡張情報メッセージの少なくとも１つを含むサブセットは、前記タイミング情報を含む前記非スケーラブルなネストされた補足拡張情報メッセージにより代用される（例えば、タイミング情報は、ピクチャタイミング情報又はバッファリング周期情報又は復号ユニット情報である）。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。装置は、サブビットストリームを取得するために入力ビットストリームを処理するものである。ビデオデータストリーム内の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。装置は、サブビットストリームを取得するために入力ビットストリームを処理するものである。ビデオデータストリーム内の第１の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージから取得されるかどうかを示す。及び／又は、ビデオデータストリーム内の第２の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージから取得されるかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。装置は、サブビットストリームを取得するために入力ビットストリームを処理するものである。ビデオデータストリームは、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージを含む。ビデオデータストリームが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージを含む場合、装置は、スケーラブルなネストされた補足拡張情報メッセージに応じて、１つ以上の非スケーラブルなネストされたタイミング情報拡張情報メッセージのすべてを、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージにより代用される（例えば、タイミング情報は、ピクチャタイミング情報又はバッファリング周期情報又は復号ユニット情報である）。又は、１つ以上の非スケーラブルなネストされたタイミング情報補足拡張情報メッセージの少なくとも１つを含むサブセットは、タイミング情報を含む非スケーラブルなネストされた補足拡張情報メッセージにより代用される（例えば、タイミング情報は、ピクチャタイミング情報又はバッファリング周期情報又は復号ユニット情報である）。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するための方法が提供される。方法は、ビデオデータストリーム内の表示が、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるものであるよう、ビデオデータストリームを発生させることを含む。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。方法は、サブビットストリームを取得するために入力ビットストリームを処理することを含む。ビデオデータストリーム内の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するための方法が提供される。ビデオデータストリーム内の第１の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージから取得されるかどうかを示す。及び／又は、ビデオデータストリーム内の第２の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージから取得されるかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。方法は、サブビットストリームを取得するために入力ビットストリームを処理することを含む。ビデオデータストリーム内の第１の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージから取得されるかどうかを示す。及び／又は、ビデオデータストリーム内の第２の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージから取得されるかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するための方法が提供される。方法は、ビデオデータストリームが、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージを含むように、前記ビデオデータストリームを生成することを含む。ビデオデータストリームが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージを含む場合、これは、１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージの少なくとも１つがタイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージによって代用されることを示す。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。方法は、サブビットストリームを取得するために入力ビットストリームを処理することを含む。ビデオデータストリームは、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージを含む。ビデオデータストリームが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージを含む場合、方法は１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージの少なくとも１つが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージによって代用されることを含む。

さらに、コンピュータ又はシグナルプロセッサ上で実行されるときに上記の方法のうちの１つを実装するためのコンピュータプログラムが提供される。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、複数のアクセスユニットを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、アクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しい。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、複数のアクセスユニットを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオデータストリームは、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報がアクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しいかどうかを示す表示を含む。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、複数のアクセスユニットを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れる。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、複数のアクセスユニットを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオデータストリームは、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報が、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れるかどうかを示す表示を含む。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが複数のアクセスユニットを含むように、ビデオデータストリームを生成する。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオエンコーダは、ビデオデータストリームが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報がアクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しいかどうかを示す表示を含むよう、ビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが複数のアクセスユニットを含むように、ビデオデータストリームを生成する。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れる。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが複数のアクセスユニットを含むように、ビデオデータストリームを生成する。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオエンコーダは、ビデオデータストリームが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れるかどうかを示す表示を含むよう、ビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。入力ビットストリームは、複数のアクセスユニットを含む。装置は、入力ビットストリームのアクセスユニットを処理して、サブビットストリームを取得する。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、アクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しい。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。入力ビットストリームは、複数のアクセスユニットを含む。装置は、入力ビットストリームのアクセスユニットを処理して、サブビットストリームを取得する。複数のアクセスユニットの各アクセスユニットに関する。アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオデータストリームは、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報がアクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しいかどうかを示す表示を含む。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。入力ビットストリームは複数のアクセスユニットを含み、装置は入力ビットストリームのアクセスユニットを処理して、サブビットストリームを取得する。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れる。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。入力ビットストリームは、複数のアクセスユニットを含む。装置は、入力ビットストリームのアクセスユニットを処理して、サブビットストリームを取得する。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオデータストリームは、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報が、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れるかどうかを示す表示を含む。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するための方法が提供される。方法は、ビデオデータストリームが複数のアクセスユニットを含むように前記ビデオデータストリームを生成することを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、方法は、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報がアクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しくなるよう、ビデオデータストリームを生成することを含む。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するための方法が提供される。方法は、ビデオデータストリームが複数のアクセスユニットを含むようにビデオデータストリームを生成することを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、方法は、ビデオデータストリームが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報がアクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しいかどうかを示す表示を含むよう、ビデオデータストリームを生成することを含む。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するための方法が提供される。方法は、ビデオデータストリームが複数のアクセスユニットを含むようにビデオデータストリームを生成することを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れる。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するための方法が提供される。方法は、ビデオデータストリームが複数のアクセスユニットを含むようにビデオデータストリームを生成することを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、方法は、ビデオデータストリームが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れるかどうかを示す表示を含むよう、ビデオデータストリームを生成することを含む。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。入力ビットストリームは、複数のアクセスユニットを含む。方法は、サブビットストリームを取得するために入力ビットストリームのアクセスユニットを処理することを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、アクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しい。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。入力ビットストリームは、複数のアクセスユニットを含む。方法は、サブビットストリームを取得するために入力ビットストリームのアクセスユニットを処理することを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオデータストリームは、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報がアクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しいかどうかを示す表示を含む。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。入力ビットストリームは、複数のアクセスユニットを含む。方法は、サブビットストリームを取得するために入力ビットストリームのアクセスユニットを処理することを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れる。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。入力ビットストリームは、複数のアクセスユニットを含む。方法は、サブビットストリームを取得するために入力ビットストリームのアクセスユニットを処理することを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオデータストリームは、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報が、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れるかどうかを示す表示を含む。

さらに、コンピュータ又はシグナルプロセッサ上で実行されるときに上記の方法のうちの１つを実装するためのコンピュータプログラムが提供される。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、複数のアクセスユニットを含む。ビデオデータストリームは、ビデオデータストリームのサブビットストリームの数に依存する拡散係数を含む、又は、ビデオデータストリームは、ビデオデータストリームのサブビットストリームの中で最も高いサブビットストリームに依存するクロックサブティック値を含む。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが複数のアクセスユニットを含むように、ビデオデータストリームを生成する。さらに、ビデオエンコーダは、ビデオデータストリームがビデオデータストリームのサブビットストリームの数に依存する拡散係数を含むよう、ビデオデータストリームを生成する、又は、ビデオエンコーダは、ビデオデータストリームがビデオデータストリームのサブビットストリームの中で最も高いサブビットストリームに依存するクロックサブティック値を含むように、ビデオデータストリームを生成するようにする。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが、サブ層についてサブ層固有のフレームレート情報を含むようにビデオデータストリームを生成する、及び／又はビデオエンコーダは、ビデオデータストリームが、サブ層についてサブ層固有のフレーム表示時間情報を含むように、ビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するためのビデオデコーダであって、ビデオデータストリームがその中に符号化されるビデオを有するビデオデコーダ。ビデオデータストリームは、複数のアクセスユニットを含む。ビデオデコーダは、ビデオデータストリームを復号してビデオを復号するものである。ビデオデータストリームは、ビデオデータストリームのサブビットストリームの数に依存する拡散係数を含み、ビデオデコーダは、拡散係数を使用してビデオをデコードするものであるか、ビデオデータストリームは、ビデオデータストリームのサブビットストリームの中で最も高いサブビットストリームに依存するクロックサブティック値を含み、ビデオデコーダがクロックサブティック値を使用してビデオを復号する。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。ビデオデコーダは、ビデオデータストリームを復号してビデオを復号するものである。ビデオデータストリームは、サブ層のサブ層固有のフレームレート情報を含み、及び／又はビデオデータストリームはサブ層に対するサブ層固有のフレーム表示期間情報を含む。デコーダは、サブ層のサブ層固有フレームレート情報を使用して、及び／又はサブ層固有のフレーム表示期間情報を使用して、拡散係数を決定するものである。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するための方法が提供される。方法は、ビデオデータストリームが複数のアクセスユニットを含むようにビデオデータストリームを生成することを含む。さらに、方法は、ビデオデータストリームが、ビデオデータストリームのサブビットストリームの数に依存する拡散係数を含むようビデオデータストリームを生成することを含むか、又は、方法は、ビデオデータストリームが、ビデオデータストリームのサブビットストリームの中で最も高いサブビットストリームに依存するクロックサブティック値を含むようビデオデータストリームを生成することを含む。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法であり、ビデオデータストリームがその中に符号化されるビデオを有する。ビデオデータストリームは、複数のアクセスユニットを含む。方法は、ビデオデータストリームを復号してビデオを復号することを含む。ビデオデータストリームは、ビデオデータストリームのサブビットストリームの数に依存する拡散係数を含み、方法は、拡散係数を使用してビデオを復号することを含むか、ビデオデータストリームは、ビデオデータストリームのサブビットストリームの中で最も高いサブビットストリームに依存するクロックサブティック値を含み、方法がクロックサブティック値を使用してビデオを復号することを含む。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法であり、ビデオデータストリームがその中に符号化されるビデオを有する。方法は、ビデオデータストリームを復号してビデオを復号することを含む。ビデオデータストリームは、サブ層のサブ層固有のフレームレート情報を含み、及び／又はビデオデータストリームはサブ層に対するサブ層固有のフレーム表示期間情報を含む。方法は、サブ層のサブ層固有フレームレート情報を使用して、及び／又は前記サブ層固有のフレーム表示期間情報を使用して、拡散係数を決定することを含む。

さらに、コンピュータ又はシグナルプロセッサ上で実行されるときに上記の方法のうちの１つを実装するためのコンピュータプログラムが提供される。

実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するためのビデオデコーダが提供され、ビデオデータストリームがその中に符号化されるビデオを有する。ビデオデコーダは、ビデオデータストリームを復号してビデオを復号するものである。ビデオをデコードするために、ビデオデコーダは、現在のコード化されたピクチャバッファサイズ情報を示すビデオデータストリーム内の情報に応じて、サブピクチャのコード化されたピクチャバッファサイズを推定する。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するためのビデオデコーダが提供され、ビデオデータストリームがその中に符号化されるビデオを有する。ビデオデコーダは、ビデオデータストリームを復号して前記ビデオを復号するものである。ビデオをデコードするために、ビデオデコーダは、現在コード化されているビデオシーケンスのビットレート情報を示すビデオデータストリーム内の情報に応じて、サブピクチャのビットレートを推定するものである。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。ビデオデコーダは、ビデオデータストリームを復号して前記ビデオを復号するものである。ビデオをデコードするために、ビデオデコーダは、ビデオデータストリーム内で符号化されているサブピクチャのコード化されたピクチャバッファサイズを受信し、ビデオをデコードするためにサブピクチャのコード化されたピクチャバッファサイズを使用し、及び／又はビデオをデコードし、ビデオデコーダは、ビデオデータストリーム内で符号化されているサブピクチャのビットレートを受信し、サブピクチャのビットレートを使用してビデオをデコードする。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは構文要素ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］及び構文要素ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅを例えば含む。又は、ビデオデータストリームは構文要素ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］及び構文要素ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅを含む。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、サブピクチャのコード化されたピクチャバッファサイズが現在のコード化されたピクチャバッファサイズ情報を使用して推定されるべきかどうかを示す表示を含むよう、及び／又はビデオデータストリームがサブピクチャのビットレートが現在コード化されているビデオシーケンスのビットレート情報を使用して推定されるかどうかを示す表示を含む。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームが、サブピクチャのコード化ピクチャバッファサイズがビデオデータストリーム内にエンコードされているかどうか、又はサブピクチャのコード化ピクチャバッファサイズが推定されるべきかどうかを示す表示を含むように、及び／又は、ビデオデータストリームは、サブピクチャのビットレートがビデオデータストリーム内に符号化されているかどうか、又はサブピクチャのビットレートを推定する必要があるかどうかを示す表示を含む。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが構文要素ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］及び構文要素ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅを例えば含むよう、ビデオデータストリームを生成する。又は、ビデオエンコーダは、ビデオデータストリームが、構文要素ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］及び構文要素ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅを含むように、ビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが、サブピクチャのコード化されたピクチャバッファサイズが現在のコード化されたピクチャバッファサイズ情報を使用して推定されるべきかどうかを示す表示を含むようビデオデータストリームを生成し、及び／又はビデオエンコーダは、ビデオデータストリームがサブピクチャのビットレートが現在コード化されているビデオシーケンスビットレート情報を使用して推定されるかどうかを示す表示を生成することを含むよう、ビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが、サブピクチャのコード化ピクチャバッファサイズがビデオデータストリーム内にエンコードされているかどうか、又はサブピクチャのコード化ピクチャバッファサイズが推定されるべきかどうかを示す表示を含むようにビデオデータストリームを生成する、及び／又は、ビデオエンコーダは、ビデオデータストリームが、サブピクチャのビットレートがビデオデータストリーム内に符号化されているかどうか、又はサブピクチャのビットレートを推定する必要があるかどうかを示す表示を含むようにビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが共通の復号ユニット除去タイミング情報及び複数の抽出可能なサブバイストリームを含む場合、複数のサブビットストリームのそれぞれは、出力層セットに固有で、ビデオパラメータセット又はシーケンスパラメータセット又はビデオデータストリームの補足拡張情報メッセージにおける各出力層セット固有の仮説参照デコーダパラメータの構文分析は、共通の復号ユニットの除去タイミングのスケーリングにおける拡散係数又はティック除数の絶対値のいずれかを含むように、ビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。方法は、ビデオデータストリームを復号してビデオを復号することを含む。ビデオをデコードするために、方法は、現在のコード化されたピクチャバッファサイズ情報を示すビデオデータストリーム内の情報に応じて、サブピクチャのコード化されたピクチャバッファサイズを推定することを含む方法。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。方法は、ビデオデータストリームを復号してビデオを復号することを含む。ビデオをデコードするために、方法は、現在コード化されているビデオシーケンスビットレート情報を示すビデオデータストリーム内の情報に応じて、サブピクチャのビットレートを推定することを含む。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。方法は、ビデオデータストリームを復号してビデオを復号することを含む。ビデオをデコードするために、方法は、ビデオデータストリーム内で符号化されているサブピクチャのコード化されたピクチャバッファサイズを受信し、ビデオをデコードするためにサブピクチャのコード化されたピクチャバッファサイズを使用することを含み、及び／又は方法は、ビデオデータストリーム内で符号化されているサブピクチャのビットレートを受信し、サブピクチャのビットレートを使用してビデオをデコードすることを含む。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するための方法が提供される。方法は、ビデオデータストリームが構文要素ｃｐｂ＿ｓｉｇｅｓ＿ｖｅｒｅｔ＿ｍｉｎｕｓ１ ［ｉ］［ｊ］及び構文要素ｃｐｂ＿ｚｅｓｉｃ＿ｃｌａｓｓを含むようにビデオデータストリームを生成することを含むか、又は、方法は、ビデオデータストリームが構文要素ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］及び構文要素ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅを含むようにビデオデータストリームを生成することを含む。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するための方法が提供される。方法は、ビデオデータストリームがサブピクチャのコード化されたピクチャバッファサイズが現在のコード化されたピクチャバッファサイズ情報を使用して推定されるべきかどうかを示す表示を含むようビデオデータストリームを生成することを含み、及び／又は方法は、ビデオデータストリームがサブピクチャのビットレートが現在コード化されているビデオシーケンスのビットレート情報を使用して推定されるかどうかを示す表示を含むようビデオデータストリームを生成することを含む。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するための方法が提供される。方法は、ビデオデータストリームが、サブピクチャのコード化ピクチャバッファサイズがビデオデータストリーム内にエンコードされているかどうか、又はサブピクチャのコード化ピクチャバッファサイズが推定されるべきかどうかを示す表示を含むようにビデオデータストリームを生成することを含み、及び／又は、方法は、ビデオデータストリームが、サブピクチャのビットレートがビデオデータストリーム内に符号化されているかどうか、又はサブピクチャのビットレートを推定する必要があるかどうかを示す表示を含むようにビデオデータストリームを生成することを含む。

さらに、コンピュータ又はシグナルプロセッサ上で実行されるときに上記の方法のうちの１つを実装するためのコンピュータプログラムが提供される。

実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、複数のアクセスユニットを含む。さらに、ビデオデータストリームは、複数のアクセスユニットのアクセスユニットの２つ以上の復号ユニットのそれぞれのデルタ時間情報を含み、前記アクセスユニットの２つ以上の各復号ユニットの復号ユニット除去時間は、前記アクセスユニットのアクセスユニット除去時間に依存し、前記復号ユニットのデルタ時間情報に依存する。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが複数のアクセスユニットを含むように、ビデオデータストリームを生成する。さらに、ビデオエンコーダは、ビデオデータストリームが、複数のアクセスユニットのアクセスユニットの２つ以上の復号ユニットのそれぞれのデルタ時間情報を含むよう、ビデオデータストリームを生成し、前記アクセスユニットの２つ以上の復号ユニットの各復号ユニットの復号ユニット除去時間は、アクセスユニットのアクセスユニット除去時間に依存し、前記復号ユニットのデルタ時間情報に依存する。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。ビデオデータストリームは、複数のアクセスユニットを含む。ビデオデコーダは、ビデオデータストリームを復号してビデオを復号するものである。さらに、ビデオデータストリームは、複数のアクセスユニットのアクセスユニットの２つ以上の復号ユニットのそれぞれのデルタ時間情報を含み、前記アクセスユニットの２つ以上の復号ユニットの各復号ユニットの復号ユニット除去時間は、アクセスユニットのアクセスユニット除去時間に依存し、前記復号ユニットのデルタ時間情報に依存し、ビデオデコーダは、前記アクセスユニットの２つ以上の復号ユニットのそれぞれのデルタ時間情報を使用してビデオデータストリームを復号する。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するための方法が提供される。方法は、ビデオデータストリームが複数のアクセスユニットを含むように前記ビデオデータストリームを生成することを含み、さらに、方法は、ビデオデータストリームが、複数のアクセスユニットのアクセスユニットの２つ以上の復号ユニットのそれぞれのデルタ時間情報を含み、前記アクセスユニットの２つ以上の復号ユニットの各復号ユニットの復号ユニット除去時間は、アクセスユニットのアクセスユニット除去時間に依存し、前記復号ユニットのデルタ時間情報に依存するように、ビデオデータストリームを生成することを含む。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。ビデオデータストリームは、複数のアクセスユニットを含む。方法は、ビデオデータストリームを復号してビデオを復号することを含む。さらに、ビデオデータストリームは、複数のアクセスユニットのアクセスユニットの２つ以上の復号ユニットのそれぞれのデルタ時間情報を含み、前記アクセスユニットの２つ以上の復号ユニットの各復号ユニットの復号ユニット除去時間は、アクセスユニットのアクセスユニット除去時間に依存し、前記復号ユニットのデルタ時間情報に依存し、方法は、前記アクセスユニットの２つ以上の復号ユニットのそれぞれのデルタ時間情報を使用してビデオデータストリームを復号することを含む。

さらに、コンピュータ又はシグナルプロセッサ上で実行されるときに上記の方法のうちの１つを実装するためのコンピュータプログラムが提供される。

実施形態による、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダを示す。 実施形態による、入力ビデオデータストリームを受信するための装置を示す。 実施形態による、その中に格納されるビデオを有するビデオデータストリームを受信するためのビデオデコーダを示す。 アクセスユニットごとに３つのデコードユニットがある場合の除去時間の変化を示す。 ２つの層と、両方の層のアクセスユニットとデコードユニットの除去時間を示す。 ビデオエンコーダを示す。 ビデオデコーダを示す。 一方では再構築された信号、例えば、再構築されたピクチャと、他方では、データストリーム内でシグナリングされた予測残差信号及び予測信号の組み合わせとの間の関係を示す。

以下の図面の説明は、本発明の実施形態が組み込まれ得る符号化フレームワークの一例を形成するために、ビデオのピクチャを符号化するためのブロックベースの予測コーデックのエンコーダ及びデコーダの説明の提示から開始する。それぞれのエンコーダ及びデコーダは、図６から図８に関して説明される。以下に、本発明の概念の実施形態の説明は、それらのような概念がどのように図６及び図７のそれぞれのエンコーダ及びデコーダに組み込まれ得るかに関する説明と共に提示されるが、図１から図３及びそれ以降に説明される実施形態もまた、図６及び図７のエンコーダ及びデコーダの基礎となる符号化フレームワークに従って動作しないエンコーダ及びデコーダを形成するために使用され得る。

図６は、ビデオエンコーダ、例示的に変換ベースの残差符号化を使用して、ピクチャ１２をデータストリーム１４中に予測符号化するための装置を示す。装置、又はエンコーダは、参照記号１０を使用して示される。図７は、対応するビデオデコーダ２０、例えば、装置２０を示し、この装置もまた、変換ベースの残差復号を使用して、ピクチャ１２’をデータストリーム１４から予測復号するように構成され、アポストロフィは、デコーダ２０によって再構築されたピクチャ１２’が予測残差信号の量子化によって導入された符号化損失の観点から装置１０によって最初に符号化されたピクチャ１２から逸脱することを示すために使用されている。図６及び図７は、変換ベースの予測残差符号化を例示的に使用するが、本出願の実施形態は、この種の予測残差符号化に限定されない。これは、以降に概説されるように、図６及び図７に関して説明される他の詳細にも当てはまる。

エンコーダ１０は、予測残差信号を空間からスペクトルへの変換にかけ、この予測残差信号をデータストリーム１４中に符号化することで、その中でこの予測残差信号が取得されるように構成される。同様に、デコーダ２０は、予測残差信号をデータストリーム１４から復号し、この予測残差信号をスペクトルから空間への変換にかけることで、この予測残差信号が取得されるように構成される。

内部では、エンコーダ１０は、予測残差信号形成器２２を含み得、この予測残差信号形成器は、元の信号、例えばピクチャ１２から予測信号２６の偏差を測定するために予測残差２４を生成する。予測残差信号形成器２２は、例えば、減算器であってもよく、この減算器は、元の信号、例えばピクチャ１２から予測信号を減算する。つぎに、エンコーダ１０は、変換器２８をさらに含み、この変換器が予測残差信号２４を空間からスペクトルへの変換にかけることで、スペクトル領域予測残差信号２４’を取得する。つぎに、このスペクトル領域予測残差信号は、量子化器３２による量子化にかけられたうえ、エンコーダ１０によって含まれる。したがって、量子化された予測残差信号２４”は、ビットストリーム１４中に符号化される。この目的を達成するために、エンコーダ１０は、エントロピーコーダ３４を任意選択で含み得、このエントロピーコーダは、変換され量子化された予測残差信号をデータストリーム１４中にエントロピー符号化する。予測信号２６は、データストリーム１４中に符号化され、そこから復号可能である予測残差信号２４”に基づいて、エンコーダ１０の予測ステージ３６によって生成する。この目的を達成するためには、予測ステージ３６は、内部に、図６に示されるように、予測残差信号２４”を逆量子化し、量子化損失を除き信号２４’に対応するスペクトル領域予測残差信号２４’’’を得る逆量子化器３８と、その後に、後者の予測残差信号２４’’’を逆変換、例えばスペクトルから空間への変換にかけ、量子化損失を除き元の予測残差信号２４に対応する予測残差信号２４’’’’を得る逆変換器４０とを含み得る。つぎに、予測ステージ３６の合成器４２は、加算などによって、予測信号２６及び予測残差信号２４’’’’を再合成し、再構築された信号４６、例えば元の信号１２の再構築を得る。再構築された信号４６は、信号１２’に対応し得る。つぎに、予測ステージ３６の予測モジュール４４は、例えば、空間予測（イントラピクチャ予測など）及び／又はテンポラル予測（インターピクチャ予測など）を使用することによって信号４６に基づいて、予測信号２６を生成する。

同様に、デコーダ２０は、図７に示されるように、予測ステージ３６に対応し、予測ステージに対応する方法で相互接続される、コンポーネントから内部に構成され得る。特に、デコーダ２０のエントロピーデコーダ５０は、量子化されたスペクトル領域予測残差信号２４’’をデータストリームからエントロピー復号し得、そこで逆量子化器５２、逆変換器５４、合成器５６及び予測モジュール５８は、相互接続され、予測ステージ３６のモジュールに関して上記の方法で協働することで、予測残差信号２４’’に基づいて再構築された信号を回復することで、図７に示されるように、合成器５６の出力は、再構築された信号、すなわちピクチャ１２’をもたらす。

具体的に上述されていないが、エンコーダ１０が、例えば、符号化コストなどのいくつかのレート及び歪み関連基準を最適化する方法など、いくつかの最適化スキームに従って、例えば、予測モード、動きパラメータなどを含むいくつかの符号化パラメータを設定し得ることが容易に明らかになる。例えば、エンコーダ１０及びデコーダ２０並びに対応するモジュール４４、５８は、それぞれ異なる予測モード、例えばイントラ符号化モード及びインター符号化モードをサポートし得る。エンコーダ及びデコーダがそれらの予測モードタイプ間で切り替える粒度は、それぞれピクチャ１２及び１２’の符号化セグメント又は符号化ブロックへの細分化に対応し得る。これらの符号化セグメントのユニットでは、例えば、ピクチャは、イントラ符号化されたブロック、及びインター符号化されたブロックに細分化され得る。イントラ符号化されたブロックは、以下により詳細に概説されるように、それぞれのブロックの空間の、既に符号化された／復号された近傍に基づいて予測される。いくつかのイントラ符号化モードは、それぞれのイントラ符号化されたセグメントに対して、存在し得、選択され得、指向性又は角度イントラ符号化モードを含み得、これらのモードに従って、それぞれのセグメントは、それぞれの指向性イントラ符号化モードに特異的な特定の方向に沿った近傍のサンプル値を、それぞれのイントラ符号化されたセグメント中に外挿することによって埋められる。これらのイントラ符号化モードは、例えば、ＤＣ符号化モードであって、このモードに従ってそれぞれのイントラ符号化されたブロックの予測がＤＣ値を、それぞれのイントラ符号化されたセグメント内のすべてのサンプルに割り当てるＤＣ符号化モード、及び／又は平面イントラ符号化モードであって、このモードに従ってそれぞれのブロックの予測が、近傍サンプルに基づいた二次元線形関数によって定義される平面の傾き及びオフセットにするにつれて、それぞれのイントラ符号化されたブロックのサンプル位置にわたる二次元線形関数によって記述されるサンプル値の空間分布であるように近似され、その空間分布であると決定される、平面イントラ符号化モードなどの１つ以上のさらなるモードも含み得る。それらと比較して、インター符号化されたブロックは、例えばテンポラルに、予測され得る。インター符号化されたブロックの場合、動きベクトルは、データストリーム内にシグナリングされ得、動きベクトルは、ピクチャ１２が属するビデオの以前に符号化されたピクチャの部分の空間変位を示し、そこでは、以前に符号化された／復号されたピクチャは、それぞれのインター符号化されたブロックの予測信号を取得するためにサンプリングされる。これは、量子化されたスペクトル領域予測残差信号２４’’を表すエントロピー符号化された変換係数レベルなど、データストリーム１４が含む残差信号の符号化に加えて、データストリーム１４が、その中に符号化された、符号化モードを様々なブロックに割り当てるための符号化モードパラメータと、インター符号化されたセグメントの動きパラメータなど、ブロックの一部の予測パラメータと、ピクチャ１２及び１２’のそれぞれのセグメントへの細分化を制御してシグナリングするためのパラメータなどの任意選択のさらなるパラメータとを含み得ることを意味する。デコーダ２０は、これらのパラメータを使用して、エンコーダが行ったものと同じ方法でピクチャを細分化し、同じ予測モードをセグメントに割り当て、同じ予測を実行した結果、同じ予測信号になる。

図８は、一方では再構築された信号、例えば、再構築されたピクチャ１２’と、他方では、データストリーム１４内でシグナリングされた予測残差信号２４’’’’、及び予測信号２６の組み合わせとの間の関係を示す。既に上記に示されるように、この組み合わせは、加算であり得る。予測信号２６は、図８では、ハッチングを使用して例示的に示されるイントラ符号化されたブロック、及びハッチングされていない例示的に示されるインター符号化されたブロックへのピクチャ領域の細分化として示される。この細分化は、正方形ブロック又は非正方形ブロックのロウ及びカラムへのピクチャ領域の通常の細分化、又はツリールートブロックから様々なサイズの複数のリーフブロックへのピクチャ１２のマルチツリー細分化（例えば、クワッドツリー細分化など）のような任意の細分化であり得、それらの組み合わせは、図８に示され、図中、ピクチャ領域は、ツリールートブロックのロウ及びカラムに最初に細分化されてから、再帰的マルチツリー細分化に従って１つ以上のリーフブロックにさらに細分化される。

この場合も、データストリーム１４は、イントラ符号化されたブロック８０のためにその中に符号化されたイントラ符号化モードを有し得ることで、いくつかのサポートされたイントラ符号化モードのうちの１つは、それぞれのイントラ符号化されたブロック８０に割り当てられる。インター符号化されたブロック８２の場合、データストリーム１４は、その中に符号化された１つ以上の動きパラメータを有し得る。概して、インター符号化されたブロック８２は、テンポラルに符号化されるように制限されない。代わりに、インター符号化されたブロック８２は、現在のピクチャ１２自体を超えて以前に符号化された部分から、例えば、ピクチャ１２が属するビデオの以前に符号化されたピクチャ、又はエンコーダ及びデコーダがそれぞれスケーラブルなエンコーダ及びデコーダである場合には別のビューのピクチャもしくは階層的に下位の層から、予測される任意のブロックであり得る。

図８では、予測残差信号２４’’’’もまた、ピクチャ領域のブロック８４への細分化として示される。これらのブロックは、同じものを符号化ブロック８０及び８２から区別するために変換ブロックと称されてもよい。実際には、図８は、エンコーダ１０及びデコーダ２０がピクチャ１２及びピクチャ１２’のそれぞれのブロックへの２つの異なる細分化、すなわち１つがそれぞれの符号化ブロック８０及び８２への細分化、及びもう１つが変換ブロック８４への細分化を使用し得ることを示す。両方の細分化は、同じもの、例えばそれぞれ符号化ブロック８０及び８２でもよく、同時に変換ブロック８４を形成し得るが、図８は、例えば、変換ブロック８４への細分化が符号化ブロック８０、８２への細分化の拡張を形成する場合を示すため、ブロック８０及び８２の２つのブロック間の任意の境界が２つのブロック８４間の境界に重なる、又は別の言い方をすれば、各ブロック８０、８２のいずれかが変換ブロック８４のうちの１つと合致する、もしくは変換ブロック８４のクラスタと合致する。ただし、これらの細分化もまた、変換ブロック８４がブロック８０とブロック８２との間のブロック境界を交互に交差し得るように互いから独立して決定され得る、又は選択され得る。したがって、変換ブロック８４への細分化が関係する限り、ブロック８０、８２への細分化に関してあげられたものと同様のステートメントは、真であり、例えば、ブロック８４は、ピクチャ領域のブロックへの通常の細分化の結果（ロウ及びカラムへの配置の有無にかかわらず）、ピクチャ領域の再帰的マルチツリー細分化の結果、又はそれらの組み合わせもしくは任意の他の種類のブロック結果であり得る余談であるが、ブロック８０、８２及び８４が四角形、矩形又は任意の他の形状のものであることに限定されないことに留意する。

さらに、図８は、予測信号２６及び予測残差信号２４’’’’の組み合わせが再構築された信号１２’を直接もたらすことを示す。ただし、代替の実施形態による、１つより多い予測信号２６が予測残差信号２４’’’’と組み合わせられ得ることで、ピクチャ１２’になり得ることに留意されたい。

図８では、変換ブロック８４は、以下の有意性を有するものとする。変換器２８及び逆変換器５４は、それらの変換をそれらの変換ブロック８４の単位で実行する。例えば、多くのコーデックは、すべての変換ブロック８４のある種のＤＳＴ又はＤＣＴを使用する。いくつかのコーデックは、変換をスキップすることを可能にするため、いくつかの変換ブロック８４には、予測残差信号は、空間領域で直接符号化される。ただし、下記の実施形態によれば、エンコーダ１０及びデコーダ２０は、いくつかの変換をサポートするような方法で構成される。例えば、エンコーダ１０及びデコーダ２０によってサポートされる変換は、
ｏ ＤＣＴ－ＩＩ（又はＤＣＴ－ＩＩＩ）（ＤＣＴは離散コサイン変換を表す）
ｏ ＤＳＴ－ＩＶ（ＤＳＴは離散サイン変換を表す）
ｏ ＤＣＴ－ＩＶ
ｏ ＤＳＴ－ＶＩＩ
ｏ 恒等変換（ＩＴ）
を含み得る

当然、変換器２８は、それらの変換の順方向変換バージョンのすべてをサポートするが、デコーダ２０又は逆変換器５４は、それらの対応する逆方向又は逆バージョン、
ｏ 逆ＤＣＴ－ＩＩ（又は逆ＤＣＴ－ＩＩＩ）、
ｏ 逆ＤＳＴ－ＩＶ
ｏ 逆ＤＣＴ－ＩＶ
ｏ 逆ＤＳＴ－ＶＩＩ
ｏ 恒等変換（ＩＴ）
をサポートする。

その後の説明では、変換がエンコーダ１０及びデコーダ２０によってサポートされ得る、さらなる詳細が提供される。いずれの場合も、１つのスペクトルから空間への、又は空間からスペクトルへの変換など、１つの変換のみを、サポートされた変換セットが含み得ることに留意されたい。

既に上記で概説されるように、図６から図８は、以下にさらに説明される本発明の概念が本出願によるエンコーダ及びデコーダの具体的な例を形成するために実装され得る、一例として提示されている。これまでのところ、図６及び図７のそれぞれのエンコーダ及びデコーダは、本明細書では下記のエンコーダ及びデコーダの可能な実装を表し得る。ただし、図６及び図７は、例に過ぎない。ただし、本出願の実施形態によるエンコーダは、以下により詳細に概説される概念を使用して、例えば、同じものがビデオエンコーダではないがそれでもピクチャエンコーダであるという点、同じものがインター予測をサポートしないという点、又はブロック８０への細分化が図８に例示されている方法とは異なる方法で実行されるという点などで、図６のエンコーダとは異なる、ピクチャ１２のブロックベースの符号化を実行し得る。同様に、本出願の実施形態によるデコーダは、データストリーム１４からのピクチャ１２’のブロックベースの復号を、以下でさらに概説される符号化概念を使用して実行し得るが、例えば、同じものがビデオデコーダではないがそれでもピクチャデコーダであるという点、同じものがイントラ予測をサポートしないという点、又は図８に関して説明される方法とは異なる方法で同じものがピクチャ１２’をブロックに細分化するという点、及び／又は同じものが例えば変換領域ではなく空間領域でデータストリーム１４から予測残差を導出するという点で図７のデコーダ２０とは異なり得る。

図１は、一実施形態による、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダ１００を示す。ビデオエンコーダ１００は、ビデオデータストリームを生成するように構成される。

図２は、一実施形態による、入力ビデオデータストリームを受信するための装置２００を示す。入力ビデオデータストリームは、その中に符号化されたビデオを有する。装置２００は、出力ビデオデータストリームを入力ビデオデータストリームから生成するように構成される。

図３は、一実施形態による、その中に格納されるビデオを有するビデオデータストリームを受信するためのビデオデコーダ３００を示す。ビデオデコーダ３００は、ビデオをビデオデータストリームから復号するように構成される。

さらに、実施形態によるシステムが提示される。このシステムは、図２の装置、及び図３のビデオデコーダを含む。図３のビデオデコーダ（３００）は、図２の装置（２００）の出力ビデオデータストリームを受信するように構成される。図３のビデオデコーダ３００は、図２の装置２００の出力ビデオデータストリームからビデオを復号するように構成される。

一実施形態では、システムは、例えば、図１のビデオエンコーダ１００をさらに含み得る。図２の装置２００は、例えば、図１のビデオエンコーダ１００からのビデオデータストリームを入力ビデオデータストリームとして受信するように構成され得る。

装置２００の中間デバイス２１０（任意選択の）は、例えば、ビデオエンコーダ１００からのビデオデータストリームを入力ビデオデータストリームとして受信し、出力ビデオデータストリームを入力ビデオデータストリームから生成するように構成され得る。例えば、中間デバイスは、例えば、入力ビデオデータストリームの情報（ヘッダ／メタデータ情報）を変更するように構成され得る、及び／又は例えば、入力ビデオデータストリームからピクチャを削除するように構成され得る、及び／又は入力ビデオデータストリームを、その中に符号化された第二ビデオを有する追加の第二ビットストリームと混合する／スプライシングするように構成され得る。

ビデオデコーダ２２１（任意選択の）は、例えば、ビデオを出力ビデオデータストリームから復号するように構成され得る。

仮想参照デコーダ２２２（任意選択の）は、例えば、出力ビデオデータストリームに応じてビデオのタイミング情報を決定するように構成され得る、又は例えば、ビデオもしくはビデオの一部分が格納されるバッファのバッファ情報を決定するように構成され得る。

このシステムは、図１のビデオエンコーダ１０１及び図２のビデオデコーダ１５１を含む。

ビデオエンコーダ１０１は、符号化されたビデオ信号を生成するように構成される。ビデオデコーダ１５１は、符号化されたビデオ信号を復号してビデオのピクチャを再構築するように構成される。

以下に、特定の実施形態を説明する。

ＨＥＶＣでは、抽出プロセス仕様の注記で、ネストされたＳＥＩメッセージの処理について次のように説明されている。

「スマート」ビットストリーム抽出器は、適切な非スケーラブルなネストバッファリングピクチャＳＥＩメッセージ、非スケーラブルなネストピクチャタイミングＳＥＩメッセージ、及び非スケーラブルなネスト復号ユニット情報ＳＥＩメッセージを、サブビットストリームに適用可能なメッセージが元のビットストリームにスケーラブルにネストされたＳＥＩメッセージとして存在していたとすると、抽出されたサブビットストリームに、含めることができる。

ＶＶＣでは、想定される設計は、動作が規範的に指定されているように適切に設定され、例えば、本発明の実施形態が追加されたＪＶＥＴ－Ｐ２００１－ｖＣで定義された抽出プロセスに関して、以下のとおりである。

サブビットストリーム抽出プロセス
このプロセスへの入力は、ビットストリームｉｎＢｉｔｓｔｒｅａｍ、ターゲットＯＬＳインデックスｔａｒｇｅｔＯｌｓＩｄｘ、及びターゲットの最高のＴｅｍｐｏｒａｌＩｄ値ｔＩｄＴａｒｇｅｔである。

このプロセスの出力は、サブビットストリームｏｕｔＢｉｔｓｔｒｅａｍである。
ビットストリームについて、この句で指定されたプロセスの出力である任意の出力であるサブビットストリームが、ＶＰＳで指定されたＯＬＳのリストのインデックスに等しいｔａｒｇｅｔＯｌｓＩｄｘであり、ｔＩｄＴａｒｇｅｔが包括的に０から６の範囲の任意の値に等しいこと、及び、次の条件を満たすものは、準拠するビットストリームであるものとするということが、入力ビットストリームのビットストリームの要件である。
・出力サブビットストリームには、少なくとも１つのＶＣＬ ＮＡＬユニットが含まれ、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値はＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］のそれぞれと等しくなる。
・出力サブビットストリームには、ＴｅｍｐｏｒａｌＩｄがｔＩｄＴａｒｇｅｔに等しいＶＣＮＬＡＬユニットが少なくとも１つ含まれている。
注－準拠するビットストリームには、０に等しいＴｅｍｐｏｒａｌＩｄを持つ１つ以上のコード化されたスライスＮＡＬユニットを含むが、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するコード化スライスＮＡＬユニットを含める必要はない。
出力サブビットストリームＯｕｔＢｉｔｓｔｒｅａｍは、次のように導出される。
・ビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、ビットストリームｉｎＢｉｔｓｔｒｅａｍと同一に設定される。
・ＴｅｍｐｏｒａｌＩｄがｔＩｄＴａｒｇｅｔより大きいすべてのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから削除する。
・ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＶＰＳ＿ＮＵＴ、ＤＰＳ＿ＮＵＴ、及びＥＯＢ＿ＮＵＴのいずれとも等しくなく、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがリストＬａｙｅｒＩｄＩｎＯｌｓ ［ｔａｒｇｅｔＯｌｓＩｄｘ］に含まれていないすべてのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから削除する。
・ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１であり、包括的に０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１までの範囲のｉの値がないスケーラブルなネストのＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから削除する。例えば、ＮｅｓｔｉｎｇＯｌｓＩｄｘ ［ｉ］はｔａｒｇｅｔＯｌｓＩｄｘと同じである。
・ｔａｒｇｅｔＯｌｓＩｄｘが０より大きい場合、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング周期）、１（画像タイミング）、又は１３０（デコードユニット情報）に等しい非スケーラブルなネストされたＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから削除する。

特定の実施形態によれば： ・ｏｕｔＢｉｔｓｔｒｅａｍに、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しいスケーラブルなネストＳＥＩメッセージを含み、ｏｕｔＢｉｔｓｔｒｅａｍに適用可能なＳＥＩ ＮＡＬユニットが含まれている場合（ＮｅｓｔｉｎｇＯｌｓＩｄｘ ［ｉ］はｔａｒｇｅｔＯｌｓＩｄｘに等しい）、以下を行う：
・スケーラブルなネストＳＥＩメッセージから、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング周期）、１（画像タイミング）、又は１３０（デコード情報）に等しい適切な非スケーラブルなネストされたＳＥＩメッセージを抽出し、それらのメッセージをｏｕｔＢｉｔｓｔｒｅａｍに入れる。
・スケーラブルなネストＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから削除する。

以下では、ビットストリーム内のＯＬＳのスケーラブルなネストＳＥＩメッセージの存在について説明する。

実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、１つ以上の出力層セットのそれぞれのタイミング情報を含む１つ以上のスケーラブルなネストされた補足拡張情報メッセージがビデオデータストリーム内に存在するかどうかを示す表示を含む。

実施形態では、表示がパラメータ設定フラグである。ビデオデータストリームが、１つ以上の出力層セットのそれぞれのタイミング情報を含む１つ以上のスケーラブルなネストされた補足拡張情報メッセージが、ビデオデータストリーム内に存在するかどうかを示すパラメータセットフラグを例えば含む。

実施形態によれば、請求項２に記載のビデオデータストリームは、ビデオデータストリームのシーケンスパラメータセットは、例えば、パラメータセットフラグを含むことができる。

実施形態では、パラメータ設定フラグはｓｐｓ＿ｏｌｓ＿ｎｅｓｔ＿ｔｉｍｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇである。

実施形態によれば、ビデオデータストリームは、例えば、パラメータセットフラグを含み得る、さらなる補足拡張情報メッセージを含み得る。パラメータセットフラグが、１つ以上の出力層セットのそれぞれの１つ以上のスケーラブルなネストされた補足拡張情報メッセージが、ビデオデータストリーム内に存在するかどうかを示す。

実施形態では、タイミング情報は、例えばピクチャタイミング情報とバッファリング周期情報と復号ユニット情報のうちの少なくとも１つを含み得る。

実施形態では、タイミング情報は、仮想参照デコーダのタイミング情報である。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが、１つ以上の出力層セットのそれぞれのタイミング情報を含む１つ以上のスケーラブルなネストされた補足拡張情報メッセージが、ビデオデータストリーム内に存在するかどうかを示す表示を含むように、ビデオデータストリームを生成するものである。

実施形態では、表示がパラメータ設定フラグである。ビデオエンコーダが、ビデオデータストリームが、１つ以上の出力層セットのそれぞれのタイミング情報を含む１つ以上のスケーラブルなネストされた補足拡張情報メッセージが、ビデオデータストリーム内に存在するかどうかを示すパラメータセットフラグを例えば含み得るように、ビデオデータストリームを生成するよう例えば構成され得る。

実施形態では、ビデオエンコーダは、例えば、ビデオデータストリームの一連のパラメータセットが例えば復号パラメータセットを含み得るようにビデオデータストリームを生成するように構成され得る。

実施形態では、ビデオエンコーダは、パラメータセットフラグがｓｐｓ＿ｏｌｓ＿ｎｅｓｔ＿ｔｉｍｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇであるようにビデオデータストリームを生成するよう、例えば構成され得る。

実施形態では、ビデオエンコーダは、ビデオデータストリームが、パラメータセットフラグを例えば含み得るさらなる補足拡張情報メッセージを例えば含み得るように、ビデオデータストリームを生成するよう例えば構成するものである。ビデオエンコーダが、パラメータセットフラグが、１つ以上の出力層セットのそれぞれの１つ以上のスケーラブルなネストされた補足拡張情報メッセージが、ビデオデータストリーム内に存在するかどうかを示すように、ビデオデータストリームを生成するよう例えば構成することができる。

実施形態によれば、タイミング情報は、例えばピクチャタイミング情報とバッファリング周期情報と復号ユニット情報のうちの少なくとも１つを含み得る。

実施形態では、タイミング情報は、仮想参照デコーダのタイミング情報である。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。装置は、サブビットストリームを取得するために入力ビットストリームを処理するものである。表示は、１つ以上の出力層セットのそれぞれのタイミング情報を含む１つ以上のスケーラブルなネストされた補足拡張情報メッセージがビデオデータストリーム内に存在するかどうかを示す。

実施形態では、表示がパラメータ設定フラグである。装置は、１つ以上の出力層セットのそれぞれのタイミング情報を含む１つ以上のスケーラブルなネストされた補足拡張情報メッセージが、ビデオデータストリーム内に存在するかどうかを示すパラメータセットフラグを含むビデオデータストリームを処理するよう例えば構成できる。

実施形態では、一連のパラメータセットのビデオデータストリームは、例えば、パラメータセットフラグを含み得る。

実施形態によれば、パラメータ設定フラグはｓｐｓ＿ｏｌｓ＿ｎｅｓｔ＿ｔｉｍｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇである。

実施形態では、ビデオデータストリームは、例えば、パラメータセットフラグを含み得る、さらなる補足拡張情報メッセージを含み得る。パラメータセットフラグが、１つ以上の出力層セットのそれぞれの１つ以上のスケーラブルなネストされた補足拡張情報メッセージが、ビデオデータストリーム内に存在するかどうかを示す。装置は、例えば、さらなる補足拡張情報メッセージを処理するように構成され得る。

実施形態によれば、タイミング情報は、例えばピクチャタイミング情報とバッファリング周期情報と復号ユニット情報のうちの少なくとも１つを含み得る。

実施形態によれば、１つ以上のスケーラブルなネストされた補足拡張情報メッセージが、ビデオデータストリーム内に存在する１つ以上の出力層セットのそれぞれのピクチャタイミング情報を例えば含むことができるタイミング情報を含む場合、装置は、非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージのピクチャタイミング情報を代用するよう例えば構成し得る。１つ以上のスケーラブルなネストされた補足拡張情報メッセージが、ビデオデータストリーム内に存在する１つ以上の出力層セットのそれぞれのバッファリング周期情報を含むタイミング情報を含む場合、装置は、非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージのバッファリング周期情報を代用するよう例えば構成できる。１つ以上のスケーラブルなネストされた補足拡張情報メッセージが、ビデオデータストリーム内に存在する１つ以上の出力層セットのそれぞれの復号ユニット情報を含むタイミング情報を含む場合、装置は、非スケーラブルなネストされた復号ユニット補足拡張情報メッセージの復号ユニット情報を代用するよう例えば構成できる。

実施形態では、タイミング情報は、仮想参照デコーダのタイミング情報である。

実施形態によれば、装置は、例えば、サブビットストリームを復号してビデオを復号するように構成され得る。

さらに、実施形態によれば、ビデオをビデオデータストリーム中に符号化するための、またビデオを復号するためのシステムが提供される。システムは、上記のようなビデオエンコーダ、及び上記のような装置を含む。ビデオエンコーダは、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するよう例えば構成し得る。装置は、ビデオデータストリームを入力ビットストリームとして受信するよう例えば構成し得る。さらに、装置は、サブビットストリームを取得するために入力ビットストリームを処理するよう例えば構成し得る。さらに、装置は、例えば、サブビットストリームを復号してビデオを復号するように構成され得る。

ＶＶＣドラフト仕様には、ＶＰＳ内のＯＬＳの定義が含まれ、これは、ネストされた形式（スケーラブルなネストＳＥＩメッセージ）のビットストリームにあるそれぞれのＨＲＤ ＳＥＩメッセージ（ＢＰ、ＰＴ、ＤＵＩ）に基づくＯＬＳサブビットストリームのＨＲＤベースの適合性テストでも使用できる。ＳＥＩメッセージのネスト）。ＯＬＳを定義する場合、適合性テストを有効にするには、これらのＯＬＳのそれぞれのＨＲＤ ＳＥＩメッセージがビットストリームにあることを保証することが重要である。

したがって、これは本発明の一部であり、表示がビットストリームにあること（例えば、ＳＰＳのｓｐｓ＿ｏｌｓ＿ｓｃａｌ＿ｎｅｓｔ＿ｔｉｍｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇなどのパラメータセットフラグ又はそのようなフラグを含む新しいＳＥＩメッセージ）は、すべてのＯＬＳへのスケーラブルなネストＳＥＩメッセージを示すことは本発明の一部である。はビットストリーム内に存在する必要がある。

以下では、ＨＲＤ ＳＥＩがサブビットストリームにどのように適用されるかについて説明する。

実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリーム内の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるかどうかを示す。

実施形態では、表示がサブビットストリームのタイミング情報が１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されないことを示す場合、これは、１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージは、１つ以上のスケーラブルなネストされたピクチャタイミング補足拡張情報メッセージに代用されることを示す。

実施形態では、表示がフラグである。１つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つが、サブビットストリームのタイミング情報が１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるよう例えば構成し得るかどうかを示すフラグを例えば含み得る。

実施形態では、フラグはｕｓｅ＿ｏｒｉｇ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｆｌａｇである。

実施形態では、ビデオデータストリームは、例えば、ビデオパラメータセットを含み得る。表示はフラグである。ビデオパラメータセットが、サブビットストリームのタイミング情報が１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるよう例えば構成され得るかどうかを示すフラグを例えば含み得る。

実施形態では、フラグはｕｓｅ＿ｏｒｉｇ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｆｌａｇである。

実施形態では、フラグはｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇである。

実施形態では、表示は、１つ以上のアクセスユニットの各アクセスユニット内の１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージのそれぞれが、ビデオデータストリームに設定された任意の出力層のアクセスユニットに適用され、スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージが存在しないか、１つ以上のアクセスユニットの各アクセスユニットにある非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージが、ビデオデータストリームに設定された任意の出力層のアクセスユニットに適用される場合と適用されない場合があることと、スケーラブルにネストされたピクチャタイミング補足拡張情報メッセージが存在する場合があるということを示す。

実施形態では、表示がサブビットストリームのタイミング情報が１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるよう構成し得ることを示す場合、１つ以上のスケーラブルなネストされた補足拡張情報メッセージの少なくとも１つは、ビットストリームのアクセスユニットの中の１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージの前に生じる。

実施形態では、表示が制約フラグである。１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージは、１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージが１つ以上のサブビットストリームの少なくとも１つに適用されるかどうかを示す制約フラグを含む。

実施形態では、表示が第１の表示である。ビデオデータストリーム内の第２の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージからさらに取得されるかどうかを示し、及び／又はビデオデータストリーム内の第３の表示は、サブビットストリームのタイミング情報がさらに、ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージからさらに取得されるかどうかを示す。

実施形態によれば、ビデオデータストリーム内の表示はさらに、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージからさらに取得されるかどうかを示し、及び／又はビデオデータストリーム内の表示はさらに、サブビットストリームのタイミング情報がさらに、ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージからさらに取得されるかどうかを示す。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリーム内の第１の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージから取得されるかどうかを示す。及び／又は、ビデオデータストリーム内の第２の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージから取得されるかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームは、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージを含む。ビデオデータストリームが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージを含む場合、これは、スケーラブルなネストされた補足拡張情報メッセージに応じて、１つ以上の非スケーラブルなネストされたタイミング情報拡張情報メッセージのすべてが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージにより代用されることを示す（例えば、タイミング情報は、ピクチャタイミング情報又はバッファリング周期情報又は復号ユニット情報である）。又は、１つ以上の非スケーラブルなネストされたタイミング情報拡張情報メッセージの少なくとも１つを含むサブセットは、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージにより代用される（例えば、タイミング情報は、ピクチャタイミング情報又はバッファリング周期情報又は復号ユニット情報である）。

実施形態によれば、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージは、１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージであり、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージは、スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージである。又は、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージは、１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージであり、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージは、スケーラブルなネストされたバッファリング周期補足拡張情報メッセージである。又は、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージは、１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージであり、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージは、スケーラブルなネストされた復号ユニット補足拡張情報メッセージである。

実施形態では、ビデオデータストリームが、前記タイミング情報を含む前記スケーラブルなネストされた補足拡張情報メッセージを例えば含み得る場合、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージは、ビットストリームのアクセスユニット内にタイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージの前に発生する。

実施形態によれば、タイミング情報は、仮想参照デコーダのタイミング情報である。

実施形態では、サブビットストリームは、出力層セットに依存し、及び／又はサブ層に依存し、及び／又はサブピクチャに依存し、及び／又は復号ユニットのサブセットに依存する。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリーム内の表示が、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるかどうかを示すよう、ビデオデータストリームを生成する。

実施形態によれば、表示がサブビットストリームのタイミング情報が１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されないことを示す場合、これは、１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージは、１つ以上のスケーラブルなネストされたピクチャタイミング補足拡張情報メッセージに代用されることを示す。

実施形態では、表示がフラグである。ビデオエンコーダは、１つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つが、サブビットストリームのタイミング情報が１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるよう例えば構成し得るかどうかを示すフラグを例えば含み得るよう、ビデオデータストリームを生成するよう例えば構成し得る。

実施形態では、フラグはｕｓｅ＿ｏｒｉｇ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｆｌａｇである。

実施形態では、ビデオデータストリームは、例えば、ビデオパラメータセットを含み得る。表示は例えばフラグであり得る。ビデオパラメータセットが、サブビットストリームのタイミング情報が１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるよう例えば構成し得ることを示すフラグを含むよう、ビデオエンコーダがビデオデータストリームを生成するよう例えば構成し得る。

実施形態では、フラグはｕｓｅ＿ｏｒｉｇ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｆｌａｇである。

実施形態では、フラグはｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇである。

実施形態によれば、表示は、１つ以上のアクセスユニットの各アクセスユニット内の１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージのそれぞれが、ビデオデータストリームに設定された任意の出力層のアクセスユニットに適用され、スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージが存在しないか、１つ以上のアクセスユニットの各アクセスユニットにある非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージが、ビデオデータストリームに設定された任意の出力層のアクセスユニットに適用される場合と適用されない場合があることと、スケーラブルにネストされたピクチャタイミング補足拡張情報メッセージが存在する場合があるということを示す。

実施形態では、表示がサブビットストリームのタイミング情報が１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるよう構成し得ることを示す場合、１つ以上のスケーラブルなネストされた補足拡張情報メッセージの少なくとも１つは、ビットストリームのアクセスユニットの中の１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージの前に生じる。

実施形態によれば、表示が制約フラグである。１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージは、１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージが１つ以上のサブビットストリームの少なくとも１つに適用されるかどうかを示す制約フラグを含むよう、ビデオエンコーダが前記ビデオデータストリームを生成するよう例えば構成し得る。

実施形態では、表示が第１の表示である。ビデオデータストリーム内の第２の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージからさらに取得されるかどうかを示し、及び／又はビデオデータストリーム内の第３の表示は、サブビットストリームのタイミング情報がさらに、ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージから取得されるかどうかを示す。

実施形態によれば、ビデオデータストリーム内の表示はさらに、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージからさらに取得されるかどうかを示し、及び／又はビデオデータストリーム内の表示はさらに、サブビットストリームのタイミング情報がさらに、ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージから取得されるかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオデータストリーム内の第１の表示は、サブビットストリームのタイミング情報が、前記ビデオデータストリームの前記１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージから取得されるかどうかを示す。及び／又は、ビデオデータストリーム内の第２の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージから取得されるかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオデータストリームが、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージを含むよう、ビデオエンコーダは、ビデオデータストリームを生成する。ビデオデータストリームが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージを含む場合、これは、スケーラブルなネストされた補足拡張情報メッセージに応じて、１つ以上の非スケーラブルなネストされたタイミング情報拡張情報メッセージのすべてが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージにより代用されることを示す（例えば、タイミング情報は、ピクチャタイミング情報又はバッファリング周期情報又は復号ユニット情報である）。又は、１つ以上の非スケーラブルなネストされたタイミング情報補足拡張情報メッセージの少なくとも１つを含むサブセットは、前記タイミング情報を含む前記非スケーラブルなネストされた補足拡張情報メッセージにより代用される（例えば、タイミング情報は、ピクチャタイミング情報又はバッファリング周期情報又は復号ユニット情報である）。

実施形態によれば、ビデオエンコーダは、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージは、１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージであり、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージは、スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージであるように、ビデオデータストリームを生成するよう例えば構成し得る。又は、ビデオエンコーダは、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージは、１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージであり、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージは、スケーラブルなネストされたバッファリング周期補足拡張情報メッセージであるように、ビデオデータストリームを生成するよう例えば構成し得る。又は、ビデオエンコーダは、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージは、１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージであり、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージは、スケーラブルなネストされた復号ユニット補足拡張情報メッセージであるように、ビデオデータストリームを生成するよう例えば構成し得る。

実施形態では、ビデオデータストリームが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージを例えば含み得る場合、ビデオエンコーダは、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージは、ビットストリームのアクセスユニット内にタイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージの前に生成するように、ビデオデータストリームを生成するよう例えば構成し得る。

実施形態によれば、タイミング情報は、仮想参照デコーダのタイミング情報である。

実施形態では、サブビットストリームは、出力層セットに依存し、及び／又はサブ層に依存し、及び／又はサブピクチャに依存し、及び／又は復号ユニットのサブセットに依存する。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。装置は、サブビットストリームを取得するために入力ビットストリームを処理するものである。ビデオデータストリーム内の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるかどうかを示す。

実施形態によれば、表示がサブビットストリームのタイミング情報が１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されないことを示す場合、装置は、１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージは、１つ以上のスケーラブルなネストされたピクチャタイミング補足拡張情報メッセージに代用されるよう例えば構成し得ることを示す。

実施形態によれば、表示が例えば制約フラグであり得る。１つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つが、サブビットストリームのタイミング情報が１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるよう例えば構成し得ることを示すフラグを例えば含み得る。

実施形態では、フラグはｕｓｅ＿ｏｒｉｇ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｆｌａｇである。

実施形態では、ビデオデータストリームは、例えば、ビデオパラメータセットを含み得る。表示は例えばフラグであり得る。ビデオパラメータセットが、サブビットストリームのタイミング情報が１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるよう例えば構成され得るかどうかを示すフラグを例えば含み得る。

実施形態では、フラグはｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｗｉｔｈｉｎ＿ｏｌｓ＿ｆｌａｇである。

実施形態によれば、フラグはｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇである。

実施形態では、表示は、１つ以上のアクセスユニットの各アクセスユニット内の１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージのそれぞれが、ビデオデータストリームに設定された任意の出力層のアクセスユニットに適用され、スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージが存在しないか、１つ以上のアクセスユニットの各アクセスユニットにある非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージが、ビデオデータストリームに設定された任意の出力層のアクセスユニットに適用される場合と適用されない場合があることと、スケーラブルにネストされたピクチャタイミング補足拡張情報メッセージが存在する場合があるということを示す。

実施形態によれば、表示が、１つ以上のアクセスユニットの各アクセスユニット内の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージが、ビデオデータストリームに設定されたいずれかの出力層のアクセスユニットに適用される場合と適用されない場合があることと、スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージが存在する可能性があることとを示す場合、装置は、入力ビットストリーム又はサブビットストリームから、非スケーラブルなネストされた補足拡張情報メッセージを含むピクチャタイミングコンテンツを伴うすべての補足拡張情報ネットワーク抽象化層ユニットを削除するように構成される。

実施形態では、表示がサブビットストリームのタイミング情報が１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージから取得されるよう例えば構成し得ることを示す場合、装置は、１つ以上のスケーラブルなネストされた補足拡張情報メッセージの少なくとも１つを処理するよう例えば構成でき、それは装置がビットストリームのアクセスユニットの中の１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージの前、装置がアクセスユニット内の１つ以上の非スケーラブルネストされたピクチャタイミング補足拡張情報メッセージを処理するよう例えば構成し得る前に生じる。

実施形態では、表示が制約フラグである。装置は、１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージが、１つ以上のサブビットストリームの少なくとも１つに適用されるかどうかを示す制約フラグを含む１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージを処理するよう例えば構成し得るものである。

実施形態では、表示が第１の表示である。ビデオデータストリーム内の第２の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージからさらに取得されるかどうかを示し、及び／又はビデオデータストリーム内の第３の表示は、サブビットストリームのタイミング情報がさらに、ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージから取得されるかどうかを示す。

実施形態によれば、ビデオデータストリーム内の表示はさらに、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージからさらに取得されるかどうかを示し、及び／又はビデオデータストリーム内の表示はさらに、サブビットストリームのタイミング情報がさらに、ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージからさらに取得されるかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。装置は、サブビットストリームを取得するために入力ビットストリームを処理するものである。ビデオデータストリーム内の第１の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージから取得されるかどうかを示す。及び／又は、ビデオデータストリーム内の第２の表示は、サブビットストリームのタイミング情報が、ビデオデータストリームの１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージから取得されるかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。装置は、サブビットストリームを取得するために入力ビットストリームを処理するものである。ビデオデータストリームは、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージを含む。ビデオデータストリームが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージを含む場合、装置は、スケーラブルなネストされた補足拡張情報メッセージに応じて、１つ以上の非スケーラブルなネストされたタイミング情報拡張情報メッセージのすべてを、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージによる（例えば、タイミング情報は、ピクチャタイミング情報又はバッファリング周期情報又は復号ユニット情報である）。又は、１つ以上の非スケーラブルなネストされたタイミング情報補足拡張情報メッセージの少なくとも１つを含むサブセットは、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージによる（例えば、タイミング情報は、ピクチャタイミング情報又はバッファリング周期情報又は復号ユニット情報である）。

実施形態によれば、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージは、１つ以上の非スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージであり、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージは、スケーラブルなネストされたピクチャタイミング補足拡張情報メッセージである。又は、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージは、１つ以上の非スケーラブルなネストされたバッファリング周期補足拡張情報メッセージであり、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージは、スケーラブルなネストされたバッファリング周期補足拡張情報メッセージである。又は、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージは、１つ以上の非スケーラブルなネストされた復号ユニット補足拡張情報メッセージであり、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージは、スケーラブルなネストされた復号ユニット補足拡張情報メッセージである。

実施形態では、ビデオデータストリームが、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージを例えば含むことができる。タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージが、ビットストリームのアクセスユニット内のタイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージの前に発生する。装置は、タイミング情報を含む１つ以上の非スケーラブルなネストされた補足拡張情報メッセージの前に、タイミング情報を含むスケーラブルなネストされた補足拡張情報メッセージを処理するよう例えば構成し得る。

実施形態によれば、タイミング情報は、仮想参照デコーダのタイミング情報である。

実施形態では、サブビットストリームは、出力層セットに依存し、及び／又はサブ層に依存し、及び／又はサブピクチャに依存し、及び／又は復号ユニットのサブセットに依存する。

実施形態によれば、装置は、例えば、サブビットストリームを復号してビデオを復号するように構成され得る。

さらに、実施形態によれば、ビデオをビデオデータストリーム中に符号化するための、またビデオを復号するためのシステムが提供される。システムは、上記のようなビデオエンコーダ、及び上記のような装置を含む。ビデオエンコーダは、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するよう例えば構成し得る。装置は、ビデオデータストリームを入力ビットストリームとして受信するよう例えば構成し得る。さらに、装置は、サブビットストリームを取得するために入力ビットストリームを処理するよう例えば構成し得る。さらに、装置は、例えば、サブビットストリームを復号してビデオを復号するように構成され得る。

ＶＶＣドラフト仕様には、ＨＲＤタイミング動作を制御するＳＥＩメッセージ、つまり、ビットストリームが復号されるときのバッファリング周期ＳＥＩメッセージとピクチャタイミングＳＥＩメッセージが含まれている。

現在、ＶＶＣドラフト仕様には、いくつかのターゲットのＴｅｍｐｏｒａｌ ＩＤに適用されるすべてのＰｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩメッセージがすでに含まれている。つまり、時間のスケーラビリティは、追加のタイミング情報のスケーラブルなネストを必ずしも必要としない。したがって、サブビットストリームを抽出する場合（例えば、ＯＬＳを介した階層化シナリオで、又はサブピクチャの抽出によって空間的に）、場合によっては、そのような方法でＰｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩメッセージを変更／交換する必要がない場合がある。

以下では、出力レイヤセット抽象化が説明される。

一実施形態では、ビットストリーム内のＰｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩメッセージが、ビットストリーム（いくつかのＯＬＳ Ｂによって定義された／対応する）の任意のサブビットストリーム（何らかのＯｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ（ＯＬＳ）Ａに定義された／対応する）に適用されるということを示すシグナリングが追加され、Ｂｕｆｆｅｒｉｎｇ周期のＳＥＩメッセージのみが、スケーラブルにネストされた対に置き換えられる。構文例：

現在のところ、スケーラブルなネストＳＥＩメッセージは、アクセスユニット内のＨＲＤ ＳＥＩメッセージの後に続く。したがって、上記の実施形態の一部として、ｕｓｅ＿ｏｒｉｇ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｆｌａｇが１に等しい場合、ＯＬＳ固有のＨＲＤ ＳＥＩメッセージを含むスケーラブルなネストＳＥＩメッセージは、ビットストリーム順序でアクセスユニット内のそれぞれのＰＴ ＳＥＩメッセージ（抽出中に保持するメッセージ）の前に発生する必要がある。

又は、代替の実施形態では、表示は、制約フラグとしてＶＰＳにある：

又は、代替の実施形態では、表示は、制約フラグとして Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩにある。

この抽出プロセスが変更された。

以下では、サブビットストリームの抽出プロセス中のＤＰＳリライトが説明される。

このプロセスへの入力は、ビットストリームｉｎＢｉｔｓｔｒｅａｍ、ターゲットＯＬＳインデックスｔａｒｇｅｔＯｌｓＩｄｘ、及びターゲットの最高のＴｅｍｐｏｒａｌＩｄ値ｔＩｄＴａｒｇｅｔである。

このプロセスの出力は、サブビットストリームｏｕｔＢｉｔｓｔｒｅａｍである。

プロセスの出力である任意の出力である任意の出力サブビットストリームがビットストリーム、ＶＰＳで指定されたＯＬＳのリストのインデックスに等しいｔａｒｇｅｔＯｌｓＩｄｘと、入力としての包括的な０から６の範囲の任意の値に等しいｔＩｄＴａｒｇｅｔについてこの句で指定し、次の条件を満たすものは、準拠するビットストリームである必要がある。
・出力サブビットストリームには、少なくとも１つのＶＣＬ ＮＡＬユニットが含まれ、ｎｕｈ＿ｌａｙｅｒ＿ｉｄはＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］のそれぞれと等しくなる。
・出力サブビットストリームには、ＴｅｍｐｏｒａｌＩｄがｔＩｄＴａｒｇｅｔに等しいＶＣＬ ＮＡＬユニットが少なくとも１つ含まれている。
注－準拠するビットストリームは、０に等しいＴｅｍｐｏｒａｌＩｄを備える１つ以上のコード化されたスライスＮＡＬユニットを含むが、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するコード化スライスＮＡＬユニットを含める必要はない。
出力サブビットストリームＯｕｔＢｉｔｓｔｒｅａｍは、次のように導出される。
・ビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、ビットストリームｉｎＢｉｔｓｔｒｅａｍと同一に設定される。
・ＴｅｍｐｏｒａｌＩｄがｔＩｄＴａｒｇｅｔより大きいすべてのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから削除する。
・ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＶＰＳ＿ＮＵＴ、ＤＰＳ＿ＮＵＴ、及びＥＯＢ＿ＮＵＴのいずれとも等しくなく、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがリストＬａｙｅｒＩｄＩｎＯｌｓ ［ｔａｒｇｅｔＯｌｓＩｄｘ］に含まれていないすべてのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから削除する。
・ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１であり、包括的に０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１までの範囲のｉの値がないスケーラブルなネストのＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから削除する。例えば、ＮｅｓｔｉｎｇＯｌｓＩｄｘ ［ｉ］はｔａｒｇｅｔＯｌｓＩｄｘと同じである。
・ｔａｒｇｅｔＯｌｓＩｄｘが０より大きい場合、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング周期）、１（ピクチャタイミング）、又は１３０（復号ユニット情報）に等しい非スケーラブルなネストされたＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから削除する。
・ｔａｒｇｅｔＯｌｓＩｄｘが０より大きく、ｕｓｅ＿ｏｒｉｇ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｆｌａｇ／ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｗｉｔｈｉｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、ｐａｙｌｏａｄＴｙｐｅが１（ピクチャタイミング）に等しい非スケーラブルなネストされたＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから削除する。
・ｏｕｔＢｉｔｓｔｒｅａｍが、スケーラブルなネストＳＥＩメッセージを含み、ｏｕｔＢｉｔｓｔｒｅａｍに適用可能なＳＥＩ ＮＡＬユニットが含まれている場合（ＮｅｓｔｉｎｇＯｌｓＩｄｘ ［ｉ］はｔａｒｇｅｔＯｌｓＩｄｘに等しい）、以下を行う：
・スケーラブルなネストＳＥＩメッセージから、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング周期）、１（ピクチャタイミング）、又は１３０（復号ユニット情報）に等しい適切な非スケーラブルなネストされたＳＥＩメッセージを抽出し、それらのメッセージをｏｕｔＢｉｔｓｔｒｅａｍに入れる。
・さもなければ（ｕｓｅ＿ｏｒｉｇ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｆｌａｇ／ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｗｉｔｈｉｎ＿ｏｌｓ＿ｆｌａｇが１に等しいとき）、ｏｕｔＢｉｔｓｔｒｅａｍ（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］がｔａｒｇｅｔＯｌｓＩｄｘに等しい）に対して適用可能であるものが存在するときスケーラブルなネストＳＥＩメッセージから、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング周期）、又は１３０（復号ユニット情報）に等しい適切な非スケーラブルなネストされたＳＥＩメッセージを抽出し、それらのメッセージをｏｕｔＢｉｔｓｔｒｅａｍに入れる。
・スケーラブルなネストＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから削除する。

表示、例えばフラグは、例えばｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇ、又は例えばｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｗｉｔｈｉｎ＿ｏｌｓ＿ｆｌａｇなどを使用し得る。

ｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇ（又はｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｗｉｔｈｉｎ＿ｏｌｓ＿ｆｌａｇ）が最初の値、例えば１に等しい場合、各ＡＵの非スケーラブルネストＰＴ ＳＥＩメッセージがビットストリーム内のすべてのＯＬＳのＡＵに適用され、スケーラブルなネストされたＰＴ ＳＥＩメッセージがないことを指定する。ｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇが２番目の値、例えば０に等しい場合、各ＡＵの非スケーラブルなネストされたＰＴ ＳＥＩメッセージが、ビットストリーム内の任意のＯＬＳのＡＵに適用される場合と適用されない場合があり、スケーラブルにネストされたＰＴＳＥＩメッセージが存在する場合がある。

例えば、ｇｅｎｅｒａｌ＿ｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｉｎ＿ａｌｌ＿ｏｌｓ＿ｆｌａｇが２番目の値、例えば０に等しい場合、（装置は）入力ビットストリーム又は出力ビットストリーム（例えば、ｏｕｔＢｉｔｓｔｒｅａｍ ／ ｓｕｂ－ｂｉｔｓｔｒｅａｍ）から、ｐａｙｌｏａｄＴｙｐｅが１（ＰＴ）に等しい、非スケーラブルなネストされたＳＥＩメッセージを構成するすべてのＳＥＩ ＮＡＬユニットを削除する。

実施形態では、バッファリング周期ＳＥＩメッセージもまた、場合によっては、スケーラブルなネストされた変形による置換を必要としない場合があり、その結果、パラメータセット又はバッファリング周期ＳＥＩメッセージ自体で追加の指示を伝送することができ、指示されたタイミングは、抽出されたサブビットストリームにも適用され、抽出プロセスは、それぞれの指示に応じて元のＢＰ及びＰＴ ＳＥＩメッセージを保持するようにさらに変更される。

以下では、サブピクチャの抽出が説明される。

サブピクチャサブビットストリーム抽出の場合を考慮する別の実施形態では、それぞれの信号がビットストリームに追加され（例えば、サブピクチャネストＳＥＩメッセージ、Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩメッセージ、パラメータセットの構文で）、ビットストリーム内のＰｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩメッセージは、ビットストリームに含まれるすべてのサブピクチャの組み合わせによって構成されるビットストリームのサブピクチャ又はサブピクチャセットによって定義される任意のサブビットストリームに適用され、バッファリング周期のＳＥＩメッセージのみがサブピクチャがネストされた対応物に置き換えられる。

代替的に、バッファリング周期ＳＥＩメッセージもまた、場合によっては、サブピクチャなネストされた変形による置換を必要としない場合があり、その結果、パラメータセット又はバッファリング周期ＳＥＩメッセージ自体で追加の指示を伝送することができ、指示されたタイミングは、抽出されたサブビットストリームにも適用され、抽出プロセスは、それぞれの指示に応じて元のＢＰ及びＰＴ ＳＥＩメッセージを保持するようにさらに変更される。

以下では、スケーラブルなネストされたＨＲＤ ＳＥＩメッセージの存在に基づく非スケーラブルなネストされたＨＲＤ ＳＥＩメッセージの削除について説明する。

本発明の別の実施形態では、非スケーラブルなネストされたＨＲＤ ＳＥＩメッセージ（例えば、ＢＰ、ＰＴ、ＤＵＩ ＳＥＩメッセージ）の範囲、すなわち、それらの一部（例えば、ＰＴ ＳＥＩメッセージのみ）又はそれらのすべてが抽出可能なサブビットストリーム（例えば、ＯＬＳ）は、スケーラブルなネストされたＨＲＤ ＳＥＩメッセージの形式でそれぞれの代替ＳＥＩメッセージが存在することによって示され、このようなメッセージがない場合は、それぞれの非スケーラブルなＨＲＤ ＳＥＩメッセージがＯＬＳに適用されることを示す。この範囲表示の結果は、サブビットストリーム抽出プロセスでの非スケーラブルなネストされたＳＥＩメッセージの削除は、削除されたメッセージの代わりとして機能できるスケーラブルなネストされたＳＥＩメッセージの存在に依存し、そのようなスケーラブルなネストされたＳＥＩメッセージがない場合に、非スケーラブルなネストされたＳＥＩメッセージは、抽出されたサブビットストリームに残る。

さらなる実施形態では、それぞれのスケーラブルにネストされたＨＲＤ ＳＥＩメッセージは、抽出中のビットストリームの順次の処理を容易にするために、アクセスユニットにおいてビットストリーム順序で非スケーラブルなネストされたＨＲＤ ＳＥＩメッセージの前に配置される。

以下では、簡略化されたスケーラブルなネストについて説明する。

実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、複数のアクセスユニットを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、アクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しい。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、複数のアクセスユニットを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオデータストリームは、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報がアクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しいかどうかを示す表示を含む。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、複数のアクセスユニットを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れる。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、複数のアクセスユニットを含む。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオデータストリームは、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報が、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れるかどうかを示す表示を含む。

実施形態で、識別子が同じ値で、出力層セットを識別する、アクセスユニット内のすべてのスケーラブルなネストされた補足拡張情報メッセージは、同じバッファ周期情報及び／又は同じピクチャタイミング情報を例えば伝送するようにし得る。

実施形態によれば、複数のアクセスユニットの特定のアクセスユニットについて、前記出力層セットの層及びサブ層のセットに適用される任意のピクチャタイミング補足拡張情報メッセージは、同じピクチャタイミング情報を例えば伝送するようにし得る。及び／又は、複数のアクセスユニットの特定のアクセスユニットについて、前記出力層セットの層及びサブ層のセットに適用される任意のバッファ周期補足拡張情報メッセージは、同じバッファ周期情報を例えば伝送するようにし得る。及び／又は、複数のアクセスユニットの特定のアクセスユニットについて、前記出力層セットの層及びサブ層のセットに適用される任意の復号ユニット補足拡張情報メッセージは、同じ復号ユニット情報を例えば伝送するようにし得る。

実施形態で、識別子が同じ値で、出力層セットを識別する、アクセスユニット内の特定のペイロードタイプの２つのスケーラブルなネストされた補足拡張情報メッセージの場合、同じコンテンツを例えば伝送するようにし得る。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが複数のアクセスユニットを含むように、ビデオデータストリームを生成する。複数のアクセスユニットの各アクセスユニットに関する。アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオエンコーダは、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報がアクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しくなるように、ビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが複数のアクセスユニットを含むように、ビデオデータストリームを生成する。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオエンコーダは、ビデオデータストリームが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報がアクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しいかどうかを示す表示を含むよう、ビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが複数のアクセスユニットを含むように、ビデオデータストリームを生成する。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れるよう、ビデオエンコーダは、ビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが複数のアクセスユニットを含むように、ビデオデータストリームを生成する。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオエンコーダは、ビデオデータストリームが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れるかどうかを示す表示を含むよう、ビデオデータストリームを生成する。

実施形態で、識別子が同じ値で、出力層セットを識別する、アクセスユニット内のすべてのスケーラブルなネストされた補足拡張情報メッセージは、同じバッファ周期情報及び／又は同じピクチャタイミング情報を例えば伝送するようにし得る。

実施形態によれば、複数のアクセスユニットの特定のアクセスユニットについて、前記出力層セットの層及びサブ層のセットに適用される任意のピクチャタイミング補足拡張情報メッセージは、同じピクチャタイミング情報を例えば伝送するようにし得る。及び／又は、複数のアクセスユニットの特定のアクセスユニットについて、前記出力層セットの層及びサブ層のセットに適用される任意のバッファ周期補足拡張情報メッセージは、同じバッファ周期情報を例えば伝送するようにし得る。及び／又は、複数のアクセスユニットの特定のアクセスユニットについて、前記出力層セットの層及びサブ層のセットに適用される任意の復号ユニット補足拡張情報メッセージは、同じ復号ユニット情報を例えば伝送することができる。

実施形態で、識別子が同じ値で、出力層セットを識別する、アクセスユニット内の特定のペイロードタイプの２つのスケーラブルなネストされた補足拡張情報メッセージの場合、同じコンテンツを例えば伝送するようにし得る。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。入力ビットストリームは、複数のアクセスユニットを含む。装置は、入力ビットストリームのアクセスユニットを処理して、サブビットストリームを取得する。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、アクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しい。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。入力ビットストリームは、複数のアクセスユニットを含む。装置は、入力ビットストリームのアクセスユニットを処理して、サブビットストリームを取得する。複数のアクセスユニットの各アクセスユニットに関する。アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む２つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオデータストリームは、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報がアクセスユニットの２つ以上のスケーラブルなネストされた補足拡張情報メッセージのすべてで等しいかどうかを示す表示を含む。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。入力ビットストリームは複数のアクセスユニットを含み、装置は入力ビットストリームのアクセスユニットを処理して、サブビットストリームを取得する。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報は、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れる。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための装置が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。入力ビットストリームは、複数のアクセスユニットを含む。装置は、入力ビットストリームのアクセスユニットを処理して、サブビットストリームを取得する。複数のアクセスユニットの各アクセスユニットについて、アクセスユニットが、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報を含む３つ以上のスケーラブルなネストされた補足拡張情報メッセージを含む場合、ビデオデータストリームは、出力層セットのバッファ周期情報及び／又はピクチャタイミング情報が、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの１つと、３つ以上のスケーラブルなネストされた補足拡張情報メッセージの前記１つにすぐに引き継ぐ３つ以上のスケーラブルなネストされた補足拡張情報メッセージの別の１つのみに現れるかどうかを示す表示を含む。

実施形態で、識別子が同じ値で、出力層セットを識別する、アクセスユニット内のすべてのスケーラブルなネストされた補足拡張情報メッセージは、同じバッファ周期情報及び／又は同じピクチャタイミング情報を例えば伝送するようにし得る。

実施形態によれば、複数のアクセスユニットの特定のアクセスユニットについて、前記出力層セットの層及びサブ層のセットに適用される任意のピクチャタイミング補足拡張情報メッセージは、同じピクチャタイミング情報を例えば伝送するようにし得る。及び／又は、複数のアクセスユニットの特定のアクセスユニットについて、前記出力層セットの層及びサブ層のセットに適用される任意のバッファ周期補足拡張情報メッセージは、同じバッファ周期情報を例えば伝送するようにし得る。及び／又は、複数のアクセスユニットの特定のアクセスユニットについて、前記出力層セットの層及びサブ層のセットに適用される任意の復号ユニット補足拡張情報メッセージは、同じ復号ユニット情報を例えば伝送することができる。

実施形態で、識別子が同じ値で、出力層セットを識別する、アクセスユニット内の特定のペイロードタイプの２つのスケーラブルなネストされた補足拡張情報メッセージの場合、同じコンテンツを例えば伝送するようにし得る。

実施形態によれば、装置が出力層セットのバッファ周期スケーラブルなネストされた補足拡張情報メッセージを見つけた場合、装置は、前記出力層セットのさらなるバッファ周期スケーラブルなネストされた補足拡張情報メッセージを検索することなく、前記出力層セットの前記バッファ周期スケーラブルなネストされた補足拡張情報のコンテンツを使用するよう例えば構成し得る。及び／又は、装置が出力層セットのピクチャタイミングスケーラブルなネストされた補足拡張情報メッセージを見つけた場合、装置は、前記出力層セットのさらなるピクチャタイミングスケーラブルなネストされた補足拡張情報メッセージを検索することなく、前記出力層セットの前記ピクチャタイミングスケーラブルなネストされた補足拡張情報のコンテンツを使用するよう例えば構成し得る。

実施形態によれば、装置は、例えば、サブビットストリームを復号してビデオを復号するように構成され得る。

さらに、実施形態によれば、ビデオをビデオデータストリーム中に符号化するための、ビデオを復号するためのシステムが提供される。システムは、上記のようなビデオエンコーダ、及び上記のような装置を含む。ビデオエンコーダは、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するよう例えば構成し得る。装置は、ビデオデータストリームを入力ビットストリームとして受信するよう例えば構成し得る。さらに、装置は、サブビットストリームを取得するために入力ビットストリームを処理するよう例えば構成し得る。さらに、装置は、例えば、サブビットストリームを復号してビデオを復号するように構成され得る。

スケーラブルなネストＳＥＩメッセージを使用して、ビットストリーム内のすべてのＯＬＳのＢＰ及びＰＴ ＳＥＩメッセージを置き換えることができる場合、現在の最先端技術により、エンコーダはＢＰ及びＰＴを複数のスケーラブルなネスティングＳＥＩメッセージに分散できる。このようなビットストリームを処理するエクストラクタは、適切なスケーラブルなネストされたＢＰ及びＰ ＳＥＩメッセージが見つかるまで、アクセスユニット内のすべてのスケーラブルなネストされたＳＥＩメッセージ（ＯＬＳと繰り返しの量を考慮すると多くなる可能性がある）をスキャンする必要がある。

エンコーダが最初のスケーラブルにネストされたＢＰ又はＰＴＳＥＩメッセージをビットストリームのアクセスユニットに入れ、前記アクセスユニットの画像をエンコードする過程で、前記ＢＰ又はＰＴ ＳＥＩメッセージパラメータの更新が必要であることに気付いた場合、別のＢＰ又はＰＴＳＥＩメッセージをビットストリームの前記アクセスユニットに書き込むと、エクストラクタは、前記アクセスユニットを抽象化するときビットストリーム内のアクセスユニットに配置された最新又は最も新規のＢＰ又はＰＴ ＳＥＩメッセージを使用するのを確実にする必要によって、順次重荷になる。

本発明は、上記の無意味なオプションを取り除く制約を課すことによって、抽出器の操作を単純化することである。

実施形態では、例えば、ネストの値が同じであるアクセスユニット内のすべてのスケーラブルなＳＥＩメッセージ（すなわち、ＯＬＳを識別する識別子／インデックス）が同じコンテンツ（例えば、同じバッファリング期間情報及び／又は同じピクチャ／タイミング情報）を運ぶことは、ビットストリーム適合性の要件であり得る。これにより、ＯＬＳのＢＰ及びＰＴ ＳＥＩメッセージを１つのスケーラブルなネスティングＳＥＩメッセージで見つけることができ、エクストラクタは、ターゲットのＯＬＳでスケーラブルなネスティングＳＥＩメッセージを見つけたら、必要なすべての情報を確実に取得できる。

実施形態では、例えば、識別子、例えばインデックス、ＯＬＳを識別、の値が同じであるアクセスユニット内のすべてのスケーラブルなネストされたＳＥＩメッセージが同じコンテンツ（例えば、同じバッファリング期間情報及び／又は同じピクチャ／タイミング情報）を伝送することは、ビットストリーム適合性の要件であり得る。例えば、特定のアクセスユニットの場合、層とサブ層のセットに適用されるいずれかのＰＴ ＳＥＩメッセージ（例えば、特定のＯＬＳの場合）は、ペイロードが同じである必要がある（例えば、２つの別個のスケーラブルなネストＳＥＩメッセージに含まれる２つのＰＴ ＳＥＩメッセージの場合）。同じことがＢＰＳＥＩメッセージとＤＵＩ ＳＥＩメッセージにも当てはまる。これにより、ＯＬＳのＢＰ及びＰＴ ＳＥＩメッセージを１つのスケーラブルなネスティングＳＥＩメッセージで見つけることができ、エクストラクタは、ターゲットのＯＬＳでスケーラブルなネスティングＳＥＩメッセージを見つけたら、必要なすべての情報を確実に取得できる。

実施形態では、例えば、識別子、例えばインデックス、ＯＬＳの識別、の値が同じであるアクセスユニット内のすべてのスケーラブルなネストされたＳＥＩメッセージが同じコンテンツ（例えば、同じバッファリング期間情報及び／又は同じピクチャ／タイミング情報）を伝送することは、ビットストリーム適合性の要件であり得る。例えば、同じＯＬＳに適用される２つのスケーラブルにネストされたＰＴ ＳＥＩメッセージを伝送するビットストリーム内の特定のアクセスユニットの場合、これら２つのスケーラブルにネストされたＰＴ ＳＥＩメッセージのペイロードは等しく、エクストラクタは確かに、ターゲットのＯＬＳでスケーラブルなネストＳＥＩメッセージが見つかると、必要なすべての情報が得られる。

実施形態では、例えば、識別子、例えばインデックス、ＯＬＳを識別、の値が同じであるアクセスユニット内のすべてのスケーラブルなネストされたＳＥＩメッセージが同じコンテンツ（例えば、同じバッファリング期間情報及び／又は同じピクチャ／タイミング情報）を伝送することは、ビットストリーム適合性の要件であり得る。例えば、ＯＬＳのＢＰ及びＰＴ ＳＥＩメッセージを１つのスケーラブルなネスティングＳＥＩメッセージで見つけることができ、エクストラクタは、ターゲットのＯＬＳでスケーラブルなネスティングＳＥＩメッセージを見つけたら、必要なすべての情報を確実に取得できる。

実施形態によれば、例えば、ＯＬＳに適用可能なＢＰ及びＰＴ ＳＥＩメッセージが、他のいずれかのスケーラブルなネスティングＳＥＩメッセージＮＡＬユニットなしで、ＯＬＳに適用できず、２つのスケーラブルなネスティングＳＥＩメッセージ内に入ることが、ビットストリーム適合の要件であり得る。

以下では、低遅延とＤＵタイミングの時間的スケーラビリティについて説明する。

実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、複数のアクセスユニットを含む。ビデオデータストリームは、ビデオデータストリームのサブビットストリームの数に依存する拡散係数を含む、又は、ビデオデータストリームは、ビデオデータストリームのサブビットストリームの中で最も高いサブビットストリームに依存するクロックサブティック値を含む。

実施形態によれば、サブビットストリームの各々は、出力層セットに依存し、及び／又はサブ層に依存し、及び／又はサブピクチャに依存する。

実施形態で、復号ユニット除去時間は、アクセスユニットの除去時間及び前記拡散係数に依存する。

実施形態によれば、ビデオデータストリームは、時間的距離を含み、時間的距離は、導出されたクロックサブティック値で乗算され、前記導出されたクロックサブティック値は、前記拡散係数を使用して導出可能である。

実施形態にて、前記複数の拡散係数のそれぞれは、複数のサブ層のサブ層に割り当てられる。ビデオデータストリームは、例えば複数のアクセスユニットを例えば含み得る。

クロックサブティック値はクロックティックに依存し、さらに前記拡散に依存する。

クロックサブティック値が、次のように定義される：
ＣｌｏｃｋＳｕｂＴｉｃｋ＝
＝ ＣｌｏｃｋＴｉｃｋ÷（ ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｍｉｎｕｓ２＋２ ） ＊ （ ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｆａｃｔｏｒ＿ｍｉｎｕｓ１［ＨＴｉｄ］＋ １ ）
ＣｌｏｃｋＳｕｂＴｉｃｋはクロックサブティック値であり、Ｃｌｏｃｋ Ｔｉｃｋはクロックティックであり、ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｍｉｎｕｓ２は追加のティック除数であり、ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｆａｃｔｏｒ＿ｍｉｎｕｓ１［ＨＴｉｄＵ＋００Ａ０］はビデオデータストリーム。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが複数のアクセスユニットを含むように、ビデオデータストリームを生成する。さらに、ビデオエンコーダは、ビデオデータストリームがビデオデータストリームのサブビットストリームの数に依存する拡散係数を含むよう、ビデオデータストリームを生成する、又は、ビデオエンコーダは、ビデオデータストリームがビデオデータストリームのサブビットストリームの中で最も高いサブビットストリームに依存するクロックサブティック値を含むように、ビデオデータストリームを生成するようにする。

実施形態によれば、サブビットストリームの各々は、出力層セットに依存し、及び／又はサブ層に依存し、及び／又はサブピクチャに依存する。

実施形態では、ビデオエンコーダは、復号ユニットと除去時間がアクセスユニットの除去時間及び前記拡散係数に依存するように前記ビデオデータストリームを発生させるよう例えば構成できる。

実施形態によれば、ビデオデータストリームは、時間的距離を例えば含み得、時間的距離は、導出されたクロックサブティック値で乗算され、前記導出されたクロックサブティック値は、前記拡散係数を使用して導出可能である。

実施形態にて、複数の拡散係数のそれぞれは、複数のサブ層のサブ層に割り当てられる。ビデオエンコーダは、例えば、ビデオデータストリームが例えば複数の拡散係数を含み得るようにビデオデータストリームを生成するように構成され得る。

クロックサブティック値はクロックティックに依存し、さらに前記拡散に依存する。

クロックサブティック値が、次のように定義される：
ＣｌｏｃｋＳｕｂＴｉｃｋ＝
＝ ＣｌｏｃｋＴｉｃｋ÷（ ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｍｉｎｕｓ２＋２ ） ＊ （ ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｆａｃｔｏｒ＿ｍｉｎｕｓ１［ＨＴｉｄ］＋ １ ）
ＣｌｏｃｋＳｕｂＴｉｃｋはクロックサブティック値であり、Ｃｌｏｃｋ Ｔｉｃｋはクロックティックであり、ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｍｉｎｕｓ２は追加のティック除数であり、ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｆａｃｔｏｒ＿ｍｉｎｕｓ１［ＨＴｉｄＵ＋００Ａ０］はビデオデータストリームである。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有るように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが、サブ層についてサブ層固有のフレームレート情報を含むようにビデオデータストリームを生成する、及び／又はビデオエンコーダは、ビデオデータストリームが、サブ層についてサブ層固有のフレーム表示時間情報を含むように、ビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するためのビデオデコーダであって、ビデオデータストリームがその中に符号化されるビデオを有するビデオデコーダ。ビデオデータストリームは、複数のアクセスユニットを含む。ビデオデコーダは、ビデオデータストリームを復号して前記ビデオを復号するものである。ビデオデータストリームは、ビデオデータストリームのサブビットストリームの数に依存する拡散係数を含み、ビデオデコーダは、拡散係数を使用してビデオをデコードするものであるか、ビデオデータストリームは、ビデオデータストリームのサブビットストリームの中で最も高いサブビットストリームに依存するクロックサブティック値を含み、ビデオデコーダがクロックサブティック値を使用してビデオを復号する。

実施形態によれば、サブビットストリームの各々は、出力層セットに依存し、及び／又はサブ層に依存し、及び／又はサブピクチャに依存する。

実施形態で、復号ユニット除去時間は、アクセスユニットの除去時間及び拡散係数に依存する、請求項１４２又は１４３に記載のビデオデコーダ。

実施形態では、ビデオデータストリームは、例えば、時間的距離を含み得る。ビデオデコーダは、時間的距離に、導出されたクロックサブティック値を乗算するよう例えば構成し得る。ビデオデコーダは、拡散係数を使用して、導出されたクロックサブティック値を導出するよう例えば構成し得る。

実施形態では、拡散係数は、複数の拡散係数のうちの１つである。複数の拡散係数のそれぞれは、複数のサブ層のサブ層に例えば割り当てられ得る。ビデオデータストリームは、例えば複数のアクセスユニットを例えば含み得る。ビデオデコーダは、複数の拡散係数を使用して前記ビデオを復号するよう例えば構成し得る。

実施形態では、クロックサブティック値はクロックティックに依存し、さらに拡散係数に依存する。

実施形態ではクロックサブティック値が、次のように定義される：
ＣｌｏｃｋＳｕｂＴｉｃｋ＝
＝ ＣｌｏｃｋＴｉｃｋ÷（ ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｍｉｎｕｓ２＋２ ） ＊ （ ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｆａｃｔｏｒ＿ｍｉｎｕｓ１［ＨＴｉｄ］＋ １ ）
ＣｌｏｃｋＳｕｂＴｉｃｋはクロックサブティック値であり、Ｃｌｏｃｋ Ｔｉｃｋはクロックティックであり、ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｍｉｎｕｓ２は追加のティック除数であり、ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｆａｃｔｏｒ＿ｍｉｎｕｓ１［ＨＴｉｄＵ＋００Ａ０］はビデオデータストリーム。

さらに、一実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。ビデオデコーダは、ビデオデータストリームを復号して前記ビデオを復号するものである。ビデオデータストリームは、サブ層のサブ層固有のフレームレート情報を含み、及び／又はビデオデータストリームはサブ層に対するサブ層固有のフレーム表示期間情報を含む。デコーダは、サブ層のサブ層固有フレームレート情報を使用して、及び／又はサブ層固有のフレーム表示期間情報を使用して、拡散係数を決定するものである。

さらに、実施形態によれば、ビデオをビデオデータストリーム中に符号化するための、またビデオを復号するためのシステムが提供される。システムは、上記のようなビデオエンコーダ、及び上記のような装置を含む。ビデオエンコーダは、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化する。ビデオデコーダは、ビデオデータストリームを受信して、ビデオデータストリームをビデオに復号するものである。

時間のサブ層を削除すると、下位の時間のサブ層の残りのアクセスユニットの削除時間が変更される。特に、フレームの並べ替えがある場合はそうである。ただし、低遅延構成では、特にＤＵタイミングが提供される場合、除去時間は非常に構造化された方法で変更される、つまり、結果としてデコード時間が時間の経過とともにスケーリング又は拡がるように変更される。図４は、アクセスユニットごとに３つのＤＵがある場合の問題を示している。

ビットストリーム全体がデコードされるときのＡＵの最終的なデコード時間は、そのサブストリームのみの場合とは異なるため、超低遅延の特性が失われることに留意されたい。通常、これは様々なデコード機能の結果である、つまり、６０ ｆｐｓをデコードできるデコーダは１／６０秒でフレームを処理できるが、３０ｆｐｓをデコードできるデコーダは１／３０秒でしかフレームを処理できない。

ＤＵの削除時間は、ＡＵの削除時間のデルタとして示されていることに留意されたい。ｄｅｌｔａＴｉｍｅは、画像タイミングＳＥＩメッセージ又はＤｅｃｏｄｉｎｇ Ｕｎｉｔ Ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩメッセージでクロックサブティックの数で通知される。このｄｅｌｔａＴｉｍｅは、ＡＵの削除時間と比較したＤＵの削除時間を示している。ＣＰＢからのＤＵ除去時間（ＡＵ除去時間と比較したｄｅｌｔａＴｉｍｅｓとして）を示すために複数の時間サブ層にループを設定する代わりに、拡散係数を導出できる。一実施形態では、拡散係数は、サブ層固有のフレームレート情報（例えば、サブ層Ｔ０ ３０ｆｐｓ、サブ層Ｌ１ ６０ｆｐｓ）又はサブ層固有のフレーム表示期間（以下のセクション６で説明されるＦｒａｍｅＴｉｍｅＩｎｔｅｒｖａｌ、例えば、サブ層Ｌ０１／３０ｓ及びサブ層Ｌ１１／ ６０ｓ）、例えば２つのそのようなサブ層のそのような情報の比率に応じてから導出される。
あるいは、そのような拡散係数を示すことができる。この実施形態は、拡散係数を示すＤＵ除去時間の情報を追加して、対応するＤＵ時間をＡＵ除去時間へのデルタとして計算するものである。

又は、次のいずれかに示されているようにする：

又は、代替の実施形態として、以下を行う：

ＨＲＤ仕様の関連変数ＣｌｏｃｋＳｕｂＴｉｃｋの派生は、次のように変更される。
変数ＣｌｏｃｋＳｕｂＴｉｃｋは次のように導出され、クロックサブティックと呼ばれる。
ｌｏｃｋＳｕｂＴｉｃｋ＝ＣｌｏｃｋＴｉｃｋ÷（ ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｍｉｎｕｓ２＋２ ） ＊ （ ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｆａｃｔｏｒ＿ｍｉｎｕｓ１［ＨＴｉｄ］＋ １ ） （Ｃ－２）

次に、ｄｅｌｔａＴｉｍｅは、ビットストリームに存在する最上位のサブ層に応じて大きい又は小さいＣｌｏｃｋＳｕｂＴｉｃｋを使用している。

あるいは、構文要素ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｍｉｎｕｓ２をサブ層ごとに複製して、最高時間サブ層（ＨＴｉｄ）がそれぞれのサブ層と等しく設定されている場合に正しいティック除数を示すこともできる。その場合、拡散係数はないが、複数のＣｌｏｃｋＳｕｂＴｉｃｋｓが通知され、それぞれがビットストリームに存在する最上位のサブ層の異なる値に対して送信されるため、サブ層が元のビットストリームから削除されると、使用されるＣｌｏｃｋＳｕｂＴｉｃｋは異なるものになる。

以下では、共通のＤＵタイミングを使用した場合のＯＬＳ抽出との関連性について説明する。

ビットストリームにＯＬＳ及び共通のＤＵタイミング（共通のＤＵタイミングを含む非スケーラブルなネストされたＰＴ ＳＥＩメッセージ）に固有の抽出可能なサブバイストリームが含まれる場合、ビットレートのオーバーヘッドと処理の複雑さの観点から、代わりとしてスケーラブルなネストされたＰＴ ＳＥＩメッセージを提供する代わりに、上記の表示（ｕｓｅ＿ｏｒｉｇ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｆｌａｇとｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｗｉｔｈｉｎ＿ｏｌｓ＿ｆｌａｇ）に対する比較という様式で、これらのＰＴ ＳＥＩメッセージを再利用することが望ましい。

図５は、２つの層が上に示され、両方の層のＡＵとＤＵの除去時間が、完全なビットストリーム（例えば、０番目のＯＬＳ）と層ＩＤ Ｌ０（例えば、１番目のＯＬＳ）で抽出された単一層について下に示されている図である。

この場合、一般的なタイミングは、ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｆａｃｔｏｒ＿ｍｉｎｕｓ１［］又は調整されたティック除数の絶対表示によって上記と同じ方法でスケーリングする必要がある（図のＤＵ時間の広がりを参照）。したがって、一実施形態では、ＶＰＳ内の各ＯＬＳ固有のＨＲＤパラメータ構文構造は、共通のＤＵ除去タイミングをスケーリングするために、前記相対係数又はティック除数の絶対値のいずれかを伝送する。

ただし、この使用のシナリオでは、ＡＵにはＬ０とＬ１の両方の画像が含まれているため、ＡＵあたりのＤＵの数は抽出によって変化する。これは、抽出後に残っているＤＵの正しい数を導出するために、態様６で後述する態様も必要であることを意味する。

以下では、共通のＤＵタイミングを使用した場合のサブピクチャ抽出との関連性について説明する。

ビットストリームにサブピクチャ（動き補償予測のためのサブピクチャ境界処理が有効）及び共通のＤＵタイミング（共通のタイミングを含む非スケーラブルなネストされたＰＴ ＳＥＩメッセージ）に固有の抽出可能なサブバイストリームが含まれる場合、ビットレートのオーバーヘッドと処理の複雑さの観点から、代わりとしてスケーラブルなネストされたＰＴ ＳＥＩメッセージを提供する代わりに、上記の表示（ｕｓｅ＿ｏｒｉｇ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｆｌａｇとｓａｍｅ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｗｉｔｈｉｎ＿ｏｌｓ＿ｆｌａｇ）に対する比較という様式で、これらのＳＥＩメッセージを再利用することが同様に望ましい。

この場合、共通のタイミングは、抽出後に残っているＤＵの正しい数を導き出すべくｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｆａｃｔｏｒ＿ｍｉｎｕｓ１［］又は調整されたティック除数の絶対表示によって上記と同じ方法でスケーリングする必要がある（図のＤＵ時間の広がりを参照）。したがって、一実施形態では、ＶＰＳ／ＳＰＳ内のサブピクチャ固有のＨＲＤパラメータ構文構造は、共通のＤＵ除去タイミングをスケーリングするために、前記相対係数又はティック除数の絶対値のいずれかを伝送する。

あるいは、ＳＥＩメッセージ（例えば、サブピクチャレベル情報ＳＥＩメッセージ）は、抽出されたサブビットストリーム内のＨＲＤパラメータを適切に導出することができるように、スケーリング情報又は絶対値を伝送する。

以下では、サブピクチャのＣＰＢ／ビットレートサイズの導出について説明する。

実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するためのビデオデコーダが提供され、ビデオデータストリームがその中に符号化されるビデオを有する。ビデオデコーダは、ビデオデータストリームを復号してビデオを復号するものである。ビデオをデコードするために、ビデオデコーダは、現在のコード化されたピクチャバッファサイズ情報を示すビデオデータストリーム内の情報に応じて、サブピクチャのコード化されたピクチャバッファサイズを推定する。

実施形態によれば、ビデオデータストリームは、参照レベルのシグナリングされたコード化されたピクチャバッファサイズを含み得る。

実施形態では、現在のレベルが参照レベルと等しい場合、前記ビデオデコーダは、前記参照レベルの前記コード化されたピクチャバッファサイズを使用して前記コード化されたピクチャバッファサイズを決定するよう例えば構成し得る。

実施形態によれば、ビデオデコーダは、ビデオデータストリームの構文要素ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］に応じてコード化されたピクチャバッファサイズを推定するよう例えば構成し得る。

実施形態では、ビデオデコーダは、ビデオデータストリームの構文要素ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅに応じてコード化されたピクチャバッファサイズを推定するよう例えば構成し得る。

実施形態によれば、ビデオデコーダは、例えば、ビデオ符号化層の符号化ピクチャバッファサイズであるサブピクチャの符号化ピクチャバッファサイズを推定するように構成され得、例えば、サブピクチャは、ネットワーク抽象化レイヤーでコード化されたピクチャバッファサイズでさらにコード化されたピクチャバッファサイズを推定できる。

実施形態では、ビデオデコーダは、参照レベルの断片の値に応じて、ビデオコーディング層コード化ピクチャバッファサイズ及び／又はネットワーク抽象化層コード化ピクチャバッファサイズを推定するよう例えば構成し得る。

実施形態によれば、ビデオデコーダは、以下によるビデオコーディング層コード化ピクチャバッファサイズを推定するよう例えば構成し得る：
ＳｕｂＰｉｃＣｂｐＳｉｚｅＶｃｌ［ｓ］＝
＝ Ｆｌｏｏｒ（（ ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋ １ ）
＊ ２^{（ ４ ＋ ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅ ）}＊ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）
前記装置は、以下による前記ネットワーク抽象化層コード化ピクチャバッファサイズを推定するよう例えば構成し得る：
ＳｕｂＰｉｃＣｂｐＳｉｚｅＮａｌ［ｓ］＝
＝ Ｆｌｏｏｒ（（ ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋ １ ）
＊ ２^{（ ４ ＋ ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅ ）}＊ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）、
ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎは、前記参照レベルの断片の値である。

実施形態では、ビデオデコーダは、以下によるビデオコーディング層コード化ピクチャバッファサイズを推定するよう例えば構成し得る：
ＳｕｂｐｉｃＣｐｂＳｉｚｅＶｃｌ［ｉ］［ｊ］［ｋ］＝
Ｆｌｏｏｒ（ＣｐｂＶｃｌＦａｃｔｏｒ＊ＭａｘＣＰＢ＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］［ｋ］÷２５６）
ＳｕｂｐｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］［ｊ］［ｋ］＝Ｆｌｏｏｒ（ＣｐｂＮａｌＦａｃｔｏｒ＊ＭａｘＣＰＢ＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］［ｋ］÷２５６）
ｉとｊとｋはインデックスであり、ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］［ｋ］は実数である。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するためのビデオデコーダが提供され、ビデオデータストリームがその中に符号化されるビデオを有する。ビデオデコーダは、ビデオデータストリームを復号して前記ビデオを復号するものである。ビデオをデコードするために、ビデオデコーダは、現在コード化されているビデオシーケンスのビットレート情報を示すビデオデータストリーム内の情報に応じて、サブピクチャのビットレートを推定するものである。

実施形態によれば、ビデオデータストリームは、サブピクチャのビットレートが現在コード化されているビデオシーケンスのビットレート情報を使用して推定されるべきであるかを示す表示を例えば含み得る。ビデオデータストリームの表示が、サブピクチャのビットレートが現在コード化されているビデオシーケンスのビットレート情報を使用して推定されることを示している場合、ビデオデコーダは、現在コード化されているビデオシーケンスのビットレート情報を使用してビットレートを推定する。ビデオデータストリームの表示が、サブピクチャのビットレートが現在コード化されているビデオシーケンスのビットレート情報を使用せずに推定されることを示している場合、ビデオデコーダは、現在コード化されているビデオシーケンスのビットレート情報を使用せずに事前定義された値又は最悪の場合の値を使用してビットレートを推定する。

実施形態において、現在コード化されているビデオシーケンスのビットレート情報は、参照レベルのシグナリングされたビットレートである。ビデオデータストリームは、参照レベルのシグナリングされたビットレートを例えば含み得る。現在のレベルが参照レベルと等しい場合、ビデオデコーダは、参照レベルの前記シグナリングされたビットレートを使用してサブピクチャのビットレートを決定するよう例えば構成し得る。

実施形態によれば、ビデオデコーダは、ビデオデータストリームの構文要素ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］に応じてサブピクチャのビットレートを推定するよう例えば構成し得る。

実施形態では、ビデオデコーダは、ビデオデータストリームの構文要素ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅに応じてビットレートを推定するよう例えば構成し得る。

実施形態によれば、ビデオデコーダは、例えば、ビデオ符号化層の符号化ピクチャバッファサイズであるサブピクチャの符号化ピクチャバッファサイズを推定するように構成され得、例えば、サブピクチャは、ネットワーク抽象化レイヤーでコード化されたピクチャバッファサイズでさらにコード化されたピクチャバッファサイズを推定できる。

実施形態では、ビデオデコーダは、参照レベルの断片の値に応じて、ビデオコーディング層コード化ピクチャバッファサイズ及び／又はネットワーク抽象化層コード化ピクチャバッファサイズを推定するよう例えば構成し得る。

実施形態によれば、ビデオデコーダは、以下によりサブピクチャのビデオコーディング層ビットレートを推定するよう例えば構成し得る：
ＳｕｂＰｉｃＢｉｔＲａｔｅＶｃｌ［ｓ］＝
＝ Ｆｌｏｏｒ（（ ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋１ ） ＊ ２^{（６ ＋ ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅ）} ＊ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）

装置は、以下によりサブピクチャのネットワーク抽象化層ビットレートを推定するよう例えば構成し得る：
ＳｕｂＰｉｃＢｉｔＲａｔｅＮａｌ［ｓ］＝
＝ Ｆｌｏｏｒ（（ ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋１ ） ＊ ２^{（６ ＋ ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅ）} ＊ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）

ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎは、参照レベルの断片の値である。

実施形態では、ビデオデコーダは、以下によりサブピクチャのビデオコーディング層ビットレートを推定するよう例えば構成し得る：
ＳｕｂｐｉｃＢｉｔＲａｔｅＶｃｌ［ｉ］［ｊ］［ｋ］＝Ｆｌｏｏｒ（ＣｐｂＶｃｌＦａｃｔｏｒ＊ＶａｌＢＲ＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［０］［ｊ］［ｋ］÷２５６）

ＳｕｂｐｉｃＢｉｔＲａｔｅＮａｌ［ｉ］［ｊ］［ｋ］＝Ｆｌｏｏｒ（ＣｐｂＮａｌＦａｃｔｏｒ＊ＶａｌＢＲ＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［０］［ｊ］［ｋ］÷２５６）
ｉとｊとｋはインデックスであり、ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］［ｋ］は実数である。

実施形態では、ｉは、例えば、特定の示された参照レベルのインデックスを示し得、ｊは、例えば、ビデオデータストリームのアクセスユニットのピクチャの特定のサブピクチャのインデックスを示し得、ｋは、例えば、ビデオデータストリームに含まれる、及び／又はビデオデコーダが動作する最大時間サブ層のインデックスを示し得る。

実施形態によれば、ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］［ｋ］は、変数ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］に例えば依存し得、これはＨｔｉｄがｋに等しい場合、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０に等しいｔａｒｇｅｔＣｖｓｓの層に関連付けられたビットストリームレベル制限のｉ番目の部分を示している。

実施形態において、
ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、又はビットストリーム内にｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０に等しい層がない場合、
例えばｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］は０であり、

ｋがｓｌｉ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１未満で、ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ ［ｉ］［ｋ］が存在しない場合、
例えばｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］＝ ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ＋１］。

実施形態によれば、例えば、
ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］［ｋ］＝
＝ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］＋ （ ｎ － ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］） ÷ ｎ
＊ （ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］［ｋ］＋ １）．
式中、ｎは正の整数を示す。

実施形態によれば、例えば、ｎ＝２５６；又はｎ＝１２８；又はｎ＝５１２；又はｎ＝１０２４；又はｎ＝２０４８；又はｎ＝４０９６である。

実施形態によれば、ｉ、ｊ、及びｋは、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１に応じて定義され、サブ層インデックスと見なされるＨｔｉｄがｋに等しい場合にｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０より大きいｔａｒｇｅｔＣｖｓｓのレイヤーのサブピクチャインデックスがｊに等しいサブピクチャの場合に、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］［ｋ］プラス１は、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］［ｋ］に関連付けられたレベル制限のｉ番目の部分を指定する。

さらに、実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。ビデオデコーダは、ビデオデータストリームを復号して前記ビデオを復号するものである。ビデオをデコードするために、ビデオデコーダは、ビデオデータストリーム内で符号化されているサブピクチャのコード化されたピクチャバッファサイズを受信し、ビデオをデコードするためにサブピクチャのコード化されたピクチャバッファサイズを使用し、及び／又はビデオをデコードし、ビデオデコーダは、ビデオデータストリーム内で符号化されているサブピクチャのビットレートを受信し、サブピクチャのビットレートを使用してビデオをデコードする。

実施形態によれば、ビデオデータストリームは、サブピクチャのコード化されているピクチャバッファサイズがビデオデータストリーム内にエンコードされているかどうか、又はサブピクチャのコード化されているピクチャバッファサイズが推定されるべきかどうかを示す表示を例えば含み得る。ビデオデータストリームの表示は、サブピクチャのコード化ピクチャバッファサイズが推定されるべきだということを示している場合、ビデオデコーダは、サブピクチャのコード化ピクチャバッファサイズを推定する。ビデオデータストリームの表示が、サブピクチャのコード化ピクチャバッファサイズがビデオデータストリーム内に符号化されていると示している場合、ビデオデコーダは、ビデオデータストリーム内に符号化されるサブピクチャのコード化ピクチャバッファサイズを使用する。

実施形態において、ビデオデータストリームは、サブピクチャのビットレートがビデオデータストリーム内にエンコードされているかどうか、又はサブピクチャのビットレートが推定されるべきかどうかを示す表示を例えば含み得る。ビデオデータストリームの表示が、サブピクチャのビットレートが推定されるべきだということを示している場合、ビデオデコーダは、サブピクチャのビットレートを推定する。ビデオデータストリームの表示が、サブピクチャのビットレートがビデオデータストリーム内に符号化されていると示している場合、ビデオデコーダは、ビデオデータストリーム内に符号化される、サブピクチャのコード化ピクチャバッファサイズを使用する。

実施形態によれば、複数の抽出可能なサブビットストリームのそれぞれは、出力層セットに固有であり、サブピクチャは、複数の抽出可能なサブビットストリームのうちの少なくとも１つの抽出可能なサブビットストリームに割り当てられる。ビデオデータストリームが共通の復号ユニット除去タイミング情報及び複数の抽出可能なサブバイストリームを例えば含み得る場合、ビデオパラメータセット又はシーケンスパラメータセット又はビデオデータストリームの補足拡張情報メッセージにおける各出力層セット固有仮説参照デコーダパラメータの構文分析は、共通の復号ユニットの除去タイミングのスケーリングにおける拡散係数又はティック除数の絶対値のいずれかを例えば含み得る。ビデオデコーダは、拡散係数又はティック除数の前記絶対値を処理するよう例えば構成し得る。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは構文要素ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］及び構文要素ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅを例えば含むことができる。又は、ビデオデータストリームは構文要素ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］及び構文要素ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅを例えば含むことができる。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、サブピクチャのコード化されたピクチャバッファサイズが現在のコード化されたピクチャバッファサイズ情報を使用して推定されるべきかどうかを示す表示を含むよう、及び／又はビデオデータストリームがサブピクチャのビットレートが現在コード化されているビデオシーケンスのビットレート情報を使用して推定されるかどうかを示す表示を生成することを含む。

実施形態によれば、現在のコード化ピクチャバッファサイズ情報は、参照レベルの信号化されたコード化ピクチャバッファサイズであり、ビデオデータストリームは、例えば、参照レベルの信号化されたコード化ピクチャバッファサイズを含み得、及び／又は現在コード化されているビデオシーケンスのビットレート情報は、参照レベルの信号ビットレートであり、ビデオデータストリームは、例えば、参照レベルの信号ビットレートを含み得る。

さらに、実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームが、サブピクチャのコード化ピクチャバッファサイズがビデオデータストリーム内にエンコードされているかどうか、又はサブピクチャのコード化ピクチャバッファサイズが推定されるべきかどうかを示す表示を含むように、及び／又は、ビデオデータストリームは、サブピクチャのビットレートがビデオデータストリーム内に符号化されているかどうか、又はサブピクチャのビットレートを推定する必要があるかどうかを示す表示を含む。

実施形態によれば、複数の抽出可能なサブビットストリームのそれぞれは、出力層セットに固有であり、サブピクチャは、複数の抽出可能なサブビットストリームのうちの少なくとも１つの抽出可能なサブビットストリームに割り当てられる。ビデオデータストリームが共通の復号ユニット除去タイミング情報及び複数の抽出可能なサブバイストリームを例えば含み得る場合、ビデオパラメータセット又はシーケンスパラメータセット又はビデオデータストリームの補足拡張情報メッセージにおける各出力層セット固有仮説参照デコーダパラメータの構文分析は、共通の復号ユニットの除去タイミングのスケーリングにおける拡散係数又はティック除数の絶対値のいずれかを例えば含み得る。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオデータストリームは構文要素ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］及び構文要素ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅを例えば含むことができる。又は、ビデオエンコーダは、ビデオデータストリームが、構文要素ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］及び構文要素ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅを含むように、ビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームは、サブピクチャのコード化されたピクチャバッファサイズが現在のコード化されたピクチャバッファサイズ情報を使用して推定されるべきかどうかを示す表示を含むようビデオデータストリームを生成し、及び／又はビデオエンコーダは、ビデオデータストリームがサブピクチャのビットレートが現在コード化されているビデオシーケンスビットレート情報を使用して推定されるかどうかを示す表示を生成することを含むよう、ビデオデータストリームを生成する。

実施形態によれば、ビデオエンコーダは、現在のコード化ピクチャバッファサイズ情報が、参照レベルの信号化されたコード化ピクチャバッファサイズであり、ビデオデータストリームが、例えば、参照レベルの信号化されたコード化ピクチャバッファサイズを例えば含み得るようビデオデータストリームを生成するよう例えば構成し得、及び／又は、ビデオエンコーダは、現在コード化されているビデオシーケンスのビットレート情報が参照レベルの信号ビットレートであり、ビデオデータストリームが、例えば、参照レベルの信号ビットレートを含み得るようビデオデータストリームを生成するよう例えば構成し得る。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが、サブピクチャのコード化ピクチャバッファサイズがビデオデータストリーム内にエンコードされているかどうか、又はサブピクチャのコード化ピクチャバッファサイズが推定されるべきかどうかを示す表示を含むようにビデオデータストリームを生成する、及び／又は、ビデオエンコーダは、ビデオデータストリームが、サブピクチャのビットレートがビデオデータストリーム内に符号化されているかどうか、又はサブピクチャのビットレートを推定する必要があるかどうかを示す表示を含むようにビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが共通の復号ユニット除去タイミング情報及び複数の抽出可能なサブバイストリームを含む場合、複数のサブビットストリームのそれぞれは、出力層セットに固有で、ビデオパラメータセット又はシーケンスパラメータセット又はビデオデータストリームの補足拡張情報メッセージにおける各出力層セット固有の仮説参照デコーダパラメータの構文分析は、共通の復号ユニットの除去タイミングのスケーリングにおける拡散係数又はティック除数の絶対値のいずれかを含むように、ビデオデータストリームを生成する。

さらに、実施形態によれば、ビデオをビデオデータストリーム中に符号化するための、またビデオを復号するためのシステムが提供される。システムは、上記のようなビデオエンコーダ、及び上記のようなビデオデコーダを含む。ビデオエンコーダは、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するよう例えば構成し得る。ビデオデコーダは、ビデオデータストリームを受信して、ビデオデータストリームをビデオに復号するよう復号するものである。
現在のＶＶＣドラフト仕様には、サブピクチャのレベル情報とサブピクチャセットのレベルの推定に役立つ追加情報を示すＳＥＩメッセージが含まれている。これを実現する方法は、サブピクチャが特定の信号参照レベルに寄与する部分を信号で送ることである。各サブピクチャのレベルの割合に基づいて、変数ＣＰＢｓｉｚｅとビットレート、及びその後のサブピクチャのビットストリームのレベルが概算される。また、累積レベルの割合は、サブピクチャのセットで構成されるビットストリームのＣＢＰサイズとビットレートを導き出し、またそれらのレベルを概算するためにも使用される。ただし、これらすべての派生では、参照レベルのＭａｘＣＰＢＳｉｚｅ及び／又はＭａｘＢｉｔｒａｔｅが使用され、ほとんどのビットストリームが特定のレベルのＭａｘＣＰＢＳｉｚｅ及び／又はＭａｘＢｉｔｒａｔｅまでのＣＰＢ及びビットレートバジェットを完全に占有しない可能性があるため、問題である。これらの値を使用して、サブピクチャビットストリーム又はサブピクチャセットビットストリームのマージされたビットストリームのレベルを概算すると、（累積された）ＣＰＢサイズとビットレートが過剰にプロビジョニングされる可能性が高くなる。

ＶＶＣドラフト仕様には、変数ＳｕｂＰｉｃＣｐｂＳｉｚｅＶｃｌ ［ｉ］［ｊ］とＳｕｂＰｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］［ｊ］の派生が含まれ、次のようになる：
ＳｕｂＰｉｃＣｐｂＳｉｚｅＶｃｌ［ｉ］［ｊ］＝Ｆｌｏｏｒ（ＣｐｂＶｃｌＦａｃｔｏｒ＊ＭａｘＣＰＢ＊ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）
ＳｕｂＰｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］［ｊ］＝Ｆｌｏｏｒ（ＣｐｂＮａｌＦａｃｔｏｒ＊ＭａｘＣＰＢ＊ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）

すべてのサブピクチャを含む元のビットストリームは、ビットストリームのレベルから参照によって導出されたそれぞれの最大値の情報だけでなく、ビットストリームの正確なＣＰＢサイズとビットレート（ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１とｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅ）に関するより正確な情報をすでに持っている可能性があるためである。したがって、本発明の目的は、サブピクチャあたりのＣＢＰサイズ及びビットレートのそれぞれの値について、はるかに正確な値を導き出し、サブピクチャセットレベルでの近似に使用することができるようにすることである。さらなる実施形態では、サブピクチャＣＰＢは次のように導出される；
ＳｕｂＰｉｃＣｂｐＳｉｚｅＶｃｌ［ｓ］＝
Ｆｌｏｏｒ（（ ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋ １ ） ＊ ２^{（ ４ ＋ ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅ ）}＊ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）
ＳｕｂＰｉｃＣｂｐＳｉｚｅＮａｌ［ｓ］
＝ Ｆｌｏｏｒ（（ ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋ １ ） ＊ ２^{（ ４ ＋ ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅ ）}＊ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）

構文要素ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］は、Ｖｃｌ及びＮａｌ ＨＲＤパラメータに対して個別に送信され、上記の導出でそれぞれ使用されることに留意されたい。したがって、ＳｕｂＰｉｃＣｂｐＳｉｚｅＶｃｌ［ｓ］とＳｕｂＰｉｃＣｂｐＳｉｚｅＶｃｌ［ｓ］の値は、潜在的に異なる値に由来する。

ＣＰＢサイズは特定のレベルに対して通知されるため、上記の導出は、そのレベルが参照レベルとして含まれている場合にのみ実行できる。

ビットレートの場合、それぞれの導出は、以下のように最大ビットレートを参照として使用することから変更され（Ｂｅ ［Ｖｃｌ ／ Ｎａｌ］Ｆａｃｔｏｒ ＊ Ｍａｙ ＢＥ）、
ＳｕｂＰｉｃＢｉｔＲａｔｅＶｃｌ［ｓ］＝ Ｆｌｏｏｒ（ ＢｒＶｃｌＦａｃｔｏｒ ＊ ＭａｘＢＲ ＊ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）
ＳｕｂＰｉｃＢｉｔＲａｔｅＮａｌ［ｓ］＝ Ｆｌｏｏｒ（ ＢｒＮａｌＦａｃｔｏｒ ＊ ＭａｘＢＲ ＊ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）
シグナリングされたビットストリームの実際のビットレートを使用するものに至り （（ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋１） ＊ ２^{（６ ＋ ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅ}） 、以下に挙げる
ＳｕｂＰｉｃＢｉｔＲａｔｅＶｃｌ［ｓ］
＝ Ｆｌｏｏｒ（（ ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋１ ） ＊ ２^{（６ ＋ ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅ）} ＊ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）
ＳｕｂＰｉｃＢｉｔＲａｔｅＮａｌ［ｓ］
＝ Ｆｌｏｏｒ（（ ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋１ ） ＊ ２^{（６ ＋ ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅ）} ＊ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）
ＣＰＢサイズについて上記と同じことがここで当てはまることと、構文要素ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］の値はＮａｌ又はＶｃｌ ＨＲＤのどちらが考慮されるかに依存し、そのため、ＳｕｂＢｉｔＲａｔｅＶｃｌ［ｓ］とＳｕｂＰｉｃＢｉｔｒａｔｅＶｃｌ［ｓ］の値は潜在的に異なる値に派生することに留意されたい。

実施形態では、変数ＳｕｂｐｉｃＣｐｂＳｉｚｅＶｃｌ［ｉ］［ｊ］［ｋ］ａｎｄ ＳｕｂｐｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］［ｊ］［ｋ］は次のように導出される：
ＳｕｂｐｉｃＣｐｂＳｉｚｅＶｃｌ［ｉ］［ｊ］［ｋ］＝Ｆｌｏｏｒ（ＣｐｂＶｃｌＦａｃｔｏｒ＊ＭａｘＣＰＢ＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］［ｋ］÷２５６）
ＳｕｂｐｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］［ｊ］［ｋ］＝Ｆｌｏｏｒ（ＣｐｂＮａｌＦａｃｔｏｒ＊ＭａｘＣＰＢ＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］［ｋ］÷２５６）
ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］［ｋ］からＭａｘＣＰＢが導出される実施形態では、変数ＳｕｂｐｉｃＣｐｂＳｉｚｅＶｃｌ［ｉ］［ｊ］［ｋ］とＳｕｂｐｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］［ｊ］［ｋ］は次のように導出される：
ＳｕｂｐｉｃＢｉｔＲａｔｅＶｃｌ［ｉ］［ｊ］［ｋ］＝Ｆｌｏｏｒ（ＣｐｂＶｃｌＦａｃｔｏｒ＊ＶａｌＢＲ＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［０］［ｊ］［ｋ］÷２５６）
ＳｕｂｐｉｃＢｉｔＲａｔｅＮａｌ［ｉ］［ｊ］［ｋ］＝Ｆｌｏｏｒ（ＣｐｂＮａｌＦａｃｔｏｒ＊ＶａｌＢＲ＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［０］［ｊ］［ｋ］÷２５６）

例えば、変数ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］［ｋ］は数、例えば、実数である。

例えば、変数ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］［ｋ］は、例えば、以下に応じて導出され得る ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］＋ （ ｎ － ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］） ÷ ｎ ＊ （ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］［ｋ］＋ １）
式中、ｎは正の整数を示し、例えば、ｎ＝２５６；又は、例えば、ｎ＝１２８；又は、例えば、ｎ＝５１２；又は、例えば、ｎ＝１０２４；又は、例えば、ｎ＝２０４８；又は、例えば、ｎ＝４０９６である。

そのため、例えば
ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］［ｋ］＝ ＝ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］＋ （ ２５６ － ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］） ÷ ２５６ ＊ （ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］［ｋ］＋ １）。

ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］は、例えばＨｔｉｄがｋに等しい場合に、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０に等しいｔａｒｇｅｔＣｖｓｓの層に関連付けられたビットストリームレベル制限のｉ番目の部分を示し得る。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、又はビットストリーム内のどのレイヤーもｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０に等しくない場合、ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］０に等しくなる。ｋがｓｌｉ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１未満でｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ］が存在しないとき、ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］［ｋ＋１］に等しいと推測され、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］［ｋ］ｐｌｕｓ １はレベル制限のｉ番目の部分を指定し、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］［ｋ］に関わり、サブピクチャに対して、Ｈｔｉｄがｋに等しい場合、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０より大きいｔａｒｇｅｔＣｖｓｓのレイヤーのサブピクチャインデックスがｊに等しい。ｋがｓｌｉ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１より小さく、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］［ｋ］が存在しないとき、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］［ｋ＋１］に等しいと推測される。

あるいは、別の実施形態では、各サブピクチャのＣＰＢサイズ及び／又はビットレートは、導出される代わりに直接信号で伝えることができる。又は、さらに、値を導出できるかどうか、又は値が明示的に通知されるかどうかを示すゲーティングフラグが存在し得る。

以下では、Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩのＤＵタイミングシグナリングについて説明する。

実施形態によれば、その中に符号化されたビデオを有するビデオデータストリームが提供される。ビデオデータストリームは、複数のアクセスユニットを含む。さらに、ビデオデータストリームは、複数のアクセスユニットのアクセスユニットの２つ以上の復号ユニットのそれぞれのデルタ時間情報を含み、前記アクセスユニットの２つ以上の復号ユニットの各復号ユニットの復号ユニット除去時間は、前記アクセスユニットのアクセスユニット除去時間に依存し、前記復号ユニットのデルタ時間情報に依存する。

実施形態によれば、ビデオデータストリームは、例えば、ピクチャタイミング補足拡張情報を含み得る。ピクチャタイミング補足拡張情報は、前記アクセスユニットの２つ以上の復号ユニットのデルタ時間情報を例えば含むことができる。

実施形態において、デルタ時間情報は、前記アクセスユニットの２つ以上の復号ユニットの２つの復号ユニット間の除去時間の差を示す。

実施形態によれば、前記アクセスユニットの２つ以上の復号ユニットのうちの最後の復号ユニットは、前記アクセスユニットの除去時間に等しい除去時間を有する。

実施形態では、前記アクセスユニットは、例えば、３つ以上の復号ユニットを含み得る。除去時間の差は、前記アクセスユニットの３つ以上の復号ユニットの２つの連続する復号ユニットの各対について等しい。

実施形態では、ピクチャタイミング補足拡張情報は、ビデオデータストリームから導出されたサブビットストリームに適用され、復号ユニットの数は一定のままである。

実施形態で、フレーム時間間隔は、ビデオデータストリームのパラメータセット、シーケンスパラメータセットのＨＲＤパラメータでシグナリングされる。

実施形態で、フレーム時間間隔は、最高の時間レベルでの２つの連続するアクセスユニットの除去時間の差として導出可能である。

実施形態で、前記アクセスユニットの２つ以上の復号ユニットの各復号ユニットは、１つのビデオ符号化層ネットワーク抽象化層ユニットを例えば含むことができる。

実施形態では、ピクチャタイミング補足拡張情報は、ビデオデータストリームから導出されたサブビットストリームに適用され、異なる数の復号ユニットが存在する。

実施形態で、フレーム時間間隔は次のように導出できる：
（ｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１［ｍａｘＴｉＤ］＋１ ）にＣｌｏｃｋＴｉｃｋｓを乗ずる。

実施形態で、ビデオデータストリームは、復号ユニットの数においてビデオデータストリームに対して可変であるかどうかを示す表示を例えば含むことができる。

実施形態で、ビデオデータストリームは、復号ユニットの数においてビデオデータストリームに対して可変であるかどうかを示す表示を含まない。

実施形態で、アクセスユニット内の復号ユニットの数は、フレーム時間間隔と共通の遅延増分に依存する。

実施形態で、ビデオデータストリームは、前記アクセスユニットの２つ以上の復号ユニットの復号ユニットの復号するユニット情報補足拡張情報メッセージを含む。前記復号ユニットの復号ユニット情報補足拡張情報メッセージは、前記復号ユニットのデルタ時間情報を例えば含むことができる。

実施形態では、ビデオデータストリームは、ビデオパラメータセット又は前記ビデオデータストリームのシーケンスパラメータセットの最小ピクチャ期間フラグを例えば含み得、前記最小画像期間フラグは、一定のフレームレートがないときにフレーム時間間隔情報が存在するかどうかを示す。

さらに、実施形態によれば、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するためのビデオエンコーダが提供される。ビデオエンコーダは、ビデオデータストリームが複数のアクセスユニットを含むように、ビデオデータストリームを生成する。さらに、ビデオエンコーダは、ビデオデータストリームが、複数のアクセスユニットのアクセスユニットの２つ以上の復号ユニットのそれぞれのデルタ時間情報を含み、前記アクセスユニットの２つ以上の復号ユニットの各復号ユニットの復号ユニット除去時間は、アクセスユニットのアクセスユニット除去時間に依存し、前記復号ユニットのデルタ時間情報に依存するように、ビデオデータストリームを生成する。

実施形態によれば、ビデオエンコーダは、例えば、ビデオデータストリームが例えばピクチャタイミング補足拡張情報を含み得るようにビデオデータストリームを生成するように構成され得る。ビデオエンコーダは、ピクチャタイミング補足拡張情報が、前記アクセスユニットの２つ以上の復号ユニットのデルタ時間情報を例えば含み得るよう、ビデオデータストリームを生成するように例えば構成し得る。

実施形態では、ビデオエンコーダは、デルタ時間情報が、前記アクセスユニットの２つ以上の復号ユニットの２つの復号ユニット間の除去時間の差を示すように、ビデオデータストリームを生成するよう例えば構成し得る。

実施形態によれば、前記アクセスユニットの２つ以上の復号ユニットのうちの最後の復号ユニットは、前記アクセスユニットの除去時間に等しい除去時間を有する。

実施形態で、ビデオエンコーダは、前記アクセスユニットが３つ以上の復号ユニットを例えば含み得るように、ビデオデータストリームを生成するよう例えば構成し得る。除去時間の差は、前記アクセスユニットの３つ以上の復号ユニットの２つの連続する復号ユニットの各対について等しい。

実施形態では、ピクチャタイミング補足拡張情報は、ビデオデータストリームから導出されたサブビットストリームに適用され、復号ユニットの数は一定のままである。

実施形態で、ビデオエンコーダは、フレーム時間間隔が、ビデオデータストリームのパラメータセット、シーケンスパラメータセットのＨＲＤパラメータでシグナリングされるよう、ビデオデータストリームを生成するよう例えば構成し得る。

実施形態によれば、ビデオエンコーダは、フレーム時間間隔が、最高の時間レベルでの２つの連続するアクセスユニットの除去時間の差として導出可能であるよう、ビデオデータストリームを生成するよう例えば構成し得る。

実施形態で、ビデオエンコーダは、前記アクセスユニットの２つ以上の復号ユニットの各復号ユニットが、１つのビデオ符号化層ネットワーク抽象化層ユニットを例えば含み得るよう、ビデオデータストリームを生成するよう例えば構成し得る。

実施形態によれば、ビデオエンコーダは、ピクチャタイミング補足拡張情報が、ビデオデータストリームから導出されたサブビットストリームに適用され、異なる数の復号ユニットが存在するよう、ビデオデータストリームを生成するよう例えば構成し得る。

実施形態で、フレーム時間間隔は次のように導出できる：
（ｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１［ｍａｘＴｉＤ］＋１ ）にＣｌｏｃｋＴｉｃｋｓを乗ずる。

実施形態で、ビデオエンコーダは、ビデオデータストリームが、復号ユニットの数においてビデオデータストリームに対して可変であるかどうかを示す表示を例えば含み得るよう、ビデオデータストリームを生成するよう例えば構成し得る。

実施形態で、ビデオエンコーダは、ビデオデータストリームが、復号ユニットの数においてビデオデータストリームに対して可変であるかどうかを示す表示を含まないよう、ビデオデータストリームを生成するよう例えば構成し得る。

実施形態によると、ビデオエンコーダは、アクセスユニット内の復号ユニットの数は、フレーム時間間隔と共通の遅延増分に依存するよう、ビデオデータストリームを生成するよう例えば構成し得る。

実施形態で、ビデオエンコーダは、ビデオデータストリームが、前記アクセスユニットの２つ以上の復号ユニットの復号ユニットのユニット情報補足拡張情報メッセージを復号することを例えば含み得るよう、ビデオデータストリームを生成するよう例えば構成し得る。ビデオエンコーダは、前記復号ユニットの復号ユニット情報補足拡張情報メッセージが、前記復号ユニットの前記デルタ時間情報を例えば含み得るよう、ビデオデータストリームを生成するよう例えば構成し得る。

実施形態では、ビデオデータストリームは、ビデオパラメータセット又は前記ビデオデータストリームのシーケンスパラメータセットの最小ピクチャ期間フラグを例えば含み得、前記最小画像期間フラグは、一定のフレームレートがないときにフレーム時間間隔情報が存在するかどうかを示す。

さらに、一実施形態によれば、ビデオデータストリームを入力ビットストリームとして受信するための方法が提供され、ビデオデータストリームがその中に符号化されるビデオを有する。ビデオデータストリームは、複数のアクセスユニットを含む。ビデオデコーダは、ビデオデータストリームを復号してビデオを復号するものである。さらに、ビデオデータストリームは、複数のアクセスユニットのアクセスユニットの２つ以上の復号ユニットのそれぞれのデルタ時間情報を含み、前記アクセスユニットの２つ以上の復号ユニットの各復号ユニットの復号ユニット除去時間は、アクセスユニットのアクセスユニット除去時間に依存し、前記復号ユニットのデルタ時間情報に依存し、ビデオデコーダは、前記アクセスユニットの２つ以上の復号ユニットのそれぞれのデルタ時間情報を使用してビデオデータストリームを復号する。

実施形態によれば、ビデオデータストリームは、例えば、ピクチャタイミング補足拡張情報を含み得る。ピクチャタイミング補足拡張情報は、前記アクセスユニットの２つ以上の復号ユニットのデルタ時間情報を例えば含むことができる。

実施形態で、デルタ時間情報が、前記アクセスユニットの２つ以上の復号ユニットの２つの復号ユニット間の除去時間の差を示し、ビデオデコーダは、前記２つの復号ユニット間の除去時間の差を使用してビデオデータストリームを復号するよう例えば構成し得る。

実施形態によれば、前記アクセスユニットの２つ以上の復号ユニットのうちの最後の復号ユニットは、前記アクセスユニットの除去時間に等しい除去時間を有し、ビデオデコーダは、前記アクセスユニットの前記除去時間を使用して前記ビデオデータストリームを復号するよう例えば構成し得る。

実施形態では、前記アクセスユニットは、例えば、３つ以上の復号ユニットを含み得る。除去時間の差は、前記アクセスユニットの３つ以上の復号ユニットの２つの連続する復号ユニットの各対について等しい。

実施形態では、ピクチャタイミング補足拡張情報は、ビデオデータストリームから導出されたサブビットストリームに適用され、復号ユニットの数は一定のままである。

実施形態で、フレーム時間間隔は、ビデオデータストリームのパラメータセット、シーケンスパラメータセットのＨＲＤパラメータでシグナリングされ、ビデオデコーダは、前記フレーム時間間隔を使用して前記ビデオデータストリームを復号するよう例えば構成し得る。

実施形態によれば、フレーム時間間隔は、最高の時間レベルでの２つの連続するアクセスユニットの除去時間の差として導出可能であり、ビデオデコーダは、フレーム時間間隔を使用して前記ビデオデータストリームを復号するよう例えば構成し得る。

実施形態で、前記アクセスユニットの２つ以上の復号ユニットの各復号ユニットは、１つのビデオ符号化層ネットワーク抽象化層ユニットを例えば含むことができる。

実施形態では、ピクチャタイミング補足拡張情報は、ビデオデータストリームから導出されたサブビットストリームに適用され、異なる数の復号ユニットが存在する。

実施形態では、ビデオデコーダは、例えば、以下に従ってフレーム時間間隔を導出するように構成され得る：（ｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１［ｍａｘＴｉＤ］＋１ ）にＣｌｏｃｋＴｉｃｋｓを乗ずる。

実施形態によれば、ビデオデータストリームが、復号ユニットの数においてビデオデータストリームに対して可変であるかどうかを示す表示を例えば含み得、ビデオデコーダは、表示を処理することによってビデオデータストリームをデコードするように例えば構成され得る。

実施形態で、ビデオデータストリームは、復号ユニットの数においてビデオデータストリームに対して可変であるかどうかを示す表示を含まない。

実施形態によれば、アクセスユニット内の復号ユニットの数は、フレーム時間間隔と共通の遅延増分に依存する。

実施形態で、ビデオデータストリームは、前記アクセスユニットの２つ以上の復号ユニットの復号ユニットの復号するユニット情報補足拡張情報メッセージを含むことができる。前記復号ユニットの復号ユニット情報補足拡張情報メッセージは、前記復号ユニットのデルタ時間情報を例えば含み得、ビデオデコーダは、前記復号ユニットの前記デルタ時間情報を使用してビデオデータストリームを復号するよう例えば構成し得る。

実施形態では、ビデオデータストリームは、ビデオパラメータセット又は前記ビデオデータストリームのシーケンスパラメータセットの最小ピクチャ期間フラグを例えば含み得、前記最小画像期間フラグは、一定のフレームレートがないときにフレーム時間間隔情報が存在するかどうかを示す。

さらに、実施形態によれば、ビデオをビデオデータストリーム中に符号化するための、またビデオを復号するためのシステムが提供される。システムは、上記のようなビデオエンコーダ、及び上記のようなビデオデコーダを含む。ビデオエンコーダは、ビデオデータストリームがその中に符号化されたビデオを有するように、ビデオをビデオデータストリーム中に符号化するよう例えば構成し得る。ビデオデコーダは、ビデオデータストリームを受信して、ビデオデータストリームをビデオに復号するよう復号するよう例えば構成し得る。

前述のように、ＤＵタイミングはＡＵタイミングのデルタとして与えられる。より具体的には、ＤＵの除去時間は、特定のＤＵを含むＡＵの除去時間に関連する、ＰｉｃｔｕｒｅＴｉｍｉｎｇＳＥＩメッセージ又はＤｅｃｏｄｉｎｇ Ｕｎｉｔ Ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩメッセージのいずれかでデルタ時間を与えることによって示される。

情報が画像タイミングＳＥＩメッセージに含まれている場合、シグナリングされる情報は２つのＤＵ間の除去時間の差である。ＡＵの最後のＤＵの除去時間は、ＡＵ除去時間の除去時間と同じであり、他のいずれかのＤＵは、次のＤＵへの除去時間の差として通知される。それをシグナリングするための２つのオプションがある（異なる色で強調表示される）：
それをシグナリングする最初の方法は、ＤＵがすべてに共通する同じ除去時間の差がある場合である。２番目のケースは、ＡＵ内のＤＵ間の除去時間の差が同じではない場合である。

ＤＵタイミングが存在する場合のＰｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩメッセージの現在の構文は、サブビットストリームがビットストリームから抽出されるときにＤＵの数が変化する可能性があるため、本発明で説明する態様２の適用を妨げる。

原則として、ＣＵ間の共通の除去時間の差が同じである場合、ＤＵの数が変更されても、ピクチャタイミングＳＥＩメッセージが依然適用されるようにすることが可能である可能性がある。一実施形態では、ＰＴ ＳＥＩメッセージにモードがあり、ＰＴ ＳＥＩメッセージは、異なる数のＤＵが存在するサブビットストリームに適用される。ＤＵの数は、他の構文要素から導出される。ＰＴ ＳＥＩメッセージは次のように変更される：

ｄｕ＿ｎｏｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇが０に等しい場合、ｄｕ＿ｃｏｍｍｏｎ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｆｌａｇの値は１であると推測される。ｎｕｍ＿ｄｅｃｏｄｉｎｇ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１の値は、ＦｒａｍｅＴｉｍｅＩｎｔｅｒｖａｌを（ｄｕ＿ｃｏｍｍｏｎ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｉｎｃｒｅｍｅｎｔ＿ｍｉｎｕｓ１ ＋ １）＊ＣｌｏｃｋＳｕｂＴｉｃｋｓで割った値から１を引いた値に等しいと推測される。

ＦｒａｍｅＴｉｍｅＩｎｔｅｒｖａｌは、パラメータセット、ＳＰＳのＨＲＤパラメータでシグナリングするか、最高の時間レベルでの２つの連続するアクセスユニットの削除時間の差として導出できる。

この場合、各ＤＵに１つのＶＣＬ ＮＡＬユニットが含まれるという追加の制約がある。

ＦｒａｍｅＴｉｍｅＩｎｔｅｒｖａｌを明示的にシグナリングするのに、次のようにすることができる。

ｍｉｎ＿ｐｉｃ＿ｄｕｒａｔｉｏｎ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、一定のフレームレートがない場合にＦｒａｍｅＴｉｍｅＩｎｔｅｒｖａｌが存在することを示すＳＰＳ又はＶＰＳのフラグである。これにより、フレームレートが一定の場合とフレームレートが一定でない場合の両方でＦｒａｍｅＴｉｍｅＩｎｔｅｒｖａｌを示すことができる。

２番目のケースでは、フレームレートが一定の場合にのみ、ｄｕ＿ｎｏｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇを１に設定できる。その場合、ＦｒａｍｅＴｉｍｅＩｎｔｅｒｖａｌの値は、（ｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１ ［ｍａｘＴｉＤ］＋１）にＣｌｏｃｋＴｉｃｋｓを掛けたものとして導出される。

又は、次のように、それぞれの表示を共通のＤＵタイミングモードシグナリングとマージすることにより、追加のシグナリングフラグを省略できる。

上記のＡＵ内のＤＵの数の導出は、ＦｒａｍｅＴｉｍｅＩｎｔｅｒｖａｌと共通の遅延増分（ｃｌｏｃｋ－ｓｕｂ－ｔｉｃｋｓの数で与えられた秒）に基づいていることに留意されたい。態様４では、ｃｌｏｃｋ－ｓｕｂ－ｔｉｃｋｓがビットストリームに存在する時間サブ層によって変化することにも留意されたい。ＤＵの数は、最上位の時間層のｃｌｏｃｋ－ｓｕｂ－ｔｉｃｋｓを使用して導出されるか、又は、態様４で説明した拡散係数もＦｒａｍｅＴｉｍｅＩｎｔｅｒｖａｌで考慮されるため、同じ結果が得られる。

いくつかの態様が装置の観点で説明されているが、これらの態様が対応する方法の説明も表すことが明らかであり、ブロック又はデバイスは方法ステップ、又は方法ステップの特徴に対応する。同様に、方法ステップの観点で説明された態様もまた、対応するブロックもしくは項目、又は対応する装置の特徴の説明を表す。いくつかの、又はすべての方法ステップは、例えば、マイクロプロセッサ、プログラマブルコンピュータ又は電子回路などのハードウェア装置によって（又はそれを使用して）実行され得る。いくつかの実施形態では、最も重要な方法ステップのうちの１つ以上はそのような装置によって実行され得る。

ある特定の実装要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェア又は少なくとも部分的にハードウェア又は少なくとも部分的にソフトウェアに実装され得る。この実装は、電子的に可読な制御信号を有する、フロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はＦＬＡＳＨメモリなどのデジタル記憶媒体を使用して実行され得、これらの制御信号は、その上に格納され得、プログラム可能なコンピュータシステムと協働する（又は協働することができる）ことで、それぞれの方法が実行される。したがって、デジタル記憶媒体は、コンピュータ可読であり得る。

本発明による、いくつかの実施形態は、電子的に可読な制御信号を有するデータキャリアを含み、これらの制御信号がプログラム可能なコンピュータシステムと協働することができることで、本明細書に記載の方法のうちの１つが実行される。

概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装され得、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行するときに方法のうちの１つを実行するように動作可能である。プログラムコードは、例えば、機械可読キャリアに格納され得る。

他の実施形態は、本明細書に記載の方法のうちの１つを実行し、機械可読キャリアに格納される、コンピュータプログラムを含む。

換言すれば、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行するときに、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

本発明の方法のさらなる実施形態は、したがって、データキャリア（又はデジタル記憶媒体、又はコンピュータ可読媒体）であり、このデータキャリアは、その上に記録される、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを含む。データキャリア、デジタル記憶媒体、又は記録された媒体は、通常、有形及び／又は非一時的である。

本発明の方法のさらなる実施形態は、したがって、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表す、データストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、インターネットを介してなど、データ通信接続を介して転送されるように構成され得る。

さらなる実施形態は、例えば、本明細書に記載の方法のうちの１つを実行するように構成される、又は適合されるコンピュータ、又はプログラマブルロジックデバイスなどの処理手段を含む。

さらなる実施形態は、コンピュータを含み、その上には、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムがインストールされている。

本発明による、さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを受信器に転送する（例えば、電子的に、又は光学的に）ように構成される、装置又はシステムを含む。受信器は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってよい。装置又はシステムは、例えば、コンピュータプログラムを受信器に転送するためのファイルサーバを含み得る。

いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）は、本明細書に記載の方法の機能の一部又はすべてを実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの１つを実行するためにマイクロプロセッサと協働し得る。概して、方法は、いずれかのハードウェア装置によって好ましくは実行される。

本明細書に記載の装置は、ハードウェア装置を使用して、又はコンピュータを使用して、又はハードウェア装置及びコンピュータの組み合わせを使用して実装され得る。

本明細書に記載の方法は、ハードウェア装置を使用して、又はコンピュータを使用して、又はハードウェア装置及びコンピュータの組み合わせを使用して実行され得る。

上記の実施形態は、本発明の原理の例示に過ぎない。本明細書に記載の構成及び詳細の修正形態及び変形形態が当業者には明らかであろうことが理解される。したがって、本明細書の実施形態の記述及び説明として提示された具体的な詳細によってではなく、差し迫る特許請求の範囲によってのみ限定されることが意図される。

参考文献
［１］ ＩＳＯ／ＩＥＣ， ＩＴＵ－Ｔ． Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ． ＩＴＵ－Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６５ ｜ ＩＳＯ／ＩＥＣ ２３００８ １０ （ＨＥＶＣ）， ｅｄｉｔｉｏｎ １， ２０１３；ｅｄｉｔｉｏｎ ２， ２０１４．

Claims (17)

1. ビットストリームからピクチャを復号する方法であって、
   ビットレート値を示す第１の構文要素と、ビットレートスケールを示す第２の構文要素とを復号するステップと、
   （第１の構文要素＋１）＊２^{（６＋第２の構文要素）}によって前記ビットストリームのビットレートを決定するステップと、
   サブピクチャレベル情報（ＳＬＩ）補足拡張情報（ＳＥＩ）メッセージを復号するステップであって、前記ＳＬＩ ＳＥＩメッセージは、前記ピクチャのサブピクチャに対応する参照レベルの断片を含む、復号するステップと、
   前記断片と前記ビットストリームの前記ビットレートとの積に部分的に基づいて、サブピクチャビットストリームのビットレートを決定するステップと、
   を含む、方法。
2. 前記ＳＬＩ ＳＥＩメッセージから、サブピクチャシーケンスが確認するレベルを示す第３の構文要素を復号するステップと、
   前記断片及び前記第３の構文要素に基づいて、符号化ピクチャバッファサイズを決定するステップと、
   をさらに含む、請求項１に記載の方法。
3. 前記第１及び第２の構文要素は、前記ピクチャのビットレートに関連し、
   前記サブピクチャは、複数のスライスを含み、
   前記第１の構文要素の値は、前記サブピクチャのネットワーク抽象化層（ＮＡＬ）又はビデオ符号化層（ＶＣＬ）に依存する、
   請求項１に記載の方法。
4. 前記断片を決定することは、
   前記ＳＬＩ ＳＥＩメッセージから、参照レベルの断片値を示す第３の構文要素を復号するステップと、
   前記第３の構文要素に基づいて、前記断片を決定することと、
   を含む、請求項１に記載の方法。
5. 前記サブピクチャの前記ビットレートは、
   ｂｉｔ ｒａｔｅ ｏｆ ｔｈｅ ｓｕｂｐｉｃｔｕｒｅ＝Ｆｌｏｏｒ（ａｃｔｕａｌ ｂｉｔ ｒａｔｅ＊ｆｒａｎｃｔｉｏｎ ｏｆ ａ ｒｅｆｅｒｅｎｃｅ ｌｅｖｅｒｌ÷２５６）
   で表される、請求項１に記載の方法。
6. ビットストリームからピクチャを復号する電子装置であって、
   ビットレート値を示す第１の構文要素と、ビットレートスケールを示す第２の構文要素とを復号し、
   （第１の構文要素＋１）＊２^{（６＋第２の構文要素）}によって前記ビットストリームのビットレートを決定し、 サブピクチャレベル情報（ＳＬＩ）補足拡張情報（ＳＥＩ）メッセージを復号することであって、前記ＳＬＩ ＳＥＩメッセージは、前記ピクチャのサブピクチャに対応する参照レベルの断片を含む、復号し、
   前記断片と前記ビットストリームの前記ビットレートとの積に部分的に基づいて、サブピクチャビットストリームのビットレートを決定する、
   ように構成されたプロセッサを含む、電子装置。
7. 前記プロセッサは、
   前記ＳＬＩ ＳＥＩメッセージから、サブピクチャシーケンスが確認するレベルを示す第３の構文要素を復号し、
   前記断片及び前記第３の構文要素に基づいて、符号化ピクチャバッファサイズを決定する、
   ようにさらに構成された、請求項６に記載の電子装置。
8. 前記第１及び第２の構文要素は、前記ピクチャのビットレートに関連し、
   前記サブピクチャは、複数のスライスを含み、
   前記第１の構文要素の値は、前記サブピクチャのネットワーク抽象化層（ＮＡＬ）又はビデオ符号化層（ＶＣＬ）に依存する、
   請求項６に記載の電子装置。
9. 前記断片を決定するために、前記プロセッサは、
   前記ＳＬＩ ＳＥＩメッセージから、参照レベルの断片値を示す第３の構文要素を復号し、
   前記第３の構文要素に基づいて、前記断片を決定する、
   請求項６に記載の電子装置。
10. 前記サブピクチャの前記ビットレートは、
    ｂｉｔ ｒａｔｅ ｏｆ ｔｈｅ ｓｕｂｐｉｃｔｕｒｅ＝Ｆｌｏｏｒ（ａｃｔｕａｌ ｂｉｔ ｒａｔｅ＊ｆｒａｎｃｔｉｏｎ ｏｆ ａ ｒｅｆｅｒｅｎｃｅ ｌｅｖｅｒｌ÷２５６）
    で表される、請求項６に記載の電子装置。
11. ビットストリームからピクチャを復号する電子装置のプロセッサによって実行されると、前記電子装置を以下のように動作させる命令を含む、非一時的コンピュータ読み取り可能媒体であって、
    前記電子装置は、
    ビットレート値を示す第１の構文要素と、ビットレートスケールを示す第２の構文要素とを復号し、
    （第１の構文要素＋１）＊２^{（６＋第２の構文要素）}によって前記ビットストリームのビットレートを決定し、
    サブピクチャレベル情報（ＳＬＩ）補足拡張情報（ＳＥＩ）メッセージを復号することであって、前記ＳＬＩ ＳＥＩメッセージは、前記ピクチャのサブピクチャに対応する参照レベルの断片を含む、復号し、
    前記断片と前記ビットストリームの前記ビットレートとの積に部分的に基づいて、サブピクチャビットストリームのビットレートを決定する、
    媒体。
12. 前記ＳＬＩ ＳＥＩメッセージから、サブピクチャシーケンスが確認するレベルを示す第３の構文要素を復号し、
    前記断片及び前記第３の構文要素に基づいて、符号化ピクチャバッファサイズを決定する、
    ように前記電子装置に動作させる命令をさらに含む、請求項１１に記載の媒体。
13. 前記第１及び第２の構文要素は、前記ピクチャのビットレートに関連し、
    前記サブピクチャは、複数のスライスを含み、
    前記第１の構文要素の値は、前記サブピクチャのネットワーク抽象化層（ＮＡＬ）又はビデオ符号化層（ＶＣＬ）に依存する、
    請求項１１に記載の媒体。
14. 前記断片を決定することは、
    前記ＳＬＩ ＳＥＩメッセージから、参照レベルの断片値を示す第３の構文要素を復号することと、
    前記第３の構文要素に基づいて、前記断片を決定することと、
    を含む、請求項１１に記載の媒体。
15. ピクチャを符号化する方法であって、
    ビットレート値を示す第１の構文要素と、ビットレートスケールを示す第２の構文要素とを符号化するステップであって、前記第１の構文要素と前記第２の構文要素は、第１の構文要素＋１）＊２^{（６＋第２の構文要素）}によって提示されるビットストリームのビットレートを示す、符号化するステップと、
    前記ピクチャのサブピクチャに対応する参照レベルの断片を決定するステップと
    前記断片と前記ビットレートとの積に部分的に基づいて、サブピクチャビットストリームのビットレートを決定するステップと、
    前記サブピクチャビットストリームの前記ビットレートを示すサブピクチャレベル情報（ＳＬＩ）補足拡張情報（ＳＥＩ）メッセージを使用して、前記断片を符号化するステップと、
    を含む、方法。
16. ピクチャを符号化する電子装置であって、
    ビットレート値を示す第１の構文要素と、ビットレートスケールを示す第２の構文要素とを符号化することであって、前記第１の構文要素と前記第２の構文要素は、第１の構文要素＋１）＊２^{（６＋第２の構文要素）}によって提示されるビットストリームのビットレートを示す、符号化し、
    前記ピクチャのサブピクチャに対応する参照レベルの断片を決定し、
    前記断片と前記ビットレートとの積に部分的に基づいて、サブピクチャビットストリームのビットレートを決定し、
    前記サブピクチャビットストリームの前記ビットレートを示すサブピクチャレベル情報（ＳＬＩ）補足拡張情報（ＳＥＩ）メッセージを使用して、前記断片を符号化する、
    電子装置。
17. ピクチャを符号化する電子装置のプロセッサによって実行されると、前記電子装置を以下のように動作させる命令を含む、非一時的コンピュータ読み取り可能媒体であって、
    前記電子装置は、
    ビットレート値を示す第１の構文要素と、ビットレートスケールを示す第２の構文要素とを符号化することであって、前記第１の構文要素と前記第２の構文要素は、第１の構文要素＋１）＊２^{（６＋第２の構文要素）}によって提示されるビットストリームのビットレートを示す、符号化し、
    前記ピクチャのサブピクチャに対応する参照レベルの断片を決定し、
    前記断片と前記ビットレートとの積に部分的に基づいて、サブピクチャビットストリームのビットレートを決定し、
    前記サブピクチャビットストリームの前記ビットレートを示すサブピクチャレベル情報（ＳＬＩ）補足拡張情報（ＳＥＩ）メッセージを使用して、前記断片を符号化する、
    媒体。