JP6125643B2 - 付加拡張情報メッセージコーディング - Google Patents

Description

[0001]本願は、その内容全体が参照によって本明細書に組み込まれている、２０１２年９月２８日に出願した米国特許仮出願第６１／７０７，７５９号の利益を主張するものである。

[0002]本開示は、全般的にはビデオデータの処理に関し、より具体的には、１つまたは複数のビデオコーディング標準規格に適用可能な技法に関する。

[0003]ディジタルビデオ能力を、ディジタルテレビジョン、ディジタル直接放送システム、ワイヤレス放送システム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、ｅブックリーダー、ディジタルカメラ、ディジタル録音デバイス、ディジタルメディアプレイヤ、ビデオゲーミングデバイス、ビデオゲーム機、セルラー電話機または衛星無線電話機、いわゆる「スマートフォン」、ビデオ会議デバイス、ビデオストリーミングデバイス、トランスコーダ、ルータまたは他のネットワークデバイス、および類似物を含む広範囲のデバイスに組み込むことができる。ディジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、現在開発中のＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）標準規格、プロプライエタリ規格、ＶＰ８などのオープンビデオ圧縮フォーマット、およびそのような標準規格、技法、またはフォーマットの拡張によって定義される標準規格に記載されたものなどのビデオ圧縮技術を実施する。ビデオデバイスは、そのようなビデオ圧縮技法を実施することによって、ディジタルビデオ情報をより効率的に送信し、受信し、符号化し、復号し、かつ／または格納することができる。

[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を減らすか除去するために空間（イントラピクチャ）予測および／または時間（インターピクチャ）予測を実行する。ブロックベースのビデオコーディングについて、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部）が、ビデオブロックに区分され得、このビデオブロックは、ツリーブロック、コーディング単位（ＣＵ：coding unit）、および／またはコーディングノードと呼ばれる場合もある。ピクチャのイントラコーディング（Ｉ）されるスライス内のビデオブロックは、同一ピクチャ内の隣接するブロック内の基準サンプルに関する空間予測を使用して符号化される。ピクチャのインターコーディングされる（ＰまたはＢ）スライス内のビデオブロックは、同一ピクチャ内の隣接するブロック内の基準サンプルに関する空間予測または他の基準ピクチャ内の基準サンプルに関する時間予測を使用することができる。ピクチャを、フレームと称する場合があり、基準ピクチャを、基準フレームと称する場合がある。

[0005]空間予測または時間予測は、コーディングされるブロックの予測ブロックをもたらす。残差データは、コーディングされるオリジナルブロックと予測ブロックとの間の画素差を表す。インターコーディングされたブロックは、予測ブロックを形成する基準サンプルのブロックをポイントする動きベクトルと、コーディングされたブロックと予測ブロックとの間の差を示す残差データとに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、画素領域から変換領域に変換され、残差変換係数をもたらし得、この残差変換係数は、その後に量子化され得る。当初は２次元配列に配置される量子化変換係数は、変換係数の１次元ベクトルを作るためにスキャンされ得、エントロピコーディングが、さらなる圧縮を達成するために適用され得る。

[0006]全体的に、本開示は、アクセス単位内で復号単位を処理する技法を説明するものである。アクセス単位は、同一の時間瞬間内の１つまたは複数のピクチャのビデオデータを指す。たとえば、アクセス単位の復号は、１つまたは複数の復号されたピクチャをもたらし、ここで、復号されたピクチャのすべてが、同一の時間瞬間に関する。

[0007]アクセス単位は、１つまたは複数の復号単位を含む。より詳細に説明されるように、いくつかの例では、本開示で説明される技法は、アクセス単位内の復号単位のそれぞれを一意に識別する。いくつかの例では、この技法は、メッセージの１つまたは複数のコピーをアクセス単位内に埋め込むことを可能にする。

[0008]一例では、本開示は、ビデオデータを復号する方法を説明する。この方法は、アクセス単位内の各復号単位の一意識別子を復号することを備える。この例では、ある復号単位の識別子は、アクセス単位内のすべての他の復号単位の識別子と異なる。この方法は、アクセス単位内の各復号単位の一意識別子に基づいて、どのネットワークアクセスレイヤ（ＮＡＬ）単位がどの復号単位に関連するのかを判定することと、少なくとも１つのピクチャを再構成するために、判定に基づいて、アクセス単位内の復号単位のそれぞれのＮＡＬ単位を復号することとをも含む。

[0009]もう１つの例では、本開示は、ビデオデータを符号化する方法を説明する。この方法は、アクセス単位内の各復号単位の一意識別子を判定することを備える。この例では、ある復号単位の識別子は、アクセス単位内のすべての他の復号単位の識別子と異なる。この方法は、どのネットワークアクセスレイヤ（ＮＡＬ）単位がアクセス単位のどの復号単位に関連するのかを判定することと、どのＮＡＬ単位がアクセス単位のどの復号単位に関連するのかを示すために、対応する復号単位内の各一意識別子を出力のために生成することとをも含む。

[0010]もう１つの例では、本開示は、ビデオデータを復号するデバイスを説明する。このデバイスは、アクセス単位内の各復号単位の一意識別子を復号するように構成されたビデオ復号器を備える。この例では、ある復号単位の識別子は、アクセス単位内のすべての他の復号単位の識別子と異なる。ビデオ復号器は、アクセス単位内の各復号単位の一意識別子に基づいて、どのネットワークアクセスレイヤ（ＮＡＬ）単位がどの復号単位に関連するのかを判定し、少なくとも１つのピクチャを再構成するために、判定に基づいて、アクセス単位内の復号単位のそれぞれのＮＡＬ単位を復号するように構成される。

[0011]もう１つの例では、本開示は、ビデオデータを符号化するデバイスを説明する。このデバイスは、アクセス単位内の各復号単位の一意識別子を判定するように構成されたビデオ符号器を備える。この例では、ある復号単位の識別子は、アクセス単位内のすべての他の復号単位の識別子と異なる。ビデオ符号器は、どのネットワークアクセスレイヤ（ＮＡＬ）単位がアクセス単位のどの復号単位に関連するのかを判定し、どのＮＡＬ単位がアクセス単位のどの復号単位に関連するのかを示すために、対応する復号単位内の各一意識別子を出力のために生成するように構成される。

[0012]もう１つの例では、本開示は、実行された時に、ビデオデータを復号するデバイスの１つまたは複数のプロセッサに、アクセス単位内の各復号単位の一意識別子を復号させ、ある復号単位の識別子は、アクセス単位内のすべての他の復号単位の識別子と異なり、アクセス単位内の各復号単位の一意識別子に基づいて、どのネットワークアクセスレイヤ（ＮＡＬ）単位がどの復号単位に関連するのかを判定させ、少なくとも１つのピクチャを再構成するために、判定に基づいて、アクセス単位内の復号単位のそれぞれのＮＡＬ単位を復号させる、その上に格納された命令を有するコンピュータ可読記憶媒体を説明する。

[0013]もう１つの例では、本開示は、ビデオデータを復号するデバイスであって、アクセス単位内の各復号単位の一意識別子を復号するための手段であって、ある復号単位の識別子は、アクセス単位内のすべての他の復号単位の識別子と異なる、復号するための手段と、アクセス単位内の各復号単位の一意識別子に基づいて、どのネットワークアクセスレイヤ（ＮＡＬ）単位がどの復号単位に関連するのかを判定するための手段と、少なくとも１つのピクチャを再構成するために、判定に基づいて、アクセス単位内の復号単位のそれぞれのＮＡＬ単位を復号するための手段とを備えるデバイスを説明する。

[0014]もう１つの例では、本開示は、ビデオデータをコーディングする方法であって、アクセス単位内の付加拡張情報（ＳＥＩ）メッセージをコーディングすることを備える方法を説明する。この例では、アクセス単位は、少なくとも１つのピクチャを再構成するためのビデオデータを含み、ＳＥＩメッセージは、ビデオデータの特性を定義する。この方法は、アクセス単位内でＳＥＩメッセージのコピーをコーディングすることをも含む。

[0015]もう１つの例では、本開示は、ビデオデータをコーディングするデバイスであって、デバイスは、アクセス単位内の付加拡張情報（ＳＥＩ）メッセージをコーディングするように構成されたビデオコーダを備えるデバイスを説明する。この例では、アクセス単位は、少なくとも１つのピクチャを再構成するためのビデオデータを含み、ＳＥＩメッセージは、ビデオデータの特性を定義する。ビデオコーダは、アクセス単位内でＳＥＩメッセージのコピーをコーディングするようにも構成される。

[0016]もう１つの例では、本開示は、ビデオデータをコーディングするデバイスの１つまたは複数のプロセッサによって実行された時に、１つまたは複数のプロセッサに、アクセス単位内の付加拡張情報（ＳＥＩ）メッセージをコーディングさせる、その上に格納された命令を有するコンピュータ可読記憶媒体を説明する。この例では、アクセス単位は、少なくとも１つのピクチャを再構成するためのビデオデータを含み、ＳＥＩメッセージは、ビデオデータの特性を定義する。命令は、１つまたは複数のプロセッサに、アクセス単位内でＳＥＩメッセージのコピーをコーディングもさせる。

[0017]もう１つの例では、本開示は、ビデオデータをコーディングするデバイスであって、デバイスは、アクセス単位内の付加拡張情報（ＳＥＩ）メッセージをコーディングするための手段を備える、デバイスを説明する。この例では、アクセス単位は、少なくとも１つのピクチャを再構成するためのビデオデータを含み、ＳＥＩメッセージは、ビデオデータの特性を定義する。このデバイスは、アクセス単位内でＳＥＩメッセージのコピーをコーディングするための手段をも含む。

[0018]１つまたは複数の例の詳細は、添付図面と下の説明とに示されている。他の特徴と、目的と、利益とは、この説明と図面と特許請求の範囲とから明白になる。

[0019]本開示で説明される技法を利用することができる例のビデオ符号化および復号システムを示すブロック図。 [0020]本開示で説明される技法による、復号単位識別子を含むアクセス単位の例を示す概念図。 本開示で説明される技法による、復号単位識別子を含むアクセス単位の例を示す概念図。 [0021]本開示で説明される技法を実施することができる例のビデオ符号器を示すブロック図。 [0022]本開示で説明される技法を実施することができる例のビデオ復号器を示すブロック図。 [0023]本開示で説明される１つまたは複数の例による、ビデオデータの符号化の例を示す流れ図。 [0024]本開示で説明される１つまたは複数の例による、ビデオデータの復号の例を示す流れ図。 [0025]本開示で説明される１つまたは複数の例による、ビデオデータのコーディングの例を示す流れ図。

[0026]本開示は、ビデオコーディングでの誤り耐性のある復号単位シグナリングおよび関連付けのさまざまな方法を説明する。マルチビューコーディングまたはスケーラブルビデオコーディングでは、複数のピクチャまたはレイヤが、所与の時間瞬間についてコーディングされ得る。同一の時間瞬間のピクチャが、単一のアクセス単位（ＡＵ）内でコーディングされる。たとえば、アクセス単位の復号は、マルチビューコーディングが使用されない時に１つのピクチャまたはマルチビューコーディングに関して同一の時間瞬間の複数のピクチャをもたらす。

[0027]復号単位（ＤＵ）は、一般に、アクセス単位のサブセットまたはアクセス単位の全体を指す。たとえば、サブピクチャレベルでの動作が許容される場合に、復号単位は、アクセス単位のサブセットであり、アクセス単位は、複数の復号単位を含む。アクセス単位は、１つまたは複数のピクチャのビデオデータを含むので、復号単位レベルでの動作は、サブピクチャレベルでの動作と考えられ得る。サブピクチャレベルでの動作が許容されない場合には、復号単位は、アクセス単位の全体である。

[0028]復号単位は、１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ：network abstraction layer）単位を含む。たとえば、復号単位は、１つまたは複数のビデオコーディングレイヤ（ＶＣＬ）ＮＡＬ単位と関連する非ＶＣＬ ＮＡＬ単位とを含む。ＮＡＬ単位の一例は、ピクチャのスライスである（すなわち、ＮＡＬ単位にカプセル化されたデータは、ピクチャのスライスを復号するのに必要なビデオデータを含む）。ＮＡＬ単位のもう１つの例は、パラメータセットである。たとえば、ＮＡＬ単位は、ピクチャパラメータセットと、シーケンスパラメータセットと、パラメータセットの他の例とのビデオデータを含むことができる。もう１つの例として、ＮＡＬ単位は、バッファ（たとえば、コーディングされたピクチャバッファ）からの復号単位の処理時間と除去時間とを判定するために使用される付加拡張情報（ＳＥＩ）メッセージなどの追加情報を含むことができる。

[0029]本開示で説明されるいくつかの例では、ビデオ符号器は、コーディングされたビットストリーム内で、アクセス単位内の各復号単位の識別子を、出力のために生成し、出力する（たとえば、シグナリングする）。各識別子（ＤＵ識別子と呼ばれる）は、アクセス単位内で復号単位を一意に識別する。ビデオ復号器は、コーディングされたビットストリームから、アクセス単位内の復号単位の識別子を受け取る。ビデオ復号器は、復号単位識別子に基づいて、どのＮＡＬ単位がどの復号単位に関連するのかを判定する。

[0030]この形で、本開示で説明される技法は、ＮＡＬ単位が正しい復号単位に関連することを保証することができる。たとえば、ビデオ符号器が、各復号単位が含むＮＡＬ単位の個数を示す情報（たとえば、出力情報）をシグナリングすることが可能である。復号単位識別子を使用するのではなく、ビデオ復号器は、ビデオ復号器がＮＡＬ単位を受け取った順序と、各復号単位が含むＮＡＬ単位の個数を示すシグナリングされた情報とに基づいて、復号単位へのＮＡＬ単位の関連付けを判定することができる。

[0031]しかし、この場合に、ＮＡＬ単位が正しい復号単位に関連することの保証は、誤り耐性があるものではない。たとえば、ＮＡＬ単位が伝送（たとえば、ビデオ符号器からビデオ復号器へ、ビデオ符号器から中間のストレージデバイスへ、または中間のストレージデバイスからビデオ復号器へ）中に失われる場合に、ビデオ復号器が、どのＮＡＬ単位がどの復号単位に関連するのかを判定できない可能性がある。

[0032]ＮＡＬ単位が正しい復号単位に関連することを保証することに関する可能な問題のもう１つの例として、ビデオ符号器が、２タイプのメッセージの間で復号単位に関連するＮＡＬ単位をシグナリングすることが可能である場合がある。たとえば、ビデオ符号器は、特定のタイプの付加拡張情報（ＳＥＩ）メッセージの第１のインスタンスをシグナリングし、これに第１の復号単位の１つまたは複数のＮＡＬ単位が続き、これに特定のタイプのＳＥＩメッセージの第２のインスタンスが続き、これに第２の復号単位の１つまたは複数のＮＡＬ単位が続き、以下同様とすることができる。ビデオ復号器は、このタイプのＳＥＩメッセージの第１のインスタンスの後、このタイプのＳＥＩメッセージの第２のインスタンスの前に受け取られたすべてのＮＡＬ単位が、第１の復号単位に関連し、このタイプのＳＥＩメッセージの第２のインスタンスの後、このタイプのＳＥＩメッセージの第３のインスタンスの前に受け取られたすべてのＮＡＬ単位が、第２の復号単位に関連し、以下同様であると判定することができる。

[0033]このタイプのＳＥＩメッセージは、符号化および復号の正しいタイミングに関係する追加情報を含むことができる。しかし、このタイプのＳＥＩメッセージの位置は、どのＮＡＬ単位がどの復号単位に関連するのかを示すので、ビデオ復号器が、復号単位内にこのタイプのＳＥＩメッセージの複数のコピーを含めることは、可能ではない可能性がある。したがって、これらのＳＥＩメッセージのうちの１つが伝送で失われる場合であっても、ビデオ復号器は、どのＮＡＬ単位がどの復号単位に関連するのかを判定できない可能性があり、失われたＳＥＩメッセージによって担持された追加情報を判定できない可能性がある。

[0034]本開示で説明される技法では、ビデオ符号器は、どのＮＡＬ単位がどの復号単位に関連するのかを示す情報（たとえば、ＳＥＩメッセージまたはスライスヘッダ内の復号単位識別子と共に）を、出力のために生成し、出力することができる。この形で、ＮＡＬ単位が伝送で失われる場合であっても、ビデオ復号器は、どのＮＡＬ単位がどの復号単位に関連するのかを判定できる可能性がある。また、ビデオ復号器が、どのＮＡＬ単位がどの復号単位に関連するのかを判定するのにＳＥＩメッセージの位置に頼る必要がない可能性があるので、ビデオ符号器は、復号単位内にＳＥＩメッセージの１つまたは複数のコピーを出力のために生成し、出力することができる。そのような技法は、上で説明されたいくつかの他の技法と比較して、ビデオ復号器がどのＮＡＬ単位がどの復号単位に関連するのかを判定する、比較的より誤り耐性のある形を提供することができる。

[0035]さらに、上で説明された他の技法のいくつかでは、あるタイプのＳＥＩメッセージは、繰返しを禁止される（本開示で説明される技法が対処できる問題）。いくつかの場合に、これらの他の技法では、あるＳＥＩメッセージタイプが繰返しを禁止されるだけではなく、ＳＥＩメッセージ全般が、アクセス単位内の最初のＶＣＬ ＮＡＬ単位の後、アクセス単位内の最後のＮＡＬ単位の前に、繰り返されることを制限される。

[0036]たとえば、これらの他の技法のいくつかでは、ビデオ復号器は、ＳＥＩメッセージの位置に基づいてアクセス単位の始めを判定するはずである。たとえば、ＳＥＩメッセージは、アクセス単位の始めに配置されるはずであり、ビデオ復号器がＳＥＩメッセージを処理しつつあると判定した後に、ビデオ復号器は、ビデオ復号器が新しいアクセス単位を処理しつつあると判定するはずである。したがって、同一のアクセス単位内にＳＥＩメッセージの複数のコピーを含めることの制限がある。

[0037]誤りを起こしやすい環境では、ＳＥＩメッセージが失われる場合に、ＳＥＩメッセージの他のコピーが使用可能になるようにするために、ＳＥＩメッセージの複数のコピーを含めることが有益である可能性がある。いくつかの例では、諸技法は、さまざまなタイプのＳＥＩメッセージをアクセス単位内で繰り返すことを可能にし、これが、誤り耐性をさらに与える。一例として、諸技法は、すべてのＳＥＩメッセージについて、（１）ＳＥＩメッセージ内で担持される情報が適用される適用範囲と、（２）ＳＥＩメッセージが存在し得るところと、（３）特定のタイプのＳＥＩメッセージの複数のインスタンスの内容に対する制限とを指定することができる。

[0038]たとえば、アクセス単位は、複数のパケット（たとえば、リアルタイムトランスポートプロトコル（ＲＴＰ）パケット）にパケット化され得る。各パケットは、通常、１つまたは複数のＮＡＬ単位を含むが、いくつかの場合に、パケットは、ＮＡＬ単位のサブセットを含むことができる。誤りを起こしやすい環境では、１つまたは複数のパケットが失われる可能性があり、失われたパケットがＳＥＩメッセージを含む場合には、そのＳＥＩメッセージが失われる可能性がある。本開示で説明される技法では、ビデオ符号器は、アクセス単位内にＳＥＩメッセージの１つまたは複数のコピーを出力のために生成し、出力する（たとえば、シグナリングする）ことができる。この形で、ＳＥＩメッセージのうちの１つを含むパケットが失われる場合であっても、ＳＥＩメッセージは、それでも、失われなかったパケット内のコピーとして使用可能である可能性がある。

[0039]もう１つの例として、ビデオ符号器は、ｈｉｇｈ ｅｆｆｉｃｉｅｎｔ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ）標準規格のマルチレイヤ拡張でなど、複数のレイヤを有するビデオビットストリームを符号化することができる。複数のレイヤは、ベースレイヤと１つまたは複数の非ベースレイヤとを含む。非ベースレイヤは、空間または品質エンハンスメントレイヤ、異なるビューのテクスチャ、異なるビューの深度、および他のそのような例とすることができる。ビデオ符号器は、異なるチャネル内で異なるレイヤをトランスポートすることができる（たとえば、ＩＥＴＦ ＲＦＣ ６１９０（ｈｔｔｐ：／／ｔｏｏｌｓ．ｉｅｔｆ．ｏｒｇ／ｒｆｃ／ｒｆｃ６１９０．ｔｘｔで公に入手可能）で同様に定義されたマルチセッション伝送（ＭＳＴ）を使用して。本開示で説明される技法では、ビデオ符号器は、アクセス単位内の２つのＶＣＬ ＮＡＬＵ単位内にＳＥＩ ＮＡＬ単位を含むことができ、ＳＥＩ ＮＡＬ単位は、ＳＥＩメッセージを含み、アクセス単位の最初のＶＣＬ ＮＡＬ単位の後である。言い替えると、アクセス単位内の最初のＶＣＬ ＮＡＬ単位の後にＳＥＩメッセージを含めるための本開示で説明される技法は、マルチセッション伝送の例にも適用可能である。

[0040]本開示で説明される技法では、ビデオ復号器は、ビデオ復号器が新しいアクセス単位を処理しつつあることを判定するために、必ずしもＳＥＩメッセージの位置に頼る必要がない。たとえば、ビデオ復号器は、新しいアクセス単位が処理されつつあることを判定するために、ある他のヘッダ情報に頼ることができる。したがって、本開示で説明される技法では、ビデオ符号器は、アクセス単位内のＳＥＩメッセージとアクセス単位内のＳＥＩメッセージの１つまたは複数のコピーとを、出力のために生成し、出力することができ、ビデオ復号器は、ＳＥＩメッセージとＳＥＩメッセージの１つまたは複数のコピーとを受け取ることができる。ビデオ復号器は、新しいアクセス単位が処理されようとしている時を判定するためにＳＥＩメッセージに頼る必要がないので、新しい、異なるアクセス単位が処理されつつあることを判定することなく、同一のアクセス単位内のＳＥＩメッセージの複数のコピーを処理するように構成され得る。

[0041]図１は、本開示で説明される技法を利用することができる例のビデオ符号化および復号システム１０を示すブロック図である。図１に示されているように、システム１０は、宛先デバイス１４によって後刻に復号される符号化されたビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話送受話器、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、ディジタルメディアプレイヤ、ビデオゲーム機、ビデオストリーミングデバイス、または類似物を含む広範囲のデバイスのいずれをも備えることができる。いくつかの場合に、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のための備えを有することができる。

[0042]宛先デバイス１４は、リンク１６を介して、復号されるべき符号化されたビデオデータを受信することができる。リンク１６は、ソースデバイス１２から宛先デバイス１４へ符号化されたビデオデータを移動することのできる任意のタイプの媒体またはデバイスを備えることができる。一例では、リンク１６は、ソースデバイス１２が符号化されたビデオデータを宛先デバイス１４にリアルタイムで直接に送信することを可能にする通信媒体を備えることができる。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信標準規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、ラジオ周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線など、任意のワイヤレス通信媒体または有線通信媒体を備えることができる。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成することができる。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を容易にするのに有用である可能性があるルータ、スイッチ、基地局、または任意の他の機器を含むことができる。

[0043]代替案では、符号化されたデータは、出力インターフェース２２からストレージデバイス３２に出力され得る。同様に、符号化されたデータは、入力インターフェースによってストレージデバイス３２からアクセスされ得る。ストレージデバイス３２は、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク（ｄｉｓｃ）、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性のメモリ、または符号化されたビデオデータを格納するための任意の他の適切なディジタル記憶媒体など、さまざまな分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれをも含むことができる。さらなる例では、ストレージデバイス３２は、ソースデバイス１２によって生成された符号化されたビデオを保持することができるファイルサーバまたは別の中間ストレージデバイスに対応することができる。宛先デバイス１４は、ストリーミングまたはダウンロードを介してストレージデバイス３２からの格納されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを格納し、その符号化されたビデオデータを宛先デバイス１４に送信することができる任意のタイプのサーバとすることができる。例のファイルサーバは、ウェブサーバ（たとえば、ウェブサイトのための）、ＦＴＰサーバ、ネットワークアタッチドストレージ（ＮＡＳ）デバイス、またはローカルディスク（ｄｉｓｋ）ドライブを含む。宛先デバイス１４は、インターネット接続を含む任意の標準データ接続を介して符号化されたビデオデータにアクセスすることができる。これは、ファイルサーバに格納された符号化されたビデオデータへのアクセスに適する、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（たとえば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組合せを含むことができる。ストレージデバイス３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはその両方の組合せとすることができる。

[0044]本開示の技法は、必ずしもワイヤレス応用またはワイヤレスセッティングに限定されない。本技法は、オーバージエア（ｏｖｅｒ−ｔｈｅ−ａｉｒ）テレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介するストリーミングビデオ送信、データ記憶媒体上の格納のためのディジタルビデオの符号化、データ記憶媒体上に格納されたディジタルビデオの復号、または他の応用例など、さまざまなマルチメディアアプリケーションのいずれをもサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオ放送、および／またはビデオ電話などの応用例をサポートするために、１方向または両方向のビデオ送信をサポートするように構成され得る。

[0045]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオ符号器２０と、出力インターフェース２２とを含む。いくつかの場合に、出力インターフェース２２は、変調器／復調器（モデム）および／または送信器を含むことができる。ソースデバイス１２では、ビデオソース１８は、ビデオキャプチャデバイス、たとえばビデオカメラ、以前に取り込まれたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するビデオフィードインターフェース、および／もしくはソースビデオとしてコンピュータグラフィックスデータを生成するコンピュータグラフィックスシステムなどのソースまたはそのようなソースの組合せを含むことができる。一例として、ビデオソース１８がビデオカメラである場合に、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ付き携帯電話機またはテレビ電話を形成することができる。しかし、本開示で説明される技法は、ビデオコーディング全般に適用可能とすることができ、ワイヤレス応用および／または有線応用に適用され得る。

[0046]取り込まれた、事前に取り込まれた、またはコンピュータ生成されたビデオは、ビデオ符号器２０によって符号化され得る。符号化されたビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接に送信され得る。符号化されたビデオデータは、また（または代替的に）、復号および／または再生のために、宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス３２に格納され得る。

[0047]宛先デバイス１４は、入力インターフェース２８と、ビデオ復号器３０と、ディスプレイデバイス３１とを含む。いくつかの場合に、入力インターフェース２８は、受信器および／またはモデムを含むことができる。宛先デバイス１４の入力インターフェース２８は、リンク１６を介して符号化されたビデオデータを受信する。リンク１６を介して通信されまたはストレージデバイス３２上で提供される符号化されたビデオデータは、ビデオデータの復号において、ビデオ復号器３０などのビデオ復号器による使用のためにビデオ符号器２０によって生成されたさまざまな構文要素を含むことができる。そのような構文要素は、通信媒体上で送信され、記憶媒体に格納され、またはファイルサーバを格納した符号化されたビデオデータと共に含まれ得る。

[0048]ディスプレイデバイス３１は、宛先デバイス１４に一体化され、またはその外部とすることができる。いくつかの例では、宛先デバイス１４は、一体化されたディスプレイデバイスを含むことができ、外部ディスプレイデバイスとインターフェースするようにも構成され得る。他の例では、宛先デバイス１４は、ディスプレイデバイスとすることができる。一般に、ディスプレイデバイス３１は、ユーザに復号されたビデオデータを表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、さまざまなディスプレイデバイスのいずれをも備えることができる。

[0049]ビデオ符号器２０およびビデオ復号器３０は、個々のマイクロプロセッサまたは集積回路（ＩＣ）として形成され得、またはより大きいマイクロプロセッサもしくはＩＣの一部とすることができる。いくつかの例では、ビデオ符号器２０およびビデオ復号器３０は、ワイヤレス通信デバイスの一部とすることができる。

[0050]ビデオ符号器２０およびビデオ復号器３０は、ビデオ圧縮標準規格に従って動作することができる。ビデオコーディング標準規格の例は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、ならびにそのｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＳＶＣ）およびｍｕｌｔｉｖｉｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＭＶＣ）拡張を含むＩＴＵ−Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても既知）を含む。

[0051]さらに、ビデオ符号器２０およびビデオ復号器３０がそれに従って動作することができる新しいビデオコーディング標準規格すなわち、ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）とＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）によって開発されつつあるＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）標準規格がある。ビデオ符号器２０およびビデオ復号器３０は、ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＨＭ）に従うことができる。「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ８」または「ＷＤ８」と称するＨＥＶＣ標準規格の最近のドラフトが、その内容全体が参照によって本明細書に組み込まれている文書ＪＣＴＶＣ−Ｈ１００３、Ｂｒｏｓｓ他、「Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ）ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ８」、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）ｏｆ ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１、１０ｔｈ Ｍｅｅｔｉｎｇ： Ｓｔｏｃｋｈｏｌｍ、スウェーデン、２０１２年７月１１〜２０日（２０１３年４月２日時点でｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１０＿Ｓｔｏｃｋｈｏｌｍ／ｗｇ１１／ＪＣＴＶＣ−Ｊ１００３−ｖ８．ｚｉｐからダウンロード可能）に記載されている。以下では「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ９」または「ＷＤ９」と称するＨＥＶＣのより最近のワーキングドラフトが、２０１３年４月２日時点で、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１１＿Ｓｈａｎｇｈａｉ／ｗｇ１１／ＪＣＴＶＣ−Ｋ１００３−ｖ１０．ｚｉｐから入手可能である。

[0052]代替案では、ビデオ符号器２０およびビデオ復号器３０は、ＭＰＥＧ−４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）とも称するＩＴＵ−Ｔ Ｈ．２６４標準規格などの他のプロプライエタリ標準規格もしくは産業標準規格、またはそのような標準規格の拡張に従って動作することができる。しかし、本開示の技法は、どの特定のコーディング標準規格にも限定されない。ビデオ圧縮標準規格の他の例は、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３、ならびにＶＰ８などのオープンフォーマットを含む。

[0053]しかし、本開示の技法は、どの特定のコーディング標準規格にも限定されない。たとえば、ビデオ符号器２０およびビデオ復号器３０は、必ずしも任意の特定のビデオコーディング標準規格に従う必要がない。さらに、本開示で説明される技法が、必ずしも特定の標準規格に従わない場合であっても、本開示で説明される技法は、さまざまな標準規格に関してコーディング効率をさらに援助することができる。また、本開示で説明される技法は、将来の標準規格の一部になる可能性がある。理解を簡単にするために、技法は、開発中のＨＥＶＣ標準規格に関して説明されるが、技法は、ＨＥＶＣ標準規格に限定されず、他のビデオコーディング標準規格または特定の標準規格によって定義されるのではないビデオコーディング技法に拡張され得る。

[0054]図１には示されていないが、いくつかの態様で、ビデオ符号器２０およびビデオ復号器３０は、それぞれ、オーディオ符号器およびオーディオ復号器と一体化され得、共通データストリームまたは別々のデータストリーム内のオーディオとビデオの両方の符号化を処理するために、適当なＭＵＸ−ＤＥＭＵＸユニットまたは他のハードウェアとソフトウェアとを含むことができる。適用可能な場合に、いくつかの例で、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコルまたはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに従うことができる。

[0055]ビデオ符号器２０およびビデオ復号器３０は、それぞれ、１つまたは複数のマイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、個々の集積回路（ＩＣ）もしくはＩＣの一部、ソフトウェア、ハードウェア、ファームウェア、またはその任意の組合せなど、さまざまな適切な符号器回路網のいずれかとして実施され得る。技法が、部分的にソフトウェアで実施される時に、デバイスは、本開示の技法を実行するために、適切な固定コンピュータ可読記憶媒体内にソフトウェアの命令を格納し、ハードウェア内で１つまたは複数のプロセッサを使用して命令を実行することができる。言い替えると、部分的にソフトウェアで実施される時に、基礎になるハードウェアコンポーネント上で実行される、ハードウェアコンポーネントにある種の機能を実施させるソフトウェア。ビデオ符号器２０およびビデオ復号器３０のそれぞれは、１つまたは複数の符号器または復号器に含まれ得、この符号器または復号器のいずれもが、それぞれのデバイス内の組み合わされた符号器／復号器（コーデック）の一部として一体化され得る。

[0056]たとえば、ビデオ符号器２０およびビデオ復号器３０は、それぞれソースデバイス１２および宛先デバイス１４などのワイヤレスデバイス内に含まれ得る。もう１つの例として、デバイスは、マイクロプロセッサまたは集積回路を含むことができる。いくつかの例では、マイクロプロセッサまたは集積回路などのデバイスは、ビデオ復号器３０を含むことができ、別のデバイスは、ビデオ符号器２０を含むことができる。

[0057]ＪＣＴ−ＶＣは、ＨＥＶＣ標準規格の開発に取り組んでいる。ＨＥＶＣ標準規格化の努力は、ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＨＭ）と呼ばれるビデオコーディングデバイスの進化するモデルに基づく。ＨＭは、たとえばＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存デバイスに対するビデオコーディングデバイスの複数の追加の能力を前提とする。

[0058]一般に、ＨＭのワーキングモデルは、ビデオフレームまたはピクチャが、ルマサンプルとクロマサンプルの両方を含むツリーブロックまたは最大コーディング単位（ＬＣＵ：largest coding unit）のシーケンスに分割され得ると記述する。ツリーブロックは、Ｈ．２６４標準規格のマクロブロックに類似するいくつかの目的のために働くことができるが、ツリーブロックは、マクロブロックに対する多数の相違を有する。スライスは、コーディング順序において複数の連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコーディング単位（ＣＵ）に分割され得る。たとえば、４分木のルートノードとしてのツリーブロックは、４つの子ノードに分割され得、各子ノードは、親ノードになることができ、別の４つの子コードに分割され得る。４分木の葉ノードとしての最終的な分割されない子ノードは、コーディングノードすなわちコーディングされたビデオブロックを備える。コーディングされたビットストリームに関連する構文データは、ツリーブロックを分割できる最大回数を定義することができ、コーディングノードの最小サイズを定義することもできる。

[0059]ＣＵは、コーディングノードならびにコーディングノードに関連する予測単位（ＰＵ：prediction unit）と変換単位（ＴＵ：transform unit）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状において正方形でなければならない。ＣＵのサイズは、８ｘ８画素から６４ｘ６４画素以上の最大値を有するツリーブロックのサイズまでの範囲にわたることができる。各ＣＵは、１つまたは複数のＰＵと１つまたは複数のＴＵとを含むことができる。ＣＵに関連する構文データは、たとえば、１つまたは複数のＰＵへのＣＵの区分を記述することができる。区分モードは、ＣＵがスキップモード符号化されるか、または直接モード符号化されるか、イントラ予測モード符号化されるか、またはインター予測モード符号化されるか、の間で異なるものとすることができる。ＰＵは、形状において非正方形に区分され得る。ＣＵに関連する構文データは、たとえば、４分木に従う１つまたは複数のＴＵへのＣＵの区分を記述することもできる。ＴＵは、形状において正方形または非正方形とすることができる。

[0060]ＨＥＶＣ標準規格は、異なるＣＵについて異なるものとすることができるＴＵに従う変換を可能にする。ＴＵは、通常、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズを定められるが、必ずそうであるわけではない。ＴＵは、通常、ＰＵと同一のサイズであるか、これより小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として既知の４分木構造を使用してより小さい単位に副分割され得る。ＲＱＴの葉ノードは、変換単位（ＴＵ）と呼ばれる場合がある。ＴＵに関連する画素差値は、量子化され得る変換係数を作るために変換され得る。

[0061]一般に、ＰＵは、予測プロセスに関係するデータを含む。たとえば、ＰＵが、イントラモード符号化される（すなわち、イントラ予測符号化される）時には、ＰＵは、ＰＵのイントラ予測モードを記述するデータを含むことができる。もう１つの例として、ＰＵが、インターモード符号化される（すなわち、インター予測符号化される）時には、ＰＵは、ＰＵの動きベクトルを定義するデータを含むことができる。ＰＵの動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの分解能（たとえば、１／４画素精度または１／８画素精度）、動きベクトルがポイントする基準ピクチャ、および／または動きベクトルの基準ピクチャリスト（たとえば、ＲｅｆＰｉｃｌＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１）を記述することができる。

[0062]一般に、ＴＵは、変換プロセスと量子化プロセスとに使用される。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数の変換単位（ＴＵ）を含むこともできる。予測に続いて、ビデオ符号器２０は、ＰＵに対応する残差値を計算することができる。残差値は、エントロピコーディングの直列化された変換係数を作るためにＴＵを使用して変換係数に変換され、量子化され、スキャンされ得る画素差値を備える。本開示は、通常、ＣＵのコーディングノードを指すのに用語「ビデオブロック」を使用する。いくつかの特定の場合に、本開示は、コーディングノードとＰＵとＴＵとを含むツリーブロックすなわちＬＣＵまたはＣＵを指すのにも、用語「ビデオブロック」を使用する場合がある。

[0063]ビデオシーケンスは、通常、一連のビデオフレームまたはピクチャを含む。グループオブピクチャ（ＧＯＰ）は、一般に、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰのヘッダ、ピクチャのうちの１つまたは複数のヘッダ、または他所に、ＧＯＰ内に含まれるピクチャの枚数を記述する構文データを含むことができる。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライス構文データを含むことができる。ビデオ符号器２０は、通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに作用する。ビデオブロックは、ＣＵ内のコーディングノードに対応することができる。ビデオブロックは、固定されたサイズまたは可変サイズを有することができ、指定されたコーディング標準規格に従ってサイズにおいて異なることができる。

[0064]一例として、ＨＭは、さまざまなＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎｘ２Ｎであると仮定すると、ＨＭは、２Ｎｘ２ＮまたはＮｘＮのＰＵサイズでのイントラ予測と、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、またはＮｘＮの対称ＰＵサイズでのインター予測とをサポートする。ＨＭは、２ＮｘｎＵと、２ＮｘｎＤと、ｎＬｘ２Ｎと、ｎＲｘ２ＮとのＰＵサイズでのインター予測のための非対称区分をもサポートする。非対称区分では、ＣＵの一方向は、区分されないが、他の方向は、２５％と７５％とに区分される。ＣＵのうちで２５％区画に対応する部分は、「ｎ」とそれに続く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」の表示とによって示される。したがって、たとえば、「２ＮｘｎＵ」は、上に２Ｎｘ０．５Ｎ ＰＵ、下に２Ｎｘ１．５Ｎ ＰＵで水平に区分された２Ｎｘ２Ｎ ＣＵを指す。

[0065]本開示では、「ＮｘＮ」および「Ｎ×Ｎ」、たとえば１６ｘ１６画素または１６×１６画素が、水平次元と垂直次元とに関するビデオブロックの画素次元を指すのに交換可能に使用される場合がある。一般に、１６ｘ１６ブロックは、垂直方向に１６画素（ｙ＝１６）と、水平方向に１６画素（ｘ＝１６）とを有する。同様に、ＮｘＮブロックは、一般に、垂直方向にＮ画素と、水平方向にＮ画素とを有し、ここでＮは、非負整数値を表す。ブロック内の画素は、行および列に配置され得る。さらに、ブロックは、必ずしも水平方向で垂直方向と同一の個数の画素を有する必要がない。たとえば、ブロックは、ＮｘＭ画素を備えることができ、ここで、Ｍは、必ずしもＮと等しくはない。

[0066]ＣＵのＰＵを使用するイントラ予測コーディングまたはインター予測コーディングに続いて、ビデオ符号器２０は、ＣＵのＴＵの残差データを計算することができる。ＰＵは、空間領域（画素領域とも呼ばれる）の画素データを備えることができ、ＴＵは、変換、たとえば離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に類似する変換を残差ビデオデータに適用した後に、変換領域の係数を備えることができる。残差データは、符号化されていないピクチャの画素とＰＵに対応する予測値との間の画素差に対応することができる。ビデオ符号器２０は、ＣＵの残差データを含むＴＵを形成し、その後、ＣＵの変換係数を作るためにＴＵを変換することができる。

[0067]変換係数を作るためのすべての変換の後に、ビデオ符号器２０は、変換係数の量子化を実行することができる。量子化は、一般に、おそらくは係数を表すのに使用されるデータの量を減らし、さらなる圧縮を実現するために変換係数が量子化されるプロセスを指す。量子化プロセスは、係数の一部またはすべてに関連するビット深さを減らすことができる。たとえば、ｎビット値を、量子化中にｍビット値に丸めることができ、ｎは、ｍより大きい。

[0068]いくつかの例では、ビデオ符号器２０は、エントロピ符号化できる直列化されたベクトルを作るために、量子化された変換係数をスキャンするのに、事前に定義されたスキャン順序を利用することができる。他の例では、ビデオ符号器２０は、適応スキャンを実行することができ、あるいは、複数の可能なスキャンからスキャンを選択することができる。１次元ベクトルを形成するために量子化された変換係数をスキャンした後に、ビデオ符号器２０は、たとえば、ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ（ＣＡＶＬＣ）、ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ（ＣＡＢＡＣ）、ｓｙｎｔａｘ−ｂａｓｅｄ ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ（ＳＢＡＣ）、Ｐｒｏｂａｂｉｌｉｔｙ Ｉｎｔｅｒｖａｌ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｅｎｔｒｏｐｙ（ＰＩＰＥ）コーディング、または別のエントロピ符号化方法論に従って、１次元ベクトルをエントロピ符号化することができる。ビデオ符号器２０は、ビデオデータを復号する際のビデオ復号器３０による使用のために、符号化されたビデオデータに関連する構文要素をエントロピ符号化することもできる。

[0069]ＣＡＢＡＣを実行するために、ビデオ符号器２０は、コンテキストモデル内のコンテキストを、送信されるシンボルに割り当てる。コンテキストは、たとえば、シンボルの隣接する値が非ゼロであるか否かに関するものとすることができる。ＣＡＶＬＣを実行するために、ビデオ符号器２０は、送信されるシンボルについて可変長コーディングを選択することができる。ＶＬＣの符号語は、相対的により短いコードが、より可能性の高いシンボルに対応し、より長いコードが、より可能性の低いシンボルに対応するように構成され得る。この形で、ＶＬＣの使用は、たとえば、各シンボルが送信されるための等長符号語の使用に対するビット節約を達成することができる。可能性判定は、シンボルに割り当てられたコンテキストに基づくものとすることができる。

[0070]ビデオ符号器２０は、ピクチャがビデオ復号器３０によって再構成される形を定義するビデオデータを生成し、ビデオデータを符号化し（たとえば、出力のために生成し）、ビデオデータをコーディングされたビットストリーム内でビデオ復号器３０に出力する（たとえば、シグナリングする）。ビデオ復号器３０は、コーディングされたビットストリームから符号化されたビデオデータを受け取り、ビデオデータを復号し、ピクチャを再構成するためにビデオデータを処理する。一般に、ビデオ復号器３０は、ビデオデータを符号化し、生成するためにビデオ符号器２０が実施した技法の逆を実施する。

[0071]たとえば、ビデオ復号器３０は、ビデオ符号器２０がビデオデータを符号化した形の逆の技法を使用して、ビデオデータを復号する。また、ビデオ復号器３０は、ピクチャを再構成するために、ピクチャをイントラ予測復号しまたはインター予測復号する。たとえば、ビデオ復号器３０は、インター予測復号のために使用される、以前に復号されたピクチャを判定するため、およびインター予測復号のために以前に復号されたピクチャと現在のピクチャとの間の残差を判定するために、ビデオデータを処理する。ビデオ復号器３０は、現在のピクチャを再構成するために、以前に復号されたピクチャに残差を加算する。同様に、ビデオ復号器３０は、現在のピクチャ内の以前に復号されたブロックを判定するため、およびイントラ予測復号のために現在のピクチャ内の以前に復号されたブロックと現在のピクチャ内の現在のブロックとの間の残差を判定するために、ビデオデータを処理する。ビデオ復号器３０は、現在のピクチャの現在のブロックを再構成するために、以前に復号されたブロックに残差を加算する。

[0072]この形で、ビデオ符号器２０は、ビデオ復号器３０がピクチャを再構成するのに利用するビデオデータを出力する。いくつかの例では、ビデオ符号器２０は、アクセス単位内でビデオデータを出力する。アクセス単位は、同一の時間瞬間内の１つまたは複数のピクチャのビデオデータを含む概念的な単位である。たとえば、スケーラブルビデオコーディングでは、ビデオ符号器２０は、ピクチャの複数のレイヤでビデオデータを生成する。この例では、ピクチャのアクセス単位は、複数のレイヤのすべてのビデオデータを含む。

[0073]もう１つの例として、マルチビュービデオコーディングでは、ビデオ符号器２０は、複数のビューのビデオデータを生成し、各ビューは、複数のピクチャを含む。マルチビュービデオコーディングでは、各ビュー内の１つのピクチャは、同一の時間瞬間に表示される。たとえば、第１のビュー内の第１のピクチャは、第２のビュー内の第１のピクチャ、第３のビュー内の第１のピクチャなどと同一の時間瞬間に表示される。この例では、１つのアクセス単位が、同一の時間瞬間に表示されるすべてのピクチャのビデオデータを含む。スケーラブルビデオコーディングまたはマルチビュービデオコーディングが使用されない例では、１つのアクセス単位は、１つのピクチャのビデオデータを含む。

[0074]したがって、一般に、ビデオ復号器３０による１つのアクセス単位の復号および処理は、１つまたは複数のピクチャをもたらす。ビデオ復号器３０による１つのアクセス単位の復号および処理が１つのピクチャをもたらす場合に、そのアクセス単位のビデオデータは、スケーラブルビデオコーディングが利用される場合にピクチャのすべてのレイヤの情報を含み、あるいは、スケーラブルビデオコーディングが利用されない場合に１つのレイヤのみの情報を含むことができる。ビデオ復号器３０による１つのアクセス単位の復号および処理が複数のピクチャをもたらす場合には、そのアクセス単位のビデオデータは、マルチビュービデオコーディングに関する同一の時間瞬間のすべてのピクチャの情報を含むことができる。

[0075]アクセス単位は、１つまたは複数の復号単位を含む。たとえば、上で説明されたように、アクセス単位は、ピクチャ全体のビデオデータを含むことができる。サブピクチャレベルに対する動作が許容されない場合には、アクセス単位は、１つの復号単位だけを含む。サブピクチャレベルに対する動作が許容される場合には、アクセス単位は、１つまたは複数の復号単位を含む。

[0076]たとえば、ビデオ復号器３０は、コーディングされたピクチャバッファ（ＣＰＢ：coded picture buffer）と復号されたピクチャバッファ（ＤＰＢ：decoded picture buffer）とを含む。ＣＰＢは、コーディングされたビットストリームから受け取られたビデオデータを格納し、ＤＰＢは、再構成されたピクチャを格納する。より詳細に説明されるように、ビデオ符号器２０は、復号単位またはアクセス単位がＣＰＢから除去されなければならない時を示す情報など、ＣＰＢの挙動を記述する情報を生成し、出力する。いくつかの例では、ビデオ符号器２０は、アクセス単位のサブピクチャレベルでの動作が許容されるかどうか（たとえば、アクセス単位内の復号単位のそれぞれについて）を示す構文要素（たとえば、ＳｕｂＰｉｃＣｐｂＦｌａｇと呼ばれるフラグ）を符号化し、出力する。

[0077]ビデオ復号器３０が、ＳｕｂＰｉｃＣｐｂＦｌａｇが０であると判定する場合に、ビデオ復号器３０は、アクセス単位の動作がサブピクチャレベルで許容されないと判定することができ、アクセス単位が１つの復号単位を含むと判定することもできる。言い替えると、ＳｕｂＰｉｃＣｐｂＦｌａｇが０である時に、復号単位およびアクセス単位は、同一である。ビデオ復号器３０が、ＳｕｂＰｉｃＣｐｂＦｌａｇが１であると判定する場合に、ビデオ復号器３０は、アクセス単位の動作がサブピクチャレベルで許容されると判定することができ、アクセス単位が１つまたは複数の復号単位を含むと判定することもできる。

[0078]復号単位は、１つまたは複数のネットワーク抽象化レイヤ（ＮＡＬ）単位を含む。ＮＡＬ単位は、従うべきビデオデータのタイプとそのビデオデータを含むバイトとの表示を含む構文構造である。ＮＡＬ単位の例は、ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬ単位および非ＶＣＬ ＮＡＬ単位を含む。一例として、ＶＣＬ ＮＡＬ単位は、ピクチャ内のスライスのビデオデータ（たとえば、スライスを予測するのに必要な、基準ピクチャリストインデックス、動きベクトル、イントラ予測モード、その他などの情報）または特定のＮＡＬ単位タイプのＮＡＬ単位のビデオデータを含むことができる。一例として、非ＶＣＬ ＮＡＬ単位は、パラメータセットの情報（たとえば、ピクチャパラメータセット、シーケンスパラメータセットなど）またはビデオ符号化もしくはビデオ復号を援助する補足情報などのビデオデータを含むことができる。

[0079]本開示では、１つまたは複数のＮＡＬ単位を含む復号単位は、復号単位に関連するかこれに割り当てられた１つまたは複数のＮＡＬ単位と考えられ得る。言い替えると、復号単位に関連するかこれに割り当てられた１つまたは複数のＮＡＬ単位は、これらの１つまたは複数のＮＡＬ単位を含む復号単位と同一と考えられ得る。

[0080]したがって、本開示で説明される技法は、以下の定義を有する以下の用語を利用することができる。

[0081]復号単位：アクセス単位内の１つまたは複数のＶＣＬ ＮＡＬ単位と関連する非ＶＣＬＡ ＮＡＬ単位とからなる、ＳｕｂＰｉｃＣｐｂＦｌａｇが０と等しい時にはアクセス単位、あるいは、ＳｕｂＰｉｃＣｐｂＦｌａｇが１と等しい時にはアクセス単位のサブセット。

[0082]関連する非ＶＣＬ ＮＡＬ単位：ＶＣＬ ＮＡＬ単位の関連する非ＶＣＬ ＮＡＬ単位は、ＶＣＬ ＮＡＬ単位がその関連するＶＣＬ ＮＡＬ単位である非ＶＣＬ ＮＡＬ単位のうちの１つである。言い替えると、非ＶＣＬ ＮＡＬ単位は、ＶＣＬ ＮＡＬ単位に関連し、そのＶＣＬ ＮＡＬ単位は、非ＶＣＬ ＮＡＬ単位に関連すると考えられ得る（たとえば、ＶＣＬ ＮＡＬ単位と非ＶＣＬ ＮＡＬ単位との間の関連付けは、どちらの向きにも進む）。

[0083]関連するＶＬＣ ＮＡＬ単位：ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＵＮＳＰＥＣ０、ＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＦＤ＿ＮＵＴと等しく、ＲＳＶ＿ＮＶＣＬ４４〜ＲＳＶ＿ＮＶＣＬ４７の範囲内もしくはＵＮＳＰＥＣ４８〜ＵＮＳＰＥＣ６３の範囲内の、非ＶＣＬ ＮＡＬ単位の復号順序において最も最近の先行するＶＣＬ ＮＡＬ単位、または、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが他の値と等しい、非ＶＣＬ ＮＡＬ単位の復号順序において最初の後続のＶＣＬ ＮＡＬ単位。

[0084]上で説明されたように、いくつかの例では、ビデオ符号器２０は、ビデオ符号化またはビデオ復号を援助する補足情報を含むＮＡＬ単位を符号化し、出力する。この補足情報は、ビデオ符号器２０およびビデオ復号器３０が、ＨＥＶＣビデオコーディング標準規格などのビデオコーディング標準規格の要件に従うために必要ではない。したがって、補足情報の包含は、オプションであるが、そのような情報がビデオ符号化とビデオ復号との効率を高めるのを援助するので、好ましい可能性がある。

[0085]そのような補足情報を含むＮＡＬ単位の一例が、付加拡張情報（ＳＥＩ）ＮＡＬ単位である。ＳＥＩ ＮＡＬ単位の使用は、ビデオ符号器２０が、出力ピクチャの正しい復号に必要ではないが、ピクチャ出力タイミング、表示、ならびに消失検出および消失隠蔽などのさまざまな他の目的に使用され得る（たとえば、符号化および復号を援助するために）、そのようなメタデータをコーディングされたビットストリーム内に含めることを可能にする。ビデオ符号器２０は、アクセス単位内に任意の個数のＳＥＩ ＮＡＬ単位を含むように構成され得、各ＳＥＩ ＮＡＬ単位は、１つまたは複数のＳＥＩメッセージを含むことができる。

[0086]ＨＥＶＣ標準規格は、複数のＳＥＩメッセージの構文および意味論を含むが、ＳＥＩメッセージのハンドリングは、これらのＳＥＩメッセージが一般に標準の復号プロセスに影響しないので、指定されていない。ＨＥＶＣ標準規格にＳＥＩメッセージを含める理由の１つは、さまざまなタイプのビデオ復号器（その一例がビデオ復号器３０である）が、ＨＥＶＣ標準規格に従う異なるシステム内でＳＥＩメッセージを同一に解釈することを保証するためである。したがって、ＨＥＶＣ標準規格に従う仕様またはシステムは、ビデオ符号器（ビデオ符号器２０など）が、ある種のＳＥＩメッセージを生成することを要求することができ、あるいは、ビデオ復号器（ビデオ復号器３０など）による特定のタイプの受信されたＳＥＩメッセージの特定のハンドリングを定義することができる。

[0087]下の表１に、ＨＥＶＣで指定されるＳＥＩメッセージをリストし、その目的を短く説明する。ＳＥＩメッセージが、例示のみのためにＨＥＶＣ標準規格に関して説明されることを理解されたい。プロプライエタリビデオコーディング標準規格を含む他のビデオコーディング標準規格は、表１に記載のまたは他の形で下で説明されるものに類似するまたは異なるＳＥＩメッセージを含む場合がある。さらに、非標準規格ベースのビデオコーディング技法でも、表１に記載のまたは他の形で下で説明されるものに類似するまたは異なるＳＥＩメッセージに頼る場合もある。本開示で説明される技法は、すべてのそのような事例に適用可能とすることができる。

[0088]一般に、ＳＥＩメッセージは、ビデオデータの特性を定義すると考えられ得る。たとえば、バッファリング期間およびピクチャタイミングＳＥＩメッセージは、初期遅延およびピクチャ出力時間またはピクチャ／サブピクチャ除去時間などのビデオデータ特性を定義する。追加の例として、表１のＳＥＩメッセージの目的は、対応するＳＥＩメッセージによって定義されるビデオデータの特性の例を提供するものである。

[0089]いくつかの例では、ビデオ符号器２０は、ＳＥＩメッセージがアクセス単位内で配置される場所を制限するように構成され得る。たとえば、ＳＥＩメッセージの中で、サブピクチャタイミングＳＥＩメッセージは、復号順序において、ＳＥＩメッセージを含むアクセス単位内で最初のＶＣＬ ＮＡＬ単位に続くことができるが、復号順序において、アクセス単位内の最後のＶＣＬ ＮＡＬ単位に続くことはできない。他のすべてのＳＥＩメッセージは、ＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位のｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓが０と等しい時に、アクセス単位内の最初のＶＣＬ ＮＡＬ単位に先行することができる。

[0090]ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ構文要素は、スケーラブルビデオコーディングのレイヤまたはマルチビュービデオコーディングのビューを識別する。たとえば、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ構文要素は、スケーラブルビデオコーダのベースレイヤに関して０、またはマルチビュービデオコーディングのベースビューに関して０である。他のレイヤまたはビューのｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ構文要素は、レイヤまたはビューを識別するのに使用される正の整数値である。スケーラブルビデオコーディングまたはマルチビュービデオコーディングが使用されない場合には、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓは、０と仮定される。

[0091]表１に示されているように、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、およびサブピクチャタイミングＳＥＩメッセージなどのさまざまなＳＥＩメッセージは、仮想参照復号器（ＨＲＤ）での遅延および除去時間を定義する。ＨＲＤは、コーディングされたピクチャバッファ（ＣＰＢ）と復号されたピクチャバッファ（ＤＰＢ）との特性を定義するのに使用されるモデルである。上で説明されたように、ＣＰＢは、復号の前に、符号化されたピクチャなどのビットストリームからのビデオデータを格納し、ＤＰＢは、復号されたピクチャを含む復号されたビデオデータを格納する。

[0092]一般に、各ビデオコーディング標準規格は、ビデオバッファリングモデルの仕様を含む。ＡＶＣおよびＨＥＶＣでは、バッファリングモデルは、仮想参照復号器（ＨＲＤ）と呼ばれ、このＨＲＤは、コーディングされたピクチャバッファ（ＣＰＢ）と復号されたピクチャバッファ（ＤＰＢ）の両方のバッファリングモデルを含み、ＣＰＢ挙動およびＤＰＢ挙動は、数学的に指定される。ＨＲＤは、異なるタイミングと、バッファサイズと、ビットレートとに直接に制約を課し、ビットストリーム特性と統計とに間接的に制約を課す。ＨＲＤパラメータの完全なセットは、５つの基本パラメータすなわち、初期ＣＰＢ除去遅延と、ＣＰＢサイズと、ビットレートと、初期ＤＰＢ出力遅延と、ＤＰＢサイズとを含む。

[0093]ＡＶＣおよびＨＥＶＣでは、ビットストリーム適合および復号器適合は、ＨＲＤ仕様の一部として指定される。ＨＲＤが、復号器の１タイプとしてラベルを付けられるが、ＨＲＤが、通常、ビットストリーム適合を保証するためにビデオ符号器２０側で必要であることを理解されたい。ＨＲＤは、ビデオ復号器３０側では必要でない可能性がある。たとえば、ビデオ符号器２０は、ＣＰＢとＤＰＢとのタイミング情報と他の特性とをＳＥＩメッセージとしてシグナリングすることができ、ビデオ復号器３０は、シグナリングされたＳＥＩメッセージに基づいて、ＣＰＢとＤＰＢとのタイミングと特性とを判定することができる。たとえば、ＳＥＩメッセージは、２タイプのビットストリームまたはＨＲＤ適合すなわち、タイプＩおよびタイプＩＩを指定することができる。また、ＳＥＩメッセージは、２タイプのビデオ復号器３０適合すなわち、出力タイミング復号器適合および出力順序復号器適合を指定することができる。

[0094]本開示で説明される技法では、ビデオ符号器２０は、ビデオ復号器３０のＣＰＢが、アクセス単位レベルまたはサブアクセス単位レベル（サブピクチャレベルとも呼ばれる）のどちらで動作できるのかを指定することができる。上で説明されたように、ビデオ符号器２０は、構文要素（たとえば、ＳｕｂＰｉｃＣｐｂＦｌａｇ）を符号化し、出力する（たとえば、シグナリングする）。ＳｕｂＰｉｃＣｐｂＦｌａｇの値が０である場合には、サブピクチャレベルでのＣＰＢ動作は、許容されない。ＳｕｂＰｉｃＣｐｂＦｌａｇの値が１である場合には、サブピクチャレベルでのＣＰＢ動作は、許容される。

[0095]ＳＥＩメッセージは、アクセス単位内の復号単位に関する情報を提供することができる。たとえば、ピクチャタイミングＳＥＩメッセージ（ＰＴ ＳＥＩメッセージ）は、ｎｕｍ＿ｎａｌｕｓ＿ｉｎ＿ｄｕ＿ｍｉｎｕｓ１［ｉ］構文要素を含む。ｎｕｍ＿ｎａｌｕｓ＿ｉｎ＿ｄｕ＿ｍｉｎｕｓ１［ｉ］構文要素＋１は、第ｉの復号単位内のＮＡＬ単位の個数を示す。

[0096]いくつかの場合に、ビデオ復号器３０は、どのＮＡＬ単位がどの復号単位に関連し／割り当てられているのかを判定するために、ビデオ符号器２０によって出力されたｎｕｍ＿ｎａｌｕｓ＿ｉｎ＿ｄｕ＿ｍｉｎｕｓ１［ｉ］構文要素からの情報を利用することができる。例示的な例として、ｎｕｍ＿ｎａｌｕｓ＿ｉｎ＿ｄｕ＿ｍｉｎｕｓ１［ｉ］構文要素が、あるアクセス単位の第１の復号単位が３つのＮＡＬ単位に関連し、そのアクセス単位の第２の復号単位が２つのＮＡＬ単位に関連し、そのアクセス単位の第３の復号単位が２つのＮＡＬ単位に関連することを示すと仮定する。

[0097]この例では、ビデオ復号器３０は、どのＮＡＬ単位がどの復号単位に関連するのかを、ＣＰＢがＮＡＬ単位を受け取る順序に基づいて判定する。たとえば、ビデオ復号器３０は、ＣＰＢが受け取る最初の３つのＮＡＬ単位が、第１の復号単位に関連し、ＣＰＢが受け取る次の２つのＮＡＬ単位が、第２の復号単位に関連し、ＣＰＢが受け取る次の２つのＮＡＬ単位が、第３の復号単位に関連すると判定する。

[0098]しかし、どのＮＡＬ単位がどの復号単位に関連するのかを、各復号単位に関連するＮＡＬ単位の個数を示す構文要素に基づいて判定するビデオ復号器３０は、誤り耐性がない。誤りを起こしやすいまたはロッシイな通信リンクでは、ＮＡＬ単位のうちの１つまたは複数が失われる可能性がある。たとえば、リンク１６が、誤りを起こしやすいかロッシイである場合に、ＮＡＬ単位のうちの１つまたは複数が失われる可能性がある。もう１つの例として、出力インターフェース２２からストレージデバイス３２へのリンクまたは出力インターフェース３２から入力インターフェース２８へのリンクが、誤りを起こしやすいかロッシイである場合に、ＮＡＬ単位のうちの１つまたは複数が失われる可能性がある。

[0099]ＮＡＬ単位が失われる時に、ビデオ復号器３０は、連続するＮＡＬ単位の消失の正確な位置および個数（ビデオ復号器３０は、これを判定できない可能性がある）が既知でない限り、どのＮＡＬ単位がどの復号単位に関連するのかを正しく判定できない可能性がある。たとえば、以前の例で、第２のＮＡＬ単位が失われると仮定する。この場合に、ビデオ復号器３０は、ｎｕｍ＿ｎａｌｕｓ＿ｉｎ＿ｄｕ＿ｍｉｎｕｓ１［ｉ］構文要素が、第１の復号単位が３つのＮＡＬ単位を含むことを示したので、最初の３つの受け取られたＮＡＬ単位が、第１の復号単位に関すると判定する。しかし、ビデオ符号器２０は、この場合に、第３の受け取られたＮＡＬ単位を、第２の復号単位に関連付けた（やはり、第２のＮＡＬ単位は失われる）。したがって、ビデオ復号器３０は、ビデオ復号器３０が第３の受け取られたＮＡＬ単位を第２の復号単位に関連付けなければならかった時に、第３の受け取られたＮＡＬ単位を第１の復号単位に誤って関連付けた。

[0100]いくつかの例では、ｎｕｍ＿ｎａｌｕｓ＿ｉｎ＿ｄｕ＿ｍｉｎｕｓ１［ｉ］構文要素に加えてまたはその代わりに、ビデオ復号器３０は、どのＮＡＬ単位がどの復号単位に関連するのかを、ＳＥＩメッセージの位置に基づいて判定することができる。一例として、ビデオ符号器２０は、どのＮＡＬ単位がどの復号単位に関連するのかを示すために、アクセス単位内のサブピクチャタイミング（ＳＰＴ）ＳＥＩメッセージの位置を利用することができ、ビデオ復号器３０は、どのＮＡＬ単位がどの復号単位に関連するのかを判定するために、アクセス単位内のサブピクチャタイミングＳＰＴ ＳＥＩメッセージの位置を利用することができる。

[0101]たとえば、ＳＰＴ ＳＥＩメッセージは、復号単位に関連するＳＥＩ ＮＡＬ単位の一部である。ＳＰＴ ＳＥＩメッセージは、復号単位がＣＰＢから除去されなければならない時を示す情報を提供することができる。いくつかの例では、次のＳＰＴ ＳＥＩメッセージまでＳＰＴ ＳＥＩメッセージを含まないＳＥＩ ＮＡＬ単位に続くすべてのＮＡＬ単位は、復号単位に関連すると考えられる。言い替えると、第１のＳＰＴ ＳＥＩメッセージと第２のＳＰＴ ＳＥＩメッセージとの間にはさまれたＮＡＬ単位と、第１のＳＰＴ ＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位とは、すべて、１つの復号単位に関連すると考えられる。

[0102]この形で、ビデオ復号器３０のＣＰＢが、第１のＳＰＴ ＳＥＩメッセージと共に第１のＳＥＩ ＮＡＬ単位を受け取った後に、ビデオ復号器３０は、第１のＳＥＩ ＮＡＬ単位および次のＳＰＴ ＳＥＩメッセージを有する次のＳＥＩ ＮＡＬ単位（すなわち、第２のＳＰＴ ＳＥＩメッセージを有する第２のＳＥＩ ＮＡＬ単位）までのすべてのＮＡＬ単位が第１の復号単位に関連すると判定することができる。ビデオ復号器３０は、第２のＳＥＩ ＮＡＬ単位および次のＳＰＴ ＳＥＩメッセージを有する次のＳＥＩ ＮＡＬ単位（すなわち、第３のＳＰＴ ＳＥＩメッセージを有する第３のＳＥＩ ＮＡＬ単位）までのすべてのＮＡＬ単位が第２の復号単位に関連するなどと判定することもできる。

[0103]いくつかの場合に、どのＮＡＬ単位がどの復号単位に関連するのかを判定するためにＳＰＴ ＳＥＩメッセージの位置に頼ることも、誤り耐性がない可能性がある。一例として、ＳＰＴ ＳＥＩメッセージの位置が、どのＮＡＬ単位が復号単位に関連するのかを定義するので、ＳＰＴ ＳＥＩメッセージは、１つの復号単位内（すなわち、復号順序において、ＳＰＴ ＳＥＩメッセージに直接に続くＮＡＬ単位の後、復号単位内の最後のＮＡＬ単位の前）で繰り返され得ない。たとえば、復号単位が４つのＮＡＬ単位を含むと仮定する。この例では、第１のＳＰＴ ＳＥＩメッセージは、その４つのＮＡＬ単位に先行するはずであり、第２のＳＰＴ ＳＥＩメッセージは、その４つのＮＡＬ単位に続くはずである。ＳＰＴ ＳＥＩメッセージが、２つのＳＰＴ ＳＥＩメッセージの間に挿入された場合に、ビデオ復号器３０は、最初の２つのＮＡＬ単位が、第１の復号単位に関し、第２の２つのＮＡＬ単位が、第２の異なる復号単位に関すると誤って判定するはずである。

[0104]しかし、関係するビデオデータが、コピーのうちの１つが失われる場合に別のコピーから回復され得るようにするために、復号単位内にＳＰＴ ＳＥＩメッセージの１つまたは複数のコピーを含めることが有益である可能性がある。上で説明されたように、ＳＰＴ ＳＥＩメッセージは、復号単位がＣＢＰから除去されなければならない時を示す情報を含むことができる。たとえば、誤りを起こしやすい環境またはロッシイな環境では、ＳＰＴ ＳＥＩメッセージが失われる可能性があり、復号単位が除去されなければならない時を示すＳＰＴ ＳＥＩメッセージ内の情報が、失われる可能性がある。

[0105]たとえば、上で説明されたように、アクセス単位は、ピクチャのビデオデータを含み、復号単位は、アクセス単位のサブセットである（ＳｕｂＰｉｃＣｐｂＦｌａｇが１であると仮定して）。したがって、復号単位は、いくつかの例で、ピクチャの１つまたは複数のスライス（すなわち、ピクチャの副部分）のビデオデータを含む。ソースデバイス１２は、復号単位の１つまたは複数のスライスをパケット（たとえば、リアルタイムトランスポートプロトコル（ＲＴＰ）パケット）内で出力することができる。ＳＰＴ ＳＥＩメッセージを含むパケットが失われる場合に、ビデオ復号器３０は、復号単位の他のパケットのサブピクチャタイミング情報（たとえば、ＣＰＢからの除去時間）を正確に判定できない可能性がある。

[0106]各パケットが、ＳＰＴ ＳＥＩメッセージを含む場合には、ビデオ復号器３０が、複数のパケットのうちの別のパケットのＳＰＴ ＳＥＩメッセージのコピーからＳＰＴ ＳＥＩメッセージのサブピクチャタイミング情報を判定できるので、１つのパケットの消失は、復号プロセスに影響しないはずである。しかし、いくつかの他の技法では、ビデオ復号器３０が、どのＮＡＬ単位がどの復号単位に関連したのかを判定するのにＳＥＩメッセージの位置を使用したので、ＳＰＴ ＳＥＩメッセージは、繰り返され得ない。言い替えると、復号単位内でのＳＰＴ ＳＥＩメッセージの繰返しの禁止は、どのＮＡＬ単位がどの復号単位に関連するのかを判定するためのより誤り耐性の低い方式をもたらす。いくつかの例では、本開示の技法は、復号単位内でのＳＰＴ ＳＥＩメッセージの繰返しの禁止を除去することができる。

[0107]下でより詳細に説明するように、本開示は、どのＮＡＬ単位がどの復号単位に関連するのかをビデオ復号器３０が誤り耐性がある形で判定することを可能にする例の技法を説明する。たとえば、ビデオ符号器２０は、復号単位の識別子を出力のために生成し、出力することができる。ビデオ復号器３０は、ＮＡＬ単位の個数を示す情報に頼ることが復号単位とＮＡＬ単位が受け取られる順序とに関連するのではなく、ＳＰＴ ＳＥＩメッセージの位置に頼るのでもなく、どのＮＡＬ単位がどの復号単位に関連するのかを判定するのにこの識別子を利用することができる。復号単位識別子の出力および受取は、ＳＰＴ ＳＥＩメッセージの複数のコピーをも可能にすることができ、これは、ＣＰＢからの復号単位の除去時間を判定する、ビデオ復号器３０の能力の誤り耐性をさらに高める。

[0108]上は、ＳＰＴ ＳＥＩメッセージが復号単位内で繰り返されることが許容されない例を説明した。いくつかの場合に、さまざまな他のタイプのＳＥＩメッセージも、復号単位内で繰り返されることを禁止される可能性がある。たとえば、ＳＰＴ ＳＥＩメッセージではなく、ＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位のｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓが、０と等しいことを示す任意のＳＥＩメッセージは、復号順序において最初のＶＣＬ ＮＡＬ単位の後、最後のＮＡＬ単位の前のＳＥＩメッセージを含むアクセス単位内で繰り返されることを許容されない場合がある。

[0109]たとえば、いくつかの他の技法では、ＳＥＩメッセージは、ビデオ復号器３０が新しいアクセス単位を処理しようとしていることを判定するのに使用される。言い替えると、コーディングされたビットストリーム内のＳＥＩメッセージの位置は、アクセス単位の始めを示す。ＳＥＩメッセージが、アクセス単位内で繰り返される場合に、ビデオ復号器３０は、新しいアクセス単位が処理されようとしていると誤って判定する可能性がある。ＳＥＩメッセージが、新しいアクセス単位を示したので、ＳＥＩメッセージのコピーは、これらの他の技法では禁止される可能性がある。

[0110]上に似て、アクセス単位が、誤りを起こしやすい環境で送信される複数のスライスを含む場合には、パケットが失われる場合にＳＥＩメッセージがアクセス単位の他のパケットのうちの１つまたは複数から回復され得るようにするために、各パケット内にＳＥＩメッセージのコピーを含めることが有益である可能性がある。より詳細に説明されるように、本開示で説明される技法は、さまざまなＳＥＩメッセージの複数のコピーがアクセス単位内で繰り返されることを可能にすることができる。

[0111]たとえば、ビデオ復号器３０は、新しいアクセス単位が処理されようとしていることを判定するために、ＳＥＩメッセージに頼る必要がない。そうではなく、ビデオ復号器３０は、新しいアクセス単位が処理されようとしていることを判定するために、ある他のヘッダ情報に頼ることができる。ＳＥＩメッセージの存在が、新しいアクセス単位が処理されようとしていることを示すことから分離されるので、ビデオ符号器２０は、アクセス単位内にＳＥＩメッセージの複数のコピーを含めることができ、ビデオ復号器３０は、新しいアクセス単位が処理されようとしていることを判定せずに、同一のアクセス単位内のＳＥＩメッセージの複数のコピーを処理することができる。

[0112]本開示で説明される技法では、ビデオ符号器２０は、各復号単位内で識別子（復号単位識別子、ＤＵ識別子、またはＤＵ ＩＤと呼ばれる）をシグナリングすることができる。ＤＵ識別子は、復号単位を一意に識別する識別子である。たとえば、復号順序においてアクセス単位内の第１の復号単位のＤＵ識別子は、０とすることができ、復号順序においてアクセス単位内の第２の復号単位のＤＵ識別子は、１とすることができ、以下同様である（すなわち、最初の復号単位のＤＵ識別子は、０であり、後続の復号単位ごとに、ＤＵ識別子の値は１つ増える）。復号単位識別子を用いて復号単位を一意に識別する他の形が可能であり、技法は、復号順序において復号単位ごとにＤＵ識別子を増やすことに限定されると考えられてはならない。

[0113]ビデオ符号器２０がＤＵ識別子をシグナリングする、さまざまな形がある可能性がある。たとえば、ビデオ符号器２０は、復号単位のスライスのスライスヘッダ内および／またはＳＥＩメッセージ（たとえば、ＳＰＴ ＳＥＩメッセージ）内で、あるいは任意の他の形で、ＤＵ識別子をシグナリングすることができる。この場合に、復号単位へのＮＡＬ単位の関連付けは、シグナリングされたＤＵ識別子に基づく。ＤＵ識別子を、ＮＡＬ単位ヘッダなどの他の位置に含めることも可能である可能性がある。

[0114]ＮＡＬ単位が、１つまたは複数のスライスに関する場合に、ビデオ復号器３０は、どの復号単位に関して、ＮＡＬ単位がスライスヘッダ内のＤＵ識別子から関連付けられるのかを判定することができる。したがって、ＮＡＬ単位内に消失がある場合であっても、ビデオ復号器３０は、どのＮＡＬ単位がどの復号単位に関連するのかをＤＵ識別子に基づいて判定できる可能性がある。

[0115]ＳＥＩメッセージがＤＵ識別子を含む例では、ＳＥＩメッセージ（たとえば、ＳＰＴ ＳＥＩメッセージ）が失われることが可能である可能性があり、その場合には、ＤＵ識別子が失われる可能性がある。いくつかの例では、ビデオ符号器２０は、ＤＵ識別子が失われる可能性を最小にするために、復号単位内にＳＰＴ ＳＥＩメッセージのコピーを含めることができる。たとえば、上で説明されたように、いくつかの場合に、復号単位内のＳＰＴ ＳＥＩメッセージの位置は、どのＮＡＬ単位が復号単位に関連するのかを示すことができ、これは、ＳＰＴ ＳＥＩメッセージの複数のコピーが存在することができないことを意味する。本開示で説明される技法では、ビデオ復号器３０は、どのＮＡＬ単位がどの復号単位に関連するのかを判定するために、ＤＵ識別子を利用することができる。したがって、ビデオ復号器３０は、どのＮＡＬ単位がどの復号単位に関連するのかを判定するために、ＳＰＴ ＳＥＩメッセージの位置に頼る必要がない。これは、ビデオ符号器２０が、コーディングされたビットストリーム内で復号単位内にＳＰＴ ＳＥＩメッセージの複数のコピーを含めることを可能にし、これは、ＳＰＴ ＳＥＩメッセージの各コピーがＤＵ識別子を含む場合に、ＤＵ識別子が失われる確率を下げる。

[0116]上で説明されたように、いくつかの例では、ＳＥＩメッセージは、ＳＥＩメッセージを含むアクセス単位内で、復号順序において最初のＶＣＬ ＮＡＬ単位に続くことを許されない。いくつかの例では、ビデオ符号器２０は、すべてのＳＥＩメッセージが、ＳＥＩメッセージを含むアクセス単位内で、復号順序において最初のＶＣＬ ＮＡＬ単位に続くことを許すことができる。しかし、ＳＥＩメッセージは、アクセス単位内で、復号順序において最後のＶＣＬ ＮＡＬ単位の後に位置決めされ得ない。

[0117]一例として、ビデオ符号器２０は、復号順序において最初のＶＣＬ ＮＡＬ単位の前にＳＥＩメッセージを含めることができる。ビデオ符号器２０は、アクセス単位内で復号順序において最初のＶＣＬ ＮＡＬ単位の後にＳＥＩメッセージのコピーを含めることができる。この例では、ビデオ符号器２０が、アクセス単位内で復号順序において最後のＶＣＬ ＮＡＬ単位の後にＳＥＩメッセージのコピーを含めることはできない。

[0118]ビデオ符号器２０が、復号単位内またはアクセス単位内でさまざまなタイプのＳＥＩメッセージを繰り返すことを可能にする例では、ビデオ符号器２０は、ＳＥＩメッセージに関する追加情報を指定することができる。一例として、ビデオ符号器２０は、ＳＥＩメッセージ内に担持される情報が適用される適用範囲を指定することができる。もう１つの例として、ビデオ符号器２０は、ＳＥＩメッセージが、アクセス単位内および／または復号単位内で存在することができる場所を指定することができる。もう１つの例として、ビデオ符号器２０は、特定のタイプのＳＥＩメッセージの複数のインスタンスの内容に関する制限をセットすることができる。

[0119]ビデオ復号器３０は、ＮＡＬ単位内のデータを復号するために、ＳＥＩメッセージのそのような情報を利用する。いくつかの例では、ビデオ復号器３０は、特定のタイプのＳＥＩメッセージの複数のインスタンスの内容に関する制限を示す情報などのＳＥＩメッセージの情報を用いて事前に構成され、またはＳＥＩメッセージがアクセス単位内および／もしくは復号単位内で配置され得る場所の情報を用いて事前に構成され得る。これらの場合に、ビデオ符号器２０が、ＳＥＩメッセージが存在できる場所を指定し、または特定のタイプのＳＥＩメッセージの複数のインスタンスの内容に関する制限を示す情報をシグナリングすることが、必要ではない場合がある。

[0120]上で説明されたように、アクセス単位は、少なくとも１つのピクチャのビデオデータを含む。いくつかの例では、アクセス単位は、複数のレイヤのビデオデータを含むことができ、ビデオ符号器２０は、ｈｉｇｈ ｅｆｆｉｃｉｅｎｔ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ）標準規格のマルチレイヤ拡張におけるものなど、複数のレイヤを有するビデオビットストリームを符号化することができる。

[0121]複数のレイヤは、ベースレイヤと１つまたは複数の非ベースレイヤとを含む。いくつかの例では、ベースレイヤは、ピクチャを構成するビデオデータを含むことができ、非ベースレイヤは、ベースレイヤのピクチャの品質を高めるビデオデータを含む空間または品質エンハンスメントレイヤ（ｓｐａｔｉａｌ ｏｒ ｑｕａｌｉｔｙ ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ）とすることができる。いくつかの例では、そのようなマルチビュービデオコーディングのための、ベースレイヤは、特定のビュー（たとえば、インター予測の他のビューを必要としないベースビュー）のピクチャのビデオデータを含むことができ、非ベースレイヤは異なるビューのテクスチャと、異なるビューの深さと、他のそのような例とを含むことができる。

[0122]本開示で説明される技法では、ビデオ符号器２０は、異なるチャネル内で異なるレイヤをトランスポートすることができる（たとえば、ＩＥＴＦ ＲＦＣ ６１９０（ｈｔｔｐ：／／ｔｏｏｌｓ．ｉｅｔｆ．ｏｒｇ／ｒｆｃ／ｒｆｃ６１９０．ｔｘｔで公に入手可能）で同様に定義されるマルチセッション伝送（ＭＳＴ）を使用して。本開示で説明される技法は、マルチセッション伝送が複数レイヤの符号化に利用される例に拡張可能である。たとえば、アクセス単位内で最初のＶＣＬ ＮＡＬ単位の後にＳＥＩメッセージを含める、本開示で説明される技法は、マルチセッション伝送の例にも適用可能である。一例として、ビデオ符号器２０は、ＳＥＩ ＮＡＬ単位をアクセス単位の最初のＶＣＬ ＮＡＬ単位の前に移動する必要なしに、アクセス単位内の２つの連続するＶＣＬ ＮＡＬ単位の間にＳＥＩ ＮＡＬ単位を含めることができる。

[0123]ＳＥＩ ＮＡＬ単位は、マルチセッション伝送技法のＳＥＩメッセージを含むので、ビデオ復号器３０は、より単純化された形でパケット化解除プロセスを実施できる可能性がある。たとえば、ビデオ復号器３０は、アクセス単位の始めからのすべてではなく、アクセス単位内からマルチセッション伝送技法のＳＥＩメッセージを復号できる可能性がある。ＳＥＩメッセージの複数のコピーが、アクセス単位全体を通じて入手可能なので、ビデオ復号器３０は、より効率的な形で、受け取られたパケットをパケット化解除できる可能性がある。

[0124]本開示の技法は、お互いに関連してまたは別々に適用され得る。たとえば、ビデオ符号器２０がＤＵ識別子を含む場合に、ビデオ符号器２０は、必ずしもすべての例でＳＰＴ ＳＥＩメッセージの複数のコピーを含める必要があるのではなく、いくつかの例でＳＰＴ ＳＥＩメッセージの複数のコピーを含めることができる。もう１つの例として、ビデオ符号器２０は、ビデオ符号器２０がＤＵ識別子を含まない場合であっても、さまざまなタイプのＳＥＩメッセージの複数のコピーを含めることができる。もう１つの例として、ビデオ符号器２０がＤＵ識別子を含む例で、ビデオ符号器２０は、必ずしもＳＰＴ ＳＥＩメッセージ以外のＳＥＩメッセージの複数のコピーを含める必要がない。一般に、本開示で説明される技法は、情報がシグナリングにおいて失われる可能性がある誤りを起こしやすい環境のために誤り耐性の方式を提供する点で有利である可能性がある。

[0125]上で説明されたように、一例で、ビデオ符号器２０は、スライスヘッダ内にＤＵ識別子を含める。下の表２は、ビデオ符号器２０がスライスヘッダ内にＤＵ識別子を含めることができる形と、ビデオ復号器３０がＤＵ識別子を判定するためにスライスヘッダを解析できる形との例の擬似コードを提供する。

[0126]この例では、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄは、ＤＵ識別子を指し、スライスが属する復号単位の識別子を指定する。ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄの値は、両端を含んで０からＰｉｃＳｉｚｅＩｎＣｔｂｓＹ−１までの範囲内とすることができる。ＰｉｃＳｉｚｅＩｎＣｔｂｓＹは、ピクチャ内のコーディングツリー単位（ＣＴＵ：coding tree unit）の個数を示すことができ、これは、ピクチャのルマ成分のコーディングツリーブロック（ＣＴＢ：coding treeblock）の個数と等しい。

[0127]ビデオ符号器２０が、スライスヘッダ内に復号単位識別子を含む例では、ＤＵ識別子（たとえば、ＤＵ ＩＤまたはｄｕＩＤ）の特定の値によって識別される復号単位は、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄがＤＵ識別子と等しいすべてのコーディングされたスライスＮＡＬ単位と、アクセス単位内のそれらに関連する非ＶＣＬ ＮＡＬ単位とを含むことができ、それらだけを含むことができる。１つのアクセス単位内で、それぞれｄｕＩＤａおよびｄｕＩＤｂ（ｄｕＩＤａはｄｕＩＤｂより小さい）と等しいｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄを有する任意の２つの復号単位（たとえば、復号単位Ａおよび復号単位Ｂ）について、復号単位Ａは、復号順序において復号単位Ｂに先行することができる。言い替えると、より小さいＤＵ識別子を有する復号単位は、復号順序においてより大きいＤＵ識別子を有する復号単位に先行する。さらに、ある復号単位のＮＡＬ単位は、復号順序において、別の復号単位の２つのＮＡＬ単位の間に存在することができない。言い替えると、上の例では、ある復号単位のＮＡＬ単位は、連続する。

[0128]上で説明されたように、いくつかの例で、ビデオ符号器２０は、ＳＥＩメッセージ（たとえば、ＳＰＴ ＳＥＩメッセージ）内にＤＵ識別子を含めることができ、ＳＰＴ ＳＥＩメッセージは、復号単位が除去されるべき時を示す情報を含む。以下は、ビデオ符号器２０がＳＥＩメッセージ内にＤＵ識別子を含める、いくつかの例の技法を説明するものである。混乱を避けるために、以下では、サブピクチャタイミング（ＳＰＴ）ＳＥＩメッセージの名前が、復号単位情報ＳＥＩメッセージに変更される。言い替えると、いくつかの例で、ビデオ符号器２０は、ＣＰＢからの復号単位の除去時間を示す情報をも含むＳＥＩメッセージ内でＤＵ識別子を出力し、ビデオ復号器３０は、これを受け取る。

[0129]下の表３は、ビデオ符号器２０がＳＥＩメッセージ内にＤＵ識別子を含めることができる形と、ビデオ復号器３０がＤＵ識別子を判定するためにＳＥＩメッセージを解析することができる形との例の擬似コードを提供する。以下では、サブピクチャタイミング（ＳＰＴ）ＳＥＩメッセージの名前が、復号単位情報ＳＥＩメッセージに変更され、構文および意味論は、次の通りとすることができる。他の部分は、ＨＥＶＣ ＷＤ８と同一であるが、「サブピクチャタイミングＳＥＩメッセージ」が「復号単位情報ＳＥＩメッセージ」に置換される。復号単位情報ＳＥＩメッセージは、ＳＥＩメッセージに関連する復号される単位のＣＰＢ除去時間（たとえば、ＣＰＢ除去遅延情報）を提供することができる。

[0130]ＨＥＶＣ ＷＤ８では、サブピクチャタイミング（ＳＰＴ）ＳＥＩメッセージは、表３に類似するものとすることができる。しかし、ＨＥＶＣ ＷＤ８のＳＰＴ ＳＥＩメッセージは、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄ構文要素を含まず、ｄｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ構文要素だけを含んだ。本開示で説明される例の技法のいくつかでは、ＳＥＩメッセージがｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄをも含むので、ＳＰＴ ＳＥＩメッセージは、復号単位情報ＳＥＩメッセージに改名される。

[0131]いくつかの例では、ビデオ符号器２０は、構文要素を出力のために生成し、出力し、ビデオ復号器３０は、ビットストリーム内の復号単位情報ＳＥＩメッセージの存在を示す構文要素を受け取る。一例として、ビデオ符号器２０は、ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇとｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇとを出力する。ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが１と等しく、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１と等しい場合に、ビデオ復号器３０は、１つまたは１つより多数の復号単位情報ＳＥＩメッセージが、コーディングされたビデオシーケンス内の各復号単位内に存在する（すなわち、１つまたは複数の復号単位情報ＳＥＩメッセージ）と判定することができる。ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが０と等しい、またはｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０と等しい場合には、ビデオ復号器３０は、復号単位情報ＳＥＩメッセージが、コーディングされたビデオシーケンスのどのアクセス単位内にも存在しないと判定することができる。

[0132]本開示で説明される１つまたは複数の例によれば、復号単位情報ＳＥＩメッセージに関連するＮＡＬ単位とも呼ばれる、復号単位情報ＳＥＩメッセージが適用されるＮＡＬ単位は、復号順序において、復号単位情報ＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位と、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄの異なる値を有する復号単位情報ＳＥＩメッセージを含む任意の後続のＳＥＩ ＮＡＬ単位まででこれを含まない、アクセス単位内のすべての後続のＮＡＬ単位とからなる。これらの例では、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄの定義は、表２に関して上で説明されたｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄの定義と同一とすることができるが、ＳＥＩメッセージ（たとえば、復号単位情報ＳＥＩメッセージ）内に含まれる。たとえば、ＤＵ識別子（たとえば、ＤＵ ＩＤまたはｄｕＩＤ）の特定の値によって識別される復号単位は、アクセス単位内のＤＵ識別子と等しいｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄを有するすべての復号単位情報ＳＥＩメッセージに関連するすべてのＮＡＬ単位を含むことができ、それらだけを含むことができる。上と同様に、より小さい復号単位識別子を有する復号単位は、復号順序において、より大きい復号単位識別子を有する復号単位より前にある。上と同様に、ある復号単位のＮＡＬ単位は、復号順序において、別の復号単位の２つのＮＡＬ単位の間に存在することができない。

[0133]ｄｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙは、先行するアクセス単位内の最も最近のバッファリング期間ＳＥＩメッセージに関連するアクセス単位内の最初の復号単位のＣＰＢからの除去の後に、ビデオ復号器３０が復号単位情報ＳＥＩメッセージに関連する復号単位をＣＰＢから除去する前に、ビデオ復号器３０が何個のサブピクチャクロックティックを待たなければならないのかを指定する。この値は、ＨＥＶＣ ＷＤ８のＡｎｎｅｘ Ｃで指定されているように、仮想ストリームスケジューラ（ＨＳＳ）のＣＰＢへの復号単位データの到着の最も早い可能な時刻を計算するのにも使用され得る。

[0134]構文要素を、そのビット単位の長さがｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１＋１によって与えられる固定長コードによって表すことができる。ｄｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙは、ｍｏｄｕｌｏ ２^{(cpb_removal_delay_length_minus1+1)}カウンタの剰余とすることができる。

[0135]いくつかの例で、構文要素ｄｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙの長さ（ビット単位）を決定するｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１の値は、復号単位情報ＳＥＩメッセージに関連するコーディングされたピクチャについてアクティブなシーケンスパラメータセット内でコーディングされたｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１の値とすることができる。しかし、ｄｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙは、異なるコーディングされたビデオシーケンスのアクセス単位である可能性がある、バッファリング期間ＳＥＩメッセージを含む先行するアクセス単位内の最初の復号単位の除去時間に対する相対的なサブピクチャクロックティックの個数を指定する。

[0136]表３は、復号単位情報ＳＥＩメッセージが、以前にＳＰＴ ＳＥＩメッセージの一部であった情報を含み、メッセージに関連する復号単位のＤＵ識別子をさらに含んだので、ＳＰＴ ＳＥＩメッセージの名前が復号単位情報ＳＥＩメッセージに変更された、復号単位情報ＳＥＩメッセージの一例の例の擬似コードを提供した。いくつかの例では、潜在的に、サブピクチャタイミング（ＳＰＴ）ＳＥＩメッセージに対する他の変更がある可能性がある。

[0137]たとえば、それぞれの内容全体が参照によって本明細書に組み込まれている、２０１２年９月２４日に出願した米国特許仮出願第６１／７０５，１１９号（以下では出願’１１９）および２０１２年１０月１日に出願した米国特許仮出願第６１／７０８，４７５号（以下では出願’４７５）は、ＨＥＶＣ ＷＤ８に記載のＳＰＴ ＳＥＩメッセージに対するＳＰＴ ＳＥＩメッセージに対するいくつかの可能な変更を説明するものである。出願’１１９および出願’４７５は、ＳＰＴ ＳＥＩメッセージにアプリケーション動作点構文構造を含めることと、ｄｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ構文要素を下で定義されるｄｕ＿ｓｐｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙに変更することとを説明するものである。

[0138]本開示で説明される技法は、ＳＰＴ ＳＥＩメッセージがＨＥＶＣ ＷＤ８から出願’１１９および出願’４７５のＳＰＴ ＳＥＩメッセージに変化した例にも適用可能である。下の表４は、ビデオ符号器２０がＳＥＩメッセージの代替の例でＤＵ識別子をシグナリングできる形と、ビデオ復号器３０がＤＵ識別子を判定するためにＳＥＩメッセージを解析できる形との例の擬似コードを提供する。復号単位情報ＳＥＩメッセージが、出願’１１９および出願’４７５に記載されているように、ＳＰＴ ＳＥＩメッセージ内の情報に加えて、ＤＵ識別子を含むので、表３と同様に、混乱を避けるために、ＳＰＴ ＳＥＩメッセージの名前は、復号単位情報ＳＥＩメッセージに変更される。

[0139]１と等しいｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇは、サブピクチャレベルＣＰＢ除去遅延パラメータが、ピクチャタイミングＳＥＩメッセージ内に存在し、サブピクチャタイミングＳＥＩメッセージが、存在しないことを指定する。０と等しいｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇは、サブピクチャレベルＣＰＢ除去遅延パラメータが、サブピクチャタイミングＳＥＩメッセージ内に存在し、ピクチャタイミングＳＥＩメッセージが、サブピクチャレベルＣＰＢ除去遅延パラメータを含まないことを指定する。

[0140]表３に関する上記と同様に、復号単位情報ＳＥＩメッセージは、ＳＥＩメッセージに関連する復号単位のＣＰＢ除去遅延情報を提供する。以下は、復号単位情報ＳＥＩメッセージの構文と意味論とにあてはまる可能性がある。

[0141]構文要素ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇ、およびｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１と変数ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇとは、復号単位情報ＳＥＩメッセージが適用される動作点のいずれにも適用可能なｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ ）構文要素とｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ ）構文要素とに見出される構文要素に見出されまたはそれから導出され得る。ビットストリーム（またはその一部）は、復号単位情報ＳＥＩメッセージが適用される動作点のいずれかに関連するビットストリームサブセット（またはその一部）を指す。

[0142]表３に関する上記に似て、ビデオ符号器２０は、ビデオ復号器３０がビットストリーム内の復号単位ＳＥＩメッセージの存在を判定するのに利用するＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇとｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇとを出力する。表４の例では、ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが１と等しく、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１と等しい場合に、ビデオ復号器３０は、指定された動作点に適用可能な１つの復号単位情報ＳＥＩメッセージが、コーディングされたビデオシーケンス内の各復号単位に存在すると判定することができる。そうではない（たとえば、ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが０と等しいまたはｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０と等しい、のいずれか）場合に、ビデオ復号器３０は、指定された動作点に適用可能な復号単位情報ＳＥＩメッセージが、コーディングされたビデオシーケンス内に存在しないと判定することができる。

[0143]表３に関する説明に似て、復号単位情報ＳＥＩメッセージが適用されるＮＡＬ単位は、復号単位情報ＳＥＩメッセージに関連するＮＡＬ単位とも呼ばれるが、復号順序において、復号単位情報ＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位と、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄの異なる値を有する復号単位情報ＳＥＩメッセージを含むすべての後続のＳＥＩ ＮＡＬ単位まででこれを含まないアクセス単位内のすべての後続のＮＡＬ単位とからなる。ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄの定義は、上で表３に関して説明されたものと同一とすることができ、より小さいＤＵ識別子を有する復号単位は、復号順序において、より大きいＤＵ識別子を有する復号単位より前にある。表４の例では、ｄｕ＿ｓｐｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙは、復号順序において復号単位情報ＳＥＩメッセージを含む現在のアクセス単位内の最後の復号単位のＣＰＢからの除去と復号単位情報ＳＥＩメッセージに関連する復号単位との間のサブピクチャクロックティックの単位の（ＨＥＶＣ ＷＤ８のｓｕｂｃｌａｕｓｅ Ｅ．２．１を参照されたい）持続時間を指定することができる。この値は、ＨＥＶＣ ＷＤ８のＡｎｎｅｘ Ｃで指定されているように、仮想シーケンススケジューラ（ＨＳＳ）のＣＰＢへの復号単位データの到着の最も早い可能な時刻を計算するのにも使用され得る。この構文要素は、そのビット単位の長さがｄｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１＋１によって与えられる固定長コードによって表され得る。復号単位情報ＳＥＩメッセージに関連する復号単位が、現在のアクセス単位内の最後の復号単位である時に。ｄｕ＿ｓｐｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙの値は、０と等しいものとすることができる。

[0144]代替案では、ｄｕ＿ｓｐｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙは、復号順序において復号単位情報ＳＥＩメッセージを含む現在のアクセス単位内の次の復号単位のＣＰＢからの除去と、復号単位情報ＳＥＩメッセージに関連する復号単位との間のサブピクチャクロックティックの単位の（ｓｕｂｃｌａｕｓｅ Ｅ．２．１を参照されたい）持続時間を指定することができる。この値は、ＨＥＶＣ ＷＤ８のＡｎｎｅｘ Ｃで指定されているように、ＨＳＳのＣＰＢへの復号単位データの到着の最も早い可能な時刻を計算するのにも使用され得る。この構文要素は、そのビット単位の長さがｄｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１＋１によって与えられる固定長コードによって表される。復号単位情報ＳＥＩメッセージに関連する復号単位が、現在のアクセス単位内の最後の復号単位である時に、ｄｕ＿ｓｐｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙの値は、０と等しいものとすることができる。その代わりに、復号単位情報ＳＥＩメッセージが、各アクセス単位内の最後の復号単位に関連しないものとすることができる。

[0145]上の例は、どのＮＡＬ単位がどの復号単位に関連するのかを判定するのにビデオ復号器３０が利用する復号単位識別子をシグナリングする技法を説明した。たとえば、スライスヘッダが、復号単位識別子を示す場合に、ビデオ復号器３０は、スライスを含むＮＡＬ単位が、スライスヘッダ内で示された復号単位に関連すると判定することができる。もう１つの例として、ＳＥＩメッセージ（たとえば、復号単位情報ＳＥＩメッセージ）が、復号単位識別子を示す場合に、ビデオ復号器３０は、前のＳＥＩメッセージの復号単位識別子とは異なる復号単位識別子を有する復号単位情報ＳＥＩメッセージを含む次のＳＥＩ ＮＡＬ単位までのＳＥＩメッセージに続くすべてのＮＡＬ単位を判定する。これは、ビデオ符号器２０が、復号単位情報ＳＥＩメッセージの複数のコピーを含めることを可能にし、これは同様に、ビデオ復号器３０が、他の復号単位情報ＳＥＩメッセージのうちの１つが送信で失われる場合に複数の復号単位情報ＳＥＩメッセージのうちの１つからＣＰＢからの復号単位の除去時間を判定することを可能にする。

[0146]いくつかの例では、ビデオ符号器２０は、さまざまなタイプのＳＥＩメッセージの複数のコピーを出力のために生成し、出力することができ、ビデオ復号器３０は、それらを受け取ることができる。上で説明されたように、次の態様が、すべてのＳＥＩメッセージについて指定される：ａ）ＳＥＩメッセージ内で担持される情報が適用される適用範囲と、ｂ）ＳＥＩメッセージが存在することができる場所と、ｃ）特定のタイプのＳＥＩメッセージの複数のインスタンスの内容に関する制限。

[0147]次の規約が、適用範囲と、メッセージが存在することができる場所と、複数インスタンスＳＥＩメッセージの内容に関する制限とを記述するために仮定される。ＳＥＩメッセージは、そのＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位のＮＡＬ単位ヘッダ内のｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓの値に関連すると考えられる。以下では、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓが、スケーラブルビデオコーディングのレイヤを識別するので、「レイヤＩＤ」が、「ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ」と交換可能に使用される。

[0148]上と同様に、頭字語ＡＵは、アクセス単位を表す。各バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、またはサブピクチャタイミングＳＥＩメッセージの適用可能な動作点は、出願’１１９および出願’４７５で指定される通りである。動作点は、ＯｐＬａｙｅｒＩｄＳｅｔと表されるｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ値のセットと、ＯｐＴｉｄと表される時間識別値（ＴｅｍｐｏｒａｌＩｄ）と、独立に復号可能な入力としてＯｐＴｉｄおよびＯｐＬａｙｅｒＩｄＳｅｔと共にＨＥＶＣ ＷＤ８のｓｕｂ−ｃｌａｕｓｅ １０．１で指定されるサブビットストリーム抽出プロセスの出力として導出される関連するビットストリームサブセットとによって識別される。

[0149]ピクチャのＴｅｍｐｏｒａｌＩｄ値は、そのピクチャが他のピクチャのインター予測に使用され得るかどうかを示す。たとえば、第１のピクチャは、第１のピクチャのＴｅｍｐｏｒａｌＩｄ値が第２のピクチャのＴｅｍｐｏｒａｌＩｄ値より大きい場合に、第２のピクチャのインター予測に使用され得ない。この形で、最大のＴｅｍｐｏｒａｌＩｄ値を有するピクチャは、そのピクチャが残りのピクチャのいずれのインター予測にも使用され得ないので、ビデオ復号に対する影響を全く伴わずに除去（抽出）され得る。同様に、最大のおよび次に最大のＴｅｍｐｏｒａｌＩｄ値を有するピクチャは、これらのピクチャが残りのピクチャのいずれのインター予測にも使用され得ないので、ビデオ復号に対する影響を全く伴わずに除去され得、以下同様である。ＴｅｍｐｏｒａｌＩｄ値に基づくそのようなピクチャの除去は、ビデオ復号に影響せず、帯域幅利用を改善する（たとえば、ピクチャの除去に起因して）ことができるが、そのようなピクチャが除去される場合に、ビデオの品質に対する悪影響がある場合がある。

[0150]ｓｕｂ−ｃｌａｕｓｅ １０．１で指定されるサブビットストリーム抽出プロセスは、適合に関するある要件を記述するものである。一例として、両端を含む０から６までの範囲内の任意のターゲットの最大ＴｅｍｐｏｒａｌＩｄ値を有するプロセスによってビットストリームから抽出された任意のサブビットストリームと、０と等しいｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓの値だけを含むターゲットレイヤ識別子リストとは、確認するビットストリームであると考えられる。

[0151]シーン期間は、シーン情報ＳＥＩメッセージを含むＡＵから始まり、復号順序において、シーン情報ＳＥＩメッセージまたはコーディングされたビデオシーケンスの終り（どちらであれ、復号順序においてより早いもの）を含む次のＡＵまでのすべてのＡＵを含むことができ、それらだけを含むことができる。ポストフィルタ期間は、ポストフィルタヒントＳＥＩメッセージを含むＡＵから始まり、復号順序において、ポストフィルタヒントＳＥＩメッセージまたはコーディングされたビデオシーケンスの終り（どちらであれ、復号順序においてより早いもの）を含む次のＡＵまでのすべてのＡＵを含むことができ、それらだけを含むことができる。

[0152]サブピクチャタイミングＳＥＩメッセージが、復号単位ＩＤを含まない場合には、復号単位は、サブピクチャタイミングＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位から、サブピクチャタイミングＳＥＩメッセージまたはＡＵの終り（どちらであれ、復号順序においてより早いもの）を含む次のＳＥＩ ＮＡＬ単位までのＡＵ内のＮＡＬ単位のセットを含むことができ、それらだけを含むことができる。そうでない場合には、復号単位は、サブピクチャタイミングＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位から、復号単位ＩＤの異なる値を有するサブピクチャタイミングＳＥＩメッセージまたはＡＵの終り（どちらであれ、復号順序においてより早いもの）を含む次のＳＥＩ ＮＡＬ単位までのＡＵ内のＮＡＬ単位のセットを含むことができ、それらだけを含むことができる。

[0153]表５は、異なるタイプのＳＥＩメッセージを示し、異なるタイプのＳＥＩメッセージと、アクセス単位の時間識別値と、制限があるかどうかおよびＳＥＩメッセージに対する制限のタイプとの間の関係を示す。たとえば、ビデオ符号器２０は、ＳＥＩメッセージのタイプを判定することができ、アクセス単位の時間識別値を判定することができる。時間識別値およびＳＥＩメッセージのタイプに基づいて、ビデオ符号器２０は、ＳＥＩメッセージの存在が許容されるかどうかを判定することができる。

[0154]一例として、ＳＥＩメッセージタイプが、バッファ期間ＳＥＩメッセージであると仮定する。この例では、時間識別値が０と等しくない場合に、ビデオ符号器２０は、バッファ期間ＳＥＩメッセージの存在が許容されないと判定することができる。もう１つの例として、ＳＥＩメッセージタイプが、ピクチャタイミングＳＥＩメッセージであると仮定する。この例では、時間識別値にかかわりなく、ビデオ符号器２０は、ピクチャタイミングＳＥＩメッセージの存在が許容されると判定することができる。

[0155]本開示で説明される技法によれば、ビデオ符号器２０およびビデオ復号器３０は、本開示で説明される１つまたは複数の例の技法を実施するように構成されたビデオコーダの例である。たとえば、ビデオ符号器２０は、復号単位の識別子をシグナリングする（たとえば、復号単位の識別子を符号化し、シグナリングする）ことができ、ビデオ復号器３０は、復号単位の識別子を受け取る（たとえば、復号単位の識別子を受け取り、復号する）ことができる。この意味で、ビデオ符号器２０およびビデオ復号器３０などのビデオコーダは、復号単位の識別子をコーディングする（たとえば、符号化するか復号する）ように構成され得る。

[0156]ビデオコーダは、あるアクセス単位内のある復号単位の識別子が、そのアクセス単位内のすべての他の復号単位の識別子と異なるように、アクセス単位内の各復号単位の一意の識別子をコーディングするように構成され得る。いくつかの例では、ビデオコーダは、復号単位のそれぞれの一意識別子に基づいて、ネットワーク抽象化レイヤ（ＮＡＬ）単位をアクセス単位内の復号単位に関連付けることができる。また、いくつかの例では、ビデオコーダは、復号単位内またはアクセス単位内で、付加拡張情報（ＳＥＩ）メッセージを繰り返すことができる。

[0157]各ＤＵをコーディングするために、ビデオコーダは、第１のＤＵの第１の識別子をコーディングし、第２の異なるＤＵの第２の異なる識別子をコーディングすることができる。この例では、第２の識別子は、第１の識別子を１つ増分したものとすることができる。

[0158]いくつかの例では、ビデオコーダは、スライスヘッダ内の復号ごとに一意識別子をコーディングすることができる。これらの例では、一意識別子は、スライスが属する復号単位を識別することができ、ビデオコーダは、スライスを含むＮＡＬ単位がスライスヘッダ内の復号単位識別子によって識別される復号単位に関連することを判定することができる。いくつかの例では、ビデオコーダは、ＳＥＩメッセージ内の復号単位の一意識別子をコーディングすることができる。たとえば、ビデオコーダは、復号単位がコーディングされたピクチャバッファ（ＣＰＢ）から除去されなければならない時に関する情報をも含むＳＥＩメッセージ（たとえば、復号単位情報ＳＥＩメッセージ）内で一意識別子をコーディングすることができる。復号単位の一意識別子は、復号単位情報ＳＥＩメッセージを含む復号単位を識別することができる。

[0159]１つまたは複数の例の技法では、ビデオコーダは、アクセス単位内の第１の復号単位の第１識別子をコーディングし、そのアクセス単位内の第２の異なる復号単位の第２の異なる識別子をコーディングすることができる。いくつかの例では、第１の識別子の値が第２の識別子の値より小さい時に、第１の復号単位は、復号順序において第２の復号単位に先行するものとすることができる。いくつかの例では、ビデオコーダは、復号順序においてのアクセス単位内のすべての復号単位のリストへの復号単位のインデックスとして、各復号単位の一意識別子をコーディングすることができる。

[0160]いくつかの例では、ビデオコーダは、アクセス単位（ＡＵ）内で、第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位をコーディングすることができる。ビデオコーダは、復号順序において第１のＶＣＬ ＮＡＬ単位に続く付加拡張情報（ｓｕｐｐｌｅｍｅｎｔａｔｉｏｎ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）（ＳＥＩ）メッセージをコーディングすることもできる。いくつかの例では、ビデオコーダは、ＳＥＩメッセージが復号順序においてＡＵ内の最後のＶＣＬ ＮＡＬ単位に先行するようにＳＥＩメッセージをコーディングすることもできる。

[0161]図２Ａおよび図２Ｂは、本開示で説明される技法による、復号単位識別子を含むアクセス単位の例を示す概念図である。図２Ａは、アクセス単位３４を示し、図２Ｂは、アクセス単位５０を示す。アクセス単位３４およびアクセス単位５０は、少なくとも１つのピクチャを復号するのに必要なビデオデータ（たとえば、１つのピクチャまたは同一の時間瞬間の異なるビューの複数のピクチャを復号するための１つまたは複数のレイヤ）を含む。ビデオ符号器２０は、ビデオ復号器３０がリンク１６またはストレージデバイス３２を介して受け取るコーディングされたビットストリームの一部として、アクセス単位３４またはアクセス単位５０を出力する。

[0162]図２Ａおよび図２Ｂでは、アクセス単位３４およびアクセス単位５０は、複数の復号単位を含み、これは、ビデオ符号器２０が、サブピクチャレベルでの動作がアクセス単位３４およびアクセス単位５０について許容されることをビデオ復号器３０に示すために、アクセス単位３４およびアクセス単位５０のＳｕｂＰｉｃＣｐｂＦｌａｇを１として出力したことを意味する。

[0163]図２Ａでは、アクセス単位３４は、復号単位３６Ａ〜３６Ｃ（集合的に「復号単位３６」と呼ばれる）を含む。復号単位３６Ａは、第１のＳＥＩ ＮＡＬ単位３８Ａと第２のＳＥＩ ＮＡＬ単位３８Ｂとを含む。ＳＥＩ ＮＡＬ単位３８Ａと３８Ｂの両方が、復号単位３６Ａの除去時間に関する情報を示し、復号単位３６Ａの復号単位識別子をも含むＳＥＩメッセージ（たとえば、復号単位情報ＳＥＩメッセージ）を含む。復号単位３６Ａも、ＮＡＬ単位４０Ａ〜４０Ｄを含む。

[0164]復号単位３６Ｂは、復号単位３６Ｂの除去時間に関する情報を示し、復号単位３６Ｂの復号単位識別子をも含むＳＥＩメッセージを含む第３のＳＥＩ ＮＡＬ単位４２を含む。復号単位３６Ｂの復号単位識別子は、復号単位３６Ａの復号単位識別子とは異なる（たとえば、復号単位３６Ａの復号単位識別子より１つ大きい）。復号単位３６Ｂも、ＮＡＬ単位４４Ａと４４Ｂとを含む。

[0165]復号単位３６Ｃは、第４のＳＥＩ ＮＡＬ単位４６Ａと第５のＳＥＩ ＮＡＬ単位４６Ｂとを含む。ＳＥＩ ＮＡＬ単位４６Ａと４６Ｂの両方が、復号単位３６Ｃの除去時間に関する情報を示し、復号単位３６Ｃの復号単位識別子をも含むＳＥＩメッセージ（たとえば、復号単位情報ＳＥＩメッセージ）を含む。復号単位３６Ｃも、ＮＡＬ単位４８Ａと４８Ｂとを含む。

[0166]ビデオ復号器３０は、どのＮＡＬ単位がどの復号単位に関連するのかを、復号単位情報ＳＥＩメッセージに基づいて判定することができる。たとえば、ビデオ復号器３０は、ＳＥＩ ＮＡＬ単位３８Ａの復号単位情報ＳＥＩメッセージが、復号単位３６Ａの復号単位識別子を含んだので、ＳＥＩ ＮＡＬ単位３８Ａに続くＳＥＩ ＮＡＬ単位３８ＡとＮＡＬ単位（たとえば、ＮＡＬ単位４０Ａおよび４０Ｂ）とが、復号単位３６Ａに関連すると判定することができる。その後、ビデオ復号器３０は、ＳＥＩ ＮＡＬ単位３８Ｂの復号単位情報ＳＥＩメッセージが、ＳＥＩ ＮＡＬ単位３８Ａの復号単位情報ＳＥＩメッセージのコピーである（たとえば、同一の除去時間情報と同一の復号単位識別子とを含む）ので、ＳＥＩ ＮＡＬ単位３８Ｂも、復号単位３６Ａの一部であると判定することができる。この例では、ビデオ復号器３０は、ＮＡＬ単位４０Ｃおよび４０Ｄが、ＳＥＩ ＮＡＬ単位３８Ｂに続き、復号単位情報ＳＥＩメッセージを有する別のＳＥＩ ＮＡＬ単位に先行するので、ＮＡＬ単位４０Ｃおよび４０Ｄも、復号単位３６Ａに関連すると判定することができる。

[0167]ビデオ復号器３０は、ＳＥＩ ＮＡＬ単位４２の復号単位情報ＳＥＩメッセージ内の復号単位識別子が、ＳＥＩ ＮＡＬ単位３８Ａおよび３８Ｂの復号単位情報ＳＥＩメッセージ内の復号単位識別子と異なるので、ＳＥＩ ＮＡＬ単位４２が、復号単位３６Ａに属さないと判定することができる。この場合に、ビデオ復号器３０は、ＳＥＩ ＮＡＬ単位４２が、別の復号単位（たとえば、復号単位３６Ｂ）に関連すると判定することができ、ＮＡＬ単位４４Ａおよび４４Ｂが、ＳＥＩ ＮＡＬ単位４２に続き、異なる復号単位識別子を含む復号単位情報ＳＥＩメッセージを有する別のＳＥＩ ＮＡＬ単位に先行するので、ＮＡＬ単位４４Ａおよび４４Ｂも、復号単位３６Ｂに関連すると判定することができる。

[0168]ビデオ復号器３０は、ＳＥＩ ＮＡＬ単位４６Ａの復号単位情報ＳＥＩメッセージ内の復号単位識別子が、前の復号単位識別子と異なる（たとえば、前の識別子より１つ大きい）ので、ＳＥＩ ＮＡＬ単位４６Ａが、異なる復号単位（たとえば、復号単位３６Ｃ）に関連すると判定することができる。ビデオ復号器３０は、ＮＡＬ単位４８Ａが、ＳＥＩ ＮＡＬ単位４６Ａに続き、復号単位情報ＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位４６Ｂに先行するので、ＮＡＬ単位４８Ａが、復号単位３６Ｃに関連すると判定する。

[0169]この例では、ＳＥＩ ＮＡＬ単位４６Ｂは、ＳＥＩ ＮＡＬ単位４６Ａの復号単位情報ＳＥＩメッセージと同一の復号単位識別子を含む復号単位情報ＳＥＩメッセージを含む（たとえば、これらの復号単位情報ＳＥＩメッセージがコピーである）。ビデオ復号器３０は、ＮＡＬ単位４８Ｂが、アクセス単位３４内の最後のＮＡＬ単位なので、ＮＡＬ単位４８Ｂが、復号単位３６Ｃに関連すると判定することができる。

[0170]図２Ａでは、復号単位情報ＳＥＩメッセージの例は、表３および表４に関して上で説明された例を含む。また、図２Ａでは、復号単位に属するＮＡＬ単位は、連続する（すなわち、他の復号単位のＮＡＬ単位は、ある復号単位のＮＡＬ単位の間に散在させられない）。

[0171]図２Ａでは、ビデオ符号器２０は、対応する復号単位内の各復号単位の復号単位識別子を出力のために生成し、出力することができる。たとえば、ビデオ符号器２０は、対応する復号単位３６Ａ内のＳＥＩ ＮＡＬ単位３８ＡおよびＳＥＩ ＮＡＬ単位３８Ｂの復号単位情報ＳＥＩメッセージ内に復号単位識別子を含め、ＳＥＩ ＮＡＬ単位３８Ａおよび３８Ｂの復号単位情報ＳＥＩメッセージの一部として復号単位識別子を出力する。ビデオ符号器２０は、対応する復号単位３８Ｂ内のＳＥＩ ＮＡＬ単位４２の復号単位情報ＳＥＩメッセージ内に復号単位識別子を含め、対応する復号単位３６Ｃ内のＳＥＩ ＮＡＬ単位４６ＡおよびＳＥＩ ＮＡＬ単位４６Ｂの復号単位ＳＥＩメッセージ内に復号単位識別子を含める。これらの例では、ビデオ符号器２０は、ＳＥＩ ＮＡＬ単位４２、４６Ａ、および４６Ｂのそれぞれの復号単位ＳＥＩメッセージの一部として復号単位識別子を出力する。

[0172]復号単位ＳＥＩメッセージを含めることは、ビデオ復号器３０が、どのＮＡＬ単位がどの復号単位に関連するのかを、復号単位識別子に基づいて判定することを可能にし、その結果、ＮＡＬ単位が失われる場合であっても、ビデオ復号器３０は、どのＮＡＬ単位がどの復号単位に関連するのかを、それでも判定できるようになる。たとえば、ＮＡＬ単位４０Ｃが失われると仮定する。この例では、ビデオ復号器３０は、それでも、ＮＡＬ単位４０Ｄの復号単位情報ＳＥＩメッセージが復号単位３６Ａの復号単位識別子を示したＳＥＩ ＮＡＬ単位３８Ｂの後にあり、その復号単位情報ＳＥＩメッセージが復号単位３６Ｂの復号単位識別子を示したＳＥＩ ＮＡＬ単位４２に先行するので、ＮＡＬ単位４０Ｄが、復号単位３６Ａに関連すると判定することができる。さらに、復号単位識別子を示す復号単位ＳＥＩメッセージに関して、ビデオ符号器２０は、復号単位に復号単位ＳＥＩメッセージの複数のコピーを含めることができる。

[0173]図２Ｂに示されているように、アクセス単位５０は、復号単位５２Ａ〜５２Ｃ（集合的に「復号単位５２」と呼ばれる）を含む。復号単位５２Ａは、スライスＮＡＬ単位５４Ａと５４Ｂとを含み、復号単位５２Ｂは、スライスＮＡＬ単位６４Ａ〜６４Ｃを含み、復号単位５２Ｃは、スライスＮＡＬ単位７８Ａと７８Ｂとを含む。各スライスＮＡＬ単位は、スライスヘッダとスライス本体とを含む。スライスヘッダは、復号単位識別子を含むヘッダ情報を含み、スライス本体は、スライスを復号するためのビデオデータを含む。

[0174]たとえば、スライスＮＡＬ単位５４Ａは、スライスヘッダ５６とスライス本体５８とを含み、スライスＮＡＬ単位５４Ｂは、スライスヘッダ６０とスライス本体６２とを含む。この例では、スライスＮＡＬ単位５４Ａのスライスヘッダ５６とスライスＮＡＬ単位５４Ｂのスライスヘッダ６０とは、それぞれ、同一の復号単位識別子を含み、ビデオ復号器３０は、この復号単位識別子を利用して、ＮＡＬ単位５４ＡとＮＡＬ単位５４Ｂとが同一の復号単位（たとえば、復号単位５２Ａ）に関連すると判定する。

[0175]スライスＮＡＬ単位６４Ａは、スライスヘッダ６６とスライス本体６８とを含み、スライスＮＡＬ単位６４Ｂは、スライスヘッダ７０とスライス本体７２とを含み、スライスＮＡＬ単位６４Ｃは、スライスヘッダ７４とスライス本体７６とを含む。この例では、スライスＮＡＬ単位６４Ａのスライスヘッダ６６と、スライスＮＡＬ単位６４Ｂのスライスヘッダ７０と、スライスＮＡＬ単位６４Ｃのスライスヘッダ７４とは、それぞれ、同一の復号単位識別子を含み、ビデオ復号器３０は、この復号単位識別子を利用して、ＮＡＬ単位６４ＡとＮＡＬ単位６４ＢとＮＡＬ単位６４Ｃとが同一の復号単位（たとえば、復号単位５２Ｂ）に関連すると判定する。

[0176]スライスＮＡＬ単位７８Ａは、スライスヘッダ８０とスライス本体８２とを含み、スライスＮＡＬ単位７８Ｂは、スライスヘッダ８４とスライス本体８６とを含む。この例では、スライスＮＡＬ単位７８Ａのスライスヘッダ８０とスライスＮＡＬ単位７８Ｂのスライスヘッダ８４とのそれぞれは、同一の復号単位識別子を含み、ビデオ復号器３０は、この復号単位識別子を利用して、ＮＡＬ単位７８ＡとＮＡＬ単位７８Ｂとが同一の復号単位（たとえば、復号単位５２Ｃ）に関連すると判定する。

[0177]図２Ｂでは、復号単位情報ＳＥＩメッセージの例が、表２に関して上で説明された例を含む。図２Ａに似て、図２Ｂでは、復号単位に属するＮＡＬ単位は、連続する（すなわち、他の復号単位のＮＡＬ単位は、ある復号単位のＮＡＬ単位の間に散在させられない）。

[0178]図示されているように、ビデオ符号器２０は、対応する復号単位５２Ａのスライスヘッダ５６および６０内に復号単位識別子を含め、スライスヘッダ５６および６０の一部として復号単位識別子を出力する。また、ビデオ符号器２０は、対応する復号単位５２Ｂのスライスヘッダ６６、７０、および７４内に復号単位識別子を含め、スライスヘッダ６６、７０、および７４の一部として復号単位識別子を出力する。同様に、ビデオ符号器２０は、対応する復号単位５２Ｃのスライスヘッダ８０および８４内に復号単位識別子を含め、スライスヘッダ８０および８４の一部として復号単位識別子を出力する。

[0179]図２Ｂに示された例では、ビデオ復号器３０は、どのスライスＮＡＬ単位がどの復号単位に関連するのかを判定するために、ＳＰＴ ＳＥＩメッセージの位置に頼る必要がない。そうではなく、ビデオ復号器３０は、どのスライスＮＡＬ単位がどの復号単位に関連するのかを判定するために、スライスＮＡＬ単位のスライスヘッダ内で示された復号単位識別子を利用する。この場合に、スライスＮＡＬ単位（たとえば、スライスＮＡＬ単位５６Ｂ）が失われる場合であっても、ビデオ復号器３０は、それでも、スライスヘッダに基づいて、どのＮＡＬ単位がどの復号単位に関連するのかを判定することができる可能性がある。

[0180]図３は、本開示で説明される技法を実施することができる例のビデオ符号器２０を示すブロック図である。ビデオ符号器２０は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディング（イントラ予測符号化またはイントラ予測復号とインター予測符号化またはインター予測復号と）を実行することができる。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオ内の空間的冗長性を減らすか除去するために空間予測に頼る。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオ内の時間的冗長性を減らすか除去するために時間予測に頼る。イントラモード（Ｉモード）は、複数の空間ベースの圧縮モードのいずれをも指すことができる。単一方向予測（Ｐモード）または両方向（Ｂモード）などのインターモードは、複数の時間ベースの圧縮モードのいずれをも指すことができる。

[0181]図３の例では、ビデオ符号器２０は、区分ユニット１３５と、予測処理ユニット１４１と、フィルタユニット１６３と、基準ピクチャメモリ１６４（時々、復号されたピクチャバッファと呼ばれる）と、合計器１５０と、変換処理ユニット１５２と、量子化処理ユニット１５４と、エントロピ符号化ユニット１５６とを含む。予測処理ユニット１４１は、動き推定ユニット１４２と、動き補償ユニット１４４と、イントラ予測ユニット１４６とを含む。ビデオブロック再構成のために、ビデオ符号器２０は、また、逆量子化処理ユニット１５８と、逆変換処理ユニット１６０と、合計器１６２とを含む。フィルタユニット１６３は、全体的に、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなどの１つまたは複数のループフィルタを表すことができる。フィルタユニット１６３は、図３ではインループフィルタであるものとして図示されているが、他の構成では、フィルタユニット１６３は、ポストループフィルタとして実施され得、この場合に、フィルタリングされていないデータが、コーディングループ内で使用され得る。

[0182]図３に示されているように、ビデオ符号器２０は、ビデオデータを受け取り、区分ユニット１３５は、そのデータをビデオブロックに区分する。この区分は、スライス、タイル、または他のより大きい単位への区分、ならびにたとえばＬＣＵおよびＣＵの４分木構造に従う、ビデオブロック区分をも含むことができる。ビデオ符号器２０は、一般に、符号化されるビデオスライス内のビデオブロックを符号化するコンポーネントを示す。スライスは、複数のビデオブロックに（およびおそらくはタイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット１４１は、誤差結果（たとえば、コーディングレートおよび歪みのレベル）に基づいて現在のビデオブロックの、複数のイントラコーディングモードのうちの１つまたは複数のインターコーディングモードのうちの１つなど、複数のコーディングモードのうちの１つを選択することができる。予測処理ユニット１４１は、残差ブロックデータ生成するために合計器１５０に、および、基準ピクチャとしての使用のために符号化されたブロックを再構成するために合計器１６２に、結果のイントラコーディングされたまたはインターコーディングされたブロックを供給することができる。

[0183]予測処理ユニット１４１内のイントラ予測ユニット１４６は、空間圧縮を提供するために、コーディングされる現在のブロックと同一のフレームまたはスライス内の１つまたは複数の隣接するブロックに対する現在のビデオブロックのイントラ予測コーディングを実行することができる。予測処理ユニット１４１内の動き推定ユニット１４２および動き補償ユニット１４４は、時間圧縮を提供するために、１つまたは複数の基準ピクチャ内の１つまたは複数の予測ブロックに対する現在のビデオブロックのインター予測コーディングを実行する。

[0184]動き推定ユニット１４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのインター予測モードを判定するように構成され得る。所定のパターンは、シーケンス内のビデオスライスをＰスライス、Ｂスライス、またはＧＰＢスライスとして指定することができる。動き推定ユニット１４２および動き補償ユニット１４４は、非常に一体化され得るが、概念的な目的のために別々に図示されている。動き推定ユニット１４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、基準ピクチャ内の予測ブロックに対する相対的な、現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示すことができる。

[0185]予測ブロックは、ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ（ＳＡＤ）、ｓｕｍ ｏｆ ｓｑｕａｒｅ ｄｉｆｆｅｒｅｎｃｅ（ＳＳＤ）、または他の差メトリックによって判定され得る画素差に関して、コーディングされるビデオブロックのＰＵによく一致することがわかるブロックである。いくつかの例で、ビデオ符号器２０は、基準ピクチャメモリ１６４に格納された基準ピクチャのサブ整数画素位置の値を計算することができる。たとえば、ビデオ符号器２０は、基準ピクチャの１／４画素位置、１／８画素位置、または他の分数画素位置の値を補間することができる。したがって、動き推定ユニット１４２は、フル画素位置と分数画素位置とに対する動き検索を実行し、分数画素精度を有する動きベクトルを出力することができる。

[0186]動き推定ユニット１４２は、ＰＵの位置を基準ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライス内のビデオブロックのＰＵの動きベクトルを計算する。基準ピクチャは、第１の基準ピクチャリスト（リスト０）または第２の基準ピクチャリスト（リスト１）から選択され得、これらのリストのそれぞれは、基準ピクチャメモリ１６４に格納された１つまたは複数の基準ピクチャを識別する。動き推定ユニット１４２は、計算された動きベクトルをエントロピ符号化ユニット１５６と動き補償ユニット１４４とに送る。

[0187]動き補償ユニット１４４によって実行される動き補償は、おそらくはサブ画素精度で補間を実行する動き推定によって判定された動きベクトルに基づいて予測ブロックを取り出すことまたはこれを生成することを含むことができる。現在のビデオブロックのＰＵの動きベクトルを受け取る時に、動き補償ユニット１４４は、基準ピクチャリストの１つの中で、動きベクトルがポイントする予測ブロックを配置することができる。ビデオ符号器２０は、コーディングされる現在のビデオブロックの画素値から予測ブロックの画素値を減算し、画素差値を形成することによって、残差ビデオブロックを形成する。画素差値は、ブロックの残差データを形成し、ルマ差成分とクロマ差成分の両方を含むことができる。合計器１５０は、この減算演算を実行する１つまたは複数のコンポーネントを表す。動き補償ユニット１４４は、ビデオスライスのビデオブロックを復号する際のビデオ復号器３０による使用のために、ビデオブロックとビデオスライスとに関連する構文要素をも生成することができる。

[0188]イントラ予測ユニット１４６は、上で説明された動き推定ユニット１４２および動き補償ユニット１４４によって実行されるインター予測の代替案として、現在のブロックをイントラ予測することができる。具体的には、イントラ予測ユニット１４６は、現在のブロックを符号化するのに使用されるイントラ予測モードを判定することができる。いくつかの例では、イントラ予測ユニット１４６は、たとえば別々の符号化パス中に、さまざまなイントラ予測モードを使用して現在のブロックを符号化することができ、イントラ予測ユニット１４６（または、いくつかの例でモード選択ユニット（図示せず））は、テストされたモードから使用すべき適当なイントラ予測モードを選択することができる。たとえば、イントラ予測ユニット１４６は、さまざまなテストされたイントラ予測モードのレート−歪み分析を使用してレート−歪み値を計算し、テストされたモードの中で最良のレート−歪み特性を有するイントラ予測モードを選択することができる。レート−歪み分析は、一般に、符号化されたブロックと、その符号化されたブロックを作るために符号化されたオリジナルの符号化されていないブロックとの間の歪み（または誤差）の量ならびにその符号化されたブロックを作るのに使用されたビットレート（すなわち、ビット数）を判定する。イントラ予測ユニット１４６は、どのイントラ予測モードがブロックの最良のレート−歪み値を示すのかを判定するために、さまざまな符号化されたブロックの歪みとレートとから比率を計算することができる。

[0189]どの場合でも、ブロックのイントラ予測モードを選択した後に、イントラ予測ユニット１４６は、ブロックの選択されたイントラ予測モードを示す情報をエントロピ符号化ユニット１５６に提供することができる。エントロピ符号化ユニット１５６は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化することができる。ビデオ符号器２０は、送信されるビットストリーム内に構成データを含めることができ、この構成データは、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル（符号語マッピングテーブルとも呼ばれる）と、さまざまなブロックの符号化コンテキストの定義と、最も有望なイントラ予測モード、イントラ予測モードインデックステーブル、およびコンテキストのそれぞれについて使用すべき変更されたイントラ予測モードインデックステーブルの表示とを含むことができる。

[0190]予測処理ユニット１４１が、インター予測またはイントラ予測のいずれかを介して現在のビデオブロックの予測ブロックを生成した後に、ビデオ符号器２０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ビデオブロック内の残差ビデオデータは、１つまたは複数のＴＵ内に含められ得、変換処理ユニット１５２に適用され得る。変換処理ユニット１５２は、離散コサイン変換（ＤＣＴ）または概念的に類似する変換などの変換を使用して、残差ビデオデータを残差変化係数に変換する。変換処理ユニット１５２は、残差ビデオデータを画素領域から周波数領域などの変換領域に変換することができる。

[0191]変換処理ユニット１５２は、結果の変換係数を量子化処理ユニット１５４に送ることができる。量子化処理ユニット１５４は、ビットレートをさらに減らすために、変換係数を量子化する。量子化処理は、係数の一部またはすべてに関連するビット深さを減らすことができる。量子化の度合は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化処理ユニット１５４は、量子化された変換係数を含む行列のスキャンを実行することができる。代替案では、エントロピ符号化ユニット１５６がスキャンを実行することができる。

[0192]量子化に続いて、エントロピ符号化ユニット１５６が、量子化された変換係数をエントロピ符号化する。たとえば、エントロピ符号化ユニット１５６は、ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ（ＣＡＶＬＣ）、ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ（ＣＡＢＡＣ）、ｓｙｎｔａｘ−ｂａｓｅｄ ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ（ＳＢＡＣ）、ｐｒｏｂａｂｉｌｉｔｙ ｉｎｔｅｒｖａｌ ｐａｒｔｉｔｉｏｎｉｎｇ ｅｎｔｒｏｐｙ（ＰＩＰＥ）コーディング、または別のエントロピ符号化方法論もしくはエントロピ符号化技法を実行することができる。エントロピ符号化ユニット１５６によるエントロピ符号化に続いて、符号化されたビットストリームは、ビデオ復号器３０に送信されまたは後の送信もしくはビデオ復号器３０による取出のためにアーカイブされ得る。エントロピ符号化ユニット１５６は、コーディングされつつある現在のビデオスライスの動きベクトルおよび他の構文要素をエントロピ符号化することもできる。

[0193]逆量子化処理ユニット１５８および逆変換処理ユニット１６０は、基準ピクチャの基準ブロックとしての後の使用のために画素領域の残差ブロックを再構成するために、それぞれ逆量子化と逆変換とを適用する。動き補償ユニット１４４は、基準ピクチャリストのうちの１つ内の基準ピクチャのうちの１つの予測ブロックに残差ブロックを加算することによって、基準ブロックを計算することができる。動き補償ユニット１４４は、動き推定での使用のためのサブ整数画素値を計算するために、再構成された残差ブロックに１つまたは複数の補間フィルタを適用することもできる。合計器１６２は、基準ピクチャメモリ１６４での格納のために基準ブロックを作るために、動き補償ユニット１４４によって作られた動き補償された予測ブロックに再構成された残差ブロックを加算する。基準ブロックは、後続のビデオフレームまたはピクチャ内のブロックをインター予測するための基準ブロックとして、動き推定ユニット１４２および動き補償ユニット１４４によって使用され得る。

[0194]図３のビデオ符号器２０は、本明細書で説明される技法のうちの１つまたは複数を実施するように構成されたビデオ符号器の例である。たとえば、予測処理ユニット１４１は、上で説明された例の機能を実行する１つの例のユニットを表す。予測処理ユニット１４１は、ＮＡＬ単位を生成し、そのＮＡＬ単位をアクセス単位の復号単位に関連付けることができる。予測処理ユニット１４１は、復号単位識別子を生成し、ＳＥＩ ＮＡＬ単位の復号単位情報ＳＥＩメッセージ内に復号単位識別子を含め、かつ／またはスライスＮＡＬ単位のスライスのスライスヘッダ内に復号単位識別子を含めることができる。エントロピ符号化ユニット１５６は、復号単位（たとえば、復号単位内のＮＡＬ単位）をエントロピ符号化することができる。

[0195]いくつかの例では、予測処理ユニット１４１とは異なるユニットが、上で説明された例を実施することができる。いくつかの例では、予測処理ユニット１４１は、ビデオ符号器２０の１つまたは複数の他のユニットに関連して、上で説明された例を実施することができる。いくつかの例では、ビデオ符号器２０のプロセッサまたはユニット（図３には図示せず）は、単独でまたはビデオ符号器２０の他のユニットに関連して、上で説明された例を実施することができる。

[0196]図４は、本開示の技法を実施することができる例のビデオ復号器３０を示すブロック図である。図４の例では、ビデオ復号器３０は、エントロピ復号ユニット１８０と、予測処理ユニット１８１と、逆量子化処理ユニット１８６と、逆変換処理ユニット１８８と、合計器１９０と、フィルタユニット１９１と、基準ピクチャメモリ１９２（時々、復号ピクチャバッファ（ＤＰＢ：decoding picture buffer）と呼ばれる）と、コーディングされたピクチャバッファ（ＣＰＢ）１９４とを含む。予測処理ユニット１８１は、動き補償ユニット１８２とイントラ予測ユニット１８４とを含む。ビデオ復号器３０は、いくつかの例で、図３のビデオ符号器２０に関して説明された符号化パスに対して全般的に逆である復号パスを実行することができる。

[0197]復号プロセス中に、ビデオ復号器３０は、ビデオ符号器２０から、符号化されたビデオスライスのビデオブロックと関連する構文要素とを表す符号化されたビデオビットストリームを受信する。ビデオ復号器３０は、ネットワークエンティティ２９から符号化されたビデオビットストリームを受信することができる。ネットワークエンティティ２９は、たとえば、サーバ、メディアアウェアネットワーク要素（ＭＡＮＥ：media-aware network element）、ビデオエディタ／スプライサ、または上で説明された技法のうちの１つまたは複数を実施するように構成された他のそのようなデバイスとすることができる。上で説明されたように、本開示で説明される技法のいくつかは、ネットワーク２９が符号化されたビデオビットストリームをビデオ復号器３０に送信する前に、ネットワークエンティティ２９によって実施され得る。いくつかのビデオ復号システムでは、ネットワークエンティティ２９およびビデオ復号器３０は、別々のデバイスの一部とすることができるが、他の実例では、ネットワークエンティティ２９に関して説明される機能性が、ビデオ復号器３０を備えるものと同一のデバイスによって実行され得る。

[0198]コーディングされたピクチャバッファ１９４は、ネットワークエンティティ２９からコーディングされたピクチャを受け取る。本開示で説明されるように、符号化されたビットストリーム内の構文要素の一部は、ＣＰＢ１９４へのサブピクチャレベルアクセスが許容されるかどうかを示す。また、符号化されたビットストリームは、ＣＰＢ１９４内のピクチャの処理に関する情報（たとえば、アクセス単位の復号単位の除去時間）を定義するＳＥＩメッセージを含むことができる。

[0199]ビデオ復号器３０のエントロピ復号ユニット１８０は、量子化された係数と動きベクトルと他の構文要素とを生成するために、ビットストリームをエントロピ復号する。エントロピ復号ユニット１８０は、動きベクトルと他の構文要素とを予測処理ユニット１８１に転送する。ビデオ復号器３０は、ビデオスライスレベルおよび／またはビデオブロックレベルで構文要素を受け取ることができる。

[0200]ビデオスライスが、イントラコーディングされた（Ｉ）スライスとしてコーディングされる時に、予測処理ユニット１８１のイントラ予測ユニット１８４は、現在のフレームまたはピクチャの前に復号されたブロックからシグナリングされたイントラ予測モードおよびデータに基づいて、現在のビデオスライスのビデオブロックの予測データを生成することができる。ビデオフレームが、インターコーディングされた（すなわち、Ｂ、Ｐ、またはＧＰＢ）スライスとしてコーディングされる時に、予測処理ユニット１８１の動き補償ユニット１８２は、エントロピ復号ユニット１８０から受け取られた動きベクトルと他の構文要素とに基づいて、現在のビデオスライスのビデオブロックの予測ブロックを作る。予測ブロックは、基準ピクチャリストのうちの１つ内の基準ピクチャのうちの１つから作られ得る。ビデオ復号器３０は、基準ピクチャメモリ１９２に格納された基準ピクチャに基づいて、デフォルト構成技法を使用して基準フレーム（ピクチャ）リスト、リスト０とリスト１とを構成することができる。

[0201]動き補償ユニット１８２は、動きベクトルと他の構文要素とを解析することによって、現在のビデオスライスのビデオブロックの予測情報を判定し、復号されつつある現在のビデオブロックの予測ブロックを作るのにその予測情報を使用する。たとえば、動き補償ユニット１８２は、ビデオスライスのビデオブロックをコーディングするのに使用された予測モード（たとえば、イントラ予測またはインター予測）、インター予測スライスタイプ（たとえば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）、スライスの基準ピクチャリストのうちの１つまたは複数の構成情報、スライスの各インター符号化されたビデオブロックの動きベクトル、スライスの各インターコーディングされたビデオブロックのインター予測状況、および現在のビデオスライス内のビデオブロックを復号するための他の情報を判定するのに、受け取られた構文要素の一部を使用する。

[0202]動き補償ユニット１８２は、補間フィルタに基づく補間を実行することもできる。動き補償ユニット１８２は、基準ブロックのサブ整数画素の補間された値を計算するために、ビデオブロックの符号化中にビデオ符号器２０によって使用された補間フィルタを使用することができる。この場合に、動き補償ユニット１８２は、受け取られた構文要素からビデオ符号器２０によって使用された補間フィルタを判定し、予測ブロックを作るのにその補間フィルタを使用することができる。

[0203]逆量子化処理ユニット１８６は、ビットストリーム内で提供され、エントロピ復号ユニット１８０によって復号された量子化変換係数を逆量子化するすなわち、量子化解除（ｄｅ−ｑｕａｎｔｉｚｅ）する。逆量子化プロセスは、量子化の度合と、同様に、適用されなければならない逆量子化の度合とを判定するための、ビデオスライス内のビデオブロックごとにビデオ符号器２０によって計算された量子化パラメータの使用を含むことができる。逆変換処理ユニット１８８は、画素領域で残差ブロックを作るために、変換係数に逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に類似する逆変換プロセスを適用する。

[0204]動き補償ユニット１８２が、動きベクトルと他の構文要素とに基づいて現在のビデオブロックの予測ブロックを生成した後に、ビデオ復号器３０は、逆変換処理ユニット１８８からの残差ブロックと動き補償ユニット１８２によって生成された対応する予測ブロックとを合計することによって、復号されたビデオブロックを形成する。合計器１９０は、この合計動作を実行する１つまたは複数のコンポーネントを表す。望まれる場合に、ループフィルタ（コーディングループ内またはコーディングループの後のいずれか）も、画素トランジションを平滑化しまたは他の形でビデオ品質を改善するのに使用され得る。フィルタユニット１９１は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなどの１つまたは複数のループフィルタを表すことができる。フィルタユニット１９１は、図４ではインループフィルタであるものとして図示されているが、他の構成では、フィルタユニット１９１が、ポストループフィルタとして実施され得る。その後、所与のフレームまたはピクチャ内の復号されたビデオブロックは、基準ピクチャメモリ１９２に格納され、この基準ピクチャメモリ１９２は、後続の動き補償に使用される基準ピクチャを格納する。基準ピクチャメモリ１９２は、図１のディスプレイデバイス３１などのディスプレイデバイスでのその後の提示のために、復号されたビデオをも格納する。

[0205]図４のビデオ復号器３０は、本明細書で説明される技法の上でまたはそのより多くを実施するように構成されたビデオ復号器の例である。たとえば、予測処理ユニット１８１は、上で説明された例の機能を実行する１つの例のユニットを表す。たとえば、予測処理ユニット１８１は、ＣＰＢ１９４内のサブピクチャレベル動作が許容されることをＳｕｂＰｉｃＣｐｂＦｌａｇが示すかどうかを判定することができる。サブピクチャレベル動作が許容される場合に、予測処理ユニット１８１は、どのＮＡＬ単位がアクセス単位のどの復号単位に関連するのかを判定することができる。

[0206]たとえば、予測処理ユニット１８１は、ＳＥＩ ＮＡＬ単位が復号単位情報ＳＥＩメッセージを含むと判定することができる。復号単位情報ＳＥＩメッセージから、予測処理ユニット１８１は、復号単位のＣＰＢ１９４からの除去時間と、復号単位識別子とを判定することができる。予測処理ユニット１８１は、ＳＥＩ ＮＡＬ単位と、異なる復号単位識別子を有する復号単位情報ＳＥＩメッセージを含む別のＳＥＩ ＮＡＬ単位までのＳＥＩ ＮＡＬ単位に続くすべてのＮＡＬ単位とが、復号単位の復号単位情報ＳＥＩメッセージによって識別される復号単位に関連すると判定することができる。

[0207]もう１つの例として、予測処理ユニット１８１は、スライスヘッダのスライスが復号単位識別子を含むと判定することができる。予測処理ユニット１８１は、スライスおよびそのスライスヘッダを含むスライスＮＡＬ単位がどの復号単位に関連するのかを、復号識別子に基づいて判定することができる。

[0208]この形で、ＮＡＬ単位が送信で失われる場合であっても、予測処理ユニット１８１は、他の（すなわち、受信された、失われていない）ＮＡＬ単位がどの復号単位に関連するのかを判定できる可能性がある。いくつかの例では、予測処理ユニット１８１は、復号単位内に復号単位ＳＥＩメッセージの複数のコピーがあるものとすることができるので、復号単位がＣＰＢ１９４から除去されなければならない時刻を判定できる可能性がある。

[0209]いくつかの例では、予測処理ユニット１８１とは異なるユニットが、上で説明された例を実施することができる。いくつかの例では、予測処理ユニット１８１は、ビデオ復号器３０の１つまたは複数の他のユニットに関連して、上で説明された例を実施することができる。いくつかの例では、ビデオ復号器３０のプロセッサまたはユニット（図４には図示せず）が、単独でまたはビデオ復号器３０の他のユニットに関連して、上で説明された例を実施することができる。

[0210]図５は、本開示で説明される１つまたは複数の例による、ビデオデータの符号化の例を示す流れ図である。例示のために、図５の例は、ビデオ符号器２０に関して説明される。

[0211]ビデオ符号器２０は、アクセス単位内の各復号単位の一意識別子を判定する（２００）。ある復号単位の識別子は、そのアクセス単位内のすべての他の復号単位の識別子と異なる。たとえば、ビデオ符号器２０は、アクセス単位内の第１の復号単位の第１の識別子を判定し、アクセス単位内の第２の異なる復号単位の第２の異なる識別子を判定する。この例では、第１の識別子の値が第２の識別子の値より小さい場合に、第１の復号単位は、復号順序において第２の復号単位に先行する。

[0212]ビデオ符号器２０は、どのＮＡＬ単位がアクセス単位のどの復号単位に関連するのかを判定する（２０２）。たとえば、復号単位は、それぞれ、ピクチャの部分のビデオデータを表すことができ、ＮＡＬ単位は、復号単位の一部を表すことができる。ビデオ符号器２０は、復号単位のビデオデータのどの部分がどのＮＡＬ単位によって表されるのかを判定し、復号単位のビデオデータを表すＮＡＬ単位がその復号単位に関連すると判定することができる。

[0213]ビデオ符号器２０は、どのＮＡＬ単位がアクセス単位のどの復号単位に関連するのかを示すために、対応する復号単位内の各一意識別子を出力のために生成する（２０４）。たとえば、ビデオ符号器２０は、エントロピ符号化ユニット１５６を介して、復号単位のそれぞれの一意識別子をエントロピ符号化することができる。これらの例では、符号化は、出力のために生成することと考えられ得る。さらに、ビデオ符号器２０は、どのＮＡＬ単位がアクセス単位のどの復号単位に関連するのかをコーディングされたビットストリームの一部として示すために、対応する復号単位内で各一意識別子を出力する（たとえば、シグナリングする）ことができる。

[0214]たとえば、ビデオ符号器２０は、第１の復号単位の第１の一意識別子を第１の復号単位情報ＳＥＩメッセージに含め、第１の復号単位情報ＳＥＩメッセージの一部として第１の一意識別子を出力した後に、第１の復号単位に関連するすべてのＮＡＬ単位を出力することができる。ビデオ符号器２０は、第２の復号単位ＳＥＩメッセージに、第２の復号単位の第２の復号単位識別子を含めることができる。第１の復号単位に関連するすべてのＮＡＬ単位の出力の後に、ビデオ符号器２０は、第２の復号単位の出力の一部として、第２の復号単位ＳＥＩメッセージ内で第２の復号単位識別子を出力することができる。もう１つの例として、ビデオ符号器２０は、スライスＮＡＬ単位のスライスヘッダに一意識別子のそれぞれを含め、出力することができる。

[0215]いくつかの例では、ビデオ符号器２０は、復号単位の一部として、復号単位の除去時間の情報を示す第１の復号単位ＳＥＩメッセージを出力することができる。ビデオ符号器２０は、復号単位の一部として、復号単位の除去時間の情報を示す第２の復号単位ＳＥＩメッセージを出力することもできる。いくつかの場合に、第２の復号単位ＳＥＩメッセージは、第１の復号単位ＳＥＩメッセージのコピーである。いくつかの例では、ビデオ符号器２０は、アクセス単位内にＳＥＩメッセージを含め、そのアクセス単位内にそのＳＥＩメッセージのコピーを含めることができる。ビデオ符号器２０は、ＳＥＩメッセージとそのＳＥＩメッセージのコピーとを含むアクセス単位を出力することができる。

[0216]図６は、本開示で説明される１つまたは複数の例による、ビデオデータの復号の例を示す流れ図である。例示のために、図６の例は、ビデオ復号器３０に関して説明される。

[0217]ビデオ復号器３０は、アクセス単位内の各復号単位の一意識別子を復号することができる（２０６）。この例では、ある復号単位の識別子は、アクセス単位内のすべての他の復号単位の識別子と異なる。たとえば、ビデオ復号器３０は、アクセス単位内の第１の復号単位の第１の識別子を復号し、アクセス単位内の第２の異なる復号単位の第２の異なる識別子を復号することができる。この例では、第１の識別子の値が、第２の識別子の値より小さい場合に、第１の復号単位は、復号順序において第２の復号単位に先行する。

[0218]ビデオ復号器３０は、どのＮＡＬ単位がどの復号単位に関連するのかを、アクセス単位内の各復号単位の一意識別子に基づいて判定することができる（２０８）。たとえば、ビデオ復号器３０は、第１の復号単位の第１の復号単位情報ＳＥＩメッセージから第１の一意識別子を復号し、第２の復号単位の第２の復号単位ＳＥＩメッセージから第２の一意識別子を復号することができる。ビデオ復号器３０は、第１の復号単位情報ＳＥＩメッセージを含む第１のＳＥＩ ＮＡＬ単位と、第１のＳＥＩ ＮＡＬ単位に続き第２の復号単位情報ＳＥＩメッセージを含む第２のＳＥＩ ＮＬＡ単位までのすべてのＮＡＬ単位とが、第１の復号単位に関連すると判定することができる。もう１つの例として、ビデオ復号器３０は、スライスＮＡＬ単位のスライスヘッダ内の一意識別子を復号し、そのスライスＮＡＬ単位がどの復号単位に関連するのかを、スライスヘッダ内の一意識別子に基づいて判定することができる。

[0219]ビデオ復号器３０は、少なくとも１つのピクチャを再構成するために、判定に基づいてＮＡＬ単位を復号することができる（２１０）。たとえば、復号単位のすべてに関連するＮＡＬ単位のすべての復号の結果は、復号されたアクセス単位とすることができる。上で説明されたように、アクセス単位の復号は、少なくとも１つのピクチャ（たとえば、マルチビュービデオコーディングが使用されない時に１つのピクチャ、マルチビュービデオコーディングが使用される時に複数のピクチャ）をもたらす。

[0220]いくつかの例では、ビデオ復号器３０は、復号単位の除去時間の情報を示す第１の復号単位情報ＳＥＩメッセージを復号することができる。ビデオ復号器３０は、復号単位に関連する２つのＮＡＬ単位の間に配置された第２の復号単位情報ＳＥＩメッセージを復号することもできる。この例では、第２の復号単位情報ＳＥＩメッセージは、第１の復号単位情報ＳＥＩメッセージのコピーである。いくつかの例では、ビデオ復号器３０は、アクセス単位内のＳＥＩメッセージを復号し、アクセス単位内のＳＥＩメッセージのコピーを復号することができる。

[0221]図７は、本開示で説明される１つまたは複数の例による、ビデオデータのコーディングの例を示す流れ図である。例示のために、技法は、ビデオコーダに関して説明される。ビデオコーダの例は、ビデオ符号器２０とビデオ復号器３０とを含む。たとえば、ビデオ符号化の時に、ビデオコーダの例は、ビデオ符号器２０である。ビデオ復号の時には、ビデオコーダの例は、ビデオ復号器３０である。

[0222]図７に示されているように、ビデオコーダは、アクセス単位内で付加拡張情報（ＳＥＩ）メッセージをコーディングするように構成される（２１２）。上で説明されるように、アクセス単位は、少なくとも１つのピクチャを再構成するビデオデータを含み、ＳＥＩメッセージは、ビデオデータの特性（たとえば、上で表１および表５で説明されるものなどの特性）を定義する。いくつかの例では、ビデオコーダは、マルチセッション伝送のためにアクセス単位内でＳＥＩメッセージをコーディングすることができる。ビデオコーダは、アクセス単位内でＳＥＩメッセージのコピーをコーディングするように構成される（２１４）。いくつかの例では、ビデオコーダは、マルチセッション伝送のためにアクセス単位内でＳＥＩメッセージのコピーをコーディングすることができる。

[0223]たとえば、ビデオ符号器２０は、アクセス単位内に、復号順序において第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位の前にＳＥＩメッセージを含めることができる。ビデオ符号器２０は、復号順序において最初のＶＣＬ ＮＡＬ単位の後、復号順序において最後のＶＣＬ ＮＡＬ単位の前にＳＥＩメッセージのコピーを含めることができる。この例では、ビデオ符号器２０は、最初のＶＣＬ ＮＡＬ単位の前に含まれるＳＥＩメッセージを符号化し、最初のＶＣＬ ＮＡＬ単位の後、最後のＶＣＬ ＮＡＬ単位の前に含まれるＳＥＩメッセージのコピーを符号化することができる。

[0224]もう一つの例として、ビデオ復号器３０は、アクセス単位内で復号順序において最初のＶＣＬ ＮＡＬ単位を復号し、アクセス単位内で復号順序において最後のＶＣＬ ＮＡＬ単位を復号することができる。この例では、ビデオ復号器３０は、最初のＶＣＬ ＮＡＬ単位を復号する前にＳＥＩメッセージを復号し、最初のＶＣＬ ＮＡＬ単位を復号した後、最後のＶＣＬ ＮＡＬ単位を復号する前に、ＳＥＩメッセージのコピーを復号することができる。

[0225]いくつかの例では、ビデオコーダは、ＳＥＩメッセージのタイプを判定することができる。ビデオコーダは、アクセス単位の時間識別値を判定することもできる。ビデオコーダは、ＳＥＩメッセージの存在が許容されるかどうかを、アクセス単位の時間識別値とＳＥＩメッセージのタイプとに基づいて判定することができる。これらの例では、ビデオコーダは、ＳＥＩメッセージの存在が許容されるかどうかの判定に基づいて、ＳＥＩメッセージをコーディングすることができる。

[0226]１つまたは複数の例では、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、またはその任意の組合せで実施され得る。ソフトウェアで実施される場合に、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体に格納されまたはこれを介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形の媒体に対応するコンピュータ可読記憶媒体、またはたとえば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にするすべての媒体を含む通信媒体を含むことができる。この形で、コンピュータ可読媒体は、一般に、（１）固定である有形のコンピュータ可読記憶媒体または（２）信号波または搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示で説明される技法の実施のために命令、コーディング、および／またはデータ構造を取り出すために１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る任意の使用可能な媒体とすることができる。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。

[0227]さらに他の例では、本開示は、その上に格納されたデータ構造を備えるコンピュータ可読媒体を企図し、このデータ構造は、本開示と一貫してコーディングされる符号化されたビットストリームを含む備える。

[0228]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスク（ｄｉｓｋ）ストレージ、磁気ディスク（ｄｉｓｋ）ストレージ、もしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令もしくはデータ構造の形の所望のプログラムコードを格納するのに使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、任意の接続は、コンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、ウェブサイト、サーバ、または他のリモートソースから、同軸ケーブル、光ファイバケーブル、より対線、ディジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して送信される場合に、同軸ケーブル、光ファイバケーブル、より対線、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかし、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の過渡的媒体を含むのではなく、その代わりに、非過渡的な有形の記憶媒体を対象とすることを理解されたい。ディスク（ｄｉｓｋおよびｄｉｓｃ）は、本明細書で使用される時に、コンパクトディスク（ｄｉｓｃ、ＣＤ）、レーザーディスク（登録商標）（ｄｉｓｃ）、光ディスク（ｄｉｓｃ）、ディジタル多用途ディスク（ｄｉｓｃ、ＤＶＤ）、フロッピディスク（ｄｉｓｋ）、およびＢｌｕ−ｒａｙディスク（ｄｉｓｃ）を含み、ここで、ｄｉｓｋは、通常はデータを磁気的に再生し、ｄｉｓｃは、データをレーザーを用いて光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲に含まれなければならない。

[0229]命令は、１つまたは複数のディジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の同等の集積回路網もしくはディスクリート論理回路網などの１つまたは複数のプロセッサによって実行され得る。したがって、用語「プロセッサ」は、本明細書で使用される時に、前述の構造または本明細書で説明される技法の実施に適する任意の他の構造のいずれをも指すことができる。さらに、いくつかの態様では、本明細書で説明される機能性は、符号化および復号のために構成された専用のハードウェアモジュールおよび／またはソフトウェアモジュール内で提供され、あるいは組み合わされたコーデックに組み込まれ得る。また、この技法は、１つまたは複数の回路または論理要素内で完全に実施され得る。

[0230]本開示の技法は、ワイヤレス送受話器、集積回路（ＩＣ）、またはＩＣのセット（たとえば、チップセット）を含むさまざまなデバイスまたは装置で実施され得る。さまざまなコンポーネント、モジュール、またはユニットは、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために本開示で説明されるが、必ずしも、異なるハードウェアユニットによる実現を必要としない。そうではなく、上で説明されるように、さまざまなユニットは、コーデックハードウェアユニットに組み合わされ、または、適切なソフトウェアおよび／またはファームウェアに関連する、上で説明される１つまたは複数のプロセッサを含む相互動作可能なハードウェアユニットの集合によって提供され得る。

[0231]さまざまな例が説明された。これらおよび他の例は、次の特許請求の範囲の範囲に含まれる。
以下に本願出願当初の特許請求の範囲を付記する。
[Ｃ１] ビデオデータをコーディングする方法であって、
アクセス単位内の付加拡張情報（ＳＥＩ）メッセージをコーディングすることと、ここにおいて、前記アクセス単位は、少なくとも１つのピクチャを再構成するための前記ビデオデータを含み、前記ＳＥＩメッセージは、前記ビデオデータの特性を定義する、
前記アクセス単位内で前記ＳＥＩメッセージのコピーをコーディングすることと
を備える方法。
[Ｃ２] 前記アクセス単位内に、復号順序において最初のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位の前に前記ＳＥＩメッセージを含めることと、
前記アクセス単位内に、復号順序において前記最初のＶＣＬ ＮＡＬ単位の後、復号順序において最後のＶＣＬ ＮＡＬ単位の前に、前記ＳＥＩメッセージのコピーを含めることと
をさらに備え、前記ＳＥＩメッセージをコーディングすることは、前記最初のＶＣＬ ＮＡＬ単位の前に含まれる前記ＳＥＩメッセージを符号化することを備え、
前記ＳＥＩメッセージの前記コピーをコーディングすることは、前記最初のＶＣＬ ＮＡＬ単位の後、前記最後のＶＣＬ ＮＡＬ単位の前に含まれる前記ＳＥＩメッセージの前記コピーを符号化することを備える
Ｃ１に記載の方法。
[Ｃ３] 前記アクセス単位内の、復号順序において最初のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位を復号することと、
前記アクセス単位内の、復号順序において最後のＶＣＬ ＮＡＬ単位を復号することと
をさらに備え、前記ＳＥＩメッセージをコーディングすることは、前記最初のＶＣＬ ＮＡＬ単位を復号する前に前記ＳＥＩメッセージを復号することを備え、
前記ＳＥＩメッセージの前記コピーをコーディングすることは、前記最初のＶＣＬ ＮＡＬ単位を復号した後、前記最後のＶＣＬ ＮＡＬ単位を復号する前に前記ＳＥＩメッセージの前記コピーを復号することを備える
Ｃ１に記載の方法。
[Ｃ４] 前記ＳＥＩメッセージのタイプを判定することと、
前記アクセス単位の時間識別値を判定することと、
前記ＳＥＩメッセージの存在が許容されるかどうかを、前記アクセス単位の前記時間識別値とＳＥＩメッセージの前記タイプとに基づいて判定することと
をさらに備え、前記ＳＥＩメッセージをコーディングすることは、前記ＳＥＩメッセージの前記存在が許容されるかどうかの前記判定に基づいて前記ＳＥＩメッセージをコーディングすることを備える
Ｃ１に記載の方法。
[Ｃ５] 前記ＳＥＩメッセージは、
バッファリング期間ＳＥＩメッセージと、
ピクチャタイミングＳＥＩメッセージと、
パンスキャン長方形ＳＥＩメッセージと、
フィラペイロードＳＥＩメッセージと、
登録済みユーザデータＳＥＩメッセージと、
未登録ユーザデータＳＥＩメッセージと、
回復点ＳＥＩメッセージと、
シーン情報ＳＥＩメッセージと、
フルフレームスナップショットＳＥＩメッセージと、
プログレッシブリファインメントセグメント開始ＳＥＩメッセージと、
プログレッシブリファインメントセグメント終了ＳＥＩメッセージと、
フィルム粒子特性ＳＥＩメッセージと、
デブロッキングフィルタ表示プリファレンスＳＥＩメッセージと、
ポストフィルタヒントＳＥＩメッセージと、
トーンマッピング情報ＳＥＩメッセージと、
フレームパッキング配置ＳＥＩメッセージと、
表示方位ＳＥＩメッセージと、
ピクチャの構造記述ＳＥＩメッセージと、
フィールド表示ＳＥＩメッセージと、
復号されたピクチャハッシュＳＥＩメッセージと、
アクティブパラメータセットＳＥＩメッセージと、
サブピクチャタイミングＳＥＩメッセージと
のうちの１つを備える、Ｃ１に記載の方法。
[Ｃ６] 前記ＳＥＩメッセージをコーディングすることは、マルチセッション伝送のために前記アクセス単位内で前記ＳＥＩメッセージをコーディングすることを備え、前記ＳＥＩメッセージの前記コピーをコーディングすることは、前記マルチセッション伝送のために前記アクセス単位内で前記ＳＥＩメッセージの前記コピーをコーディングすることを備える、Ｃ１に記載の方法。
[Ｃ７] ビデオデータをコーディングするデバイスであって、前記デバイスは、
アクセス単位内の付加拡張情報（ＳＥＩ）メッセージをコーディングし、前記アクセス単位は、少なくとも１つのピクチャを再構成するための前記ビデオデータを含み、前記ＳＥＩメッセージは、前記ビデオデータの特性を定義し、
前記アクセス単位内で前記ＳＥＩメッセージのコピーをコーディングする
ように構成されたビデオコーダを備える、デバイス。
[Ｃ８] 前記ビデオコーダは、ビデオ符号器を備え、前記ビデオ符号器は、
前記アクセス単位内に、復号順序において最初のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位の前に前記ＳＥＩメッセージを含め、
前記アクセス単位内に、復号順序において前記最初のＶＣＬ ＮＡＬ単位の後、復号順序において最後のＶＣＬ ＮＡＬ単位の前に、前記ＳＥＩメッセージの前記コピーを含め、
前記最初のＶＣＬ ＮＡＬ単位の前に含まれる前記ＳＥＩメッセージを符号化し、
前記最初のＶＣＬ ＮＡＬ単位の後、前記最後のＶＣＬ ＮＡＬ単位の前に含まれる前記ＳＥＩメッセージの前記コピーを符号化する
ように構成される、Ｃ７に記載のデバイス。
[Ｃ９] 前記ビデオコーダは、ビデオ復号器を備え、前記ビデオ復号器は、
前記アクセス単位内の、復号順序において最初のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位を復号し、
前記アクセス単位内の、復号順序において最後のＶＣＬ ＮＡＬ単位を復号し、
前記最初のＶＣＬ ＮＡＬ単位を復号する前に前記ＳＥＩメッセージを復号し、
前記最初のＶＣＬ ＮＡＬ単位を復号した後、前記最後のＶＣＬ ＮＡＬ単位を復号する前に前記ＳＥＩメッセージの前記コピーを符号化する
ように構成される、Ｃ７に記載のデバイス。
[Ｃ１０] 前記ビデオコーダは、
前記ＳＥＩメッセージのタイプを判定し、
前記アクセス単位の時間識別値を判定し、
前記ＳＥＩメッセージの存在が許容されるかどうかを、前記アクセス単位の前記時間識別値とＳＥＩメッセージの前記タイプとに基づいて判定する
ように構成され、前記ビデオコーダは、前記ＳＥＩメッセージの前記存在が許容されるかどうかの前記判定に基づいて前記ＳＥＩメッセージをコーディングするように構成される
Ｃ７に記載のデバイス。
[Ｃ１１] 前記ＳＥＩメッセージは、
バッファリング期間ＳＥＩメッセージと、
ピクチャタイミングＳＥＩメッセージと、
パンスキャン長方形ＳＥＩメッセージと、
フィラペイロードＳＥＩメッセージと、
登録済みユーザデータＳＥＩメッセージと、
未登録ユーザデータＳＥＩメッセージと、
回復点ＳＥＩメッセージと、
シーン情報ＳＥＩメッセージと、
フルフレームスナップショットＳＥＩメッセージと、
プログレッシブリファインメントセグメント開始ＳＥＩメッセージと、
プログレッシブリファインメントセグメント終了ＳＥＩメッセージと、
フィルム粒子特性ＳＥＩメッセージと、
デブロッキングフィルタ表示プリファレンスＳＥＩメッセージと、
ポストフィルタヒントＳＥＩメッセージと、
トーンマッピング情報ＳＥＩメッセージと、
フレームパッキング配置ＳＥＩメッセージと、
表示方位ＳＥＩメッセージと、
ピクチャの構造記述ＳＥＩメッセージと、
フィールド表示ＳＥＩメッセージと、
復号されたピクチャハッシュＳＥＩメッセージと、
アクティブパラメータセットＳＥＩメッセージと、
サブピクチャタイミングＳＥＩメッセージと
のうちの１つを備える、Ｃ７に記載のデバイス。
[Ｃ１２] 前記ビデオコーダは、マルチセッション伝送のために前記アクセス単位内で前記ＳＥＩメッセージをコーディングするように構成され、前記ビデオコーダは、前記マルチセッション伝送のために前記アクセス単位内で前記ＳＥＩメッセージの前記コピーをコーディングするように構成される、Ｃ７に記載のデバイス。
[Ｃ１３] 前記デバイスは、
マイクロプロセッサと、
集積回路と、
前記ビデオコーダを含むワイヤレス通信デバイスと
のうちの１つを備える、Ｃ７に記載のデバイス。
[Ｃ１４] ビデオデータをコーディングするデバイスの１つまたは複数のプロセッサによって実行された時に、前記１つまたは複数のプロセッサに、
アクセス単位内の付加拡張情報（ＳＥＩ）メッセージをコーディングさせ、前記アクセス単位は、少なくとも１つのピクチャを再構成するための前記ビデオデータを含み、前記ＳＥＩメッセージは、前記ビデオデータの特性を定義し、
前記アクセス単位内で前記ＳＥＩメッセージのコピーをコーディングさせる
その上に格納された命令を有するコンピュータ可読記憶媒体。
[Ｃ１５] 前記１つまたは複数のプロセッサに、
前記ＳＥＩメッセージのタイプを判定させ、
前記アクセス単位の時間識別値を判定させ、
前記ＳＥＩメッセージの存在が許容されるかどうかを、前記アクセス単位の前記時間識別値とＳＥＩメッセージの前記タイプとに基づいて判定させる
命令をさらに備え、前記１つまたは複数のプロセッサに前記ＳＥＩメッセージをコーディングさせる前記命令は、前記１つまたは複数のプロセッサに、前記ＳＥＩメッセージの前記存在が許容されるかどうかの前記判定に基づいて前記ＳＥＩメッセージをコーディングさせる命令を備える
Ｃ１４に記載のコンピュータ可読記憶媒体。
[Ｃ１６] 前記ＳＥＩメッセージは、
バッファリング期間ＳＥＩメッセージと、
ピクチャタイミングＳＥＩメッセージと、
パンスキャン長方形ＳＥＩメッセージと、
フィラペイロードＳＥＩメッセージと、
登録済みユーザデータＳＥＩメッセージと、
未登録ユーザデータＳＥＩメッセージと、
回復点ＳＥＩメッセージと、
シーン情報ＳＥＩメッセージと、
フルフレームスナップショットＳＥＩメッセージと、
プログレッシブリファインメントセグメント開始ＳＥＩメッセージと、
プログレッシブリファインメントセグメント終了ＳＥＩメッセージと、
フィルム粒子特性ＳＥＩメッセージと、
デブロッキングフィルタ表示プリファレンスＳＥＩメッセージと、
ポストフィルタヒントＳＥＩメッセージと、
トーンマッピング情報ＳＥＩメッセージと、
フレームパッキング配置ＳＥＩメッセージと、
表示方位ＳＥＩメッセージと、
ピクチャの構造記述ＳＥＩメッセージと、
フィールド表示ＳＥＩメッセージと、
復号されたピクチャハッシュＳＥＩメッセージと、
アクティブパラメータセットＳＥＩメッセージと、
サブピクチャタイミングＳＥＩメッセージと
のうちの１つを備える、Ｃ１４に記載のコンピュータ可読記憶媒体。
[Ｃ１７] 前記１つまたは複数のプロセッサに前記ＳＥＩメッセージをコーディングさせる前記命令は、前記１つまたは複数のプロセッサに、マルチセッション伝送のために前記アクセス単位内で前記ＳＥＩメッセージをコーディングさせる命令を備え、前記１つまたは複数のプロセッサに前記ＳＥＩメッセージの前記コピーをコーディングさせる前記命令は、前記１つまたは複数のプロセッサに、前記マルチセッション伝送のために前記アクセス単位内で前記ＳＥＩメッセージの前記コピーをコーディングさせる命令を備える、Ｃ１４に記載のコンピュータ可読記憶媒体。
[Ｃ１８] ビデオデータをコーディングするデバイスであって、
アクセス単位内の付加拡張情報（ＳＥＩ）メッセージをコーディングするための手段と、ここにおいて、前記アクセス単位は、少なくとも１つのピクチャを再構成するための前記ビデオデータを含み、前記ＳＥＩメッセージは、前記ビデオデータの特性を定義する、
前記アクセス単位内で前記ＳＥＩメッセージのコピーをコーディングするための手段と
を備えるデバイス。
[Ｃ１９] 前記アクセス単位内に、復号順序において最初のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位の前に前記ＳＥＩメッセージを含めるための手段と、
前記アクセス単位内に、復号順序において前記最初のＶＣＬ ＮＡＬ単位の後、復号順序において最後のＶＣＬ ＮＡＬ単位の前に、前記ＳＥＩメッセージの前記コピーを含めるための手段と
をさらに備え、前記ＳＥＩメッセージをコーディングするための前記手段は、前記最初のＶＣＬ ＮＡＬ単位の前に含まれる前記ＳＥＩメッセージを符号化するための手段を備え、
前記ＳＥＩメッセージの前記コピーをコーディングするための前記手段は、前記最初のＶＣＬ ＮＡＬ単位の後、前記最後のＶＣＬ ＮＡＬ単位の前に含まれる前記ＳＥＩメッセージの前記コピーを符号化するための手段を備える
Ｃ１８に記載のデバイス。
[Ｃ２０] 前記アクセス単位内の、復号順序において最初のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位を復号するための手段と、
前記アクセス単位内の、復号順序において最後のＶＣＬ ＮＡＬ単位を復号するための手段と
をさらに備え、前記ＳＥＩメッセージをコーディングするための前記手段は、前記最初のＶＣＬ ＮＡＬ単位を復号する前に前記ＳＥＩメッセージを復号するための手段を備え、
前記ＳＥＩメッセージの前記コピーをコーディングするための前記手段は、前記最初のＶＣＬ ＮＡＬ単位を復号した後、前記最後のＶＣＬ ＮＡＬ単位を復号する前に前記ＳＥＩメッセージの前記コピーを符号化するための手段を備える
Ｃ１８に記載のデバイス。

Claims (20)

1. ビデオデータを復号する方法であって、
   ビットストリームから、アクセス単位内の復号順序において最初のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位を復号することと、ここにおいて、前記アクセス単位は、少なくとも１つのピクチャを再構成するための前記ビデオデータを含む、
   前記ビットストリームから、前記アクセス単位内の復号順序において第２のＶＣＬ ＮＡＬ単位を復号することと、
   前記ビットストリームから前記最初のＶＣＬ ＮＡＬ単位を復号する前に、前記ビットストリームから、前記アクセス単位内の特定のタイプの付加拡張情報（ＳＥＩ）メッセージを復号することと、ここにおいて、ＳＥＩメッセージは、前記ビデオデータの処理に関連する情報を含む、
   前記ビットストリームから前記最初のＶＣＬ ＮＡＬ単位を復号した後であり且つ前記ビットストリームから前記第２のＶＣＬ ＮＡＬ単位を復号する前に、前記ビットストリームから、前記アクセス単位内の前記特定のタイプの前記ＳＥＩメッセージのコピーを復号することと、ここにおいて、前記ビットストリームにおける前記特定のタイプの前記ＳＥＩメッセージの前記コピーの内容は、前記特定のタイプの前記復号されたＳＥＩメッセージの内容と同一になるように制限される、
   を備える方法。
2. 前記特定のタイプの前記ＳＥＩメッセージを判定することと、
   前記アクセス単位の時間識別値を判定することと、
   前記ＳＥＩメッセージの存在が許容されるかどうかを、前記アクセス単位の前記時間識別値と前記特定のタイプの前記ＳＥＩメッセージとに基づいて判定することと
   をさらに備え、前記ＳＥＩメッセージを復号することは、前記ＳＥＩメッセージの前記存在が許容されるかどうかの前記判定に基づいて前記ＳＥＩメッセージを復号すること
   を備える、請求項１に記載の方法。
3. 前記特定のタイプの前記ＳＥＩメッセージは、
   バッファリング期間ＳＥＩメッセージ、
   ピクチャタイミングＳＥＩメッセージ、
   パンスキャン長方形ＳＥＩメッセージ、
   フィラペイロードＳＥＩメッセージ、
   登録済みユーザデータＳＥＩメッセージ、
   未登録ユーザデータＳＥＩメッセージ、
   回復点ＳＥＩメッセージ、
   シーン情報ＳＥＩメッセージ、
   フルフレームスナップショットＳＥＩメッセージ、
   プログレッシブリファインメントセグメント開始ＳＥＩメッセージ、
   プログレッシブリファインメントセグメント終了ＳＥＩメッセージ、
   フィルム粒子特性ＳＥＩメッセージ、
   デブロッキングフィルタ表示プリファレンスＳＥＩメッセージ、
   ポストフィルタヒントＳＥＩメッセージ、
   トーンマッピング情報ＳＥＩメッセージ、
   フレームパッキング配置ＳＥＩメッセージ、
   表示方位ＳＥＩメッセージ、
   ピクチャの構造記述ＳＥＩメッセージ、
   フィールド表示ＳＥＩメッセージ、
   復号されたピクチャハッシュＳＥＩメッセージ、
   アクティブパラメータセットＳＥＩメッセージ、または、
   サブピクチャタイミングＳＥＩメッセージ
   のうちの１つを備える、請求項１に記載の方法。
4. 前記ＳＥＩメッセージを復号することは、マルチセッション伝送のために前記アクセス単位内の前記ＳＥＩメッセージを復号することを備え、前記ＳＥＩメッセージの前記コピーを復号することは、前記マルチセッション伝送のために前記アクセス単位内の前記ＳＥＩメッセージの前記コピーを復号することを備える、請求項１に記載の方法。
5. ビデオデータを復号するデバイスであって、
   前記ビデオデータを格納するように構成されたメモリユニットと、
   ビットストリームから、アクセス単位内の復号順序において最初のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位を復号し、ここにおいて、前記アクセス単位は、少なくとも１つのピクチャを再構成するための前記ビデオデータを含む、
   前記ビットストリームから、前記アクセス単位内の復号順序において第２のＶＣＬ ＮＡＬ単位を復号し、
   前記ビットストリームから前記最初のＶＣＬ ＮＡＬ単位を復号する前に、前記ビットストリームから、前記アクセス単位内の特定のタイプの付加拡張情報（ＳＥＩ）メッセージを復号し、ここにおいて、ＳＥＩメッセージは、前記ビデオデータの処理に関連する情報を含む、
   前記ビットストリームから前記最初のＶＣＬ ＮＡＬ単位を復号した後であり且つ前記ビットストリームから前記第２のＶＣＬ ＮＡＬ単位を復号する前に、前記ビットストリームから、前記アクセス単位内の前記特定のタイプの前記ＳＥＩメッセージのコピーを復号する、ここにおいて、前記ビットストリームにおける前記特定のタイプの前記ＳＥＩメッセージの前記コピーの内容は、前記特定のタイプの前記復号されたＳＥＩメッセージの内容と同一になるように制限される、
   ように構成されたビデオ復号器と
   を備える、デバイス。
6. 前記ビデオ復号器は、
   前記特定のタイプの前記ＳＥＩメッセージを判定し、
   前記アクセス単位の時間識別値を判定し、
   前記ＳＥＩメッセージの存在が許容されるかどうかを、前記アクセス単位の前記時間識別値と前記特定のタイプの前記ＳＥＩメッセージとに基づいて判定する
   ように構成され、前記ビデオ復号器は、前記ＳＥＩメッセージの前記存在が許容されるかどうかの前記判定に基づいて前記ＳＥＩメッセージを復号するように構成される
   請求項５に記載のデバイス。
7. 前記特定のタイプのＳＥＩメッセージは、
   バッファリング期間ＳＥＩメッセージ、
   ピクチャタイミングＳＥＩメッセージ、
   パンスキャン長方形ＳＥＩメッセージ、
   フィラペイロードＳＥＩメッセージ、
   登録済みユーザデータＳＥＩメッセージ、
   未登録ユーザデータＳＥＩメッセージ、
   回復点ＳＥＩメッセージ、
   シーン情報ＳＥＩメッセージ、
   フルフレームスナップショットＳＥＩメッセージ、
   プログレッシブリファインメントセグメント開始ＳＥＩメッセージ、
   プログレッシブリファインメントセグメント終了ＳＥＩメッセージ、
   フィルム粒子特性ＳＥＩメッセージ、
   デブロッキングフィルタ表示プリファレンスＳＥＩメッセージ、
   ポストフィルタヒントＳＥＩメッセージ、
   トーンマッピング情報ＳＥＩメッセージ、
   フレームパッキング配置ＳＥＩメッセージ、
   表示方位ＳＥＩメッセージ、
   ピクチャの構造記述ＳＥＩメッセージ、
   フィールド表示ＳＥＩメッセージ、
   復号されたピクチャハッシュＳＥＩメッセージ、
   アクティブパラメータセットＳＥＩメッセージ、または、
   サブピクチャタイミングＳＥＩメッセージ
   のうちの１つを備える、請求項５に記載のデバイス。
8. 前記ビデオ復号器は、マルチセッション伝送のために前記アクセス単位内の前記ＳＥＩメッセージを復号するように構成され、前記ビデオ復号器は、前記マルチセッション伝送のために前記アクセス単位内の前記ＳＥＩメッセージの前記コピーを復号するように構成される、請求項５に記載のデバイス。
9. 前記デバイスは、
   マイクロプロセッサ、集積回路、ディジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ワイヤレス通信デバイス、フォン、テレビジョン、カメラ、ディスプレイデバイス、ディジタルメディアプレイヤ、ビデオゲーム機、ビデオゲーミングデバイス、または、ビデオストリーミングデバイス、
   のうちの少なくとも１つを備える、請求項５に記載のデバイス。
10. 前記少なくとも１つのピクチャを表示するように構成されたディスプレイをさらに備える、請求項５に記載のデバイス。
11. 受信器をさらに備え、ここにおいて、前記受信器は、有線通信またはワイヤレス通信を介して、前記ビデオデータを受信するように構成される、請求項５に記載のデバイス。
12. ビデオデータを復号するデバイスの１つまたは複数のプロセッサによって実行された時に、前記１つまたは複数のプロセッサに、
    ビットストリームから、アクセス単位内の復号順序において最初のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位を復号することと、ここにおいて、前記アクセス単位は、少なくとも１つのピクチャを再構成するための前記ビデオデータを含む、
    前記ビットストリームから、前記アクセス単位内の復号順序において第２のＶＣＬ ＮＡＬ単位を復号することと、
    前記ビットストリームから前記最初のＶＣＬ ＮＡＬ単位を復号する前に、前記ビットストリームから、前記アクセス単位内の特定のタイプの付加拡張情報（ＳＥＩ）メッセージを復号することと、ここにおいて、ＳＥＩメッセージは、前記ビデオデータの処理に関連する情報を含む、
    前記ビットストリームから前記最初のＶＣＬ ＮＡＬ単位を復号した後であり且つ前記ビットストリームから前記第２のＶＣＬ ＮＡＬ単位を復号する前に、前記ビットストリームから、前記アクセス単位内の前記特定のタイプの前記ＳＥＩメッセージのコピーを復号することと、ここにおいて、前記ビットストリームにおける前記特定のタイプの前記ＳＥＩメッセージの前記コピーの内容は、前記特定のタイプの前記復号されたＳＥＩメッセージの内容と同一になるように制限される、
    を行わせる、その上に格納されたコンピュータ実行可能命令を有する非一時的コンピュータ可読記憶媒体。
13. 前記１つまたは複数のプロセッサに、
    前記特定のタイプの前記ＳＥＩメッセージを判定させ、
    前記アクセス単位の時間識別値を判定させ、
    前記ＳＥＩメッセージの存在が許容されるかどうかを、前記アクセス単位の前記時間識別値と前記ＳＥＩメッセージの前記タイプとに基づいて判定させる
    命令をさらに備え、前記１つまたは複数のプロセッサに前記ＳＥＩメッセージを復号させる前記命令は、前記１つまたは複数のプロセッサに、前記ＳＥＩメッセージの前記存在が許容されるかどうかの前記判定に基づいて前記ＳＥＩメッセージを復号させる命令を備える
    請求項１２に記載の非一時的コンピュータ可読記憶媒体。
14. 前記特定のタイプのＳＥＩメッセージは、
    バッファリング期間ＳＥＩメッセージ、
    ピクチャタイミングＳＥＩメッセージ、
    パンスキャン長方形ＳＥＩメッセージ、
    フィラペイロードＳＥＩメッセージ、
    登録済みユーザデータＳＥＩメッセージ、
    未登録ユーザデータＳＥＩメッセージ、
    回復点ＳＥＩメッセージ、
    シーン情報ＳＥＩメッセージ、
    フルフレームスナップショットＳＥＩメッセージ、
    プログレッシブリファインメントセグメント開始ＳＥＩメッセージ、
    プログレッシブリファインメントセグメント終了ＳＥＩメッセージ、
    フィルム粒子特性ＳＥＩメッセージ、
    デブロッキングフィルタ表示プリファレンスＳＥＩメッセージ、
    ポストフィルタヒントＳＥＩメッセージ、
    トーンマッピング情報ＳＥＩメッセージ、
    フレームパッキング配置ＳＥＩメッセージ、
    表示方位ＳＥＩメッセージ、
    ピクチャの構造記述ＳＥＩメッセージ、
    フィールド表示ＳＥＩメッセージ、
    復号されたピクチャハッシュＳＥＩメッセージ、
    アクティブパラメータセットＳＥＩメッセージ、または、
    サブピクチャタイミングＳＥＩメッセージ
    のうちの１つを備える、請求項１２に記載の非一時的コンピュータ可読記憶媒体。
15. 前記１つまたは複数のプロセッサに前記ＳＥＩメッセージを復号させる前記命令は、前記１つまたは複数のプロセッサに、マルチセッション伝送のために前記アクセス単位内の前記ＳＥＩメッセージを復号させる命令を備え、前記１つまたは複数のプロセッサに前記ＳＥＩメッセージの前記コピーを復号させる前記命令は、前記１つまたは複数のプロセッサに、前記マルチセッション伝送のために前記アクセス単位内の前記ＳＥＩメッセージの前記コピーを復号させる命令を備える、請求項１２に記載の非一時的コンピュータ可読記憶媒体。
16. ビデオデータを復号するデバイスであって、
    ビットストリームから、アクセス単位内の復号順序において最初のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位を復号するための手段と、ここにおいて、前記アクセス単位は、少なくとも１つのピクチャを再構成するための前記ビデオデータを含む、
    前記ビットストリームから、前記アクセス単位内の復号順序において第２のＶＣＬ ＮＡＬ単位を復号するための手段と、
    前記ビットストリームから前記最初のＶＣＬ ＮＡＬ単位を復号する前に、前記ビットストリームから、前記アクセス単位内の特定のタイプの付加拡張情報（ＳＥＩ）メッセージを復号するための手段と、ここにおいて、ＳＥＩメッセージは、前記ビデオデータの処理に関連する情報を含む、
    前記ビットストリームから前記最初のＶＣＬ ＮＡＬ単位を復号した後であり且つ前記ビットストリームから前記第２のＶＣＬ ＮＡＬ単位を復号する前に、前記ビットストリームから、前記アクセス単位内の前記特定のタイプの前記ＳＥＩメッセージのコピーを復号するための手段と、ここにおいて、前記ビットストリームにおける前記特定のタイプの前記ＳＥＩメッセージの前記コピーの内容は、前記特定のタイプの前記復号されたＳＥＩメッセージの内容と同一になるように制限される、
    を備えるデバイス。
17. ビデオデータを符号化する方法であって、
    アクセス単位内で、特定のタイプの付加拡張情報（ＳＥＩ）メッセージを符号化することと、ここにおいて、前記アクセス単位は、少なくとも１つのピクチャを再構成するための前記ビデオデータを含み、ＳＥＩメッセージは、前記ビデオデータの処理に関連する情報を含む、
    前記アクセス単位内の復号順序において最初のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位の前に前記特定のタイプの前記ＳＥＩメッセージを含めることと、
    前記アクセス単位内の前記特定のタイプの前記ＳＥＩメッセージの複数のインスタンスの内容に関する制限に基づいて、前記アクセス単位内の前記特定のタイプの前記ＳＥＩメッセージのコピーを符号化することと、前記制限は、前記特定のタイプの前記ＳＥＩメッセージの前記符号化されたコピーの内容が、前記特定のタイプの前記符号化されたＳＥＩメッセージの内容と同一になることである、
    前記アクセス単位内の復号順序において前記最初のＶＣＬ ＮＡＬ単位の後であり且つ復号順序において第２のＶＣＬ ＮＡＬ単位の前に、前記ＳＥＩメッセージの前記コピーを含めることと、
    を備える方法。
18. ビデオデータを符号化するデバイスであって、
    前記ビデオデータを格納するように構成されたメモリユニットと、
    アクセス単位内で、特定のタイプの付加拡張情報（ＳＥＩ）メッセージを符号化し、ここにおいて、前記アクセス単位は、少なくとも１つのピクチャを再構成するための前記ビデオデータを含み、ＳＥＩメッセージは、前記ビデオデータの処理に関連する情報を含む、
    前記アクセス単位内の復号順序において最初のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位の前に前記特定のタイプの前記ＳＥＩメッセージを含め、
    前記アクセス単位内の前記特定のタイプの前記ＳＥＩメッセージの複数のインスタンスの内容に関する制限に基づいて、前記アクセス単位内の前記特定のタイプの前記ＳＥＩメッセージのコピーを符号化し、前記制限は、前記特定のタイプの前記ＳＥＩメッセージの前記符号化されたコピーの内容が、前記特定のタイプの前記符号化されたＳＥＩメッセージの内容と同一になることである、
    前記アクセス単位内の復号順序において前記最初のＶＣＬ ＮＡＬ単位の後であり且つ復号順序において第２のＶＣＬ ＮＡＬ単位の前に、前記ＳＥＩメッセージの前記コピーを含める、
    ように構成されたビデオ符号器と
    を備えるデバイス。
19. 前記デバイスは、
    マイクロプロセッサ、集積回路、ディジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ワイヤレス通信デバイス、フォン、テレビジョン、カメラ、ディスプレイデバイス、ディジタルメディアプレイヤ、ビデオゲーム機、ビデオゲーミングデバイス、または、ビデオストリーミングデバイス、
    のうちの少なくとも１つを備える、請求項１８に記載のデバイス。
20. 前記少なくとも１つのピクチャを取り込むように構成されたカメラをさらに備える、請求項１８に記載のデバイス。

Images