Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7533609B2 - ビデオデータの符号化および復号 - Google Patents
[go: Go Back, main page]

JP7533609B2 - ビデオデータの符号化および復号 - Google Patents

ビデオデータの符号化および復号 Download PDF

Info

Publication number
JP7533609B2
JP7533609B2 JP2022558060A JP2022558060A JP7533609B2 JP 7533609 B2 JP7533609 B2 JP 7533609B2 JP 2022558060 A JP2022558060 A JP 2022558060A JP 2022558060 A JP2022558060 A JP 2022558060A JP 7533609 B2 JP7533609 B2 JP 7533609B2
Authority
JP
Japan
Prior art keywords
video data
encoding
numerical
data stream
input video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022558060A
Other languages
English (en)
Other versions
JP2023519850A (ja
Inventor
ステファン マーク キーティング
カール ジェームス シャーマン
エイドリアン リチャード ブラウン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2023519850A publication Critical patent/JP2023519850A/ja
Application granted granted Critical
Publication of JP7533609B2 publication Critical patent/JP7533609B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本開示は、ビデオデータの符号化および復号に関する。
本明細書において提供される「背景技術」の説明は、本開示の文脈を一般的に提示するためのものである。本発明者らの研究は、この背景技術の項に記載されている限りにおいて、そうでなければ出願時に先行技術としてみなすことができない説明の態様と同様に、本発明に対する先行技術として明示的にも暗示的にも認められない。
ビデオデータを周波数領域表現に変換し、周波数領域係数を量子化し、次いで、量子化された係数に何らかの形式のエントロピー符号化を適用することを含む、ビデオ/画像データ符号化および復号システムなど、いくつかのシステムがある。これにより、ビデオデータを圧縮することができる。元のビデオデータを再構成したものを復元するために、対応する復号または解凍技術が適用される。
"Versatile Video Coding (Draft 8)", JVET-G2001-vE, B. Brass, J. Chen, S. Liu and Y-K. Wang
本開示は、この処理から生じる課題に対処または軽減する。
本開示のそれぞれの態様および特徴は、添付の特許請求の範囲において定義される。
前述の一般的な説明および以下の詳細な説明の両方が、本技術の例示であるが、本技術を限定するものではないことを理解されたい。
本開示のより完全な理解およびその付随する利点の多くは、添付の図面に関連して考慮されるとき、以下の詳細な説明を参照することによってより良く理解されるにつれて容易に得られるであろう。
図1は、ビデオデータ圧縮および解凍を用いたオーディオ/ビデオ(A/V)データ送受信システムを概略的に示す。 図2は、ビデオデータ解凍を用いる映像表示システムを概略的に示す。 図3は、ビデオデータ圧縮および解凍を用いるオーディオ/ビデオ記憶システムを概略的に示す。 図4は、ビデオデータ圧縮を用いるビデオカメラを概略的に示す。 図5は、記憶媒体を概略的に示す。 図6は、記憶媒体を概略的に示す。 図7は、ビデオデータ圧縮および解凍装置の概要を示す概略図である。 図8は、予測器を概略的に示す。 図9は、符号化レベルのセットを概略的に示す。 図10は、符号化レベルのセットを概略的に示す。 図11は、パラメータセットの使用を概略的に示す。 図12は、復号装置の態様を概略的に示す。 図13は、方法を例示する概略フローチャートである。 図14は、符号化装置の態様を概略的に示す。 図15は、方法を示す概略フローチャートである。
ここで図面を参照すると、図1から図4は、本技術の諸実施形態に関連して以下に説明される圧縮および/または解凍装置を利用する装置またはシステムの概略図を与えるために提供される。
以下に説明するデータ圧縮および/または解凍装置の全ては、ハードウェアで、汎用コンピュータのような汎用データ処理装置上で実行されるソフトウェアで、特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)のようなプログラム可能なハードウェアとして、またはこれらの組み合わせとして実装されてもよい。実施形態がソフトウェアおよび/またはファームウェアによって実施される場合、そのようなソフトウェアおよび/またはファームウェア、ならびにそのようなソフトウェアおよび/またはファームウェアが記憶されるか、そうでなければ提供される非一時的データ記憶媒体は、本技術の諸実施形態とみなされることが理解されよう。
図1は、ビデオデータ圧縮および解凍を用いたオーディオ/ビデオデータ送受信システムを概略的に示す。この例では、符号化または復号されるデータ値は、画像データを表す。
入力オーディオ/ビデオ信号10は、ビデオデータ圧縮装置20に供給され、このビデオデータ圧縮装置20は、ケーブル、光ファイバ、無線リンクなどの送信経路30に沿って送信するために、少なくともオーディオ/ビデオ信号10のビデオ成分を圧縮する。圧縮された信号は、解凍装置40によって処理されて、出力オーディオ/ビデオ信号50を提供する。戻り経路の場合、圧縮装置60は、送信経路30に沿って解凍装置70に送信するためにオーディオ/ビデオ信号を圧縮する。
したがって、圧縮装置20および解凍装置70は、送信リンクの1つのノードを形成することができる。解凍装置40および圧縮装置60は、送信リンクの他のノードを形成することができる。もちろん、送信リンクが単方向である場合、これらのノードのうち一方のノードのみが圧縮装置を必要とし、他方のノードは解凍装置を必要とするだけである。
図2は、ビデオデータ解凍を用いる映像表示システムを概略的に示す。特に、圧縮オーディオ/ビデオ信号100は、解凍装置110によって処理されて、ディスプレイ120上に表示することができる解凍された信号を提供する。解凍装置110は、たとえば、表示デバイスと同じ筐体内に設けられる、ディスプレイ120の一体部分として実装することができる。あるいは、解凍装置110は、(たとえば)いわゆるセットトップボックス(STB)として提供されてもよい。なお、「セットトップ」という表現は、ディスプレイ120に対して任意の特定の向きまたは位置にボックスが配置されるという要件を暗示せず、単に、周辺デバイスとしてディスプレイに接続可能なデバイスを示すために当技術分野で使用される用語である。
図3は、ビデオデータ圧縮および解凍を用いるオーディオ/ビデオ記憶システムを概略的に示す。入力オーディオ/ビデオ信号130は、圧縮装置140に供給され、圧縮装置140は、磁気ディスク装置、光ディスク装置、磁気テープ装置、半導体メモリなどの固体記憶装置、またはその他の記憶装置などの記憶装置150が記憶するための圧縮信号を生成する。再生のために、圧縮されたデータが記憶装置150から読み出され、解凍のために解凍装置160に渡され、出力オーディオ/ビデオ信号170を提供する。
圧縮または符号化された信号、およびその信号を記憶するコンピュータ読み取り可能な非一時的記憶媒体などの記憶媒体は、本技術の諸実施形態とみなされることが理解されよう。
図4は、ビデオデータ圧縮を用いるビデオカメラを概略的に示す。図4において、電荷結合素子(CCD)イメージセンサならびに関連する制御および読み出し電子機器などの撮像装置180は、圧縮装置190に渡されるビデオ信号を生成する。マイク(または複数のマイク)200は、圧縮装置190に渡されるオーディオ信号を生成する。圧縮装置190は、(概略段220として一般的に示される)記憶および/または送信される圧縮オーディオ/ビデオ信号210を生成する。
以下で説明する技術は、主にビデオデータ圧縮および解凍に関する。説明するビデオデータ圧縮技術と併せて、オーディオデータ圧縮のために多くの既存技術を使用して、圧縮オーディオ/ビデオ信号を生成してもよいことが理解されよう。したがって、オーディオデータ圧縮について別の説明は行わない。ビデオデータ、特に、放送品質ビデオデータに関連するデータレートは、一般に、(圧縮されているか圧縮されていないかにかかわらず)オーディオデータに関連するデータレートよりも非常に高いことも理解されよう。したがって、圧縮されていないオーディオデータは、圧縮されたビデオデータを伴って、圧縮オーディオ/ビデオ信号を形成し得ることが理解されよう。本実施例(図1から図4に示す)は、オーディオ/ビデオデータに関連するが、以下で説明する技術は、ビデオデータを単に処理する(すなわち、圧縮する、解凍する、記憶する、表示する、および/または送信する)システムにおいて用途があることがさらに理解されよう。すなわち、諸実施形態は、関連するオーディオデータを全く処理することなく、ビデオデータ圧縮に適用することができる。
したがって、図4は、以下で説明するタイプのイメージセンサおよび符号化装置を備えるビデオキャプチャ装置の例を提供する。したがって、図2は、後述するタイプの復号装置および復号画像が出力されるディスプレイの例を提供する。
図2および図4の組み合わせにより、イメージセンサ180と、符号化装置190と、復号装置110と、復号画像が出力されるディスプレイ120とを備えるビデオキャプチャ装置を提供することができる。
図5および図6は、(たとえば)装置20、60によって生成された圧縮データ、または、装置110、記憶媒体、もしくは段150、220に入力された圧縮データを記憶する記憶媒体を概略的に示す。図5は、磁気ディスクまたは光ディスクなどのディスク記憶媒体を概略的に示し、図6は、フラッシュメモリなどの固体記憶媒体を概略的に示す。なお、図5および図6は、コンピュータによって実行されたときに、以下で説明する方法のうちの1つ以上の方法をコンピュータに実行させるコンピュータソフトウェアを記憶するコンピュータ読み取り可能な非一時的記憶媒体の例を提供することもできる。
したがって、上記の構成は、本技術のいずれかを具体化するビデオ記憶装置、キャプチャ装置、送信装置、または受信装置の例を提供する。
図7は、1つ以上の画像を表すビデオ/画像データを符号化および/または復号するための、ビデオ/画像データ圧縮(符号化)および解凍(復号)装置の概要を示す概略図である。
コントローラ343は、装置全体の動作を制御し、特に、圧縮モードを参照するとき、ブロックサイズおよび形状などの様々な動作モード、ならびにビデオデータを可逆的に符号化すべきかまたは他の方法で符号化すべきかを選択するセレクタとして作用することによって、試行的な符号化処理を制御する。コントローラは、(場合によっては)画像エンコーダまたは画像デコーダの一部を形成すると考えられる。入力ビデオ信号300の連続画像は、加算器310および画像予測器320に供給される。画像予測器320については、図8を参照して以下でより詳細に説明される。画像エンコーダ/デコーダ(場合によっては)に図8の画像内予測器を加えることで、図7の装置の特徴を利用することができる。しかし、これは画像エンコーダ/デコーダが必ずしも図7のすべての特徴を必要とすることを意味するわけではない。
加算器310は、実際には、入力ビデオ信号300を「+」入力で受け取り、画像予測器320の出力を「-」入力で受け取り、入力画像から予測画像を減算する減算(負加算)演算を行う。その結果、実際の画像と予測画像との間の差分を表すいわゆる残差画像信号330が生成される。
残差画像信号が生成される1つの理由は、以下の通りである。説明するデータ符号化技術、すなわち、残差画像信号に適用されることになる技術は、符号化する画像内に「エネルギー」がより少ないときに、より効率的に働く傾向がある。ここで、「効率的に」という用語は、少量の符号化データの生成を指し、特定の画質レベルでは、可能な限り少ないデータを生成することが望ましい(かつ「効率的である」と考えられる)。残差画像における「エネルギー」への参照は、残差画像に含まれる情報の量に関する。予測画像が実際の画像と同一である場合、その2つの画像の間の差分(すなわち、残差画像)はゼロ情報(ゼロエネルギー)を含み、少量の符号化データに符号化することが非常に容易である。一般に、予測処理を、予測画像の内容が符号化される画像の内容に類似するように合理的にうまく機能するように実行できる場合、残差画像データが入力画像よりも少ない情報(少ないエネルギー)を含むため、少量の符号化データに符号化することがより容易になると予想される。
したがって、(加算器310を使用する)符号化は、符号化する画像の画像領域を予測することと、予測された画像領域と符号化する画像の対応する領域との間の差に依存する残差画像領域を生成することとを含む。以下で説明する技術に関連して、データ値の順序付けられた配列は、残差画像領域の表現のデータ値を含む。復号は、復号する画像の画像領域を予測することと、予測された画像領域と復号する画像の対応する領域との間の差分を示す残差画像領域を生成し、データ値の順序付けられた配列は、残差画像領域の表現のデータ値を含むことと、予測された画像領域と残差画像領域とを組み合わせることとを含む。
ここで、(残差画像または差分画像を符号化するための)エンコーダとして作用する装置の残りの部分について説明する。
残差画像データ330は、残差画像データのブロックまたは領域の離散コサイン変換(DCT)表現を生成する変換部/回路340に供給される。DCT技術自体は周知であり、ここでは詳細に説明しない。また、DCTの使用は、1つの例示的な構成の単なる例示であることに留意されたい。使用され得る他の変換の例としては、たとえば、離散サイン変換(DST)が挙げられる。変換は、1つの変換に他の変換が(直接であろうとなかろうと)続く構成など、個々の変換のシーケンスまたはカスケードを含むこともできる。変換の選択は、明示的に決定されてもよく、かつ/あるいは、エンコーダおよびデコーダを構成するために使用されるサイド情報に依存していてもよい。他の例では、変換が適用されない、いわゆる「変換スキップ」モードを選択的に使用することができる。
したがって、諸実施例では、符号化および/または復号方法は、符号化する画像の画像領域を予測することと、予測された画像領域と符号化する画像の対応する領域との間の差に依存する残差画像領域を生成し、(以下で説明する)データ値の順序付けられた配列は、残差画像領域の表現のデータ値を含むことを含む。
変換部340の出力、すなわち(一例では)、画像データの変換されたブロックごとのDCT係数のセットは、量子化器350に供給される。ビデオデータ圧縮の分野では、量子化スケーリングファクタによる単純な乗算から、量子化パラメータの制御下での複雑なルックアップテーブルの適用まで、様々な量子化技術が知られている。一般的な目的は2つある。第1に、量子化処理により、変換されたデータの生じ得る値の数が減少する。第2に、量子化処理により、変換されたデータの値がゼロである可能性を高めることができる。これらの両方により、以下で説明するエントロピー符号化処理を、少量の圧縮ビデオデータを生成する際により効率的に機能させることができる。
データ走査処理は、走査部360によって適用される。走査処理の目的は、量子化された変換データを、非ゼロの量子化された変換係数をできるだけ多く集めるように並べ替えることであり、したがって、もちろん、ゼロ値係数をできるだけ多く集めることである。これらの特徴により、いわゆるランレングス符号化または同様の技術が効率的に適用されることを可能にすることができる。したがって、走査処理は、(a)全ての係数が走査の一部として一度選択され、(b)走査が所望の並べ替えを提供しやすいように、「走査順序」に従って、量子化された変換データから、特に、変換および量子化された画像データのブロックに対応する係数のブロックから係数を選択することを含む。有用な結果を与えやすい走査順序の一例は、いわゆる直交対角走査順序である。
走査順序は、変換スキップブロックと変換ブロック(少なくとも1つの空間周波数変換を受けたブロック)との間で異なり得る。
次いで、走査された係数は、エントロピーエンコーダ(EE)370に渡される。この場合も、様々なタイプのエントロピー符号化を使用してもよい。2つの例として、いわゆるコンテキスト適応型バイナリ算術符号化(CABAC:Context Adaptive Binary Arithmetic Coding)システムの変形例、およびいわゆるコンテキスト適応型可変長符号化(CAVLC:Context Adaptive Variable-Length Coding)システムの変形例が挙げられる。概して、CABACは、より効率が良好であると考えられ、いくつかの研究では、CAVLCと比較して、同程度の画質のための符号化出力データの量を10%から20%低減することが示されている。しかしながら、CAVLCは、CABACよりも (その実施に関して)複雑さのレベルがはるかに低いと考えられる。なお、走査処理およびエントロピー符号化処理は、別個の処理として示されているが、実際には、組み合わされてもよいし、まとめて扱ってもよい。すなわち、エントロピーエンコーダへのデータの読み出しは、走査順序で行うことができる。同様のことが、以下に説明するそれぞれの逆処理に当てはまる。
エントロピーエンコーダ370の出力は、たとえば、予測器320が予測画像を生成した方法、圧縮データが変換されたか、または変換スキップされたかなどを定義する追加データ(上述および/または後述)とともに、圧縮出力ビデオ信号380を提供する。
しかしながら、予測器320自体の動作が、圧縮された出力データを解凍したデータに依存するので、戻り経路390も提供される。
この特徴の理由は、以下のとおりである。(後述する)解凍処理の適切な段で、残差データを解凍したデータが生成される。この解凍された残差データは、(元の残差データは、入力画像と予測画像との間の差分であるため)出力画像を生成するために予測画像に付加されなければならない。この処理が、圧縮側と解凍側との関係において、同様あるためには、予測器320によって生成される予測画像は圧縮処理中と解凍処理中とで同じであるべきである。もちろん、解凍時には、装置は、元の入力画像にアクセスすることができず、解凍された画像のみにアクセスすることができる。したがって、圧縮時において、予測器320は、圧縮された画像を解凍した画像をその(少なくとも、画像間符号化のための)予測の基礎とする。
エントロピーエンコーダ370によって実行されるエントロピー符号化処理は、(少なくともいくつかの例では)「可逆的」であると考えられ、すなわち、エントロピーエンコーダ370に最初に供給された全く同じデータに到達するために逆に実行できる。したがって、そのような例では、エントロピー符号化段の前に戻り経路を実装してもよい。実際、走査部360によって実行される走査処理も可逆的と考えられるので、本実施形態では、戻り経路390は、量子化器350の出力から相補的逆量子化器420の入力までである。損失または潜在的損失が段によって導入される場合、その段(およびその逆)は、戻り経路によって形成されるフィードバックループに含まれてもよい。たとえば、エントロピー符号化段は、たとえば、ビットがパリティ情報内で符号化される技術によって、少なくとも原理的に非可逆的にされ得る。そのような場合、エントロピー符号化および復号は、フィードバックループの一部を形成すべきである。
概して、エントロピーデコーダ410、逆走査部400、逆量子化器420、および逆変換部/回路430は、エントロピーエンコーダ370、走査部360、量子化器350、および変換部340のそれぞれの逆の機能を提供する。ここでは、圧縮処理を通して説明を続ける。入力圧縮ビデオ信号を解凍するための処理については、以下で別に説明する。
圧縮処理では、走査された係数は、戻り経路390によって量子化器350から逆量子化器420に渡され、逆量子化器420は、走査部360の動作の逆動作を実行する。逆量子化および逆変換処理は、逆量子化器420および逆変換部/回路430によって実行され、圧縮解凍された残差画像信号440を生成する。
画像信号440は、加算器450において、予測器320の出力に加算されて、再構成された出力画像460を生成する(ただし、これは、出力される前に、いわゆるループフィルタリングおよび/または他のフィルタリングを受けてもよい。以下を参照)。これにより、以下で説明するように、画像予測器320への1つの入力が形成される。
次に、受信した圧縮ビデオ信号470を解凍するために適用される復号処理について検討する。当該信号は、エントロピーデコーダ410に供給され、そこから、逆走査部400、逆量子化器420、および逆変換部430の順に供給され、その後、加算器450によって画像予測器320の出力に加算される。したがって、デコーダ側では、デコーダは、残差画像バージョンの画像を再構成し、次いで、これを(加算器450によって)予測バージョンの画像に(ブロック上でブロックごとに)適用して、各ブロックを復号する。簡単に言えば、加算器450の出力460は、(以下で説明するフィルタリング処理を受ける)出力解凍ビデオ信号480を形成する。実際には、信号が出力される前に、(たとえば、図8に示されているが、より明確にするために図7から省略されているループフィルタ565によって)さらなるフィルタリングを任意選択的に適用してもよい。
図7および図8の装置は、圧縮(符号化)装置または解凍(復号)装置として作用することができる。これら2つのタイプの装置の機能は、実質的に重複している。走査部360およびエントロピーエンコーダ370は、解凍モードでは使用されず、(以下で詳細に説明する) 予測器320および他のユニットの動作は、受信した圧縮ビットストリームに含まれるモードおよびパラメータ情報に従い、そのような情報自体を生成しない。
図8は、予測画像の生成、および、特に、画像予測器320の動作を概略的に示す。
画像予測器320によって実行される予測の2つの基本モード、すなわち、いわゆる画像内予測およびいわゆる画像間予測または動き補償(MC)予測がある。エンコーダ側では、各々が、予測される現在のブロックに関する予測方向を検出することと、(同じ画像(画像内)または他の画像(画像間)における)他のサンプルに従ってサンプルの予測ブロックを生成することとを含む。加算器310または450によって、予測ブロックと実際のブロックとの間の差分は、ブロックをそれぞれ符号化または復号するように符号化または適用される。
(デコーダにおいて、またはエンコーダの逆復号側において、予測方向の検出は、エンコーダにおいてどの方向が使用されたかを示す、エンコーダによって符号化されたデータに関連付けられたデータに応答してもよい。あるいは、当該検出は、エンコーダにおいて決定が行われたものと同じ要因に応答してもよい)。
画像内予測は、同じ画像内からのデータに基づいて、画像のブロックまたは領域の内容を予測する。これは、他のビデオ圧縮技術におけるいわゆるIフレーム符号化に対応する。しかしながら、イントラ符号化によって画像全体を符号化するIフレーム符号化とは対照的に、本実施形態では、イントラ符号化とインター符号化との間の選択をブロックごとに行うことができるが、他の実施形態では、当該選択を依然として画像ごとに行う。
動き補償予測は、画像間予測の一例であり、現在の画像において符号化される画像詳細の他の隣接する画像または近くの画像におけるソースを定義することを試みる動き情報を利用する。したがって、理想的な例では、予測画像内の画像データのブロックの内容を、隣接画像内の同じ位置またはわずかに異なる位置にある対応するブロックを指す基準(動きベクトル)として非常に単純に符号化することができる。
「ブロックコピー」予測として知られる技術は、いくつかの点では、その2つの予測ハイブリッドである。なぜなら、同じ画像内の現在予測されているブロックから変位した位置にあるサンプルのブロックを示すためにベクトルを使用し、コピーして現在予測されているブロックを形成するからである。
図8に戻ると、2つの画像予測構成(画像内予測および画像間予測に対応する)が示されており、その予測の結果は、加算器310および450に供給するための予測画像のブロックを提供するように、(たとえば、コントローラ343からの)モード信号510の制御下で、マルチプレクサ500によって選択される。当該選択は、どの選択が最も低い「エネルギー」(上述のように、符号化を必要とする情報内容とみなされ得る)を与えるかに応じて行われ、また、符号化された出力データストリーム内のデコーダにシグナリングされる。この文脈において、画像エネルギーは、たとえば、入力画像から2つのバージョンの予測画像の領域を試行的に減算し、差分画像の各画素値を二乗し、二乗した値を合計し、2つのバージョンのうちのどちらがその画像領域に関連する差分画像のより低い平均二乗値を生じさせるかを識別することによって検出することができる。他の例では、各選択または行われ得る選択に対して試行的な符号化を実行することができ、次いで、符号化に必要なビット数および画像の歪みの一方または両方に関して、各行われ得る選択のコストに従って選択が行われる。
イントラ符号化システムにおいて、実際の予測は、信号460(ループフィルタリングによってフィルタリングされるものとしての信号、以下を参照)の一部として受信された画像ブロックに基づいて行われ、すなわち、予測は、全く同じ予測を解凍装置において実行できるように、符号化され復号された画像ブロックに基づいて行われる。しかしながら、イントラモードセレクタ520によって入力ビデオ信号300からデータを導出して、画像内予測器530の動作を制御することができる。
画像間予測の場合、動き補償(MC)予測器540は、入力ビデオ信号300から動き推定器550によって導出された動きベクトルなどの動き情報を使用する。これらの動きベクトルは、動き補償予測器540によって再構成画像460を処理した画像に適用されて、画像間予測のブロックを生成する。
したがって、(推定器550と動作する)予測器530および540の各々は、予測される現在のブロックに関する予測方向を検出するための検出器として、および予測方向によって定義される他のサンプルに従って(加算器310および450に渡される予測の一部を形成する)サンプルの予測ブロックを生成するための生成器として作用する。
次に、信号460に適用される処理について説明する。
まず、当該信号は、いわゆるループフィルタ565によってフィルタリングされてもよい。様々なタイプのループフィルタを使用することができる。ある技術は、「デブロッキング」フィルタを適用して、変換部340によって実行されるブロックベースの処理およびその後の動作の影響を除去するか、または少なくとも影響を減らしやすいことを含む。いわゆるサンプル適応オフセット(SAO)フィルタを適用することを含むさらなる技術を使用してもよい。概して、サンプル適応オフセットフィルタでは、(エンコーダにおいて導出され、デコーダに通信される)フィルタパラメータデータは、(i)所与の中間映像サンプルの値、または(ii)所与の中間映像サンプルに対する所定の空間関係を有する1つ以上の中間映像サンプルの値に応じて、サンプル適応オフセットフィルタによって所与の中間映像サンプル(信号460のサンプル)と選択的に組み合わせられる1つ以上のオフセット量を定義する。
また、再構成された信号460および入力ビデオ信号300を処理することによって導出される係数を使用して、適応ループフィルタが任意選択で適用される。適応ループフィルタは、既知の技術を用いて、フィルタリングされるデータに適応フィルタ係数を適用するフィルタの一種である。すなわち、フィルタ係数は、様々な要因に応じて変化し得る。どのフィルタ係数を使用するかを定義するデータは、符号化された出力データストリームの一部として含まれる。
以下に説明する技術は、フィルタの動作に関するパラメータデータの取り扱いに関する。実際のフィルタリング動作(SAOフィルタリングなど)は、それ以外では、公知技術を使用してもよい。
ループフィルタ部565からのフィルタリングされた出力は、実際には、装置が解凍装置として動作しているときに出力ビデオ信号480を形成する。当該出力はまた、1つ以上の画像またはフレーム記憶部570にバッファリングされ、連続する画像の記憶は、動き補償予測処理、特に動きベクトルの生成の要件である。記憶要件を満たしやすくするために、画像記憶部570内の記憶された画像は、圧縮された状態で保持され、次いで、動きベクトルを生成する際に使用するために解凍されてもよい。この特定の目的のために、任意の既知の圧縮/解凍システムを使用してもよい。記憶された画像は、記憶された画像からより高い解像度の画像を生成する補間フィルタ580に渡されてもよい。この例では、中間サンプル(サブサンプル)が生成され、補間フィルタ580によって出力された補間画像の解像度が4:2:0の輝度チャネルのための画像記憶部570に記憶された画像の4倍(各寸法において)であり、4:2:0のクロミナンスチャネルのための画像記憶部570に記憶された画像の8倍(各寸法において)である。補間された画像は、動き推定器550への入力として渡され、また、動き補償予測器540にも渡される。
次に、圧縮処理のために画像を分割する方法について説明する。基本レベルでは、圧縮される画像は、サンプルのブロックまたは領域の配列と見なされる。画像をそのようなブロックまたは領域に分割することは、「シリーズH:視聴覚およびマルチメディアシステム 視聴覚システムのインフラ―動画の符号化、高効率ビデオ符号化(SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video High efficiency video coding)Recommendation ITU-T H.265 12/2016」や「高効率ビデオ符号化(HEVC)アルゴリズムおよびアーキテクチャ(High Efficiency Video Coding (HEVC) Algorithms and Architectures)、第3章、編集者:Madhukar Budagavi、Gary J. Sullivan、Vivienne Sze;ISBN 978-3-319-06894-7;2014」(これらは、参照によりそれぞれの全体が本明細書に組み込まれる)に記載されているような決定木によって実行することができる。さらなる背景情報は、非特許文献1において提供されている。この非特許文献1も、参照によりその全体が本明細書に組み込まれる。
いくつかの例では、結果として生じるブロックまたは領域は、決定木によって、一般に、画像内の画像特徴の配置に従うことができるサイズおよび、場合によっては、形状を有する。これ自体により、符号化効率を改善することが可能になる。なぜなら、そのような構成によって、類似の画像特徴を表すまたは類似の画像特徴に従うサンプルが一緒にグループ化される傾向があるからである。いくつかの例では、異なるサイズの正方形ブロックまたは領域(たとえば、4×4個のサンプルなど、最大で、たとえば、64×64個またはそれより大きいブロック)が選択のために利用可能である。他の例示的な構成では、(たとえば、垂直または水平に配向された)長方形ブロックなどの異なる形状のブロックまたは領域を使用することができる。他の非正方形および非矩形のブロックも想定される。画像をそのようなブロックまたは領域に分割した結果、(少なくとも本例では)画像の各サンプルは、1つのそのようなブロックまたは領域のみに割り当てられる。
以下で説明する本開示の諸実施形態は、エンコーダおよびデコーダにおいて符号化レベルを表すための技術に関する。
(パラメータセットおよび符号化レベル)
ビデオデータを後続の復号のために上記で説明した技術によって符号化するとき、処理の符号化側が、符号化処理のいくつかのパラメータを処理の最終的な復号側に通信することが適切である。これらの符号化パラメータは、符号化ビデオデータを復号するときはいつでも必要とされることを考慮すると、パラメータを、たとえば、(必ずしも排他的ではないが、別個の送信チャネルによって「帯域外に」送信することができるので)符号化ビデオデータストリーム自体にいわゆるパラメータセットとして埋め込むことによって、符号化ビデオデータストリーム自体と関連付けることが有用である。
パラメータセットは、たとえば、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、およびピクチャパラメータセット(PPS)として、情報の階層として表されてもよい。PPSは、各ピクチャに1回ずつ発生し、そのピクチャ内のすべての符号化スライスに関連する情報を含み、SPSは、より頻繁ではなく(ピクチャのシーケンスごとに1回)、VPSは、さらに頻繁ではないことが期待される。より頻繁に発生するパラメータセット(PPSなど)は、再符号化のコストを回避するために、そのパラメータセットの以前に符号化されたインスタンスへの参照として実装することができる。各符号化画像スライスは、単一のアクティブPPS、SPS、およびVPSを参照して、そのスライスを復号する際に使用される情報を提供する。特に、各スライスヘッダは、PPSを参照するためにPPS識別子を含んでもよく、PPSは次に、SPSを参照し、SPSは次に、VPSを参照する。
これらのパラメータセットの中で、SPSは、以下の説明のいくつかに関連する例示的な情報、すなわち、使用されるいわゆるプロファイル、階層、および符号化レベルを定義するデータを含む。
プロファイルは、使用される復号ツールまたは機能のセットを定義する。プロファイルの例として、8ビットの4:2:0映像に関連する「メインプロファイル」、およびメインプロファイルに関して10ビット分解能および他の拡張を可能にする「メイン10プロファイル」が挙げられる。
符号化レベルは、最大サンプリングレートおよびピクチャサイズなどの事項に関する制限を課す。階層は、最大データレートを規定する。
参照したJVET-Q2001-vE規格で(出願日において)定義されているような、JVET(Joint Video Experts Team)によるVVC(versatile video coding)のための提案においては、様々なレベルが1から6. 2まで定義されている。
可能な最高レベルはレベル8.5であり、この制限は使用される符号化から導出され、レベルは8ビットでレベル*30として符号化され、これはレベル8.5が最大8ビット値255として符号化されることを意味する。
また、現在の規格は、特定の階層の特定のレベルにおける所与のプロファイルに適合するデコーダが、以下の条件が適用されるすべてのビットストリームを復号することが可能であるという条件、すなわち、ビットストリームがレベル8.5ではなく、指定されたレベル以下の(所与の階層における所与のプロファイルの)レベルに適合することを示すという条件を定義する。
図9には、JVETドキュメントの2つの例示的な表(A.1およびA.2)によって課されるそれぞれの条件の融合を表す、例示的なピクチャサイズおよびフレームレートを有する現在定義されているレベルを概略的に示す。レベルの主成分(最大輝度ピクチャサイズを示し、最大輝度ピクチャサイズが増加するにつれて単調に増加する)は、左列の整数によって示され、レベルの副成分(最大輝度サンプリングレートおよび最大フレームレートのうちの少なくとも1つを示し、所与の第1の成分について、第2の成分は最大輝度サンプリングレートが増加するにつれて単調に増加し、最大フレームレートが増加するにつれて単調に増加する)は、小数点以下の数によって示される。
原理的には、最大輝度サンプリングレートおよび最大フレームレートの一方は、他方から、および最大輝度ピクチャサイズから導出することができるので、説明を明確にするために、両方とも表に明記されているが、2つのうちの一方のみを明記する必要があることに留意されたい。
データレート、ピクチャサイズなどは、輝度(またはルーマ)成分について定義され、クロミナンス(クロマ)についての対応するデータは、所与の数の輝度サンプルについて、対応する数のクロミナンスサンプルを定義する、使用中のクロミナンスサブサンプリングフォーマット(4:2:0または4:4:4など)から導出可能である。
なお、「例示的な最大ルーマサイズ」とラベル付けされた列は、単に、それぞれの最大ルーマピクチャサイズによって定義されるサンプルの数に適合し、また、当該規格の他の部分(この欄は、説明に役立てるためのものであり、規格の一部を構成しない)によって課されるアスペクト比の制約にも適合する、ルーマピクチャ構成の例を提供する。
(対処すべき起こり得る事項)
現在のレベルの仕様にはいくつかの潜在的な問題があり、これらは、少なくとも部分的に、以下で説明する例示的な実施形態によって対処することができる。
第1に、定義されるように、異なる既存のレベル間において新しいレベルを作成することは価値がない。たとえば、レベル5.2とレベル6は、同じ値MaxLumaSrを有する。唯一変更できるのは、いくつかの中間ピクチャサイズを有することであるが、これは特に有用であるとは考えられない。
第2に、所与のレベルのピクチャサイズでは、120fps(1秒あたりフレーム数)を超えることはできない。唯一選択できるのは、より大きなピクチャサイズのレベルを使用することである。これは、120fpsを超えるフレームレートへの変更が、次のレベルに適用可能な最大ルーマサンプリングレートを超えることになるからであるたとえば、新しいレベル(たとえば5.3)を4Kについて240fpsで定義することはできない。なぜなら、これには、現在のレベル6のサンプリングレートの2倍のサンプリングレートが必要になるからであり、それは、レベル6のデコーダがレベル5.Xストリームを復号するのに必要な現在の要件である。
第3に、最大レベルは8.5であり、これは、現在の規格では定義されていないが、(4以上のレベルの既存の指数関係によって)少なくとも32K(たとえば、32768×17408)の最大画像サイズを暗示する。これは直接的な問題には見えないかもしれないが、たとえば、サブピクチャを使用する将来の全方向の適用に対して問題を引き起こす可能性がある。
これらの問題に対処するために、レベルを符号化(および復号)するための方法および装置を提案する。加えて、ストリームを復号する能力に対する代替的な制約も提案する。
(例示的な実施形態におけるレベル符号化)
提案する代替的なレベル符号化は、以下のとおりである。
レベルは、メジャー(major)*16+マイナー(minor)として8ビットで符号化される。
ここで、「メジャー」は、整数の値を指し、「マイナー」は、小数点以下の値を指す。その結果、(たとえば)レベル5.2では、メジャー=5、マイナー=2となる。
したがって、たとえば、レベル4.1は、65として符号化され、最大レベルは、15.15である。
この構成は、レベルのセットが上記の理由で定義することができないレベルのコードを「無駄にする」ことがないこと、または、少なくとも現在のシステムの範囲内でそれらコードを無駄にすることがないことを意味する。
また、可能な最大値を8.5から15.15にする。
なお、代替的な符号化により、レベルコードを16進数ダンプ表現で容易に見えるようにすることもできる。第1の16進数字は主成分を表し、第2の16進数字は副成分を表す。
なお、以下では、代替例を挙げる。いずれの例(または、実際には他の例)も、添付の特許請求の範囲内にあると考えることができる。
(レベルの復号の制約)
より高いレベルを使用することなく(したがって、より長いラインバッファなどの使用を強制することなく)現在可能ではないより高いフレームレートの問題に対処するために、例示的な実施形態によれば、ストリームを復号する能力に対する制約が変更される。
変更された制約では、所与の階層の特定のレベルD.d(Dは主成分を示し、dは副成分を示す)における所与のプロファイルに適合するデコーダが、以下の条件が適用される(所与の階層における所与のプロファイルの)すべてのビットストリームを復号することができること、すなわち、ビットストリームがレベル15.15ではないレベルS.s(主成分.副成分)に適合することが示され、sがd以下であり、S*2+sがD*2+d以下であることを定義する。
これらの構成により、より高いフレームレートのための新しいマイナーレベルを、より高いサンプリングレートを復号することができる次のメジャーレベルのためのデコーダを必要とすることなく追加してもよい。
この制約は、現在定義されているすべてのレベルと完全に後方互換性がある。また、デコーダにも影響を与えない。しかしながら、これにより、現在可能なものよりも低いレイヤでの高フレームレートのデコーダの生成が可能になる。
(例-図10)
図10は、メジャー=5を有する他のレベルと最大ルーマピクチャサイズは同じであるが、前のレベル5.2の2倍の最大ルーマサンプリングレートおよび最大フレームレート有する新しいレベル5.3が図9のリストに挿入される例を提供する。
上記の表現を適用すると、新しいレベル5.3は、そうでなければ未使用の符号化(16*5)+3=83を占有する。
[0110]上記の復号制約を適用すると、レベル5.3のビデオデータストリームは、レベル6.1のデコーダによって復号可能である。なぜなら、
5が6以下であり、かつ、
5*2+3が6*2+1以下だからである。
したがって、例示的な実施形態では、最大レベルを8.5から15.15に増加させる、レベルを符号化するための代替的な方法が提供され、また、すべてのより高いレベルのデコーダを必要とすることなく、より高いフレームレートを有するレベルを追加して、増加したビットレートを復号することを可能にする代替的な制約も提案される。
(実施例)
次に、実施例について図面を参照して説明する。
図11は、上述のビデオパラメータセットおよびシーケンスパラメータセットの使用を概略的に示す。特に、これらは、複数のシーケンスパラメータセット1100、1110、および1120がビデオパラメータセット1130を参照し、次いで、それぞれのシーケンス1102、1112、および1122によってそれら自体が参照され得るように、上述のパラメータセットの階層の一部を形成する。例示的な実施形態では、それぞれのシーケンスに適用可能なレベル情報が、シーケンスパラメータセット内に提供される。
しかしながら、他の実施形態では、レベル情報が異なる形式または異なるパラメータセットで提供され得ることが理解されよう。
同様に、図11の概略図は、ビデオデータストリーム1140全体の一部として提供されるシーケンスパラメータセットを示すが、シーケンスパラメータセット(またはレベル情報を伝送する他のデータ構造)は、代わりに、別個の通信チャネルによって提供され得る。いずれの場合も、レベル情報は、ビデオデータストリーム1140に関連付けられる。
(操作例-デコーダ)
図12は、入力(符号化)ビデオデータストリーム1200を受信し、図7を参照して上述したデコーダ1220を使用して、復号ビデオデータストリーム1210を生成および出力するように構成された復号装置の態様を概略的に示す。説明を明確にするために、図7の制御回路/コントローラ343は、デコーダ1220の残りの部分に別々に描かれている。
コントローラ/制御回路343の機能内には、入力ビデオデータストリーム1200の適切なフィールドから、VPS、SPS、およびPPSを含む各種パラメータセットを検出するパラメータセット(PS)検出器1230がある。パラメータセット検出器1230は、上述のようなレベルを含むパラメータセットから情報を導出する。この情報は、制御回路343の残りの部分に渡される。なお、パラメータセット検出器1230は、レベルを復号することができ、または、符号化されたレベルを復号のために単に制御回路343に提供することができる。
制御回路343はまた、少なくとも、たとえば、デコーダ1220が復号することができる上記の番号付け方式(メジャー.マイナー)を使用するレベルを定義する1つ以上のデコーダパラメータ1240に応答する。
制御回路343は、所与のまたは現在の入力ビデオデータストリーム1200について、デコーダ1220がその入力ビデオデータストリームを復号できるか否かを検出し、それに応じてデコーダ1220を制御する。制御回路343はまた、パラメータセット検出器1230によって検出されたパラメータセットから取得された情報に応答して、様々な他の動作パラメータをデコーダ1220に提供することができる。
図13は、デコーダ側におけるこれらの動作を示す概略フローチャートである。
ステップ1300において、パラメータセットデコーダ1230は、SPSを検出し、この情報を制御回路343に提供する。また、制御回路343は、デコーダパラメータ1240を検出する。
符号化されたレベルから、制御回路343は、(ステップ1310において)レベル係数Nを検出する。ここで、Nは、第1の所定の定数(この例では16)である。制御回路343は、ステップ1320において、Nで除算されたレベルの余りMを検出する。ここで、Mは、第2の所定の定数(この例では1であるが、たとえば、2もしくは4、または別の例では3であり得る)である。ステップ1310の結果は、主成分を提供し、ステップ1320の結果は、副成分を提供する。
次いで、ステップ1330において、制御回路343は、上記のように、デコーダパラメータ値D.dおよび入力ビデオストリームパラメータ値S.sについて、以下のテストを適用することによって、現在の入力ビデオデータストリーム1200を復号できるか否かを検出する:
・符号化レベル=255である(S.sは15.15を表す)か?
そうである場合、15.15は非標準レベルを示す特別なケースであるので、復号可能ではない。そうでない場合、次のテストに移る。
・SはD以下であり、S*2+SはD*2+D以下であるか?
そうである場合、復号可能であり、そうでない場合、復号可能ではない。
このテストの第1の部分は、任意選択で省略することができる。
答えが否定的である場合、処理はステップ1340に進み、制御回路343は、入力ビデオデータストリームを復号しないようにデコーダ1220に指示する。
しかしながら、答えが肯定的である場合、処理はステップ1350および1360に進み、最大輝度ピクチャサイズ(ステップ1350)および最大輝度サンプリングレートおよび/または最大フレームレート(ステップ1360)が、図10に示すものなどの記憶されたテーブルによって提供されるマッピングを使用して検出される。これらの導出されたパラメータに基づいて、制御回路343は、ステップ1370において、デコーダ1220を制御して、入力ビデオデータストリーム1200を復号する。
したがって、これにより、ビデオデータデコーダを動作させる方法であって、
入力ビデオデータストリームに関連付けられたパラメータ値に関連付けられたパラメータ値を検出し(1300)、上記パラメータ値は、複数の符号化レベルから選択された符号化レベルを示し、各符号化レベルは、少なくとも最大輝度ピクチャサイズおよび最大輝度サンプリングレートを定義し、
上記符号化レベルは、第1の数値成分および第2の数値成分を定義し、上記第2の数値成分は、ゼロ以上の数値であり、
ゼロの第2の数値成分を有する符号化レベルの場合、上記第1の数値成分は、最大輝度ピクチャサイズが増加するとともに単調に増加し、
上記第2の成分は、上記最大輝度サンプリングレートとともに変化し、
上記パラメータ値は、第1の所定の定数に上記第1の数値成分を乗算して得られた数値と、第2の所定の定数に上記第2の数値成分を乗算して得られた数値の合計としての上記符号化レベルの数値符号化であり、
上記ビデオデータデコーダのための性能データに関して、所与の入力ビデオデータストリームに関連付けられたパラメータ値に対して所定のテストを実行し(1330)、
上記所与の入力ビデオデータストリームに関連付けられたパラメータ値が、上記ビデオデータデコーダのための性能データに関する上記所定のテストに成功するとき、上記所与の入力ビデオデータストリームを復号するように上記ビデオデータデコーダを制御し(1370)、
上記所与の入力ビデオデータストリームに関連付けられたパラメータ値が、上記ビデオデータデコーダのための性能データに関する上記所定のテストに失敗するとき、上記所与の入力ビデオデータストリームを復号しないように上記ビデオデータデコーダを制御する(1340)
動作方法の例が提供される。
図12の構成は、図13の方法に従って動作し、
入力ビデオデータストリームを復号するビデオデータデコーダ1220であって、上記ビデオデータデコーダ1220は、上記入力ビデオデータストリームに関連付けられたパラメータ値に応答し、上記パラメータ値は、複数の符号化レベルから選択された符号化レベルを示し、各符号化レベルは、少なくとも最大輝度ピクチャサイズおよび最大輝度サンプリングレートを定義する上記ビデオデータデコーダ1220と、
上記符号化レベルは、第1の数値成分および第2の数値成分を定義し, 上記第2の数値成分は、ゼロ以上の数値であり、
ゼロの第2の数値成分を有する符号化レベルの場合、上記第1の数値成分は、最大輝度ピクチャサイズが増加するとともに単調に増加し、
上記第2の成分は、上記最大輝度サンプリングレートとともに変化し、
上記パラメータ値は、第1の所定の定数に上記第1の数値成分を乗算して得られた数値と、第2の所定の定数に上記第2の数値成分を乗算して得られた数値の合計としての上記符号化レベルの数値符号化であり、
上記ビデオデータデコーダのための性能データに関して、所与の入力ビデオデータストリームに関連付けられたパラメータ値に対して所定のテストを実行するように構成された比較器343と、
上記所与の入力ビデオデータストリームに関連付けられたパラメータ値が、上記ビデオデータデコーダのための性能データに関する上記所定のテストに成功するとき、上記所与の入力ビデオデータストリームを復号するように上記ビデオデータデコーダを制御し、上記所与の入力ビデオデータストリームに関連付けられたパラメータ値が、上記ビデオデータデコーダのための性能データに関する上記所定のテストに失敗するとき、上記所与の入力ビデオデータストリームを復号しないように上記ビデオデータデコーダを制御するように構成された制御回路343と
を備える
装置の例を提供する。
(動作例-エンコーダ)
同様に、図14は、たとえば、図7を参照して上記で説明したタイプのエンコーダ1400を備える符号化装置の態様を概略的に示す。エンコーダの制御回路343は、説明を明確にするために別々に描かれている。エンコーダは、入力ビデオデータストリーム1410に作用して、制御回路343の制御下で出力符号化ビデオデータストリーム1420を生成し、制御回路343は、適用される符号化レベルの定義を含む符号化パラメータ1430に応答する。
制御回路343はまた、たとえば、出力符号化ビデオデータストリーム内に含まれるべきVPS、SPS、およびPPSを含むパラメータセットを生成するパラメータセット生成器1440を含み、または制御し、SPSは、上述のように符号化されたレベル情報を伝送する。
次に、この装置の動作の態様を、図15の概略フローチャートを参照して説明する。
ステップ1500は、たとえば、符号化パラメータ1430による符号化レベルの確立を表し、当該符号化レベルは、(メジャー.マイナー)または言い換えれば(第1の成分.第2の成分)によって表される。
ステップ1510において、制御回路343は、確立された符号化レベルに従ってエンコーダ1400を制御する。
それとは別に、符号化レベルを符号化するために、パラメータセット生成器1440は、ステップ1520において、第1の成分(メジャー)に第1の所定の定数N(この例では、16)を乗算し、ステップ1530において、第2の成分(マイナー)に第2の所定の定数M(この例では1であるが、後述する他の例では3)を乗算し、次いで、ステップ1540において、2つの結果を加算して符号化レベル情報を生成する。これに基づいて、パラメータセット生成器1440は、ステップ1550において、符号化されたレベル情報を含む必要なパラメータセットを生成する。
したがって、これにより、
(1510に応答して)入力ビデオデータストリームを符号化して、複数の符号化レベルから選択された符号化レベルに従って出力符号化ビデオデータストリームを生成し、各符号化レベルは、少なくとも最大輝度ピクチャサイズおよび最大輝度サンプリングレートを定義し、上記符号化レベルは、第1の数値成分および第2の数値成分を定義し、上記第2の数値成分は、ゼロ以上の数値であり、
ゼロの第2の数値成分を有する符号化レベルの場合、上記第1の数値成分は、最大輝度ピクチャサイズが増加するとともに単調に増加し、
上記第2の成分は、上記最大輝度サンプリングレートとともに変化し、
上記出力ビデオデータストリームと関連付けるためにパラメータ値を符号化し(1520、1530、1540、1550)、上記パラメータ値は、第1の所定の定数に上記第1の数値成分を乗算して得られた数値と、第2の所定の定数に上記第2の数値成分を乗算して得られた数値の合計としての上記符号化レベルの数値符号化である
方法の例が提供される。
図14の構成は、図15の方法に従って動作し、
入力ビデオデータストリームを符号化して、複数の符号化レベルから選択された符号化レベルに従って出力符号化ビデオデータストリームを生成するように構成されたビデオデータ エンコーダ1400であって、各符号化レベルは、少なくとも最大輝度ピクチャサイズおよび最大輝度サンプリングレートを定義し、上記符号化レベルは、第1の数値成分および第2の数値成分を定義し、上記第2の数値成分は、ゼロ以上の数値であるビデオデータ エンコーダ1400と、
ゼロの第2の数値成分を有する符号化レベルの場合、上記第1の数値成分は、最大輝度ピクチャサイズが増加するとともに単調に増加し、
上記第2の成分は、上記最大輝度サンプリングレートとともに変化し、
上記出力ビデオデータストリームと関連付けるためにパラメータ値を符号化するパラメータ値符号化回路1440であって、上記パラメータ値は、第1の所定の定数に上記第1の数値成分を乗算して得られた数値と、第2の所定の定数に上記第2の数値成分を乗算して得られた数値の合計としての上記符号化レベルの数値符号化であるパラメータ値符号化回路1440と
を備える
装置の例を提供する。
上記の符号化または復号の例では、第2の成分は、最大輝度サンプリングレートとともに単調に増加してもよい。他の例では、第2の成分は、所与の第1の数値成分について、最大輝度サンプリングレートとともに変化してもよい。他の例では、第2の成分は、所与の第1の数値成分について、最大輝度サンプリングレートとともに単調に増加してもよい。
他の例では、少なくとも第1の成分の閾値を有する符号化レベルの場合、第1の成分は、最大輝度ピクチャサイズが増加するとともに単調に増加し、第2の成分は、最大輝度サンプリングレートのうちの少なくとも1つを示し、所与の第1の成分について、第2の成分は、最大輝度サンプリングレートとともに変化する。
ゼロの第2の数値成分は、添付の表において(小数点以下)第二位の数が存在しないことによって、タイポグラフィ的に表される。
「ゼロの第2の数値成分を有する符号化レベルの場合、上記第1の数値成分は、最大輝度ピクチャサイズが増加するとともに単調に増加し」という文に関して、これは、m>nのときは、レベルm.0(または「m」)についての最大輝度ピクチャサイズが、レベルn.0(またはn)の場合と少なくとも同じ大きさであることを示す。
(さらなる例)
提案するレベルのさらなる代替的な符号化は、以下のとおりである。
レベルは、メジャー*16+マイナー*3として8ビットで符号化される。
ここで、上記のように、「メジャー」は、整数の値を指し、「マイナー」は、小数点以下の値を指す。その結果、(たとえば)レベル5.2では、メジャー=5、マイナー=2となる。
したがって、たとえば、レベル4.1は、67として符号化され、この技術によって符号化することができる最大レベルは、15.5である。
上記のように、この構成は、レベルのセットが上記の理由で定義することができないレベルのコードを「無駄にする」ことがないこと、または、少なくとも現在のシステムの範囲内でそれらコードを無駄にすることがないことを意味する。
また、これにより、可能な最大値が8.5から15.5に増加する。
この構成を用いた符号化レベルの例は、以下のとおりである。
Figure 0007533609000001
(符号化されたビデオデータ)
本明細書で開示する技術のいずれかによって符号化されるビデオデータも、本開示の一実施形態を表すとみなされる。
(付属書-実施形態を反映するためのJVET-Q2001-vE規格の変更の草案[A.3.1 メイン10プロファイル])
メイン10プロファイルに適合するビットストリームは、以下の制約に従うものとする。
参照SPSは、0または1に等しいchroma_format_idcを有するものとする。
参照SPSは、0以上2以下の範囲のbit_depth_minus8を有するものとする。
参照SPSは、0に等しいsps_palette_enabled_flagを有するものとする。
general_level_idcおよびsublayer_level_idc[i]は、VPS(利用可能な場合)および参照SPSにおけるすべてのiの値について、255(レベル15.15を示す)に等しくないものとする。
該当する場合、A.4項のメイン10プロファイルに対して指定された階層およびレベル制約が満たされるものとする。
メイン10プロファイルに対するビットストリームの適合性は、general_profile_idcが1に等しいことによって示される。
特定の階層の特定のレベルD.dでメイン10プロファイルに適合するデコーダは、以下の条件のすべてが適用されるすべてのビットストリームを復号できるものとする。
ビットストリームは、メイン10プロファイルに適合することが示される。
ビットストリームは、指定された階層以下の階層に適合することが示される。
ビットストリームは、レベル15.15ではなく、D以下であるレベルS.sに適合することが示され、S*2+sがD*2+d以下である。
[A.3.2 メイン4:4:4 10プロファイル]
メイン4:4:4 10プロファイルに適合するビットストリームは、以下の制約に従うものとする。
参照SPSは、0以上3以下の範囲のchroma_format_idcを有するものとする。
参照SPSは、0以上2以下の範囲のbit_depth_minus8を有する。
general_level_idcおよびsublayer_level_idc[i]は、VPS(利用可能な場合)および参照SPSにおけるすべてのiの値について、255(レベル15.15を示す)に等しくないものとする。
該当する場合、A.4項のメイン4:4:4 10プロファイルに対して指定された階層およびレベル制約が満たされるものとする。
メイン4:4:4 10プロファイルに対するビットストリームの適合性は、general_profile_idcが2に等しいことによって示される。
特定の階層の特定のレベルD.dでメイン4:4:4 10プロファイルに適合するデコーダは、以下の条件のすべてが適用されるすべてのビットストリームを復号できるものとする。
ビットストリームは、メイン4:4:4 10プロファイルまたはメイン10プロファイルに適合することが示される。
ビットストリームは、指定された階層以下の階層に適合することが示される。
ビットストリームは、レベル15.15ではなく、D以下であるレベルS.sに適合することが示され、S*2+sがD*2+d以下である。
[A.4.1 一般階層とレベルの制限]
表A.1は、レベル15.15以外のレベルについて、各階層の各レベルの制限を明示している。
ビットストリームが適合する階層およびレベルは、構文要素general_tier_flagおよびgeneral_level_idcによって示され、サブレイヤ表現が適合するレベルは、以下のように、構文要素sublayer_level_idc[i]によって示される。
指定されたレベルがレベル15.15でない場合、0に等しいgeneral_tier_flagは、メイン階層への適合性を示し、1に等しいgeneral_tier_flagは、表A.1において指定された階層制約に従って、高階層への適合性を示し、general_tier_flagは、レベル4未満のレベルについて0に等しいものとする(「-」でマークされた表A.1のエントリに対応する)。そうでない場合(指定されたレベルが15.15である場合)、general_tier_flagが1に等しいことがビットストリーム適合性の要件であり、general_tier_flagの値0はITU-T|ISO/IECによる将来の使用のために予約され、デコーダは、general_tier_flagの値を無視するものとする。
general_level_idcおよびsublayer_level_idc[i]は、表A.1において指定されたメジャーのレベル数の16倍の値にマイナーのレベル数の1倍の値を加えた値に等しくなるように設定されるものとする。
レベル8.5への他のすべての参照も、レベル15.15に変更された。
代替として、レベル15.15は、「limitless_level_idc」などの変数名を代わりに使用して全体を通して指定されてもよく、その変数は、15.15として一度定義される。
上述の代替的な実施形態を参照して、以下の本文は、2020年10月に行われた第20回JVET会議のJVET-T2001-v1の付属書4.1(Appendix 4.1 of JVET-T2001-v1 of the 20th JVET meeting in October 2020)に関する(その内容が参照により本明細書に組み込まれる)。
ビットストリームが適合する階層およびレベルは、構文要素general_tier_flagおよびgeneral_level_idcによって示され、サブレイヤ表現が適合するレベルは、以下のように、構文要素sublayer_level_idc[i]によって示される。
指定されたレベルがレベル15.15でない場合、0に等しいgeneral_tier_flagは、メイン階層への適合性を示し、1に等しいgeneral_tier_flagは、表135において指定された階層制約に従って、高階層への適合性を示し、general_tier_flagは、レベル4未満のレベルについて0に等しいものとする(「-」でマークされた表135のエントリに対応する)。そうでない場合(指定されたレベルが15.15である場合)、general_tier_flagが1に等しいことがビットストリーム適合性の要件であり、general_tier_flagの値0はITU-T|ISO/IECによる将来の使用のために予約され、デコーダは、general_tier_flagの値を無視するものとする。
general_level_idcおよびsublayer_level_idc[i]は、表135において指定されたレベル数に対するgeneral_level_idcに等しくなるように設定されるものとする。
(表135は、代替的な実施形態に関連して、上記で表されていることに留意されたい)。
本開示の諸実施形態が、少なくとも部分的に、ソフトウェア制御型のデータ処理装置によって実施されるものとして説明されている限り、光ディスク、磁気ディスク、半導体メモリなど、そのようなソフトウェアを保持するコンピュータ読み取り可能な非一時的媒体も、本開示の一実施形態を表すと考えられることが理解されよう。同様に、上述の方法に従って生成された符号化データを含むデータ信号(コンピュータ読み取り可能な非一時的媒体上で具体化されているか否かにかかわらず)も、本開示の一実施形態を表すと考えられる。
上記の教示に照らして、本開示の多数の修正および変形が可能であることが明らかであろう。したがって、本技術は、添付の条項の範囲内で、本明細書に具体的に記載された以外の方法で実施されてもよいことが理解されよう。
発明を明確にするための上記の説明において、異なる機能ユニット、回路、および/またはプロセッサを参照して実施形態を説明したことが理解されよう。しかしながら、本発明の実施形態から逸脱することなく、異なる機能ユニット、回路、および/またはプロセッサ間において、機能を任意に適切に分散してもよいことは明らかである。
本明細書で説明した実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせを含む任意の適切な形態で実施してもよい。本明細書で説明した実施形態は、任意選択で、1つ以上のデータプロセッサおよび/またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実施してもよい。任意の実施形態における要素および構成要素は、任意の適切な方法で、物理的に、機能的に、および論理的に実装される。実際、この機能は、単一のユニットで、複数のユニットで、または他の機能ユニットの一部として実装されてもよい。したがって、本開示の実施形態は、単一のユニットで実施されてもよく、あるいは、異なるユニット、回路、および/またはプロセッサ間で物理的および機能的に分散されてもよい。
いくつかの実施形態に関連して本開示を説明したが、本明細書に記載された特定の形態に限定されることは意図していない。さらに、本開示の特徴は、特定の実施形態に関連して説明されているように見えるが、当業者であれば、説明した実施形態の様々な特徴を、本技術を実施するのに適した任意の方法で組み合わせてもよいことを認識するであろう。
それぞれの態様および特徴は、以下の番号付けされた条項によって定義される。
1.入力ビデオデータストリームを復号するように構成されたビデオデータデコーダであって、上記入力ビデオデータストリームに関連付けられたパラメータ値に応答し、上記パラメータ値は、複数の符号化レベルから選択された符号化レベルを示し、各符号化レベルは、少なくとも最大輝度ピクチャサイズおよび最大輝度サンプリングレートを定義するビデオデータデコーダと、
上記符号化レベルは、第1の数値成分および第2の数値成分を定義し、上記第2の数値成分は、ゼロ以上の数値であり、
ゼロの第2の数値成分を有する符号化レベルの場合、上記第1の数値成分は、最大輝度ピクチャサイズが増加するとともに単調に増加し、
上記第2の成分は、上記最大輝度サンプリングレートとともに変化し、
上記パラメータ値は、第1の所定の定数に上記第1の数値成分を乗算して得られた数値と、第2の所定の定数に上記第2の数値成分を乗算して得られた数値の合計としての上記符号化レベルの数値符号化であり、
上記ビデオデータデコーダのための性能データに関して、所与の入力ビデオデータストリームに関連付けられたパラメータ値に対して所定のテストを実行するように構成された比較器と、
上記所与の入力ビデオデータストリームに関連付けられたパラメータ値が、上記ビデオデータデコーダのための性能データに関する上記所定のテストに成功するとき、上記所与の入力ビデオデータストリームを復号し、上記所与の入力ビデオデータストリームに関連付けられたパラメータ値が、上記ビデオデータデコーダのための性能データに関する上記所定のテストに失敗するとき、上記所与の入力ビデオデータストリームを復号しないように上記ビデオデータデコーダを制御するように構成された制御回路と
を備える
符号化/復号装置。
2.上記1.に記載の符号化/復号装置であって、
上記所定のテストは、上記所与の入力ビデオデータストリームに関連付けられた上記パラメータ値および上記ビデオデータデコーダのための上記性能データの第1の数値成分(D)および第2の数値成分(d)によって表される上記第1の数値成分(S)および上記第2の数値成分(s)について、(i)sがd以下であり、(ii)S*2+sがD*2+d以下であるか否かの検出を含む
符号化/復号装置。
3.上記1.または2.に記載の符号化/復号装置であって、さらに、
上記入力ビデオデータストリームに関連付けられたパラメータセットから上記パラメータ値を検出するように構成された検出器
を備える
符号化/復号装置。
4.上記3.に記載の符号化/復号装置であって、
上記パラメータセットは、シーケンスパラメータセットである
符号化/復号装置。
5.上記1.から4.のいずれか1つに記載の符号化/復号装置であって、
上記第1の所定の定数は、16である
符号化/復号装置。
6.上記1.から5.のいずれか1つに記載の符号化/復号装置であって、
上記第2の所定の定数は、1である
符号化/復号装置。
7.上記1.から5.のいずれか1つに記載の符号化/復号装置であって、
上記第2の所定の定数は、3である
符号化/復号装置。
8.上記1.から7.のいずれか1つに記載の符号化/復号装置であって、
上記パラメータ値は、8ビット値を含む
符号化/復号装置。
9.上記1.から8.のいずれか1つに記載の符号化/復号装置であって、
上記所定のテストは、上記入力ビデオデータストリームに関連付けられた上記パラメータ値が255に等しくないか否かの検出を含む
符号化/復号装置。
10.上記1.から9.のいずれか1つに記載の符号化/復号装置を備えるビデオ記憶装置、キャプチャ装置、送信装置、または受信装置。
11.入力ビデオデータストリームを符号化し、複数の符号化レベルから選択された符号化レベルに従って出力符号化ビデオデータストリームを生成するように構成されたビデオデータエンコーダであって、各符号化レベルは、少なくとも最大輝度ピクチャサイズおよび最大輝度サンプリングレートを定義するビデオデータエンコーダと、
上記符号化レベルは、第1の数値成分および第2の数値成分を定義し、上記第2の数値成分は、ゼロ以上の数値であり、
ゼロの第2の数値成分を有する符号化レベルの場合、上記第1の数値成分は、最大輝度ピクチャサイズが増加するとともに単調に増加し、
上記第2の成分は、上記最大輝度サンプリングレートとともに変化し、
上記出力ビデオデータストリームと関連付けるためにパラメータ値を符号化するように構成されたパラメータ値符号化回路であって、上記パラメータ値は、第1の所定の定数に上記第1の数値成分を乗算して得られた数値と、第2の所定の定数に上記第2の数値成分を乗算して得られた数値の合計としての上記符号化レベルの数値符号化であるパラメータ値符号化回路と
を備える
符号化/復号装置。
12.上記1.に記載の符号化/復号装置であって、
上記パラメータ値符号化回路は、上記符号化された出力ビデオデータストリームに関連付けられたパラメータセットの少なくとも一部として上記パラメータ値を符号化するように構成された
符号化/復号装置。
13.上記1.に記載の符号化/復号装置であって、
上記パラメータセットは、シーケンスパラメータセットである
符号化/復号装置。
14.上記11.から13.のいずれか1つに記載の符号化/復号装置であって、
上記第1の所定の定数は、16である
符号化/復号装置。
15.上記11.から14.のいずれか1つに記載の符号化/復号装置であって、
上記第2の所定の定数は、1である
符号化/復号装置。
16.上記11.から14.のいずれか1つに記載の符号化/復号装置であって、
上記第2の所定の定数は、3である
符号化/復号装置。
17.上記11.から16.のいずれか1つに記載の符号化/復号装置であって、
上記パラメータ値は、8ビット値を含む
符号化/復号装置。
18.上記11.から17.のいずれか1つに記載の符号化/復号装置を備えるビデオ記憶装置、キャプチャ装置、送信装置、または受信装置。
19.ビデオデータデコーダを動作させる方法であって、
入力ビデオデータストリームに関連付けられたパラメータ値を検出し、上記パラメータ値は、複数の符号化レベルから選択された符号化レベルを示し、各符号化レベルは、少なくとも最大輝度ピクチャサイズおよび最大輝度サンプリングレートを定義し、
上記符号化レベルは、第1の数値成分および第2の数値成分を定義し、上記第2の数値成分は、ゼロ以上の数値であり、
ゼロの第2の数値成分を有する符号化レベルの場合、上記第1の数値成分は、最大輝度ピクチャサイズが増加するとともに単調に増加し、
上記第2の成分は、上記最大輝度サンプリングレートとともに変化し、
上記パラメータ値は、第1の所定の定数に上記第1の数値成分を乗算して得られた数値と、第2の所定の定数に上記第2の数値成分を乗算して得られた数値の合計としての上記符号化レベルの数値符号化であり、
上記ビデオデータデコーダのための性能データに関して、所与の入力ビデオデータストリームに関連付けられたパラメータ値に対して所定のテストを実行し、
上記所与の入力ビデオデータストリームに関連付けられたパラメータ値が、上記ビデオデータデコーダのための性能データに関する上記所定のテストに成功するとき、上記所与の入力ビデオデータストリームを復号するように上記ビデオデータデコーダを制御し、
上記所与の入力ビデオデータストリームに関連付けられたパラメータ値が、上記ビデオデータデコーダのための性能データに関する上記所定のテストに失敗するとき、上記所与の入力ビデオデータストリームを復号しないように上記ビデオデータデコーダを制御する
動作方法。
20.コンピュータによって実行されたときに、上記19.に記載の動作方法を上記コンピュータに実行させるコンピュータソフトウェアを記憶するコンピュータ読み取り可能な非一時的記憶媒体。
21.入力ビデオデータストリームを符号化して、複数の符号化レベルから選択された符号化レベルに従って出力符号化ビデオデータストリームを生成し、各符号化レベルは、少なくとも最大輝度ピクチャサイズおよび最大輝度サンプリングレートを定義し、上記符号化レベルは、第1の数値成分および第2の数値成分を定義し、上記第2の数値成分は、ゼロ以上の数値であり、
ゼロの第2の数値成分を有する符号化レベルの場合、上記第1の数値成分は、最大輝度ピクチャサイズが増加するとともに単調に増加し、
上記第2の成分は、上記最大輝度サンプリングレートとともに変化し、
上記出力ビデオデータストリームと関連付けるためにパラメータ値を符号化し、上記パラメータ値は、第1の所定の定数に上記第1の数値成分を乗算して得られた数値と、第2の所定の定数に上記第2の数値成分を乗算して得られた数値の合計としての上記符号化レベルの数値符号化である
符号化方法。
22.コンピュータによって実行されたときに、上記21.に記載の動作方法を上記コンピュータに実行させるコンピュータソフトウェアを記憶するコンピュータ読み取り可能な非一時的記憶媒体。

Claims (11)

  1. ビデオデータデコーダと、制御回路とを具備する装置であって、
    前記ビデオデータデコーダは、入力ビデオデータストリームに関連付けられたパラメータ値に応答して、前記入力ビデオデータストリームを復号するように構成され、
    上記パラメータ値は、複数の符号化レベルから選択された符号化レベルを示し、各符号化レベルは、少なくとも最大輝度ピクチャサイズおよび最大輝度サンプリングレートを定義し、
    上記符号化レベルは、第1の数値成分および第2の数値成分を定義し、上記第2の数値成分は、ゼロ以上の数値であり、
    ゼロの第2の数値成分を有する符号化レベルの場合、上記第1の数値成分は、最大輝度ピクチャサイズが増加するとともに単調に増加し、
    上記第2の数値成分は、上記最大輝度サンプリングレートとともに変化し、
    上記パラメータ値は、第1の所定の定数に上記第1の数値成分を乗算して得られた数値と、第2の所定の定数に上記第2の数値成分を乗算して得られた数値の合計としての上記符号化レベルの数値符号化であり、
    前記制御回路は、上記ビデオデータデコーダのための性能データに関して、所与の入力ビデオデータストリームに関連付けられたパラメータ値に対して所定のテストを実行するように構成され、さらに、上記所与の入力ビデオデータストリームに関連付けられたパラメータ値が、上記ビデオデータデコーダのための性能データに関する上記所定のテストに成功するとき、上記所与の入力ビデオデータストリームを復号し、上記所与の入力ビデオデータストリームに関連付けられたパラメータ値が、上記ビデオデータデコーダのための性能データに関する上記所定のテストに失敗するとき、上記所与の入力ビデオデータストリームを復号しないように上記ビデオデータデコーダを制御するように構成され、
    上記所定のテストは、上記所与の入力ビデオデータストリームに関連付けられた上記パラメータ値および上記ビデオデータデコーダのための上記性能データの第1の数値成分(D)および第2の数値成分(d)によって表される上記第1の数値成分(S)および上記第2の数値成分(s)について、(i)sがd以下であり、(ii)S*2+sがD*2+d以下であるか否かの検出を含む
    装置。
  2. 請求項1に記載の装置であって、さらに、
    上記入力ビデオデータストリームに関連付けられたパラメータセットから上記パラメータ値を検出するように構成された検出器
    を具備する
    装置。
  3. 請求項2に記載の装置であって、
    上記パラメータセットは、シーケンスパラメータセットである
    装置。
  4. 請求項1に記載の装置であって、
    上記第1の所定の定数は、16である
    装置。
  5. 請求項1に記載の装置であって、
    上記第2の所定の定数は、1である
    装置。
  6. 請求項1に記載の装置であって、
    上記第2の所定の定数は、3である
    装置。
  7. 請求項1に記載の装置であって、
    上記パラメータ値は、8ビット値を含む
    装置。
  8. 請求項1に記載の装置であって、
    上記所定のテストは、上記入力ビデオデータストリームに関連付けられた上記パラメータ値が255に等しくないか否かの検出を含む
    装置。
  9. 請求項1に記載の装置を具備するビデオ記憶装置、キャプチャ装置、送信装置、または受信装置。
  10. ビデオデータデコーダを動作させる方法であって、
    入力ビデオデータストリームに関連付けられたパラメータ値を検出し、上記パラメータ値は、複数の符号化レベルから選択された符号化レベルを示し、各符号化レベルは、少なくとも最大輝度ピクチャサイズおよび最大輝度サンプリングレートを定義し、
    上記符号化レベルは、第1の数値成分および第2の数値成分を定義し、上記第2の数値成分は、ゼロ以上の数値であり、
    ゼロの第2の数値成分を有する符号化レベルの場合、上記第1の数値成分は、最大輝度ピクチャサイズが増加するとともに単調に増加し、
    上記第2の数値成分は、上記最大輝度サンプリングレートとともに変化し、
    上記パラメータ値は、第1の所定の定数に上記第1の数値成分を乗算して得られた数値と、第2の所定の定数に上記第2の数値成分を乗算して得られた数値の合計としての上記符号化レベルの数値符号化であり、
    上記ビデオデータデコーダのための性能データに関して、所与の入力ビデオデータストリームに関連付けられたパラメータ値に対して所定のテストを実行し、
    上記所与の入力ビデオデータストリームに関連付けられたパラメータ値が、上記ビデオデータデコーダのための性能データに関する上記所定のテストに成功するとき、上記所与の入力ビデオデータストリームを復号するように上記ビデオデータデコーダを制御し、
    上記所与の入力ビデオデータストリームに関連付けられたパラメータ値が、上記ビデオデータデコーダのための性能データに関する上記所定のテストに失敗するとき、上記所与の入力ビデオデータストリームを復号しないように上記ビデオデータデコーダを制御し、
    上記所定のテストは、上記所与の入力ビデオデータストリームに関連付けられた上記パラメータ値および上記ビデオデータデコーダのための上記性能データの第1の数値成分(D)および第2の数値成分(d)によって表される上記第1の数値成分(S)および上記第2の数値成分(s)について、(i)sがd以下であり、(ii)S*2+sがD*2+d以下であるか否かの検出を含む
    動作方法。
  11. コンピュータによって実行されたときに、請求項10に記載の動作方法を上記コンピュータに実行させるコンピュータソフトウェアを記憶するコンピュータ読み取り可能な非一時的記憶媒体。
JP2022558060A 2020-04-03 2020-12-16 ビデオデータの符号化および復号 Active JP7533609B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/839,271 2020-04-03
US16/839,271 US11140399B1 (en) 2020-04-03 2020-04-03 Controlling video data encoding and decoding levels
PCT/GB2020/053234 WO2021198630A1 (en) 2020-04-03 2020-12-16 Video data encoding and decoding

Publications (2)

Publication Number Publication Date
JP2023519850A JP2023519850A (ja) 2023-05-15
JP7533609B2 true JP7533609B2 (ja) 2024-08-14

Family

ID=74130260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022558060A Active JP7533609B2 (ja) 2020-04-03 2020-12-16 ビデオデータの符号化および復号

Country Status (9)

Country Link
US (2) US11140399B1 (ja)
EP (1) EP4128784A1 (ja)
JP (1) JP7533609B2 (ja)
CN (1) CN115336275B (ja)
AU (1) AU2020439607B2 (ja)
CA (1) CA3172160A1 (ja)
MX (1) MX2022011921A (ja)
TW (1) TWI882100B (ja)
WO (1) WO2021198630A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113875241A (zh) * 2019-06-25 2021-12-31 英特尔公司 具有水平推导的子图片和子图片集
US11792433B2 (en) * 2020-09-28 2023-10-17 Sharp Kabushiki Kaisha Systems and methods for signaling profile and level information in video coding
CN116781910A (zh) * 2023-07-03 2023-09-19 江苏汇智达信息科技有限公司 基于神经网络算法的信息转换系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065177A (ja) 2010-09-16 2012-03-29 Jvc Kenwood Corp 画像符号化装置、画像符号化方法、画像復号装置、及び画像復号方法
JP2015533054A (ja) 2012-09-24 2015-11-16 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングにおける仮想参照デコーダパラメータ
JP2018117354A (ja) 2012-09-28 2018-07-26 シャープ株式会社 画像符号化装置、画像符号化方法および記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345768B1 (en) * 2005-07-28 2013-01-01 Teradici Corporation Progressive block encoding using region analysis
US20140092961A1 (en) * 2012-09-28 2014-04-03 Sharp Laboratories Of America, Inc. Signaling decoder picture buffer information
WO2014050597A1 (ja) * 2012-09-28 2014-04-03 シャープ株式会社 画像復号装置
WO2015053330A1 (ja) * 2013-10-10 2015-04-16 シャープ株式会社 画像復号装置
EP3111645A1 (en) * 2014-02-26 2017-01-04 Dolby Laboratories Licensing Corporation Luminance based coding tools for video compression
JP6329246B2 (ja) * 2014-03-14 2018-05-23 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像復号装置
GB2524476B (en) * 2014-03-14 2016-04-27 Canon Kk Method, device and computer program for optimizing transmission of motion vector related information when transmitting a video stream
US10547860B2 (en) * 2015-09-09 2020-01-28 Avago Technologies International Sales Pte. Limited Video coding with trade-off between frame rate and chroma fidelity
GB2544476B (en) * 2015-11-16 2018-08-08 Displaylink Uk Ltd Data compression method and apparatus
GB201611253D0 (en) * 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
GB2564466B (en) * 2017-07-13 2020-01-08 Advanced Risc Mach Ltd Storing YUV texture data in a cache in a graphics processing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065177A (ja) 2010-09-16 2012-03-29 Jvc Kenwood Corp 画像符号化装置、画像符号化方法、画像復号装置、及び画像復号方法
JP2015533054A (ja) 2012-09-24 2015-11-16 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングにおける仮想参照デコーダパラメータ
JP2018117354A (ja) 2012-09-28 2018-07-26 シャープ株式会社 画像符号化装置、画像符号化方法および記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross et al.,Versatile Video Coding (Draft 8) [online],JVET-Q2001-vE(JVET-Q2001-vE.docx), [2023年12月8日検索],インターネット <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v15.zip>,2020年03月12日,pp.39,55-56,133-134,429-437
Steve Keating et al.,AHG9: Level coding in VVC [online],JVET-R0245(JVET-R0245.docx), [2023年12月8日検索],インターネット <URL: https://jvet-experts.org/doc_end_user/documents/18_Alpbach/wg11/JVET-R0245-v2.zip>,2020年04月03日

Also Published As

Publication number Publication date
JP2023519850A (ja) 2023-05-15
TW202205856A (zh) 2022-02-01
MX2022011921A (es) 2022-10-20
EP4128784A1 (en) 2023-02-08
US11140399B1 (en) 2021-10-05
TWI882100B (zh) 2025-05-01
AU2020439607B2 (en) 2023-06-29
WO2021198630A1 (en) 2021-10-07
CA3172160A1 (en) 2021-10-07
US20210314574A1 (en) 2021-10-07
AU2020439607A1 (en) 2022-09-15
US12149705B2 (en) 2024-11-19
CN115336275B (zh) 2025-08-15
CN115336275A (zh) 2022-11-11
US20230087135A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
US12149705B2 (en) Controlling video data encoding and decoding levels
JP2025029202A (ja) 画像データ符号化装置及び方法、ビデオ記憶・キャプチャ・送受信装置、機械読み取り可能な非一時記憶媒体、画像データ復号方法
US12323613B2 (en) Video data encoding and decoding circuity applying constraint data
JP7694578B2 (ja) 符号化ピクチャバッファを用いたビデオデータ符号化および復号
US20250280125A1 (en) Image data encoding and decoding
JP2025124666A (ja) ビデオデータ復号方法、装置及びビデオデータ符号化方法
GB2614271A (en) Picture data encoding and decoding
GB2593775A (en) Video data encoding and decoding
GB2593777A (en) Video data encoding and decoding
GB2599433A (en) Data encoding and decoding
GB2590722A (en) Data encoding and decoding
GB2590723A (en) Data encoding and decoding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240715

R150 Certificate of patent or registration of utility model

Ref document number: 7533609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150