JP7695042B2 - ニューラルネットワーク・ベースのツールのための階層構造を利用するビデオ符号化のための方法、システム、プログラム - Google Patents

Description

関連出願への相互参照
本願は、米国特許商標庁における米国仮特許出願第63/136,055号（2021年1月11日出願）および米国特許出願第17/478,138号（2021年9月17日出願）からの優先権を主張するものであり、その全体が参照により本明細書に組み入れられる。

分野
本開示は、一般に、データ処理の分野に関し、より詳細には、ビデオ符号化〔コーディング〕に関する。

動き補償を用いたインターピクチャー予測を用いたビデオ符号化および復号は、数十年前から知られている。非圧縮デジタルビデオは、一連のピクチャーから構成されることができ、各ピクチャーは、たとえば、1920×1080のルミナンス・サンプルおよび関連するクロミナンス・サンプルの空間寸法を有する。一連のピクチャーは、固定または可変のピクチャー・レート（非公式にフレーム・レートとしても知られる）、たとえば、60ピクチャー毎秒または60Hzを有することができる。非圧縮ビデオは、かなりのビットレート要件を有する。たとえば、サンプル当たり8ビットの1080p60 4:2:0ビデオ（60Hzのフレーム・レートでの1920×1080のルミナンス・サンプル解像度）は、1.5Gbit/sに近い帯域幅を必要とする。そのようなビデオの1時間は、600Gバイトを超える記憶スペースを必要とする。

H.264/先進ビデオ符号化（Advanced Video Coding）（H.264/AVC）、高効率ビデオ符号化（High-Efficiency Video Coding、HEVC）および多用途ビデオ符号化（Versatile Video Coding、VVC）のような伝統的なビデオ符号化標準は、同様の（再帰的な）ブロックベースのハイブリッド予測／変換フレームワークを共有しており、ここでは、イントラ／インター予測、整数変換、およびコンテキスト適応エントロピー符号化のような個々の符号化ツールが、全体効率を最適化するために集中的に手作りされている。

実施形態は、ビデオ符号化のための方法、システム、およびコンピュータ読み取り可能媒体に関する。ある側面によれば、ビデオ符号化のための方法が提供される。この方法は、現在ピクチャーを含むビデオ・データを受領することを含んでいてもよい。現在ピクチャーに関連する階層レベルおよび最も近い復号済みのピクチャーに基づいて、現在ピクチャーのために仮想参照フレームが生成される。ビデオ・データは、生成された参照フレームに基づいて復号される。

別の側面によれば、ビデオ符号化のためのコンピュータ・システムが提供される。コンピュータ・システムは、一つまたは複数のプロセッサと、一つまたは複数のコンピュータ可読メモリと、一つまたは複数のコンピュータ可読有形記憶装置と、および前記一つまたは複数のメモリのうちの少なくとも1つを介して前記一つまたは複数のプロセッサのうちの少なくとも1つによって実行するための、前記一つまたは複数の記憶装置のうちの少なくとも1つに記憶されたプログラム命令とを含み、それにより当該コンピュータ・システムは方法を実行することができる。方法は、現在ピクチャーを含むビデオ・データを受領することを含んでいてもよい。現在ピクチャーに関連する階層レベルおよび最も近い復号済みのピクチャーに基づいて、現在ピクチャーのために仮想参照フレームが生成される。ビデオ・データは、生成された参照フレームに基づいて復号される。

さらに別の側面によれば、ビデオ符号化のためのコンピュータ読み取り可能媒体が提供される。コンピュータ読み取り可能媒体は、一つまたは複数のコンピュータ読み取り可能記憶装置と、前記一つまたは複数の有形記憶装置のうちの少なくとも1つに記憶されたプログラム命令とを含んでいてもよく、該プログラム命令は、プロセッサによって実行可能である。プログラム命令は、現在ピクチャーを含むビデオ・データを受領することを含んでいてもよい方法を実行するために、プロセッサによって実行可能である。現在ピクチャーに関連する階層レベルおよび最も近い復号済みのピクチャーに基づいて、現在ピクチャーのために仮想参照フレームが生成される。ビデオ・データは、生成された参照フレームに基づいてデコードされる。

これらおよび他の目的、特徴および利点は、添付の図面との関連で読まれる例示的な実施形態の以下の詳細な説明から明白になるであろう。図面は、詳細な説明との関連で当業者の理解を容易にすることにおける明確性のためのものであるので、図面のさまざまな特徴は、正確なスケールではない。
少なくとも1つの実施形態によるネットワーク化されたコンピュータ環境を示す図である。 少なくとも1つの実施形態による、ループ・フィルタ／インター予測のための階層的時間的構造である。 少なくとも1つの実施形態による、ビデオ・データをエンコードおよびデコードするプログラムによって実行されるステップを示す、動作フローチャートである。 少なくとも1つの実施形態による、図1に示されたコンピュータおよびサーバーの内部および外部構成要素のブロック図である。 少なくとも1つの実施形態による、図1に示されるコンピュータ・システムを含む例示的なクラウドコンピューティング環境のブロック図である。 少なくとも1つの実施形態による、図5の例示的なクラウドコンピューティング環境の機能層のブロック図である。

特許請求される構造および方法の詳細な実施形態が本明細書に開示されているが、開示された実施形態は、単に、さまざまな形で具現されうる特許請求される構造および方法を例示するに過ぎないことを理解することができる。しかしながら、これらの構造体および方法は、多くの異なる形で具現されることができ、本明細書に記載の例示的な実施形態に限定されるものと解釈されるべきではない。むしろ、これらの例示的な実施形態は、本開示が十全かつ完備であり、当業者に範囲を完全に伝えるように提供される。本稿では、周知の特徴および技法の詳細は、提示された実施形態を不必要に埋没させることを避けるために省略されることがある。

実施形態は、概して、データ処理の分野に関し、より詳細には、ビデオ符号化に関する。以下に説明する例示的な実施形態は、特に、ループ・フィルタ／インター予測のための階層的な時間的構造に基づいてビデオ・データをエンコードおよびデコードするためのシステム、方法、およびコンピュータ・プログラムを提供する。よって、いくつかの実施形態は、ビデオ符号化における改善された効率を許容することによって、コンピューティングの分野を改善する能力を有する。

前述したように、動き補償を伴うインターピクチャー予測を用いたビデオ符号化および復号は、数十年前から知られている。非圧縮デジタルビデオは、一連のピクチャーから構成されることができ、各ピクチャーは、たとえば、1920×1080のルミナンス・サンプルおよび関連するクロミナンス・サンプルの空間寸法を有する。一連のピクチャーは、固定または可変のピクチャー・レート（非公式にフレーム・レートとしても知られる）、たとえば、60ピクチャー毎秒または60Hzを有することができる。非圧縮ビデオは、かなりのビットレート要件を有する。たとえば、サンプル当たり8ビットの1080p60 4:2:0ビデオ（60Hzのフレーム・レートでの1920×1080のルミナンス・サンプル解像度）は、1.5Gbit/sに近い帯域幅を必要とする。そのようなビデオの1時間は、600Gバイトを超える記憶スペースを必要とする。H.264/先進ビデオ符号化（Advanced Video Coding）（H.264/AVC）、高効率ビデオ符号化（High-Efficiency Video Coding、HEVC）および多用途ビデオ符号化（Versatile Video Coding、VVC）のような伝統的なビデオ符号化標準は、同様の（再帰的な）ブロックベースのハイブリッド予測／変換フレームワークを共有しており、ここでは、イントラ／インター予測、整数変換、およびコンテキスト適応エントロピー符号化のような個々の符号化ツールが、全体効率を最適化するために集中的に手作りされている。

ビデオ符号化および復号の1つの目的は、圧縮による入力ビデオ信号の冗長性の低減でありうる。圧縮は、場合によっては、前述の帯域幅または記憶スペースの要件を2桁以上減らすのに役立ちうる。可逆圧縮および不可逆圧縮の両方、ならびにそれらの組み合わせを用いることができる。可逆圧縮とは、圧縮されたもとの信号からもとの信号の正確なコピーが再構成されることができる技法をいう。不可逆圧縮を使用する場合、再構成された信号は、もとの信号と同一ではないかもしれないが、もとの信号と再構成された信号との間の歪みは、再構成された信号を意図された用途に有用にするのに十分小さい。ビデオの場合、不可逆圧縮が広く用いられている。許容される歪みの量は、用途に依存し、たとえば、ある種の消費者ストリーミング・アプリケーションのユーザーは、テレビジョン寄与アプリケーションのユーザーよりも高い歪みを許容することがありうる。達成可能な圧縮比は、以下を反映することができる：より高い認容可能／許容可能な歪みは、より高い圧縮比をもたらすことができる。

空間時間的ピクセル近傍は、後続の変換、量子化、およびエントロピー符号化のための対応する残差を得るための予測信号構築のために利用される。他方、ニューラルネットワーク（NN）の性質は、近傍ピクセルの受容野からの空間時間的情報を解析することにより空間時間的刺激の異なるレベルを抽出するというものである。高度な非線形性と非局所的な空間時間的相関を探査する能力は、圧縮品質を大幅に改善する有望な機会を提供する。

しかしながら、複数の近傍のビデオフレームからの情報を利用することの1つの注意点は、カメラの動きおよび動的なシーンによって引き起こされる複雑な動きである。従来のブロックベースの動きベクトルは、非並進運動についてはうまく機能できない。学習に基づくオプティカルフローは、ピクセル・レベルで正確な動き情報を提供することができるが、残念ながら、特に動いているオブジェクトの境界に沿って、誤りが生じやすい。何らかのハイブリッド・フレーム間予測では、データ駆動方式で任意の複雑な動きを暗黙的に処理するためにNNベースのモデルが適用される。

よって、性能および符号化ランタイムについて、より良好なトレードオフを得るために、NNベースのモデルをLFとして使用するとき、またはインター予測ツールのために、異なるフレームをループフィルタ（LF）を適用するための参照フレームとして選択する、または中間フレームを生成することが有利でありうる。

さまざまな実施形態による方法、装置（システム）、およびコンピュータ可読媒体のフローチャート図解および／またはブロック図を参照して、諸側面が本明細書に記載される。フローチャート図解および／またはブロック図の各ブロック、およびフローチャート図解および／またはブロック図のブロックの組み合わせは、コンピュータで読み取り可能なプログラム命令によって実現できることが理解されるであろう。

以下に説明する例示的な実施形態は、ビデオ・データをエンコードおよびデコードするシステム、方法およびコンピュータ・プログラムを提供する。ここで図1を参照すると、ビデオ・データをエンコードおよびデコードするためのビデオ符号化システム100（以下、「システム」）を示すネットワーク化コンピュータ環境の機能ブロック図である。図1は、1つの実装の例示を与えているにすぎず、種々の実施形態が実装されうる環境に関するいかなる制限も含意しないことを理解されたい。図示された環境に対する多くの修正が、設計および実装要件に基づいて行われうる。

システム100は、コンピュータ102およびサーバー・コンピュータ114を含んでいてもよい。コンピュータ102は、通信ネットワーク110（以下、「ネットワーク」）を介してサーバー・コンピュータ114と通信することができる。コンピュータ102は、プロセッサ104と、データ記憶装置106に記憶され、ユーザーとインターフェースをもち、サーバー・コンピュータ114と通信することをできるようにされたソフトウェア・プログラム108とを含むことができる。図4を参照して後述するように、コンピュータ102は、それぞれ内部構成要素800Aおよび外部構成要素900Aを含んでいてもよく、サーバー・コンピュータ114は、それぞれ内部構成要素800Bおよび外部構成要素900Bを含んでいてもよい。コンピュータ102は、たとえば、モバイルデバイス、電話、パーソナル・デジタル・アシスタント、ネットブック、ラップトップ・コンピュータ、タブレット・コンピュータ、デスクトップ・コンピュータ、またはプログラムを実行し、ネットワークにアクセスし、データベースにアクセスすることができる任意の種類のコンピューティング装置であってもよい。

サーバー・コンピュータ114はまた、図5および図6に関して後述するように、サービスとしてのソフトウェア（SaaS）、サービスとしてのプラットフォーム（PaaS）、またはサービスとしてのインフラストラクチャー（IaaS）のようなクラウドコンピューティングサービスモデルにおいて動作してもよい。サーバー・コンピュータ114はまた、プライベートクラウド、コミュニティクラウド、パブリッククラウド、またはハイブリッドクラウドのようなクラウドコンピューティング展開モデル内に位置してもよい。

ビデオ・データをエンコードおよびデコードするために使用されうるサーバー・コンピュータ114は、データベース112と対話することができるビデオ符号化プログラム116（以下、「プログラム」）を実行することができるようにされる。ビデオ符号化プログラム方法は、図3に関して以下でより詳細に説明される。ある実施形態では、コンピュータ102は、ユーザー・インターフェースを含む入力装置として動作してもよく、一方、プログラム116は、主としてサーバー・コンピュータ114上で動作してもよい。代替的な実施形態では、プログラム116は、主として一つまたは複数のコンピュータ102上で動作してもよく、一方、サーバー・コンピュータ114は、プログラム116によって使用されるデータの処理および記憶のために使用されてもよい。プログラム116は、独立したプログラムであってもよいし、より大きなビデオ符号化プログラムに統合されてもよいことに留意されたい。

しかしながら、プログラム116のための処理は、ある場合には、コンピュータ102およびサーバー・コンピュータ114の間で任意の比率で分担されうることに留意されたい。別の実施形態では、プログラム116は、2つ以上のコンピュータ、サーバー・コンピュータ、またはコンピュータとサーバー・コンピュータの何らかの組み合わせ、たとえば、ネットワーク110を横断して単一のサーバー・コンピュータ114と通信する複数のコンピュータ102上で動作してもよい。別の実施形態では、たとえば、プログラム116は、ネットワーク110を横断して複数のクライアントコンピュータと通信する複数のサーバー・コンピュータ114上で動作してもよい。あるいはまた、プログラムは、ネットワークを横断してサーバーおよび複数のクライアントコンピュータと通信するネットワークサーバー上で動作してもよい。

ネットワーク110は、有線接続、無線接続、光ファイバー接続、またはそれらの何らかの組み合わせを含んでいてもよい。一般に、ネットワーク110は、コンピュータ102とサーバー・コンピュータ114との間の通信をサポートする接続およびプロトコルの任意の組み合わせでありうる。ネットワーク110は、たとえば、ローカルエリアネットワーク（LAN）、インターネットのような広域ネットワーク（WAN）、公衆交換電話ネットワーク（PSTN）のような電気通信ネットワーク、無線ネットワーク、公衆交換ネットワーク、衛星ネットワーク、セルラーネットワーク（たとえば、第5世代（5G）ネットワーク、ロングタームエボリューション（LTE）ネットワーク、第3世代（3G）ネットワーク、符号分割多元接続（CDMA）ネットワーク等）、公衆陸上移動ネットワーク（PLMN）、都市圏ネットワーク（MAN）、専用ネットワーク、アドホックネットワーク、イントラネット、光ファイバーベースのネットワーク等、および／またはこれらのまたは他のタイプのネットワークの組み合わせのような種々のタイプのネットワークを含むことができる。

図1に示される装置およびネットワークの数および配置は、一例として提供されている。実際上は、図1に示されたものに比して、追加的な装置および／またはネットワーク、より少ない装置および／またはネットワーク、異なる装置および／またはネットワーク、または異なる配置の装置および／またはネットワークがあってもよい。さらに、図1に示される2つ以上の装置が単一の装置内に実装されてもよく、または図1に示される単一の装置が複数の分散した装置として実装されてもよい。追加的または代替的に、システム100の装置のセット（たとえば、一つまたは複数の装置）は、システム100の装置の別のセットによって実行されるものとして説明される一つまたは複数の機能を実行してもよい。

ここで図2を参照すると、ループ・フィルタ／インター予測のための階層的時間的構造200が示されている。階層的時間的構造200は、I/P/Bフレームについてのビデオ符号化におけるフレーム生成または向上のためにNNモデルを使用するために、ビデオ符号化および復号においてNNベースのループ・フィルタまたはフレーム間予測を適用して、参照フレームとして適用されるフレームの数／インデックスを決定してもよい。複数の画像フレームx₁,…x_T（たとえば、フレーム1～16）を含む入力ビデオxを想定する。第1の動き推定ステップでは、フレームは空間ブロックに分割され、各ブロックは逐次反復的に、より小さなブロックに分割されることができ、現在のフレームx_tと一組の前の再構成されたフレーム
との間の一組の動きベクトル
が、各ブロックについて計算される。下付き添え字tは、画像フレームの表示順（タイムスタンプ）に一致しないことがある、現在のt番目のエンコード・サイクルを表すことに注意されたい。また、
は、複数の以前のエンコード・サイクルからのフレームを含む。次いで、第2の動き補償ステップでは、現在の符号化ブロックについて、現在のフレームにおいて、現在のフレーム
において、動きベクトルm_tに基づいて前の
の対応するピクセルをコピーすることによって、予測されたブロックが得られ、もとのブロックと予測されたブロックとの間の残差r_tが得られる。第3段階では、残差r_tを変換し、次いで量子化される。

量子化段階は、量子化された変換ブロックを与える。動きベクトルm_tと量子化された変換ブロックの両方が、エントロピー符号化によりビットストリームにエンコードされ、それがデコーダに送られる。次いで、デコーダ側で、デコードされたブロックは、逆変換および脱量子化を（典型的には、脱量子化された係数を有するIDCTのような逆変換を通じて）を適用して、復元された残差
を得る。次いで、
が予測子ブロックに加え戻され、再構成されたブロックが得られる。再構成された
の視覚的品質を改善するために、追加の構成要素がさらに使用される。典型的には、ブロッキング解除フィルタ（DF）、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）などを含む、以下の向上モジュールの一つまたは複数が
を処理するために選択されることができる。

HEVC、VVC、または他のビデオ符号化フレームワークまたは規格では、デコードされたピクチャーは参照ピクチャーリスト（reference picture list、RPL）に含められてもよく、エンコードまたはデコード順で後続のピクチャーをコーディングするために、参照ピクチャーとして動き補償された予測のために、また他のパラメータ予測のために使用されてもよい。あるいは、現在ピクチャーのデコードされた部分は、現在ピクチャーの異なる領域またはブロックを符号化するために、イントラ予測またはイントラブロックコピーのために使用されてもよい。

一例では、一つまたは複数の仮想参照が生成され、エンコーダとデコーダの両方において、またはデコーダのみにおいてRPLに含められてもよい。仮想参照ピクチャーは、信号処理、空間的または時間的フィルタリング、スケーリング、重み付け平均化、アップ／ダウンサンプリング、プーリング、メモリでの再帰的処理、線形システム処理、非線形システム処理、ニューラルネットワーク処理、深層学習ベースの処理、AI処理、事前トレーニングされたネットワーク処理、機械学習ベースの処理、オンライン・トレーニング・ネットワーク処理、またはそれらの組み合わせを含む一つまたは複数のプロセスによって生成されてもよい。仮想参照を生成する処理については、出力／表示順とエンコード／デコード順の両方で現在ピクチャーに先行するゼロ個以上の前方参照ピクチャーと、出力／表示順の両方で現在ピクチャーに後続するがエンコード／デコード順では現在ピクチャーに先行するゼロ個以上の後方参照ピクチャーが、入力データとして使用される。処理の出力は、新しい参照ピクチャーとして使用される仮想ピクチャー／生成されたピクチャーである。通常の動き補償技術は、この新しい参照ピクチャーが、現在ピクチャーにおける符号化ブロックを予測するために選択される場合に適用されうる。

一例では、NNベースの方法は、各フレーム上のスライス／CTUレベルの両方で、上述の追加的な構成要素（たとえば、DF、SAO、ALF、CCALFなど）の一つまたは複数と組み合わせて、または上述の追加的な構成要素（たとえば、DF、SAO、ALF、CCALFなど）の一つまたは複数を置き換えるためにループ内フィルタ設計に適用されてもよい。適用される場合、再構成された現在ピクチャーは、NNベースのモデルへの入力データとして、NN向上されたフィルタリングされたピクチャーを生成するために使用される。各ブロックまたはCTUについて、このNN向上されたフィルタリングされたピクチャーをポストフィルタリング結果として選択するか、従来のフィルタリング方法を使用するかの決定がされることができる。

NNベースのビデオ符号化ツールは、それらの階層レベルIDがある種の条件を満たす場合にピクチャーに適用されうる。ある実施形態では、NNベースのビデオ符号化ツールは、所与の閾値以下の時間レベルIDを有するピクチャーに適用されてもよい。言い換えれば、NNベースのビデオ符号化ツールは、所与の閾値よりも大きな時間的レベルIDをもつピクチャーには適用されなくてもよい。別の実施形態では、NNベースのビデオ符号化ツールは、所与の閾値よりも大きい時間的レベルIDをもつピクチャーに適用されてもよい。言い換えれば、NNベースのビデオ符号化ツールは、所与の閾値以下の時間的レベルIDをもつピクチャーには適用されなくてもよい。別の実施形態では、NNベースのビデオ符号化ツールは、特定の時間的レベルIDをもつピクチャーにのみ適用されてもよい。別の実施形態では、NNベースのビデオ符号化は、NNベースのインター予測またはループフィルタリング、またはその両方であってもよい。

階層構造は、あらかじめ定義された予測構造に拡張されることができ、シーケンス内のピクチャーのいくつかは、他のピクチャーのための参照として使用されうるが、いくつかの他のピクチャーは、参照として全く使用されなくてもよい。他の場合には、シーケンス内のピクチャーの一部が他のものよりも重要であるとみなされる。それらは、より小さなQPを設定することによって符号化される。これらのピクチャーは、他のピクチャーよりも、より頻繁に参照として使用されることができる。場合によっては、これらのピクチャーは、ある階層的時間的レベルIDで割り当てられてもよく、NNベースのビデオ符号化ツールは、上記の実施形態と同様の意味で、これらのピクチャーには適用されてもよいが、シーケンス内の残りのピクチャーには適用されなくてもよい。

ビデオ符号化におけるNNベースの符号化ツールのための階層構造は、ピクチャーが属する階層レベルに従って、ピクチャーにニューラルネットワーク・ベースの符号化ツールを適用するかどうかを決定してもよい。NNベースの符号化ツールは、限定されるわけではないが、インター予測のためのNNベースの仮想参照ピクチャー、NNベースのループフィルタリングを含んでいてもよい。以下は、提案される方法をさらに詳しく説明するためのいくつかの例である。

一例では、階層的時間的構造200では、現在ピクチャーが3に等しいピクチャー順カウント（picture order count、POC）をもつとき、通例、0、2、4または8に等しいPOCをもつデコードされたピクチャーが、デコードピクチャーバッファに格納されてもよく、それらのいくつかが現在ピクチャー（POC＝3）をデコードするための参照ピクチャーリスト（reference picture list、RPL）に含まれる。たとえば、レベル4のフレームが、NNベースの符号化ツールを適用するためのフレームとして選択される場合、ほとんどのNNベースのインター予測モデルにおいて、現在ピクチャー（POC＝3）についての仮想参照フレームを生成するために、2または4に等しいPOCをもつ最も近いデコードされたピクチャーが、NNベースのモデルを使用する仮想参照生成プロセスに供給するための入力データとして使用されうる。NNベースのインター予測モデルが8回適用され、レベル4の各ピクチャーについての参照ピクチャーとしてすべての仮想参照フレームを生成する。同じ実施形態または別の実施形態では、フィルタ適用フレームとして時間的レベル4を選択する場合、詳細向上またはポストフィルタリングのためにNNベースのループ・フィルタを使用するときに、NNベースのループ・フィルタ生成が8回立ち上げられ、時間的レベル4で、各ピクチャーから、NN向上されたフィルタリングされたピクチャーを得る。同じまたは別の実施形態では、3以下の時間的レベルIDを有するすべてのピクチャーは、NNベースのビデオ符号化ツールを適用しない。別の例では、時間的レベルIDが3以下のすべてのピクチャーは、NNベースのループ・フィルタまたはNNベースのインター予測など、NNベースのビデオ符号化ツールを適用する。

ここで図3を参照すると、ループ・フィルタ／インター予測のための階層的時間的構造に基づいてビデオ・データを符号化するプログラムによって実行される方法300のステップを示す動作フローチャートが示されている。

302において、方法300は、現在ピクチャーを含むビデオ・データを受領することを含んでいてもよい。

304において、方法300は、現在ピクチャーに関連する階層レベルおよび最も近いデコードされたピクチャーに基づいて、現在ピクチャーのための仮想参照フレームを生成することを含んでいてもよい。

306において、方法300は、生成された参照フレームに基づいてビデオ・データをデコードすることを含んでいてもよい。

図3は、1つの実装の例示を提供するだけであって、異なる実施形態がどのように実装されうるかに関する制限を意味しないことが理解されうる。図示された環境に対する多くの修正は、設計および実装要件に基づいて行われうる。

図4は、例示的な実施形態による、図1に示されたコンピュータの内部および外部構成要素のブロック図400である。図4は、1つの実装の例示を提供するだけであり、異なる実施形態が実装されうる環境に関するいかなる制限も意味しないことを理解されたい。図示された環境に対する多くの修正が、設計および実装要件に基づいて行われうる。

コンピュータ102（図1）およびサーバー・コンピュータ114（図1）は、図5に示される内部構成要素800A、Bおよび外部構成要素900A、Bのそれぞれのセットを含んでいてもよい。内部構成要素800のセットのそれぞれは、一つまたは複数のバス826上の一つまたは複数のプロセッサ820、一つまたは複数のコンピュータ読み取り可能RAM 822、および一つまたは複数のコンピュータ読み取り可能ROM 824、一つまたは複数のオペレーティング・システム828、および一つまたは複数のコンピュータ読み取り可能な有形の記憶装置830を含む。

プロセッサ820は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアの組み合わせで実装される。プロセッサ820は、中央処理装置（CPU）、グラフィックス処理装置（GPU）、加速処理装置（APU）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（DSP）、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、または別のタイプの処理構成要素である。いくつかの実装では、プロセッサ820は、機能を実行するようにプログラムされうる一つまたは複数のプロセッサを含む。バス826は、内部構成要素800A、B間の通信を可能にする構成要素を含む。

一つまたは複数のオペレーティング・システム828、ソフトウェア・プログラム108（図1）、およびサーバー・コンピュータ114（図1）上のビデオ・コーディング・プログラム116（図1）は、それぞれのRAM 822（典型的にはキャッシュ・メモリを含む）の一つまたは複数を介して、それぞれのプロセッサ820のうちの一つまたは複数によって実行するために、それぞれのコンピュータ読み取り可能な有形な記憶装置830のうちの一つまたは複数に記憶される。図4に示される実施形態では、コンピュータ読み取り可能な有形な記憶装置830のそれぞれは、内部ハードドライブの磁気ディスク記憶装置である。あるいはまた、コンピュータ読み取り可能な有形な記憶装置830のそれぞれは、ROM 824、EPROM、フラッシュメモリのような半導体記憶装置、光ディスク、光磁気ディスク、固体ディスク、コンパクトディスク（CD）、デジタル多用途ディスク（DVD）、フロッピーディスク、カートリッジ、磁気テープ、および／またはコンピュータ・プログラムおよびデジタル情報を記憶することができる他のタイプの非一時的なコンピュータ読み取り可能な有形な記憶装置である。

内部構成要素800A、Bの各セットはまた、CD-ROM、DVD、メモリースティック、磁気テープ、磁気ディスク、光ディスク、または半導体記憶装置のような一つまたは複数のポータブルなコンピュータ読み取り可能な有形な記憶装置936との間で読み書きするためのR/Wドライブまたはインターフェース832を含む。ソフトウェア・プログラム108（図1）およびビデオ符号化プログラム116（図1）のようなソフトウェア・プログラムは、それぞれのポータブルなコンピュータ読み取り可能な有形な記憶装置936の一つまたは複数に記憶され、それぞれのR/Wドライブまたはインターフェース832を介して読み込まれ、それぞれのハードドライブ830にロードされることができる。

内部構成要素800A、Bの各セットは、TCP/IPアダプターカード、無線Wi-Fiインターフェースカード、または3G、4G、もしくは5G無線インターフェースカード、または他の有線もしくは無線通信リンクなどのネットワークアダプターまたはインターフェース836も含む。ソフトウェア・プログラム108（図1）およびサーバー・コンピュータ114（図1）上のビデオ符号化プログラム116（図1）は、ネットワーク（たとえば、インターネット、ローカルエリアネットワークまたは他のワイドエリアネットワーク）およびそれぞれのネットワークアダプターまたはインターフェース836を介して、外部コンピュータから、コンピュータ102（図1）およびサーバー・コンピュータ114にダウンロードされることができる。ネットワークアダプターまたはインターフェース836から、ソフトウェア・プログラム108およびサーバー・コンピュータ114上のビデオ符号化プログラム116がそれぞれのハードドライブ830にロードされる。ネットワークは、銅線、光ファイバー、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバーを含むことができる。

外部コンポーネント900A、Bのセットのそれぞれは、コンピュータディスプレイモニター920、キーボード930、およびコンピュータマウス934を含むことができる。外部コンポーネント900A、Bはまた、タッチスクリーン、仮想キーボード、タッチパッド、ポインティングデバイス、および他のヒューマンインターフェースデバイスを含むことができる。内部構成要素800A、Bのセットのそれぞれは、コンピュータディスプレイモニター920、キーボード930、およびコンピュータマウス934にインターフェースするためのデバイスドライバ840も含む。デバイスドライバ840、R/Wドライブまたはインターフェース832、およびネットワークアダプターまたはインターフェース836は、ハードウェアおよびソフトウェア（記憶装置830および／またはROM 824に記憶）を備える。

本開示は、クラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載される教示の実装は、クラウドコンピューティング環境に限定されないことが、あらかじめ理解される。むしろ、いくつかの実施形態は、現在知られているか、または後に開発される任意の他のタイプのコンピューティング環境との関連で実装可能である。

クラウドコンピューティングは、構成可能なコンピューティング資源（たとえば、ネットワーク、ネットワーク帯域幅、サーバー、処理、メモリ、ストレージ、アプリケーション、仮想マシン、サービス）の共有プールへの便利でオンデマンドなネットワークアクセスを可能にするためのサービス提供のモデルであり、最小限の管理努力またはサービスの提供者との対話で迅速にプロビジョンおよびリリースされることができる。このクラウドモデルは、少なくとも5つの特性、少なくとも3つのサービスモデル、および少なくとも4つの展開モデルを含むことができる。

特性は以下の通り:
オンデマンド・セルフサービス：クラウド消費者は、サービスプロバイダーとの人的な対話を必要とせずに、必要に応じて自動的に、サーバーの時間やネットワークストレージなどのコンピューティング機能を一方的にプロビジョンすることができる。
広域ネットワークアクセス：機能は、ネットワークを通じて利用可能であり、不均一なシンクライアントまたはシッククライアント・プラットフォーム（たとえば、携帯電話、ラップトップ、およびPDA）による使用を促進する標準的な機構を通じてアクセスされる。
資源プーリング：プロバイダーのコンピューティング資源は、マルチテナントモデルを使用して複数の利用者にサービスするためにプールされ、種々の物理的資源および仮想資源は、需要に応じて動的に割り当てられ、再割り当てされる。消費者は、一般に、提供される資源の正確な位置に関する制御や知識を持たないという点である意味で位置独立性があるが、より高いレベルの抽象化（たとえば、国、州、データセンター）で位置を特定することができてもよい。
迅速な弾力性：迅速にスケールアウトし、迅速にスケールインするために、機能は、迅速にかつ弾力的に、場合によっては自動的に、プロビジョンされることができる。消費者にとっては、プロビジョニングのために利用可能な機能はしばしば無制限であるように見え、いつでもどんな量でも購入できる。
測定されるサービス：クラウドシステムは、サービスのタイプ（たとえば、ストレージ、処理、帯域幅、およびアクティブなユーザーアカウント）に適したあるレベルの抽象化で計測機能を利用することにより、自動的に資源の使用を制御し、最適化する。資源の使用を監視し、制御し、報告することができ、利用されるサービスの提供者と消費者の両方のために透明性を提供する。

サービスモデルは以下のとおり：
サービスとしてのソフトウェア（SaaS）：消費者に提供される機能は、クラウドインフラストラクチャー上で動作するプロバイダーのアプリケーションを利用することである。アプリケーションは、ウェブ・ブラウザのようなシンクライアント・インターフェースを通じて、さまざまなクライアント装置からアクセスできる（たとえば、ウェブ・ベースの電子メール）。消費者は、ネットワーク、サーバー、オペレーティング・システム、ストレージ、あるいはさらには個々のアプリケーション機能を含め基礎になるインフラストラクチャーを、管理したり制御したりすることはない。ただし、ユーザーに固有のアプリケーション構成の設定は例外となる可能性がある。
サービスとしてのプラットフォーム（PaaS）：消費者に提供される機能は、クラウドインフラストラクチャー上に、プロバイダーによってサポートされるプログラミング言語やツールを使用して作成された、消費者が作成または取得したアプリケーションを展開することである。消費者は、ネットワーク、サーバー、オペレーティング・システムまたはストレージを含む基礎になるクラウドインフラストラクチャーを管理または制御することはしないが、展開されたアプリケーションや、可能性としてはアプリケーションをホストする環境の構成に対するコントロールをもつ。
サービスとしてのインフラストラクチャー（laaS）：消費者に提供される機能は、処理、ストレージ、ネットワーク、およびその他の基本的なコンピューティング資源をプロビジョンすることであり、消費者は、オペレーティング・システムおよびアプリケーションを含みうる任意のソフトウェアを展開し、実行することができる。消費者は、基礎となるクラウドインフラストラクチャーを管理または制御することはしないが、オペレーティング・システム、ストレージ、展開されたアプリケーションに対するコントロールをもち、可能性としては、選択されたネットワークコンポーネント（たとえば、ホストファイアウォール）の限られたコントロールをもつ。

展開モデルは、以下のとおり：
プライベートクラウド：クラウドインフラストラクチャーはある組織のみのために運用される。これは、その組織または第三者によって管理されてもよく、敷地内または敷地外に存在しうる。
コミュニティクラウド：クラウドインフラストラクチャーは、いくつかの組織によって共有され、共有される関心事（たとえば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンスの考慮事項）をもつ特定のコミュニティをサポートする。これは、その組織または第三者によって管理されてもよく、敷地内または敷地外に存在しうる。
パブリッククラウド：クラウドインフラストラクチャーは、クラウドサービスを販売する組織によって所有され、一般大衆または大規模な業界団体に対して利用可能にされる。
ハイブリッドクラウド：クラウドインフラストラクチャーは、独自のエンティティのままであるが、データとアプリケーションの移植性を可能にする標準化された、または独自の技術（クラウド間の負荷分散のためのクラウドバースト（cloud bursting）など）によって結合されている2つ以上のクラウド（プライベート、コミュニティ、パブリック）から構成される。

クラウドコンピューティング環境は、サービス指向であり、ステートレス性、低結合性、モジュール性、および意味論的相互運用性に焦点を当てている。クラウドコンピューティングの核心には、相互接続されたノードのネットワークからなるインフラストラクチャーがある。

図5を参照すると、例示的なクラウドコンピューティング環境500が示されている。図示のように、クラウドコンピューティング環境500は、一つまたは複数のクラウドコンピューティングノード10を含み、クラウド消費者によって使用されるローカルなコンピューティング装置、たとえば、携帯デジタルアシスタント（PDA）または携帯電話54A、デスクトップ・コンピュータ54B、ラップトップ・コンピュータ54C、および／または自動車コンピュータ・システム54Nが、該一つまたは複数のクラウドコンピューティングノード10と通信することができる。クラウドコンピューティングノード10は、互いと通信することができる。それらは、物理的または仮想的に、上述のようなプライベート、コミュニティ、パブリック、またはハイブリッドクラウド、またはそれらの組み合わせのような一つまたは複数のネットワークにグループ化されてもよい（図示せず）。これにより、クラウドコンピューティング環境500は、クラウド消費者がローカルなコンピューティング装置上の資源を維持する必要のない、サービスとしてのインフラストラクチャー、プラットフォームおよび／またはソフトウェアを提供することができる。図5に示されるコンピューティング装置54A～Nのタイプは、単に例示的なものとして意図されており、クラウドコンピューティングノード10およびクラウドコンピューティング環境500は、任意のタイプのネットワークおよび／またはネットワークアドレッシング可能な接続（たとえば、ウェブブラウザを使用する）を通じて任意のタイプのコンピュータ化された装置と通信することができることが理解される。

図6を参照すると、クラウドコンピューティング環境500（図5）によって提供される一組の機能抽象化層600が示されている。図6に示される構成要素、層、および機能は単に例示的であることが意図されており、実施形態はこれに限定されるものではないことをあらかじめ理解されたい。図示のように、以下の層および対応する機能が提供される。

ハードウェアおよびソフトウェア層60は、ハードウェアおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例は：メインフレーム61、RISC（縮小命令セットコンピュータ）アーキテクチャー・ベースのサーバー62、サーバー63、ブレードサーバー64、ストレージ装置65、およびネットワークおよびネットワーキングコンポーネント66を含む。いくつかの実施形態では、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバー・ソフトウェア67およびデータベース・ソフトウェア68を含む。

仮想化層70は、抽象化層を提供し、該抽象化層から、仮想エンティティの以下の例が提供されてもよい：仮想サーバー71、仮想記憶装置72、仮想プライベートネットワークを含む仮想ネットワーク73、仮想アプリケーションおよびオペレーティング・システム74、および仮想クライアント75。

一例において、管理層80は、以下に記載される機能を提供してもい。資源プロビジョニング81は、クラウドコンピューティング環境内のタスクを実行するために利用されるコンピューティング資源およびその他の資源の動的な調達を提供する。計測および値付け82は、クラウドコンピューティング環境内で資源が利用されるときのコスト追跡、およびこれらの資源の消費についての請求またはインボイス発行を提供する。一例において、これらの資源は、アプリケーション・ソフトウェア・ライセンスを含むことができる。セキュリティは、クラウド消費者およびタスクについての素性確認と、データおよびその他の資源についての保護を提供する。ユーザーポータル83は、消費者およびシステム管理者のためにクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理84は、要求されるサービスレベルが満たされるように、クラウドコンピューティング資源の割り当ておよび管理を提供する。サービスレベル合意（Service Level Agreement、SLA）の計画および充足85は、SLAに従って将来の要件が予測されるクラウドコンピューティング資源の、事前手配および調達を提供する。

ワークロード層90は、そのためにクラウドコンピューティング環境が利用されうるところの機能の例を提供する。この層から提供されうるワークロードおよび機能の例は、マッピングおよびナビゲーション91、ソフトウェア開発およびライフサイクル管理92、仮想教室教育配信93、データ分析処理94、トランザクション処理95、およびビデオ符号化96を含む。ビデオ符号化96は、ループ・フィルタ／インター予測のために階層的時間的構造を使用することができる。

いくつかの実施形態は、可能なあらゆる技術的詳細レベルの集積化において、システム、方法、および／またはコンピュータ読み取り可能媒体に関することができる。コンピュータ読み取り可能媒体は、プロセッサに動作を実行させるためのコンピュータ読み取り可能なプログラム命令をその上に有するコンピュータ読み取り可能な非一時的な記憶媒体を含むことができる。

コンピュータ読み取り可能な記憶媒体は、命令実行装置による使用のための命令を保持し、記憶することができる有形の装置であってもよい。コンピュータ読み取り可能な記憶媒体は、たとえば、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、またはこれらの適切な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体の、より具体的な例の非網羅的なリストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（RAM）、読み出し専用メモリ（ROM）、消去可能なプログラマブル読み出し専用メモリ（EPROMまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（SRAM）、ポータブルなコンパクトディスク読み出し専用メモリ（CD-ROM）、デジタル多用途ディスク（DVD）、メモリースティック、フロッピーディスク、パンチカードもしくは記録された命令を有する溝内の隆起構造のような機械的にエンコードされたデバイス、およびこれらの任意の適切な組み合わせを含む。本明細書で使用されるコンピュータ読み取り可能な記憶媒体は、たとえば電波または他の自由に伝搬する電磁波、導波路または他の伝送媒体を通って伝搬する電磁波（たとえば、光ファイバーケーブルを通過する光パルス）、またはワイヤを通って伝送される電気信号のような、一時的な信号それ自体であると解釈されるべきではない。

本明細書に記載されるコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体からそれぞれのコンピューティング／処理装置にダウンロードされることができ、あるいは、ネットワーク、たとえば、インターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して、外部コンピュータまたは外部記憶装置にダウンロードされることができる。ネットワークは、銅の伝送ケーブル、光伝送ファイバー、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバーを含むことができる。各コンピューティング／処理装置内のネットワーク・アダプター・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ読み取り可能なプログラム命令を受信し、該コンピュータ読み取り可能なプログラム命令を、それぞれのコンピューティング／処理装置内のコンピュータ読み取り可能な記憶媒体に記憶するために転送する。

演算を実行するためのコンピュータ読み取り可能なプログラムコード／命令は、アセンブラ命令、命令セットアーキテクチャー（ISA）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、またはSmalltalk、C++などのようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または類似のプログラミング言語のような手続き型プログラミング言語を含む、一つまたは複数のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードのいずれかであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザーのコンピュータ上で、部分的にユーザーのコンピュータ上で、単体のソフトウェア・パッケージとして、部分的にはユーザーのコンピュータ上、部分的にはリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバー上で実行されうる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（LAN）またはワイドエリアネットワーク（WAN）を含む任意のタイプのネットワークを通じてユーザーのコンピュータに接続されてもよく、または、接続は、外部コンピュータに対して（たとえば、インターネットサービスプロバイダーを使用してインターネットを通じて）行われてもよい。いくつかの実施形態では、たとえばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（FPGA）、またはプログラマブル論理アレイ（PLA）を含む電子回路は、諸側面または諸動作を実行するために、コンピュータ読み取り可能プログラム命令の状態情報を利用することによってコンピュータ読み取り可能プログラム命令を実行して、電子回路をパーソナライズすることができる。

これらのコンピュータ読み取り可能プログラム命令は、汎用コンピュータ、特殊目的コンピュータ、または他のプログラマブルなデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラマブルなデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図のブロック（単数または複数）において指定された機能／工程を実装するための手段を作り出すように、機械を生み出すことができる。これらのコンピュータ読み取り可能なプログラム命令はまた、コンピュータ、プログラマブルなデータ処理装置、および／または他の装置を特定の仕方で機能するよう指令することができるコンピュータ読み取り可能な記憶媒体に記憶されてもよく、その結果、その中に記憶された命令を有するコンピュータ読み取り可能な記憶媒体は、フローチャートおよび／またはブロック図のブロック（単数または複数）において指定された機能／工程の諸側面を実装する命令を含む製造物を含む。

コンピュータ読み取り可能なプログラム命令はまた、コンピュータ、他のプログラマブルなデータ処理装置、または他の装置にロードされて、コンピュータ、他のプログラマブルな装置、または他の装置上で一連の動作ステップを実行させて、コンピュータ、他のプログラマブルな装置、または他の装置で実行される命令がフローチャートおよび／またはブロック図のブロック（単数または複数）において指定された機能／工程を実装するように、コンピュータ実装されるプロセスを生じさせることができる。

図面におけるフローチャートおよびブロック図は、さまざまな実施形態によるシステム、方法、およびコンピュータ読み取り可能な媒体の可能な実装のアーキテクチャー、機能性、および動作を示す。これに関し、フローチャートまたはブロック図の各ブロックは、指定された論理機能（単数または複数）を実装するための一つまたは複数の実行可能な命令を含む、モジュール、セグメント、または命令の一部を表すことができる。この方法、コンピュータ・システム、およびコンピュータ読み取り可能な媒体は、図面に示されたものに比して、追加的なブロック、より少ないブロック、異なるブロック、または異なる配置のブロックを含んでいてもよい。いくつかの代替的な実装では、ブロックに記載された機能は、図面に記載された順序から外れて行われてもよい。たとえば、順次に示される2つのブロックは、実際には、同時または実質的に同時的に実行されてもよく、または、それらのブロックは、関わっている機能に依存して、時に逆の順序で実行されてもよい。また、ブロック図および／またはフローチャート図解の各ブロック、およびブロック図および／またはフローチャート図解のブロックの組み合わせは、指定された機能または工程を実行するか、または特殊目的のハードウェアおよびコンピュータ命令の組み合わせを実行する特殊目的のハードウェアベースのシステムによって実装されることができることに留意されたい。

本明細書に記載されるシステムおよび／または方法は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアの組み合わせの種々の形で実装されうることは明白であろう。これらのシステムおよび／または方法を実装するために使用される、実際の特化した制御ハードウェアまたはソフトウェアコードは、実施を限定するものではない。よって、システムおよび／または方法の動作および挙動は、特定のソフトウェアコードを参照することなく本明細書に記載されており、本明細書の記載に基づいてシステムおよび／または方法を実装するようにソフトウェアおよびハードウェアが設計されうることが理解される。

本明細書中で使用されるいかなる要素、工程、または命令も、明示的に記述されない限り、枢要または必須と解釈されるべきではない。また、本明細書で使用される場合、冠詞「a」および「an」は、一つまたは複数の項目を含むことが意図されており、「一つまたは複数」と交換可能に使用されうる。さらに、本明細書で使用される場合、用語「セット」は、一つまたは複数の項目（たとえば、関連項目、非関連項目、関連項目と非関連項目の組み合わせなど）を含むことが意図されており、「一つまたは複数」と交換可能に使用されうる。1つの項目のみが意図される場合、用語「1」または類似の言辞が使用される。また、本明細書で使用される用語「有する」、「もつ」、「有している」などは、オープンエンドの用語であることが意図されている。さらに、句「…に基づく」は、明示的に別段の記載がない限り、「少なくとも部分的に…に基づく」を意味することが意図されている。

さまざまな側面および実施形態の説明は、例解のために提示されてきたが、網羅的であること、あるいは開示された実施形態に限定されることは意図されていない。特徴の組み合わせが特許請求の範囲に記載され、および／または明細書において開示されているとしても、これらの組み合わせは、可能な実装の開示を限定することは意図されていない。実際、これらの特徴の多くは、請求項に具体的に記載されていない、および／または明細書に開示されていない方法で組み合わされてもよい。以下に列挙される各従属請求項は、1つの請求項のみを直接引用することがあるが、可能な実装の開示は、各従属請求項を、特許請求の範囲における他の一つ一つの請求項と組み合わせたものを含む。説明した実施形態の範囲から逸脱することなく、多くの修正およびバリエーションが当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見出される技術に対する実際的な適用または技術的な改善を最もよく説明するため、または他の当業者が本明細書で開示される実施形態を理解できるようにするために選択されたものである。

Claims (7)

1. プロセッサによって実行されるビデオコーディングのための方法であって：
   現在ピクチャーを含むビデオ・データを受領する段階と；
   現在ピクチャーに関連する階層レベルおよび最も近い復号済みのピクチャーに基づいて、ニューラルネットワークを使って現在ピクチャーのために仮想参照フレームを生成する段階と；
   生成された仮想参照フレームを含む参照ピクチャーリストに基づいて前記ビデオ・データを復号する段階とを含み、
   前記ニューラルネットワークは、所与の閾値より小さなQP（量子化パラメータ）を用いてコーディングされるピクチャーに適用され、それ以外のピクチャーには適用されない、
   方法。
2. 前記仮想参照フレームは、Iフレーム、Pフレーム、およびBフレームのうちの一つまたは複数に対応する、請求項１に記載の方法。
3. 前記復号済みのビデオ・データは、前記参照ピクチャーリストに含まれる、請求項１または２に記載の方法。
4. 前記参照ピクチャーリストに基づいて、前記ビデオ・データのうちからのその後のフレームが、動き補償された予測、イントラ予測、またはイントラブロックコピーに基づいて復号される、請求項３に記載の方法。
5. 前記仮想参照フレームは、信号処理、空間的または時間的フィルタリング、スケーリング、重み付け平均化、アップ／ダウンサンプリング、プーリング、メモリでの再帰的処理、線形システム処理、非線形システム処理、ニューラルネットワーク処理、深層学習ベースの処理、AI処理、事前トレーニングされたネットワークの処理、機械学習ベースの処理、およびオンライン・トレーニング・ネットワーク処理のうちの一つまたは複数に基づいて生成される、請求項４に記載の方法。
6. ビデオコーディングのためのコンピュータ・システムであって、当該コンピュータ・システムは：
   コンピュータ・プログラム・コードを記憶するように構成された一つまたは複数のコンピュータ読み取り可能な非一意時的な記憶媒体と；
   前記コンピュータ・プログラム・コードにアクセスし、前記コンピュータ・プログラム・コードによって命令されるように動作するように構成された一つまたは複数のコンピュータ・プロセッサとを有しており、前記コンピュータ・プログラム・コードは前記一つまたは複数のコンピュータ・プロセッサに、請求項１ないし５のうちいずれか一項に記載の方法を実行させるものである、
   コンピュータ・システム。
7. 一つまたは複数のコンピュータ・プロセッサに請求項１ないし５のうちいいずれか一項に記載の方法を実行させるためのコンピュータ・プログラム。
   

Images