Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7628550B2 - 再帰ベースの機械学習システムを使用したビデオ圧縮 - Google Patents
[go: Go Back, main page]

JP7628550B2 - 再帰ベースの機械学習システムを使用したビデオ圧縮 - Google Patents

再帰ベースの機械学習システムを使用したビデオ圧縮 Download PDF

Info

Publication number
JP7628550B2
JP7628550B2 JP2022551741A JP2022551741A JP7628550B2 JP 7628550 B2 JP7628550 B2 JP 7628550B2 JP 2022551741 A JP2022551741 A JP 2022551741A JP 2022551741 A JP2022551741 A JP 2022551741A JP 7628550 B2 JP7628550 B2 JP 7628550B2
Authority
JP
Japan
Prior art keywords
time step
video frame
step operation
data
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022551741A
Other languages
English (en)
Other versions
JP2023517846A (ja
JP2023517846A5 (ja
Inventor
ゴリンスキー、アダム・バルデマール
ヤン、ヤン
プレザ、レザ
ソティエール、ギヨーム・コンラッド
ファン・ロゼンダール、ティーズ・ジャン
コーエン、タコ・セバスティアーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2023517846A publication Critical patent/JP2023517846A/ja
Publication of JP2023517846A5 publication Critical patent/JP2023517846A5/ja
Application granted granted Critical
Publication of JP7628550B2 publication Critical patent/JP7628550B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Description

[0001]本開示は、概して、ビデオの符号化（または圧縮）と復号（復元）とを含むビデオコーディングに関する。たとえば、本開示の態様は、１つまたは複数の再帰ベースの機械学習システムを使用してビデオコンテンツをコーディング（たとえば、符号化および／または復号）することに関する。
[0002]多くのデバイスおよびシステムは、ビデオデータが消費のために処理および出力されることを可能にする。デジタルビデオデータは、消費者およびビデオプロバイダの需要を満たすための大量のデータを含む。たとえば、ビデオデータの消費者は、高い忠実度、解像度、フレームレートなどを含む高い品質のビデオを望む。その結果、これらの需要を満たすために必要とされる大量のビデオデータは、ビデオデータを処理および記憶する通信ネットワークおよびデバイスに負担をかける。
[0003]ビデオコーディング技法が、ビデオデータを圧縮するために使用され得る。ビデオコーディングの目標は、ビデオ品質に対する劣化を回避するかまたは最小限に抑えながら、より低いビットレートを使用する形式にビデオデータを圧縮することである。常に発展しつつあるビデオサービスが利用可能になるとともに、より良いコーディング効率をもつ符号化技法が必要とされる。
[0004]１つまたは複数の再帰ベースの機械学習システムを使用してビデオコンテンツをコーディング（たとえば、符号化および／または復号）するためのシステムおよび技法について説明される。１つの例示的な例では、ビデオデータを処理する方法が提供される。本方法は、ニューラルネットワークシステムのエンコーダ部分によって、ニューラルネットワークシステムの現在の時間ステップの動作のための入力ビデオフレームと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からのニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；ニューラルネットワークシステムのエンコーダ部分によって、ニューラルネットワークシステムの現在の時間ステップの動作のための出力データを生成することと、出力データは、入力ビデオフレームと、前の時間ステップの動作からの再構成された動き推定データと、前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて生成される；ニューラルネットワークシステムのデコーダ部分によって、現在の時間ステップの動作のための出力データと、前の時間ステップの動作からのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データと、を取得することと；出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、再構成されたビデオフレームは、入力ビデオフレームを表す、を含む。
[0005]別の例では、メモリと、メモリと結合された（たとえば、回路中に実装される）プロセッサとを含む、ビデオデータを処理するための装置が提供される。いくつかの例では、２つ以上のプロセッサは、メモリに結合され得、動作のうちの１つまたは複数を実施するように使用され得る。プロセッサは、ニューラルネットワークシステムのエンコーダ部分を使用して、ニューラルネットワークシステムの現在の時間ステップの動作のための入力ビデオフレームと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からのニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；エンコーダ部分を使用して、ニューラルネットワークシステムの現在の時間ステップの動作のための出力データを生成することと、出力データは、入力ビデオフレームと、前の時間ステップの動作からの再構成された動き推定データと、前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて生成される；ニューラルネットワークシステムのデコーダ部分を使用して、現在の時間ステップの動作のための出力データと前の時間ステップの動作からのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、再構成されたビデオフレームは、入力ビデオフレームを表す、を行うように構成される。
[0006]別の例では、非一時的コンピュータ可読媒体であって、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、ニューラルネットワークシステムのエンコーダ部分を使用して、ニューラルネットワークシステムの現在の時間ステップの動作のための入力ビデオフレームと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からのニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；ニューラルネットワークシステムのエンコーダ部分を使用して、ニューラルネットワークシステムの現在の時間ステップの動作のための出力データを生成することと、出力データは、入力ビデオフレームと、前の時間ステップの動作からの再構成された動き推定データと、前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて生成される；ニューラルネットワークシステムのデコーダ部分を使用して、現在の時間ステップの動作のための出力データと前の時間ステップの動作からのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、デコーダ部分を使用して、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、再構成されたビデオフレームは、入力ビデオフレームを表す、を行わせる命令を記憶した非一時的コンピュータ可読媒体が提供される。
[0007]別の例では、ビデオデータを処理するための装置が提供される。本装置は、ニューラルネットワークシステムの現在の時間ステップの動作のための入力ビデオフレームと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からの少なくとも１つの再帰レイヤからの再帰状態データとを取得するための手段と；ニューラルネットワークシステムの現在の時間ステップの動作のための出力データを生成するための手段と、出力データは、入力ビデオフレームと、前の時間ステップの動作からの再構成された動き推定データと、前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて生成される；現在の時間ステップの動作のための出力データと、前の時間ステップの動作からのニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得するための手段と；出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成するための手段と、再構成されたビデオフレームは、入力ビデオフレームを表す、を含む。
[0008]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための動き推定データを決定することと；前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと；現在の時間ステップのために決定された動き推定データを使用して、前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することによって、現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと、をさらに備える。
[0009]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成された残差データを決定することと；現在の時間ステップのために決定された再構成された残差データにワーピングした再構成されたビデオフレームを加算することによって、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、をさらに備える。
[0010]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成された残差データを決定することと、デコーダ部分のポストワーピングネットワークによって、ワーピングした再構成されたビデオフレームと現在の時間ステップのために決定された再構成された残差データとを処理することとをさらに備える。そのような態様では、再構成されたビデオフレームは、ポストワーピングネットワークによるワーピングした再構成されたビデオフレームと再構成された残差データとの処理に基づいて現在の時間ステップの動作のために生成される。
[0011]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、ニューラルネットワークシステムの動き推定ネットワークによって、入力ビデオフレームと前の時間ステップの動作からの前に再構成されたビデオフレームまたは前の時間ステップの動作からの前の入力ビデオフレームとのうちの少なくとも１つとに少なくとも部分的に基づいて、現在の時間ステップの動作のための動き推定データを決定することと；現在の時間ステップのために決定された動き推定データを使用して、前に再構成されたビデオフレームまたは前の入力ビデオフレームとのうちの少なくとも１つの１つまたは複数のピクセルを修正することによって、現在の時間ステップのためのワーピングした再構成されたビデオフレームを生成することと；ニューラルネットワークシステムのエンコーダ部分に、ワーピングした再構成されたビデオフレームと、現在の時間ステップの動作のために決定された動き推定データとを送ることとをさらに備える。そのような態様では、現在の時間ステップの動作のために生成された出力データは、ワーピングした再構成されたビデオフレームと現在の時間ステップの動作のために決定された動き推定データとに少なくとも部分的に基づいて、ニューラルネットワークシステムのエンコーダ部分によって生成される。
[0012]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、１つまたは複数のトレーニング反復について、第１の損失関数を使用してニューラルネットワークシステムをトレーニングすることと、第１の損失関数は、１つまたは複数の入力ビデオフレームと１つまたは複数のワーピングした再構成されたビデオフレームとの間の損失を決定する；第１の損失関数を非活性化することと；１つまたは複数のトレーニング反復の後に実施される１つまたは複数の後続のトレーニング反復について、第２の損失関数を使用してニューラルネットワークシステムをトレーニングすることと、第２の損失関数は、少なくとも１つの入力ビデオフレームと少なくとも１つの再構成されたビデオフレームとの間の損失を決定する、をさらに備える。
[0013]いくつかの態様では、再帰状態データは、少なくとも１つの再帰レイヤのノードの１つまたは複数の値を含む。
[0014]いくつかの態様では、ニューラルネットワークシステムのデコーダ部分は、複数の再帰レイヤを含み、複数の再帰レイヤの各再帰レイヤは、それぞれの再帰状態データを与える。
[0015]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、現在の時間ステップの動作または前の時間ステップの動作のために決定された動き推定データを使用して前の時間ステップの動作からの再帰状態データを修正することによって現在の時間ステップの動作のためのワーピングした再帰状態データを生成することをさらに備える。そのような態様では、現在の時間ステップの動作のために生成された再構成されたビデオフレームは、ワーピングした再帰状態データに少なくとも部分的に基づいて生成される。
[0016]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、デコーダ部分によって、再構成されたマスクを生成することと、再構成されたマスクは、前の時間ステップの動作中に生成された前に再構成されたビデオフレーム中のデータの存在を示す１つまたは複数の値を含む；再構成されたマスクと、現在の時間ステップの動作のために生成されるワーピングした再構成されたビデオフレームと、現在の時間ステップの動作のために決定された再構成された残差データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、再構成されたマスクは、ワーピングした再構成されたビデオフレームと再構成された残差データとの寄与を重み付けする、をさらに備える。
[0017]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと；現在の時間ステップの動作中に、現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することによって、現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと；現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作のための第１の再構成された残差データを決定することと；現在の時間ステップのために決定された再構成された残差データにワーピングした再構成されたビデオフレームを加算することによって、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと；現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作中にエンコーダ部分によって処理された前の入力ビデオフレームに少なくとも部分的に基づいて、前の時間ステップの動作からの第２の再構成された残差データを決定することと；現在の時間ステップの動作中に、第２の再構成された残差データを使用して前に再構成されたビデオフレームを修正することと；現在の時間ステップの動作のための最終の出力ビデオフレームとして、修正された前に再構成されたビデオフレームを出力することと、をさらに備える。
[0018]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、ニューラルネットワークシステムのエンコーダ部分によって、１つまたは複数のひずみマップを取得することと；ニューラルネットワークシステムのエンコーダ部分によって、１つまたは複数のひずみマップに少なくとも部分的に基づいて、出力データを生成することと、をさらに備える。いくつかの態様では、１つまたは複数のひずみマップは、現在の時間ステップの動作のための入力ビデオフレームと前の時間ステップの動作からの前に再構成されたビデオフレームとの間のひずみを示す第１のひずみマップを含む。いくつかの態様では、１つまたは複数のひずみマップは、現在の時間ステップの動作のための入力ビデオフレームとワーピングした再構成されたビデオフレームとの間のひずみを示す第２のひずみマップを含む。そのような態様では、ワーピングした再構成されたビデオフレームは、前の時間ステップの動作からの前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することによって生成され得る。
[0019]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、ニューラルネットワークシステムのエンコーダ部分の第１のレイヤによって、入力データを処理することと；エンコーダ部分の第１のレイヤによって、エンコーダ部分の第１のレイヤのための複数の重み値を決定することと；複数の重み値にニューラルネットワークシステムのエンコーダ部分の第２のレイヤの重みを設定することと；エンコーダ部分の第２のレイヤによって、複数の重み値に設定された重みを使用して入力データを処理することと、をさらに備える。
[0020]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、記憶媒体中に出力データを記憶することをさらに備える。
[0021]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、記憶媒体中に再構成されたビデオフレームを記憶することをさらに備える。
[0022]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、少なくとも１つのデバイスに送信媒体を介して再構成されたビデオフレームを送ることをさらに備える。
[0023]別の例示的な例では、ビデオデータを処理する方法が提供される。本方法は、ニューラルネットワークシステムのデコーダ部分によって、ニューラルネットワークシステムの現在の時間ステップの動作のための出力データとニューラルネットワークシステムの前の時間ステップの動作からのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための動き推定データを決定することと；前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと；現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと；ワーピングした再構成されたビデオフレームに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、を含む。
[0024]別の例では、ビデオデータを処理するための装置は、メモリと、メモリと結合された（たとえば、回路中に実装される）プロセッサとを含む。いくつかの例では、２つ以上のプロセッサは、メモリに結合され得、動作のうちの１つまたは複数を実施するように使用され得る。プロセッサは、ニューラルネットワークシステムのデコーダ部分を使用して、ニューラルネットワークシステムの現在の時間ステップの動作のための出力データとニューラルネットワークシステムの前の時間ステップの動作からのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；ニューラルネットワークシステムのデコーダ部分を使用して、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための動き推定データを決定することと；前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと；現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと；ワーピングした再構成されたビデオフレームに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、を行うように構成される。
[0025]別の例では、非一時的コンピュータ可読媒体であって、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、ニューラルネットワークシステムのデコーダ部分を使用して、ニューラルネットワークシステムの現在の時間ステップの動作のための出力データとニューラルネットワークシステムの前の時間ステップの動作からのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；ニューラルネットワークシステムのデコーダ部分を使用して、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための動き推定データを決定することと；前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと；現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと；ワーピングした再構成されたビデオフレームに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、を行わせる命令を記憶した非一時的コンピュータ可読媒体が提供される。
[0026]別の例では、ビデオデータを処理するための装置が提供される。本装置は、ニューラルネットワークシステムの現在の時間ステップの動作のための出力データとニューラルネットワークシステムの前の時間ステップの動作からのニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得するための手段と；出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための動き推定データを決定するための手段と；前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得するための手段と；現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成するための手段と；ワーピングした再構成されたビデオフレームに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成するための手段と、を含む。
[0027]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成された残差データを決定することと；現在の時間ステップのために決定された再構成された残差データにワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、をさらに備える。
[0028]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作中にニューラルネットワークシステムのエンコーダ部分によって処理された前の入力ビデオフレームに少なくとも部分的に基づいて、前の時間ステップの動作からの再構成された残差データを決定することと；現在の時間ステップの動作中に、前の時間ステップの動作からの再構成された残差データを使用して前に再構成されたビデオフレームを修正することと；現在の時間ステップの動作のための最終の出力ビデオフレームとして修正された前に再構成されたビデオフレームを出力することと、をさらに備える。
[0029]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成された残差データを決定することと；デコーダ部分のポストワーピングネットワークによって、ワーピングした再構成されたビデオフレームと現在の時間ステップのために決定された再構成された残差データとを処理することと；ポストワーピングネットワークによるワーピングした再構成されたビデオフレームと再構成された残差データとの処理に少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、をさらに備える。
[0030]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、現在の時間ステップの動作のために決定された動き推定データまたは前の時間ステップの動作のために決定された動き推定を使用して前の時間ステップの動作からの再帰状態データを修正することに少なくとも部分的によって、現在の時間ステップの動作のためのワーピングした再帰状態データを生成することと；ワーピングした再帰状態データに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、をさらに備える。
[0031]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、デコーダ部分によって、再構成されたマスクを生成することと、再構成されたマスクは、前の時間ステップの動作中に生成された前に再構成されたビデオフレーム中のデータの存在を示す１つまたは複数の値を含む；再構成されたマスクと、現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームと、現在の時間ステップの動作のために決定された再構成された残差データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、再構成されたマスクは、ワーピングした再構成されたビデオフレームと再構成された残差データとの寄与を重み付けする、をさらに備える。
[0032]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、ニューラルネットワークシステムのエンコーダ部分によって、現在の時間ステップの動作のための入力ビデオフレームと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からのニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；ニューラルネットワークシステムのエンコーダ部分によって、現在の時間ステップの動作のための出力データを生成することと、出力データは、入力ビデオフレームと、前の時間ステップの動作からの再構成された動き推定データと、前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて生成される、をさらに備える。
[0033]いくつかの態様では、装置は、モバイルデバイス、ウェアラブルデバイス、エクステンデッドリアリティデバイス（たとえば、仮想現実（ＶＲ）デバイス、拡張現実（ＡＲ）デバイス、もしくは複合現実（ＭＲ）デバイス）、パーソナルコンピュータ、ラップトップコンピュータ、ビデオサーバ、テレビジョン、または他のデバイスを備える。いくつかの態様では、装置は、モバイルデバイス（たとえば、携帯電話またはいわゆる「スマートフォン」）を備える。いくつかの態様では、装置は、１つまたは複数の画像またはビデオフレームをキャプチャするための少なくとも１つのカメラをさらに含む。たとえば、装置は、１つもしくは複数の画像および／またはビデオフレームを含む１つもしくは複数のビデオをキャプチャするためのカメラ（たとえば、ＲＧＢカメラ）または複数のカメラを含むことができる。いくつかの態様では、装置は、１つまたは複数の画像、ビデオ、通知、または他の表示可能なデータを表示するためのディスプレイを含む。いくつかの態様では、装置は、少なくとも１つのデバイスに送信媒体を介して再構成されたビデオフレームを送信するように構成された送信機を含む。いくつかの態様では、プロセッサは、ニューラルプロセッシングユニット（ＮＰＵ）、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、または他の処理デバイスもしくは構成要素を含む。
[0034]本概要は、特許請求される主題の重要な特徴または必須の特徴を識別するようには意図されておらず、特許請求される主題の範囲を決定するために別個に使用されるようにも意図されていない。主題は、本特許の明細書全体、いずれかまたはすべての図面、および各請求項の適切な部分を参照することによって理解されたい。
[0035]前述の内容は、他の特徴および実施形態とともに、以下の明細書、特許請求の範囲、および添付の図面を参照すれば、より明らかになるであろう。
[0036]本出願の例示的な実施形態は、以下の図を参照しながら以下で詳細に説明される。
[0037]システムオンチップ（ＳＯＣ）の例示的な実装形態を示す図。 [0038]全結合ニューラルネットワークの一例を示す図。 [0039]局所結合ニューラルネットワークの一例を示す図。 [0040]畳み込みニューラルネットワークの一例を示す図。 [0041]画像から視覚特徴を認識するように設計されたディープ畳み込みネットワーク（ＤＣＮ）の詳細な例を示す図。 [0042]深層畳み込みネットワーク（ＤＣＮ）を示すブロック図。 [0043]いくつかの例による、再帰ベースのニューラルネットワークを使用してビデオコーディングを実施するように動作可能なデバイスを含むシステムの一例を示す図。 [0044]いくつかの例による、ビデオコーディングのために使用されるニューラルネットワークシステムの一例を示す図。 [0045]いくつかの例による、ビデオコーディングのために使用される再帰ベースのニューラルネットワークの詳細な例を示す図。 [0046]いくつかの例による、動き推定および動き補償技法の例を示す図。 [0047]いくつかの例による、ビデオコーディングのために使用される再帰ベースのニューラルネットワークシステムの別の例を示す図。 [0048]いくつかの例による、ビデオコーディングのために使用される再帰ベースのニューラルネットワークシステムの別の例を示す図。 [0049]いくつかの例による、ビデオコーディングのために使用される再帰ベースのニューラルネットワークシステムの別の例を示す図。 [0050]いくつかの例による、単一レベルの再帰およびマルチレベルの再帰構成の一例を示す図。 [0051]いくつかの例による、ビデオコーディングのために使用される再帰ベースのニューラルネットワークシステムの別の例を示す図。 [0052]いくつかの例による、ビデオコーディングのために使用される再帰ベースのニューラルネットワークシステムの別の例を示す図。 [0053]いくつかの例による、ビデオコーディングのために使用される再帰ベースのニューラルネットワークシステムの別の例を示す図。 [0054]いくつかの例による、再帰ベースのニューラルネットワークシステムへの入力としてひずみマップを使用することの一例を示す図。 [0055]いくつかの例による、再帰ベースのニューラルネットワークシステムにおいて追加のニューラルネットワークレイヤを使用することの一例を示す図。 [0056]いくつかの例による、他の技法を使用して取得された結果に対する本明細書で説明される技法を使用して取得された結果の一例を示すグラフ。 [0057]いくつかの例による、他の技法を使用して取得された結果に対する本明細書で説明される技法を使用して取得された結果の一例を示すグラフ。 [0058]いくつかの例による、ビデオデータを処理するためのプロセスの一例を示すフローチャート。 [0059]いくつかの例による、ビデオデータを処理するためのプロセスの別の例を示すフローチャート。 [0060]本明細書で説明される様々な技法を実装することができる例示的なコンピューティングデバイスの例示的なコンピューティングデバイスアーキテクチャを示す図。
[0061]本開示のいくつかの態様および実施形態が以下で提供される。当業者には明らかなように、これらの態様および実施形態のうちのいくつかは独立して適用される場合があり、それらのうちのいくつかは組み合わせて適用される場合がある。以下の説明では、解説の目的で、本出願の実施形態の完全な理解を与えるために具体的な詳細が述べられる。ただし、様々な実施形態は、これらの具体的な詳細なしに実施され得ることが明らかであろう。図および説明は限定するものではない。
[0062]以下の説明は、例示的な実施形態を与えるにすぎず、本開示の範囲、適用性、または構成を限定するものではない。むしろ、例示的な実施形態の次の説明は、例示的な実施形態を実装することを可能にする説明を当業者に提供するであろう。添付の特許請求の範囲に記載されるように、本出願の趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得ることを理解されたい。
[0063]デジタルビデオデータは、特に、高品質のビデオデータに対する需要が成長し続けるにつれて大量のデータを含むことができる。たとえば、ビデオデータの消費者は、一般に、高い忠実度、解像度、フレームレートなどをもつますます高い品質のビデオを望む。しかしながら、そのような需要を満たすために必要とされる大量のビデオデータは、通信ネットワークならびにビデオデータを処理し、記憶するデバイスに有意な負担をかける可能性がある。
[0064]ビデオデータをコーディングするために、様々な技法が使用され得る。ビデオコーディングは、特定のビデオコーディング規格に従って実施され得る。例示的なビデオコーディング規格は、高効率ビデオコーディング（ＨＥＶＣ）、アドバンストビデオコーディング（ＡＶＣ）、ムービングピクチャエキスパートグループ（ＭＰＥＧ）コーディング、および汎用ビデオコーディング（ＶＶＣ）を含む。ビデオコーディングは、しばしば、ビデオ画像またはシーケンス中に存在する冗長を利用するインター予測またはイントラ予測などの予測方法を使用する。ビデオコーディング技法の共通の目標は、ビデオ品質の劣化を回避するかまたは最小限に抑えながら、より低いビットレートを使用する形式にビデオデータを圧縮することである。ビデオサービスに対する需要が高まり、新しいビデオサービスが利用可能になるにつれて、より良いコーディング効率、パフォーマンス、およびレート制御をもつコーディング技法が必要とされる。
[0065]本明細書では、１つまたは複数の機械学習（ＭＬ）システムを使用してビデオコーディングを実施するための技法について説明される。ＭＬは、擬似インテリジェンス（ＡＩ）のサブセットである。ＭＬシステムは、明示的な命令を使用せずにパターンおよび推測に依拠することによって様々なタスクを実施するためにコンピュータシステムが使用することができるアルゴリズムおよび統計モデルを含む。ＭＬシステムの一例は、擬似ニューロン（たとえば、神経細胞モデル）の相互接続されたグループから構成され得る（擬似ニューラルネットワークとも呼ばれる）ニューラルネットワークである。ニューラルネットワークは、特に、画像解析および／またはコンピュータビジョンアプリケーション、インターネットプロトコル（ＩＰ）カメラ、モノのインターネット（ＩｏＴ）デバイス、自律車両、サービスロボットなどの様々な適用例および／またはデバイスのために使用され得る。
[0066]ニューラルネットワーク中の個々のノードは、入力データを取り、データに対して単純な演算を実施することによって、生物学的ニューロンをエミュレートし得る。入力データに対して実施された単純な演算の結果は、他のニューロンに選択的に受け渡される。重み値が、各ベクトルとネットワーク中のノードとに関連付けられ、これらの値は、入力データがどのように出力データに関係するかを制約する。たとえば、各ノードの入力データは、対応する重み値によって乗算され得、この積は合計され得る。積の合計は、随意のバイアスによって調整され得、活性化関数が結果に適用され、ノードの出力信号または（活性化マップまたは特徴マップと呼ばれることがある）「出力活性化」が生じ得る。重み値は、初期に、ネットワークを通してトレーニングデータの反復フローによって決定され得る（たとえば、重み値は、ネットワークが特定のクラスの典型的な入力データ特性によってそれらのクラスをどのように識別すべきかを学習するトレーニングフェーズ中に確定される）。
[0067]特に、リカレントニューラルネットワーク（ＲＮＮ）、多層パーセプトロン（ＭＬＰ）ニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）など、様々なタイプのニューラルネットワークが存在する。ＲＮＮは、レイヤの出力を節約し、この出力を、レイヤの結果を予測する際に助けるために入力にフィードバックするという原理で動作する。ＭＬＰニューラルネットワークでは、データは入力レイヤに供給され得、１つまたは複数の隠れレイヤが、データに抽象化レベルを提供する。予測が、次いで、抽象化されたデータに基づいて出力レイヤ上で行われ得る。ＭＬＰは、入力にクラスまたはラベルが割り当てられる分類予測問題に特に好適であり得る。畳み込みニューラルネットワーク（ＣＮＮ）は、フィードフォワード人工ニューラルネットワークのタイプである。畳み込みニューラルネットワークは、各々が受容野（たとえば、入力空間の空間的に局所化された領域）を有し、入力空間を集合的にタイリングする人工ニューロンの集合を含み得る。畳み込みニューラルネットワークは多数の適用例を有する。特に、ＣＮＮは、パターン認識および分類の領域内で広く使用されている。
[0068]（複数の隠れレイヤが存在するとき、ディープニューラルネットワークと呼ばれる）層状ニューラルネットワークアーキテクチャでは、人工ニューロンの第１のレイヤの出力は、人工ニューロンの第２のレイヤへの入力になり、人工ニューロンの第２のレイヤの出力は、人工ニューロンの第３のレイヤの入力になり、以下同様である。畳み込みニューラルネットワークは、特徴の階層を認識するようにトレーニングされ得る。畳み込みニューラルネットワークアーキテクチャにおける計算は、１つまたは複数の計算チェーンにおいて構成され得る処理ノードの集団にわたって分散され得る。これらの多層化アーキテクチャは、一度に１つのレイヤをトレーニングされ得、バックプロパゲーションを使用して微調整され得る。
[0069]図１は、本明細書で説明される機能のうちの１つまたは複数を実施するように構成された中央処理ユニット（ＣＰＵ）１０２またはマルチコアＣＰＵを含み得るシステムオンチップ（ＳＯＣ）１００の例示的な実装形態を示す。様々な情報の中でも、パラメータまたは変数（たとえば、ニューラル信号およびシナプス荷重）、算出デバイスに関連するシステムパラメータ（たとえば、重みをもつニューラルネットワーク）、遅延、周波数ビン情報、タスク情報が、ニューラル処理ユニット（ＮＰＵ）１０８に関連するメモリブロックに記憶され、ＣＰＵ１０２に関連するメモリブロックに記憶され、グラフィックス処理ユニット（ＧＰＵ）１０４に関連するメモリブロックに記憶され、デジタル信号プロセッサ（ＤＳＰ）１０６に関連するメモリブロックに記憶され、メモリブロック１１８に記憶され得、および／または複数のブロックにわたって分散され得る。ＣＰＵ１０２において実行される命令が、ＣＰＵ１０２に関連するプログラムメモリからロードされ得るか、またはメモリブロック１１８からロードされ得る。
[0070]ＳＯＣ１００はまた、ＧＰＵ１０４、ＤＳＰ１０６など、特定の機能に適合された追加の処理ブロックと、第５世代（５Ｇ）接続性、第４世代ロングタームエボリューション（４Ｇ ＬＴＥ（登録商標））接続性、Ｗｉ－Ｆｉ（登録商標）接続性、ＵＳＢ接続性、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続性などを含み得る接続性ブロック１１０と、たとえば、ジェスチャーを検出および認識し得るマルチメディアプロセッサ１１２とを含み得る。一実装形態では、ＮＰＵは、ＣＰＵ１０２、ＤＳＰ１０６、および／またはＧＰＵ１０４において実装される。ＳＯＣ１００はまた、センサープロセッサ１１４、画像信号プロセッサ（ＩＳＰ）１１６、および／または全地球測位システムを含み得るナビゲーションモジュール１２０を含み得る。
[0071]ＳＯＣ１００はＡＲＭ命令セットに基づき得る。本開示の一態様では、ＣＰＵ１０２にロードされる命令は、ルックアップテーブル（ＬＵＴ）において、入力値とフィルタ重みとの乗算積に対応する記憶された乗算結果を探索するためのコードを備え得る。ＣＰＵ１０２にロードされる命令はまた、乗算積のルックアップテーブルヒットが検出されたとき、乗算積の乗算演算中に乗算器を無効にするためのコードを備え得る。加えて、ＣＰＵ１０２にロードされる命令は、乗算積のルックアップテーブルミスが検出されたとき、入力値とフィルタ重みとの計算された乗算積を記憶するためのコードを備え得る。
[0072]ＳＯＣ１００および／またはそれの構成要素は、本明細書で説明される本開示の態様に従って機械学習技法を使用して（ビデオ符号化および／または復号とも呼ばれ、ビデオコーディングと総称される）ビデオ圧縮および／または復元を実施するように構成され得る。ビデオ圧縮および／または復元を実施するためにディープラーニングアーキテクチャを使用することによって、本開示の態様は、デバイス上でのビデオ圧縮および／または復元の効率を増加させることができる。たとえば、説明されるビデオコーディング技法を使用するデバイスは、機械学習ベースの技法を使用してより効率的にビデオを圧縮することができ、別のデバイスに圧縮されたビデオを送信することができ、他のデバイスは、本明細書で説明される機械学習ベースの技法を使用してより効率的に圧縮されたビデオを解凍することができる。
[0073]上記のように、ニューラルネットワークは、機械学習システムの一例であり、入力レイヤと、１つまたは複数の隠れレイヤと、出力レイヤとを含むことができる。データは、入力レイヤの入力ノードから与えられ、処理は、１つまたは複数の隠れレイヤの隠れノードによって実施され、出力は、出力レイヤの出力ノードを通して生成される。ディープラーニングネットワークは、一般に、複数の隠れレイヤを含む。ニューラルネットワークの各レイヤは、人工ニューロン（またはノード）を含むことができる特徴マップまたは活性化マップを含むことができる。特徴マップは、フィルタ、カーネルなどを含むことができる。ノードは、レイヤのうちの１つまたは複数のノードの重要度を示すために使用される１つまたは複数の重みを含むことができる。場合によっては、ディープラーニングネットワークは、一連の多くの隠れレイヤを有することができ、初期レイヤは、入力の単純で低レベルの特性を決定するために使用され、後のレイヤは、より複雑で抽象的な特性の階層を構築する。
[0074]ディープラーニングアーキテクチャは、特徴の階層を学習し得る。たとえば、視覚データが提示された場合、第１のレイヤは、エッジなど、入力ストリーム中の比較的単純な特徴を認識するように学習し得る。別の例では、聴覚データが提示された場合、第１のレイヤは、特定の周波数におけるスペクトル電力を認識するように学習し得る。第１のレイヤの出力を入力として取る第２のレイヤは、視覚データの場合の単純な形状、または聴覚データの場合の音の組合せなど、特徴の組合せを認識するように学習し得る。たとえば、上位レイヤは、視覚データ中の複雑な形状、または聴覚データ中の単語を表現するように学習し得る。さらに上位のレイヤは、共通の視覚オブジェクトまたは発話フレーズを認識するように学習し得る。
[0075]ディープラーニングアーキテクチャは、自然階層構造を有する問題に適用されたとき、特にうまく機能し得る。たとえば、原動機付き車両の分類は、ホイール、フロントガラス、および他の特徴を認識するための第１の学習から恩恵を受け得る。これらの特徴は、車、トラック、および飛行機を認識するために、異なる方法で、上位レイヤにおいて組み合わされ得る。
[0076]ニューラルネットワークは、様々な結合性パターンを用いて設計され得る。フィードフォワードネットワークでは、情報が下位レイヤから上位レイヤに受け渡され、所与のレイヤにおける各ニューロンは、上位レイヤにおけるニューロンに通信する。上記で説明されたように、フィードフォワードネットワークの連続するレイヤにおいて、階層表現が蓄積され得る。ニューラルネットワークはまた、リカレントまたは（トップダウンとも呼ばれる）フィードバック結合を有し得る。リカレント結合では、所与のレイヤにおけるニューロンからの出力は、同じレイヤにおける別のニューロンに通信され得る。リカレントアーキテクチャは、ニューラルネットワークに順次送出される入力データチャンクのうちの２つ以上にわたるパターンを認識するのに役立ち得る。所与のレイヤにおけるニューロンから下位レイヤにおけるニューロンへの結合は、フィードバック（またはトップダウン）結合と呼ばれる。高レベルの概念の認識が、入力の特定の低レベルの特徴を弁別することを助け得るとき、多くのフィードバック結合をもつネットワークが役立ち得る。
[0077]ニューラルネットワークのレイヤ間の結合は全結合または局所結合であり得る。図２Ａは、全結合ニューラルネットワーク２０２の一例を示す。全結合ニューラルネットワーク２０２では、第１のレイヤにおけるニューロンは、第２のレイヤにおける各ニューロンが第１のレイヤにおけるあらゆるニューロンから入力を受信するように、それの出力を第２のレイヤにおけるあらゆるニューロンに通信し得る。図２Ｂは、局所結合ニューラルネットワーク２０４の一例を示す。局所結合ニューラルネットワーク２０４では、第１のレイヤにおけるニューロンは、第２のレイヤにおける限られた数のニューロンに結合され得る。より一般的には、局所結合ニューラルネットワーク２０４の局所結合レイヤは、レイヤにおける各ニューロンが同じまたは同様の結合性パターンを有するように構成されるが、異なる値を有し得る結合強度で構成され得る（たとえば、２１０、２１２、２１４、および２１６）。局所結合の結合性パターンは、所与の領域中の上位レイヤニューロンが、ネットワークへの総入力のうちの制限された部分のプロパティにトレーニングを通して調節された入力を受信し得るので、上位レイヤにおいて空間的に別個の受容野を生じ得る。
[0078]局所結合ニューラルネットワークの一例は、畳み込みニューラルネットワークである。図２Ｃは、畳み込みニューラルネットワーク２０６の一例を示す。畳み込みニューラルネットワーク２０６は、第２のレイヤにおける各ニューロンのための入力に関連する結合強度が共有されるように構成され得る（たとえば、２０８）。畳み込みニューラルネットワークは、入力の空間ロケーションが有意味である問題に好適であり得る。畳み込みニューラルネットワーク２０６は、本開示の態様による、ビデオ圧縮および／または復元の１つまたは複数の態様を実施するために使用され得る。
[0079]１つのタイプの畳み込みニューラルネットワークは、深層畳み込みネットワーク（ＤＣＮ）である。図２Ｄは、車載カメラなどの画像キャプチャデバイス２３０から入力された画像２２６から視覚特徴を認識するように設計されたＤＣＮ２００の詳細な例を示す。本例のＤＣＮ２００は、交通標識と、交通標識上で与えられた数とを識別するようにトレーニングされ得る。もちろん、ＤＣＮ２００は、車線マーキングを識別すること、または交通信号を識別することなど、他のタスクのためにトレーニングされ得る。
[0080]ＤＣＮ２００は、教師あり学習を用いてトレーニングされ得る。トレーニング中に、ＤＣＮ２００は、速度制限標識の画像２２６など、画像を提示され得、次いで、出力２２２を生成するために、フォワードパスが算出され得る。ＤＣＮ２００は、特徴抽出セクションと分類セクションとを含み得る。画像２２６を受信すると、畳み込みレイヤ２３２が、特徴マップ２１８の第１のセットを生成するために、畳み込みカーネル（図示せず）を画像２２６に適用し得る。一例として、畳み込みレイヤ２３２のための畳み込みカーネルは、２８×２８特徴マップを生成する５×５カーネルであり得る。本例では、４つの異なる特徴マップが、特徴マップ２１８の第１のセットにおいて生成されるので、４つの異なる畳み込みカーネルが、畳み込みレイヤ２３２において画像２２６に適用された。畳み込みカーネルは、フィルタまたは畳み込みフィルタと呼ばれることもある。
[0081]特徴マップ２１８の第１のセットは、特徴マップ２２０の第２のセットを生成するために、最大プーリングレイヤ（図示せず）によってサブサンプリングされ得る。最大プーリングレイヤは、特徴マップ２１８の第１のセットのサイズを低減する。すなわち、１４×１４などの特徴マップ２２０の第２のセットのサイズが、２８×２８などの特徴マップ２１８の第１のセットのサイズよりも小さい。低減されたサイズは、メモリ消費を低減しながら、後続のレイヤに同様の情報を提供する。特徴マップ２２０の第２のセットは、特徴マップの１つまたは複数の後続のセット（図示せず）を生成するために、１つまたは複数の後続の畳み込みレイヤ（図示せず）を介して、さらに畳み込まれ得る。
[0082]図２Ｄの例では、特徴マップ２２０の第２のセットは、第１の特徴ベクトル２２４を生成するために畳み込まれる。さらに、第１の特徴ベクトル２２４は、第２の特徴ベクトル２２８を生成するために、さらに畳み込まれる。第２の特徴ベクトル２２８の各特徴は、「標識」、「６０」、および「１００」など、画像２２６の可能な特徴に対応する数を含み得る。ソフトマックス関数（図示せず）が、第２の特徴ベクトル２２８中の数を確率にコンバートし得る。したがって、ＤＣＮ２００の出力２２２は、画像２２６が１つまたは複数の特徴を含む確率である。
[0083]本例では、「標識」および「６０」についての出力２２２における確率は、「３０」、「４０」、「５０」、「７０」、「８０」、「９０」、および「１００」など、出力２２２の他のものの確率よりも高い。トレーニングの前に、ＤＣＮ２００によって生成される出力２２２は、不正確である可能性がある。したがって、誤差が、出力２２２とターゲット出力との間で計算され得る。ターゲット出力は、画像２２６（たとえば、「標識」および「６０」）のグランドトゥルース（ground truth）である。次いで、ＤＣＮ２００の重みは、ＤＣＮ２００の出力２２２がターゲット出力とより密接に整合されるように調整され得る。
[0084]重みを調整するために、学習アルゴリズムは、重みのための勾配ベクトルを算出し得る。勾配（gradient）は、重みが調整された場合に、誤差が増加または減少する量を示し得る。最上レイヤにおいて、勾配は、最後から２番目のレイヤにおける活性化されたニューロンと出力レイヤにおけるニューロンとを結合する重みの値に直接対応し得る。下位レイヤでは、勾配は、重みの値と、上位レイヤの算出された誤差勾配とに依存し得る。次いで、重みは、誤差を低減するために調整され得る。重みを調整するこの様式は、それがニューラルネットワークを通して「バックワードパス（backward pass）」を伴うので、「バックプロパゲーション(back propagation)」と呼ばれることがある。
[0085]実際には、重みの誤差勾配は、計算された勾配が真の誤差勾配を近似するように、少数の例にわたって計算され得る。この近似方法は、確率的勾配降下（stochastic gradient descent）と呼ばれることがある。システム全体の達成可能な誤差レートが減少しなくなるまで、または誤差レートがターゲットレベルに達するまで、確率的勾配降下が繰り返され得る。学習の後に、ＤＣＮは新しい画像を提示され得、ネットワークを通したフォワードパスは、ＤＣＮの推論または予測と見なされ得る出力２２２をもたらし得る。
[0086]深層信念ネットワーク（ＤＢＮ）は、隠れノードの複数のレイヤを備える確率モデルである。ＤＢＮは、トレーニングデータセットの階層表現を抽出するために使用され得る。ＤＢＮは、制限ボルツマンマシン（ＲＢＭ）のレイヤを積層することによって取得され得る。ＲＢＭは、入力のセットにわたる確率分布を学習することができる人工ニューラルネットワークのタイプである。ＲＢＭは、各入力がそれにカテゴリー分類されるべきクラスに関する情報の不在下で確率分布を学習することができるので、ＲＢＭは、教師なし学習においてしばしば使用される。ハイブリッド教師なしおよび教師ありパラダイムを使用して、ＤＢＮの下部ＲＢＭは、教師なし様式でトレーニングされ得、特徴抽出器として働き得、上部ＲＢＭは、（前のレイヤからの入力とターゲットクラスとの同時分布上で）教師あり様式でトレーニングされ得、分類器として働き得る。
[0087]深層畳み込みネットワーク（ＤＣＮ）は、追加のプーリング（pooling）レイヤおよび正規化レイヤで構成された、畳み込みネットワークのネットワークである。ＤＣＮは、多くのタスクに関して最先端の性能を達成している。ＤＣＮは、入力と出力ターゲットの両方が、多くの標本について知られており、勾配降下方法の使用によってネットワークの重みを変更するために使用される、教師あり学習を使用してトレーニングされ得る。
[0088]ＤＣＮは、フィードフォワードネットワークであり得る。加えて、上記で説明されたように、ＤＣＮの第１のレイヤにおけるニューロンから次の上位レイヤにおけるニューロンのグループへの結合は、第１のレイヤにおけるニューロンにわたって共有される。ＤＣＮのフィードフォワードおよび共有結合は、高速処理のために活用され得る。ＤＣＮの算出負担は、たとえば、リカレントまたはフィードバック結合を備える同様のサイズのニューラルネットワークのそれよりもはるかに少ないことがある。
[0089]畳み込みネットワークの各レイヤの処理は、空間的に不変のテンプレートまたは基底投射と見なされ得る。入力が、カラー画像の赤色、緑色、および青色チャネルなど、複数のチャネルに最初に分解された場合、その入力に関してトレーニングされた畳み込みネットワークは、画像の軸に沿った２つの空間次元と、色情報をキャプチャする第３の次元とをもつ、３次元であると見なされ得る。畳み込み結合の出力は、後続のレイヤにおいて特徴マップを形成すると考えられ、特徴マップ（たとえば、２２０）の各要素が、前のレイヤ（たとえば、特徴マップ２１８）における様々なニューロンから、および複数のチャネルの各々から入力を受信し得る。特徴マップにおける値は、整流（rectification）、ｍａｘ（０，ｘ）など、非線形性を用いてさらに処理され得る。隣接するニューロンからの値は、さらにプールされ得、これは、ダウンサンプリングに対応し、さらなる局所不変性と次元削減とを与え得る。
[0090]図３は、深層畳み込みネットワーク３５０の一例を示すブロック図である。深層畳み込みネットワーク３５０は、結合性および重み共有に基づく、複数の異なるタイプのレイヤを含み得る。図３に示されているように、深層畳み込みネットワーク３５０は、畳み込みブロック３５４Ａ、３５４Ｂを含む。畳み込みブロック３５４Ａ、３５４Ｂの各々は、畳み込み層（ＣＯＮＶ）３５６と、正規化層（ＬＮｏｒｍ）３５８と、最大プーリング層（ＭＡＸ ＰＯＯＬ）３６０とで構成され得る。
[0091]畳み込み層３５６は、１つまたは複数の畳み込みフィルタを含み得、これは、特徴マップを生成するために入力データ３５２に適用され得る。２つの畳み込みブロック３５４Ａ、３５４Ｂのみが示されているが、本開示はそのように限定しておらず、代わりに、設計選好に従って、任意の数の畳み込みブロック（たとえば、ブロック３５４Ａ、３５４Ｂ）が深層畳み込みネットワーク３５０中に含まれ得る。正規化レイヤ３５８は、畳み込みフィルタの出力を正規化し得る。たとえば、正規化レイヤ３５８は、白色化またはラテラル抑制を行い得る。最大プーリングレイヤ３６０は、局所不変性および次元削減のために、空間にわたってダウンサンプリングアグリゲーションを行い得る。
[0092]たとえば、深層畳み込みネットワークの並列フィルタバンクは、高性能および低電力消費を達成するために、ＳＯＣ１００のＣＰＵ１０２またはＧＰＵ１０４にロードされ得る。代替実施形態では、並列フィルタバンクは、ＳＯＣ１００のＤＳＰ１０６またはＩＳＰ１１６にロードされ得る。さらに、深層畳み込みネットワーク３５０は、それぞれ、センサーおよびナビゲーションに専用の、センサープロセッサ１１４およびナビゲーションモジュール１２０など、ＳＯＣ１００上に存在し得る他の処理ブロックにアクセスし得る。
[0093]深層畳み込みネットワーク３５０はまた、（「ＦＣ１」と標示された）レイヤ３６２Ａおよび（「ＦＣ２」と標示された）レイヤ３６２Ｂなどの１つまたは複数の全結合（full connected）レイヤを含み得る。深層畳み込みネットワーク３５０は、ロジスティック回帰（ＬＲ：logistic regression）レイヤ３６４をさらに含み得る。深層畳み込みネットワーク３５０の各レイヤ３５６、３５８、３６０、３６２、３６４の間には、更新されるべき重み（図示せず）がある。レイヤ（たとえば、３５６、３５８、３６０、３６２、３６４）の各々の出力は、畳み込みブロック３５４Ａのうちの第１のものにおいて供給された入力データ３５２（たとえば、画像、オーディオ、ビデオ、センサーデータおよび／または他の入力データ）から階層特徴表現を学習するために、深層畳み込みネットワーク３５０中のレイヤ（たとえば、３５６、３５８、３６０、３６２、３６４）のうちの後続のレイヤの入力として働き得る。深層畳み込みネットワーク３５０の出力は、入力データ３５２についての分類スコア３６６である。分類スコア３６６は、確率のセットであり得、ここで、各確率は、入力データが特徴のセットからの特徴を含む確率である。
[0094]上記のように、デジタルビデオデータは、大量のデータを含むことができ、これは、通信ネットワークならびにビデオデータを処理し、記憶するデバイスに有意な負担をかける可能性がある。たとえば、圧縮されていないビデオコンテンツを記録することは、概して、記録されるビデオコンテンツの解像度が増加するにつれて大幅に増加する大きいファイルサイズを生じる。１つの例示的な例では、１０８０ｐ／２４（たとえば、２４フレーム毎秒でキャプチャされる幅が１９２０ピクセルで高さが１０８０ピクセルの解像度）で記録される圧縮されていない１６ビットパーチャネルビデオは、フレームごとに１２．４メガバイトまたは毎秒２９７．６メガバイトを占有し得る。２４フレーム毎秒で４Ｋ解像度で記録される圧縮されていない１６ビットパーチャネルビデオは、フレームごとに４９．８メガバイトまたは毎秒１１９５．２メガバイトを占有し得る。
[0095]ネットワーク帯域幅は、大きいビデオファイルが問題になる可能性がある別の制約である。たとえば、ビデオコンテンツは、しばしば、ワイヤレスネットワークを介して（たとえば、ＬＴＥ、ＬＴＥアドバンスト、新無線（ＮＲ）、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ、または他のワイヤレスネットワークを介して）送出され、消費者のインターネットトラフィックの大部分を構成することができる。ワイヤレスネットワークにおける利用可能な帯域幅の量の進歩にもかかわらず、これらのネットワークにおいてビデオコンテンツを送出するために使用される帯域幅の量を低減することが依然として望ましいことがある。
[0096]圧縮されていないビデオコンテンツが、物理的なストレージのために大きいメモリを伴い、送信のためにかなりの帯域幅を伴い得る大きいファイルを生じる可能性があるので、そのようなビデオコンテンツを圧縮し、次いで、解凍するためにビデオコーディング技法が利用され得る。
[0097]ビデオコンテンツのサイズ、したがって、ビデオコンテンツを記憶することに関与するストレージの量およびビデオコンテンツを送出することに関与する帯域幅の量を低減するために、様々なビデオコーディング技法が、特に、ＨＥＶＣ、ＡＶＣ、ＭＰＥＧ、ＶＶＣなどの特定のビデオコーディング規格に従って実施され得る。ビデオコーディングは、しばしば、ビデオ画像またはシーケンス中に存在する冗長を利用するインター予測またはイントラ予測などの予測方法を使用する。ビデオコーディング技法の共通の目標は、ビデオ品質の劣化を回避するかまたは最小限に抑えながら、より低いビットレートを使用する形式にビデオデータを圧縮することである。ビデオサービスに対する需要が高まり、新しいビデオサービスが利用可能になるにつれて、より良いコーディング効率、パフォーマンス、およびレート制御をもつコーディング技法が必要とされる。
[0098]概して、符号化デバイスは、符号化されたビデオビットストリームを生成するためにビデオコーディング規格に従ってビデオデータを符号化する。いくつかの例では、符号化ビデオビットストリーム（または「ビデオビットストリーム」または「ビットストリーム」）は、一連の１つまたは複数のコード化ビデオシーケンスである。符号化デバイスは、各ピクチャを複数のスライスに区分することによってピクチャのコード化表現を生成することができる。スライスは、スライス中の情報が、同じピクチャ内の他のスライスからのデータへの依存性なしにコーディングされるように、他のスライスから独立している。スライスは、独立しているスライスセグメントを含む１つまたは複数のスライスセグメントと、存在する場合、前のスライスセグメントに依存する１つまたは複数の依存するスライスセグメントとを含む。ＨＥＶＣでは、スライスは、ルーマサンプルおよびクロマサンプルのコーディングツリーブロック（ＣＴＢ）に区分される。ルーマサンプルのＣＴＢおよびクロマサンプルの１つまたは複数のＣＴＢは、サンプルのためのシンタックスとともに、コーディングツリーユニット（ＣＴＵ）と呼ばれる。ＣＴＵは「ツリーブロック」または「最大コーディングユニット」（ＬＣＵ）と呼ばれることもある。ＣＴＵは、ＨＥＶＣ符号化のための基本処理ユニットである。ＣＴＵは、様々なサイズの複数のコーディングユニット（ＣＵ）に分割され得る。ＣＵは、コーディングブロック（ＣＢ）と呼ばれるルーマおよびクロマサンプルアレイを含んでいる。
[0099]ルーマおよびクロマＣＢは、予測ブロック（ＰＢ）にさらに分割され得る。ＰＢは、（利用可能なとき、または使用のために有効にされたとき）インター予測またはイントラブロックコピー（ＩＢＣ）予測のために同じ動きパラメータを使用するルーマ成分またはクロマ成分のサンプルのブロックである。ルーマＰＢおよび１つまたは複数のクロマＰＢは、関連するシンタックスとともに、予測ユニット（ＰＵ）を形成する。インター予測の場合、動きパラメータのセット（たとえば、１つまたは複数の動きベクトル、参照インデックスなど）は、ＰＵごとにビットストリーム中でシグナリングされ、ルーマＰＢおよび１つまたは複数のクロマＰＢのインター予測のために使用される。動きパラメータは動き情報と呼ばれることもある。ＣＢはまた、１つまたは複数の変換ブロック（ＴＢ）に区分され得る。ＴＢは、予測残差信号をコーディングするために残差変換（たとえば、場合によっては、同じ２次元変換）が適用される色成分のサンプルの正方形ブロックを表現する。変換ユニット（ＴＵ）は、ルーマおよびクロマサンプルのＴＢと、対応するシンタックス要素とを表現する。変換コーディングについては、以下でより詳細に説明する。
[0100]ＨＥＶＣ規格によれば、変換は、ＴＵを使用して実施され得る。ＴＵは、所与のＣＵ内のＰＵのサイズに基づいてサイズ決定され得る。ＴＵは、ＰＵと同じサイズであるか、またはＰＵよりも小さいことがある。いくつかの例では、ＣＵに対応する残差サンプルは、残差４分木（ＲＱＴ）として知られる４分木構造を使用して、より小さいユニットに再分割され得る。ＲＱＴのリーフノードはＴＵに対応し得る。ＴＵに関連するピクセル差分値は、変換係数を生成するために変換され得る。変換係数は、次いで、符号化デバイスによって量子化され得る。
[0101]ビデオデータのピクチャがＣＵに区分されると、符号化デバイスは、予測モードを使用して各ＰＵを予測する。予測ユニットまたは予測ブロックは、次いで、（以下で説明される）残差を得るために元のビデオデータから減算される。ＣＵごとに、シンタックスデータを使用してビットストリーム内で予測モードがシグナリングされ得る。予測モードは、イントラ予測（もしくはピクチャ内予測）またはインター予測（もしくはピクチャ間予測）を含み得る。イントラ予測は、ピクチャ内の空間的に隣接するサンプル間の相関を利用する。たとえば、イントラ予測を使用して、各ＰＵは、たとえば、ＰＵに関する平均値を見つけるためのＤＣ予測、平坦面をＰＵに適合させるための平面予測、隣接データから外挿するための方向予測、または任意の他の好適なタイプの予測を使用して、同じピクチャ中の隣接画像データから予測される。インター予測は、画像サンプルのブロックについての動き補償予測を導出するためにピクチャ間の時間相関を使用する。たとえば、インター予測を使用して、各ＰＵは、（出力順序において現在ピクチャの前または後の）１つまたは複数の参照ピクチャ中の画像データからの動き補償予測を使用して予測される。ピクチャ間予測を使用してピクチャエリアをコーディングすべきなのか、ピクチャ内予測を使用してピクチャエリアをコーディングすべきなのかの決定は、たとえば、ＣＵレベルにおいて行われ得る。
[0102]いくつかの例では、ピクチャの１つまたは複数のスライスは、スライスタイプを割り当てられる。スライスタイプは、Ｉスライスと、Ｐスライスと、Ｂスライスとを含む。Ｉスライス（フレーム内、独立して復号可能）は、イントラ予測によってのみコーディングされるピクチャのスライスであり、したがって、Ｉスライスは、スライスの任意の予測ユニットまたは予測ブロックを予測するためにフレーム内のデータのみを必要とするので、独立して復号可能である。Ｐスライス（単方向予測されるフレーム）は、イントラ予測を用いて、および単方向インター予測を用いてコーディングされ得るピクチャのスライスである。Ｐスライス内の各予測ユニットまたは予測ブロックは、イントラ予測またはインター予測のいずれかを用いてコーディングされる。インター予測が適用されるとき、予測ユニットまたは予測ブロックは、１つの参照ピクチャによってのみ予測され、したがって、参照サンプルは、１つのフレームの１つの参照領域からのみのものである。Ｂスライス（双方向予測フレーム）は、イントラ予測を用いて、およびインター予測（たとえば、双予測または単予測のいずれか）を用いてコーディングされ得るピクチャのスライスである。Ｂスライスの予測ユニットまたは予測ブロックは、２つの参照ピクチャから双方向予測され得、ここで、各ピクチャが１つの参照領域を導き、双方向予測されたブロックの予測信号を生成するために、２つの参照領域のサンプルセットが（たとえば、等しい重みを用いて、または異なる重みを用いて）重み付けされる。上記で説明されたように、１つのピクチャのスライスが独立してコーディングされる。いくつかの場合には、ピクチャは、ただ１つのスライスとしてコーディングされ得る。
[0103]イントラ予測および／またはインター予測を使用して予測を実行した後に、符号化デバイスは、変換および量子化を実施することができる。たとえば、予測の後に、符号化デバイスは、ＰＵに対応する残差値を計算し得る。残差値は、コーディングされているピクセルの現在ブロック（ＰＵ）と、現在ブロックを予測するために使用される予測ブロック（たとえば、現在ブロックの予測されたバージョン）との間のピクセル差分値を備え得る。たとえば、予測ブロックを生成した（たとえば、インター予測またはイントラ予測を出した）後に、符号化デバイスは、現在ブロックから、予測ユニットによって生成された予測ブロックを減算することによって、残差ブロックを生成することができる。残差ブロックは、現在ブロックのピクセル値と予測ブロックのピクセル値との間の差分を定量化するピクセル差分値のセットを含む。いくつかの例では、残差ブロックは、２次元ブロックフォーマット（たとえば、ピクセル値の２次元行列またはアレイ）で表され得る。そのような例では、残差ブロックはピクセル値の２次元表現である。
[0104]予測が実施された後に残存し得るいずれの残差データも、離散コサイン変換、離散サイン変換、整数変換、ウェーブレット変換、他の好適な変換関数、またはそれらの任意の組合せに基づき得るブロック変換を使用して変換される。いくつかの場合には、１つまたは複数のブロック変換（たとえば、サイズ３２×３２、１６×１６、８×８、４×４、または他の好適なサイズ）が各ＣＵにおける残差データに適用され得る。いくつかの実施形態では、符号化デバイスによって実装される変換および量子化プロセスのためにＴＵが使用され得る。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数のＴＵをも含み得る。以下でさらに詳細に説明されるように、残差値は、ブロック変換を使用して変換係数に変換され得、次いで、エントロピーコーディングのためのシリアル化変換係数を生成するために、ＴＵを使用して量子化および走査され得る。
[0105]符号化デバイスは、変換係数の量子化を実施し得る。量子化は、係数を表すために使用されるデータの量を低減するために変換係数を量子化することによって、さらなる圧縮を与える。たとえば、量子化は、係数の一部または全部に関連するビット深度を低減し得る。一例では、ｎビット値をもつ係数は、量子化中にｍビット値に切り捨てられ得、ｎはｍよりも大きい。
[0106]量子化が実施されると、コード化ビデオビットストリームは、量子化変換係数と、予測情報（たとえば、予測モード、動きベクトル、ブロックベクトルなど）と、区分情報と、他のシンタックスデータなどの任意の他の好適なデータとを含む。コード化ビデオビットストリームの異なる要素は、次いで、符号化デバイスによってエントロピー符号化され得る。いくつかの例では、符号化デバイスは、エントロピー符号化され得るシリアル化ベクトルを作り出すために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。いくつかの例では、符号化デバイスは適応型走査を実施し得る。ベクトル（たとえば、１次元ベクトル）を形成するために量子化変換係数を走査した後に、符号化デバイスは、ベクトルをエントロピー符号化し得る。たとえば、符号化デバイスは、コンテキスト適応型可変長コーディング、コンテキスト適応型バイナリ算術コーディング、シンタックスベースコンテキスト適応型バイナリ算術コーディング、確率間隔区分エントロピーコーディング、または別の好適なエントロピー符号化技法を使用し得る。
[0107]符号化デバイスは、符号化されたビデオビットストリームを記憶することができ、および／または復号デバイスを含むことができる受信デバイスに通信リンクを介して符号化されたビデオビットストリームデータを送ることができる。符号化デバイスは、（たとえば、エントロピーデコーダを使用して）エントロピー復号し、符号化ビデオデータを構成する１つまたは複数のコード化ビデオシーケンスの要素を抽出することによって、符号化ビデオビットストリームデータを復号し得る。符号化デバイスは、次いで、符号化ビデオビットストリームデータを再スケーリングし、符号化ビデオビットストリームデータに対して逆変換を実施し得る。残差データが、次いで、符号化デバイスの予測段階にパスされる。復号デバイスは、次いで、イントラ予測、インター予測、ＩＢＣ、および／または他のタイプの予測を使用してピクセルのブロック（たとえば、ＰＵ）を予測する。いくつかの例では、逆変換の出力（残差データ）に予測が加算される。復号デバイスは、復号ビデオをビデオ宛先デバイスに出力し得、ビデオ宛先デバイスは、復号ビデオデータをコンテンツの消費者に表示するためのディスプレイまたは他の出力デバイスを含み得る。
[0108]様々なビデオコーディング規格（たとえば、上記で説明されたＨＥＶＣビデオコーディング技法）によって定義されたビデオコーディングシステムおよび技法は、未加工のビデオコンテンツ中の情報の大部分を保持することが可能であり得、信号処理および情報理論概念に基づいてアプリオリに定義され得る。しかしながら、あらかじめ定義された圧縮アルゴリズムが、概して（たとえば、任意のタイプのビデオコンテンツに）適用可能であり得るが、これらのあらかじめ定義されたビデオコーディング技法は、ネットワークベースの環境または他のタイプの環境において有益であるいくつかの特性が欠如していることがある。たとえば、ビデオコーディングシステムは、低レイテンシの動作を実装することが可能でなければならない。しかしながら、既存のビデオコーディング規格に従って動作するビデオコーディングシステムおよび関連する技法は、ビデオを符号化し、それを（ピクチャグループまたはＧｏＰと呼ばれることがある）いくつかのフレームのバッチで送信し、したがって、送信されるバッチ（たとえば、ＧｏＰ）のフレームの累算を待つ必要がある。そのようなバッチベースのビデオコーディングは、フレームごとのコーディングおよび送信を使用して達成されるであろうよりも高いレイテンシを生じる。さらに、そのようなビデオコーディングシステムおよび技法は、ビデオの特性に応じてランタイムにＧｏＰサイズ（すなわち、残差情報だけではなくフルフレームを送信する頻度）を調整する能力が欠如しており、レートひずみ空間においてあまり最適ではない動作点につながる。
[0109]本明細書では、エンコーダ段階および／またはデコーダ段階にフィードバックを与える再帰型ニューラルネットワークアーキテクチャを使用して、ビデオコーディング（ビデオ圧縮／符号化および／またはビデオ復元／復号）を実施する（プロセスとも呼ばれる）方法、システム、装置、およびコンピュータ可読媒体（「システムおよび技法」と総称される）について説明される。いくつかの例では、システムおよび技法は、ビデオフレームまたは画像を圧縮し、解凍するために複数のニューラルネットワークシステムを利用することができる。たとえば、第１のニューラルネットワークシステムは、（Ｉフレームとも呼ばれる）イントラ予測フレームと同様に１つまたは複数の前のフレームに基づいて動き補償を使用せずにフルフレームを圧縮する画像エンコーダ（たとえば、画像オートエンコーダ）として働くことができる。第２のニューラルネットワークシステム（たとえば、再帰オートエンコーダ）は、１つまたは複数の前のフレームに基づいて動き補償を使用して、および（（Ｐフレームとも呼ばれる）単一の参照フレームを使用する単予測フレームまたは（Ｂフレームと呼ばれる）２つの参照フレームを使用する双予測フレームなどのインター予測されたフレームと同様の）残差情報を使用してフレームを符号化および／または復号するために使用され得る。
[0110]第２のニューラルネットワークシステムによって実施される動き補償は、残差情報とともに前に再構成されたフレームからのピクセルが現在のフレーム中の新しい位置にどのように移動したのかについて説明することによって現在のフレームのデータを決定するために使用され得る。第２のニューラルネットワークシステムは、将来の時間ステップにおいてニューラルネットワークのいくつかのレイヤにフィードバックされ得る状態情報を記憶する（たとえば、第２のニューラルネットワークのデコーダ部分中に）１つまたは複数の再帰レイヤを含むことができる。たとえば、第２のニューラルネットワークシステムは、現在の時間ステップｔにおいてフレームｘtを処理することができ、第２のニューラルネットワークシステムが次の時間ステップｔ＋１において後続のフレームｘt+1を処理するために１つまたは複数の再帰レイヤからフレームｘtを処理することに関連する状態情報をフィードバックすることができる。１つまたは複数の再帰レイヤは、１つもしくは複数の再帰ニューラルネットワーク（ＲＮＮ）、１つもしくは複数のゲート付き再帰型ユニット（ＧＲＵ）、１つもしくは複数の長短期記憶（ＬＳＴＭ）ネットワーク、１つもしくは複数のＣｏｎｖＲＮＮ、１つもしくは複数のＣｏｎｖＧＲＵ、１つもしくは複数のＣｏｎｖＬＳＴＭ、それらの任意の組合せ、および／または他のタイプのニューラルネットワークアーキテクチャの部分であり得る。
[0111]本明細書では、そのようなニューラルネットワークシステムに関係する様々な態様について説明される。たとえば、いくつかの実装形態では、第２のニューラルネットワークは、（たとえば、従来の規格ベースのビデオコーデックにおいて使用されるＧｏＰ構造などの）逆時間方向フレームへの依存なしにフレームごとに動作することができる（前のフレームのみを参照する）完全に自己回帰的な条件構造を有することができる。場合によっては、第２のニューラルネットワークの出力は、動き補償、残差、再構成されたフレーム、動き推定（たとえば、オプティカルフロー、ブロック動きベクトル、または適応型畳み込みカーネル）、それらの任意の組合せ、および／または他の出力によってワーピングされた前の再構成されたフレームを含むことができる。第１の時間ステップ（たとえば、時間ステップｔ）からのフィードバック情報は、デコーダからエンコーダにおよび／または後の時間ステップにおいて（たとえば、時間ステップｔ＋１において）デコーダに与えられ得る。フィードバックは、復号段階において導入されたエラーを表すために使用され得、これは、それらのエラーを補償するためにエンコーダによって使用され得る。前の時間ステップのデコーダから次の時間ステップにおいてエンコーダに与えられる情報は、１つもしくは複数の前に再構成されたフレーム、１つもしくは複数の前に再構成された動き推定、１つもしくは複数の前に再構成された残差、（たとえば、デコーダの１つまたは複数の再帰レイヤからの）デコーダの１つまたは複数の前の再帰状態、それらの任意の組合せ、および／または他の出力を含むことができる。再帰レイヤの再帰状態を、本明細書では隠れ状態と呼ぶこともある。
[0112]本明細書で説明される１つまたは複数の再帰ベースのニューラルネットワークシステムおよび技法を使用してビデオコンテンツをコーディングすること（たとえば、コーディング／圧縮すること、および復号／解凍すること）によって、本開示の態様は、従来の、アプリオリに定義されたビデオ圧縮アルゴリズム（たとえば、特に、ＨＥＶＣ、ＶＶＣ、ＭＰＥＧ－４）のものに迫るかまたはそれを超えたビデオビットレートおよび／または品質を有する圧縮ビデオコンテンツを生成するビデオ符号化および復号機構を提供することができる。場合によっては、本明細書で説明される再帰ベースのニューラルネットワークシステムおよび技法を使用するビデオ符号化および復号機構は、ニューラルネットワークを再トレーニングすることによって様々な使用事例に適応可能であり得る。さらに、本開示の態様は、大量のシンタックスをビットストリームとともに送信することを必要とすることなしにビデオエンコーダおよびデコーダの自律生成を提供し得る。
[0113]図４は、ビデオの符号化および復号を実施するように構成されたデバイス４０２を含むシステム４００を示す。デバイス４０２は、カメラ４０７と記憶媒体４１４（たとえば、データストレージデバイス）とに結合される。いくつかの実装形態では、カメラ４０７は、第１のニューラルネットワークシステム４１０および／または第２のニューラルネットワークシステム４１１によって符号化するためにプロセッサ４０４に画像データ４０８（たとえば、ビデオデータストリーム）を与えるように構成される。いくつかの実装形態では、デバイス４０２は、複数のカメラ（たとえば、デュアルカメラシステム、３つのカメラ、または他の数のカメラ）に結合され得、および／またはそれらを含むことができる。場合によっては、デバイス４０２は、マイクロフォンおよび／または他の入力デバイス（たとえば、キーボード、マウス、タッチスクリーンおよび／もしくはタッチパッドなどのタッチ入力デバイス、ならびに／または他の入力デバイス）に結合され得る。いくつかの例では、カメラ４０７、記憶媒体４１４、マイクロフォン、および／または他の入力デバイスは、デバイス４０２の部分であり得る。
[0114]デバイス４０２はまた、１つまたは複数のワイヤレスネットワーク、１つまたは複数のワイヤードネットワーク、またはそれらの組合せなどの送信媒体４１８を介して第２のデバイス４９０に結合される。たとえば、送信媒体４１８は、ワイヤレスネットワーク、ワイヤードネットワーク、またはワイヤードネットワークとワイヤレスネットワークとの組合せによって与えられるチャネルを含むことができる。送信媒体４１８は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。送信媒体４１８は、ルータ、スイッチ、基地局、またはソースデバイスから受信デバイスへの通信を可能にするために有用であり得る任意の他の機器を含み得る。ワイヤレスネットワークは、任意のワイヤレスインターフェースまたはワイヤレスインターフェースの組合せを含み得、任意の好適なワイヤレスネットワーク（たとえば、インターネットまたは他のワイドエリアネットワーク、パケットベースネットワーク、ＷｉＦｉ、無線周波数（ＲＦ）、ＵＷＢ、ＷｉＦｉ－Ｄｉｒｅｃｔ、セルラー、ロングタームエボリューション（ＬＴＥ）、ＷｉＭａｘ（登録商標）など）を含み得る。ワイヤードネットワークは、任意のワイヤードインターフェース（たとえば、ファイバー、イーサネット（登録商標）、電力線イーサネット、同軸ケーブルを介したイーサネット、デジタル信号線（ＤＳＬ）など）を含み得る。ワイヤードおよび／またはワイヤレスネットワークは、基地局、ルータ、アクセスポイント、ブリッジ、ゲートウェイ、スイッチなど、様々な機器を使用して実装され得る。符号化ビデオビットストリームデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、受信デバイスに送信され得る。
[0115]デバイス４０２は、メモリ４０６と、第１のインターフェース（「Ｉ／Ｆ １」）４１２と、第２のインターフェース（「Ｉ／Ｆ ２」）４１６とに結合された（本明細書では「プロセッサ」と呼ぶ）１つまたは複数のプロセッサ４０４を含む。プロセッサ４０４は、カメラ４０７から、メモリ４０６から、および／または記憶媒体４１４から画像データ４０８を受信するように構成される。プロセッサ４０４は、第１のインターフェース４１２を介して（たとえば、メモリバスを介して）記憶媒体４１４に結合され、第２のインターフェース４１６（たとえば、ネットワークインターフェースデバイス、ワイヤレストランシーバおよびアンテナ、１つもしくは複数の他のネットワークインターフェースデバイス、またはそれらの組合せ）を介して送信媒体４１８に結合される。
[0116]プロセッサ４０４は、エンコーダ部分４６２とデコーダ部分４６６とを含む第１のニューラルネットワークシステム４１０と、エンコーダ部分４３２とデコーダ部分４３６とを含む第２のニューラルネットワークシステム４１１とを含む。いくつかの実装形態では、ニューラルネットワークシステム４１０および／またはニューラルネットワークシステム４１１は、１つまたは複数のオートエンコーダを含むことができる。エンコーダ部分４６２は、入力データ４７０を受信し、入力データ４７０に少なくとも部分的に基づいて出力データ４７４を生成するために入力データ４７０を処理するように構成される。同様に、エンコーダ部分４３２は、入力データ４４０を受信し、入力データ４４０に少なくとも部分的に基づいて出力データ４４４を生成するために入力データ４４０を処理するように構成される。場合によっては、ニューラルネットワークシステム４１１のエンコーダ部分４３２は、以下でさらに説明されるように、入力データ４４０に基づき、さらに、第１の状態データ４５０に基づいて出力データ４４４を生成するように構成される。場合によっては、エンコーダ部分４３２は、以下でさらに説明されるように、入力データ４４０と第１の状態データ４５０とに基づき、さらに、前の時間ステップｔ－１において（たとえば、前の時間ステップｔ－１において入力データ４７０を処理するとき）ニューラルネットワークシステム４１０のデコーダ部分４６６によって生成された表現４７６に基づいて、現在の時間ステップｔにおいて出力データ４４４を生成するように構成される。場合によっては、エンコーダ部分４３２は、以下でさらに説明するように、入力データ４４０と第１の状態データ４５０とに基づき、さらに、前の時間ステップｔ－１において（たとえば、前の時間ステップｔ－１において入力データ４４０を処理するとき）ニューラルネットワークシステム４１１のデコーダ部分４３６によって生成された表現４４６に基づいて現在の時間ステップｔにおいて出力データ４４４を生成するように構成される。
[0117]いくつかの実装形態では、ニューラルネットワークシステム４１０のエンコーダ部分４６２は、出力データ４７４を生成するために入力データ４７０の不可逆的圧縮を実施するように構成され、したがって、出力データ４７４は、入力データ４７０よりも少数のビットを有する。エンコーダ部分４６２は、任意の前の表現（たとえば、１つまたは複数の前に再構成されたフレーム）に基づいて動き補償を使用せずに入力データ４７０（たとえば、ビデオフレーム）を圧縮するためにトレーニングされ得る。たとえば、エンコーダ部分４６２は、ビデオフレームを、そのビデオフレームからのビデオデータのみを使用し、前に再構成されたフレームのいかなるデータをも使用せずに圧縮することができる。本明細書では、エンコーダ部分４６２によって処理されるビデオフレームは、イントラ予測フレーム（Ｉフレーム）と呼ばれることがある。いくつかの例では、Ｉフレームは、従来のビデオコーディング技法を使用して（たとえば、ＨＥＶＣ、ＶＶＣ、ＭＰＥＧ－４、または他のビデオコーディング規格に従って）生成され得る。そのような例では、プロセッサ４０４は、ＨＥＶＣ規格に関して上記で説明されたものなど、ブロックベースのイントラ予測を実施するように構成されたビデオコーディングデバイス（たとえば、符号化デバイス）を含み得るか、またはそれに結合され得る。そのような例では、ニューラルネットワークシステム４１０は、プロセッサ４０４から除外され得る。
[0118]いくつかの実装形態では、ニューラルネットワークシステム４１１のエンコーダ部分４３２は、出力データ４４４を生成するために入力データ４４０の不可逆的圧縮を実施するように構成され、入力データ４４０よりも少数のビットを有する出力データ４４４を生じる。エンコーダ部分４３２は、前の表現（たとえば、１つまたは複数の前に再構成されたフレーム）に基づいて動き補償を使用して入力データ４４０（たとえば、ビデオフレーム）を圧縮するためにトレーニングされ得る。たとえば、エンコーダ部分４３２は、ビデオフレームを、そのビデオフレームからのビデオデータを使用し、前に再構成されたフレームのデータを使用して圧縮することができる。本明細書では、エンコーダ部分４６２によって処理されるビデオフレームは、イントラ予測フレーム（Ｐフレーム）と呼ばれることがある。動き補償は、残差情報とともに前に再構成されたフレームからのピクセルが現在のフレーム中の新しい位置にどのように移動したのかについて説明することによって現在のフレームのデータを決定するために使用され得る。動き補償技法の例について、図６に関して以下で説明される。
[0119]特定の実装形態では、ニューラルネットワークシステム４１０のエンコーダ部分４６２は、ニューラルネットワーク４６３と量子化器４６４とを含む。ニューラルネットワーク４６３は、１つもしくは複数の畳み込みニューラルネットワーク（ＣＮＮ）、１つもしくは複数の全結合ニューラルネットワーク、１つもしくは複数のゲート付き再帰型ユニット（ＧＲＵ）、それらの任意の組合せ、および／または中間データ４７２を生成する他のタイプのニューラルネットワークアーキテクチャを含むことができる。中間データ４７２は量子化器４６４への入力である。ニューラルネットワークシステム４１１のエンコーダ部分４３２は、ニューラルネットワーク４３３と量子化器４３４とを含む。ニューラルネットワーク４３３は、１つもしくは複数のＣＮＮ、１つもしくは複数の全結合ニューラルネットワーク、１つもしくは複数のＧＲＵ、それらの任意の組合せ、および／または次いで量子化器４３４に入力される中間データ４４２を生成する他のタイプのニューラルネットワークアーキテクチャを含む。エンコーダ部分４６２およびエンコーダ部分４３２中に含まれ得る構成要素の例は、図５Ａ～図１５に示されている。
[0120]量子化器４６４は、出力データ４７４を生成するために中間データ４７２の量子化、場合によっては、エントロピーコーディングを実施するように構成される。出力データ４７４は、量子化（場合によっては、エントロピーコード化）データを含むことができる。同様に、量子化器４３４は、出力データ４４４を生成するために中間データ４４２の量子化、場合によっては、エントロピーコーディングを実施するように構成される。出力データ４４４は、量子化（場合によっては、エントロピーコード化）データを含む。量子化器４６４および量子化器４３４によって実施される量子化動作は、同じ動作であり得、これは、中間データ４７２と中間データ４４２とから量子化コード（またはニューラルネットワークシステム４１０および／もしくはニューラルネットワークシステム４１１によって生成された量子化コードを表すデータ）の生成を生じることができる。量子化コード（または量子化コードを表すデータ）は、ラテントコード（latent codes）またはラテント（latent）と呼ばれることもある。本明細書では、ラテントに適用されるエントロピーモデルは、「プライア（prior）」と呼ばれることがある。いくつかの例では、量子化およびエントロピーコーディング動作は、既存のビデオコーディング規格に従ってビデオデータを符号化および／または復号するときに実施される既存の量子化およびエントロピーコーディング動作を使用して実施され得る。いくつかの例では、ニューラルネットワークシステム４１０および／またはニューラルネットワークシステム４１１によって行われ得る。たとえば、ニューラルネットワークシステム４１０および／またはニューラルネットワークシステム４１１は、教師つきトレーニングを使用してトレーニングされ得、トレーニング中に残差データが入力として使用され、量子化コードとエントロピーコードとが知られている出力（ラベル）として使用される。
[0121]ニューラルネットワークシステム４１０のデコーダ部分４６６は、（たとえば、直接量子化器４６４からおよび／または記憶媒体４１４から）出力データ４７４を受信することと、出力データ４７４に少なくとも部分的に基づいて入力データ４７０の表現４７６を生成するために出力データ４７４を処理することとを行うように構成される。同様に、ニューラルネットワークシステム４１１のデコーダ部分４３６は、（たとえば、直接量子化器４３４からおよび／または記憶媒体４１４から）出力データ４４４を受信することと、出力データ４４４に少なくとも部分的に基づいて入力データ４４０の表現４４６を生成するために出力データ４４４を処理することとを行うように構成される。場合によっては、デコーダ部分４３６は、以下でさらに説明するように、出力データ４４４と第２の状態データ４５２とに基づいて表現４４６を生成するように構成される。場合によっては、デコーダ部分４３６は、以下でさらに説明するように、出力データ４４４と第２の状態データ４５２とに基づき、さらに、前の時間ステップｔ－１において（たとえば、前の時間ステップｔ－１において入力データ４７０を処理するとき）ニューラルネットワークシステム４１０のデコーダ部分４６６によって生成された表現４７６に基づいて現在の時間ステップｔにおいて表現４４６を生成するように構成される。場合によっては、デコーダ部分４３６は、以下でさらに説明するように、出力データ４４４と第２の状態データ４５２とに基づき、さらに、前の時間ステップｔ－１において（たとえば、前の時間ステップｔ－１において入力データ４４０を処理するとき）デコーダ部分４３６によって生成された表現４４６に基づいて現在の時間ステップｔにおいて出力データ４４６を生成するように構成される。
[0122]特定の実装形態では、ニューラルネットワークシステム４１０のデコーダ部分４６６は、１つもしくは複数のＣＮＮ、１つもしくは複数の全結合ニューラルネットワーク、１つもしくは複数のＧＲＵ、それらの任意の組合せ、および／または他のタイプのニューラルネットワークアーキテクチャを含み得るニューラルネットワーク４６８を含む。ニューラルネットワークシステム４１１のデコーダ部分４３６は、１つもしくは複数のＣＮＮ、１つもしくは複数の全結合ニューラルネットワーク、１つもしくは複数のＧＲＵ、１つもしくは複数の長短期記憶（ＬＳＴＭ）ネットワーク、１つもしくは複数のＣｏｎｖＲＮＮ、１つもしくは複数のＣｏｎｖＧＲＵ、１つもしくは複数のＣｏｎｖＬＳＴＭ、それらの任意の組合せ、および／または他のタイプのニューラルネットワークアーキテクチャを含み得るニューラルネットワーク４３８を含む。デコーダ部分４３６中に含まれ得る構成要素の例は、図５Ａ～図１５に示されている。
[0123]デコーダ部分４３６のニューラルネットワーク４３８は、１つもしくは複数のＲＮＮ、ＧＲＵ、ＬＳＴＭ、ＣｏｎｖＲＮＮ、ＣｏｎｖＧＲＵ、ＣｏｎｖＬＳＴＭ、それらの任意の組合せ、および／または１つもしくは複数の再帰レイヤをもつ他のニューラルネットワークアーキテクチャを含むことができる再帰構成要素を有する。再帰構成要素（たとえば、１つまたは複数の再帰レイヤ）は、第１の状態データ４５０と第２の状態データ４５２とを与えることができる。第１の状態データ４５０と第２の状態データ４５２とは、入力データ４４０の１つのセットのための表現４４６の生成から生じたニューラルネットワーク４３８の状態に対応する。（たとえば、現在のビデオフレームの処理中などの時間ステップｔに関連する）第１の状態データ４５０と第２の状態データ４５２とは、（たとえば、現在のビデオフレームの後に処理される次のビデオフレームの処理中などの次の時間ステップｔ＋１における）入力データ４４０の次の連続セットのための、それぞれ、エンコーダ部分４３２およびデコーダ部分４３６への入力として与えられる。例示的な例では、状態データ４５０、４５２中に表されるデコーダ部分４３６の状態は、ニューラルネットワーク４３８内のノードの１つまたは複数の値を含む。したがって、ニューラルネットワークシステム４１１は、入力データ４４０とトレーニングセット（たとえば、入力画像と出力画像とのトレーニングセット）を介した入力データ４４０の表現４４６との間の差を低減する（たとえば、最小化する）ためにトレーニングされ得る再帰ベースのニューラルネットワークシステムとして動作する。いくつかの実装形態では、第１の状態データ４５０は、第２の状態データ４５２に一致する（たとえば、第１の状態データ４５０は、第２の状態データ４５２と同じである）。他の実装形態では、第１の状態データ４５０は、第２の状態データ４５２とは異なることができる。
[0124]図４に示されているように、フィードバック情報は、ニューラルネットワークシステム４１１のデコーダ部分４３６からニューラルネットワークシステム４１１のエンコーダ部分４３２に与えられる。フィードバックは、復号段階において導入されたエラーを表すために使用され得、これは、それらのエラーを補償するためにエンコーダ部分４３２によって使用され得る。次の時間ステップｔにおいてデコーダ部分４３６からエンコーダに与えられ得る前の時間ステップｔ－１からの情報は、デコーダ部分４３６のニューラルネットワーク４３８からの（
として示される）前に再構成されたフレーム、前に再構成された動き推定、前に再構成された残差、および／または前の再帰状態のうちの１つまたは複数を含むことができる。たとえば、時間相関を示し得るビデオフレームのシーケンスの場合、ビデオのフレームに関連するデコーダ部分４３６の前の再帰状態は、ビデオの次のフレームを処理するときにエンコーダ部分４３２とデコーダ部分４３６との両方への入力として与えられ得る。他のフィードバック情報に加えてそのような再帰状態を使用することは、圧縮比（たとえば、出力データ４４４中のビット数と比較した入力データ４４０中のビット数）を増加させることができ、したがって、デコーダ部分４３６が遭遇するエラーをエンコーダ部分４３２が考慮することを可能にすることによってコーディング効率を増加させることができる。例示的な例として、状態データ４５０、４５２は、エンコーダ部分４３２とデコーダ部分４３６とが一連のフレームの次のフレームのための予測を生成することを可能にする入力として機能することができ、エンコーダ部分４３２は、デコーダ部分４３６の履歴を考慮に入れることなしに出力データ４４４を符号化することと比較して低減されたビットレートにおいて出力データ４４４として残差（たとえば、次のフレームと次のフレームの予測との間の差）を符号化することができる。したがって、符号化データは、低減された量のストレージスペースを使用して記憶され、低減された量のネットワーク帯域幅を使用してもしくはより高い送信レートで送信され、またはそれらの任意の組合せで行われ得る。
[0125]プロセッサ４０４は、送信媒体４１８または記憶媒体４１４のうちの少なくとも１つに出力データ４４４を送るように構成される。たとえば、出力データ４４４は、出力データ４４４を生成するために符号化／圧縮されているビデオデータの再生のためになど、再構成されたデータとして入力データ４４０の表現４４６を生成するためにデコーダ部分４３６による後での取出しおよび復元のために記憶媒体４１４において記憶され得る。いくつかの実装形態では、出力データ４４４は、再構成されたデータとして入力データ４４０の表現４４６を生成するために（たとえば、デバイス４０２中のまたは別のデバイス中の）デコーダ部分４３６に一致する別のデコーダデバイスにおいて復号され得る。別の例として、第２のデバイス４９０は、デコーダ部分４３６に一致する（または実質的に一致する）デコーダを含み得、出力データ４４４は、第２のデバイス４９０において再構成されたデータとして入力データ４４０の表現４４６を生成するために送信媒体４１８を介して送信され得る。
[0126]システム４００の構成要素は、電子回路もしくは他の電子ハードウェアを含むことができ、および／またはこれらを使用して実装されることが可能であり、これは、１つもしくは複数のプログラム可能な電子回路（たとえば、マイクロプロセッサ、グラフィック処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、中央処理装置（ＣＰＵ）、および／または他の適切な電子回路）を含むことができ、ならびに／または、本明細書において説明される様々な動作を実施するためのコンピュータソフトウェア、ファームウェア、もしくはこれらの任意の組合せを含むことができ、および／もしくは、これらを使用して実装され得る。
[0127]システム４００がいくつかの構成要素を含むように示されているが、システム４００が図４に示されている構成要素よりも多いまたは少ない構成要素を含むことができることを、当業者は諒解されよう。たとえば、システム４００はまた、入力デバイスと出力デバイス（図示せず）とを含むコンピューティングデバイスを含むことができるか、またはそれの部分であり得る。いくつかの実装形態では、システム４００はまた、１つもしくは複数のメモリデバイス（たとえば、１つもしくは複数のランダムアクセスメモリ（ＲＡＭ）構成要素、読取り専用メモリ（ＲＯＭ）構成要素、キャッシュメモリ構成要素、バッファ構成要素、データベース構成要素、および／もしくは他のメモリデバイス）、１つもしくは複数のメモリデバイスと通信しているおよび／またはそれに電気的に接続された１つもしくは複数の処理デバイス（たとえば、１つもしくは複数のＣＰＵ、ＧＰＵ、および／もしくは他の処理デバイス）、ワイヤレス通信を実施するための（たとえば、各ワイヤレスインターフェースのための１つもしくは複数のトランシーバとベースバンドプロセッサとを含む）１つもしくは複数のワイヤレスインターフェース、１つもしくは複数の有線接続を介した通信を実施するための１つもしくは複数のワイヤードインターフェース（たとえば、ユニバーサルシリアルバス（ＵＳＢ）入力などのシリアルインターフェース、ライトニングコネクタ、および／もしくは他のワイヤードインターフェース）、ならびに／または図４に示されていない他の構成要素を含むコンピューティングデバイスを含み得るか、またはそれの部分であり得る。
[0128]いくつかの実装形態では、システム３００は、コンピューティングデバイスによって局所的に実装され、および／またはそれの中に含まれ得る。たとえば、コンピューティングデバイスは、モバイルデバイス、パーソナルコンピュータ、タブレットコンピュータ、仮想現実（ＶＲ）デバイス（たとえば、ヘッドマウントディスプレイ（ＨＭＤ）もしくは他のＶＲデバイス）、拡張現実（ＡＲ）デバイス（たとえば、ＨＭＤ、ＡＲ眼鏡、もしくは他のＡＲデバイス）、ウェアラブルデバイス、（たとえば、サービスとしてのソフトウェア（ＳａａＳ）システムもしくは他のサーバベースのシステム中の）サーバ、テレビジョン、および／または本明細書で説明される技法を実施するリソース能力をもつ任意の他のコンピューティングデバイスを含むことができる。
[0129]一例では、ニューラルネットワークシステム４１１（および、場合によっては、ニューラルネットワークシステム４１０）は、プロセッサ４０４に結合され、プロセッサ４０４によって実行可能な命令を記憶するように構成されたメモリ４０６と、アンテナとプロセッサ４０４とに結合され、リモートデバイスに出力データ４４４を送信するように動作可能なワイヤレストランシーバとを含むポータブル電子デバイスに組み込まれ得る。
[0130]図５Ａは、（図４におけるニューラルネットワークシステム４１０の一例として）ニューラルネットワークシステム５１０と（ニューラルネットワークシステム４１１の一例として）ニューラルネットワークシステム５１１とを含むシステムを示す図である。ニューラルネットワークシステム５１０のＩフレームエンコーダ５６３は、前に再構成されたフレームのデータに基づいて動き補償を実施することなしにビデオフレームを、そのビデオフレームのみからのビデオデータを使用して符号化または圧縮するためにトレーニングされる（たとえば、１つまたは複数のＣＮＮを含む）ニューラルネットワークを含むことができる。たとえば、図５Ａに示されているように、Ｉフレームエンコーダ５６３は、入力としてビデオフレームｘI-frameを受信し、ビデオフレームｘI-frame中に含まれるデータのみを使用してビデオフレームｘI-frameを符号化または圧縮する。Ｉフレームエンコーダ５６３は、中間データ（たとえば、中間データ４７２）を生成するためにビデオフレームｘI-frameを符号化または圧縮することができる。場合によっては、中間データは、残差を表すデータを含むことができ、これは、ビデオフレームｘI-frameの予測と実際の入力ビデオフレームｘI-frameとの間の差を表す。
[0131]ニューラルネットワークシステム５１０の量子化器５６４は、図４に示されている量子化器４６４の一例である。量子化器５６４は、Ｉフレームエンコーダ５６３からの中間データ出力からラテントを生成する。場合によっては、ラテントは、圧縮ビデオフレームｘI-frameの量子化バージョン（たとえば、残差の量子化バージョン）を表す量子化コードを含む。場合によっては、ラテントは、量子化コードを表すニューラルネットワークデータ（たとえば、ノードの活性化マップまたは特徴マップ）を含むことができる。量子化器５６４はまた、Ｉフレームプライアを含む。Ｉフレームプライアは、エントロピーコードを表すエントロピーコードまたはニューラルネットワークデータ（たとえば、ノードの活性化マップまたは特徴マップ）を生成するためにラテントに適用されるエントロピーモデルを含むか、またはそれを表すことができる。量子化器５６４は、後での取出しのためにＩフレームデコーダ５６８および／または記憶装置（たとえば、記憶媒体４１４）に出力される出力データ（たとえば、出力データ４７４）を生成する。たとえば、量子化器５６４からの出力データは、送信媒体４１８を介してデバイス４９０に送信され得る。
[0132]ニューラルネットワークシステム５１０のＩフレームデコーダ５６８は、再構成されたフレーム
を生成するために量子化器５６４からの出力データを処理する。いくつかの実装形態では、Ｉフレームエンコーダ５６３と、量子化器５６４と、Ｉフレームデコーダ５６８とは、徹底的に一緒にトレーニングされる単一のニューラルネットワークまたは複数のニューラルネットワークを使用して実装され得る。図５Ａに示されている損失関数
が、入力画像と再構成された出力画像とを含むトレーニングセットを用いて教師つき学習技法を使用して単一のニューラルネットワークをトレーニングするために使用され得る。ニューラルネットワークのトレーニングに関するさらなる詳細について、ニューラルネットワークシステム５１１に関して以下で説明される。いくつかの実装形態では、Ｉフレームエンコーダ５６３と、Ｉフレームデコーダ５６８と、量子化器５６４とのニューラルネットワークは、別々にトレーニングされ得る。
[0133]上記のように、いくつかの実装形態では、Ｉフレームエンコーダ５６３と、Ｉフレームデコーダ５６８と、量子化器５６４とは、Ｉフレームを生成するために（たとえば、ＨＥＶＣ、ＶＶＣ、ＭＰＥＧ－４、または他のビデオコーディング規格に従って）従来のビデオコーディング技法を実施することができる。たとえば、（ビデオ符号化および復号を実施することができる）ビデオコーディングデバイスは、ＨＥＶＣ規格または他のビデオコーディング規格に従ってＩフレームを生成するためにブロックベースのイントラ予測を実施するように構成され得る。
[0134]ニューラルネットワークシステム５１１は、場合によっては、ビデオコーディング（たとえば、符号化および／または復号）を実施するためにニューラルネットワークシステム５１１が動き補償技法を使用するのでＰフレームオートエンコーダと呼ばれることがある。ニューラルネットワークシステム５１１のエンコーダ５３３は、１つまたは複数の前に再構成されたフレームのデータに基づいて動き補償を使用してビデオフレームを符号化または圧縮するためにトレーニングされる（たとえば、１つまたは複数のＣＮＮを含む）ニューラルネットワークを含むことができる。ニューラルネットワークシステム５１１は、ｔとｔ＋１との２つの時間ステップにおいて図５Ａに示されている。図５Ａに示されている時間ステップｔは、Ｉフレームが生成された（たとえば、
）後のニューラルネットワークシステム５１１の第１の時間ステップの動作を示す。時間ステップｔにおいて、エンコーダ５３３は、入力としてビデオフレームｘtと前に再構成されたフレームｘI-frameとを受信し、ビデオフレームｘtとビデオフレームｘI-frameとの間の動きの量を決定するために動き補償を実施することによってビデオフレームｘtを符号化する。
[0135]様々なタイプの動き補償がエンコーダ５３３によって実施され得る。たとえば、エンコーダ５３３は、（特に、ＨＥＶＣ、ＶＶＣ、ＭＰＥＧ－４などのビデオコーディング規格によって行われるものと同様の）ブロックベースの動き補償、オプティカルフローベースの動き補償、動的な（もしくは適応型の）畳み込みベースの動き補償、それらの任意の組合せ、および／または他のタイプの動き補償を実施することができる。様々な動き補償のオプションについて、図６に関して以下で説明される。
[0136]ビデオフレームｘtを符号化することの結果として、エンコーダ５３３は、中間データ（たとえば、中間データ４４２）を生成することができる。場合によっては、中間データは、残差を表すデータと、ビデオフレームｘtとビデオフレームｘI-frameとの間の動きの量を表す動きデータとを含むことができる。残差は、ビデオフレームｘtの予測と実際の入力ビデオフレームｘtとの間の差を表すことができる。ビデオフレームｘtとビデオフレームｘI-frameとの間の動きの量を表す動きデータは、従来のビデオコーディング技法（たとえば、特に、ＨＥＶＣ、ＶＶＣ）における動きベクトルに類似するものとして概念化され得る。
[0137]ニューラルネットワークシステム５１１の量子化器５３４は、図４に示されている量子化器４３４の一例である。量子化器５３４は、エンコーダ５３３からの中間データ出力からラテントを生成する。場合によっては、ラテントは、符号化されたビデオフレームｘtの量子化バージョン（たとえば、残差の量子化バージョンおよび動きデータの量子化バージョン）を表す量子化コードを含む。場合によっては、ラテントは、量子化コードを表すニューラルネットワークデータ（たとえば、ノードの活性化マップまたは特徴マップ）を含むことができる。量子化器５３４はまた、エントロピーコードを表すエントロピーコードまたはニューラルネットワークデータ（たとえば、ノードの活性化マップまたは特徴マップ）を生成するためにラテントに適用されるエントロピーモデルを含むか、またはそれを表すことができるプライアを含む。量子化器５３４は、後での取出しのためにデコーダ５３８および／または記憶装置（たとえば、記憶媒体４１４）に出力される出力データ（たとえば、出力データ４４４）を生成する。たとえば、量子化器５３４からの出力データは、送信媒体４１８を介してデバイス４９０に送信され得る。
[0138]ニューラルネットワークシステム５１１のデコーダ５３８は、再構成されたフレーム
を生成するために出力データを処理する。デコーダ５３８は、量子化器５３４から、記憶装置（たとえば、記憶媒体４１４）から、または送信媒体（たとえば、送信媒体４１８）を介して別のデバイスから出力データを受信することができる。図５Ａに示されているように、デコーダ５３８は、１つまたは複数の再帰前デコーダレイヤ５７０と、１つまたは複数の再帰レイヤ５７１と、１つまたは複数の再帰後レイヤ５７２とを含む再帰レイヤまたは構成要素を含む。１つまたは複数の再帰レイヤ５７１は、状態情報を記憶することができ、後続の時間ステップにおいて（たとえば、図５Ａに示されているように、時間ステップｔ＋１において）デコーダ５３８および／またはエンコーダ５３３のいくつかのレイヤに状態情報をフィードバックすることができる。後の時間ステップにおいてニューラルネットワークシステム５１１中の前のレイヤに与えられたフィードバックは、メモリのタイプをニューラルネットワークシステム５１１に与える。１つまたは複数の再帰前デコーダレイヤ５７０と１つまたは複数の再帰後レイヤ５７２とは、一方向にネットワークの他のレイヤを通して情報を前方にパスする順方向レイヤを含むことができるが、１つまたは複数の再帰レイヤは、上記のように、フィードバックを通して順方向におよび／または逆方向に情報をパスすることができる。
[0139]デコーダ５３８の再帰状態は、ｈとして図５Ａに示されている。ニューラルネットワークシステム５１０がＩフレームを生成した時間ステップｔ－１に対応する図５Ａに示されている再帰状態ｈt-1は、（たとえば、ニューラルネットワークシステム５１０がいかなる再帰レイヤも備えていないので）１つまたは複数の０値で開始され得る。図５Ａの再帰状態ｈtは、タイムスタンプｔにおけるデコーダ５３８の再帰状態を表す。再帰状態ｈtは、１つまたは複数の再帰レイヤ５７１からのニューラルネットワーク情報を含むことができる。たとえば、ニューラルネットワーク情報は、（たとえば、デコーダ５３８を通してパスされるデータによって乗算された１つまたは複数の再帰レイヤ５７１の重みの乗算に基づいて生成される）活性化マップまたは特徴マップを含むことができる。図５Ａに示されているように、再帰状態ｈtは、次の時間ステップｔ＋１において１つまたは複数の再帰レイヤ５７１とエンコーダ５３３とにフィードバックとしてパスされる。
[0140]出力データの処理に基づいて、デコーダ５３８の１つまたは複数の再帰後レイヤ５７２は、再構成された動き推定データ
と再構成された残差データ
とを出力する。場合によっては、再構成された動き推定データ
は、図６に関して以下で説明されるように、オプティカルフローデータ（たとえば、変位ベクトル）、動的畳み込みデータ（たとえば、データ畳み込みのための行列もしくはカーネル）、またはブロックベースの動きデータ（たとえば、動きベクトル）を含むことができる。再構成された動き推定データ
は、前に再構成されたフレーム
を（たとえば、動き補償を実施することによって）ワーピングする（warp）ためにデコーダ５３８のワーピングエンジン５６７によって使用され、ワーピングしたフレーム（warped frame）の生成を生じる。たとえば、前に再構成されたフレーム
のピクセルは、新しいロケーションに移動されるか、あるいは再構成された動き推定データ
に従って修正され得る。ワーピングエンジン５６７によって出力されたワーピングしたフレームは、加算器エンジン５６９に出力される。加算器エンジン５６９は、現在の時間ステップｔのための再構成されたフレーム
を生成するために再構成された残差データ
にワーピングしたフレームを加算する（または組み合わせる）。
[0141]再帰状態情報（たとえば、再帰状態ｈt）に加えて、再構成されたフレーム
はまた、次の時間ステップｔ＋１の動作のためにニューラルネットワークシステム５１１にフィードバックされ得る。たとえば、図５Ａに示されているように、再構成されたフレーム
と再帰状態ｈtとは、エンコーダ５３３への入力として与えられる。場合によっては、図５Ａに示されているように、前に再構成された動き推定データ
と前に再構成された残差データ
とはまた、次の時間ステップｔ＋１の動作においてエンコーダ５３３への入力としてフィードバックされ得る。時間ステップｔ＋１において、エンコーダ５３３は、現在の入力ビデオフレーム
のコーディングされたバージョンを生成するために、現在の入力ビデオフレーム
と、前に再構成されたフレーム
と、再帰状態ｈtと、前に再構成された動き推定データ
と、前に再構成された残差データ
とを処理することができる。量子化器５３４は、ラテントを生成するためにコーディングされたビデオデータを量子化することができ、出力データを生成するためにプライアを使用してラテントに対して（プライアを使用して）エントロピーコーディングを実施することができる。

[0142]デコーダ５３８の１つまたは複数の再帰前デコーダレイヤ５７０と、１つまたは複数の再帰レイヤ５７１と、１つまたは複数の再帰後レイヤ５７２とは、現在の時間ステップｔ＋１のための出力データを処理することができ、再構成された動き推定データ
と再構成された残差データ
とを出力することができる。デコーダ５３８のワーピングエンジン５６７は、現在の時間ステップｔ＋１のためのワーピングしたフレームを生成するために、前に再構成されたフレーム
を（たとえば、動き補償を実施することによって）ワーピングすることができる。加算器エンジン５６９は、現在の時間ステップｔ＋１のための再構成されたフレーム
を生成するために、再構成された残差データ
にワーピングしたフレームを加算することができる。
[0143]再構成されたフレーム
と、再帰状態ｈt+1と、再構成された動き推定データ
と、再構成された残差データ
とは、次の時間ステップｔ＋２の動作においてエンコーダ５３３への入力としてフィードバックされ得る。ニューラルネットワークシステム５１１は、（たとえば、蓄積し得るあらゆる動きエラーをリセットするなどのためのビデオ中のある時点へのランダムアクセスのために）次のＩフレームが必要とされるまでフレームごとにフレームのビデオシーケンスのための動き推定ベースのコーディングプロセスを続けることができる。Ｉフレームが必要とされるとき、ビデオシーケンス中のビデオの次のフレームが、ニューラルネットワークシステム５１０によって符号化され得る。
[0144]いくつかの実装形態では、エンコーダ５３３と、量子化器５３４と、デコーダ５３８とは、徹底的に一緒にトレーニングされる単一のニューラルネットワークまたは複数のニューラルネットワークを使用して実装され得る。図５Ｂは、ニューラルネットワークシステム５１１のために使用され得るニューラルネットワークアーキテクチャの一例を示す図である。いくつかの実装形態では、図５Ｂに示されているものと同様のニューラルネットワークアーキテクチャが、ニューラルネットワークシステム５１０のために使用され得るが、再帰レイヤ（たとえば、ＣｏｎｖＧＲＵレイヤ）がない。
[0145]図５Ｂに示されているように、エンコーダ５３３への入力は、エンコーダ５３３によって符号化されることになる現在のフレーム
と、（たとえば、ニューラルネットワークシステム５１０もしくはニューラルネットワークシステム５１１からの）前に再構成されたフレーム
と、前の再帰状態ｈt+1とを含む。エンコーダに与えられ得る他の入力は、前に再構成された動き推定データ
と前に再構成された残差データ
とを含む。
[0146]入力は、（Ｃｏｎｖ ｃ：６４ ｋ：５ ｓ：２として示され、ここで、ｃは、チャネル（たとえば、カーネルまたはフィルタ）の数であり、ｋは、カーネルサイズであり、ｓは、所与の畳み込みレイヤに関連するストライドである）第１の畳み込みレイヤに与えられる。畳み込みレイヤは、受容フィールド（receptive field）と呼ばれるノード（たとえば、現在のフレーム
のピクセル）の領域を処理することなどによって畳み込み方式で入力データを処理する。畳み込みレイヤは、（フィルタとも呼ばれる）１つまたは複数のカーネルから構成され得、ここで、各カーネルは、異なる活性化または特徴マップに対応することができ、カーネルの各畳み込み反復は、畳み込みレイヤのノードまたはニューロンである。たとえば、カーネルが各畳み込み反復においてカバーする現在のフレーム
の領域は、カーネルのための受容フィールドであろう。１つの例示的な例では、フレーム
が２８×２８のアレイを含み、各カーネル（と対応する受容フィールドと）は５×５のアレイ（ここで、ｋ＝５）である場合、畳み込みレイヤ中に２４×２４個のノードがあることになる。ビデオフレームが、一般に、１０８０ｐビデオのための１９２０×１０８０など、２８×２８よりも大きい解像度を有することに留意されたい。ノードとそのノードのための受容フィールドとの間のそれぞれ接続は重みを学習し、場合によっては、各ノードが入力中のそれの特定のローカル受容フィールドを分析することを学習するように全体的なバイアスを学習する。畳み込みレイヤの各ノードは、同じ重みを有することができ、いくつかの事例では、（共有重みおよび共有バイアスと呼ばれる）バイアスを有することができる。たとえば、カーネルは、入力として重み（数）のアレイと同じ深度とを有する。一例では、カーネルは、フレーム
の３つの色構成要素（たとえば、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の色構成要素）に従って現在のフレーム
のために３の深度を有することができる。
[0147]畳み込みレイヤの畳み込み性質は、畳み込みレイヤの各ノードがそれの対応する受容フィールドに適用されることに起因する。たとえば、畳み込みレイヤのカーネルは、現在のフレーム
のアレイの左上隅で開始することができ、フレーム
の周りに畳み込むことができる。上記のように、カーネルの各畳み込み反復は、畳み込みレイヤのノードまたはニューロンと見なされ得る。各畳み込み反復において、カーネルの値は、画像の元のピクセル値の対応する数で乗算される（たとえば、５×５のカーネルアレイは、フレーム
アレイの左上隅の入力ピクセル値の５×５のアレイによって乗算される）。各畳み込み反復からの乗算は、その反復またはノードのための総和を取得するために一緒に加算され得る。プロセスは、次に、畳み込みレイヤ中の次のノードの受容フィールドに従ってフレーム
中の次のロケーションにおいて続けられる。たとえば、カーネルは、次の受容フィールドに向かって（図５Ｂにおいてｓによって示される）ストライド量だけ移動され得る。ストライド量は、１、２、または他の好適な量に設定され得る。たとえば、ステップ量が１に設定される場合、カーネルは、畳み込み反復ごとに１ピクセルだけ右に移動されることになる。入力量のそれぞれの一意のロケーションにおいてカーネルを処理することは、そのロケーションのためのカーネル結果を表す数を生成し、畳み込みレイヤのノードごとに総和値が決定されることを生じる。
[0148]入力レイヤから畳み込み隠れレイヤ６２２ａへのマッピングは、活性化マップ（または特徴マップ）と呼ばれる。活性化マップは、入力量の各ロケーションにおけるカーネル結果を表す各ノードの値を含む。活性化マップは、入力量に対するカーネルの各反復から生じる様々な総和値を含むアレイ（たとえば、現在のフレーム
）を含むことができる。たとえば、５×５のカーネルが２８×２８の入力フレームの各ピクセル（１のステップ量）に適用される場合、活性化マップは、２４×２４のアレイを含むことになる。畳み込みレイヤは、入力の複数の特徴を識別するためにいくつかの活性化マップを含むことができる。たとえば、３つの活性化マップを使用して、畳み込みレイヤは、各特徴が入力全体にわたって検出可能である状態で３つの異なる種類の特徴を検出することができる。
[0149]正規化レイヤと非線形レイヤとは、第１の畳み込みレイヤの後に適用され得る。正規化レイヤは、隠れレイヤ（たとえば、畳み込みレイヤ）中の入力を非線形に正規化するために（たとえば、トレーニング中に）使用され得る。正規化レイヤの１つの例示的な例は、図５Ｂのアーキテクチャで使用されているＢａｔｃｈＮｏｒｍを含む。１つの例示的な例では、ＢａｔｃｈＮｏｒｍは、次のように隠れレイヤｚkを正規化することができる。
[0150]ここで、Ｅ［ｘ］は、ｘの第１のモーメント（たとえば、平均または期待値）であり、Ｖ［ｘ］は、ｘの第２のモーメント（たとえば、分散）である。
[0151]非線形レイヤは、線形演算を計算していたシステムに非線形性を導入するために使用され得る。非線形レイヤの１つの例示的な例は、図５Ｂのアーキテクチャで使用されているように整流線形ユニット（ＲｅＬＵ：rectified linear unit）である。ＲｅＬＵレイヤは、入力量中の値のすべてに関数ｆ（ｘ）＝ｍａｘ（０，ｘ）を適用することができ、これは、すべての負の活性化を０に変更する。したがって、ＲｅＬＵは、畳み込みレイヤの受容フィールドに影響を及ぼすことなしに、ニューラルネットワークの非線形プロパティを増加させることができる。
[0152]第１のＲｅＬＵの出力は、畳み込みレイヤと、ＢａｔｃｈＮｏｒｍレイヤと、ＲｅＬＵレイヤとの第２のセットに与えられる。第２のＲｅＬＵの出力は、第１の残差レイヤ（ＲｅｓＢｌｏｃｋ Ｂ）に与えられ、これは、それの出力を第２の残差レイヤ（ＲｅｓＢｌｏｃｋ Ａ）に与える。ＲｅｓＢｌｏｃｋ ＡとＲｅｓＢｌｏｃｋ Ｂとの詳細も図５Ｂに示されている。ＲｅｓＢｌｏｃｋ Ａの出力は、第２のＲｅＬＵの出力と組み合わされ（またはそれに加算され）、組み合わされた出力は、第３の畳み込みレイヤに与えられる。第３の畳み込みレイヤの出力は、第３のＢａｔｃｈＮｏｒｍレイヤに与えられ、これは、（ソフト／ハード量子化として示される）量子化レイヤにデータを出力する。ソフト／ハード量子化レイヤは、１つまたは複数の量子化された（場合によっては、エントロピーコード化された）係数ｚtを出力する。１つまたは複数の係数ｚtが、場合によっては、記憶され得、場合によっては、デコーダ５３８に与えられ得る。
[0153]デコーダ５３８への入力は、１つまたは複数の係数ｚtである。１つまたは複数の係数ｚtは、（Ｔｃｏｎｖ ｃ：１２８ ｋ：３ ｓ：２として示される）第１の畳み込みレイヤと、それに続く第１のＢａｔｃｈＮｏｒｍレイヤおよび第１のＲｅＬｕレイヤとによって処理される。第１のＲｅＬＵの出力は、第１の残差レイヤ（ＲｅｓＢｌｏｃｋ Ｂ）に与えられ、これは、それの出力を第２の残差レイヤ（ＲｅｓＢｌｏｃｋ Ａ）に与える。ＲｅｓＢｌｏｃｋ Ａの出力は、第１のＲｅＬＵレイヤの出力と組み合わされ（またはそれに加算され）、組み合わされた出力は、（Ｔｃｏｎｖ ｃ：６４ ｋ：５ ｓ：２として示される）第２の畳み込みレイヤに与えられる。第２の畳み込みレイヤの後に、第２のＢａｔｃｈＮｏｒｍレイヤと第２のＲｅＬｕレイヤとが続き、これは、（Ｔｃｏｎｖ ｃ：Ｃ２ ｋ：５ ｓ：２として示される）第３の畳み込みレイヤと、それに続く第３のＢａｔｃｈＮｏｒｍレイヤとにデータを出力する。第３のＢａｔｃｈＮｏｒｍレイヤの出力は、（ＣｏｎｖＧＲＵ ｃ：Ｃ３ ｋ：３ ｓ：１として示される）再帰レイヤに与えられる。図示のように、再帰レイヤへの別の入力は、前の時間ステップｔ－１のための前の再帰状態ｈt-1であり、再帰レイヤの出力は、現在の時間ステップｔのための再帰状態を含む。再帰レイヤの出力は、（Ｃｏｎｖ ｃ：５ ｋ：５ ｓ：１として示される）最後の畳み込みレイヤに与えられ、これは、再構成された動き推定データ
と再構成された残差データ
とを出力する。
[0154]上記のように、デコーダ５３８のワーピングエンジン５６７は、現在の時間ステップｔのためのワーピングしたフレームを生成するために、前に再構成されたフレーム
を（たとえば、動き補償を実施することによって）ワーピングすることができ、加算器エンジン５６９は、現在の時間ステップｔのための再構成されたフレーム
を生成するために、再構成された残差データ
にワーピングしたフレームを加算することができる。いくつかの実装形態では、ワーピングエンジン５６７および／または加算器エンジン５６９は、図７に示されているエンコーダの構成などで、（たとえば、１つもしくは複数の畳み込みレイヤ、１つもしくは複数の正規化レイヤ、１つもしくは複数の非線形レイヤ、１つもしくは複数の残差ブロック、または他のニューラルネットワークレイヤを使用して実装される）ニューラルネットワークシステム５１１の部分であり得る。いくつかの実装形態では、ワーピングエンジン５６７および／または加算器エンジン５６９は、ニューラルネットワークシステム５１１の外部にある構成要素であり得る。たとえば、そのような実装形態では、ワーピングおよび加算は、非学習演算子であり、その場合、これらの演算は、ニューラルネットワークまたは他の機械学習システムを使用して行われない。
[0155]ニューラルネットワークシステム５１１は、任意の好適な機械学習トレーニング技法を使用してトレーニングされ得る。１つの例示的な例では、ニューラルネットワークシステム５１１をトレーニングするために教師つき学習技法が使用され得る。たとえば、ニューラルネットワークのノードの重み（場合によっては、バイアスなどの他のパラメータ）を調整するためにバックプロパゲーショントレーニングプロセスが使用され得る。バックプロパゲーションは、フォワードパスと、損失関数と、バックワードパスと、重み更新とを含むことができる。フォワードパスと、損失関数と、バックワードパスと、パラメータ更新とは、１つのトレーニング反復のために実施される。プロセスは、ニューラルネットワークシステム５１１のパラメータの重みが正確にチューニングされるまでトレーニングデータの各セットのために一定数の反復の間繰り返され得る。
[0156]１つの例示的な例では、ニューラルネットワークシステム５１１をトレーニングするために使用されるトレーニングデータは、入力として（符号化／圧縮されない）ビデオフレームｘtと、知られている出力として再構成されたビデオフレーム
（入力ビデオフレームｘtの再構成されたバージョン）と、を含むことができる。フォワードパスは、ニューラルネットワークを通して入力ビデオフレームをパスすることを含むことができる。重みは、最初に、ニューラルネットワークがトレーニングされる前にランダム化され得る。ニューラルネットワークシステムのための第１のトレーニング反復について、重みがまだ較正されていないので、出力は、いかなる特定の出力にも選好を与えない値を含み得る。たとえば、出力は、再構成されたビデオフレーム
を表す値をもつデータ表現（たとえば、ベクトル、テンソルなど）を含むことができる。最初の重みを使用した第１のトレーニング反復の後に、再構成されたビデオフレーム
は、おそらく対応する入力フレームｘtに似ていないものになる。
[0157]出力中のエラーを分析するために損失関数が使用され得る。入力として圧縮されていないビデオフレームを使用し、知られている出力として再構成されたビデオフレーム
を使用する例では、ニューラルネットワークシステム５１１をトレーニングするために図５Ａに示されている損失関数
が使用され得る。他のトレーニングデータが使用されるとき、他の損失関数が使用され得る。別の損失関数の一例は、
として定義される平均２乗誤差（ＭＳＥ）を含む。ＭＳＥは、実際の応答と予測された（出力）応答との差を２乗したものの和の１／２倍を計算する。
[0158]実際の出力値（ネットワークによって出力された再構成されたフレーム）が予測された出力（入力フレームの知られている再構成されたバージョン）とは大きく異なり得るので、損失（またはエラー）は、第１のトレーニングビデオフレームについて高くなり得る。トレーニングの目的は、予測された出力のための損失の量を最小化することである。ニューラルネットワークは、どの入力（重み）がニューラルネットワークの損失に最も寄与したのかを決定することによってバックワードパスを実施することができ、損失が減少し、最終的に最小化されるように重みを調整することができる。ニューラルネットワークの損失に最も寄与した重みを決定するために（Ｗは、特定のレイヤにおける重みであるｄＬ／ｄＷとして示される）重みに対する損失の導関数が計算され得る。たとえば、重みは、それらが勾配の反対方向に変化するように更新され得る。重み更新は、
として示され得、ここで、ｗは、重みを示し、ｗiは、最初の重みを示し、ηは、学習速度を示す。学習速度は、任意の好適な値に設定され得、高い学習速度はより大きい重み更新を含み、より低い値はより小さい重み更新を示す。ニューラルネットワークシステム５１１は、所望の出力が達成されるまでそのような方式でトレーニングされ続けることができる。場合によっては、ニューラルネットワークシステム５１０は、同様の方式でトレーニングされ得る。
[0159]図６は、動き補償ベースのニューラルネットワークシステム（たとえば、ニューラルネットワークシステム４１１および／またはニューラルネットワークシステム５１１）によって実施され得る異なるタイプの動き推定を示す図である。図６では、項ｘは、（現在のフレームが符号化されているときの前のフレームに対応する）動きが推定され得るフレームを示し、項ｆは、動き推定を示し、項ｙは、動き補償フレームを示し、これはｙ＝ｆ（ｘ）として計算され得る。
[0160]実施され得る１つのタイプの動き推定は、ブロックベースの動き推定技法６０２である。ブロックベースの動き推定は、ブロックごとに実施され得る。たとえば、（動き補償されることになる）現在のフレームｙ中のブロックごとに、動き推定ｆが前のフレームｘ中の対応するブロックのロケーションを定義する。１つの例示的な例では、動き推定ｆは、前のフレームｘ中の対応するブロックに対する現在のフレームｙ中のブロックの変位（たとえば、水平変位および垂直変位）を示す動きベクトルを含むことができる。前のフレームｘからのブロックは、ブロック間の類似性（たとえば、ピクセル値の類似性）を決定することによって現在のフレームｙ中のブロックに対応するように決定され得る。
[0161]実施され得る別のタイプの動き推定は、オプティカルフロー動き推定技法６０４である。オプティカルフロー動き推定は、ピクセルごとに実施され得る。たとえば、現在のフレームｙ中のピクセルごとに、動き推定ｆは、前のフレームｘ中の対応するピクセルのロケーションを定義する。ピクセルごとの動き推定ｆは、フレーム間のピクセルの移動を示すベクトルを含むことができる。場合によっては、（動きベクトルマップとも呼ばれる）オプティカルフローマップは、フレーム間のオプティカルフローベクトルの計算に基づいて生成され得る。オプティカルフローマップは、フレーム中のピクセルごとにオプティカルフローベクトルを含むことができ、ここで、各ベクトルは、フレーム間のピクセルの移動を示す。１つの例示的な例では、ピクセルのためのオプティカルフローベクトルは、第１のフレームから第２のフレームへのピクセルの移動を示す（たとえば、ｘ変位およびｙ変位などの水平変位および垂直変位を示す）変位ベクトルであり得る。動き補償ベースのニューラルネットワークシステムのエンコーダ（たとえば、エンコーダ５３３）は、現在のフレームｙ中のピクセルごとにオプティカルフローベクトルを符号化もしくは圧縮することができるか、またはオプティカルフローマップが使用されるときにオプティカルフローマップを符号化もしくは圧縮することができる。動き補償ベースのニューラルネットワークシステムのデコーダ（たとえば、デコーダ５３８）によって再構成される動き推定情報
は、再構成されたオプティカルフローベクトルのグループ（たとえば、フレーム中のピクセルごとに１つ）または再構成されたオプティカルフローマップを含むことができる。
[0162]場合によっては、オプティカルフローマップは、フレーム中の一部のピクセルのためのベクトルを含むことができる。たとえば、高密度オプティカルフローは、高密度オプティカルフローマップ中に含まれ得るフレーム中のピクセルごとにオプティカルフローベクトルを生成するために隣接するフレーム間で計算され得る。別の例では、Ｌｕｃａｓ－Ｋａｎａｄｅオプティカルフローは、オプティカルフローマップ中に含まれ得るフレーム中の一部または全部のピクセルのためのオプティカルフローベクトルを生成するために隣接するフレーム間で計算され得る。フレーム間のオプティカルフローを決定するために任意の他の好適なタイプのオプティカルフロー技法またはアルゴリズムが使用され得る。各オプティカルフローマップは、２Ｄベクトルフィールドを含むことができ、各ベクトルは、第１のフレームから第２のフレームへのポイントの移動を示す変位ベクトルである。
[0163]上記のように、オプティカルフローベクトルまたはオプティカルフローマップは、一連のフレームの隣接するフレーム間で（たとえば、隣接するフレームｘtおよびｘt-1のセットの間で）計算され得る。２つの隣接するフレームは、連続的にキャプチャされたフレームである２つの直接隣接するフレームまたは一連のフレームの一定の距離だけ離れている（たとえば、互いの２フレーム内にあるか、互いの３フレーム内にあるか、もしくは他の好適な距離にある）２つのフレームを含むことができる。フレームｘt-1からフレームｘtへのオプティカルフローは、Ｏｘt-1,，ｘt＝ｄｏｆ（ｘt-1,，ｘt）によって与えられ得、ここで、ｄｏｆは、高密度オプティカルフローである。オプティカルフローマップを生成するために任意の好適なオプティカルフロープロセスが使用され得る。１つの例示的な例では、フレームｘt-1中のピクセルＩ（ｘ，ｙ，ｔ）は、次のフレームｘt中で距離（Δｘ，Δｙ）だけ移動することができる。ピクセルが同じであり、強度がフレームｘt-1と次のフレームｘtとの間で変化しないと仮定すると、以下の式が仮定され得る。
[0164]上記の式（２）の右辺のテイラー級数近似を取り、次いで、共通項を除去し、Δｔで除算することによって、オプティカルフロー式が次のように導出され得る。
[0165]ここで、
[0166]オプティカルフロー式（３）を使用して、画像勾配ｆxおよびｆyは、（ｆtとして示される）時間に沿った勾配とともに発見され得る。項ｕおよびｖは、Ｉ（ｘ，ｙ，ｔ）の速度またはオプティカルフローのｘおよびｙ成分であり、未知である。推定技法は、場合によっては、オプティカルフロー式が２つの未知の変数で解かれないことがあるときに必要とされ得る。オプティカルフローを推定するために任意の好適な推定技法が使用され得る。そのような推定技法の例は、差分方法（たとえば、Ｌｕｃａｓ－Ｋａｎａｄｅ推定、Ｈｏｒｎ－Ｓｃｈｕｎｃｋ推定、Ｂｕｘｔｏｎ－Ｂｕｘｔｏｎ推定、もしくは他の好適な差分方法）、位相相関、ブロックベースの方法、または他の好適な推定技法を含む。たとえば、Ｌｕｃａｓ－Ｋａｎａｄｅは、ピクセルＩの局所近傍においてオプティカルフロー（画像ピクセルの変位）が小さく、ほぼ一定であると仮定し、最小２乗法を使用してその近傍中のすべてのピクセルのための基本オプティカルフロー式を解く。
[0167]実施され得る別のタイプの動き推定は、（適応型畳み込みとも呼ばれる）動的畳み込み動き推定技法６０６である。動的畳み込み動き推定は、ピクセルごとに実施され得る。たとえば、現在のフレームｙ中のピクセルごとに、動き推定ｆは、前のフレームｘ中のピクセルの近傍の線形結合を定義する。図６に示されているように、現在のフレームｙ中のピクセルロケーションにおけるピクセルについて、前のフレームｘ中で同じピクセルロケーションにおけるピクセルを囲むピクセルの近傍の周りにカーネルまたは行列が定義される。図６の例示的な動的畳み込み動き推定は、現在のフレームｙ中の（（行番号，列番号）に対応する）ロケーション（２，７）におけるピクセルのために実施され、ここで、現在のフレームｙ中の左上のピクセルロケーションは、ロケーション（０，０）にある。前のフレームｘ中のロケーション（２，７）におけるピクセルの周りにカーネルが定義される。たとえば、図示のように、サイズ５×５のカーネルが、前のフレームｘ中のロケーション（２，７）におけるピクセルを囲むピクセルの近傍に適用される。
[0168]カーネルまたは行列中の各エントリは、数（図６の例では５×５の数のセット）を含むことができる。カーネル中で数のセットは、新たに再構成されたフレーム（現在のフレームｙ）中に再構成されているピクセルの同じピクセルロケーションに対応する前のフレームｘ中のピクセルロケーションにおけるピクセルを囲むピクセルの近傍からのピクセルをどのように組み合わせるのかについて説明することができる。動き補償ベースのニューラルネットワークシステムのエンコーダ（たとえば、エンコーダ５３３）は、現在のフレームｙ中のピクセルごとにカーネルからの数（たとえば、図６からの５×５のカーネルからの２５の数）の表現を圧縮することができる。動き補償ベースのニューラルネットワークシステムのデコーダ（たとえば、デコーダ５３８）によって再構成される動き推定情報
は、前に再構成されたフレームをワーピングするためにデータ畳み込みを実施するための使用され得るピクセルごとの再構成されたカーネルを含むことができる。
[0169]図７は、ポストワーピング拡張を実施するための追加のポストワーピングネットワーク５７４をもつニューラルネットワークシステム５１１の一例を示す図である。場合によっては、ワーピングエンジン５６７がワーピングを実施し、加算器エンジン５６９が残差を追加した後、再構成されたフレームを改善する余地が依然としてあり得る。たとえば、再構成されたフレーム
は、（ワーピングエンジン５６７による）ワーピングと（加算器エンジン５６９による）残差の追加との後に、元のフレーム
中に存在しなかった視覚的アーティファクトを有し得る。ポストワーピングネットワーク５７４は、（たとえば、アーティファクトを除去することによって）再構成されたフレームをさらに向上または改良するために使用されるニューラルネットワークの構成要素（たとえば、１つまたは複数の畳み込みレイヤ）を含むことができる。
[0170]ポストワーピングネットワーク５７４は、ワーピングエンジン５６７が前に再構成されたフレームをワーピングした後に適用され得る。たとえば、図７に示されているように、時間ステップｔにおいて、（ワーピングが適用された後の）ワーピングしたフレームと再構成された残差
とがポストワーピングネットワーク５７４に入力される。ポストワーピングネットワークは、あらゆる視覚的不純物（たとえば、視覚的アーティファクト）が除去された再構成されたフレーム
を生成することができる。いくつかの例では、ポストワーピングネットワーク５７４は、残りのニューラルネットワークシステム５１１のニューラルネットワークとは無関係にトレーニングされる。いくつかの例では、ポストワーピングネットワーク５７４は、残りのニューラルネットワークシステム５１１とは無関係にトレーニングされず、その場合、ニューラルネットワークシステム５１１全体は、エンドツーエンドでトレーニングされる。たとえば、クリーンなまたは圧縮されていないフレームが、ニューラルネットワークシステム５１１のニューラルネットワークに入力され得、ネットワークは、再構成されたフレームを出力する。（入力フレームと比較して）再構成されたフレームに関連するエラーまたは損失を査定するためにバックプロパゲーションが使用され得、ニューラルネットワークシステム５１１のパラメータは、上記で説明されたように、チューニングされ得る。
[0171]図８および図９は、追加の動き推定ネットワーク５７５をもつニューラルネットワークシステム５１１の一例を示す図である。動き推定ネットワーク５７５は、動き推定の拡張学習を与えることができる。図８および図９に示されているように、（動き推定ネットワーク５７５に入力された）前の入力フレームｘtと、動き推定ネットワーク５７５によってエンコーダ側において決定された動き推定
と、（ワーピングした再構成されたフレーム
として示される）動き推定
によってワーピングされた前の再構成されたフレームとを含む追加の入力変数が、時間ステップｔ＋１においてニューラルネットワークシステム５１１のエンコーダ側に与えられる。
[0172]上記のように、いくつかの実装形態では、ニューラルネットワークシステム５１１は、エンドツーエンド方式でトレーニングされる。場合によっては、ニューラルネットワークシステム５１１は、いくつかのパラメータを計算しようと試みるときにトレーニング中に問題を有する可能性がある。たとえば、ニューラルネットワークが、動き推定パラメータ（たとえば、オプティカルフロー）を決定し、それらの動き推定パラメータを使用して前に再構成されたフレームをワーピングしようと試みるときに問題が起こる可能性がある。別の例では、残差を推定し、残差にワーピングしたフレームを加算するときに、問題が起こる可能性がある。そのような問題は、再構成がどのように取得されるのかにかかわらずニューラルネットワークシステム５１１が可能な最良の再構成を取得しようと試みることにより起こる可能性がある。たとえば、できるだけ元のフレームに近い再構成されたフレームを生成しようと試みる際に、ニューラルネットワークシステム５１１は、動き推定パラメータ（たとえば、オプティカルフロー）を適切に学習しないことがあり、再構成されたフレームを生成するために残差だけに依拠することがある。場合によっては、再構成されたオプティカルフローの出力がブランクテンソルまたはデータのない他のデータ構造であることすらあり得る。しかしながら、ビデオ中の冗長の大部分は、そのような動きデータから（たとえば、フレーム間のオプティカルフローから）来ることがあり、その場合、動き推定パラメータを学習することが重要になり得る。
[0173]動き推定ネットワーク５７５は、ニューラルネットワークシステム５１１のエンコーダ側で動き推定ニューラルネットワークを与えることによってニューラルネットワークシステム５１１が動き推定パラメータを学習するのを助けることができる。たとえば、動き推定ネットワーク５７５は、動き推定パラメータ（たとえば、オプティカルフローベクトル、オプティカルフローマップ、ブロックベースの動き情報、データ畳み込みを実施するために使用されるピクセルごとのカーネルなど）を推定し、エンコーダ５３３にそれらの動き推定パラメータを与える別個のニューラルネットワークを含むことができる。ニューラルネットワークシステム５１１のエンコーダ側の動き推定パラメータを決定することによって、動き推定パラメータの実際のセットがエンコーダ５３３に与えられ、エンコーダ５３３に動き推定（たとえば、オプティカルフロー）を検討させる。
[0174]いくつかの例では、動き推定ネットワーク５７５は、ニューラルネットワークシステム５１１の残りとは無関係にトレーニングされ得るか、または（動き推定ネットワーク５７５を含む）ニューラルネットワークシステム５１１全体は、エンドツーエンド方式で一緒にトレーニングされ得る。動き推定ネットワーク５７５を考慮に入れる様々な損失項は、以下を含むことができる。
[0175]いくつかの実装形態では、動き推定ネットワーク５７５は、（グラウンドトゥルース出力を使用せずに）教師なし学習を使用してトレーニングされ得る。Ｌｏｓｓ１およびＬｏｓｓ２項は、エンコーダ側で使用され得、Ｌｏｓｓ３およびＬｏｓｓ４項は、デコーダ側で使用され得る。動き推定の一例としてオプティカルフローを使用する１つの例示的な例では、２つの連続するフレームｘtおよびｘt+1を仮定すれば、動き推定ネットワーク５７５の目的は、２つのフレームｘtおよびｘt+1の間のオプティカルフローを推定することである。動き推定ネットワーク５７５は、推定されたオプティカルフローパラメータを出力することになり、これは、ｘtの再構成されたバージョン
をワーピングするために使用されることになる。損失（たとえば、上記のＬｏｓｓ２）は、ワーピングした
と元のフレームｘtとの間で決定され得る。損失は、次いで、上記で説明されたバックプロパゲーション技法を使用して重み（および、場合によっては、他のパラメータ）をチューニングするために使用され得る。場合によっては、Ｌｏｓｓ２ではなく、損失項Ｌｏｓｓ１が、エンコーダ側で使用され得る。
[0176]エンコーダ側で推定された動き推定パラメータ（たとえば、オプティカルフロー）を復元するためにデコーダ５３８をトレーニングするために、同じ概念がＬｏｓｓ３またはＬｏｓｓ４を使用してデコーダ側で使用され得る。たとえば、デコーダ５３８は、現在のフレームｘtと前のフレームｘt-1（Ｌｏｓｓ３が使用されるとき）または前に再構成されたフレーム
（Ｌｏｓｓ４が使用されるとき）のいずれかとを含む２つの連続するフレーム間の動き（たとえば、オプティカルフロー）を計算または推定することができる。このようにして、動き推定パラメータを推定するために圧縮されていないフレームが使用され得る。得られた動き推定パラメータは、フレームｘtに一致しようとする試みにおいて前のフレーム（ｘt-1または
）をワーピングするために使用され得る。ワーピングの出力が現在の時間ステップにおける入力フレームｘtに一致することが望まれる。
[0177]ワーピングしたフレームと入力フレームｘtとの間の損失は、次いで、Ｌｏｓｓ３またはＬｏｓｓ４のいずれかを使用して計算され得る。上記のように、Ｌｏｓｓ３は、実際の前のフレームｘt-1の使用を含み、Ｌｏｓｓ４は、前に再構成されたフレーム
（前のフレームｘt-1の解凍または復号されたバージョン）の使用を含む。時間ステップｔ－１からの実際の前のフレームｘt-1が次の時間ステップｔにおいてニューラルネットワークシステム５１１にとって利用可能でない状況においてデコーダ側ではＬｏｓｓ４（エンコーダ側ではＬｏｓｓ２）が使用され得る。損失を査定し、ニューラルネットワークシステム５１１のパラメータを調整またはチューニングするために、バックプロパゲーションが使用され得る。そのようなトレーニングは、デコーダ５３８が動き推定パラメータを学習するのを支援する。
[0178]いくつかの例では、（実際の前のフレームｘt-1が時間ステップｔにおいて利用可能であるのかどうかに応じて）損失項Ｌｏｓｓ１およびＬｏｓｓ３または損失項Ｌｏｓｓ２およびＬｏｓｓ４がトレーニングの異なる段階において活性化される。たとえば、エンコーダ側でＬｏｓｓ２とデコーダ側でＬｏｓｓ４とが活性化され、ニューラルネットワークシステム５１１のトレーニングが最初に始まり、ある時点まで使用され得、その後、ニューラルネットワークシステム５１１は、（図５Ａおよび上記に示されているように）唯一の損失項としてＬｏｓｓ０を使用してトレーニングされる（損失項Ｌｏｓｓ１～Ｌｏｓｓ４は非活性化される）。トレーニング中に損失項Ｌｏｓｓ１およびＬｏｓｓ３またはＬｏｓｓ２およびＬｏｓｓ４を最初に使用することによって、ニューラルネットワークシステム５１１は、動き推定パラメータ（たとえば、オプティカルフローベクトルまたはマップ）を学習させられる。ニューラルネットワークシステム５１１は、動き推定パラメータを十分に学習すると、その情報を保持することができ、さらなるトレーニング反復におよび推測中に（トレーニングされたネットワークが実際のビデオデータ上での動作のために展開されるときに）動き推定パラメータをどのように推定するのかを維持することになる。したがって、追加の損失項Ｌｏｓｓ１～Ｌｏｓｓ４は、動き推定パラメータがニューラルネットワークシステム５１１によって学習されると非活性化され得、ニューラルネットワークシステム５１１をさらにトレーニングするためにＬｏｓｓ０を使用し続けることができる。
[0179]図１０は、単一レベルの再帰構成とマルチレベルの再帰構成とを含むニューラルネットワークシステム５１１の異なる再帰レイヤ構成の一例を示す図である。エンコーダ５３３とデコーダ５３８とは、ボトルネック１０３４によって分離された異なるレイヤとして示されている。ボトルネック１０３４は、量子化器５３４を使用して量子化されたラテント表現に対応する。単一レベルの再帰構成では、エンコーダ５３３は、順方向レイヤを含み、デコーダは、４つの順方向レイヤと単一の再帰レイヤ１０７１とを含む。エンコーダ５３３の順方向レイヤは、１つまたは複数の畳み込みレイヤ、正規化レイヤ、非線形レイヤ、残差ブロック、または他のニューラルネットワークレイヤなど、図５Ｂに示されているニューラルネットワークレイヤのうちの１つまたは複数を含むことができる。順方向レイヤ１０７０ａと、順方向レイヤ１０７０ｂと、順方向レイヤ１０７０ｃとは、図５Ａに示されている１つまたは複数の再帰前デコーダレイヤ５７０に対応する。１つの例示的な例では、順方向レイヤ１０７０ａ、１０７０ｂ、および１０７０ｃは、（ＣｏｎｖＧＲＵ ｃ：Ｃ3 ｋ：３ ｓ：１として図５Ｂ中で示されている）再帰レイヤより前に発生する図５Ｂのデコーダ５３８の（レイヤ５７９として図５Ｂに示されている）すべてのレイヤを含むことができる。図１０の再帰レイヤ１０７１は、図５Ａに示されている１つまたは複数の再帰レイヤ５７１に対応する。再帰レイヤ１０７１の一例は、図５Ｂからの（設定ｃ：Ｃ3 ｋ：３ ｓ：１をもつ）ＣｏｎｖＧＲＵ再帰レイヤである。図示のように、時間ステップｔからの再帰レイヤ１０７１の再帰状態は、再帰レイヤ１０７１に、および次の時間ステップｔ＋１においてエンコーダ５３３に与えられる。順方向レイヤ１０７３は、図５Ａに示されている１つまたは複数の再帰後レイヤ５７２に対応する。１つの例示的な例では、順方向レイヤ１０７３は、図５Ｂのデコーダ５３８の（Ｃｏｎｖ ｃ：５ｋ：５ ｓ：１として示されている）畳み込みレイヤを持続することができる。
[0180]マルチレベルの再帰構成は、単一の再帰構成と同じ順方向レイヤを含むが、デコーダ５３８に複数のレベルの再帰レイヤを含む。異なる再帰レイヤの各々は、（隠れ状態とも呼ばれる）別個の再帰状態を維持し、各再帰状態は、ニューラルネットワークシステム５１１中のその時点までの異なるレベルの特徴をキャプチャする。図１０に示されているように、デコーダ５３８の再帰レイヤにフィードバックされることに加えて、再帰状態は、デコーダ５３８の再帰レイヤからエンコーダ５３３中のミラーロケーションにフィードバックされる。複数の再帰状態により、エンコーダ５３３とデコーダ５３８とは、より効率的なビデオコーディングを実施するために追加情報を利用することが可能になり得る。
[0181]図１１は、追加のワーピングエンジン５７６をもつニューラルネットワークシステム５１１の一例を示す図である。ニューラルネットワークシステム５１１の様々な構成要素は、説明のために図１１から省略されている（たとえば、量子化器５３４、１つまたは複数の再帰前デコーダレイヤ５７０など）が、それらの構成要素がニューラルネットワークシステム５１１中に存在することを当業者ならば理解されよう。ワーピングエンジン５７６は、現在の時間ステップ（たとえば、時間ステップｔ＋１）において再帰状態を使用する前に１つまたは複数の再帰レイヤ５７１の前の時間ステップ（たとえば、時間ステップｔ）からの前の再帰状態（または隠れ状態）をワーピングするために使用され得る。ワーピングエンジン５７６は、現在のフレーム中のピクセルのロケーションに再帰状態を一致させるために再帰状態をワーピングするためにエンコーダ５３３とデコーダ５３８とにとって利用可能な動き推定パラメータを使用することができる。
[0182]現在の時間ステップにおいてそれらを使用する前の前の再帰状態のワーピングは、ビデオのために有用であり得る。たとえば、オブジェクトは、ビデオフレームにわたって時間的に移動することができ、そのような動きは、（たとえば、オプティカルフロー、ブロックベースの動き推定などを使用して）上記で説明された動き推定技法によってモデル化され得る。デコーダ５３８の１つまたは複数の再帰レイヤ５７１の再帰状態が後の時間ステップにおいてデコーダ５３８とエンコーダ５３３とに直接フィードバックされるとき、オブジェクトの動きは、（たとえば、図５Ａに示されているように、動き補償が再帰レイヤの後に実施されるので）隠れ状態内でモデル化されない。再帰状態は、入力フレームを表し（たとえば、それは、入力画像の特徴表現を含み）、その場合、入力画像中のピクセルの移動は、再帰状態の特徴空間中の同様の移動を生じなければならない。したがって、動き推定に基づいて再帰状態をワーピングすることによって、入力フレームから推定される各移動は、再帰状態中の対応する移動に移され、再帰状態を現在のフレーム中のピクセルのロケーションに一致させる。
[0183]図１１を参照すると、現在の時間ステップにおけるワーピングエンジン５７６は、前の時間ステップからのデコーダ５３８の再帰レイヤの前の再帰または隠れ状態ｈをワーピングするために使用される。前の隠れ状態は、現在の時間ステップにおいて再帰レイヤ中で再使用される前に現在の時間ステップにおいて推定される動き推定パラメータ（たとえば、オプティカルフロー）を使用してワーピングされる。たとえば、ワーピングエンジン５７６は、時間ステップｔ＋１において、時間ステップｔ＋１において推定される動き推定パラメータ
を使用して時間ステップｔからの前の再帰状態ｈtをワーピングすることができる。ワーピングした再帰状態は、次いで、現在の時間ステップｔにおいて再帰レイヤ中で再使用され得る。
[0184]いくつかの実装形態では、追加の再帰レイヤが、ワーピングエンジン５７６の前に与えられ得る。追加の再帰レイヤは、現在の時間ステップｔ＋１の動作のための動き推定パラメータ
（たとえば、オプティカルフロー）を再構成するために使用され得、これは、時間ステップｔからの前の再帰状態ｈtをワーピングするためにワーピングエンジン５７６によって使用され得る。ワーピングした前の再帰状態
は、次いで、現在の時間ステップｔにおいて再帰レイヤに入力され得る。いくつかの実装形態では、反復動作は、最初に、現在の時間ステップｔ＋１における動き推定パラメータ（たとえば、オプティカルフロー）を決定するために実施され得、これは、時間ステップｔからの前の再帰状態ｈtをワーピングするためにワーピングエンジン５７６によって使用され得る。ワーピングした前の再帰状態
は、次いで、現在の時間ステップｔにおいて再帰レイヤに入力され得る。たとえば、フォワードパスは、動き推定パラメータを復元または再構成するために実施され得、次いで、動作は、前の再帰状態をワーピングするために再帰レイヤに戻ることができる。いくつかの実装形態では、現在の時間ステップ（ｔ）の再帰レイヤへのフィードバックとしての（時間ステップｔ－１からの）ワーピングした前に再構成されたフレーム。
[0185]図１２は、追加のマスキング機能をもつニューラルネットワークシステム５１１の一例を示す図である。図１２に示されているように、１つまたは複数の再帰後レイヤ５７３は、再構成された動き推定データ
および再構成された残差データ
に加えて要素ごとのマスク
を出力することができる。ワーピングエンジン５６７は、図５Ａに関して上記で説明されたことと同様に、前に再構成されたフレーム
をワーピングすることによってワーピングした前の再構成されたフレーム
を生成することができる。マスク
は、ビデオフレーム中でピクセルごとに値を有するピクセルごとのマスクであり得る。マスク
は、再構成されたフレーム
を再構成するときに、ワーピングした前の再構成されたフレーム
と残差
との寄与をマスキングする（または重み付けする）ために使用される。たとえば、いくつかの実装形態では、マスク
は、以下の式に従って適用され得る。
[0186]式（４）によれば、マスク
の値が増加するにつれて、再構成されたフレーム
上のワーピングした前の再構成されたフレーム
の効果が増加し、再構成されたフレーム
上の残差データ
の効果が低減される。一方、マスク
の値が減少するにつれて、ワーピングした前の再構成されたフレーム
の効果は低減され、残差データ
の効果は増加する。いくつかの実装形態では、
は、０と１との間の値の範囲に制限され得る（両端値を含む［０，１］）。１つの例示的な例では、マスクがピクセルのために０の値を有する場合、そのピクセルのための次のフレーム中の値は、完全に残差から取られることになる。
[0187]いくつかの例では、マスク
は、前のビデオフレーム中に存在しなかった現在のビデオフレームの部分をマスキングして除くオクルージョンマスクであり得る。そのようなシナリオは、たとえば、シーンの部分が一時的に遮断されるとき、オブジェクトがシーンに入るときなどに発生することができる。フレームのそのような利用不可能な部分のマスキングは、それらの部分のための動き情報（したがって、ワーピング）が利用不可能であるので実施され得る。たとえば、ピクセルが前のフレーム中で利用不可能である場合、現在のフレームと前のフレームとの間の動き推定は現在のフレームのピクセルのために実施されないことがある。そのような例では、それらのピクセルを含むビデオフレームの部分は、ワーピングされないことがある。そのような場合、現在のフレームの再構成は、オクルージョンの量に応じて、残差データ
により重度に（または場合によっては完全に）依拠することによって決定され得る。
[0188]図１３は、追加の再構成改良機能をもつニューラルネットワークシステム５１１の一例を示す図である。図１３に示されている構成を使用して、ニューラルネットワークシステム５１１は、ニューラルネットワークシステム５１１の２つの時間ステップの動作において各ビデオフレームを再構成することができる。たとえば、現在の時間ステップ（たとえば、時間ステップｔ－１）において決定された各再構成されたビデオフレーム（たとえば、
）は、後続の時間ステップ（たとえば、時間ステップｔ）においてさらに精製され得る。そのような場合、前に再構成されたビデオフレーム
は、２つの役割をサービスすることができる。たとえば、現在の時間ステップｔにおいて、（図５Ａに示されている構成においても行われているように）現在の時間ステップの再構成
を形成するために、前に再構成されたビデオフレーム
がワーピングされ、残差
が加算される。さらに、残差
も出力され、前に再構成されたビデオフレーム
に加算され、前に再構成されたビデオフレーム
と比較して改善された品質を有する改良された再構成されたフレーム
を生じる。
[0189]図１３に示されているように、各時間ステップにおいて、前のグラウンドトゥルースの（圧縮されていない）フレームｘが、前の再構成されたフレーム
の改良を行うことを可能にするために、エンコーダ５３３への入力として加算される。たとえば、時間ステップｔにおいて、前のグラウンドトゥルースのフレームｘt-1が、前の再構成されたフレーム
の改良を行うことを可能にするためにエンコーダ５３３への入力として加算される。図示のように、時間ステップｔにおいて、１つまたは複数の再帰後レイヤ５７３は、残差
に加えて、出力残差
を与える。残差
は、前のグラウンドトゥルースのフレームｘt-1に基づいて生成され、改良された再構成されたフレーム
を生成するために、前の再構成
を改良するために使用される。たとえば、改良された再構成は、次のように生成され得る。
[0190]改良された再構成されたフレーム
は、時間ステップｔ－１における前のフレームのための最後の再構成として使用され得る。そのような場合、システム５００は、ニューラルネットワークシステム５１１の１つの時間ステップの動作によって出力ビデオシーケンスを遅延させる。ニューラルネットワークシステム５１１が、第１の最初の改良されてない再構成において実施されたエラーを知ることによって次の時間ステップにおいて再構成されたフレームを改良することが可能になることはコーディング効率（たとえば、レートひずみ）の点で有益であり得る。そのような構成は、前の時間ステップにおいて発生したあらゆる誤りを次の時間ステップにおいて補償することを可能にし、これは、レートひずみ最適化に利益を与えることができる。
[0191]図１４は、ニューラルネットワークシステム５１１のエンコーダ５３３への入力として１つまたは複数のひずみ（distortion）マップを使用することの一例を示す図である。ひずみマップ５７７とひずみマップ５７８とを含む２つの例示的なひずみマップが図１４に示されている。ひずみマップ５７７は、現在の時間ステップｔからの現在のソースフレームｘtと前の時間ステップｔ－１からの前の再構成
との間のひずみを含む。ひずみマップ５７８は、現在のソースフレームｘtとワーピングした前に再構成されたビデオフレーム
との間のひずみを含む。上記のように、前に再構成されたビデオフレーム
は、オプティカルフローなどの動き推定に従ってワーピングされ得る。そのような場合、オプティカルフローは、フローネットを使用するなどしてエンコーダ側で推定され得る。フローネットは、畳み込みネットワークを用いてオプティカルフローを学習するニューラルネットワークアーキテクチャである。
[0192]ひずみマップ中に含まれるひずみは、ニューラルネットワークシステム５１１をトレーニングするための損失関数（たとえば、上記で説明されたＬｏｓｓ０、Ｌｏｓｓ１、Ｌｏｓｓ２、Ｌｏｓｓ３、および／またはＬｏｓｓ４）として使用されるひずみ（またはエラーもしくは損失）であり得る。ひずみは、特に、マルチスケール構造的類似性指数（ＭＳ－ＳＳＩＭ）、ピクセルごとの平均２乗誤差（ＭＳＥ）などの任意のタイプのひずみに基づき得る。ひずみマップは、知覚ひずみマップと呼ばれることもある。
[0193]（ニューラルネットワークシステム５１１の外の）ひずみマップを明示的に計算し、ひずみマップをエンコーダ５３３への入力として供給することによって、エンコーダ５３３は、画像のどの部分が知覚ひずみに寄与しているのか、したがって、どこにより多くの情報を割り振る必要があるのかに関して案内され得る。たとえば、エンコーダ５３３は、ひずみに最も寄与する画像の領域上のビットレートに焦点を当てることができる。そのような利益は、ニューラルネットワークによって学習するために重要である知覚ひずみマップ（たとえば、ＭＳ－ＳＳＩＭ）などのいくつかのひずみマップのための拡張であり得る。
[0194]図１５は、エンコーダ５３３中での乗法的交互作用を可能にする追加の線形ニューラルネットワークレイヤを用いるニューラルネットワークシステム５１１の一例を示す図である。デフォルトの方法で適用される畳み込みニューラルネットワークアーキテクチャは、乗法的交互作用を可能にしない。乗法的交互作用は、入力に対して実施されている計算が入力自体に依存するときである。たとえば、従来の畳み込みニューラルネットワークは、トレーニング中に重みを学習する。重みは、同じであり、ニューラルネットワークへの入力である入力値にかかわらずあらゆる入力に適用される。
[0195]図１５を参照すると、乗法的交互作用は、入力の各空間位置において独立して（図１５の線形レイヤ（１）に示されている）エンコーダ５３３の線形レイヤ５８１を適用することによってエンコーダ５３３中で使用可能になる。線形レイヤ５８１の重みは、（図１５の線形レイヤ（２）に示されている）線形レイヤ５８２によって出力された重み５８３によって決定される。たとえば、重み５８３は、線形レイヤ５８１のための重みとして使用され得る。同じ入力５８０が、線形レイヤ５８１と線形レイヤ５８２とに適用される。線形レイヤ５８１の重みを定義するために線形レイヤ５８２を使用することは、線形レイヤ５８１によって実施される計算を入力５８０自体の値に依存することを可能にする（したがって、入力５８０に適用される計算は入力自体に依存する）。たとえば、ニューラルネットワークシステム５１１は、前の再構成されたフレームと現在のフレームとの間のひずみが有意である領域と比較してそのひずみが無視できる領域において異なる計算を実施するように学習することができる。
[0196]いくつかの実装形態では、図１５の構成は、図１６に示されている構成と組み合わせて使用され得る。たとえば、１つまたは複数のひずみマップは、入力５８０に加えて線形レイヤ５８２に入力され得、これは、重み５８３の計算を向上させるのを助けることができる。一例では、異なる空間的ロケーションにおける重みは、ひずみマップによって示されるように、異なる空間的ロケーションにおけるひずみの値に従って別様に設定され得る。
[0197]再帰ベースのニューラルネットワークシステム（たとえば、システム４００および／またはシステム５００）ならびにビデオ圧縮について本明細書で説明される関連する技法は、高品質のピクセル当たりのビット（ｂｐｐ）値の条件で、最先端のレベルで実施することができるビデオコーディングシステムを与える。たとえば、図１６および図１７に与えられているグラフに示されているように、そのような技法は、（実際的な関心のｂｐｐ領域である）１０８０ｐの解像度の場合に＞０．１４ｂｐｐの範囲でＨＥＶＣおよびＡＶＣを含む現在の業界標準のコーデックよりも優れている（たとえば、Ｎｅｔｆｌｉｘは、約０．０９～０．１２ｂｐｐを使用して１０８０ｐのビデオをストリームする）。図１６および図１７における「ＲｅｃｕｒｒｅｎｔＡＥ」は、本明細書で説明される再帰ベースのニューラルネットワークシステムを使用した結果を指し、図１６および図１７における「ＲＤＡＥ」は、別の機械学習ベースのビデオ圧縮技法を指す。
[0198]本明細書で説明される再帰ベースのニューラルネットワークシステム（たとえば、システム４００および／またはシステム５００）は、低レイテンシの動作を与える。たとえば、システムは、いくつかのフレームのバッチで（たとえば、ピクチャグループ（ＧｏＰ）で）ではなくフレームごとのビデオの生成および送信を可能にし、したがって、送信されるフレームの累算を待つ必要がない。さらに、システムは、ビデオの特性に応じてランタイムにＧｏＰサイズ（すなわち、残差情報だけではなくフルフレームを送信する頻度）を調整する能力を与え、したがって、レートひずみ空間においてより良い動作点につながる。様々な他の利益も、本明細書で説明される再帰ベースのニューラルネットワークシステムによって与えられる。
[0199]図１８は、本明細書で説明される再帰ベースの機械学習技法のうちの１つまたは複数を使用してビデオを処理するプロセス１８００の一例を示すフローチャートである。ブロック１８０２において、処理１８００は、ニューラルネットワークシステムのエンコーダ部分によって、ニューラルネットワークシステムの現在の時間ステップの動作のための入力ビデオフレームと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からのニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの少なくとも１つの再帰状態データとを取得することとを含む。場合によっては、再帰状態データは、少なくとも１つの再帰レイヤのノードの１つまたは複数の値を含む。いくつかの例では、ニューラルネットワークシステムの前の時間ステップの動作によって生成された前に再構成されたビデオフレームなどの他の入力データが、図５Ａに示されているように、エンコーダ部分によって取得され得る。
[0200]ブロック１８０４において、プロセス１８００は、ニューラルネットワークシステムのエンコーダ部分によって、ニューラルネットワークシステムの現在の時間ステップの動作のための出力データを生成することを含む。出力データは、入力ビデオフレームと、前の時間ステップの動作からの再構成された動き推定データと、前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からの少なくとも１つの再帰状態データとに少なくとも部分的に基づいて生成される。出力データは、図５Ａに示されているように、ニューラルネットワークシステムの前の時間ステップの動作によって生成された前に再構成されたビデオフレームなど、場合によっては、他の入力データに基づいて生成され得る。
[0201]１８０６において、プロセス１８００は、ニューラルネットワークシステムのデコーダ部分によって、現在の時間ステップの動作のための出力データと前の時間ステップの動作からのデコーダ部分の少なくとも１つの再帰レイヤからの少なくとも１つの再帰状態データとを取得することを含む。たとえば、図５Ａに示されているように、現在の時間ステップｔ＋１の動作について、デコーダ５３８は、量子化器５３４から出力データを取得することができ、デコーダ５３８の再帰レイヤは、前の時間ステップｔの動作からそれ自体に再帰状態データｈtをフィードバックすることができる。場合によっては、ニューラルネットワークシステムのデコーダ部分は、複数の再帰レイヤを含み、複数の再帰レイヤの各再帰レイヤは、それぞれの再帰状態データを与える。
[0202]ブロック１８０８において、プロセス１８００は、出力データと前の時間ステップの動作からの少なくとも１つの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することを含む。再構成されたビデオフレームは、入力ビデオフレームを表す。たとえば、再構成されたビデオフレームは、入力ビデオフレームの再構成されたバージョンである。再構成されたビデオフレームは、表示、記憶、および／または送信のための出力であり得る。たとえば、いくつかの例では、プロセス１８００は、記憶媒体中に出力データを記憶することを含む。いくつかの例では、プロセス１８００は、記憶媒体中に再構成されたビデオフレームを記憶することを含む。いくつかの例では、プロセス１８００は、少なくとも１つのデバイスに送信媒体を介して再構成されたビデオフレームを送ることを含む。場合によっては、再構成されたビデオフレームは、表示、記憶、および／または送信のために出力される前に（たとえば、再構成プロセスによるものである視覚的アーティファクトを除去するために、または他の処理のために）さらに処理され得る。
[0203]いくつかの例では、プロセス１８００は、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの少なくとも１つの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための動き推定データを決定することを含む。そのような例では、プロセス１８００は、前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと、現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することによって現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することとを含むことができる。
[0204]いくつかの例では、プロセス１８００は、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの少なくとも１つの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成された残差データを決定することを含む。そのような例では、プロセス１８００は、現在の時間ステップのために決定された再構成された残差データにワーピングした再構成されたビデオフレームを加算することによって現在の時間ステップの動作のための再構成されたビデオフレームを生成することを含むことができる。
[0205]いくつかの例では、プロセス１８００は、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの少なくとも１つの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成された残差データを決定することを含む。そのような例では、プロセス１８００は、デコーダ部分のポストワーピングネットワークによって、ワーピングした再構成されたビデオフレームと現在の時間ステップのために決定された再構成された残差データとを処理することを含むことができる。場合によっては、再構成されたビデオフレームは、ポストワーピングネットワークによるワーピングした再構成されたビデオフレームと再構成された残差データとの処理に基づいて現在の時間ステップの動作のために生成される。
[0206]いくつかの例では、プロセス１８００は、ニューラルネットワークシステムの動き推定ネットワークによって、入力ビデオフレームと前の時間ステップの動作からの前に再構成されたビデオフレームまたは前の時間ステップの動作からの前の入力ビデオフレームとのうちの少なくとも１つとに少なくとも部分的に基づいて現在の時間ステップの動作のための動き推定データを決定することを含む。そのような例では、プロセス１８００は、現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームまたは前の入力ビデオフレームとのうちの少なくとも１つの１つまたは複数のピクセルを修正することによって現在の時間ステップのためのワーピングした再構成されたビデオフレームを生成することを含むことができる。プロセス１８００は、ニューラルネットワークシステムのエンコーダ部分にワーピングした再構成されたビデオフレームと現在の時間ステップの動作のために決定された動き推定データとを送ることを含むことができる。場合によっては、現在の時間ステップの動作のために生成された出力データは、ワーピングした再構成されたビデオフレームと現在の時間ステップの動作のために決定された動き推定データとに少なくとも部分的に基づいてニューラルネットワークシステムのエンコーダ部分によって生成される。
[0207]いくつかの例では、プロセス１８００は、１つまたは複数のトレーニング反復のために、第１の損失関数を使用してニューラルネットワークシステムをトレーニングすることを含む。第１の損失関数は、１つまたは複数の入力ビデオフレームと１つまたは複数のワーピングした再構成されたビデオフレームとの間の損失を決定する。たとえば、第１の損失関数は、上記で説明された損失関数Ｌｏｓｓ１、Ｌｏｓｓ２、Ｌｏｓｓ３、および／またはＬｏｓｓ４のいずれかを含むことができる。１つの例示的な例では、エンコーダ５３３をトレーニングするためにＬｏｓｓ１が使用され得、デコーダ５３８をトレーニングするためにＬｏｓｓ３が使用され得る。別の例示的な例では、エンコーダ５３３をトレーニングするためにＬｏｓｓ２が使用され得、デコーダ５３８をトレーニングするためにＬｏｓｓ４が使用され得る。そのような例では、プロセス１８００は、第１の損失関数を非活性化すること（たとえば、Ｌｏｓｓ１、Ｌｏｓｓ２、Ｌｏｓｓ３、および／またはＬｏｓｓ４を非活性化すること）を含むことができる。たとえば、第１の損失関数は、図８および図９に関して上記で説明されたように、ニューラルネットワークシステムが動き推定パラメータを学習するためにトレーニングされると決定することに応答して非活性化され得る。そのような例では、プロセス１８００は、１つまたは複数のトレーニング反復の後に実施される１つまたは複数の後続のトレーニング反復について、第２の損失関数を使用してニューラルネットワークシステムをトレーニングすることを含むことができる。第２の損失関数は、少なくとも１つの入力ビデオフレームと少なくとも１つの再構成されたビデオフレームとの間の損失を決定する。たとえば、第２の損失関数は、上記で説明されたＬｏｓｓ０を含むことができる。
[0208]いくつかの例では、プロセス１８００は、現在の時間ステップの動作または前の時間ステップの動作のために決定された動き推定データを使用して前の時間ステップの動作からの少なくとも１つの再帰状態データを修正することによって現在の時間ステップの動作のためのワーピングした再帰状態データを生成することを含む。そのような例では、現在の時間ステップの動作のために生成された再構成されたビデオフレームは、ワーピングした再帰状態データに少なくとも部分的に基づいて生成される。
[0209]いくつかの例では、プロセス１８００は、デコーダ部分によって、再構成されたマスクを生成することを含む。再構成されたマスクは、前の時間ステップの動作中に生成された前に再構成されたビデオフレーム中のデータの存在を示す１つまたは複数の値を含む。そのような例では、プロセス１８００は、再構成されたマスクと、現在の時間ステップの動作のために生成されるワーピングした再構成されたビデオフレームと、現在の時間ステップの動作のために決定された再構成された残差データとに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成されたビデオフレームを生成することを含む。再構成されたマスクは、ワーピングした再構成されたビデオフレームと再構成された残差データとの寄与を重み付けする。１つの例示的な例では、図１２に関して上記で説明されたように、マスクは、式（４）
を使用して実装され得る。
[0210]いくつかの例では、プロセス１８００は、前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することを含む。そのような例では、プロセス１８００は、現在の時間ステップの動作中に、現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することによって現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することを含む。そのような例では、プロセス１８００は、現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作のための第１の再構成された残差データを決定することを含むことができる。そのような例では、プロセス１８００は、現在の時間ステップのために決定された再構成された残差データにワーピングした再構成されたビデオフレームを加算することによって現在の時間ステップの動作のための再構成されたビデオフレームを生成することを含むことができる。プロセス１８００は、現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作中にエンコーダ部分によって処理された前の入力ビデオフレームに少なくとも部分的に基づいて前の時間ステップの動作からの第２の再構成された残差データを決定することを含むことができる。そのような例では、プロセス１８００は、現在の時間ステップの動作中に、第２の再構成された残差データを使用して前に再構成されたビデオフレームを修正することと、現在の時間ステップの動作のための最終の出力ビデオフレームとして修正された前に再構成されたビデオフレームを出力することとを含むことができる。たとえば、図１３に関して上記で説明されたように、修正された前に再構成されたビデオフレーム
は、時間ステップｔ＋１において再構成されたビデオフレーム
を出力する代わりに時間ステップｔ＋１において（たとえば、表示、記憶、送信、および／または他の動作のために）出力され得る。そのような例では、再構成されたビデオフレーム
は、次の時間ステップｔ＋２における修正のために出力され得る。
[0211]いくつかの例では、プロセス１８００は、ニューラルネットワークシステムのエンコーダ部分によって、１つまたは複数のひずみマップを取得することと、ニューラルネットワークシステムのエンコーダ部分によって、１つまたは複数のひずみマップに少なくとも部分的に基づいて出力データを生成することとを含む。場合によっては、図１４に関して上記で説明されたように、１つまたは複数のひずみマップは、現在の時間ステップの動作のための入力ビデオフレームと前の時間ステップの動作からの前に再構成されたビデオフレームとの間のひずみを示す第１のひずみマップを含むことができる。場合によっては、図１４に関して上記で説明されたように、１つまたは複数のひずみマップは、現在の時間ステップの動作のための入力ビデオフレームとワーピングした再構成されたビデオフレームとの間のひずみを示す第２のひずみマップを含むことができる（ここで、ワーピングした再構成されたビデオフレームは、上記で説明されたように、前の時間ステップの動作からの前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することによって生成され得る）。
[0212]いくつかの例では、プロセス１８００は、ニューラルネットワークシステムのエンコーダ部分の第１のレイヤによって、入力データを処理することを含む。そのような例では、プロセス１８００は、エンコーダ部分の第１のレイヤによって、エンコーダ部分の第１のレイヤのための複数の重み値を決定することを含む。そのような例では、プロセス１８００は、複数の重み値にニューラルネットワークシステムのエンコーダ部分の第２のレイヤの重みを設定することと、エンコーダ部分の第２のレイヤによって、複数の重み値に設定された重みを使用して入力データを処理することとを含む。たとえば、図１５に関して上記で説明されたように、線形レイヤ５８１の重みは、線形レイヤ５８２によって出力された重み５８３によって決定され得、これは、線形レイヤ５８１によって実施される計算を入力５８０自体の値に依存することを可能にすることができる。
[0213]図１９は、本明細書で説明される再帰ベースの機械学習技法のうちの１つまたは複数を使用してビデオを処理するプロセス１９００の別の例を示すフローチャートである。ブロック１９０２において、プロセス１９００は、ニューラルネットワークシステムのデコーダ部分によって、ニューラルネットワークシステムの現在の時間ステップの動作のための出力データとニューラルネットワークシステムの前の時間ステップの動作からのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することを含む。説明のために図５Ａの例を使用して、現在の時間ステップｔ＋１の動作について、デコーダ５３８は、量子化器５３４から出力データを取得することができ、デコーダ５３８の再帰レイヤは、前の時間ステップｔの動作からそれ自体に再帰状態データｈtをフィードバックすることができる。場合によっては、ニューラルネットワークシステムのデコーダ部分は、複数の再帰レイヤを含み、複数の再帰レイヤの各再帰レイヤは、それぞれの再帰状態データを与える。
[0214]ブロック１９０４において、プロセス１９００は、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための動き推定データを決定することを含む。ブロック１９０６において、プロセス１９００は、前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することを含む。ブロック１９０８において、プロセス１９００は、現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することを含む。
[0215]ブロック１９１０において、プロセス１９００は、ワーピングした再構成されたビデオフレームに少なくとも部分的に基づいて動作の現在の時間ステップの動作のための再構成されたビデオフレームを生成することを含む。再構成されたビデオフレームは、ニューラルネットワークシステムのエンコーダ部分または別のニューラルネットワークシステムのエンコーダによって処理される入力ビデオフレームを表す。たとえば、再構成されたビデオフレームは、入力ビデオフレームの再構成されたバージョンである。再構成されたビデオフレームは、表示、記憶、および／または送信のための出力であり得る。たとえば、いくつかの例では、プロセス１８００は、記憶媒体中に出力データを記憶することを含む。いくつかの例では、プロセス１８００は、記憶媒体中に再構成されたビデオフレームを記憶することを含む。いくつかの例では、プロセス１８００は、少なくとも１つのデバイスに送信媒体を介して再構成されたビデオフレームを送ることを含む。場合によっては、再構成されたビデオフレームは、表示、記憶、および／または送信のために出力される前に（たとえば、再構成プロセスによるものである視覚的アーティファクトを除去するために、または他の処理のために）さらに処理され得る。
[0216]いくつかの例では、プロセス１９００は、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成された残差データを決定することを含む。そのような例では、プロセス１９００は、現在の時間ステップのために決定された再構成された残差データにワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって現在の時間ステップの動作のための再構成されたビデオフレームを生成することを含むことができる。
[0217]いくつかの例では、プロセス１９００は、現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作中にニューラルネットワークシステムのエンコーダ部分によって処理された前の入力ビデオフレームに少なくとも部分的に基づいて前の時間ステップの動作からの再構成された残差データを決定することを含む。そのような例では、プロセス１９００は、現在の時間ステップの動作中に、前の時間ステップの動作からの再構成された残差データを使用して前に再構成されたビデオフレームを修正することを含むことができる。プロセス１９００は、現在の時間ステップの動作のための最終の出力ビデオフレームとして修正された前に再構成されたビデオフレームを出力することを含むことができる。
[0218]いくつかの例では、プロセス１９００は、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成された残差データを決定することを含む。そのような例では、プロセス１９００は、デコーダ部分のポストワーピングネットワークによって、ワーピングした再構成されたビデオフレームと現在の時間ステップのために決定された再構成された残差データとを処理することを含むことができる。プロセス１９００は、ポストワーピングネットワークによるワーピングした再構成されたビデオフレームと再構成された残差データとの処理に少なくとも部分的に基づいて現在の時間ステップの動作のための再構成されたビデオフレームを生成することを含むことができる。
[0219]いくつかの例では、プロセス１９００は、現在の時間ステップの動作のために決定された前記動き推定データまたは前の時間ステップの動作のために決定された動き推定を使用して前の時間ステップの動作からの再帰状態データを修正することに少なくとも部分的によって現在の時間ステップの動作のためのワーピングした再帰状態データを生成することを含む。そのような例では、プロセス１９００は、ワーピングした再帰状態データに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成されたビデオフレームを生成することを含むことができる。
[0220]いくつかの例では、プロセス１９００は、デコーダ部分によって、再構成されたマスクを生成することを含む。再構成されたマスクは、前の時間ステップの動作中に生成された前に再構成されたビデオフレーム中のデータの存在を示す１つまたは複数の値を含む。そのような例では、プロセス１９００は、再構成されたマスクと、現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームと、現在の時間ステップの動作のために決定された再構成された残差データとに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成されたビデオフレームを生成することを含むことができる。再構成されたマスクは、ワーピングした再構成されたビデオフレームと再構成された残差データとの寄与を重み付けする。１つの例示的な例では、図１２に関して上記で説明されたように、マスクは、式（４）
を使用して実装され得る。
[0221]いくつかの例では、プロセス１９００は、ニューラルネットワークシステムのエンコーダ部分によって、現在の時間ステップの動作のための入力ビデオフレームと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からのニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することを含む。場合によっては、再帰状態データは、少なくとも１つの再帰レイヤのノードの１つまたは複数の値を含む。いくつかの例では、ニューラルネットワークシステムの前の時間ステップの動作によって生成された前に再構成されたビデオフレームなどの他の入力データが、図５Ａに示されているように、エンコーダ部分によって取得され得る。プロセス１９００は、ニューラルネットワークシステムのエンコーダ部分によって、現在の時間ステップの動作のための出力データを生成すること、出力データは、入力ビデオフレームと、前の時間ステップの動作からの再構成された動き推定データと、前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて生成される、を含むことができる。出力データは、図５Ａに示されているように、ニューラルネットワークシステムの前の時間ステップの動作によって生成された前に再構成されたビデオフレームなど、場合によっては、他の入力データに基づいて生成され得る。
[0222]いくつかの例では、プロセス１９００は、１つまたは複数のトレーニング反復のために、第１の損失関数を使用してニューラルネットワークシステムをトレーニングすることを含む。第１の損失関数は、１つまたは複数の入力ビデオフレームと１つまたは複数のワーピングした再構成されたビデオフレームとの間の損失を決定する。たとえば、第１の損失関数は、上記で説明された損失関数Ｌｏｓｓ１、Ｌｏｓｓ２、Ｌｏｓｓ３、および／またはＬｏｓｓ４のいずれかを含むことができる。１つの例示的な例では、エンコーダ５３３をトレーニングするためにＬｏｓｓ１が使用され得、デコーダ５３８をトレーニングするためにＬｏｓｓ３が使用され得る。別の例示的な例では、エンコーダ５３３をトレーニングするためにＬｏｓｓ２が使用され得、デコーダ５３８をトレーニングするためにＬｏｓｓ４が使用され得る。そのような例では、プロセス１９００は、第１の損失関数を非活性化すること（たとえば、Ｌｏｓｓ１、Ｌｏｓｓ２、Ｌｏｓｓ３、および／またはＬｏｓｓ４を非活性化すること）を含むことができる。たとえば、第１の損失関数は、図８および図９に関して上記で説明されたように、ニューラルネットワークシステムが動き推定パラメータを学習するためにトレーニングされると決定することに応答して非活性化され得る。そのような例では、プロセス１９００は、１つまたは複数のトレーニング反復の後に実施される１つまたは複数の後続のトレーニング反復について、第２の損失関数を使用してニューラルネットワークシステムをトレーニングすることを含むことができる。第２の損失関数は、少なくとも１つの入力ビデオフレームと少なくとも１つの再構成されたビデオフレームとの間の損失を決定する。たとえば、第２の損失関数は、上記で説明されたＬｏｓｓ０を含むことができる。
[0223]いくつかの例では、プロセス１９００は、前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することを含む。そのような例では、プロセス１９００は、現在の時間ステップの動作中に、現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することによって現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することを含む。そのような例では、プロセス１９００は、現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作のための第１の再構成された残差データを決定することを含むことができる。そのような例では、プロセス１９００は、現在の時間ステップのために決定された再構成された残差データにワーピングした再構成されたビデオフレームを加算することによって現在の時間ステップの動作のための再構成されたビデオフレームを生成することを含むことができる。プロセス１９００は、現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作中にエンコーダ部分によって処理された前の入力ビデオフレームに少なくとも部分的に基づいて前の時間ステップの動作からの第２の再構成された残差データを決定することを含むことができる。そのような例では、プロセス１９００は、現在の時間ステップの動作中に、第２の再構成された残差データを使用して前に再構成されたビデオフレームを修正することと、現在の時間ステップの動作のための最終の出力ビデオフレームとして修正された前に再構成されたビデオフレームを出力することとを含むことができる。たとえば、図１３に関して上記で説明されたように、修正された前に再構成されたビデオフレーム
は、時間ステップｔ＋１において再構成されたビデオフレーム
を出力する代わりに、時間ステップｔ＋１において（たとえば、表示、記憶、送信、および／または他の動作のために）出力され得る。そのような例では、再構成されたビデオフレーム
は、次の時間ステップｔ＋２における修正のために出力され得る。
[0224]いくつかの例では、本明細書で説明されるプロセス（たとえば、プロセス１８００、プロセス１９００、および／または本明細書で説明される他のプロセス）は、図２０に示されているコンピューティングデバイスアーキテクチャ２０００を有するコンピューティングデバイスなど、コンピューティングデバイスまたは装置によって実施され得る。いくつかの例は、コンピューティングデバイスは、モバイルデバイス、ウェアラブルデバイス、エクステンデッドリアリティデバイス（たとえば、仮想現実（ＶＲ）デバイス、拡張現実（ＡＲ）デバイス、もしくは複合現実（ＭＲ）デバイス）、パーソナルコンピュータ、ラップトップコンピュータ、ビデオサーバ、テレビジョン、または他のデバイスを含むことができる。一例では、プロセス１８００および／またはプロセス１９００は、（図５Ａ～図１５に示されているアーキテクチャのいずれかまたはそれらの任意の組合せを使用して）システム４００またはシステム５００を実装するコンピューティングデバイスアーキテクチャ２０００をもつコンピューティングデバイスによって実施され得る。コンピューティングデバイスは、自律車両、ロボットデバイス、モバイルデバイス（たとえば、モバイルフォン）、デスクトップコンピューティングデバイス、タブレットコンピューティングデバイス、ウェアラブルデバイス、および／またはプロセス１８００を含む本明細書で説明されるプロセスを実施するリソース能力をもつ任意の他のコンピューティングデバイスなどの任意の好適なデバイスを含むことができる。場合によっては、コンピューティングデバイスまたは装置は、１つもしくは複数の入力デバイス、１つもしくは複数の出力デバイス、１つもしくは複数のプロセッサ、１つもしくは複数のマイクロプロセッサ、１つもしくは複数のマイクロコンピュータ、１つもしくは複数の送信機、受信機もしくは（たとえば、トランシーバと呼ばれる）組み合わされた送受信装置、１つもしくは複数のカメラ、１つもしくは複数のセンサー、および／または本明細書で説明されるプロセスのステップを行うように構成された他の構成要素などの様々な構成要素を含み得る。いくつかの例では、コンピューティングデバイスは、ディスプレイ、データを通信および／もしくは受信するように構成されたネットワークインターフェース、それらの任意の組合せ、ならびに／または他の構成要素を含み得る。ネットワークインターフェースは、インターネットプロトコル（ＩＰ）ベースのデータまたは他のタイプのデータを通信および／または受信するように構成され得る。
[0225]コンピューティングデバイスの構成要素は、回路で実装され得る。たとえば、構成要素は、本明細書で説明される様々な動作を実施するために、１つまたは複数のプログラマブル電子回路（たとえば、マイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、ニューラルプロセッシングユニット（ＮＰＵ）、および／または他の好適な電子回路）を含むことができる、電子回路もしくは他の電子ハードウェアを含むことができ、および／またはそれらを使用して実装され得、ならびに／あるいは、コンピュータソフトウェア、ファームウェア、もしくはそれらの任意の組合せを含むことができ、および／またはそれらを使用して実装され得る。
[0226]プロセス１８００およびプロセス１９００は、論理フロー図として示され、その動作は、ハードウェア、コンピュータ命令、またはそれらの組合せにおいて実施され得る動作のシーケンスを表す。コンピュータ命令の文脈では、動作は、１つまたは複数のプロセッサによって実行されたときに、記載された動作を実行する、１つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実施するか、または特定のデータタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明される順序は、限定として解釈されるものではなく、任意の数の説明される動作は、プロセスを実装するために任意の順序でおよび／または並行して組み合わせられ得る。
[0227]さらに、（プロセス１８００、プロセス１９００、および／または本明細書で説明される他のプロセスを含む）本明細書で説明されるプロセスは、実行可能命令で構成された１つまたは複数のコンピュータシステムの制御下で実施され得、まとめて１つまたは複数のプロセッサ上で、ハードウェアによって、またはそれらの組合せで実行するコード（たとえば、実行可能命令、１つまたは複数のコンピュータプログラム、または１つまたは複数のアプリケーション）として実装され得る。上述のように、コードは、たとえば、１つまたは複数のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読または機械可読記憶媒体に記憶され得る。コンピュータ可読または機械可読記憶媒体は非一時的であり得る。
[0228]図２０は、本明細書で説明される様々な技法を実装することができる例示的なコンピューティングデバイスの例示的なコンピューティングデバイスアーキテクチャ２０００を示す。いくつかの例は、コンピューティングデバイスは、モバイルデバイス、ウェアラブルデバイス、エクステンデッドリアリティデバイス（たとえば、仮想現実（ＶＲ）デバイス、拡張現実（ＡＲ）デバイス、もしくは複合現実（ＭＲ）デバイス）、パーソナルコンピュータ、ラップトップコンピュータ、ビデオサーバ、または他のデバイスを含むことができる。たとえば、コンピューティングデバイスアーキテクチャ２０００は、（図５Ａ～図１５に示されているアーキテクチャのうちの任意の１つまたはそれらの任意の組合せを含む）システム４００および／またはシステム５００を実装することができる。コンピューティングデバイスアーキテクチャ２０００の構成要素は、バスなどの接続部２００５を使用して、互いに電気通信するように図示されている。例示的なコンピューティングデバイスアーキテクチャ２０００は、処理ユニット（ＣＰＵまたはプロセッサ）２０１０と、読み出し専用メモリ（ＲＯＭ）２０２０およびランダムアクセスメモリ（ＲＡＭ）２０２５などのコンピューティングデバイスメモリ２０１５を含む様々なコンピューティングデバイス構成要素をプロセッサ２０１０に結合するコンピューティングデバイス接続部２００５とを含む。
[0229]コンピューティングデバイスアーキテクチャ２０００は、プロセッサ２０１０と直接接続された、プロセッサ２０１０に極めて近接した、またはプロセッサ２０１０の一部として統合された、高速メモリのキャッシュを含むことができる。コンピューティングデバイスアーキテクチャ２０００は、プロセッサ２０１０による迅速なアクセスのために、メモリ２０１５および／または記憶デバイス２０３０からキャッシュ２０１２にデータをコピーすることができる。このようにして、キャッシュは、データを待機する間のプロセッサ２０１０遅延を回避する性能の向上を提供することができる。これらのモジュールおよび他のモジュールは、様々なアクションを実施するために、プロセッサ２０１０を制御することができ、またはプロセッサ２０１０を制御するように構成され得る。他のコンピューティングデバイスメモリ２０１５も、使用のために利用可能であり得る。メモリ２０１５は、異なる性能特性をもつ、複数の異なるタイプのメモリを含むことができる。プロセッサ２０１０は、任意の汎用プロセッサ、ならびに、プロセッサ２０１０を制御するように構成された、記憶デバイス２０３０に記憶されたサービス１ ２０３２、サービス２ ２０３４、およびサービス３ ２０３６などの、ハードウェアまたはソフトウェアサービス、ならびにソフトウェア命令がプロセッサ設計に組み込まれる専用プロセッサを含むことができる。プロセッサ２０１０は、複数のコアまたはプロセッサと、バスと、メモリコントローラと、キャッシュなどとを含んでいる、自己完結型システムであり得る。マルチコアプロセッサは、対称的または非対称的であり得る。
[0230]コンピューティングデバイスアーキテクチャ２０００とのユーザ対話を可能にするために、入力デバイス２０４５は、音声のためのマイクロフォン、ジェスチャーまたはグラフィカル入力のためのタッチセンシティブスクリーン、キーボード、マウス、動き入力、音声など、任意の数の入力機構を表現することができる。出力デバイス２０３５も、ディスプレイ、プロジェクタ、テレビジョン、スピーカーデバイスなど、当業者に知られているいくつかの出力機構のうちの１つまたは複数であり得る。いくつかの事例では、マルチモーダルコンピューティングデバイスは、ユーザが、コンピューティングデバイスアーキテクチャ２０００と通信するために複数のタイプの入力を提供することを可能にすることができる。通信インターフェース２０４０は、概して、ユーザ入力およびコンピューティングデバイス出力を統制および管理することができる。任意の特定のハードウェア構成上で動作することに対する制限はなく、したがって、ここでの基本的特徴は、改善されたハードウェア構成またはファームウェア構成が開発されるにつれて、それらで容易に代用され得る。
[0231]記憶デバイス２０３０は、不揮発性メモリであり、磁気カセット、フラッシュメモリカード、固体メモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）２０２５、読取り専用メモリ（ＲＯＭ）２０２０、およびそれらのハイブリッドなど、コンピュータによってアクセス可能であるデータを記憶することができるハードディスクまたは他のタイプのコンピュータ可読媒体であり得る。記憶デバイス２０３０は、プロセッサ２０１０を制御するためのサービス２０３２、２０３４、２０３６を含むことができる。他のハードウェアモジュールまたはソフトウェアモジュールが企図される。記憶デバイス２０３０は、コンピューティングデバイス接続２００５に接続され得る。一態様では、特定の機能を実施するハードウェアモジュールは、その機能を行うために、プロセッサ２０１０、接続２００５、出力デバイス２０３５など、必要なハードウェア構成要素に関して、コンピュータ可読媒体に記憶されたソフトウェア構成要素を含むことができる。
[0232]本開示の態様は、１つまたは複数のアクティブ深度感知システムを含むか、またはそれに結合された（セキュリティシステム、スマートフォン、タブレット、ラップトップコンピュータ、車両、ドローン、または他のデバイスなどの）任意の好適な電子デバイスに適用可能である。１つの光プロジェクタを有するか、またはそれに結合されたデバイスに関して以下で説明されるが、本開示の態様は、任意の数の光プロジェクタを有するデバイスに適用可能であり、したがって、特定のデバイスに限定されない。
[0233]「デバイス」という用語は、（１つのスマートフォン、１つのコントローラ、１つの処理システムなど）１つまたは特定の数の物理オブジェクトに限定されない。本明細書で使用するデバイスは、１つまたは複数の部分をもつ任意の電子デバイスであり得、本開示の少なくともいくつかの部分を実装し得る。以下の説明および例が本開示の様々な態様について説明するために「デバイス」という用語を使用するが、「デバイス」という用語は特定の構成、タイプ、または数のオブジェクトに限定されない。さらに、「システム」という用語は、複数の構成要素または特定の実施形態に限定されない。たとえば、システムは、１つまたは複数のプリント回路板または他の基板上に実装され得、可動のまたは静的な構成要素を有し得る。以下の説明および例が本開示の様々な態様について説明するために「システム」という用語を使用するが、「システム」という用語は特定の構成、タイプ、または数のオブジェクトに限定されない。
[0234]本明細書で提供される実施形態および例の完全な理解を与えるために、具体的な詳細が上記の説明で与えられる。ただし、実施形態はこれらの具体的な詳細なしに実施され得ることを当業者は理解されよう。説明の明快のために、いくつかの事例では、本技術は、デバイス、デバイス構成要素、ソフトウェアで具現される方法におけるステップまたはルーチン、あるいはハードウェアとソフトウェアとの組合せを備える機能ブロックを含む個々の機能ブロックを含むものとして提示され得る。図に示されているおよび／または本明細書で説明される構成要素以外の追加の構成要素が使用され得る。たとえば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不要な詳細で不明瞭にしないためにブロック図の形態で構成要素として示され得る。他の事例では、実施形態を不明瞭にすることを回避するために、よく知られている回路、プロセス、アルゴリズム、構造、および技法が不要な詳細なしに示され得る。
[0235]個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として描かれるプロセスまたは方法として上述され得る。フローチャートは、動作を逐次的なプロセスとして説明し得るが、動作の多くは、並行してまたは同時に実施され得る。さらに、動作の順序は並べ替えられ得る。それの動作が完了されるとき、プロセスは終了されるが、図中に含まれない追加のステップを有し得る。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスが機能に対応する場合、その終了は、呼出関数またはメイン関数への関数の戻り値に対応し得る。
[0236]上述した例によるプロセスおよび方法は、記憶されている、またはさもなければコンピュータ可読媒体から利用可能である、コンピュータ実行可能な命令を使用して実装され得る。そのような命令は、たとえば、汎用コンピュータ、専用コンピュータ、もしくは処理デバイスに、一定の機能もしくは機能のグループを実行させる、またはさもなければ、汎用コンピュータ、専用コンピュータ、もしくは処理デバイスを一定の機能もしくは機能のグループを実施するように構成する、命令およびデータを含むことができる。使用されるコンピュータリソースの部分は、ネットワーク上でアクセス可能とすることができる。コンピュータ実行可能命令は、たとえば、バイナリ、アセンブリ言語などの中間フォーマット命令、ファームウェア、ソースコードなどであり得る。
[0237]「コンピュータ可読媒体」という用語は、限定はしないが、ポータブルまたは非ポータブル記憶デバイス、光記憶デバイス、ならびに（１つまたは複数の）命令および／またはデータを記憶、含有、または搬送することが可能な様々な他の媒体を含む。コンピュータ可読媒体は、データがそこに記憶され得る非一時的媒体を含み得、それは、ワイヤレスにまたはワイヤード接続を介して伝搬する搬送波および／または一時的電子信号を含まない。非一時的媒体の例は、限定はしないが、特に、磁気ディスクまたはテープ、フラッシュメモリなどの光記憶媒体、メモリまたはメモリデバイス、磁気または光学ディスク、フラッシュメモリ、不揮発性メモリを備えたＵＳＢデバイス、ネットワーク接続された記憶デバイス、コンパクトディスク（ＣＤ）またはデジタル多用途ディスク（ＤＶＤ）、それらの任意の好適な組合せを含み得る。コンピュータ可読媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造、もしくはプログラムステートメントの任意の組合せを表し得るコードおよび／または機械実行可能命令をその上に記憶していることがある。コードセグメントは、情報、データ、引数、パラメータ、またはメモリコンテンツをパスおよび／または受信することによって、別のコードセグメントまたはハードウェア回路に結合され得る。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む、任意の好適な手段を介してパス、フォワーディング、または送信され得る。
[0238]いくつかの実施形態では、コンピュータ可読記憶デバイス、媒体、およびメモリは、ビットストリームなどを含んでいるケーブル信号またはワイヤレス信号を含むことができる。しかしながら、述べられるとき、非一時的コンピュータ可読記憶媒体は、エネルギー、キャリア信号、電磁波、および信号自体などの媒体を明確に除外する。
[0239]これらの開示によるプロセスおよび方法を実装するデバイスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せを含むことができ、様々なフォームファクタのいずれかをとることができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードにおいて実装される場合、必要なタスクを実施するためのプログラムコードまたはコードセグメント（たとえば、コンピュータプログラム製品）は、コンピュータ可読媒体または機械可読媒体に記憶され得る。プロセッサは、必要なタスクを実施し得る。フォームファクタの典型的な例は、ラップトップコンピュータ、スマートフォン、携帯電話、タブレットデバイスまたは他の小型フォームファクタパーソナルコンピュータ、携帯情報端末、ラックマウントデバイス、スタンドアロンデバイス等を含む。本明細書において説明される機能性は、周辺機器またはアドインカードにおいても具体化され得る。そのような機能はまた、さらなる例として、単一のデバイスにおいて実行する異なるチップまたは異なるプロセスの間で回路板上に実装され得る。
[0240]命令、そのような命令を伝達するための媒体、それらを実行するためのコンピューティングリソース、およびそのようなコンピューティングリソースをサポートするための他の構造は、本開示において説明される機能を提供するための例示的な手段である。
[0241]上記の説明では、本出願の態様がそれの特定の実施形態を参照しながら説明されたが、本出願はそれに限定されないことを、当業者は認識されよう。したがって、本出願の例示的な実施形態が本明細書で詳細に説明されているが、従来技術によって限定される場合を除いて、発明的概念が、場合によっては様々に具体化および採用され得、添付の特許請求の範囲が、そのような変形形態を含むように解釈されるものであることを理解されたい。上記で説明された適用例の様々な特徴および態様は、個々にまたは一緒に使用され得る。さらに、実施形態は、本明細書のより広い趣旨および範囲から逸脱せずに、本明細書において説明される環境およびアプリケーションを超える、任意の数の環境およびアプリケーションにおいて利用され得る。したがって、本明細書および図面は、制限的なものというよりもむしろ例示的なものとして考慮されるべきである。例示の目的のために、方法は、特定の順序で説明された。代替実施形態では、方法は、説明された順序とは異なる順序で実施され得ることを諒解されたい。
[0242]本明細書で使用される、よりも小さい（「＜」）、および、よりも大きい（「＞」）のシンボルまたは専門用語は、本明細書の範囲から逸脱することなく、それぞれ、よりも小さいかまたはそれに等しい（「≦」）、および、よりも大きいかまたはそれに等しい（「≧」）のシンボルと置き換えられ得ることを、当業者は諒解されよう。
[0243]構成要素が、ある動作を実施する「ように構成されて」いるものとして説明される場合、そのような構成は、たとえば、動作を実施するように電子回路または他のハードウェアを設計することによって、動作を実施するようにプログラマブル電子回路（たとえば、マイクロプロセッサ、または他の好適な電子回路）をプログラムすることによって、またはそれらの任意の組合せによって、達成され得る。
[0244]「に結合される」という句は、直接的にもしくは間接的に別の構成要素に物理的に接続される任意の構成要素、および／または、直接的もしくは間接的に別の構成要素と通信する（たとえば、有線接続もしくはワイヤレス接続、および／または他の適切な通信インターフェース上で、他の構成要素に接続された）任意の構成要素を指す。
[0245]セット「のうちの少なくとも１つ」、および／またはセットのうちの「１つもしくは複数」を具陳する特許請求の範囲の文言または他の文言は、セットのうちの１つのメンバーまたは（任意の組合せにおける）セットのうちの複数のメンバーが特許請求の範囲を満たすことを示す。たとえば、「ＡおよびＢのうちの少なくとも１つ」あるいは「ＡまたはＢのうちの少なくとも１つ」を具陳する特許請求の範囲の文言は、Ａ、Ｂ、またはＡおよびＢを意味する。別の例では、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」あるいは「Ａ、Ｂ、またはＣのうちの少なくとも１つ」を具陳する特許請求の範囲の文言は、Ａ、Ｂ、Ｃ、もしくはＡおよびＢ、もしくはＡおよびＣ、もしくはＢおよびＣ、もしくはＡおよびＢおよびＣを意味する。文言セットの「うちの少なくとも１つ」および／またはセットのうちの「１つまたは複数」は、セットにリストされている項目にセットを制限しない。たとえば、「ＡおよびＢのうちの少なくとも１つ」または「ＡもしくはＢのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、またはＡおよびＢを意味することができ、さらに、ＡおよびＢのセットにリストされていない項目を含むことができる。
[0246]本明細書において開示される実施形態に関連して説明される、様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、または、これらの組合せとして実装され得る。ハードウェアとソフトウェアとのこの互換性を明確に例示するために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップは、一般に、それらの機能性の観点から上述されている。そのような機能性がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、特定の適用例およびシステム全体に課される設計制約条件に依存する。熟練した技術者は、説明された機能性を特定の適用例ごとに様々な手法で実装し得るが、そのような実装上の決定は、本出願の範囲からの逸脱を引き起こすものとして解釈されるべきではない。
[0247]本明細書において説明される技法は、電子ハードウェア、コンピュータソフトウェア、ファームウェア、または、これらの任意の組合せにおいても実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明された特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別個に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明された方法のうちの１つまたは複数を実施する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含み得るコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、ＦＬＡＳＨ（登録商標）メモリ、磁気もしくは光学データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形式でプログラムコードを搬送または通信し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって少なくとも部分的に実現され得る。
[0248]プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価な集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示において説明される技法のうちのいずれかを実施するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサは、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、または、任意の他のそのような構成としても実装され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または、本明細書で説明される技法の実装に適した任意の他の構造もしくは装置のいずれかを指し得る。
[0249]本開示の例示的な例は、以下を含む。
[0250]態様１：ビデオデータを処理する方法であって、ニューラルネットワークシステムのエンコーダ部分によって、ニューラルネットワークシステムの現在の時間ステップの動作のための入力ビデオフレームと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からのニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データと、を取得することと；ニューラルネットワークシステムのエンコーダ部分によって、ニューラルネットワークシステムの現在の時間ステップの動作のための出力データを生成することと、出力データは、入力ビデオフレームと、前の時間ステップの動作からの再構成された動き推定データと、前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて生成される；ニューラルネットワークシステムのデコーダ部分によって、現在の時間ステップの動作のための出力データと前の時間ステップの動作からのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、再構成されたビデオフレームは、入力ビデオフレームを表す、を備える方法。
[0251]態様２：ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための動き推定データを決定することと；前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと；現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと、をさらに備える、態様１に記載の方法。
[0252]態様３：ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成された残差データを決定することと；現在の時間ステップのために決定された再構成された残差データにワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、をさらに備える、態様２に記載の方法。
[0253]態様４：ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成された残差データを決定することと、デコーダ部分のポストワーピングネットワークによって、ワーピングした再構成されたビデオフレームと現在の時間ステップのために決定された再構成された残差データとを処理することと、ここにおいて、再構成されたビデオフレームは、ポストワーピングネットワークによるワーピングした再構成されたビデオフレームと再構成された残差データとの処理に基づいて現在の時間ステップの動作のために生成される、をさらに備える、態様２および３のいずれかに記載の方法。
[0254]態様５：ニューラルネットワークシステムの動き推定ネットワークによって、入力ビデオフレームと前の時間ステップの動作からの前に再構成されたビデオフレームまたは前の時間ステップの動作からの前の入力ビデオフレームとのうちの少なくとも１つとに少なくとも部分的に基づいて、現在の時間ステップの動作のための動き推定データを決定することと；現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームまたは前の入力ビデオフレームとのうちの少なくとも１つの１つまたは複数のピクセルを修正することに少なくとも部分的によって、現在の時間ステップのためのワーピングした再構成されたビデオフレームを生成することと；ニューラルネットワークシステムのエンコーダ部分にワーピングした再構成されたビデオフレームと現在の時間ステップの動作のために決定された動き推定データとを送ることと、ここにおいて、現在の時間ステップの動作のために生成された出力データは、ワーピングした再構成されたビデオフレームと現在の時間ステップの動作のために決定された動き推定データとに少なくとも部分的に基づいてニューラルネットワークシステムのエンコーダ部分によって生成される、をさらに備える、態様１から４のいずれかに記載の方法。
[0255]態様６：１つまたは複数のトレーニング反復について、第１の損失関数を使用してニューラルネットワークシステムをトレーニングすることと、第１の損失関数は、１つまたは複数の入力ビデオフレームと１つまたは複数のワーピングした再構成されたビデオフレームとの間の損失を決定する；第１の損失関数を非活性化することと；１つまたは複数のトレーニング反復の後に実施される１つまたは複数の後続のトレーニング反復について、第２の損失関数を使用してニューラルネットワークシステムをトレーニングすることと、第２の損失関数は、少なくとも１つの入力ビデオフレームと少なくとも１つの再構成されたビデオフレームとの間の損失を決定する、をさらに備える、態様５に記載の方法。
[0256]態様７：再帰状態データは、少なくとも１つの再帰レイヤのノードの１つまたは複数の値を含む、態様１から６のいずれかに記載の方法。
[0257]態様８：ニューラルネットワークシステムのデコーダ部分は、複数の再帰レイヤを含む、複数の再帰レイヤの各再帰レイヤは、それぞれの再帰状態データを与える、態様１から７のいずれかに記載の方法。
[0258]態様９：現在の時間ステップの動作または前の時間ステップの動作のために決定された動き推定データを使用して前の時間ステップの動作からの再帰状態データを修正することに少なくとも部分的によって、現在の時間ステップの動作のためのワーピングした再帰状態データを生成すること、ここにおいて、現在の時間ステップの動作のために生成された再構成されたビデオフレームは、ワーピングした再帰状態データに少なくとも部分的に基づいて生成される、をさらに備える、態様１から８のいずれかに記載の方法。
[0259]態様１０：デコーダ部分によって、再構成されたマスクを生成することと、再構成されたマスクは、前の時間ステップの動作中に生成された前に再構成されたビデオフレーム中のデータの存在を示す１つまたは複数の値を含む；再構成されたマスクと、現在の時間ステップの動作のために生成されるワーピングした再構成されたビデオフレームと、現在の時間ステップの動作のために決定された再構成された残差データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、再構成されたマスクは、ワーピングした再構成されたビデオフレームと再構成された残差データとの寄与を重み付けする、をさらに備える、態様１から９のいずれかに記載の方法。
[0260]態様１１：前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと；現在の時間ステップの動作中に、現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと；現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作のための第１の再構成された残差データを決定することと；現在の時間ステップのために決定された再構成された残差データにワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと；現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作中にエンコーダ部分によって処理された前の入力ビデオフレームに少なくとも部分的に基づいて、前の時間ステップの動作からの第２の再構成された残差データを決定することと；現在の時間ステップの動作中に、第２の再構成された残差データを使用して前に再構成されたビデオフレームを修正することと；現在の時間ステップの動作のための最終の出力ビデオフレームとして修正された前に再構成されたビデオフレームを出力することと、をさらに備える、態様１から１０のいずれかに記載の方法。
[0261]態様１２：ニューラルネットワークシステムのエンコーダ部分によって、１つまたは複数のひずみマップを取得することと、ニューラルネットワークシステムのエンコーダ部分によって、１つまたは複数のひずみマップに少なくとも部分的に基づいて出力データを生成することとをさらに備える、態様１から１１のいずれかに記載の方法。
[0262]態様１３：１つまたは複数のひずみマップは、現在の時間ステップの動作のための入力ビデオフレームと前の時間ステップの動作からの前に再構成されたビデオフレームとの間のひずみを示す第１のひずみマップを含む、態様１２に記載の方法。
[0263]態様１４：１つまたは複数のひずみマップは、現在の時間ステップの動作のための入力ビデオフレームとワーピングした再構成されたビデオフレームとの間のひずみを示す第２のひずみマップを含み、ワーピングした再構成されたビデオフレームは、前の時間ステップの動作からの前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって生成される、態様１２および１３のいずれかに記載の方法。
[0264]態様１５：ニューラルネットワークシステムのエンコーダ部分の第１のレイヤによって、入力データを処理することと；エンコーダ部分の第１のレイヤによって、エンコーダ部分の第１のレイヤのための複数の重み値を決定することと；複数の重み値にニューラルネットワークシステムのエンコーダ部分の第２のレイヤの重みを設定することと；エンコーダ部分の第２のレイヤによって、複数の重み値に設定された重みを使用して入力データを処理することと、をさらに備える、態様１から１４のいずれかに記載の方法。
[0265]態様１６：記憶媒体中に出力データを記憶することをさらに備える、態様１から１５のいずれかに記載の方法。
[0266]態様１７：記憶媒体中に再構成されたビデオフレームを記憶することをさらに備える、態様１から１６のいずれかに記載の方法。
[0267]態様１８：少なくとも１つのデバイスに送信媒体を介して再構成されたビデオフレームを送ることをさらに備える、態様１から１７のいずれかに記載の方法。
[0268]態様１９：ビデオデータを処理するための装置。装置は、（たとえば、回路中に実装された）メモリとメモリに結合されたプロセッサ（または複数のプロセッサ）とを含む。プロセッサは、ニューラルネットワークシステムのエンコーダ部分によって、ニューラルネットワークシステムの現在の時間ステップの動作のための入力ビデオフレームと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からのニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データと、を取得することと；ニューラルネットワークシステムのエンコーダ部分によって、ニューラルネットワークシステムの現在の時間ステップの動作のための出力データを生成することと、出力データは、入力ビデオフレームと、前の時間ステップの動作からの再構成された動き推定データと、前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて生成される；ニューラルネットワークシステムのデコーダ部分によって、現在の時間ステップの動作のための出力データと前の時間ステップの動作からのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、再構成されたビデオフレームは、入力ビデオフレームを表す、を行うように構成される。
[0269]態様２０：プロセッサは、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための動き推定データを決定することと；前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと；現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと、を行うように構成された、態様１９に記載の装置。
[0270]態様２１：プロセッサは、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成された残差データを決定することと；現在の時間ステップのために決定された再構成された残差データにワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって、現在の時間ステップの動作のための再構成されたビデオフレームを生成することとを行うように構成された、態様２０に記載の装置。
[0271]態様２２：プロセッサは、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成された残差データを決定することと；デコーダ部分のポストワーピングネットワークによって、ワーピングした再構成されたビデオフレームと現在の時間ステップのために決定された再構成された残差データとを処理することと、再構成されたビデオフレームは、ポストワーピングネットワークによるワーピングした再構成されたビデオフレームと再構成された残差データとの処理に基づいて現在の時間ステップの動作のために生成される、を行うように構成された、態様２０および２１のいずれかに記載の装置。
[0272]態様２３：プロセッサは、ニューラルネットワークシステムの動き推定ネットワークによって、入力ビデオフレームと前の時間ステップの動作からの前に再構成されたビデオフレームまたは前の時間ステップの動作からの前の入力ビデオフレームとのうちの少なくとも１つとに少なくとも部分的に基づいて、現在の時間ステップの動作のための動き推定データを決定することと；現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームまたは前の入力ビデオフレームとのうちの少なくとも１つの１つまたは複数のピクセルを修正することに少なくとも部分的によって現在の時間ステップのためのワーピングした再構成されたビデオフレームを生成することと；ニューラルネットワークシステムのエンコーダ部分にワーピングした再構成されたビデオフレームと現在の時間ステップの動作のために決定された動き推定データとを送ることと、現在の時間ステップの動作のために生成された出力データは、ワーピングした再構成されたビデオフレームと現在の時間ステップの動作のために決定された動き推定データとに少なくとも部分的に基づいてニューラルネットワークシステムのエンコーダ部分によって生成される、を行うように構成された、態様１９から２２のいずれかに記載の装置。
[0273]態様２４：プロセッサは、１つまたは複数のトレーニング反復について、第１の損失関数を使用してニューラルネットワークシステムをトレーニングすることと、第１の損失関数は、１つまたは複数の入力ビデオフレームと１つまたは複数のワーピングした再構成されたビデオフレームとの間の損失を決定する；１つまたは複数のトレーニング反復の後に実施される１つまたは複数の後続のトレーニング反復について、第２の損失関数を使用してニューラルネットワークシステムをトレーニングすることと、第２の損失関数は、少なくとも１つの入力ビデオフレームと少なくとも１つの再構成されたビデオフレームとの間の損失を決定する、を行うように構成された、態様２３に記載の装置。
[0274]態様２５：再帰状態データは、少なくとも１つの再帰レイヤのノードの１つまたは複数の値を含む、態様１９から２４のいずれかに記載の装置。
[0275]態様２６：ニューラルネットワークシステムのデコーダ部分は、複数の再帰レイヤを含む、複数の再帰レイヤの各再帰レイヤは、それぞれの再帰状態データを与える、態様１９から２５のいずれかに記載の装置。
[0276]態様２７：プロセッサは、現在の時間ステップの動作または前の時間ステップの動作のために決定された動き推定データを使用して前の時間ステップの動作からの再帰状態データを修正することに少なくとも部分的によって、現在の時間ステップの動作のためのワーピングした再帰状態データを生成すること、現在の時間ステップの動作のために生成された再構成されたビデオフレームは、ワーピングした再帰状態データに少なくとも部分的に基づいて生成される、を行うように構成された、態様１９から２６のいずれかに記載の装置。
[0277]態様２８：プロセッサは、デコーダ部分によって、再構成されたマスクを生成することと、再構成されたマスクは、前の時間ステップの動作中に生成された前に再構成されたビデオフレーム中のデータの存在を示す１つまたは複数の値を含む；再構成されたマスクと、現在の時間ステップの動作のために生成されるワーピングした再構成されたビデオフレームと、現在の時間ステップの動作のために決定された再構成された残差データとに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、再構成されたマスクは、ワーピングした再構成されたビデオフレームと再構成された残差データとの寄与を重み付けする、を行うように構成された、態様１９から２７のいずれかに記載の装置。
[0278]態様２９：プロセッサは、前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと；現在の時間ステップの動作中に、現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと；現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作のための第１の再構成された残差データを決定することと；現在の時間ステップのために決定された再構成された残差データにワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと；現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作中にエンコーダ部分によって処理された前の入力ビデオフレームに少なくとも部分的に基づいて、前の時間ステップの動作からの第２の再構成された残差データを決定することと；現在の時間ステップの動作中に、第２の再構成された残差データを使用して前に再構成されたビデオフレームを修正することと；現在の時間ステップの動作のための最終の出力ビデオフレームとして修正された前に再構成されたビデオフレームを出力することと、を行うように構成された、態様１９から２８のいずれかに記載の装置。
[0279]態様３０：プロセッサは、ニューラルネットワークシステムのエンコーダ部分によって、１つまたは複数のひずみマップを取得することと；ニューラルネットワークシステムのエンコーダ部分によって、１つまたは複数のひずみマップに少なくとも部分的に基づいて出力データを生成することと、を行うように構成された、態様１９から２９のいずれかに記載の装置。
[0280]態様３１：１つまたは複数のひずみマップは、現在の時間ステップの動作のための入力ビデオフレームと前の時間ステップの動作からの前に再構成されたビデオフレームとの間のひずみを示す第１のひずみマップを含む、態様３０に記載の装置。
[0281]態様３２：１つまたは複数のひずみマップは、現在の時間ステップの動作のための入力ビデオフレームとワーピングした再構成されたビデオフレームとの間のひずみを示す第２のひずみマップを含み、ワーピングした再構成されたビデオフレームは、前の時間ステップの動作からの前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって生成される、態様３０および３１のいずれかに記載の装置。
[0282]態様３３：プロセッサは、ニューラルネットワークシステムのエンコーダ部分の第１のレイヤによって、入力データを処理することと；エンコーダ部分の第１のレイヤによって、エンコーダ部分の第１のレイヤのための複数の重み値を決定することと；複数の重み値にニューラルネットワークシステムのエンコーダ部分の第２のレイヤの重みを設定することと；エンコーダ部分の第２のレイヤによって、複数の重み値に設定された重みを使用して入力データを処理することと、を行うように構成された、態様１９から３２のいずれかに記載の装置。
[0283]態様３４：プロセッサは、出力データをメモリ中に記憶させることを行うように構成された、態様１９から３３のいずれかに記載の装置。
[0284]態様３５：プロセッサは、再構成されたビデオフレームをメモリ中に記憶させることを行うように構成された、態様１９から３４のいずれかに記載の装置。
[0285]態様３６：少なくとも１つのデバイスに送信媒体を介して再構成されたビデオフレームを送信するように構成された送信機をさらに備える、態様１９から３５のいずれかに記載の装置。
[0286]態様３７：プロセッサがニューラルプロセッシングユニット（ＮＰＵ）を含む、態様１９から３６のいずれかに記載の装置。
[0287]態様３８：装置がモバイルデバイスを備える、態様１９から３７のいずれかに記載の装置。
[0288]態様３９：装置がエクステンデッドリアリティデバイスを備える、態様１９から３７に記載の装置。
[0289]態様４０：装置がテレビジョンを備える、態様１９から３７に記載の装置。
[0290]態様４１：ディスプレイをさらに備える、態様１９から３９のいずれかに記載の装置。
[0291]態様４２：装置は、１つまたは複数のビデオフレームをキャプチャするように構成されたカメラを備える、態様１９から４１のいずれかに記載の装置。
[0292]態様４３：ビデオデータを処理する方法であって、ニューラルネットワークシステムのデコーダ部分によって、ニューラルネットワークシステムの現在の時間ステップの動作のための出力データとニューラルネットワークシステムの前の時間ステップの動作からのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための動き推定データを決定することと；前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと；現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと；ワーピングした再構成されたビデオフレームに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、を備える方法。
[0293]態様４４：ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成された残差データを決定することと；現在の時間ステップのために決定された再構成された残差データにワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、をさらに備える、態様４３に記載の方法。
[0294]態様４５：現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作中にニューラルネットワークシステムのエンコーダ部分によって処理された前の入力ビデオフレームに少なくとも部分的に基づいて、前の時間ステップの動作からの再構成された残差データを決定することと；現在の時間ステップの動作中に、前の時間ステップの動作からの再構成された残差データを使用して前に再構成されたビデオフレームを修正することと；現在の時間ステップの動作のための最終の出力ビデオフレームとして修正された前に再構成されたビデオフレームを出力することと、をさらに備える、態様４３および４４のいずれかに記載の方法。
[0295]態様４６：ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成された残差データを決定することと；デコーダ部分のポストワーピングネットワークによって、ワーピングした再構成されたビデオフレームと現在の時間ステップのために決定された再構成された残差データとを処理することと；ポストワーピングネットワークによるワーピングした再構成されたビデオフレームと再構成された残差データとの処理に少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、をさらに備える、態様４３から４５のいずれかに記載の方法。
[0296]態様４７：現在の時間ステップの動作のために決定された動き推定データまたは前の時間ステップの動作のために決定された動き推定を使用して前の時間ステップの動作からの再帰状態データを修正することに少なくとも部分的によって、現在の時間ステップの動作のためのワーピングした再帰状態データを生成することと；ワーピングした再帰状態データに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、をさらに備える、態様４３から４６のいずれかに記載の方法。
[0297]態様４８：デコーダ部分によって、再構成されたマスクを生成することと、再構成されたマスクは、前の時間ステップの動作中に生成された前に再構成されたビデオフレーム中のデータの存在を示す１つまたは複数の値を含み；再構成されたマスクと、現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームと、現在の時間ステップの動作のために決定された再構成された残差データとに少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、再構成されたマスクは、ワーピングした再構成されたビデオフレームと再構成された残差データとの寄与を重み付けする、をさらに備える、態様４３から４７のいずれかに記載の方法。
[0298]態様４９：ニューラルネットワークシステムのエンコーダ部分によって、現在の時間ステップの動作のための入力ビデオフレームと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からのニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；ニューラルネットワークシステムのエンコーダ部分によって、現在の時間ステップの動作のための出力データを生成することと、出力データは、入力ビデオフレームと、前の時間ステップの動作からの再構成された動き推定データと、前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて生成される、をさらに備える、態様４３から４８のいずれかに記載の方法。
[0299]態様５０：ビデオデータを処理するための装置。装置は、（たとえば、回路中に実装された）メモリとメモリに結合されたプロセッサ（または複数のプロセッサ）とを含む。プロセッサは、ニューラルネットワークシステムのデコーダ部分によって、ニューラルネットワークシステムの現在の時間ステップの動作のための出力データとニューラルネットワークシステムの前の時間ステップの動作からのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための動き推定データを決定することと；前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと；現在の時間ステップのために決定された動き推定データを使用して前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと；ワーピングした再構成されたビデオフレームに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、を行うように構成される。
[0300]態様５１：プロセッサは、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成された残差データを決定することと；現在の時間ステップのために決定された再構成された残差データにワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、を行うように構成された、態様５０に記載の装置。
[0301]態様５２：プロセッサは、現在の時間ステップの動作中にデコーダ部分によって、現在の時間ステップの動作中にニューラルネットワークシステムのエンコーダ部分によって処理された前の入力ビデオフレームに少なくとも部分的に基づいて、前の時間ステップの動作からの再構成された残差データを決定することと；現在の時間ステップの動作中に、前の時間ステップの動作からの再構成された残差データを使用して前に再構成されたビデオフレームを修正することと；現在の時間ステップの動作のための最終の出力ビデオフレームとして修正された前に再構成されたビデオフレームを出力することと、を行うように構成された、態様５０および５１のいずれかに記載の装置。
[0302]態様５３：プロセッサは、ニューラルネットワークシステムのデコーダ部分によって、出力データと前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成された残差データを決定することと；デコーダ部分のポストワーピングネットワークによって、ワーピングした再構成されたビデオフレームと現在の時間ステップのために決定された再構成された残差データとを処理することと；ポストワーピングネットワークによるワーピングした再構成されたビデオフレームと再構成された残差データとの処理に少なくとも部分的に基づいて、現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、を行うように構成された、態様５０から５２のいずれかに記載の装置。
[0303]態様５４：プロセッサは、現在の時間ステップの動作のために決定された動き推定データまたは前の時間ステップの動作のために決定された動き推定を使用して前の時間ステップの動作からの再帰状態データを修正することに少なくとも部分的によって、現在の時間ステップの動作のためのワーピングした再帰状態データを生成することと；ワーピングした再帰状態データに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、を行うように構成された、態様５０から５３のいずれかに記載の装置。
[0304]態様５５：プロセッサは、デコーダ部分によって、再構成されたマスクを生成することと、再構成されたマスクは、前の時間ステップの動作中に生成された前に再構成されたビデオフレーム中のデータの存在を示す１つまたは複数の値を含み；再構成されたマスクと、現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームと、現在の時間ステップの動作のために決定された再構成された残差データとに少なくとも部分的に基づいて現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、再構成されたマスクは、ワーピングした再構成されたビデオフレームと再構成された残差データと寄与を重み付けする、を行うように構成された、態様５０から５４のいずれかに記載の装置。
[0305]態様５６：プロセッサは、ニューラルネットワークシステムのエンコーダ部分によって、現在の時間ステップの動作のための入力ビデオフレームと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、ニューラルネットワークシステムの前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からのニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと；ニューラルネットワークシステムのエンコーダ部分によって、現在の時間ステップの動作のための出力データを生成することと、出力データは、入力ビデオフレームと、前の時間ステップの動作からの再構成された動き推定データと、前の時間ステップの動作からの再構成された残差データと、前の時間ステップの動作からの再帰状態データとに少なくとも部分的に基づいて生成される、を行うように構成された、態様５０から５５のいずれかに記載の装置。
[0306]態様５７：プロセッサは、再構成されたビデオフレームをメモリ中に記憶させることを行うように構成された、態様５０から５６のいずれかに記載の装置。
[0307]態様５８：プロセッサは、再構成されたビデオフレームを表示させることを行うように構成された、態様５０から５７のいずれかに記載の装置。
[0308]態様５９：再構成されたビデオフレームを表示するように構成されたディスプレイをさらに備える、態様５０から５８のいずれかに記載の装置。
[0309]態様６０：プロセッサがニューラルプロセッシングユニット（ＮＰＵ）を含む、態様５０から５９のいずれかに記載の装置。
[0310]態様６１：装置がモバイルデバイスを備える、態様５０から６０のいずれかに記載の装置。
[0311]態様６２：装置がエクステンデッドリアリティデバイスを備える、態様５０から６０に記載の装置。
[0312]態様６３：装置がテレビジョンを備える、態様５０から６０に記載の装置。
[0313]態様６４：装置は、１つまたは複数のビデオフレームをキャプチャするように構成されたカメラを備える、態様５０から６３のいずれかに記載の装置。
[0314]態様６５：実行されたとき、請求項１から１８の動作のいずれかを実施することを１つまたは複数のプロセッサに行わせる命令を記憶したコンピュータ可読記憶媒体。
[0315]態様６６：請求項１から１８の動作のいずれかを実施するための手段を備える装置。
[0316]態様６７：実行されたとき、請求項４３から４９の動作のいずれかを実施することを１つまたは複数のプロセッサに行わせる命令を記憶したコンピュータ可読記憶媒体。
[0317]態様６８：請求項４３から４９の動作のいずれかを実施するための手段を備える装置。
[0318]態様６９：実行されたとき、請求項１から１８の動作のいずれかと請求項４３から４９の動作のいずれかとを実施することを１つまたは複数のプロセッサに行わせる命令を記憶したコンピュータ可読記憶媒体。
[0319]態様７０：請求項１から１８の動作のいずれかと請求項８から４９の動作のいずれかとを実施するための手段を備える装置。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ ビデオデータを処理する方法であって、
ニューラルネットワークシステムのエンコーダ部分によって、前記ニューラルネットワークシステムの現在の時間ステップの動作のための入力ビデオフレームと、前記ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、前記ニューラルネットワークシステムの前記前の時間ステップの動作からの再構成された残差データと、前記前の時間ステップの動作からの前記ニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと、
前記ニューラルネットワークシステムの前記エンコーダ部分によって、前記ニューラルネットワークシステムの前記現在の時間ステップの動作のための出力データを生成することと、前記出力データは、前記入力ビデオフレームと、前記前の時間ステップの動作からの前記再構成された動き推定データと、前記前の時間ステップの動作からの前記再構成された残差データと、前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて生成され、
前記ニューラルネットワークシステムの前記デコーダ部分によって、前記現在の時間ステップの動作のための前記出力データと、前記前の時間ステップの動作からの前記デコーダ部分の前記少なくとも１つの再帰レイヤからの前記再帰状態データとを取得することと、
前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、前記再構成されたビデオフレームは、前記入力ビデオフレームを表し、
を備える方法。
［Ｃ２］ 前記ニューラルネットワークシステムの前記デコーダ部分によって、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための動き推定データを決定することと、
前記前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと、
前記現在の時間ステップのために決定された前記動き推定データを使用して、前記前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、前記現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ３］ 前記ニューラルネットワークシステムの前記デコーダ部分によって、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成された残差データを決定することと、 前記現在の時間ステップのために決定された前記再構成された残差データに前記ワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、 をさらに備える、Ｃ２に記載の方法。
［Ｃ４］ 前記ニューラルネットワークシステムの前記デコーダ部分によって、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成された残差データを決定することと、 前記デコーダ部分のポストワーピングネットワークによって、前記ワーピングした再構成されたビデオフレームと前記現在の時間ステップのために決定された前記再構成された残差データとを処理することと、
をさらに備え、
前記再構成されたビデオフレームは、前記ポストワーピングネットワークによる前記ワーピングした再構成されたビデオフレームと前記再構成された残差データとの処理に基づいて、前記現在の時間ステップの動作のために生成される、
Ｃ２に記載の方法。
［Ｃ５］ 前記ニューラルネットワークシステムの動き推定ネットワークによって、前記入力ビデオフレームと、前記前の時間ステップの動作からの前に再構成されたビデオフレームまたは前記前の時間ステップの動作からの前の入力ビデオフレームのうちの少なくとも１つと、に少なくとも部分的に基づいて、前記現在の時間ステップの動作のための動き推定データを決定することと、
前記現在の時間ステップのために決定された前記動き推定データを使用して、前記前に再構成されたビデオフレームまたは前記前の入力ビデオフレームのうちの少なくとも１つの１つまたは複数のピクセルを修正することに少なくとも部分的によって、前記現在の時間ステップのためのワーピングした再構成されたビデオフレームを生成することと、
前記ニューラルネットワークシステムの前記エンコーダ部分に、前記ワーピングした再構成されたビデオフレームと前記現在の時間ステップの動作のために決定された前記動き推定データとを送ることと、
をさらに備え、
前記現在の時間ステップの動作のために生成された前記出力データは、前記ワーピングした再構成されたビデオフレームと前記現在の時間ステップの動作のために決定された前記動き推定データとに少なくとも部分的に基づいて、前記ニューラルネットワークシステムの前記エンコーダ部分によって生成される、
Ｃ１に記載の方法。
［Ｃ６］ １つまたは複数のトレーニング反復について、第１の損失関数を使用して前記ニューラルネットワークシステムをトレーニングすることと、前記第１の損失関数は、１つまたは複数の入力ビデオフレームと１つまたは複数のワーピングした再構成されたビデオフレームとの間の損失を決定し、
前記第１の損失関数を非活性化することと、
前記１つまたは複数のトレーニング反復の後に実施される１つまたは複数の後続のトレーニング反復について、第２の損失関数を使用して前記ニューラルネットワークシステムをトレーニングすることと、前記第２の損失関数は、少なくとも１つの入力ビデオフレームと少なくとも１つの再構成されたビデオフレームとの間の損失を決定し、
をさらに備える、Ｃ５に記載の方法。
［Ｃ７］ 前記再帰状態データは、前記少なくとも１つの再帰レイヤのノードの１つまたは複数の値を含む、Ｃ１に記載の方法。
［Ｃ８］ 前記ニューラルネットワークシステムの前記デコーダ部分は、複数の再帰レイヤを含み、前記複数の再帰レイヤの各再帰レイヤは、それぞれの再帰状態データを与える、Ｃ１に記載の方法。
［Ｃ９］ 前記現在の時間ステップの動作または前記前の時間ステップの動作のために決定された動き推定データを使用して、前記前の時間ステップの動作からの前記再帰状態データを修正することに少なくとも部分的によって、前記現在の時間ステップの動作のためのワーピングした再帰状態データを生成すること、
をさらに備え、
前記現在の時間ステップの動作のために生成された前記再構成されたビデオフレームは、前記ワーピングした再帰状態データに少なくとも部分的に基づいて生成される、
Ｃ１に記載の方法。
［Ｃ１０］ 前記デコーダ部分によって、再構成されたマスクを生成することと、前記再構成されたマスクは、前記前の時間ステップの動作中に生成された前に再構成されたビデオフレーム中のデータの存在を示す１つまたは複数の値を含み、
前記再構成されたマスクと、前記現在の時間ステップの動作のために生成されるワーピングした再構成されたビデオフレームと、前記現在の時間ステップの動作のために決定された再構成された残差データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、前記再構成されたマスクは、前記ワーピングした再構成されたビデオフレームと前記再構成された残差データとの寄与を重み付けし、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１１］ 前記前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと、
前記現在の時間ステップの動作中に、前記現在の時間ステップのために決定された動き推定データを使用して、前記前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、前記現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと、
前記現在の時間ステップの動作中に前記デコーダ部分によって、前記現在の時間ステップの動作のための第１の再構成された残差データを決定することと、
前記現在の時間ステップのために決定された前記再構成された残差データに前記ワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、 前記現在の時間ステップの動作中に前記デコーダ部分によって、前記現在の時間ステップの動作中に前記エンコーダ部分によって処理された前の入力ビデオフレームに少なくとも部分的に基づいて、前記前の時間ステップの動作からの第２の再構成された残差データを決定することと、
前記現在の時間ステップの動作中に、前記第２の再構成された残差データを使用して、前記前に再構成されたビデオフレームを修正することと、
前記現在の時間ステップの動作のための最終の出力ビデオフレームとして、前記修正された前に再構成されたビデオフレームを出力することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１２］ 前記ニューラルネットワークシステムの前記エンコーダ部分によって、１つまたは複数のひずみマップを取得することと、
前記ニューラルネットワークシステムの前記エンコーダ部分によって、前記１つまたは複数のひずみマップに少なくとも部分的に基づいて前記出力データを生成することと、 をさらに備える、Ｃ１に記載の方法。
［Ｃ１３］ 前記１つまたは複数のひずみマップは、前記現在の時間ステップの動作のための前記入力ビデオフレームと前記前の時間ステップの動作からの前に再構成されたビデオフレームとの間のひずみを示す第１のひずみマップを含む、Ｃ１２に記載の方法。
［Ｃ１４］ 前記１つまたは複数のひずみマップは、前記現在の時間ステップの動作のための前記入力ビデオフレームとワーピングした再構成されたビデオフレームとの間のひずみを示す第２のひずみマップを含み、
前記ワーピングした再構成されたビデオフレームは、前記前の時間ステップの動作からの前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって生成される、Ｃ１２に記載の方法。
［Ｃ１５］ 前記ニューラルネットワークシステムの前記エンコーダ部分の第１のレイヤによって、入力データを処理することと、
前記エンコーダ部分の前記第１のレイヤによって、前記エンコーダ部分の前記第１のレイヤのための複数の重み値を決定することと、
前記複数の重み値に前記ニューラルネットワークシステムの前記エンコーダ部分の第２のレイヤの重みを設定することと、
前記エンコーダ部分の前記第２のレイヤによって、前記複数の重み値に設定された前記重みを使用して前記入力データを処理することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１６］ 記憶媒体中に前記出力データを記憶すること、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１７］ 記憶媒体中に前記再構成されたビデオフレームを記憶すること、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１８］ 少なくとも１つのデバイスに、送信媒体を介して前記再構成されたビデオフレームを送ること、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１９］ ビデオデータを処理するための装置であって、
メモリと、
前記メモリに結合されたプロセッサと、
を備え、前記プロセッサは、
ニューラルネットワークシステムのエンコーダ部分を使用して、前記ニューラルネットワークシステムの現在の時間ステップの動作のための入力ビデオフレームと、前記ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、前記ニューラルネットワークシステムの前記前の時間ステップの動作からの再構成された残差データと、前記前の時間ステップの動作からの前記ニューラルネットワークシステムのデコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと、
前記エンコーダ部分を使用して、前記ニューラルネットワークシステムの前記現在の時間ステップの動作のための出力データを生成することと、前記出力データは、前記入力ビデオフレームと、前記前の時間ステップの動作からの前記再構成された動き推定データと、前記前の時間ステップの動作からの前記再構成された残差データと、前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて生成され、
ニューラルネットワークシステムの前記デコーダ部分を使用して、前記現在の時間ステップの動作のための前記出力データと、前記前の時間ステップの動作からの前記デコーダ部分の前記少なくとも１つの再帰レイヤからの前記再帰状態データとを取得することと、 前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、前記再構成されたビデオフレームは、前記入力ビデオフレームを表し、
を行うように構成された、装置。
［Ｃ２０］ 前記プロセッサは、
前記ニューラルネットワークシステムの前記デコーダ部分を使用して、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための動き推定データを決定することと、
前記前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと、
前記現在の時間ステップのために決定された前記動き推定データを使用して、前記前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することによって、前記現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと、
を行うように構成された、Ｃ１９に記載の装置。
［Ｃ２１］ 前記プロセッサは、
前記ニューラルネットワークシステムの前記デコーダ部分を使用して、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成された残差データを決定することと、 前記現在の時間ステップのために決定された前記再構成された残差データに前記ワーピングした再構成されたビデオフレームを加算することによって、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、
を行うように構成された、Ｃ２０に記載の装置。
［Ｃ２２］ 前記プロセッサは、
前記ニューラルネットワークシステムの前記デコーダ部分を使用して、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成された残差データを決定することと、 前記デコーダ部分のポストワーピングネットワークを使用して、前記ワーピングした再構成されたビデオフレームと前記現在の時間ステップのために決定された前記再構成された残差データとを処理することと、
を行うように構成され、
前記再構成されたビデオフレームは、前記ポストワーピングネットワークによる前記ワーピングした再構成されたビデオフレームと前記再構成された残差データとの処理に基づいて、前記現在の時間ステップの動作のために生成される、
Ｃ２１に記載の装置。
［Ｃ２３］ 前記プロセッサは、
前記ニューラルネットワークシステムの動き推定ネットワークを使用して、前記入力ビデオフレームと、前記前の時間ステップの動作からの前に再構成されたビデオフレームまたは前記前の時間ステップの動作からの前の入力ビデオフレームのうちの少なくとも１つと、に少なくとも部分的に基づいて、前記現在の時間ステップの動作のための動き推定データを決定することと、
前記現在の時間ステップのために決定された前記動き推定データを使用して、前記前に再構成されたビデオフレームまたは前記前の入力ビデオフレームのうちの少なくとも１つの１つまたは複数のピクセルを修正することによって、前記現在の時間ステップのためのワーピングした再構成されたビデオフレームを生成することと、
前記ニューラルネットワークシステムの前記エンコーダ部分に、前記ワーピングした再構成されたビデオフレームと前記現在の時間ステップの動作のために決定された前記動き推定データとを送ることと、
を行うように構成され、
前記現在の時間ステップの動作のために生成された前記出力データは、前記ワーピングした再構成されたビデオフレームと前記現在の時間ステップの動作のために決定された前記動き推定データとに少なくとも部分的に基づいて、前記ニューラルネットワークシステムの前記エンコーダ部分によって生成される、
Ｃ１９に記載の装置。
［Ｃ２４］ 前記プロセッサは、
１つまたは複数のトレーニング反復について、第１の損失関数を使用して前記ニューラルネットワークシステムをトレーニングすることと、前記第１の損失関数は、１つまたは複数の入力ビデオフレームと１つまたは複数のワーピングした再構成されたビデオフレームとの間の損失を決定し、
前記第１の損失関数を非活性化することと、
前記１つまたは複数のトレーニング反復の後に実施される１つまたは複数の後続のトレーニング反復について、第２の損失関数を使用して前記ニューラルネットワークシステムをトレーニングすることと、前記第２の損失関数は、少なくとも１つの入力ビデオフレームと少なくとも１つの再構成されたビデオフレームとの間の損失を決定し、
を行うように構成された、Ｃ２３に記載の装置。
［Ｃ２５］ 前記再帰状態データは、前記少なくとも１つの再帰レイヤのノードの１つまたは複数の値を含む、Ｃ１９に記載の装置。
［Ｃ２６］ 前記ニューラルネットワークシステムの前記デコーダ部分は、複数の再帰レイヤを含み、前記複数の再帰レイヤの各再帰レイヤは、それぞれの再帰状態データを与える、Ｃ１９に記載の装置。
［Ｃ２７］ 前記プロセッサは、
前記現在の時間ステップの動作または前記前の時間ステップの動作のために決定された動き推定データを使用して、前記前の時間ステップの動作からの前記再帰状態データを修正することによって、前記現在の時間ステップの動作のためのワーピングした再帰状態データを生成すること、
を行うように構成され、
前記現在の時間ステップの動作のために生成された前記再構成されたビデオフレームは、前記ワーピングした再帰状態データに少なくとも部分的に基づいて生成される、
Ｃ１９に記載の装置。
［Ｃ２８］ 前記プロセッサは、
前記デコーダ部分を使用して、再構成されたマスクを生成することと、前記再構成されたマスクは、前記前の時間ステップの動作中に生成された前に再構成されたビデオフレーム中のデータの存在を示す１つまたは複数の値を含み、
前記デコーダ部分を使用して、前記再構成されたマスクと、前記現在の時間ステップの動作のために生成されるワーピングした再構成されたビデオフレームと、前記現在の時間ステップの動作のために決定された再構成された残差データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、前記再構成されたマスクは、前記ワーピングした再構成されたビデオフレームと前記再構成された残差データとの寄与を重み付けし、
を行うように構成された、Ｃ１９に記載の装置。
［Ｃ２９］ 前記プロセッサは、
前記前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと、
前記デコーダ部分を使用して、前記現在の時間ステップの動作中に、前記現在の時間ステップのために決定された動き推定データを使用して、前記前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することによって、前記現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと、
前記現在の時間ステップの動作中に前記デコーダ部分を使用して、前記現在の時間ステップの動作のための第１の再構成された残差データを決定することと、
前記現在の時間ステップのために決定された前記再構成された残差データに前記ワーピングした再構成されたビデオフレームを加算することによって、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、
前記現在の時間ステップの動作中に前記デコーダ部分を使用して、前記現在の時間ステップの動作中に前記エンコーダ部分によって処理された前の入力ビデオフレームに少なくとも部分的に基づいて、前記前の時間ステップの動作からの第２の再構成された残差データを決定することと、
前記現在の時間ステップの動作中に前記デコーダ部分を使用して、前記第２の再構成された残差データを使用して、前記前に再構成されたビデオフレームを修正することと、 前記現在の時間ステップの動作のための最終の出力ビデオフレームとして、前記修正された前に再構成されたビデオフレームを出力することと、
を行うように構成された、Ｃ１９に記載の装置。
［Ｃ３０］ 前記プロセッサは、
前記ニューラルネットワークシステムの前記エンコーダ部分を使用して、１つまたは複数のひずみマップを取得することと、
前記ニューラルネットワークシステムの前記エンコーダ部分を使用して、前記１つまたは複数のひずみマップに少なくとも部分的に基づいて前記出力データを生成することと、 を行うように構成された、Ｃ１９に記載の装置。
［Ｃ３１］ 前記１つまたは複数のひずみマップは、前記現在の時間ステップの動作のための前記入力ビデオフレームと前記前の時間ステップの動作からの前に再構成されたビデオフレームとの間のひずみを示す第１のひずみマップを含む、Ｃ３０に記載の装置。
［Ｃ３２］ 前記１つまたは複数のひずみマップは、前記現在の時間ステップの動作のための前記入力ビデオフレームとワーピングした再構成されたビデオフレームとの間のひずみを示す第２のひずみマップを含み、
前記ワーピングした再構成されたビデオフレームは、前記前の時間ステップの動作からの前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することによって生成される、Ｃ３０に記載の装置。
［Ｃ３３］ 前記プロセッサは、
前記ニューラルネットワークシステムの前記エンコーダ部分の第１のレイヤを使用して、入力データを処理することと、
前記エンコーダ部分の前記第１のレイヤを使用して、前記エンコーダ部分の前記第１のレイヤのための複数の重み値を決定することと、
前記複数の重み値に前記ニューラルネットワークシステムの前記エンコーダ部分の第２のレイヤの重みを設定することと、
前記エンコーダ部分の前記第２のレイヤを使用して、前記複数の重み値に設定された前記重みを使用して前記入力データを処理することと、
を行うように構成された、Ｃ１９に記載の装置。
［Ｃ３４］ 前記プロセッサは、
前記出力データを前記メモリ中に記憶させること、
を行うように構成された、Ｃ１９に記載の装置。
［Ｃ３５］ 前記プロセッサは、
前記再構成されたビデオフレームを前記メモリ中に記憶させること、
を行うように構成された、Ｃ１９に記載の装置。
［Ｃ３６］ 少なくとも１つのデバイスに、送信媒体を介して前記再構成されたビデオフレームを送信するように構成された送信機、
をさらに備える、Ｃ１９に記載の装置。
［Ｃ３７］ 前記プロセッサは、ニューラルプロセッシングユニット（ＮＰＵ）を含む、Ｃ１９に記載の装置。
［Ｃ３８］ 前記装置はモバイルデバイスを備える、Ｃ１９に記載の装置。
［Ｃ３９］ 前記装置がエクステンデッドリアリティデバイスを備える、Ｃ１９に記載の装置。
［Ｃ４０］ ディスプレイをさらに備える、Ｃ１９に記載の装置。
［Ｃ４１］ 前記装置はテレビジョンを備える、Ｃ１９に記載の装置。
［Ｃ４２］ 前記装置は、１つまたは複数のビデオフレームをキャプチャするように構成されたカメラを備える、Ｃ１９に記載の装置。
［Ｃ４３］ ビデオデータを処理する方法であって、
ニューラルネットワークシステムのデコーダ部分によって、前記ニューラルネットワークシステムの現在の時間ステップの動作のための出力データと、前記ニューラルネットワークシステムの前の時間ステップの動作からの前記デコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと、
前記ニューラルネットワークシステムの前記デコーダ部分によって、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための動き推定データを決定することと、
前記前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと、
前記現在の時間ステップのために決定された前記動き推定データを使用して、前記前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、前記現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと、
前記ワーピングした再構成されたビデオフレームに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、
を備える方法。
［Ｃ４４］ 前記ニューラルネットワークシステムの前記デコーダ部分によって、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成された残差データを決定することと、 前記現在の時間ステップのために決定された前記再構成された残差データに前記ワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、 をさらに備える、Ｃ４３に記載の方法。
［Ｃ４５］ 前記現在の時間ステップの動作中に前記デコーダ部分によって、前記現在の時間ステップの動作中に前記ニューラルネットワークシステムのエンコーダ部分によって処理された前の入力ビデオフレームに少なくとも部分的に基づいて、前記前の時間ステップの動作からの再構成された残差データを決定することと、
前記現在の時間ステップの動作中に、前記前の時間ステップの動作からの前記再構成された残差データを使用して、前記前に再構成されたビデオフレームを修正することと、 前記現在の時間ステップの動作のための最終の出力ビデオフレームとして、前記修正された前に再構成されたビデオフレームを出力することと、
をさらに備える、Ｃ４４に記載の方法。
［Ｃ４６］ 前記ニューラルネットワークシステムの前記デコーダ部分によって、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成された残差データを決定することと、 前記デコーダ部分のポストワーピングネットワークによって、前記現在の時間ステップのために決定された前記再構成された残差データと前記ワーピングした再構成されたビデオフレームとを処理することと、
前記ポストワーピングネットワークによる前記ワーピングした再構成されたビデオフレームと前記再構成された残差データとの処理に少なくとも部分的に基づいて、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、
をさらに備える、Ｃ４３に記載の方法。
［Ｃ４７］ 前記現在の時間ステップの動作のために決定された前記動き推定データまたは前記前の時間ステップの動作のために決定された動き推定を使用して、前記前の時間ステップの動作からの前記再帰状態データを修正することに少なくとも部分的によって、前記現在の時間ステップの動作のためのワーピングした再帰状態データを生成することと、
前記ワーピングした再帰状態データに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、
をさらに備える、Ｃ４３に記載の方法。
［Ｃ４８］ 前記デコーダ部分によって、再構成されたマスクを生成することと、前記再構成されたマスクは、前記前の時間ステップの動作中に生成された前記前に再構成されたビデオフレーム中のデータの存在を示す１つまたは複数の値を含み、
前記再構成されたマスクと、前記現在の時間ステップの動作のための前記ワーピングした再構成されたビデオフレームと、前記現在の時間ステップの動作のために決定された再構成された残差データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、前記再構成されたマスクは、前記ワーピングした再構成されたビデオフレームと前記再構成された残差データとの寄与を重み付けし、
をさらに備える、Ｃ４３に記載の方法。
［Ｃ４９］ ニューラルネットワークシステムのエンコーダ部分によって、前記現在の時間ステップの動作のための入力ビデオフレームと、前記ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、前記ニューラルネットワークシステムの前記前の時間ステップの動作からの再構成された残差データと、前記前の時間ステップの動作からの前記ニューラルネットワークシステムの前記デコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと、
前記ニューラルネットワークシステムの前記エンコーダ部分によって、前記現在の時間ステップの動作のための前記出力データを生成することと、前記出力データは、前記入力ビデオフレームと、前記前の時間ステップの動作からの前記再構成された動き推定データと、前記前の時間ステップの動作からの前記再構成された残差データと、前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて生成され、
をさらに備える、Ｃ４３に記載の方法。
［Ｃ５０］ ビデオデータを処理するための装置であって、
メモリと、
前記メモリに結合されたプロセッサと、
を備え、前記プロセッサは、
ニューラルネットワークシステムのデコーダ部分を使用して、前記ニューラルネットワークシステムの現在の時間ステップの動作のための出力データと、前記ニューラルネットワークシステムの前の時間ステップの動作からの前記デコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと、
前記ニューラルネットワークシステムの前記デコーダ部分を使用して、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための動き推定データを決定することと、
前記前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと、
前記現在の時間ステップのために決定された前記動き推定データを使用して、前記前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、前記現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと、
前記ワーピングした再構成されたビデオフレームに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、
を行うように構成された、装置。
［Ｃ５１］ 前記プロセッサは、
前記ニューラルネットワークシステムの前記デコーダ部分を使用して、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成された残差データを決定することと、 前記現在の時間ステップのために決定された前記再構成された残差データに前記ワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、 を行うように構成された、Ｃ５０に記載の装置。
［Ｃ５２］ 前記プロセッサは、
前記現在の時間ステップの動作中に前記デコーダ部分を使用して、前記現在の時間ステップの動作中に前記ニューラルネットワークシステムのエンコーダ部分によって処理された前の入力ビデオフレームに少なくとも部分的に基づいて、前記前の時間ステップの動作からの再構成された残差データを決定することと、
前記現在の時間ステップの動作中に、前記前の時間ステップの動作からの前記再構成された残差データを使用して、前記前に再構成されたビデオフレームを修正することと、 前記現在の時間ステップの動作のための最終の出力ビデオフレームとして、前記修正された前に再構成されたビデオフレームを出力することと、
を行うように構成された、Ｃ５１に記載の装置。
［Ｃ５３］ 前記プロセッサは、
前記ニューラルネットワークシステムの前記デコーダ部分を使用して、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成された残差データを決定することと、 前記デコーダ部分のポストワーピングネットワークを使用して、前記現在の時間ステップのために決定された前記再構成された残差データと前記ワーピングした再構成されたビデオフレームとを処理することと、
前記ポストワーピングネットワークによる前記ワーピングした再構成されたビデオフレームと前記再構成された残差データとの処理に少なくとも部分的に基づいて、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、
を行うように構成された、Ｃ５０に記載の装置。
［Ｃ５４］ 前記プロセッサは、
前記現在の時間ステップの動作のために決定された前記動き推定データまたは前記前の時間ステップの動作のために決定された動き推定を使用して、前記前の時間ステップの動作からの前記再帰状態データを修正することに少なくとも部分的によって、前記現在の時間ステップの動作のためのワーピングした再帰状態データを生成することと、
前記ワーピングした再帰状態データに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、
を行うように構成された、Ｃ５０に記載の装置。
［Ｃ５５］ 前記プロセッサは、
前記デコーダ部分を使用して、再構成されたマスクを生成することと、前記再構成されたマスクは、前記前の時間ステップの動作中に生成された前記前に再構成されたビデオフレーム中のデータの存在を示す１つまたは複数の値を含み、
前記再構成されたマスクと、前記現在の時間ステップの動作のための前記ワーピングした再構成されたビデオフレームと、前記現在の時間ステップの動作のために決定された再構成された残差データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、前記再構成されたマスクは、前記ワーピングした再構成されたビデオフレームと前記再構成された残差データとの寄与を重み付けし、
を行うように構成された、Ｃ５０に記載の装置。
［Ｃ５６］ 前記プロセッサは、
ニューラルネットワークシステムのエンコーダ部分を使用して、前記現在の時間ステップの動作のための入力ビデオフレームと、前記ニューラルネットワークシステムの前の時間ステップの動作からの再構成された動き推定データと、前記ニューラルネットワークシステムの前記前の時間ステップの動作からの再構成された残差データと、前記前の時間ステップの動作からの前記ニューラルネットワークシステムの前記デコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと、
前記ニューラルネットワークシステムの前記エンコーダ部分を使用して、前記現在の時間ステップの動作のための前記出力データを生成することと、前記出力データは、前記入力ビデオフレームと、前記前の時間ステップの動作からの前記再構成された動き推定データと、前記前の時間ステップの動作からの前記再構成された残差データと、前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて生成され、 を行うように構成された、Ｃ５０に記載の装置。
［Ｃ５７］ 前記プロセッサは、
前記再構成されたビデオフレームを前記メモリ中に記憶させること、
を行うように構成された、Ｃ５０に記載の装置。
［Ｃ５８］ 前記プロセッサは、
前記再構成されたビデオフレームを表示させること、
を行うように構成された、Ｃ５０に記載の装置。
［Ｃ５９］ 前記再構成されたビデオフレームを表示するように構成されたディスプレイ、
をさらに備える、Ｃ５０に記載の装置。
［Ｃ６０］ 前記プロセッサはニューラルプロセッシングユニット（ＮＰＵ）を含む、Ｃ５０に記載の装置。
［Ｃ６１］ 前記装置はモバイルデバイスを備える、Ｃ５０に記載の装置。
［Ｃ６２］ 前記装置はエクステンデッドリアリティデバイスを備える、Ｃ５０に記載の装置。
［Ｃ６３］ 前記装置はテレビジョンを備える、Ｃ５０に記載の装置。
［Ｃ６４］ 前記装置は、１つまたは複数のビデオフレームをキャプチャするように構成されたカメラを備える、Ｃ５０に記載の装置。

Claims (15)

  1. ビデオデータを処理する方法であって、
    ニューラルネットワークシステムのエンコーダ部分によって、前記ニューラルネットワークシステムの現在の時間ステップの動作のための入力ビデオフレームと、前記ニューラルネットワークシステムの前の時間ステップの動作中に前記ニューラルネットワークシステムのデコーダ部分によって生成された前に再構成されたビデオフレームと、インター予測のための前記前の時間ステップの動作からの前記前に再構成されたビデオフレームの再構成された動き推定データと、インター予測のための前記前の時間ステップの動作中に前記ニューラルネットワークシステムの前記デコーダ部分によって生成された前記前に再構成されたビデオフレームの再構成された残差データと、前記前の時間ステップの動作からの前記ニューラルネットワークシステムの前記デコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと、
    前記ニューラルネットワークシステムの前記エンコーダ部分によって、前記ニューラルネットワークシステムの前記現在の時間ステップの動作のための出力データを生成することと、前記出力データは、前記入力ビデオフレームと、前記前の時間ステップの動作からの前記前に再構成されたビデオフレームと、前記前の時間ステップの動作からの前記再構成された動き推定データと、前記前の時間ステップの動作からの前記再構成された残差データと、前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて生成され、
    前記ニューラルネットワークシステムの前記デコーダ部分によって、前記現在の時間ステップの動作のための前記出力データと、前記前の時間ステップの動作からの前記デコーダ部分の前記少なくとも１つの再帰レイヤからの前記再帰状態データとを取得することと、
    前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、前記再構成されたビデオフレームは、前記入力ビデオフレームを表し、
    前記ニューラルネットワークシステムの動き推定ネットワークによって、前記入力ビデオフレームと、前記前の時間ステップの動作からの前に再構成されたビデオフレームまたは前記前の時間ステップの動作からの前の入力ビデオフレームのうちの少なくとも１つと、に少なくとも部分的に基づいて、前記現在の時間ステップの動作のための動き推定データを決定することと、
    前記現在の時間ステップのために決定された前記動き推定データを使用して、前記前に再構成されたビデオフレームまたは前記前の入力ビデオフレームのうちの少なくとも１つの１つまたは複数のピクセルを修正することに少なくとも部分的によって、前記現在の時間ステップのためのワーピングした再構成されたビデオフレームを生成することと、
    前記ニューラルネットワークシステムの前記エンコーダ部分に、前記ワーピングした再構成されたビデオフレームと前記現在の時間ステップの動作のために決定された前記動き推定データとを送ることと、
    １つまたは複数のトレーニング反復について、第１の損失関数を使用して前記ニューラルネットワークシステムをトレーニングすることと、前記第１の損失関数は、１つまたは複数の入力ビデオフレームと１つまたは複数のワーピングした再構成されたビデオフレームとの間の損失を決定し、
    前記第１の損失関数を非活性化することと、
    前記１つまたは複数のトレーニング反復の後に実施される１つまたは複数の後続のトレーニング反復について、第２の損失関数を使用して前記ニューラルネットワークシステムをトレーニングすることと、前記第２の損失関数は、少なくとも１つの入力ビデオフレームと少なくとも１つの再構成されたビデオフレームとの間の損失を決定し、
    を備え、
    前記現在の時間ステップの動作のために生成された前記出力データは、前記現在の時間ステップの動作のために決定された前記動き推定データと前記ワーピングした再構成されたビデオフレームとに少なくとも部分的に基づいて、前記ニューラルネットワークシステムの前記エンコーダ部分によって生成される、
    方法。
  2. 前記ニューラルネットワークシステムの前記デコーダ部分によって、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための動き推定データを決定することと、
    前記現在の時間ステップのために決定された前記動き推定データを使用して、前記前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、前記現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと、
    をさらに備える、請求項１に記載の方法。
  3. 前記ニューラルネットワークシステムの前記デコーダ部分によって、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成された残差データを決定することと、
    前記現在の時間ステップのために決定された前記再構成された残差データに前記ワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、
    をさらに備える、請求項２に記載の方法。
  4. 前記ニューラルネットワークシステムの前記デコーダ部分によって、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成された残差データを決定することと、
    前記デコーダ部分のポストワーピングネットワークによって、前記ワーピングした再構成されたビデオフレームと前記現在の時間ステップのために決定された前記再構成された残差データとを処理することと、
    をさらに備え、
    前記再構成されたビデオフレームは、前記ポストワーピングネットワークによる前記ワーピングした再構成されたビデオフレームと前記再構成された残差データとの処理に基づいて、前記現在の時間ステップの動作のために生成される、
    請求項２に記載の方法。
  5. 前記再帰状態データは、前記少なくとも１つの再帰レイヤのノードの１つまたは複数の値を含む、請求項１に記載の方法。
  6. 前記ニューラルネットワークシステムの前記デコーダ部分は、複数の再帰レイヤを含み、前記複数の再帰レイヤの各再帰レイヤは、それぞれの再帰状態データを与える、請求項１に記載の方法。
  7. ビデオデータを処理するための装置であって、
    メモリと、
    前記メモリに結合されたプロセッサと、
    を備え、前記プロセッサは、
    ニューラルネットワークシステムのエンコーダ部分を使用して、前記ニューラルネットワークシステムの現在の時間ステップの動作のための入力ビデオフレームと、前記ニューラルネットワークシステムの前の時間ステップの動作中に前記ニューラルネットワークシステムのデコーダ部分によって生成された前に再構成されたビデオフレームと、インター予測のための前記前の時間ステップからの前記前に再構成されたビデオフレームの再構成された動き推定データと、インター予測のための前記前の時間ステップの動作中に前記ニューラルネットワークシステムの前記デコーダ部分によって生成された前記前に再構成されたビデオフレームの再構成された残差データと、前記前の時間ステップの動作からの前記ニューラルネットワークシステムの前記デコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと、
    前記エンコーダ部分を使用して、前記ニューラルネットワークシステムの前記現在の時間ステップの動作のための出力データを生成することと、前記出力データは、前記入力ビデオフレームと、前記前の時間ステップの動作からの前記前に再構成されたビデオフレームと、前記前の時間ステップの動作からの前記再構成された動き推定データと、前記前の時間ステップの動作からの前記再構成された残差データと、前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて生成され、
    ニューラルネットワークシステムの前記デコーダ部分を使用して、前記現在の時間ステップの動作のための前記出力データと、前記前の時間ステップの動作からの前記デコーダ部分の前記少なくとも１つの再帰レイヤからの前記再帰状態データとを取得することと、
    前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、前記再構成されたビデオフレームは、前記入力ビデオフレームを表し、
    前記ニューラルネットワークシステムの動き推定ネットワークを使用して、前記入力ビデオフレームと、前記前の時間ステップの動作からの前に再構成されたビデオフレームまたは前記前の時間ステップの動作からの前の入力ビデオフレームのうちの少なくとも１つと、に少なくとも部分的に基づいて、前記現在の時間ステップの動作のための動き推定データを決定することと、
    前記現在の時間ステップのために決定された前記動き推定データを使用して、前記前に再構成されたビデオフレームまたは前記前の入力ビデオフレームのうちの少なくとも１つの１つまたは複数のピクセルを修正することによって、前記現在の時間ステップのためのワーピングした再構成されたビデオフレームを生成することと、
    前記ニューラルネットワークシステムの前記エンコーダ部分に、前記ワーピングした再構成されたビデオフレームと前記現在の時間ステップの動作のために決定された前記動き推定データとを送ることと、
    １つまたは複数のトレーニング反復について、第１の損失関数を使用して前記ニューラルネットワークシステムをトレーニングすることと、前記第１の損失関数は、１つまたは複数の入力ビデオフレームと１つまたは複数のワーピングした再構成されたビデオフレームとの間の損失を決定し、
    前記第１の損失関数を非活性化することと、
    前記１つまたは複数のトレーニング反復の後に実施される１つまたは複数の後続のトレーニング反復について、第２の損失関数を使用して前記ニューラルネットワークシステムをトレーニングすることと、前記第２の損失関数は、少なくとも１つの入力ビデオフレームと少なくとも１つの再構成されたビデオフレームとの間の損失を決定し、
    を行うように構成され、
    前記現在の時間ステップの動作のために生成された前記出力データは、前記現在の時間ステップの動作のために決定された前記動き推定データと前記ワーピングした再構成されたビデオフレームとに少なくとも部分的に基づいて、前記ニューラルネットワークシステムの前記エンコーダ部分によって生成される、
    装置。
  8. 請求項２乃至６のいずれか一項に記載の方法を実行するための手段をさらに備える、請求項７に記載の装置。
  9. ビデオデータを処理する方法であって、
    ニューラルネットワークシステムのデコーダ部分によって、前記ニューラルネットワークシステムの現在の時間ステップの動作のための出力データと、前記ニューラルネットワークシステムの前の時間ステップの動作からの前記デコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと、前記出力データは、前記現在の時間ステップの動作のための入力ビデオフレームと、前記前の時間ステップの動作中に生成された前に再構成されたビデオフレームと、インター予測のための前記前の時間ステップの動作からの前記前に再構成されたビデオフレームの再構成された動き推定データと、インター予測のための前記前の時間ステップの動作中に生成された前記前に再構成されたビデオフレームの再構成された残差データと、前記再帰状態データとに少なくとも部分的に基づいて生成され、
    前記ニューラルネットワークシステムの前記デコーダ部分によって、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための動き推定データを決定することと、
    前記前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと、
    前記現在の時間ステップのために決定された前記動き推定データを使用して、前記前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、前記現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと、
    前記ワーピングした再構成されたビデオフレームに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、
    １つまたは複数のトレーニング反復について、第１の損失関数を使用して前記ニューラルネットワークシステムをトレーニングすることと、前記第１の損失関数は、１つまたは複数の入力ビデオフレームと１つまたは複数のワーピングした再構成されたビデオフレームとの間の損失を決定し、
    前記第１の損失関数を非活性化することと、
    前記１つまたは複数のトレーニング反復の後に実施される１つまたは複数の後続のトレーニング反復について、第２の損失関数を使用して前記ニューラルネットワークシステムをトレーニングすることと、前記第２の損失関数は、少なくとも１つの入力ビデオフレームと少なくとも１つの再構成されたビデオフレームとの間の損失を決定し、
    を備える方法。
  10. 前記ニューラルネットワークシステムの前記デコーダ部分によって、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成された残差データを決定することと、
    前記現在の時間ステップのために決定された前記再構成された残差データに前記ワーピングした再構成されたビデオフレームを加算することに少なくとも部分的によって、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、
    をさらに備える、請求項９に記載の方法。
  11. 前記現在の時間ステップの動作中に、前記前の時間ステップの動作からの前記再構成された残差データを使用して、前記前に再構成されたビデオフレームを修正することと、
    前記現在の時間ステップの動作のための最終の出力ビデオフレームとして、前記修正された前に再構成されたビデオフレームを出力することと、
    をさらに備える、請求項１０に記載の方法。
  12. 前記ニューラルネットワークシステムの前記デコーダ部分によって、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成された残差データを決定することと、
    前記デコーダ部分のポストワーピングネットワークによって、前記現在の時間ステップのために決定された前記再構成された残差データと前記ワーピングした再構成されたビデオフレームとを処理することと、
    前記ポストワーピングネットワークによる前記ワーピングした再構成されたビデオフレームと前記再構成された残差データとの処理に少なくとも部分的に基づいて、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、
    をさらに備える、請求項９に記載の方法。
  13. 前記現在の時間ステップの動作のために決定された前記動き推定データまたは前記前の時間ステップの動作のために決定された動き推定を使用して、前記前の時間ステップの動作からの前記再帰状態データを修正することに少なくとも部分的によって、前記現在の時間ステップの動作のためのワーピングした再帰状態データを生成することと、
    前記ワーピングした再帰状態データに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための前記再構成されたビデオフレームを生成することと、
    をさらに備える、請求項９に記載の方法。
  14. ビデオデータを処理するための装置であって、
    メモリと、
    前記メモリに結合されたプロセッサと、
    を備え、前記プロセッサは、
    ニューラルネットワークシステムのデコーダ部分を使用して、前記ニューラルネットワークシステムの現在の時間ステップの動作のための出力データと、前記ニューラルネットワークシステムの前の時間ステップの動作からの前記デコーダ部分の少なくとも１つの再帰レイヤからの再帰状態データとを取得することと、前記出力データは、前記現在の時間ステップの動作のための入力ビデオフレームと、前記前の時間ステップの動作中に生成された前に再構成されたビデオフレームと、インター予測のための前記前の時間ステップの動作からの前記前に再構成されたビデオフレームの再構成された動き推定データと、前記前の時間ステップの動作中に生成された再構成された残差データと、前記再帰状態データとに少なくとも部分的に基づいて生成され、
    前記ニューラルネットワークシステムの前記デコーダ部分を使用して、前記出力データと前記前の時間ステップの動作からの前記再帰状態データとに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための動き推定データを決定することと、
    前記前の時間ステップの動作中に生成された前に再構成されたビデオフレームを取得することと、
    前記現在の時間ステップのために決定された前記動き推定データを使用して、前記前に再構成されたビデオフレームの１つまたは複数のピクセルを修正することに少なくとも部分的によって、前記現在の時間ステップの動作のためのワーピングした再構成されたビデオフレームを生成することと、
    前記ワーピングした再構成されたビデオフレームに少なくとも部分的に基づいて、前記現在の時間ステップの動作のための再構成されたビデオフレームを生成することと、
    １つまたは複数のトレーニング反復について、第１の損失関数を使用して前記ニューラルネットワークシステムをトレーニングすることと、前記第１の損失関数は、１つまたは複数の入力ビデオフレームと１つまたは複数のワーピングした再構成されたビデオフレームとの間の損失を決定し、
    前記第１の損失関数を非活性化することと、
    前記１つまたは複数のトレーニング反復の後に実施される１つまたは複数の後続のトレーニング反復について、第２の損失関数を使用して前記ニューラルネットワークシステムをトレーニングすることと、前記第２の損失関数は、少なくとも１つの入力ビデオフレームと少なくとも１つの再構成されたビデオフレームとの間の損失を決定し、
    を行うように構成された、装置。
  15. 請求項１０乃至１３のいずれか一項に記載の方法を実行するための手段をさらに備える、請求項１４に記載の装置。
JP2022551741A 2020-03-03 2021-01-15 再帰ベースの機械学習システムを使用したビデオ圧縮 Active JP7628550B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062984673P 2020-03-03 2020-03-03
US62/984,673 2020-03-03
US17/091,570 2020-11-06
US17/091,570 US11405626B2 (en) 2020-03-03 2020-11-06 Video compression using recurrent-based machine learning systems
PCT/US2021/013599 WO2021178050A1 (en) 2020-03-03 2021-01-15 Video compression using recurrent-based machine learning systems

Publications (3)

Publication Number Publication Date
JP2023517846A JP2023517846A (ja) 2023-04-27
JP2023517846A5 JP2023517846A5 (ja) 2023-12-26
JP7628550B2 true JP7628550B2 (ja) 2025-02-10

Family

ID=77554929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022551741A Active JP7628550B2 (ja) 2020-03-03 2021-01-15 再帰ベースの機械学習システムを使用したビデオ圧縮

Country Status (9)

Country Link
US (1) US11405626B2 (ja)
EP (1) EP4115617A1 (ja)
JP (1) JP7628550B2 (ja)
KR (1) KR20220150298A (ja)
CN (1) CN115211115A (ja)
BR (1) BR112022016793A2 (ja)
PH (1) PH12022551821A1 (ja)
TW (1) TW202135529A (ja)
WO (1) WO2021178050A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677649B (zh) * 2019-10-16 2021-09-28 腾讯科技（深圳）有限公司 基于机器学习的去伪影方法、去伪影模型训练方法及装置
US12148120B2 (en) * 2019-12-18 2024-11-19 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
WO2021220008A1 (en) 2020-04-29 2021-11-04 Deep Render Ltd Image compression and decoding, video compression and decoding: methods and systems
US11425402B2 (en) * 2020-07-20 2022-08-23 Meta Platforms, Inc. Cross-codec encoding optimizations for video transcoding
US11551090B2 (en) * 2020-08-28 2023-01-10 Alibaba Group Holding Limited System and method for compressing images for remote processing
US20220151540A1 (en) * 2020-11-19 2022-05-19 4N Inc. Explainable artificial intelligence system for diagnosis of mental diseases and the control method thereof
CN121771392A (zh) * 2020-12-17 2026-03-31 华为技术有限公司 基于神经网络的码流的解码和编码
CN116648906A (zh) * 2020-12-24 2023-08-25 华为技术有限公司 通过指示特征图数据进行编码
US11490078B2 (en) * 2020-12-29 2022-11-01 Tencent America LLC Method and apparatus for deep neural network based inter-frame prediction in video coding
US11570465B2 (en) * 2021-01-13 2023-01-31 WaveOne Inc. Machine-learned in-loop predictor for video compression
TWI804181B (zh) * 2021-02-02 2023-06-01 聯詠科技股份有限公司 影像編碼方法及其影像編碼器
US11399198B1 (en) * 2021-03-01 2022-07-26 Qualcomm Incorporated Learned B-frame compression
US11831909B2 (en) * 2021-03-11 2023-11-28 Qualcomm Incorporated Learned B-frame coding using P-frame coding system
US20240146938A1 (en) * 2021-03-18 2024-05-02 Nokia Technologies Oy Method, apparatus and computer program product for end-to-end learned predictive coding of media frames
WO2022221205A1 (en) 2021-04-13 2022-10-20 Headroom, Inc. Video super-resolution using deep neural networks
US20230019874A1 (en) * 2021-07-13 2023-01-19 Nintendo Co., Ltd. Systems and methods of neural network training
EP4420352A4 (en) * 2021-10-18 2025-09-03 Op Solutions Llc SYSTEMS AND METHODS FOR OPTIMIZING A LOSS FUNCTION FOR VIDEO CODING FOR MACHINES
US11546614B1 (en) * 2021-10-25 2023-01-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder and decoder for encoding and decoding images
CN116112673A (zh) * 2021-11-10 2023-05-12 华为技术有限公司 编解码方法及电子设备
WO2023092388A1 (zh) * 2021-11-25 2023-06-01 Oppo广东移动通信有限公司 解码方法、编码方法、解码器、编码器和编解码系统
US20230214630A1 (en) * 2021-12-30 2023-07-06 Cron Ai Ltd. (Uk) Convolutional neural network system, method for dynamically defining weights, and computer-implemented method thereof
WO2023138687A1 (en) * 2022-01-21 2023-07-27 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for data processing
US12548330B1 (en) 2022-01-26 2026-02-10 Upwork Inc. Determining engagement using sensor data
DE112022006625T5 (de) * 2022-02-08 2024-12-05 Nvidia Corporation Bilderzeugung unter verwendung eines neuronalen netzes
CN114545899B (zh) * 2022-02-10 2024-09-10 上海交通大学 基于先验知识的燃气轮机系统多传感器故障信号重构方法
US20230262237A1 (en) * 2022-02-15 2023-08-17 Adobe Inc. System and methods for video analysis
WO2023167502A1 (ko) * 2022-03-02 2023-09-07 엘지전자 주식회사 피쳐 부호화/복호화 방법, 장치, 비트스트림을 저장한 기록 매체 및 비트스트림 전송 방법
CN118872263A (zh) * 2022-03-03 2024-10-29 抖音视界有限公司 用于视觉数据处理的方法、装置和介质
CN115240099B (zh) * 2022-06-21 2026-04-03 有米科技股份有限公司 基于多模态关联数据的模型训练方法及装置
US20260067479A1 (en) * 2022-06-30 2026-03-05 Interdigital Ce Patent Holdings, Sas Fine-tuning a limited set of parameters in a deep coding system for images
WO2024015638A2 (en) * 2022-07-15 2024-01-18 Bytedance Inc. A neural network-based image and video compression method with conditional coding
CN119586135A (zh) * 2022-07-19 2025-03-07 字节跳动有限公司 具有可变率的基于神经网络的自适应图像和视频压缩方法
CN115604475B (zh) * 2022-08-12 2025-06-10 西安电子科技大学 一种多模态信源联合编码方法
TWI832406B (zh) * 2022-09-01 2024-02-11 國立陽明交通大學 反向傳播訓練方法和非暫態電腦可讀取媒體
WO2024054585A1 (en) 2022-09-09 2024-03-14 Tesla, Inc. Artificial intelligence modeling techniques for vision-based occupancy determination
KR20250086631A (ko) * 2022-09-30 2025-06-13 테슬라, 인크. 머신 러닝 모델들의 가속화된 비디오-기반 학습을 위한 시스템들 및 방법들
CN115294224B (zh) * 2022-09-30 2022-12-16 南通市通州区华凯机械有限公司 用于驾驶模拟器的图像数据快速载入方法
US20240169708A1 (en) * 2022-11-10 2024-05-23 Qualcomm Incorporated Processing video data using delta quantization
TWI824861B (zh) * 2022-11-30 2023-12-01 國立陽明交通大學 機器學習裝置及其訓練方法
KR20240086085A (ko) * 2022-12-09 2024-06-18 삼성전자주식회사 시맨틱 맵에 기초하여 프레임 이미지를 복원하는 방법 및 장치
US12167003B2 (en) * 2023-02-19 2024-12-10 Deep Render Ltd. Method and data processing system for lossy image or video encoding, transmission, and decoding
WO2024175727A1 (en) * 2023-02-22 2024-08-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Deep video coding with block-based motion estimation
TWI860054B (zh) * 2023-08-22 2024-10-21 國立清華大學 訓練機器學習模型的方法、裝置和電腦程式產品
WO2025198937A1 (en) * 2024-03-16 2025-09-25 Bytedance Inc. Method, apparatus, and medium for visual data processing
CN119922332A (zh) * 2025-01-21 2025-05-02 山东大学 一种基于隐式神经视频表示的视频编码方法及系统
CN121053039B (zh) * 2025-11-03 2026-01-27 北京铁力山科技股份有限公司 视频质量恢复方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210044804A1 (en) 2018-11-29 2021-02-11 Beijing Sensetime Technology Development Co., Ltd. Method for video compression processing, electronic device and storage medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192327B1 (en) * 2016-02-04 2019-01-29 Google Llc Image compression with recurrent neural networks
US10706351B2 (en) * 2016-08-30 2020-07-07 American Software Safety Reliability Company Recurrent encoder and decoder

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210044804A1 (en) 2018-11-29 2021-02-11 Beijing Sensetime Technology Development Co., Ltd. Method for video compression processing, electronic device and storage medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
George Toderici et al.，Full Resolution Image Compression with Reccurent Neural Networks，Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition，2017年，pp.5435-5443
Guo Lu et al.，DVC: An End-to-end Deep Video Compression Framework，Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019年，pp.10998-11007

Also Published As

Publication number Publication date
PH12022551821A1 (en) 2024-02-12
JP2023517846A (ja) 2023-04-27
TW202135529A (zh) 2021-09-16
BR112022016793A2 (pt) 2022-10-11
KR20220150298A (ko) 2022-11-10
CN115211115A (zh) 2022-10-18
US11405626B2 (en) 2022-08-02
WO2021178050A1 (en) 2021-09-10
US20210281867A1 (en) 2021-09-09
EP4115617A1 (en) 2023-01-11

Similar Documents

Publication Publication Date Title
JP7628550B2 (ja) 再帰ベースの機械学習システムを使用したビデオ圧縮
US12184893B2 (en) Learned B-frame coding using P-frame coding system
US12003734B2 (en) Machine learning based flow determination for video coding
CN116965029A (zh) 使用卷积神经网络对图像进行译码的装置和方法
JP7815247B2 (ja) ニューラルネットワークベースのビデオコーディングのためのフロントエンドアーキテクチャ
KR102831175B1 (ko) 머신 러닝 향상을 갖는 비디오 코딩을 위한 비트-레이트 추정
US20220191523A1 (en) Front-end architecture for neural network based video coding
US11399198B1 (en) Learned B-frame compression
US12177473B2 (en) Video coding using optical flow and residual predictors
US12394100B2 (en) Video coding using camera motion compensation and object motion compensation
CN117716687A (zh) 使用机器学习系统的隐式图像和视频压缩
JP7840973B2 (ja) ビデオコーディングのための機械学習ベースのフロー決定
CN116965032A (zh) 用于视频译码的基于机器学习的流确定

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231215

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241218

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250129

R150 Certificate of patent or registration of utility model

Ref document number: 7628550

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150