Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7425870B2 - 積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のための方法及び装置 - Google Patents
[go: Go Back, main page]

JP7425870B2 - 積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のための方法及び装置 - Google Patents

積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のための方法及び装置 Download PDF

Info

Publication number
JP7425870B2
JP7425870B2 JP2022531362A JP2022531362A JP7425870B2 JP 7425870 B2 JP7425870 B2 JP 7425870B2 JP 2022531362 A JP2022531362 A JP 2022531362A JP 2022531362 A JP2022531362 A JP 2022531362A JP 7425870 B2 JP7425870 B2 JP 7425870B2
Authority
JP
Japan
Prior art keywords
weights
stackable
neural network
neural
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022531362A
Other languages
English (en)
Other versions
JP2023509829A (ja
Inventor
ジャン，ウェイ
ワン，ウェイ
リィウ，シャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of JP2023509829A publication Critical patent/JP2023509829A/ja
Application granted granted Critical
Publication of JP7425870B2 publication Critical patent/JP7425870B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

標準化団体及び企業は、将来のビデオコーディング技術の標準化のための潜在的なニーズを積極的に探っている。これらの標準化団体及び企業は、ディープニューラルネットワーク（ＤＮＮ）を使用した人工知能（ＡＩ）ベースのエンドツーエンドニューラル画像圧縮（ＮＩＣ）に焦点を当ててきた。このアプローチの成功により、高度なニューラル画像及びビデオ圧縮方法論に対する産業上の関心がますます高まっている。
柔軟なビットレート制御は、以前のＮＩＣ方法にとって依然として挑戦的な課題である。従来技術は、レートと歪み（圧縮画像の品質）との間の各所望のトレードオフを個々にターゲットとする、複数のモデルインスタンスをトレーニングすることを含み得る。また、異なるビットレートから画像を再構築するために、これらの複数のモデルインスタンスをすべてデコーダ側に記憶し展開することを要する場合がある。これは、記憶と計算リソースが限られている多くのアプリケーションにとって、非常に高価となる可能性がある。
関連出願の相互参照
本願は、２０２０年８月１４日に出願された米国仮特許出願第６３／０６５，６０２号、及び２０２１年７月１日に出願された米国特許出願第１７／３６５，３０４号に基づき、それらの優先権を主張し、かつ、それらの開示内容を全て参照により本明細書に組み込むものとする。
実施形態によれば、積み重ね可能な入れ子モデル構造によるマルチレートニューラル画像圧縮の方法は、少なくとも１つのプロセッサによって実行され、第１のニューラルネットワークの第１の重みのセット上に、現在のハイパーパラメータに対応する第１の複数の積み重ね可能なニューラルネットワークの第１の複数の重みのセットを反復して積み重ねるステップであって、前記第１のニューラルネットワークの前記第１の重みのセットは変わらないままである、ステップと、エンコード表現を取得するために、前記第１の複数の積み重ね可能なニューラルネットワークの前記第１の複数の重みのセットが積み重ねられる前記第１のニューラルネットワークの前記第１の重みのセットを使用して、入力画像をエンコードするステップと、圧縮表現を決定するために、取得された前記エンコード表現をエンコードするステップと、を含む。
実施形態によれば、積み重ね可能な入れ子モデル構造によるマルチレートニューラル画像圧縮のための装置は、プログラムコードを記憶するように構成される少なくとも１つのメモリと、前記プログラムコードを読み取り、前記プログラムコードの指示通りに動作するように構成される少なくとも１つのプロセッサと、を備える。前記プログラムコードは、前記少なくとも１つのプロセッサに、第１のニューラルネットワークの第１の重みのセット上に、現在のハイパーパラメータに対応する第１の複数の積み重ね可能なニューラルネットワークの第１の複数の重みのセットを反復して積み重ねさせるように構成される第１の積み重ねコードであって、前記第１のニューラルネットワークの前記第１の重みのセットは変わらないままである、第１の積み重ねコードと、前記少なくとも１つのプロセッサに、エンコード表現を取得するために、前記第１の複数の積み重ね可能なニューラルネットワークの前記第１の複数の重みのセットが積み重ねられる前記第１のニューラルネットワークの前記第１の重みのセットを使用して、入力画像をエンコードさせるように構成される第１のエンコードコードと、前記少なくとも１つのプロセッサに、圧縮表現を決定するために、取得された前記エンコード表現をエンコードさせるように構成される第２のエンコードコードと、を含む。
実施形態によれば、非一時的なコンピュータ読取可能な媒体は、積み重ね可能な入れ子モデル構造によるマルチレートニューラル画像圧縮のための少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、第１のニューラルネットワークの第１の重みのセット上に、現在のハイパーパラメータに対応する第１の複数の積み重ね可能なニューラルネットワークの第１の複数の重みのセットを反復して積み重ねるステップであって、前記第１のニューラルネットワークの前記第１の重みのセットは変わらないままである、ステップと、エンコード表現を取得するために、前記第１の複数の積み重ね可能なニューラルネットワークの前記第１の複数の重みのセットが積み重ねられる前記第１のニューラルネットワークの前記第１の重みのセットを使用して、入力画像をエンコードするステップと、圧縮表現を決定するために、取得された前記エンコード表現をエンコードするステップと、を行わせる命令を記憶する。
実施形態による、本明細書に記載された方法、装置、及びシステムが実装され得る環境の図である。 図１における１つ又は複数のデバイスの例示的なコンポーネントのブロック図である。 実施形態による、テスト段階中の、積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のためのテスト装置のブロック図である。 実施形態による、トレーニング段階中の、積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のためのトレーニング装置のブロック図である。 実施形態による、積み重ね可能な入れ子モデル構造によるマルチレートニューラル画像圧縮の方法のフローチャートである。 実施形態による、積み重ね可能な入れ子モデル構造によるマルチレートニューラル画像圧縮のための装置のブロック図である。 実施形態による、積み重ね可能な入れ子モデル構造によるマルチレートニューラル画像解凍の方法のフローチャートである。 実施形態による、積み重ね可能な入れ子モデル構造によるマルチレートニューラル画像解凍のための装置のブロック図である。
本開示は、積み重ね可能な入れ子モデル構造を有するマルチレートＮＩＣモデルによって入力画像を圧縮するための方法及び装置について説明する。１つのみのＮＩＣモデルインスタンスが複数のビットレートでの画像圧縮を実現するために使用され、モデルインスタンスの重み係数は、推論計算を減らすためにマイクロ構造的に統一されている。
図１は、実施形態による、本明細書に記載された方法、装置、及びシステムが実装され得る環境１００の図である。
図１に示されるように、環境１００は、ユーザデバイス１１０、プラットフォーム１２０、及びネットワーク１３０を含んでもよい。環境１００のデバイスは、有線接続、無線接続、又は、有線接続と無線接続との組み合わせを介して相互接続してもよい。
ユーザデバイス１１０は、プラットフォーム１２０に関連する情報を受信、生成、記憶、処理、及び／又は、提供することができる１つ又は複数のデバイスを含む。例えば、ユーザデバイス１１０は、コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカー、サーバなど）、携帯電話（例えば、スマートフォン、無線電話など）、ウェアラブルデバイス（例えば、スマート眼鏡又はスマートウォッチ）、又は、類似のデバイスを含んでもよい。いくつかの実装では、ユーザデバイス１１０は、プラットフォーム１２０から情報を受信し、かつ／あるいは、プラットフォーム１２０に情報を送信してもよい。
プラットフォーム１２０は、本明細書の他の箇所で説明されるような１つ又は複数のデバイスを含む。いくつかの実装では、プラットフォーム１２０は、クラウドサーバ又はクラウドサーバ群を含んでもよい。いくつかの実装では、プラットフォーム１２０は、ソフトウェアコンポーネントがスワップイン又はスワップアウトされ得るように、モジュール式に設計されてもよい。このように、プラットフォーム１２０は、異なる用途のために容易に、かつ／あるいは、迅速に再構成されてもよい。
いくつかの実装では、示されるように、プラットフォーム１２０は、クラウドコンピューティング環境１２２でホストされてもよい。なお、本明細書に記載された実装は、プラットフォーム１２０がクラウドコンピューティング環境１２２でホストされているものと説明するが、いくつかの実装では、プラットフォーム１２０は、クラウドベースでなくてもよく（すなわち、クラウドコンピューティング環境の外で実装されてもよい）、又は、部分的にクラウドベースであってもよい。
クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストする環境を含む。クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストするシステム及び／又はデバイスの物理的な位置及び構成についてエンドユーザ（例えば、ユーザデバイス１１０）の知識を必要としない、計算、ソフトウェア、データアクセス、記憶などのサービスを提供し得る。示されるように、クラウドコンピューティング環境１２２は、計算リソース１２４のグループ（総括的に「計算リソース１２４（ｃｏｍｐｕｔｉｎｇ ｒｅｓｏｕｒｃｅｓ１２４）」と称し、個別に「計算リソース１２４」と称する）を含んでもよい。
計算リソース１２４は、１つ又は複数のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、又は、他のタイプの計算及び／又は通信デバイスを含む。いくつかの実装では、計算リソース１２４は、プラットフォーム１２０をホストしてもよい。クラウドリソースは、計算リソース１２４で実行する計算インスタンス、計算リソース１２４で提供される記憶デバイス、計算リソース１２４によって提供されるデータ転送デバイス、等を含んでもよい。いくつかの実装では、計算リソース１２４は、有線接続、無線接続、又は、有線接続と無線接続との組み合わせを介して、他の計算リソース１２４と通信してもよい。
図１に、さらに示されるように、計算リソース１２４は、１つ又は複数のアプリケーション（「ＡＰＰ」）１２４－１、１つ又は複数の仮想マシン（「ＶＭ」）１２４－２、仮想化ストレージ（「ＶＳ」）１２４－３、１つ又は複数のハイパーバイザー（「ＨＹＰ」）１２４－４、などのクラウドリソースのグループを含む。
アプリケーション１２４－１は、ユーザデバイス１１０及び／又はプラットフォーム１２０に提供され得る、又は、それによってアクセスされ得る、１つ又は複数のソフトウェアアプリケーションを含む。アプリケーション１２４－１は、ユーザデバイス１１０にソフトウェアアプリケーションをインストールし、実行する必要性を排除することができる。例えば、アプリケーション１２４－１は、プラットフォーム１２０に関連するソフトウェア、及び／又は、クラウドコンピューティング環境１２２を介して提供されることが可能な他の任意のソフトウェアを含んでもよい。いくつかの実装では、１つのアプリケーション１２４－１は、仮想マシン１２４－２を介して、１つ又は複数の他のアプリケーション１２４－１との間で情報を送受信することができる。
仮想マシン１２４－２は、物理マシンのようにプログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装を含む。仮想マシン１２４－２は、仮想マシン１２４－２による任意の実マシンへの使用及び対応の程度に応じて、システム仮想マシン又はプロセス仮想マシンのいずれであってもよい。システム仮想マシンは、完全なオペレーティングシステム（「ＯＳ」）の実行をサポートする完全なシステムプラットフォームを提供し得る。プロセス仮想マシンは、単一のプログラムを実行し、単一のプロセスをサポートし得る。いくつかの実装では、仮想マシン１２４－２は、ユーザ（例えば、ユーザデバイス１１０）に代わって実行してもよく、データ管理、同期、又は長期間データ転送などのクラウドコンピューティング環境１２２のインフラストラクチャを管理することができる。
仮想化ストレージ１２４－３は、計算リソース１２４の記憶システム又はデバイス内で仮想化技術を使用する、１つ又は複数の記憶システム、及び／又は、１つ又は複数のデバイスを含む。いくつかの実装では、記憶システムのコンテキスト内で、仮想化のタイプは、ブロック仮想化及びファイル仮想化を含み得る。ブロック仮想化とは、記憶システムが物理的ストレージ又は異種構造に関係なくアクセスされ得るように、物理的ストレージから論理的ストレージを抽象化（又は分離）することを指してよい。この分離により、記憶システムの管理者は、エンドユーザのストレージをどのように管理するかについて柔軟性を確保することができる。ファイル仮想化により、ファイルレベルでアクセスされるデータと、ファイルが物理的に記憶される位置との間の依存関係が解消され得る。これにより、ストレージ使用、サーバ統合、及び／又は、無停止ファイル移行のパフォーマンスの最適化が可能になる場合がある。
ハイパーバイザー１２４－４は、計算リソース１２４などのホストコンピュータ上で複数のオペレーティングシステム（例えば、「ゲストオペレーティングシステム」）を同時に実行することを可能にするハードウェア仮想化技術を提供し得る。ハイパーバイザー１２４－４は、ゲストオペレーティングシステムに仮想オペレーティングプラットフォームを提示してもよく、ゲストオペレーティングシステムの実行を管理してもよい。様々なオペレーティングシステムの複数のインスタンスは、仮想化されたハードウェアリソースを共有してもよい。
ネットワーク１３０は、１つ又は複数の有線及び／又は無線ネットワークを含む。例えば、ネットワーク１３０は、セルラーネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロングタームレボリューション（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多重アクセス（ＣＤＭＡ）ネットワークなど）、公衆陸上移動ネットワーク（ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話ネットワーク（例えば、公衆交換電話網（ＰＳＴＮ））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバーベースのネットワークなど、及び／又は、これらや他のタイプのネットワークの組み合わせを含み得る。
図１に示されるデバイス及びネットワークの数及び配置は、一例として提供されている。実際には、図１に示されたものよりも追加のデバイス及び／又はネットワーク、より少ないデバイス及び／又はネットワーク、異なるデバイス及び／又はネットワーク、あるいは、異なる配置のデバイス及び／又はネットワークが存在してもよい。さらに、図１に示される２つ又は複数のデバイスが単一のデバイス内に実装されてもよく、又は、図１に示される単一のデバイスが複数の分散デバイスとして実装されてもよい。加えて、又は、任意選択で、環境１００のデバイスのセット（例えば、１つ又は複数のデバイス）は、環境１００の別のデバイスのセットによって実行されるものとして説明される１つ又は複数の機能を実行してもよい。
図２は、図１における、１つ又は複数のデバイスの例示的なコンポーネントのブロック図である。
デバイス２００は、ユーザデバイス１１０及び／又はプラットフォーム１２０に対応し得る。図２に示されるように、デバイス２００は、バス２１０、プロセッサ２２０、メモリ２３０、記憶コンポーネント２４０、入力コンポーネント２５０、出力コンポーネント２６０、及び通信インターフェース２７０を含んでもよい。
バス２１０は、デバイス２００のコンポーネント間の通信を許可するコンポーネントを含む。プロセッサ２２０は、ハードウェア、ファームウェア、又は、ハードウェアとソフトウェアとの組み合わせで実装される。プロセッサ２２０は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は、他のタイプの処理コンポーネントである。いくつかの実装では、プロセッサ２２０は、機能を実行するようにプログラムされることが可能な１つ又は複数のプロセッサを含む。メモリ２３０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、及び／又は、プロセッサ２２０によって使用される情報及び／又は命令を記憶する別のタイプの動的又は静的記憶デバイス（例えば、フラッシュメモリ、磁気メモリ、及び／又は、光学メモリ）を含む。
記憶コンポーネント２４０は、デバイス２００の操作及び使用に関連する情報及び／又はソフトウェアを記憶する。例えば、記憶コンポーネント２４０は、対応するドライブと共に、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、及び／又は、ソリッドステートディスク）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、カートリッジ、磁気テープ、及び／又は、他のタイプの非一時的なコンピュータ読取可能な媒体を含んでもよい。
入力コンポーネント２５０は、ユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び／又、はマイク）などを介して、デバイス２００による情報の受信を可能にするコンポーネントを含む。加えて、又は、任意選択で、入力コンポーネント２５０は、情報をセンシングするためのセンサ（例えば、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、及び／又は、アクチュエータ）を含んでもよい。出力コンポーネント２６０は、デバイス２００からの出力情報を提供するコンポーネント（例えば、ディスプレイ、スピーカー、及び／又は、１つ又は複数の発光ダイオード（ＬＥＤ））を含む。
通信インターフェース２７０は、有線接続、無線接続、又は、有線接続と無線接続との組み合わせなどを介して、デバイス２００が他のデバイスと通信することを可能にするトランシーバのようなコンポーネント（例えば、トランシーバ、及び／又は、別個の受信機と送信機）を含む。通信インターフェース２７０は、デバイス２００が、他のデバイスから情報を受信すること、及び／又は、他のデバイスに情報を提供することを可能にすることができる。例えば、通信インターフェース２７０は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（ＲＦ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、Ｗｉ－Ｆｉインターフェース、セルラーネットワークインターフェースなどを含んでもよい。
デバイス２００は、本明細書に記載された１つ又は複数のプロセスを行ってもよい。デバイス２００は、プロセッサ２２０が、メモリ２３０及び／又は記憶コンポーネント２４０などの非一時的なコンピュータ読取可能な媒体に記憶されたソフトウェア命令を実行することに応答して、これらのプロセスを行うことができる。コンピュータ読取可能な媒体は、本明細書では、非一時的なメモリデバイスとして定義されている。メモリデバイスは、単一の物理的記憶デバイス内のメモリ空間、又は、複数の物理的記憶デバイスに分散されたメモリ空間を含む。
ソフトウェア命令は、通信インターフェース２７０を介して、別のコンピュータ読取可能な媒体から、又は、別のデバイスから、メモリ２３０及び／又は記憶コンポーネント２４０に読み込まれてもよい。実行されると、メモリ２３０及び／又は記憶コンポーネント２４０に記憶されたソフトウェア命令は、プロセッサ２２０に、本明細書に記載された１つ又は複数のプロセスを行わせることができる。加えて、又は、任意選択で、ハードワイヤード回路は、本明細書に記載された１つ又は複数のプロセスを行うために、ソフトウェア命令の代わりに、又は、ソフトウェア命令と組み合わせて使用されてもよい。したがって、本明細書に記載された実装は、ハードウェア回路とソフトウェアとの任意の特定の組み合わせに限定されるものではない。
図２に示されるコンポーネントの数及び配置は、一例として提供されている。実際には、デバイス２００は、図２に示されるものよりも追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、又は、異なる配置のコンポーネントを含んでもよい。加えて、又は、任意選択で、デバイス２００のコンポーネントのセット（例えば、１つ又は複数のコンポーネント）は、デバイス２００の別のコンポーネントのセットによって実行されるものとして説明される１つ又は複数の機能を実行してもよい。
次に、積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のための方法及び装置について、詳細に説明する。
本開示では、マルチレート画像圧縮をサポートする１つのみのＮＩＣモデルインスタンスを学習し展開するためのマルチレートＮＩＣ枠組みを説明する。エンコード又はデコードモジュールがより高いビットレート圧縮結果を達成するために漸進的に積み重ねられる、エンコーダとデコーダの両方のための積み重ね可能な入れ子モデル構造が説明される。
図３は、実施形態による、テスト段階中の、積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のためのテスト装置３００のブロック図である。
図３に示されるように、テスト装置３００は、テストＤＮＮエンコーダ３１０、テストエンコーダ３２０、テストデコーダ３３０、テストＤＮＮデコーダ３４０、テストＤＮＮエンコーダ３５０、及びテストＤＮＮデコーダ３６０を含む。テストＤＮＮエンコーダ３５０は、積み重ね可能なＤＮＮエンコーダ３５０Ａ、３５０Ｂ、・・・、及び３５０Ｎを含み、テストＤＮＮデコーダ３６０は、積み重ね可能なＤＮＮデコーダ３６０Ａ、３６０Ｂ、・・・、及び３６０Ｎを含む。
サイズ（ｈ，ｗ，ｃ）の入力画像ｘが与えられた場合（ｈ、ｗ、ｃがそれぞれ高さ、幅、チャンネル数）、ＮＩＣワークフローのテスト段階のターゲットは次のように説明される。記憶と伝送のためにコンパクトな圧縮表現
Figure 0007425870000001
（以降、「ｙ－」）を計算する。そして、圧縮表現ｙ－に基づいて、画像
Figure 0007425870000002
（以降、「ｘ－」）を再構築し、再構築された画像ｘ－は、元の入力画像ｘｘと類似している必要がある。
圧縮表現ｙ－を計算するプロセスは、２つの部分に分けられる。一つ目は、ＤＮＮエンコードプロセスで、テストＤＮＮエンコーダ３１０を使用して、入力画像ｘをＤＮＮエンコード表現ｙにエンコードすることである。二つ目は、エンコードプロセスで、テストエンコーダ３２０を使用して、ＤＮＮエンコード表現ｙを圧縮表現ｙ－にエンコードする（それに対して量子化及びエントロピーコーディングを行う）ことである。
従って、デコードプロセスは、２つの部分に分けられる。一つ目は、デコードプロセスで、テストデコーダ３３０を使用して、圧縮表現ｙ－を復元表現
Figure 0007425870000003
（以降、「ｙ－′」）にデコードする（それに対してデコード及び非量子化を行う）ことである。二つ目は、ＤＮＮデコードプロセスで、テストＤＮＮデコーダ３４０を使用して、復元表現ｙ－′を再構築された画像ｘ－にデコードすることである。本開示では、ＤＮＮデコードに使用されるテストＤＮＮエンコーダ３１０又はＤＮＮデコードに使用されるテストＤＮＮデコーダ３４０のネットワーク構造には、いかなる制限もない。また、エンコード又はデコードに使用される方法（量子化法及びエントロピーコーディング法）にも、いかなる制限もない。
ＮＩＣモデルを学習するために、より良い再構築品質とより少ないビット消費量という２つの競合する要望が扱われる。損失関数
Figure 0007425870000004
を使用して、画像ｘとｘ－の間の、ピーク信号対雑音比（ＰＳＮＲ）及び／又は構造類似度指標測定（ＳＳＩＭ）などの、歪み損失と呼ばれる再構築誤差を測定する。レート損失
Figure 0007425870000005
を計算して、圧縮表現ｙ－のビット消費量を測定する。したがって、トレードオフハイパーパラメータλを使用して、結合されたレート歪み（Ｒ－Ｄ）損失を最適化する。
Figure 0007425870000006
大きいハイパーパラメータλを用いたトレーニングは、歪みは小さくなるがビット消費量が多くなる圧縮モデルをもたらし、その逆もまた同様である。事前定義されたハイパーパラメータλごとに、ハイパーパラメータλの他の値ではうまく機能しないＮＩＣモデルインスタンスがトレーニングされる。したがって、圧縮ストリームの複数のビットレートを実現するために、従来の方法では、複数のモデルインスタンスのトレーニングと記憶が必要となる場合がある。
本開示では、ＮＩＣネットワークの単一のトレーニング済みモデルインスタンスを使用して、積み重ね可能な入れ子モデル構造によって、マルチレートＮＩＣを実現する。ＮＩＣネットワークは、ハイパーパラメータλの異なる値をターゲットとするために、それぞれが漸進的に積み重ねられる複数の積み重ね可能な入れ子モデル構造を含む。具体的には、λ１、・・・、λＮが、降順でランク付けされ、歪みが減少し（品質が増加し）、レート損失が増加する（ビットレートが減少する）圧縮表現に対応するＮ個のハイパーパラメータを表すものとする。
Figure 0007425870000007
 （以降、「ｙ－ ｉ」）及び
Figure 0007425870000008
 （以降、「ｘ－ ｉ」）が、それぞれハイパーパラメータλｉに対応する圧縮表現及び再構築された画像を表すとする。また、
Figure 0007425870000009
 （以降、「φｅ(λｉ)」）がハイパーパラメータλｉをターゲットとするテストＤＮＮエンコーダ３１０の重み係数のセットを表すとする。ＮＩＣモデルについては、
φｅ(λｉ)＝｛φｅ(λｉ-1)，｛Ｗｅ ｉｊ｝｝とする。同様に、
Figure 0007425870000010
 （以降、「φｄ(λｉ)」）が、ハイパーパラメータλｉをターゲットとするテストＤＮＮデコーダ３４０の重み係数のセットを表すとする。
φｄ(λｉ)＝｛φｄ(λｉ-1)，｛Ｗｄ ｉｊ｝｝とする。｛Ｗｅ ｉｊ｝は、ハイパーパラメータλｉ-1に対するテストＤＮＮエンコーダ３１０のトップに積み重ねられる、ハイパーパラメータλｉに対する積み重ね可能なＤＮＮエンコーダ３５０Ａ、３５０Ｂ、・・・、又は３５０Ｎの重み係数のセットである。｛Ｗｄ ｉｊ｝は、ハイパーパラメータλｉ-1に対するテストＤＮＮデコーダ３４０のトップに積み重ねられる、ハイパーパラメータλｉに対する積み重ね可能なＤＮＮデコーダ３６０Ａ、３６０Ｂ、・・・、又は３６０Ｎの重み係数のセットである。各Ｗｅ ｉｊ(Ｗｄ ｉｊ)は、テストＤＮＮエンコーダ３１０（テストＤＮＮデコーダ３６０）に対する積み重ね可能なＤＮＮエンコーダ３５０Ａ、３５０Ｂ、・・・、又は３５０Ｎ（積み重ね可能なＤＮＮデコーダ３６０Ａ、３６０Ｂ、・・・、又は３６０Ｎ）のｊ番目の層の重み係数である。また、ハイパーパラメータλｉの値ごとの積み重ね可能なＤＮＮエンコーダ３５０Ａ、３５０Ｂ、・・・、及び３５０Ｎと積み重ね可能なＤＮＮデコーダ３６０Ａ、３６０Ｂ、・・・、及び３６０Ｎは、異なるＤＮＮ構造を有することが可能である。本開示では、基礎となるＤＮＮエンコーダ／デコーダのネットワークモデルには、いかなる制限もない。
図３は、本方法のテスト段階の全体的なワークフローを示す。入力画像ｘが与えられ、ターゲットハイパーパラメータλｉが与えられた場合、テストＤＮＮエンコーダ３１０は、重み係数のセットφｅ(λｉ)を使用して、ＤＮＮエンコード表現ｙを計算する。そして、エンコードプロセスにおいて、テストエンコーダ３２０によって圧縮表現ｙ－が計算される。圧縮表現ｙ－に基づいて、テストデコーダ３３０を使用するＤＮＮデコードプロセスを通じて、復元表現ｙ－′を計算することができる。ハイパーパラメータλｉを使用して、テストＤＮＮデコーダ３４０は、重み係数のセットφｄ(λｉ)を用いて、復元表現ｙ－′に基づいて、再構築された画像ｘ－を計算する。
実施形態では、テストＤＮＮエンコーダは、ハイパーパラメータλｉに依存しない係数
Figure 0007425870000011
 （以降、「φｅ ０」）を有する共通のエンコードネットワーク層のセットを含み得、その後に、積み重ね可能なＤＮＮエンコーダ３５０Ａ、３５０Ｂ、・・・、及び３５０Ｎのセットが続く。
実施形態では、テストＤＮＮデコーダ３４０は、ハイパーパラメータλｉに依存しない係数
Figure 0007425870000012
 （以降、「φｄ ０」）を有する共通のデコードネットワーク層のセットを含み得る。その後に、積み重ね可能なＤＮＮデコーダ３６０Ａ、３６０Ｂ、・・・、及び３６０Ｎのセットが続く。
Ｗｅ ｉｊ(Ｗｄ ｉｊ)が、テストＤＮＮエンコーダ３１０（テストＤＮＮデコーダ３４０）の共通のネットワーク層のｊ番目の層の重み係数を表すとする。これらの重み係数
Ｗｅ ｉｊ(Ｗｄ ｉｊ)、ｉ＝０,・・・，Ｎ（共通のものと積み重ね可能なものとの両方を含む）の各々は、サイズ（ｃ１，ｋ１，ｋ２，ｋ３，ｃ２）の一般的な５次元（５Ｄ）テンソルである。層の入力は、サイズ（ｈ１，ｗ１，ｄ１，ｃ１）の４次元（４Ｄ）テンソルＡであり、層の出力はサイズ（ｈ２，ｗ２，ｄ２，ｃ２）の４次元テンソルＢである。サイズｃ１，ｋ１，ｋ２，ｋ３，ｃ２，ｈ１，ｗ１，ｄ１，ｈ２，ｗ２，ｄ２は、１以上の整数である。サイズｃ１，ｋ１，ｋ２，ｋ３，ｃ２，ｈ１，ｗ１，ｄ１，ｈ２，ｗ２，ｄ２のいずれかが数１を取るとき、対応するテンソルは低次元化される。各テンソルにおける各アイテムは浮動小数点数である。パラメータｈ１，ｗ１，及びｄ１（ｈ２，ｗ２，及びｄ２）は、入力テンソルＡ（出力テンソルＢ）の高さ、重さ、及び深さである。パラメータｃ１（ｃ２）は、入力（出力）チャンネルの数である。パラメータｋ１，ｋ２，及びｋ３は、それぞれ高さ、重み、深さの軸に対応する畳み込みカーネルのサイズである。Ｍｅ ｉｊ（Ｍｄ ｉｊ）が、Ｗｅ ｉｊ(Ｗｄ ｉｊ)と同じ形状のバイナリマスクを表すとする。出力Ｂは、入力Ａ、Ｍｅ ｉｊ（Ｍｄ ｉｊ）及びＷｅ ｉｊ(Ｗｄ ｉｊ)に基づく畳み込み演算
Figure 0007425870000013
 を通じて計算され得る。つまり、出力Ｂは、マスクされた重み
Ｗｅ′ ｉｊ＝Ｗｅ ｊ・Ｍｅ ｉｊ(Ｗｄ′ ｉｊ＝Ｗｄ ｊ・Ｍｄ ｉｊ)（ただし、・は要素ごとの乗算）で畳み込む入力Ａとして計算される。
重みＭｅ ｉｊ(Ｍｄ ｉｊ)の形状は、同じ出力を得るために、リシェイプされた入力とリシェイプされた重みの畳み込みに対応して変更され得る。実施形態では、２つの構成が取られる。一つ目は、５Ｄ重みテンソルをサイズ（ｃ１′，ｃ２′，ｋ）の３Ｄテンソルにリシェイプすることであり、ただし、ｃ１′×ｃ２′×ｋ＝ｃ１×ｃ２×ｋ１×ｋ２×ｋ３である。例えば、ｃ１′＝ｃ１、ｃ２′＝ｃ２、ｋ＝ｋ１×ｋ２×ｋ３という構成がある。二つ目は、５Ｄ重みテンソルをサイズ（ｃ１′，ｃ２′）の２Ｄ行列にリシェイプすることであり、ただし、ｃ１′×ｃ２′＝ｃ１×ｃ２×ｋ１×ｋ２×ｋ３である。例えば、ｃ１′＝ｃ１、ｃ２′＝ｃ２×ｋ１×ｋ２×ｋ３、または、ｃ２′＝ｃ２、ｃ１′＝ｃ１×ｋ１×ｋ２×ｋ３、ｋ＝ｋ１×ｋ２×ｋ３という構成がある。
マスクＭｅ ｉｊ(Ｍｄ ｉｊ)は、マスクされた重み係数を使用する推論計算を加速できるように、畳み込み演算がどのように実装されるかの基礎となるＧＥＭＭ行列乗算プロセスと整列するために所望のマイクロ構造を取る。一実施形態では、３Ｄリシェイプされた重みテンソル又は２Ｄリシェイプされた重み行列における各層のマスク（マスクされた重み係数）のためのブロック単位のマイクロ構造が使用される。具体的には、リシェイプされた３Ｄ重みテンソルの場合はサイズ（ｇｉ，ｇｏ，ｇｋ）のブロックに分割され、リシェイプされた２Ｄ重み行列の場合はサイズ（ｇｉ，ｇｏ）のブロックに分割される。マスクのブロックにおけるすべてのアイテムは、同じバイナリ値１（刈り込まれていないものとして）又は０（刈り込まれたものとして）を持つことになる。つまり、重み係数はブロック単位のマイクロ構造化された方式でマスクされる。
Ｗｅ ｉｊ(Ｗｄ ｉｊ)における残りの重み係数（マスクＭｅ ｉｊ及びＭｄ ｉｊにおける対応する要素が値１を取る）については、さらにマイクロ構造化された方式で統一される。ここでも、リシェイプされた３Ｄ重みテンソルの場合はサイズ（ｐｉ，ｐｏ，ｐｋ）のブロックに分割され、リシェイプされた２Ｄ重み行列の場合はサイズ（ｐｉ，ｐｏ）のブロックに分割される。統一操作はブロック内で行われる。例えば、一実施形態では、重みがブロックＢｕ内で統一される場合、ブロック内の重みは、同じ絶対値（ブロックにおける元の重みの絶対値の平均値）を有するように設定され、元の符号を維持する。この統一操作による誤差を測定することで、統一損失Ｌｕ（Ｂｕ）を計算することができる。一実施形態では、ブロックにおける元の重みの絶対値の標準偏差を使用して、Ｌｕ（Ｂｕ）を計算する。マイクロ構造的に統一された重みを使用する主な利点は、推論計算における乗算の回数を節約することである。統一ブロックＢｕは、刈り込みブロックと異なる形状を持つことができる。
図４は、実施形態による、トレーニング段階中の、積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のためのトレーニング装置４００のブロック図である。
図４に示されるように、トレーニング装置４００は、重み更新モジュール４１０、追加積み重ね可能なモジュール４１５、トレーニングＤＮＮエンコーダ４２０、トレーニングＤＮＮデコーダ４２５、重み更新モジュール４３０、刈り込みモジュール４３５、重み更新モジュール４４０、統一モジュール４４５、及び重み更新モジュール４５０を含む。トレーニングＤＮＮエンコーダ４２０は、積み重ね可能なＤＮＮエンコーダ４２０Ａ、４２０Ｂ、・・・、及び４２０Ｎを含み、トレーニングＤＮＮデコーダ４２５は、積み重ね可能なＤＮＮデコーダ４２５Ａ、４２５Ｂ、・・・、及び４２５Ｎを含む。
図４は、本方法のトレーニング段階の全体的なワークフローを示す。目標は、入れ子された重み
φｅ(λN)＝｛φｅ(λN－１),｛Ｗｅ Nｊ｝｝＝｛φｅ(λN－２),｛Ｗｅ N－１ｊ｝,｛Ｗｅ Nｊ｝｝
＝・・・＝｛｛Ｗｅ １ｊ｝,・・・,｛Ｗｅ Nｊ｝｝φｅ(λN)＝｛φｅ(λN－１),｛Ｗｄ Nｊ｝｝
＝｛φｄ(λN－２),｛Ｗｄ N－１ｊ｝,｛Ｗｄ Nｊ｝｝＝・・・
＝｛｛Ｗｄ １ｊ｝,・・・,｛Ｗｄ Nｊ｝｝
を学習することである。漸進的な多段階トレーニング枠組みはこの目標を達成し得る。
初期重み係数のセット｛Ｗｅ １ｊ(０)｝,・・・,｛Ｗｅ Nｊ(０)｝及び
｛Ｗｄ １ｊ(０)｝,・・・,｛Ｗｄ Nｊ(０)｝が存在すると想定される。これらの初期重み係数は、ある分布に従ってランダムに初期化され得る。また、何らかの事前トレーニングデータセットを用いて事前トレーニングされてもよい。一実施形態では、重み更新モジュール４１０は、ハイパーパラメータλＮをターゲットとする式（１）のＲ－Ｄ損失を最適化することにより、トレーニングデータセットＳｔｒを使用する通常のバックプロパゲーションを使用した重み更新プロセスを通じて、モデル重みのセット
Figure 0007425870000014
 （以降、｛Ｗ～ｅ １ｊ｝,・・・,｛Ｗ～ｅ Nｊ｝）及び
Figure 0007425870000015
 （以降、｛Ｗ～ｄ １ｊ｝,・・・,｛Ｗ～ｄ Nｊ｝）を学習する。別の実施形態では、この重み更新プロセスをスキップすることができ、｛Ｗ～ｅ １ｊ｝,・・・,｛Ｗ～ｅ Nｊ｝及び｛Ｗ～ｄ １ｊ｝,・・・,｛Ｗ～ｄ Nｊ｝を直接、初期値｛Ｗｅ １ｊ(０)｝,・・・,｛Ｗｅ Nｊ(０)｝及び
｛Ｗｄ １ｊ(０)｝,・・・,｛Ｗｄ Nｊ(０)｝に設定する。
重み係数φｅ(λｉ－１)及びφｄ(λｉ－１)を有する現在のモデルインスタンスはすでにトレーニングされており、現在の目標はハイパーパラメータλｉに対する追加の重み｛Ｗｅ ｉｊ｝及び｛Ｗｄ ｉｊ｝をトレーニングすることであると想定される。追加積み重ね可能なモジュール４１５は、追加積み重ね可能なモジュールのプロセスにおいて、重み｛Ｗｅ ｉｊ｝に対する積み重ね可能なＤＮＮエンコーダ４２０Ａ、４２０Ｂ、・・・、及び４２０Ｎと重み｛Ｗｄ ｉｊ｝に対する積み重ね可能なＤＮＮデコーダ４２５Ａ、４２５Ｂ、・・・、及び４２５Ｎを積み重ね、ここで、初期モジュール重みが｛Ｗｅ ｉｊ(０)｝及び｛Ｗｄ ｉｊ(０)｝である。
そして、重み更新プロセスでは、重み更新モジュール４３０は、すでに学習された重みφｅ(λｉ－１及びφｄ(λｉ－１)を固定し、ハイパーパラメータλｉをターゲットとする式（１）のＲ－Ｄ損失を使用する通常のバックプロパゲーションを通じて、新たに追加された重み｛Ｗｅ ｉｊ(０)｝及び｛Ｗｄ ｉｊ(０)｝を更新し、その結果、重み
Figure 0007425870000016
 （以降、｛Ｗ＾e １ｊ｝）及び
Figure 0007425870000017
 （以降、｛Ｗ＾ｄ １ｊ｝）が更新される。この重み更新プロセスにおいて、Ｒ－Ｄ損失を最適化するために、例えば最大反復回数に達するまで、又は、損失が収束するまで、複数のエポック反復が行われる。
その後、マイクロ構造化された重み刈り込みプロセスが実行される。このプロセスでは、新たに追加された積み重ね可能な重み｛Ｗ＾ｅ ｉｊ｝及び｛Ｗ＾ｄ ｉｊ｝に対して、刈り込みモジュール４３５は、前述のように、各マイクロ構造化された刈り込みブロックＢｐ（３Ｄリシェイプされた重みテンソルに対する３Ｄブロック又は２Ｄリシェイプされた重み行列に対する２Ｄブロック）ごとに刈り込み損失Ｌｓ（Ｂｐ）（例えば、ブロックにおける重みのＬ１又はＬ２ノルム）を計算する。刈り込みモジュール４３５は、これらのマイクロ構造化されたブロックを昇順でランク付けし、停止基準に達するまで、ランク付けされたリストからこれらのブロックをトップダウンで（すなわち、刈り込まれたブロックにおける対応する重みを０とすることにより）刈り込む。例えば、検証データセットＳｖａｌが与えられた場合、重みφｅ(λｉ－１)とφｄ(λｉ－１)及び｛Ｗ＾ｅ ｉｊ｝と｛Ｗ＾ｄ ｉｊ｝を有する現在のＮＩＣモデルは歪み損失を生成する。ますます多くのマイクロブロックが刈り込まれるにつれて、この歪み損失は次第に大きくなる。停止基準は、歪み損失が増加することが許容される許容パーセント閾値とすることができる。停止基準は、また、刈り込まれるマイクロ構造刈り込みブロックの事前設定されたパーセントとすることもできる（例えば、上位にランク付けされた刈り込みブロックの８０％が刈り込まれる）。刈り込みモジュール４３５は、バイナリ刈り込みマスク｛Ｐｅ ｉｊ｝及び｛Ｐｄ ｉｊ｝のセットを生成し、ここで、マスクＰｅ ｉｊ又はＰｄ ｉｊのエントリが０であることは、｛Ｗ＾ｅ ｉｊ｝及び｛Ｗ＾ｄ ｉｊ｝における対応する重みが刈り込まれることを意味する。
次に、重み更新モジュール４４０は、｛Ｐｅ ｉｊ｝及び｛Ｐｄ ｉｊ｝によってマスクされた刈り込まれた重みを固定し、ハイパーパラメータλｉをターゲットとする式（１）の全体的なＲ－Ｄ損失を最適化するために、バックプロパゲーションにより｛Ｗ＾ｅ ｉｊ｝及び｛Ｗ＾ｄ ｉｊ｝における残りの重みを更新する。この重み更新プロセスにおいて、Ｒ－Ｄ損失を最適化するために、例えば最大反復回数に達するまで、又は損失が収束するまで、複数のエポック反復が行われる。このマイクロ構造化された重み刈り込みプロセスにより、更新された重み｛Ｗ－ｅ ｉｊ｝及び｛Ｗ－ｄ ｉｊ｝が出力される。
その後、マイクロ構造化された重み統一プロセスを行って、マイクロ構造的に統一された重み｛Ｗｅ ｉｊ｝及び｛Ｗｄ ｉｊ｝を生成する。このプロセスでは、刈り込まれた｛Ｐｅ ｉｊ｝及び｛Ｐｄ ｉｊ｝によってマスクされていない｛Ｗ－ｅ ｉｊ｝及び｛Ｗ－ｄ ｉｊ｝における重み係数について、統一モジュール４４５は、まず、前述のように、各マイクロ構造化された統一ブロックＢｕ（３Ｄリシェイプされた重みテンソルに対する３Ｄブロック又は２Ｄリシェイプされた重み行列に対する２Ｄブロック）ごとに統一損失Ｌｓ（Ｂｕ）を計算する。そして、統一モジュール４４５は、これらのマイクロ構造化された統一ブロックを統一損失に従って昇順でランク付けし、停止基準に達するまで、ランク付けされたリストからブロックをトップダウンで統一する。停止基準は、歪み損失が増加することが許容される許容パーセント閾値とすることができる。停止基準はまた、統一されるマイクロ構造統一ブロックの事前設定されたパーセントとすることもできる（例えば、上位にランク付けされたブロックの５０％が統一される）。統一モジュール４４５は、バイナリ統一マスク｛Ｕｅ ｉｊ｝及び｛Ｕｄ ｉｊ｝のセットを生成し、ここで、マスクＵｅ ｉｊ及びＵｄ ｉｊのエントリが０であることは、対応する重みが統一されることを意味する。
その後、重み更新モジュール４５０は、統一されたマスクＵｅ ｉｊ及びＵｄ ｉｊによってマスクされる｛Ｗ－ｅ ｉｊ｝及び｛Ｗ－ｄ ｉｊ｝におけるこれらの統一された重みを固定し、刈り込まれた｛Ｐｅ ｉｊ｝及び｛Ｐｄ ｉｊ｝によってマスクされる｛Ｗ－ｅ ｉｊ｝及び｛Ｗ－ｄ ｉｊ｝における重みを固定する。そして、重み更新モジュール４５０は、ハイパーパラメータλｉをターゲットとする式（１）の全体的なＲ－Ｄ損失を最適化するために、重み更新プロセスにおいて、バックプロパゲーションにより｛Ｗ－ｅ ｉｊ｝及び｛Ｗ－ｄ ｉｊ｝における残りの重みを更新する。この重み更新プロセスにおいて、Ｒ－Ｄ損失を最適化するために、例えば最大反復回数に達するまで、又は損失が収束するまで、複数のエポック反復が行われる。このマイクロ構造化された重み統一プロセスにより、最終的に統一された重み｛Ｗｅ ｉｊ｝及び｛Ｗｄ ｉｊ｝が出力される。
マイクロ構造化された重み刈り込みプロセスは、選択されたブロックにおける重みが統一値０に設定される、マイクロ構造化された重み統一プロセスの特殊なケースと見なすことができる。マイクロ構造化された重み刈り込みプロセス、マイクロ構造化された重み統一プロセスのいずれか、又は、両方のプロセスがスキップされ得る、トレーニング枠組みの異なる実施形態が存在し得る。
以前のＥ２Ｅ画像圧縮方法と比較して、図３及び図４の実施形態は、マルチレート圧縮を達成するために大きく減少した展開ストレージを含み、重み係数のマイクロ構造化された刈り込み及び／又は統一を用いることによって、推論時間が大幅に削減され、種々のタイプのＮＩＣモデルを収容する柔軟な枠組みを含むことができる。さらに、より高いビットレート圧縮を行う入れ子ネットワーク構造からの共有計算は、より低いビットレート圧縮の計算を再利用することによって達成され、これは、マルチレート圧縮における計算を節約する。実施形態は、任意の所望のマイクロ構造に対応するために柔軟であってもよい。
図５は、実施形態による、積み重ね可能な入れ子モデル構造によるマルチレートニューラル画像圧縮の方法５００のフローチャートである。
いくつかの実装では、図５の１つ又は複数のプロセスブロックは、プラットフォーム１２０によって実行され得る。いくつかの実装では、図５の１つ又は複数のプロセスブロックは、ユーザデバイス１１０などの、プラットフォーム１２０とは別の、又は、プラットフォーム１２０を含むデバイス又はデバイスのグループによって実行され得る。
図５に示されるように、操作５１０では、方法５００は、第１のニューラルネットワークの第１の重みのセット上に、現在のハイパーパラメータに対応する第１の複数の積み重ね可能なニューラルネットワークの第１の複数の重みのセットを反復して積み重ねるステップであり、第１のニューラルネットワークの第１の重みのセットは変わらないままである、ステップを含む。
操作５２０では、方法５００は、エンコード表現を取得するために、第１の複数の積み重ね可能なニューラルネットワークの第１の複数の重みのセットが積み重ねられる第１のニューラルネットワークの第１の重みのセットを使用して、入力画像をエンコードするステップを含む。
操作５３０では、方法５００は、圧縮表現を決定するために、取得されたエンコード表現をエンコードするステップを含む。
図５は、方法５００の例示的なブロックを示しているが、いくつかの実装では、方法５００は、図５に示されたブロックよりも追加のブロック、より少ないブロック、異なるブロック、又は、異なる配置のブロックを含んでもよい。加えて、又は、任意選択で、方法５００のブロックのうちの２つ又は複数が、並行して実行され得る。
図６は、実施形態による、積み重ね可能な入れ子モデル構造によるマルチレートニューラル画像圧縮のための装置６００のブロック図である。
図６に示されるように、装置６００は、第１の積み重ねコード６１０、第１のエンコードコード６２０、及び、第２のエンコードコード６３０を含む。
第１の積み重ねコード６１０は、少なくとも１つのプロセッサに、第１のニューラルネットワークの第１の重みのセット上に、現在のハイパーパラメータに対応する第１の複数の積み重ね可能なニューラルネットワークの第１の複数の重みのセットを反復して積み重ねさせるように構成されており、第１のニューラルネットワークの第１の重みのセットは変わらないままである。
第１のエンコードコード６２０は、少なくとも１つのプロセッサに、エンコード表現を取得するために、第１の複数の積み重ね可能なニューラルネットワークの第１の複数の重みのセットが積み重ねられる第１のニューラルネットワークの第１の重みのセットを使用して、入力画像をエンコードさせるように構成されている。
第２のエンコードコード６３０は、少なくとも１つのプロセッサに、圧縮表現を決定するために、取得されたエンコード表現をエンコードさせるように構成されている。
図７は、実施形態による、積み重ね可能な入れ子モデル構造によるマルチレートニューラル画像解凍の方法７００のフローチャートである。
いくつかの実装では、図７の１つ又は複数のプロセスブロックは、プラットフォーム１２０によって実行され得る。いくつかの実装では、図７の１つ又は複数のプロセスブロックは、ユーザデバイス１１０などの、プラットフォーム１２０とは別の、又は、プラットフォーム１２０を含む、デバイス又はデバイスのグループによって実行され得る。
図７に示されるように、操作７１０では、方法７００は、第２のニューラルネットワークの第２の重みのセット上に、現在のハイパーパラメータに対応する第２の複数の積み重ね可能なニューラルネットワークの第２の複数の重みのセットを反復して積み重ねるステップであり、第２のニューラルネットワークの第２の重みのセットは変わらないままである、ステップを含む。
操作７２０では、方法７００は、復元表現を決定するために、決定された圧縮表現をデコードするステップを含む。
操作７３０では、方法７００は、出力画像を再構築するために、第２の複数の積み重ね可能なニューラルネットワークの第２の複数の重みのセットが積み重ねられる第２のニューラルネットワークの第２の重みのセットを使用して、決定された復元表現をデコードするステップを含む。
第１のニューラルネットワーク及び第２のニューラルネットワークは、入力画像、出力画像、及び圧縮表現に基づいて決定されるレート歪み損失を最適化するために、第１のニューラルネットワークの第１の初期の重みのセット及び第２のニューラルネットワークの第２の初期の重みのセットを更新するステップによって、トレーニングされてもよい。
第１のニューラルネットワーク及び第２のニューラルネットワークは、第１のニューラルネットワークの第１の重みのセット上に、現在のハイパーパラメータに対応する第１の複数の積み重ね可能なニューラルネットワークの第１の複数の重みのセットを反復して積み重ねるステップであり、第１のニューラルネットワークの第１の重みのセットは変わらないままである、ステップと、第２のニューラルネットワークの第２の重みのセット上に、現在のハイパーパラメータに対応する第２の複数の積み重ね可能なニューラルネットワークの第２の複数の重みのセットを反復して積み重ねるステップであり、第２のニューラルネットワークの第２の重みのセットは変わらないままである、ステップと、入力画像、出力画像、及び圧縮表現に基づいて決定されるレート歪み損失を最適化するために、第１の複数の積み重ね可能なニューラルネットワークの積み重ねられた第１の複数の重みのセット、及び、第２の複数の積み重ね可能なニューラルネットワークの積み重ねられた第２の複数の重みのセットを更新するステップと、によってトレーニングされてもよい。
第１のニューラルネットワーク及び第２のニューラルネットワークは、さらに、更新された第１の複数の重みのセットの各々が刈り込まれるか否かを示す第１の刈り込みマスク、及び、更新された第２の複数の重みのセットの各々が刈り込まれるか否かを示す第２の刈り込みマスクを決定するために、第１の複数の積み重ね可能なニューラルネットワークの更新された第１の複数の重みのセット、及び、第２の複数の積み重ね可能なニューラルネットワークの更新された第２の複数の重みのセットを刈り込むステップと、レート歪み損失を最適化するために、決定された第１の刈り込みマスク及び決定された第２の刈り込みマスクに基づいて、刈り込まれた第１の複数の重みのセット及び刈り込まれた第２の複数の重みのセットに対して第２の更新を行うステップと、によってトレーニングされてもよい。
第１のニューラルネットワーク及び第２のニューラルネットワークは、さらに、第２の更新が行われた第１の複数の重みのセットの各々が統一されるか否かを示す第１の統一マスク、及び、第２の更新が行われた第２の複数の重みのセットの各々が統一されるか否かを示す第２の統一マスクを決定するために、第１の複数の積み重ね可能なニューラルネットワークの第２の更新が行われた第１の複数の重みのセット、及び、第２の複数の積み重ね可能なニューラルネットワークの第２の更新が行われた第２の複数の重みのセットを統一するステップと、レート歪み損失を最適化するために、決定された第１の統一マスク及び決定された第２の統一マスクに基づいて、第１の複数の重みのセット及び第２の複数の重みのセットのうち統一されていない残りのものに対して第３の更新を行うステップと、によってトレーニングされてもよい。
第１の複数の積み重ね可能なニューラルネットワークの第１の複数の重みのセット及び第２の複数の積み重ね可能なニューラルネットワークの第２の複数の重みのセットのうちの１つ又は複数が、現在のハイパーパラメータに対応しなくてもよい。
図７は、方法７００の例示的なブロックを示しているが、いくつかの実装では、方法７００は、図７に示されたブロックよりも追加のブロック、より少ないブロック、異なるブロック、又は異なる配置のブロックを含んでもよい。加えて、又は、任意選択で、方法７００のブロックのうちの２つ又は複数が、並行して実行され得る。
図８は、実施形態による、積み重ね可能な入れ子モデル構造によるマルチレートニューラル画像解凍のための装置８００のブロック図である。
図８に示されるように、装置８００は、第２の積み重ねコード８１０、第１のデコードコード８２０、及び、第２のデコードコード８３０を含む。
第２の積み重ねコード８１０は、少なくとも１つのプロセッサに、第２のニューラルネットワークの第２の重みのセット上に、現在のハイパーパラメータに対応する第２の複数の積み重ね可能なニューラルネットワークの第２の複数の重みのセットを反復して積み重ねさせるように構成され、第２のニューラルネットワークの第２の重みのセットは変わらないままである。
第１のデコードコード８２０は、少なくとも１つのプロセッサに、復元表現を決定するために、決定された圧縮表現をデコードさせるように構成される。
第２のデコードコード８３０は、少なくとも１つのプロセッサに、出力画像を再構築するために、第２の複数の積み重ね可能なニューラルネットワークの第２の複数の重みのセットが積み重ねられる第２のニューラルネットワークの第２の重みのセットを使用して、決定された復元表現をデコードさせるように構成される。
第１のニューラルネットワーク及び第２のニューラルネットワークは、入力画像、出力画像、及び圧縮表現に基づいて決定されるレート歪み損失を最適化するために、第１のニューラルネットワークの第１の初期の重みのセット及び第２のニューラルネットワークの第２の初期の重みのセットを更新することによってトレーニングされてもよい。
第１のニューラルネットワーク及び第２のニューラルネットワークは、第１のニューラルネットワークの第１の重みのセット上に、現在のハイパーパラメータに対応する第１の複数の積み重ね可能なニューラルネットワークの第１の複数の重みのセットを反復して積み重ねるステップであり、第１のニューラルネットワークの第１の重みのセットは変わらないままである、ステップと、第２のニューラルネットワークの第２の重みのセット上に、現在のハイパーパラメータに対応する第２の複数の積み重ね可能なニューラルネットワークの第２の複数の重みのセットを反復して積み重ねるステップであり、第２のニューラルネットワークの第２の重みのセットは変わらないままである、ステップと、入力画像、出力画像、及び圧縮表現に基づいて決定されるレート歪み損失を最適化するために、第１の複数の積み重ね可能なニューラルネットワークの積み重ねられた第１の複数の重みのセット、及び、第２の複数の積み重ね可能なニューラルネットワークの積み重ねられた第２の複数の重みのセットを更新するステップと、によってトレーニングされてもよい。
第１のニューラルネットワーク及び第２のニューラルネットワークは、さらに、更新された第１の複数の重みのセットの各々が刈り込まれるか否かを示す第１の刈り込みマスク、及び、更新された第２の複数の重みのセットの各々が刈り込まれるか否かを示す第２の刈り込みマスクを決定するために、第１の複数の積み重ね可能なニューラルネットワークの更新された第１の複数の重みのセット、及び、第２の複数の積み重ね可能なニューラルネットワークの更新された第２の複数の重みのセットを刈り込むステップと、レート歪み損失を最適化するために、決定された第１の刈り込みマスク及び決定された第２の刈り込みマスクに基づいて、刈り込まれた第１の複数の重みのセット及び刈り込まれた第２の複数の重みのセットに対して第２の更新を行うステップと、によってトレーニングされてもよい。
第１のニューラルネットワーク及び第２のニューラルネットワークは、さらに、第２の更新が行われた第１の複数の重みのセットの各々が統一されるか否かを示す第１の統一マスク、及び、第２の更新が行われた第２の複数の重みのセットの各々が統一されるか否かを示す第２の統一マスクを決定するために、第１の複数の積み重ね可能なニューラルネットワークの第２の更新が行われた第１の複数の重みのセット、及び、第２の複数の積み重ね可能なニューラルネットワークの第２の更新が行われた第２の複数の重みのセットを統一するステップと、レート歪み損失を最適化するために、決定された第１の統一マスク及び決定された第２の統一マスクに基づいて、第１の複数の重みのセット及び第２の複数の重みのセットのうち統一されていない残りのものに対して第３の更新を行うステップと、によってトレーニングされてもよい。
第１の複数の積み重ね可能なニューラルネットワークの第１の複数の重みのセット、及び、第２の複数の積み重ね可能なニューラルネットワークの第２の複数の重みのセットのうちの１つ又は複数が、現在のハイパーパラメータに対応しなくてもよい。
方法は、別々に使用されても任意の順序で組み合わされてもよい。さらに、方法（又は実施形態）、エンコーダ、及びデコーダの各々は、処理回路（例えば、１つ又は複数のプロセッサ、あるいは、１つ又は複数の集積回路）によって実装されてもよい。一例では、１つ又は複数のプロセッサは、非一時的なコンピュータ読取可能な媒体に記憶されているプログラムを実行する。
前述の開示は、例示及び説明を提供するが、網羅的であること、又は、実装を開示された正確な形態に限定すること、を意図するものではない。上記の開示に照らして修正及び変形が可能であるか、又は、実装の実践から獲得され得る。
本明細書で使用されるように、コンポーネントという用語は、ハードウェア、ファームウェア、又は、ハードウェアとソフトウェアとの組み合わせとして、広範に解釈されることを意図している。
本明細書に記載されたシステム及び／又は方法は、異なる形態のハードウェア、ファームウェア、又は、ハードウェアとソフトウェアとの組み合わせで実施され得ることが明らかであろう。これらのシステム及び／又は方法を実装するために使用される実際の特殊な制御ハードウェア又はソフトウェアコードは、実装を限定するものではない。したがって、システム及び／又は方法の操作及び行動は、特定のソフトウェアコードを参照することなく本明細書に記載されている。ソフトウェア及びハードウェアは、本明細書の記載に基づいて、システム及び／又は方法を実装するように設計されてもよいことが理解される。
特徴の組み合わせが特許請求の範囲に記述され、かつ／あるいは、本明細書に開示されていても、これらの組み合わせは、可能な実装の開示を限定することを意図するものではない。実際には、これらの特徴の多くは、特に、特許請求の範囲に記述されていない方法及び／又は本明細書に開示されていない方法で組み合わされ得る。以下にリストされる各従属請求項は、１つの請求項にのみ直接依存し得るが、可能な実装の開示は、請求項セット内の他のすべての請求項との組み合わせにおいて、各従属請求項を含む。
本明細書で使用されるいかなる要素、行為、又は指示も、そのように明示的に記載されない限り、重要又は必須であると解釈されることはない。また、本明細書で使用されるように、冠詞「ａ」及び「ａｎ」は、１つ又は複数のアイテムを含むことを意図しており、「１つ又は複数」と交換可能に使用されてもよい。さらに、本明細書で使用されるように、用語「セット」は、１つ又は複数のアイテム（例えば、関連アイテム、非関連アイテム、関連アイテムと非関連アイテムとの組み合わせ、など）を含むことを意図しており、「１つ又は複数」と交換可能に使用されてもよい。１つのみのアイテムが意図される場合、用語「１つ」又は類似の言語が使用される。また、本明細書で使用されるように、用語「有する」、「有している」などは、オープンエンドな用語であることを意図している。さらに、「・・・に基づく」という句は、特に明記しない限り、「少なくとも部分的に、・・・に基づく」を意味することを意図している。

Claims (7)

  1. 少なくとも１つのプロセッサが実行する、積み重ね可能な入れ子モデル構造によるマルチレートニューラル画像圧縮の方法であって、
    第１のニューラルネットワークの第１の重みのセット上に、現在のハイパーパラメータに対応する第１の複数の積み重ね可能なニューラルネットワークの第１の複数の重みのセットを反復して積み重ねるステップであり、前記第１のニューラルネットワークの前記第１の重みのセットは変わらないままである、ステップと、
    エンコード表現を取得するために、前記第１の複数の積み重ね可能なニューラルネットワークの前記第１の複数の重みのセットが積み重ねられた後で前記第１のニューラルネットワークの前記第１の重みのセットを使用して、入力画像をエンコードするステップと、
    圧縮表現を決定するために、取得された前記エンコード表現をエンコードするステップと、
    を含み、さらに、
    第２のニューラルネットワークの第２の重みのセット上に、前記現在のハイパーパラメータに対応する第２の複数の積み重ね可能なニューラルネットワークの第２の複数の重みのセットを反復して積み重ねるステップあり、前記第２のニューラルネットワークの前記第２の重みのセットは変わらないままである、ステップと、
    復元表現を決定するために、決定された前記圧縮表現をデコードするステップと、
    出力画像を再構築するために、前記第２の複数の積み重ね可能なニューラルネットワークの前記第２の複数の重みのセットが積み重ねられた後で前記第２のニューラルネットワークの前記第２の重みのセットを使用して、決定された前記復元表現をデコードするステップと、
    を含み、
    前記第１のニューラルネットワーク及び前記第２のニューラルネットワークは、
    前記第１のニューラルネットワークの前記第１の重みのセット上に、前記現在のハイパーパラメータに対応する前記第１の複数の積み重ね可能なニューラルネットワークの前記第１の複数の重みのセットを反復して積み重ねるステップであり、前記第１のニューラルネットワークの前記第１の重みのセットは変わらないままである、ステップと、
    前記第２のニューラルネットワークの前記第２の重みのセット上に、前記現在のハイパーパラメータに対応する前記第２の複数の積み重ね可能なニューラルネットワークの前記第２の複数の重みのセットを反復して積み重ねるステップであり、前記第２のニューラルネットワークの前記第２の重みのセットは変わらないままである、ステップと、
    前記入力画像、前記出力画像、及び前記圧縮表現に基づいて決定されるレート歪み損失を最適化するために、積み重ねられた前記第１の複数の積み重ね可能なニューラルネットワークの前記第１の複数の重みのセット、及び、積み重ねられた前記第２の複数の積み重ね可能なニューラルネットワークの前記第２の複数の重みのセットを更新するステップと、
    によってトレーニングされ、
    前記ハイパーパラメータは、前記レート歪み損失における損失関数とレート損失とのトレードオフを定めている、
    方法。
  2. 前記第１のニューラルネットワーク及び前記第２のニューラルネットワークは、前記入力画像、前記出力画像、及び前記圧縮表現に基づいて決定されるレート歪み損失を最適化するために、前記第１のニューラルネットワークの第１の初期の重みのセット及び前記第２のニューラルネットワークの第２の初期の重みのセットを更新することによってトレーニングされる、
    請求項１に記載の方法。
  3. 前記第１のニューラルネットワーク及び前記第２のニューラルネットワークは、さらに、
    更新された前記第１の複数の重みのセットの各々が刈り込まれるか否かを示す第１の刈り込みマスク、及び、更新された前記第２の複数の重みのセットの各々が刈り込まれるか否かを示す第２の刈り込みマスクを決定するために、前記第１の複数の積み重ね可能なニューラルネットワークの更新された前記第１の複数の重みのセット、及び、前記第２の複数の積み重ね可能なニューラルネットワークの更新された前記第２の複数の重みのセットを刈り込むステップと、
    前記レート歪み損失を最適化するために、決定された前記第１の刈り込みマスク及び決定された前記第２の刈り込みマスクに基づいて、刈り込まれた前記第１の複数の重みのセット及び刈り込まれた前記第２の複数の重みのセットに対して第２の更新を行うステップと、
    によってトレーニングされる、
    請求項１に記載の方法。
  4. 前記第１のニューラルネットワーク及び前記第２のニューラルネットワークは、さらに、
    第２の更新が行われた前記第１の複数の重みのセットの各々が統一されるか否かを示す第１の統一マスク、及び、第２の更新が行われた前記第２の複数の重みのセットの各々が統一されるか否かを示す第２の統一マスクを決定するために、前記第１の複数の積み重ね可能なニューラルネットワークの第２の更新が行われた前記第１の複数の重みのセット、及び、前記第２の複数の積み重ね可能なニューラルネットワークの第２の更新が行われた前記第２の複数の重みのセットを統一するステップと、
    前記レート歪み損失を最適化するために、決定された前記第１の統一マスク及び決定された前記第２の統一マスクに基づいて、前記第１の複数の重みのセット及び前記第２の複数の重みのセットのうち統一されていない残りのものに対して第３の更新を行うステップと、
    によってトレーニングされる、
    請求項３に記載の方法。
  5. 前記第１の複数の積み重ね可能なニューラルネットワークの前記第１の複数の重みのセット及び前記第２の複数の積み重ね可能なニューラルネットワークの前記第２の複数の重みのセットのうちの１つ又は複数が、前記現在のハイパーパラメータに対応しない、
    請求項１に記載の方法。
  6. 積み重ね可能な入れ子モデル構造によるマルチレートニューラル画像圧縮のための装置であって、
    プログラムコードを記憶するように構成される少なくとも１つのメモリと、
    前記プログラムコードを読み取り、前記プログラムコードの指示通りに動作するように構成される少なくとも１つのプロセッサと、を備え、
    前記プログラムコードは、前記少なくとも１つのプロセッサによって実行されると、
    前記少なくとも１つのプロセッサに、請求項１乃至５のうちのいずれか１項に記載の方法を実行させる、
    装置。
  7. コンピュータに、請求項１乃至５のうちのいずれか１項に記載の方法を実行させるように構成されるコンピュータプログラム。
JP2022531362A 2020-08-14 2021-07-21 積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のための方法及び装置 Active JP7425870B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063065602P 2020-08-14 2020-08-14
US63/065,602 2020-08-14
US17/365,304 US20220051102A1 (en) 2020-08-14 2021-07-01 Method and apparatus for multi-rate neural image compression with stackable nested model structures and micro-structured weight unification
US17/365,304 2021-07-01
PCT/US2021/042535 WO2022035571A1 (en) 2020-08-14 2021-07-21 Method and apparatus for multi-rate neural image compression with stackable nested model structures

Publications (2)

Publication Number Publication Date
JP2023509829A JP2023509829A (ja) 2023-03-10
JP7425870B2 true JP7425870B2 (ja) 2024-01-31

Family

ID=80222965

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022531362A Active JP7425870B2 (ja) 2020-08-14 2021-07-21 積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のための方法及び装置

Country Status (6)

Country Link
US (1) US20220051102A1 (ja)
EP (1) EP4032310A4 (ja)
JP (1) JP7425870B2 (ja)
KR (1) KR20220084174A (ja)
CN (1) CN114667544B (ja)
WO (1) WO2022035571A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210406691A1 (en) * 2020-06-29 2021-12-30 Tencent America LLC Method and apparatus for multi-rate neural image compression with micro-structured masks
US12335487B2 (en) * 2022-04-14 2025-06-17 Tencent America LLC Multi-rate of computer vision task neural networks in compression domain

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019115865A1 (en) 2017-12-13 2019-06-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
JP2019159694A (ja) 2018-03-12 2019-09-19 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107210993B (zh) * 2014-12-23 2020-11-10 意大利电信股份公司 无线网络中的多媒体内容流的动态速率调整的方法与系统
WO2017117542A1 (en) * 2015-12-31 2017-07-06 Schlumberger Technology Corporation Geological imaging and inversion using object storage
US10192327B1 (en) * 2016-02-04 2019-01-29 Google Llc Image compression with recurrent neural networks
CN106682688B (zh) * 2016-12-16 2020-07-28 华南理工大学 基于粒子群优化的堆叠降噪自编码网络轴承故障诊断方法
EP3664705A4 (en) * 2017-08-09 2021-09-29 Allen Institute IMAGE PROCESSING SYSTEMS, DEVICES AND METHODS FOR GENERATING AN IMAGE WITH PREDICTIVE MARKING
US11250325B2 (en) * 2017-12-12 2022-02-15 Samsung Electronics Co., Ltd. Self-pruning neural networks for weight parameter reduction
US11423312B2 (en) * 2018-05-14 2022-08-23 Samsung Electronics Co., Ltd Method and apparatus for universal pruning and compression of deep convolutional neural networks under joint sparsity constraints
CN108805802B (zh) * 2018-06-05 2020-07-31 东北大学 一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法
CN109086807B (zh) * 2018-07-16 2022-03-18 哈尔滨工程大学 一种基于空洞卷积堆叠网络的半监督光流学习方法
US10747956B2 (en) * 2018-08-30 2020-08-18 Dynamic Ai Inc. Artificial intelligence process automation for enterprise business communication
CN109635936A (zh) * 2018-12-29 2019-04-16 杭州国芯科技股份有限公司 一种基于重训练的神经网络剪枝量化方法
CN110443359A (zh) * 2019-07-03 2019-11-12 中国石油大学(华东) 基于自适应联合剪枝-量化的神经网络压缩算法
CN111310787B (zh) * 2020-01-15 2024-03-22 江苏大学 一种基于堆叠编码器的脑功能网络多核模糊聚类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019115865A1 (en) 2017-12-13 2019-06-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
JP2019159694A (ja) 2018-03-12 2019-09-19 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Rige Su 他３名，Scalable Learned Image Compression Based on Recurrent Neural Networks，電子情報通信学会２０２０年総合大会講演論文集 情報・システム２，日本，一般社団法人電子情報通信学会，2020年03月03日，第29頁

Also Published As

Publication number Publication date
JP2023509829A (ja) 2023-03-10
US20220051102A1 (en) 2022-02-17
EP4032310A1 (en) 2022-07-27
EP4032310A4 (en) 2022-12-07
CN114667544B (zh) 2024-09-27
WO2022035571A1 (en) 2022-02-17
KR20220084174A (ko) 2022-06-21
CN114667544A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
KR102899664B1 (ko) 마이크로구조화된 마스크들을 사용한 멀티레이트 신경 이미지 압축 방법 및 장치
KR20220042455A (ko) 마이크로-구조화된 가중치 프루닝 및 가중치 통합을 이용한 신경 네트워크 모델 압축을 위한 방법 및 장치
JP7418570B2 (ja) スタック可能ネスト化モデル構造を用いたマルチレート・ニューラルイメージ圧縮のための方法および装置
JP7420942B2 (ja) 敵対的生成器を用いたレート適応ニューラル画像圧縮のための方法及び装置
JP7471730B2 (ja) メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための方法、装置及びプログラム
JP7374340B2 (ja) ニューラル画像圧縮のためのタスク適応型前処理のための方法、装置およびコンピュータプログラム
JP7411117B2 (ja) メタ学習による柔軟なハイパー事前モデルを用いる適応画像圧縮のための方法、装置及びコンピュータプログラム
JP7425870B2 (ja) 積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のための方法及び装置
JP7408835B2 (ja) マルチタスクニューラルネットワークを使用するマルチ品質ループフィルタによるビデオ処理の方法、装置及びコンピュータプログラム
JP2023526180A (ja) 滑らかな品質制御による適応ニューラル画像圧縮のための代替の入力最適化
JP7342265B2 (ja) μ構造化ネストマスク及び重み単一化によるマルチレートニューラル画像圧縮モデルを圧縮及び加速するための方法及び装置
JP7434605B2 (ja) メタ学習によるスムーズな品質制御を用いた適応ニューラル画像圧縮のための方法、装置、非一時的コンピュータ可読媒体、およびコンピュータプログラム
JP2024512652A (ja) ニューラル画像圧縮における複数ブロック用のコンテンツ適応型オンライン訓練のためのシステム、方法、およびコンピュータプログラム
HK40072069A (en) Multi rate neural image compression method, device and electronic equipment
HK40072069B (zh) 多速率神经图像压缩方法、装置以及电子设备
HK40072095A (en) Multi rate neural image compression method, device and electronic equipment
HK40072095B (en) Multi rate neural image compression method, device and electronic equipment
HK40072071B (zh) 多比特率神经图像压缩方法及设备以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240119

R150 Certificate of patent or registration of utility model

Ref document number: 7425870

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150