Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7342265B2 - μ構造化ネストマスク及び重み単一化によるマルチレートニューラル画像圧縮モデルを圧縮及び加速するための方法及び装置 - Google Patents
[go: Go Back, main page]

JP7342265B2 - μ構造化ネストマスク及び重み単一化によるマルチレートニューラル画像圧縮モデルを圧縮及び加速するための方法及び装置 - Google Patents

μ構造化ネストマスク及び重み単一化によるマルチレートニューラル画像圧縮モデルを圧縮及び加速するための方法及び装置 Download PDF

Info

Publication number
JP7342265B2
JP7342265B2 JP2022529834A JP2022529834A JP7342265B2 JP 7342265 B2 JP7342265 B2 JP 7342265B2 JP 2022529834 A JP2022529834 A JP 2022529834A JP 2022529834 A JP2022529834 A JP 2022529834A JP 7342265 B2 JP7342265 B2 JP 7342265B2
Authority
JP
Japan
Prior art keywords
mask
weight
weights
weight group
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022529834A
Other languages
English (en)
Other versions
JP2023503927A (ja
Inventor
ジアン，ウエイ
ワン，ウエイ
リィウ，シャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of JP2023503927A publication Critical patent/JP2023503927A/ja
Application granted granted Critical
Publication of JP7342265B2 publication Critical patent/JP7342265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

関連出願の相互参照
本出願は、２０２０年８月１４日に出願された米国仮出願第６３／０６５，５９８号に基づいて優先権を主張する、２０２１年５月１１日に出願された米国特許出願第１７／３１７，０５５号に対する優先権の利益を主張し、その各々の開示は、その全体が参照により本明細書に組み込まれる。
標準化団体や企業は、今後の映像符号化技術の標準化に向けて、積極的に潜在的なニーズを模索している。これらの標準化団体や企業は、ディープニューラルネットワーク（ＤＮＮ）を用いたエンドツーエンドニューラル画像圧縮（ＮＩＣ）ベースの人工知能（ＡＩ）に焦点を当ててきた。この方法の成功により、高度なニューラル画像及びビデオ圧縮方法論に産業上の関心がますます高まっている。
柔軟なビットレート制御は、以前のＮＩＣ法では依然として困難な課題である。従来、これは、レートと歪み（圧縮画像の品質）との間の各所望のトレードオフを個別にターゲットにする複数のモデルインスタンスを訓練することを含み得る。これらの全ての複数モデルインスタンスは、異なるビットレートからの画像を再構成するために、デコーダ側で格納され、展開される必要があり得る。これは、限られたストレージ及びコンピューティングリソースを有する多くのアプリケーションにとって、法外に高価であり得る。
実施形態によれば、少なくとも１つのプロセッサによって実行される、マルチレートニューラル画像圧縮の方法であって、第１ハイパーパラメータに基づいてエンコードマスクを選択するステップと、第１ニューラルネットワークの第１重み群（ａ ｆｉｒｓｔ ｐｌｕｒａｌｉｔｙ ｏｆ ｗｅｉｇｈｔｓ）及び選択されたエンコードマスクのコンボリューションを実行し、第１マスク重みを取得する、ステップと、方法はさらに、
入力画像をエンコードし、第１マスク重みを使用して、エンコード表現を取得する、ステップと、取得されたエンコード表現をエンコードし、圧縮表現を取得する、ステップと
実施形態によれば、マルチレートニューラル画像圧縮のための装置は、プログラムコードを格納するように構成された少なくとも１つのメモリと、プログラムコードを読み取り、プログラムコードによって命令されるように動作するように構成された少なくとも１つのプロセッサと、を備え、プログラムコードは、少なくとも１つのプロセッサに、ハイパーパラメータに基づいてエンコードマスクを選択させるように構成された第１選択コードと、少なくとも１つのプロセッサに、第１ニューラルネットワークの第１重み群及び選択されたエンコードマスクのコンボリューションを実行させ、第１マスク重みを取得させるように構成された第１実行コードと、を含む。プログラムコードは、少なくとも１つのプロセッサに、第１マスク重みを使用して、入力画像をエンコードさせ、エンコード表現を取得させるように構成された第１エンコードコードと、少なくとも１つのプロセッサに、取得されたエンコード表現をエンコードさせ、圧縮表現を取得するように構成された第２エンコードコードと、を含む。
実施形態によれば、命令を格納する非一時的コンピュータ可読媒体であって、命令は、マルチレートニューラル画像圧縮のために、少なくとも１つのプロセッサによって実行されるときに、少なくとも１つのプロセッサに、ハイパーパラメータに基づいてエンコードマスクを選択させ、第１ニューラルネットワークの第１重み群及び選択されたエンコードマスクのコンボリューションを実行させ、第１マスク重みを取得させ、入力画像をエンコードし、第１マスク重みを使用して、エンコード表現を取得させ取得されたエンコード表現をエンコードさせ、圧縮表現を取得させる。
図１は、実施形態による、本明細書に記載される方法、装置及びシステムが実施され得る環境の図である。 図２は、図１の１つ以上のデバイスの例示的な構成要素のブロック図である。 図３は、実施形態による、テストステージ中の、マイクロ構造ネストマスク及び重み単一化によるマルチレートニューラル画像圧縮のためのテスト装置のブロック図である。 図４Ａは、実施形態による、訓練ステージ中の、マイクロ構造ネストマスク及び重み単一化による、マルチレートニューラル画像圧縮のための訓練装置のブロック図である。 図４Ｂは、別の実施形態による、訓練ステージ中の、マイクロ構造ネストマスク及び重み単一化による、マルチレートニューラル画像圧縮のための訓練装置のブロック図である。 図５は、実施形態による、マイクロ構造ネストマスク及び重み単一化による、マルチレートニューラル画像圧縮の方法のフローチャートである。 図６は、実施形態による、マイクロ構造ネストマスク及び重み単一化による、マルチレートニューラル画像圧縮のための装置のブロック図である。 図７は、実施形態による、マイクロ構造ネストマスク及び重み単一化による、マルチレートニューラル画像解凍の方法のフローチャートである。 図８は、実施形態による、マイクロ構造ネストマスク及び重み単一化による、マルチレートニューラル画像解凍のための装置のブロック図である。
本開示は、ストレージ及び計算の両方に関して、高効率のマルチレートＮＩＣモデルを生成するための方法及び装置を記載する。異なるビットレートをターゲットとするネストバイナリマスクのセットからのガイダンスを用いて、複数のマルチビットレートでの画像圧縮を達成するために、唯一のＮＩＣモデルインスタンスが使用される。また、モデルインスタンスの重み係数がマイクロ構造的に単一化され、推論計算を低減する。
図１は、実施形態による、本明細書に記載される方法、装置及びシステムが実施され得る環境１００の図である。
図１に示すように、環境１００は、ユーザ装置１１０、プラットフォーム１２０、及びネットワーク１３０を含むことができる。環境１００のデバイスは、有線接続、無線接続、又は有線接続及び無線接続の組み合わせを介して相互接続することができる。
ユーザデバイス１１０は、プラットフォーム１２０に関連する情報を受信、生成、記憶、処理、及び／又は提供することが可能な１つ以上のデバイスを含む。例えば、ユーザデバイス１１０は、コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバ等）、携帯電話（例えば、スマートフォン、無線電話等）、ウェアラブルデバイス（例えば、スマート眼鏡又はスマートウオッチ）、又は類似のデバイスを含み得る。いくつかの実装形態では、ユーザデバイス１１０は、プラットフォーム１２０から情報を受信及び／又は送信することができる。
プラットフォーム１２０は、本明細書の他の場所で記載されるように、１つ以上のデバイスを含む。いくつかの実装では、プラットフォーム１２０は、クラウドサーバ又はクラウドサーバのグループを含み得る。いくつかの実装では、プラットフォーム１２０は、ソフトウェアコンポーネントがスワップイン又はスワップアウトされ得るように、モジュール式に設計し得る。そのようなものとして、プラットフォーム１２０は、異なる使用のために、容易に及び／又は迅速に再構成され得る。
いくつかの実装では、図示のように、プラットフォーム１２０は、クラウドコンピューティング環境１２２でホストすることができる。特に、本明細書に記載される実装は、プラットフォーム１２０をクラウドコンピューティング環境１２２でホストされるものとして記述されるが、一部の実装では、プラットフォーム１２０は、クラウドベースではなく（すなわち、クラウドコンピューティング環境の外部で実装され得る）、又は部分的にクラウドベースであってもよい。クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストする環境を含む。
クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストする、（１つ以上の）システム及び／又は（１つ以上の）デバイスの物理的なロケーション及び構成に関するエンドユーザ（例えばユーザデバイス１１０）の知識を必要としない計算、ソフトウェア、データアクセス、ストレージ等のサービスを提供することができる。図示のように、クラウドコンピューティング環境１２２は、コンピューティングリソース１２４のグループ（まとめて、「複数のコンピューティングリソース１２４」と称し、個別に「コンピューティングリソース１２４」と称する）を含み得る。
コンピューティングリソース１２４は、１つ以上の、パーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、又は他の種類の計算及び／又は通信デバイスを含む。いくつかの実装では、コンピューティングリソース１２４はプラットフォーム１２０をホストすることができる。クラウドリソースは、コンピューティングリソース１２４において実行されるコンピューティングインスタンス、コンピューティングリソース１２４において提供される記憶デバイス、コンピューティングリソース１２４によって提供されるデータ転送デバイスなどを含み得る。いくつかの実装では、コンピューティングリソース１２４は、有線接続、無線接続、又は有線及び無線接続の組み合わせを介して、他のコンピューティングリソース１２４と通信することができる。
図１にさらに示すように、コンピューティングリソース１２４は、１つ以上のアプリケーション（「ＡＰＰ」）１２４－１、１つ以上の仮想マシン（「ＶＭ」）１２４－２、仮想記憶デバイス（「ＶＳ」）１２４－３、１つ以上のハイパーバイザ（「ＨＹＰ」）１２４－４等のクラウドリソースのグループを含む。
アプリケーション１２４－１は、ユーザデバイス１１０及び／又はセンサデバイス１２０によって提供され又はアクセスされることができる１つ以上のソフトウェアアプリケーションを含む。アプリケーション１２４－１は、ユーザデバイス１１０上にソフトウェアアプリケーションをインストールし実行する必要をなくすことができる。例えば、アプリケーション１２４－１は、プラットフォーム１２０に関連するソフトウェア、及び／又はクラウドコンピューティング環境１２２を介して提供可能な他の任意のソフトウェアを含んでもよい。いくつかの実装では、１つのアプリケーション１２４－１は、仮想マシン１２４－２を介して、１つ以上の他のアプリケーション１２４－１との間で情報を送受信することができる。
仮想マシン１２４－２は、物理マシンのようなプログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装を含む。仮想マシン１２４－２は、仮想マシン１２４－２による実際のマシンへの使用及び対応の程度に応じて、システム仮想マシン又はプロセス仮想マシンのいずれであってもよい。システム仮想マシンは、完全なオペレーティングシステム（「ＯＳ」）の実行をサポートする完全なシステムプラットフォームを提供することができる。プロセス仮想マシンは、単一のプログラムを実行し、単一のプロセスをサポートし得る。いくつかの実装では、仮想マシン１２４－２は、ユーザ（例えば、ユーザ装置１１０）に代わって実行することができ、データ管理、同期化、又は長時間データ転送などのクラウドコンピューティング環境１２２のインフラストラクチャを管理することができる。
仮想ストレージ１２４－３は、ストレージシステム又はコンピューティングリソース１２４の内で仮想化技術を使用する１つ以上の記憶システム及び／又は１つ以上のデバイスを含む。いくつかの実装では、記憶システムのコンテキスト内で、仮想化のタイプは、ブロック仮想化及びファイル仮想化を含み得る。ブロック仮想化は、物理ストレージ又は異種ストラクチャ（ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｓｔｒｕｃｔｕｒｅ）に関係なくストレージシステムにアクセスできるように、物理ストレージから論理ストレージを抽象化（又は分離）することを称し得る。この分離により、ストレージシステムの管理者は、エンドユーザに対してストレージを管理する方法に柔軟性を持たせることができる。ファイルの仮想化により、ファイルレベルでアクセスされるデータと、ファイルが物理的に保存されるロケーションとの間の依存関係が排除され得る。これにより、ストレージの使用、サーバの統合、及び／又は非破壊ファイル移行のパフォーマンスの最適化が可能になり得る。
ハイパーバイザ１２４－４は、複数のオペレーティングシステム（例えば、「ゲストオペレーティングシステム」）が、コンピューティングリソース１２４などのホストコンピュータ上で同時に実行されることを可能にするハードウェア仮想化技術を提供することができる。ハイパーバイザ１２４－４は、仮想オペレーティングプラットフォームをゲストオペレーティングシステムに提示することができ、ゲストオペレーティングシステムの実行を管理することができる。様々なオペレーティングシステムの複数の例は、仮想化されたハードウェアリソースを共有することができる。
ネットワーク１３０は、１つ以上の有線及び／又は無線ネットワークを含む。例えば、ネットワーク１３０は、セルラネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、コード分割多重アクセス（ＣＤＭＡ）ネットワーク等）、公衆陸上モバイルネットワーク（ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話ネットワーク（例えば、公衆交換電話ネットワーク（ＰＳＴＮ））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、ファイバ光学ベースのネットワーク、及び／又は、これら又は他のタイプのネットワークの組合せ、を含み得る。
図１に示すデバイス及びネットワークの数及び配置は、一例として提供される。実際には、図１に示すものよりも、追加のデバイス及び／又はネットワーク、より少ないデバイス及び／又はネットワーク、異なるデバイス及び／又はネットワーク、又は異なる配置のデバイス及び／又はネットワークが存在し得る。さらに、図１に示す２つ以上のデバイスは、単一のデバイス内に実装されてもよく、又は図１に示す単一のデバイスは、複数の分散デバイスとして実装されてもよい。さらに又はあるいは、環境１００のデバイスのセット（例えば、１つ以上のデバイス）は、環境１００の別のデバイスセットによって実行されるものとして説明される１つ以上の機能を実行することができる。
図２は、図１の１つ以上のデバイスの例示的な構成要素のブロック図である。
デバイス２００は、ユーザデバイス１１０及び／又はプラットフォーム１２０に対応し得る。図２に示すように、デバイス２００は、バス２１０、プロセッサ２２０、メモリ２３０、ストレージコンポーネント２４０、入力コンポーネント２５０、出力コンポーネント２６０、及び通信インタフェース２７０を含み得る。
バス２１０は、デバイス２００のコンポーネント間の通信を可能にする構成要素を含む。プロセッサ２２０は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせで実装される。プロセッサ２２０は、中央演算処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、加速処理ユニット（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は、他のタイプの処理コンポーネント、である。いくつかの実装形態では、プロセッサ２２０は、機能を実行するようにプログラムされることができる１つ以上のプロセッサを含む。メモリ２３０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、及び／又は、プロセッサ２２０が使用するための情報及び／又は命令を格納する別のタイプの動的又は静的ストレージデバイス（例えば、フラッシュメモリ、磁気メモリ及び／又は光学メモリ）を含む。
ストレージコンポーネント２４０は、デバイス２００の操作及び使用に関連する情報及び／又はソフトウェアを格納する。例えば、ストレージコンポーネント２４０は、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク及び／又は固体ディスク）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、及び／又は、対応するドライブとともに、別のタイプの非一時的コンピュータ読取可能媒体を含み得る。
入力コンポーネント２５０は、デバイス２００が、例えば、ユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び／又はマイクロフォン）を介して情報を受信することを可能にするコンポーネントを含む。さらに又はあるいは、入力コンポーネント２５０は、情報を感知するためのセンサ（例えば、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、及び／又はアクチュエータ）を含み得る。出力インタフェース２６０は、デバイス２００（例えば、ディスプレイ、スピーカ、及び／又は１つ以上の発光ダイオード（ＬＥＤ））からの出力情報を提供するコンポーネントを含む。
通信インタフェース２７０は、デバイス２００が、有線接続、無線接続、又は有線接続と無線接続の組み合わせなどを介して、他のデバイスと通信することを可能にする送受信器のようなコンポーネント（例えば、送受信器及び／又は別個の受信器及び送信器）を含む。通信インタフェース２７０によって、デバイス２００は他のデバイスから情報を受信し、及び／又は他のデバイスに情報を提供することができることができる。例えば、通信インタフェース２７０は、イーサネット（登録商標）インタフェース、光インタフェース、同軸インタフェース、赤外線インタフェース、無線周波数（ＲＦ）インタフェース、汎用シリアルバス（ＵＳＢ）インタフェース、Ｗｉ－Ｆｉインタフェース、セルラネットワークインタフェース等を含み得る。
デバイス２００は、本願明細書において記載されている１つ以上のプロセスを実行し得る。デバイス２００は、例えばメモリ２３０及び／又はストレージコンポーネントコンポーネント２４０などの非一時的なコンピュータ可読媒体によって格納されるソフトウェア命令を実行するプロセッサ２２０に応答して、これらのプロセスを実行し得る。コンピュータ可読媒体は、固定メモリデバイスとして本願明細書において定義されている。メモリデバイスには、単一の物理ストレージデバイス内のメモリスペース、又は複数の物理ストレージデバイスにまたがるメモリスペースが含まれる。
ソフトウェア命令は、別のコンピュータ可読媒体から、又は通信インタフェース２７０を介して別のデバイスから、メモリ２３０及び／又はストレージコンポーネント２４０に読み込まれることができる。実行される場合、メモリ２３０及び／又はストレージコンポーネント２４０に格納されたソフトウェア命令は、プロセッサ２２０に、本明細書に記載の１つ以上のプロセスを実行させることができる。さらに又はあるいは、物理的に組み込まれた回路（ｈａｒｄｗｉｒｅｄ ｃｉｒｃｕｉｔｒｙ）を、ソフトウェア命令の代わりに又はソフトウェア命令と組み合わせて使用されることができ、本明細書に記載の１つ以上のプロセスを実行することができる。したがって、本明細書で説明される実装は、ハードウェア回路とソフトウェアの特定の組み合わせに限定されない。
図２に示すコンポーネントの数及び配置は、例として提供されてている。実際には、デバイス２００は、図２に示されるものよりも追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、又は異なる配置のコンポーネントを含み得る。さらに又はあるいは、デバイス２００のコンポーネントのセット（例えば、１つ以上のコンポーネント）は、デバイス２００の別のコンポーネントのセットによって実行されると記載される１つ以上の機能を実行することができる。
ここでは、マイクロ構造ネストマスクによるマルチレートニューラル画像圧縮と重み付け単一化のための方法と装置について詳述する。
本開示は、マルチレート画像圧縮をサポートする唯一のＮＩＣモデルインスタンスを学習し、展開するフレームワークを提案する。特に、異なるビットレートから画像を回復するために、再構成ステージでデコーダをガイドするために、各ターゲットビットレートのためのネストバイナリマスクのセットが学習される。
図３は、実施形態による、テストステージ中の、マイクロ構造ネストマスク（ｍｉｃｒｏ－ｓｔｒｕｃｔｕｒｅｄ ｎｅｓｔｅｄ ｍａｓｋｓ）及び重み単一化（ｗｅｉｇｈｔ ｕｎｉｆｉｃａｔｉｏｎ）によるマルチレートニューラル画像圧縮のためのテスト装置３００のブロック図である。
図３に示すように、テスト装置３００は、テストＤＮＮエンコーダ３１０、テストエンコーダ３２０、テストデコーダ３３０、及びテストＤＮＮデコーダ３４０を含む。
サイズ（ｈ，ｗ，ｃ）の入力画像ｘが与えられ、ここで、ｈ，ｗ，ｃは、それぞれ、チャネルの高さ、幅、及び数である。ＮＩＣワークフローのテストステージのターゲットは、以下のように記述される。圧縮表示
（以下、ｙ￣とも表す。）は、格納のためにコンパクトであり、伝送が計算される。その後、圧縮表現ｙ￣に基づいて、出力画像
（以下、ｘ￣とも表す。）が再構成され、再構成された出力画像ｘ￣は、元の入力画像ｘと類似し得る。圧縮表現ｙ￣を計算するプロセスは：ＤＮＮエンコード表現ｙを計算するためにテストＤＮＮエンコーダ３１０を使用するＤＮＮエンコードプロセスと、その後、（量子化及びエントロピーコーディングを実行する）テストエンコーダ３２０を通して表現ｙがエンコードされ、圧縮表現ｙ￣を生成する、エンコードプロセスと、の２つの部分に分割され得る。したがって、デコードプロセスは：テストデコーダ３３０によって（デコード及び量子化を介して）圧縮表現ｙ￣がデコードされ、回復表現ｙ’￣を生成するデコードプロセスと、その後、回復表現ｙ’￣が、テストＤＮＮデコーダ３４０によって使用され、出力画像ｘ￣を再構成する、ＤＮＮデコードプロセスと、の２つの部分に分割される。本開示においては、ＤＮＮエンコードに使用されるテストＤＮＮエンコーダ３１０のネットワーク構造、又は、ＤＮＮデコードに使用されるテストＤＮＮデコーダ３４０のネットワーク構造に制限はない。エンコード又はデコードのどちらかに使用される方法（量子化方法及びエントロピーコーディング方法）には制約がない。
ＮＩＣモデルを学習するために、より良い再構築品質とより少ないビット消費という、２つの競合する要望に対処する。損失関数Ｄ（ｘ，ｘ￣）が再構成誤差を測定するために使用され、これは、入力画像ｘと出力画像ｘ￣との間の、ピーク信号対雑音比（ＰＳＮＲ）及び／又は構造的類似性指数測度（ＳＳＩＭ）等の、歪み損失と称される。レート損失Ｒ（ｙ￣）は、圧縮表現ｙ￣のビット消費を測定するために計算される。したがって、トレードオフハイパーパラメータλは、ジョイントレート歪み（Ｒ－Ｄ）損失を最適化するために使用される：
大きなハイパーパラメータλを用いた訓練は、より小さな歪みを有するがビット消費がより多い圧縮モデルをもたらし、逆もまた同様である。伝統的に、各所定のトレードオフハイパーパラメータλに対して、ＮＩＣモデルインスタンスが訓練され、これは、ハイパーパラメータλの他の値に対してはうまく機能しない。したがって、圧縮ストリームのマルチビットレートを達成するために、従来の方法は、ハイパーパラメータλのターゲット値ごとに１つずつ、複数のモデルインスタンスを訓練し、格納する必要とすることがある。
マスク付きマルチレートＮＩＣ
ＮＩＣネットワークの単一の訓練されたモデルインスタンスを使用し、ネストバイナリマスクのセットを使用して、ＮＩＣモデルインスタンスをガイドし、異なる圧縮表現並びに対応する再構成画像を生成し、各マスクはハイパーパラメータλの異なる値をターゲットにしている。具体的には、｛Ｗｅ ｊ｝と｛Ｗｄ ｊ｝は、それぞれ、ＮＩＣモデルインスタンスのエンコーダ部分及びデコーダ部分の重み係数のセットを示し、ここで、Ｗｅ ｊとＷｄ ｊは、それぞれ、ＤＮＮエンコーダ及びデコーダのｊ番目のレイヤの重み係数である。λ１，．．．，λＮはＮ個のハイパーパラメータを表し、ｙｉ￣及びｘｉ￣は、ハイパーパラメータλｉに対応する圧縮表現及び再構成画像を表す。Ｍｅ ｉｊとＭｄ ｉｊは、それぞれ、ハイパーパラメータλｉに対応するＤＮＮエンコーダとデコーダのｊ番目のレイヤのバイナリマスクを示すものとする。重みＷｅ ｊは、サイズ（ｃ１，ｋ１，ｋ２，ｋ３，ｃ２）の５次元（５Ｄ）テンソルに対応する。レイヤの入力はサイズの４次元（４Ｄ）テンソルＡ（ｈ１，ｗ１，ｄ１，ｃ１）であり、レイヤの出力はサイズ（ｈ２，ｗ２，ｄ２，ｃ２）の４ＤテンソルＢである。サイズｃ１、ｋ１，ｋ２，ｋ３，ｃ２，ｈ１，ｗ１，ｄ１，ｈ２，ｗ２，ｄ２は整数で、それぞれ１以上である。サイズｃ１，ｋ１，ｋ２，ｋ３，ｃ２，ｈ１，ｗ１，ｄ１，ｈ２，ｗ２，ｄ２のいずれかが１になると、対応するテンソルは低次元に低減される。各テンソルの各アイテムは浮動小数点である。パラメータｈ１，ｗ１及びｄ１（ｈ２、ｗ２及びｄ２）は、入力テンソルＡ（出力テンソルＢ）の高さ、重み及び深さである。パラメータｃ１（ｃ２）は入力（出力）チャネルの数である。パラメータｋ１、ｋ２及びｋ３は、それぞれ高さ、重み及び深さ軸に対応するコンボリューションカーネルのサイズである。出力Ｂは、入力Ａ、マスクＭｅ ｉｊ、及び重みＷｅ ｊに基づくコンボリューション演算
を介して計算される。つまり、出力Ｂは、マスクされた重み
でコンボリューションされた入力Ａとして計算され、ここで、「・」は要素毎の乗算である。同様に、重みＷｄ ｊについて、その出力はマスクされた重み
で入力Ａのコンボリューションを介して計算される。
を選択し、ＤＮＮエンコード表現ｙを計算するために使用されるマスク重み
を計算する。次に、テストエンコーダ３２０は、エンコードプロセスにおける圧縮表現ｙ￣を計算する。圧縮表現ｙ￣に基づいて、テストデコーダ３３０はデコードプロセスを介して回復表現ｙ’￣を計算する。ハイパーパラメータλｉを使用して、テストＤＮＮデコーダ３４０は、デコードマスクのセット｛Ｍｄ ｉｊ｝を選択し、マスクされた重み｛Ｗｄ’ｉｊ｝を計算し、これらは、回復表現ｙ’￣に基づいて再構成された画像ｘ￣を計算するために使用される。
マイクロ構造重み単一化ＮＩＣ
重みＷｅ ｊ又はＷｄ ｊ（マスクＭｅ ｉｊ又はＭｄ ｉｊ）の形状は、再成形重みＷｅ ｊ又はＷｄ ｊによる再成形入力のコンボリューションに対応して変更することができ、同じ出力を取得する。実施形態は、２つの構成を含むことができる。先ず、５Ｄ重みテンソルは、サイズ（ｃ’１，ｃ’２，ｋ）の３Ｄテンソルに再成形され、ここでｃ’１×ｃ’２×ｋ＝ｃ１×ｃ２×ｋ１×ｋ２×ｋ３である。例えば、構成は、ｃ’１＝ｃ１，ｃ’２＝ｃ２，ｋ＝ｋ１×ｋ２×ｋ３である。次に、５Ｄ重みテンソルは、サイズ（ｃ’１，ｃ’２）の２Ｄ行列に再成形され、ここで、ｃ１×ｃ’２＝ｃ１×ｃ２×ｋ１×ｋ２×ｋ３である。例えば、構成は、ｃ’１＝ｃ１，ｃ’２＝ｃ２×ｋ１×ｋ２×ｋ３又はｃ’２＝ｃ２，ｃ’１＝ｃ１×ｋ１×ｋ２×ｋ３である。
マスクの所望のマイクロ構造は、コンボリューション演算の実装方法の基礎となる一般的な行列乗算（ＧＥＭＭ）行列乗算プロセスと整合するように設計されているため、マスクされた重み係数を使用する推論計算を高速化できる。本実施形態では、ブロック毎のマイクロ構造が、３Ｄ再成形重みテンソル又は２Ｄ再成形重み行列における各レイヤのマスク（マスク重み係数として）に使用される。具体的には、再成形された３Ｄ重みテンソルについては、サイズ（ｇｉ，ｇｏ，ｇｋ）のブロックに分割され、再成形された２Ｄ重み行列については、サイズ（ｇｉ，ｇｏ）のブロックに分割される。マスクのブロック内の全アイテムは、同じバイナリ値１（プルーニングされていない）又は０（プルーニングされている）を持つ。すなわち、重み係数は、ブロックごとにマイクロ構造化された方法でマスクされる。
Ｗｅ ｊとＷｄ ｊの残りの重み係数（マスクＭｅ ｉｊとＭｄ ｉｊの対応する要素は値１をとる）については、マイクロ構造においてさらに単一化される。再び、再成形された３Ｄ重みテンソルの場合には、それはサイズ（ｐｉ，ｐｏ，ｐｋ）のブロックに分割され、再成形された２Ｄ重み行列の場合には、それはサイズ（ｐｉ，ｐｏ）のブロックに分割される。単一化操作はブロック内で行われる。例えば、実施形態において、重みがブロックＢｕ内で単一化される場合、ブロック内の重みは、同じ絶対値（ブロック内の元の重みの絶対値の平均）を有し、元の符号を保持するように設定される。単一化損失Ｌｕ（Ｂｕ）は、この単一化操作によって生じる誤差を測定することによって計算できる。実施形態では、ブロック内の元の重みの絶対値の標準偏差を使用して、Ｌｕ（Ｂｕ）を計算する。マイクロ構造的に統一された重みを使用する主な利点は、推論計算における乗算の数を節約することである。単一化ブロックＢｕは、プルーニングブロックとは異なる形状を有し得る。
訓練ステージの目標は、マイクロ構造化されたエンコードマスク｛Ｗｅ ｉｊ｝の対応するセットを用いたマイクロ構造化された単一エンコード重み係数のセット｛Ｗｅ ｊ（λｉ）｝、及び、各々のハイパーパラメータλｉをターゲットとしたマイクロ構造化されたデコードマスクの対応セット｛Ｍｄ ｉｊ｝を用いたマイクロ構造化された単一デコード重み係数のセット｛Ｗｄ ｊ（λｉ）｝を学習することである。２つの進歩的マルチステージ訓練フレームワークは、それぞれ図４Ａ及び４Ｂに図示されているこの目標を達成することができる。
図４Ａは、実施形態による、訓練ステージ中の、マイクロ構造化ネストマスク及び重み付け単一化によるマルチレートニューラル画像圧縮のための訓練装置４００Ａのブロック図である。
図４Ａに示すとおり、訓練装置４００Ａは、重み更新コンポーネント４１０、プルーニングコンポーネント４２０、重み更新コンポーネント４３０、単一化コンポーネント４４０及び重み更新コンポーネント４５０を含む。
一般性を失うことなく、ハイパーパラメータλ１，．．．，λｉは、歪みの増加（品質の低下）とレート損失の減少（ビットレートの増加）を伴う圧縮表現を生成するマスクに対応して、降順にランク付けされると仮定する。以下、図４Ａに記載される訓練フレームワークの詳細を説明する。
現在のターゲットは、ハイパーパラメータλｉ－１をターゲットとするマスクを訓練することであり、現在のモデルインスタンスは重み｛Ｗｊ ｅ（λｉ）｝，｛Ｗｊ ｄ（λｉ）｝を有し、マスク｛Ｍｉｊ ｅ｝，｛Ｍｉｊ ｄ｝が存在すると仮定する。ここでの目的は、マスク｛Ｍｅ ｉ－１ｊ｝及び｛Ｍｄ ｉ－１ｊ｝の重みのセットを計算することと同様に、｛Ｗｅ ｊ（λｉ－１）｝及び｛Ｗｄ ｊ（λｉ－１）｝を取得することである。
第１ステップでは、重み更新コンポーネント４１０は、｛Ｍｅ ｉｊ｝及び｛Ｍｄ ｉｊ｝によってマスクされる｛Ｗｅ ｊ（λｉ）｝及び｛Ｗｄ ｊ（λｉ）｝における重み係数をそれぞれ固定する（ｆｉｘｅｓ）。たとえば、Ｍｅ ｉｊのエントリが１の場合、Ｗｅ ｊ（λｉ）の対応する重みは固定される。その後、重み更新コンポーネント４１０は、重み更新プロセスにおいて、第１ハイパーパラメータλ１（最小歪み）を対象とする式（１）のＲ‐Ｄ損失を使用した規則的バックプロパゲーションを介して、｛Ｗｊ ｅ（λｉ）｝及び｛Ｗｊ ｄ（λｉ）｝の残りの非マスク重み係数を、重み係数
及び
に更新する。この重み更新プロセスでＲ－Ｄ損失を最適化するために、たとえば最大反復回数に達するまで、または損失が収束するまで、複数のエポック反復が行われることができる。
その後、第２ステップでマイクロ構造重みプルーニング処理を行う。このプロセスでは、プルーニングプロセスにおいて、、重み係数
及び
を入力として使用し、（例えば、マスク｛Ｍｅ ｉｊ｝及び｛Ｍｄ ｉｊ｝への対応する０エントリで）
及び
の固定されていない重み係数について、プルーニングコンポーネント４２０は、前述のように、各マイクロ構造プルーニングブロックＢｐに対する（３Ｄ再形成された重みテンソルの場合は３Ｄブロック、２Ｄ再形成された重み行列の場合は２Ｄブロック）、プルーニング損失Ｌｓ（Ｂｐ）を計算する（例えば、ブロック内の重みのＬ１又はＬ２ノルム）。プルーニングコンポーネント４２０は、これらのマイクロ構造ブロックを昇順でランク付けし、ランク付けされたマイクロ構造ブロックを、ランク付けされたリストからトップダウンで停止基準に到達するまで（例えば、プルーニングブロックにおいて対応する重みを０として設定することによって）プルーニングする。例えば、バリデーションデータセットＳｖａｌが与えられると、重み
及びマスク｛Ｍｉｊ ｅ｝，｛Ｍｉｊ ｄ｝を有するＮＩＣは、歪み損失
を生成する。より多くのマイクロブロックがプルーニングされるにつれて、この歪み損失は徐々に増加する。停止基準は、歪み損失を増加させることができる許容可能なパーセンテージの閾値であり得る。停止基準は、また、プルーニングされるべきマイクロ構造プルーニングブロックの単純なプリセットパーセンテージであることができる（例えば、上位ランクのプルーニングブロックの８０％がプルーニングされる）。プルーニングコンポーネント４２０は、バイナリプルーニングマスクのセット｛Ｐｅ ｉｊ｝及び｛Ｐｄ ｉｊ｝を生成する。ここで、マスク内のエントリは、０であり、対応する重みＷｅ ｊ又はＷｄ ｊがプルーニングされることを意味する。
その後、重み更新コンポーネント４３０は、プルーニングされるものとして、｛Ｐｉｊ ｅ｝及び｛Ｐｉｊ ｄ｝によってマスクされた
及び
内の追加の非固定重みを固定し、
及び
内の残りの重み（｛Ｍｅ ｉｊ｝及び｛Ｍｄ ｉｊ｝によって固定されているものとしてマスクされないもの、又は｛Ｐｅ ｉｊ｝及び｛Ｐｄ ｉｊ｝）によってプルーニングされているものとしてマスクされるもの）を、バックプロパゲーションによって更新し、ハイパーパラメータλｉ－１をターゲットとする式（１）の全体Ｒ－Ｄ損失を最適化する。この重みｐｐｄａｔｅプロセスにおいてＲ－Ｄ損失を最適化するために、例えば、最大反復数に達するまで、又は損失が収束するまで、複数のエポック反復が行われる。このマイクロ構造重み付けプルーニングプロセスは、更新された重み
及び
を出力する。
その後、第３ステップで、マイクロ構造重み単一化プロセスを行い、マイクロ構造単一化重み｛Ｗｅ ｊ（λｉ－１）｝及び｛Ｗｄ ｊ（λｉ－１）｝を生成する。このプロセスでは、更新された重み
及び
を入力として使用し、｛Ｐｅ ｉｊ｝，｛Ｐｄ ｉｊ｝又は｛Ｍｅ ｉｊ｝，｛Ｍｄ ｉｊ｝のいずれによってもマスクされていない
及び
の非固定重み係数について、単一化コンポーネント４４０は、先ず、先に述べたように、各マイクロ構造化された単一化ブロックＢｕ（３Ｄ再成形重みテンソルに対する３Ｄブロック又は２Ｄ再成形重みマトリックスに対する２Ｄブロック）ついて単一化損失Ｌｓ（Ｂｕ）を計算する。その後、単一化コンポーネント４４０は、これらのマイクロ構造化された単一化ブロックを、その単一化損失に応じて昇順にランク付けし、停止基準に達するまでランク付けされたリストからトップダウンでブロックを単一化（ｕｎｉｆｉｅｓ）する。停止基準は、歪み損失を増加させることができる許容可能なパーセンテージの閾値であり得る。あるいは、停止基準もまた、単一化されるべきマイクロ構造化された単一化ブロックのプリセットパーセンテージであることができる（例えば、上位ランクのプルーニングブロックの５０％が単一化される）。単一化コンポーネント４４０はバイナリ単一化マスクのセット｛Ｕｅ ｉｊ｝及び｛Ｕｄ ｉｊ｝，を生成し、ここで、マスクＵｅ ｉｊ又はＵｄ ｉｊのエントリが０であることは対応する重みが単一化されたことを意味する。
その後、重み更新コンポーネント４５０はＵｅ ｉｊ又はＵｄ ｉｊよってマスクされた
及び
内の追加の非固定重みを固定し、
及び
内の残りの重み（｛Ｍｅ ｉｊ｝及び｛Ｍｄ ｉｊ｝によって固定されていることによりマスクされないか、又は、｛Ｐｅ ｉｊ｝及び｛Ｐｄ ｉｊ｝）によってプルーニングされていることによりマスクされるか、又は、｛Ｕｉｊ ｅ｝及び｛Ｕｉｊ ｄ｝によって単一化されていることによりマスクされるもの）を、バックプロパゲーションによって更新し、ハイパーパラメータλｉ－１をターゲットとする式（１）の全体Ｒ－Ｄ損失を最適化する。この重み更新プロセスでＲ－Ｄ損失を最適化するために、たとえば最大反復回数に達するまで、または損失が収束するまで、複数のエポック反復が行われることができる。このマイクロ構造重み単一化プロセスは、更新された単一化重み｛Ｗｅ ｊ（λｉ－１）｝及び｛Ｗｄ ｊ（λｉ－１）｝を出力する。最終的に、重み更新コンポーネント４５０に対応するマスク｛Ｍｅ ｉ－１ｊ｝及び｛Ｍｄ ｉ－１ｊ｝を、Ｍｅ ｉ－１ｊ＝Ｍｅ ｉｊ∪Ｐｅ ｉｊ及びＭｄ ｉ－１ｊ＝Ｍｄ ｉｊ∪Ｐｄ ｉｊとして計算する。すなわち、Ｍｅ ｉｊ（Ｍｅ ｉｊ）において非固定の非プルーニングエントリＰｅ ｉｊ（Ｐｄ ｉｊ）は、Ｍｅ（ｉ－１ｊ）（Ｍｄ ｉ－１ｊ）においてマスクされているものとして、さらに１にセットされるであろう。
上記のマルチステップ処理サイクルは、ハイパーパラメータλ１に達するまで継続する。最後の訓練サイクルについては、第２マイクロ構造重みプルーニングステップを省略することができ、よりコンパクトでないモデルで良好なＮＩＣ性能が取得され得ることに留意されたい。最終的に更新された重み｛Ｗｅ ｊ（λ１）｝及び｛Ｗｄ ｊ（λ１）｝は、学習されたモデルインスタンスに対する最終的出力重み｛Ｗｅ ｊ｝及び」｛Ｗｄ ｊ｝である。
図４Ｂは、別の実施形態による、訓練ステージ中の、マイクロ構造ネストマスク及び重み単一化による、マルチレートニューラル画像圧縮のための訓練装置４００Ｂのブロック図である。
図４Ｂに示すとおり、訓練装置４００Ｂは、重み更新コンポーネント４５５、プルーニングコンポーネント４６０、重み更新コンポーネント４６５、単一化コンポーネント４７０、重み更新コンポーネント４７５、及び重み補充／更新コンポーネント（ｗｅｉｇｈｔ ｒｅｆｉｌｌｉｎｇ／ｕｐｄａｔｉｎｇ ｃｏｍｐｏｎｅｎｔ）４８０を含む。
図４Ｂは、、別の提案された多段階訓練フレームワークの全体的なワークフローを示す。初期重みのセット｛Ｗｅ ｊ（０）｝及び｛Ｗｄ ｊ（０）｝が与えられた場合（例えば、いくつかの分布に従ってランダムに初期化される）、重み更新コンポーネント４５５は、ハイパーパラメータλ１（最小歪みに対応する）をターゲットとする式（１）のＲ－Ｄ損失を最適化することによって、訓練データセットＳｔｒを使用する規則的バックプロパゲーションを使用する重み更新プロセスを介して、モデル重みのセット
（以下、「｛Ｗ～ｅ ｊ（λ１）｝，｛Ｗ～ｄ ｊ（λ１）｝」と示すことがある。）を学習する。
その後、モデル重み｛Ｗ～ｅ ｊ（λ１）｝，｛Ｗ～ｄ ｊ（λ１）｝に基づいてマイクロ構造化プルーニングプロセスを実施した。このマイクロ構造化プルーニングプロセスでは、プルーニングコンポーネント４６０は、前述したように、各々再形成された３Ｄ重みテンソル又は２Ｄ重みマトリックスをマイクロブロックに分割し（３Ｄ再成形重みテンソルの場合は３Ｄブロック、２Ｄ再成形重みマトリックスの場合は２Ｄブロック）、各マイクロ構造ブロックＢｐについてプルーニング損失Ｌｓ（Ｂｐ）（例えば、ブロック内の重みのＬ１又はＬ２ノルム）を計算する。プルーニングコンポーネント４６０は、これらのマイクロ構造ブロックを昇順でランク付けし、クロ構造化ブロックを、ランク付けされたリスト上で上から下に（例えば、プルーニングブロックにおいて対応する重みを０として設定することによって）プルーニングし、ハイパーパラメータλ１，・・・，λＮのそれぞれを以下の方法でターゲットにする。現在の重みを
とし、対応するバイナリプルーニングマスクを｛Ｐｅ ｉｊ｝及び｛Ｐｄ ｉｊ｝とし、ここで、マスクＰｅ ｉｊ又はＰｄ ｉｊのエントリが０であることは、対応する重み
を取得することが目標となる。この目的を達成するために、プルーニングプロセスにおいて、プルーニングコンポーネント４６０は、｛Ｐｉｊ ｅ｝及び｛Ｐｉｊ ｄ｝によってプルーニングされるようマスクされた重み係数
又は
を固定し、ハイパーパラメータλｉ＋１の停止基準に達するまで、リンクされたランク付けされていない残りのマイクロブロックをプルーニングする。例えば、バリデーションデータセットＳｖａｌが与えられると、重み
を有するＮＩＣは、歪み損失
を生成する。より多くのマイクロブロックがプルーニングされるにつれて、この歪み損失は徐々に増加する。停止基準は、歪み損失を増加させることができる許容可能なパーセンテージの閾値であり得る。あるいは、停止基準は、単に、毎回プルーニングされるプルーニングブロックのプリセットされたパーセンテージであり得る（例えば、上位ランクのブロックの５０％は、ハイパーパラメータλｉ＋１についてプルーニングされ、残りの非プルーニング上位ランクのブロックの５０％は、次のハイパーパラメータλｉ＋２についてプルーニングされる、など）。その後、プルーニングコンポーネント４６０は、これらの追加のプルーニングマイクロブロックを｛Ｐｉｊ ｅ｝及び｛Ｐｉｊ ｄ｝に加えることによって、プルーニングマスク｛Ｐｉ＋１ｊ ｅ｝及び｛Ｐｉ＋１ｊ ｄ｝を生成する。
その後、重み更新プロセスにおいて、重み更新コンポーネント４６５は、｛Ｐｉ＋１ｊ ｅ｝及び｛Ｐｉ＋１ｊ ｄ｝によってマスクされたこれら全てのプルーニングされたマイクロブロックを固定し、規則的なバックプロパゲーションを用いて残りの非固定重みを更新し、ハイパーパラメータλｉ－１をターゲットとする式（１）のＲ－Ｄ損失を最適化する。この結果、更新された重みのセット
が得られる。
ハイパーパラメータλ１，・・・，λＮの各々について上記のプルーニング及び重み更新プロセスを繰り返すことによって、プルーニングコンポーネント４６０は、プルーニングマスクのセット｛Ｐ１ｊ ｅ｝，…，｛ＰＮｊ ｅ｝，｛Ｐ１ｊ ｄ｝，…，｛ＰＮｊ ｄ｝，を取得し、重み更新コンポーネント４６５は、最終的更新重み
を取得する。実施形態において、プルーニングマスク｛Ｐｉｊ ｅ｝及び｛Ｐｉｊ ｄ｝は、ハイパーパラメータλｉのモデルマスク｛Ｍｉｊ ｅ｝及び｛Ｍｉｊ ｄ｝として直接使用される。
その後、重み｛Ｗｊ ｅ｝及び｛Ｗｊ ｄ｝は、更新重み
及びマスク｛Ｍ１ｊ ｅ｝，…，｛Ｍｉｊ ｅ｝及び｛Ｍ１ｊ ｄ｝，…，｛Ｍｉｊ ｄ｝に基づいて、以下の２つのステップを交互に行うことにより、訓練される。
ステップ１において、現在の重み

が与えられると、単一化コンポーネント４７０は、｛Ｍｉｊ ｅ｝及び｛Ｍｉｊ ｄ｝において０としてマスクされた重み係数
を固定し（すなわち、現在のハイパーパラメータλｉの推論には使用されず）、｛Ｍｅ ｉ＋１ｊ｝，｛Ｍｄ ｉ＋１ｊ｝において１としてマスクされた重み係数
を固定する（すなわち、以前のハイパーパラメータλｉ＋１の推論に使用される）。マスク｛Ｍｅ Ｎ＋１ｊ｝及び｛Ｍｄ Ｎ＋１ｊ｝はすべてゼロエントリを有することに留意されたい。その後、マイクロ構造重み単一化プロセスを行い、マイクロ構造的化された単一化重み｛Ｗｊ ｅ（λｉ）｝及び｛Ｗｊ ｄ（λｉ）｝を生成する。このプロセスにおいて、単一化コンポーネント４７０は、先ず、先に述べたように、単一化重み係数の各マイクロ構造化された単一化ブロックＢｕ（３Ｄ再成形重みテンソルに対する３Ｄブロック又は２Ｄ再成形重みマトリックスに対する２Ｄブロック）ついて単一化損失Ｌｓ（Ｂｕ）を計算する。その後、単一化コンポーネント４７０は、これらのマイクロ構造化された単一化ブロックを、その単一化損失に応じて昇順にランク付けし、停止基準に達するまでランク付けされたリストからトップダウンでブロックを単一化する。停止基準は、歪み損失を増加させることができる許容可能なパーセンテージの閾値であり得る。あるいは、停止基準もまた、単一化されるべきマイクロ構造化された単一化ブロックのプリセットパーセンテージであることができる（例えば、上位ランクのプルーニングブロックの５０％が単一化される）。単一化コンポーネント４７０はバイナリ単一化マスクのセット｛Ｕｅ ｉｊ｝及び｛Ｕｄ ｉｊ｝，を生成し、ここで、マスクＵｅ ｉｊ又はＵｄ ｉｊのエントリが０であることは対応する重みが単一化されたことを意味する。
その後、重み更新コンポーネント４７５は、単一化されたものとしてＵｅ ｉｊ又はＵｄ ｉｊによってマスクされた
及び
の追加の非固定重みを固定し、｛Ｍｅ ｉｊ｝及び｛Ｍｄ ｉｊ｝によって固定されていることによりマスクされないか、又は、｛Ｍｅ ｉ＋１ｊ｝及び｛Ｍｄ ｉ＋１ｊ｝によって固定されていることによりマスクされるか、又は、｛Ｕｅ ｉｊ｝及び｛Ｕｄ ｉｊ｝によって単一化されいることによりマスクされる残りの重みを、重み更新プロセスのバックプロパゲーションによって更新し、ハイパーパラメータλｉをターゲットとする式（１）の全体Ｒ－Ｄ損失を最適化する。この重み更新プロセスでＲ－Ｄ損失を最適化するために、たとえば最大反復回数に達するまで、または損失が収束するまで、複数のエポック反復が行われることができる。このマイクロ構造重み単一化プロセスは、更新された単一化重み｛Ｗｊ ｅ（λｉ）｝及び｛Ｗｊ ｄ（λｉ）｝を出力する。
その後、ステップ２において、重み補充及び更新プロセス（ｗｅｉｇｈｔ ｒｅｆｉｌｌ ａｎｄ ｕｐｄａｔｅ ｐｒｏｃｅｓｓ）において、重み補充／更新コンポーネント４８０は、｛Ｍｉｊ ｅ｝及び｛Ｍｄ ｉｊ｝，において１としてマスクされた｛Ｗｊ ｅ（λｉ）｝及び｛Ｗｊ ｄ（λｉ）｝における重み係数を固定し、｛Ｍｅ ｉ－１ｊ｝及び｛Ｍｄ ｉ－１ｊ｝において１として、｛Ｍｉｊ ｅ｝及び｛Ｍｉｊ ｄ｝において０としてマスクされた重み係数を埋め込む。これらの重みは、プルーニングプロセスでプルーニングされるときに元の値で埋め込まれることも、ランダムに初期化された値で埋め込まれることもできる。その後、重み補充／更新コンポーネント４８０は、ハイパーパラメータλｉ－１をターゲットとする式（１）のＲ－Ｄ損失を最適化することによって、規則的なバックプロパゲーションでこれらの新たに埋め込まれた重みを更新する。この結果、更新された重み
が得られる。
この２ステッププロセスは、最後の重み｛Ｗｊ ｅ（λ１）｝，｛Ｗｊ ｄ（λ１）｝が取得されるまで繰り返される。重み｛Ｗｊ ｅ（λ１）｝，｛Ｗｊ ｄ（λ１）｝は最終的出力重み｛Ｗｊ ｅ｝及び｛Ｗｊ ｄ｝である。
図５は、実施形態による、マイクロ構造ネストマスク及び重み単一化による、マルチレートニューラル画像圧縮の方法５００のフローチャートである。
いくつかの実装形態では、図５の１つ以上のプロセスブロックは、プラットフォーム１２０によって実行され得る。いくつかの実装において、図５の１つ以上のプロセスブロックは、ユーザデバイス１１０などのプラットフォーム１１０から分離されているか又はプラットフォーム１２０を含む、別のデバイス又はデバイスの群によって実行され得る。
図５に示すとおり、動作５１０において、方法５００は、第１ハイパーパラメータに基づいてエンコードマスクを選択するステップを含む。
動作５２０において、方法５００は、第１ニューラルネットワークの第１重み群及び選択されたエンコードマスクのコンボリューションを実行し、第１マスク重みを取得する、ステップを含む。
動作５３０において、方法５００は、第１マスク重みを使用して、入力画像をエンコードし、エンコード表現を取得する、ステップを含む。
動作５４０において、方法５００は、取得されたエンコード表現をエンコードし、圧縮表現を取得する、ステップを含む。
図５は、方法５００のブロック例を示しているが、いくつかの実装において、方法５００は、図５に示されたものよりも、追加のブロック、より少ないブロック、異なるブロック、又は異なって配置のブロックを含み得る。さらに又はあるいは、方法５００のブロックのうちの２つ以上は、並行して実施され得る。
図６は、実施形態による、マイクロ構造ネストマスク及び重み単一化による、マルチレートニューラル画像圧縮のための装置６００のブロック図である。
図６に示すように、装置６００は、第１選択コード６１０、第１実行コード６２０、第１符号化コード６３０、第２符号化コード６４０を含む。
選択コード８１０は、少なくとも１つのプロセッサに、ハイパーパラメータに基づいてエンコードマスクを選択させるように構成されている。
第１実行コード６２０は、少なくとも１つのプロセッサに、第１ニューラルネットワークの第１重み群及び選択されたエンコードマスクのコンボリューションを実行させ、第１マスク重みを取得させる、ように構成されている。
第１エンコードコード６３０は、少なくとも１つのプロセッサに、入力画像をエンコードさせ、第１マスク重みを使用して、エンコード表現を取得させる、ように構成されている。
第２生成コード６４０はさらに、少なくとも１つのプロセッサに、取得されたエンコード表現をエンコードさせ、圧縮表現を取得させる、ように構成されている。
図７は、実施形態による、マイクロ構造ネストマスク及び重み単一化による、マルチレートニューラル画像解凍の方法７００のフローチャートである。
いくつかの実装形態では、図７の１つ以上のプロセスブロックは、プラットフォーム１２０によって実行され得る。いくつかの実装において、図７の１つ以上のプロセスブロックは、ユーザデバイス１１０などのプラットフォーム１１０から分離されているか又はプラットフォーム１２０を含む、別のデバイス又はデバイスの群によって実行され得る。
図７に示すとおり、動作７１０において、方法７００は、取得された圧縮表現をデコードし、回復表現を取得する、ステップを含む。
動作７２０において、方法７００は、第１ハイパーパラメータに基づいて、デコードマスクを選択するステップを含む。
動作７３０において、方法７００は、第２ニューラルネットワークの第２重み群及び選択されたデコードマスクのコンボリューションを実行し、第２マスク重みを取得する、ステップを含む。
動作７４０において、方法７００は、第２マスク重みを使用して、取得された回復表現をデコードし、出力画像を再構成する、ステップを含む。
第１ニューラルネットワーク及び第２ニューラルネットワークは、エンコードマスク及びデコードマスクによってそれぞれマスクされていない第１重み群及び第２重み群のうちの１つ以上を更新し、入力画像、出力画像及び圧縮表現に基づいて決定されるレートゆがみ損失を最小化する、ステップによって訓練され得る。
第１ニューラルネットワーク及び第２ニューラルネットワークはさらに、エンコードマスク及びデコードマスクによってそれぞれマスクされない第１重み群及び第２重み群のうちの、更新された１つ以上をプルーニングし、第１重み群及び第２重み群のうちのいずれがプルーニングされているかを示すバイナリプルーニングマスクを取得する、ステップと、エンコードマスク、デコードマスク、及び取得されたバイナリプルーニングマスクによってそれぞれマスクされていない第１重み群及び第２重み群のうちの少なくとも１つを更新し、レート歪み損失を最小化する、ステップと、によって訓練され得る。
第１ニューラルネットワーク及び第２ニューラルネットワークはさらに、エンコードマスク、デコードマスク、及び取得された前記バイナリプルーニングマスクによってそれぞれマスクされていない第１重み群及び第２重み群のうちの、更新された少なくとも１つを単一化し、第１重み群及び第２重み群のうちのいずれが単一化されているかを示すバイナリ単一化マスクを取得する、ステップと、エンコードマスク、デコードマスク、取得されたバイナリプルーニングマスク、及び取得されたバイナリ単一化マスクによってそれぞれマスクされていない第１重み群及び第２重み群のうちの少なくとも部分を更新し、前記レート歪み損失を最小化する、ステップと、によって訓練され得る。
第１ニューラルネットワーク及び第２ニューラルネットワークはさらに、複数のハイパーパラメータのそれぞれについて、第１重み群及び第２重み群のうちの、更新された１つ以上をプルーニングするステップ、第１重み群及び第２重み群のうちの前記少なくとも１つを更新するステップ、第１重み群及び第２重み群のうちの、更新された少なくとも１つを単一化するステップ、及び第１重み群及び第２重み群のうちの部分を更新するステップ、を繰り返すステップによって訓練され得る。
第１ニューラルネットワーク及び第２ニューラルネットワークはさらに、エンコードマスク及びデコードマスクにおいて１としてマスクされた、第１重み群及び第２重み群のうちの、更新された部分の第１セットを固定するステップ（ｆｉｘｉｎｇ）と、エンコードマスク及びデコードマスクにおいて０としてマスクされた、第１重み群及び第２重み群のうちの、更新された部分の第２セットを埋め込むステップ（ｆｉｌｌｉｎｇ）と、第１重み群及び第２重み群のうちの埋め込まれた第２セットを更新し、レート歪み損失を最小化する、ステップと、によって訓練され得る。
図７は、方法７００のブロック例を示しているが、いくつかの実装において、方法７００は、図７に示されたものよりも、追加のブロック、より少ないブロック、異なるブロック、又は異なって配置のブロックを含み得る。さらに又はあるいは、方法７００のブロックのうちの２つ以上は、並行して実施され得る。
図８は、実施形態による、マイクロ構造ネストマスク及び重み単一化による、マルチレートニューラル画像解凍のための装置８００のブロック図である。
図８に示すように、装置８００は、第１デコードコード８１０と、第２選択コード８２０と、第２実行コード８３０と、第２デコードコード８４０とを含む。
第１デコードコード８１０は、少なくとも１つのプロセッサに、取得された圧縮表現をデコードさせ、回復表現を取得させる、ように構成されている。
第２選択コード８２０はさらに、少なくとも１つのプロセッサに、第１ハイパーパラメータに基づいて、デコードマスクを選択させるように構成されている。
第２実行コード８３０はさらに、少なくとも１つのプロセッサに、第２ニューラルネットワークの第２重み群及び選択されたデコードマスクのコンボリューションを実行させ、第２マスク重みを取得させる、ように構成されている。
第２デコードコード８４０はさらに、少なくとも１つのプロセッサに、第２マスク重みを使用して、取得された回復表現をデコードさせ、出力画像を再構成させる、ように構成されている。
第１ニューラルネットワーク及び第２ニューラルネットワークは、エンコードマスク及ｋデコードマスクによってそれぞれマスクされていない第１重み群及び第２重み群のうちの１つ以上を更新し、入力画像、出力画像及び圧縮表現に基づいて決定されるレート歪み損失を最小化する、ステップによって訓練され得る。
第１ニューラルネットワーク及び第２ニューラルネットワークはさらに、エンコードマスク及びデコードマスクによってそれぞれマスクされない第１重み群及び第２重み群のうちの、更新された１つ以上をプルーニングし、第１重み群及び第２重み群のうちのいずれがプルーニングされているかを示すバイナリプルーニングマスクを取得する、ステップと、エンコードマスク、デコードマスク、及び取得されたバイナリプルーニングマスクによって、それぞれマスクされていない第１重み群及び第２重み群のうちの少なくとも１つを更新し、レート歪み損失を最小化する、ステップと、によって訓練され得る。
第１ニューラルネットワーク及び第２ニューラルネットワークはさらに、エンコードマスク、デコードマスク、及び取得されたバイナリプルーニングマスクによってそれぞれマスクされていない第１重み群及び第２重み群のうちの、更新された少なくとも１つを単一化し、第１重み群及び第２重み群のうちのいずれが単一化されているかを示すバイナリ単一化マスクを取得する、ステップと、エンコードマスク、デコードマスク、取得されたバイナリプルーニングマスク、及び取得されたバイナリ単一化マスクによってそれぞれマスクされていない第１重み群及び第２重み群のうちの、少なくとも部分を更新し、レート歪み損失を最小化する、ステップと、によって訓練され得る。
第１ニューラルネットワーク及び第２ニューラルネットワークはさらに、複数のハイパーパラメータそれぞれについて、第１重み群及び第２重み群のうちの、更新された１つ以上をプルーニングするステップ、第１重み群及び第２重み群のうちの少なくとも１つを更新するステップ、第１重み群及び前記第２重み群のうちの、更新された少なくとも１つを単一化するステップ、及び第１重み群及び第２重み群のうちの部分を更新するステップ、を繰り返すステップ、によって訓練され得る。
第１ニューラルネットワーク及び第２ニューラルネットワークはさらに、エンコードマスク及びデコードマスクにおいて１としてマスクされた、第１重み群及び第２重み群のうちの更新された部分の第１セットを固定するステップと、エンコードマスク及びデコードマスクにおいて０としてマスクされた、第１重み群及び第２重み群のうちの更新された部分の第２セットを埋め込むステップ（ｆｉｌｌｉｎｇ）と、第１重み群及び第２重み群のうちの埋め込まれた第２セットを更新し、レート歪み損失を最小化する、ステップと、によって訓練され得る。
従来のＥ２Ｅ画像圧縮方法と比較して、実施形態は、マルチレート圧縮を達成するための展開ストレージの大幅な削減、及び、推論時間の大幅な削減、及び、様々なタイプのＮＩＣモデルに適応する柔軟かつ汎用的なフレームワークを含む。実施形態は、さらに、マルチレートマスキング及びマイクロ構造単一化の両方のために、任意の所望のマイクロ構造を適応するための柔軟性を有する。
提案された方法は、別々に又は任意の順序で組み合わせて用いられることができる。さらに、方法（又は実施形態）、エンコーダ、及びデコーダの各々は、処理回路（例えば、１つ以上のプロセッサ、又は１つ以上の集積回路）によって実装され得る。一実施例では、１つ以上のプロセッサは、非一時的コンピュータ可読媒体に格納されたプログラムを実行する。
前述の開示は、図示及び解説を提供するが、網羅的であることを意図するものではなく、また、実施形態を開示された正確な形態に限定することを意図するものでもない。変更及び変形は、上記の教示に照らして可能であるか、又は実施形態の実施から取得することができる。
本明細書で使用される場合、用語「構成要素」は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせとして広く解釈されることを意図している。
本明細書に記載したシステム及び／又は方法は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせの異なる形態で実施することができることは明らかであろう。これらのシステム及び／又は方法を実施するために使用される実際の特殊化された制御ハードウェア又はソフトウェアコードは、実施を制限するものではない。したがって、システム及び／又は方法の動作及び挙動は、特定のソフトウェアコードを参照することなく本明細書に記載されており、ソフトウェア及びハードウェアは、本明細書の記載に基づいてシステム及び／又は方法を実施するように設計され得ることが理解される。
特徴の組み合わせが特許請求の範囲に記載され、及び／又は、明細書に開示されているとしても、これらの組み合わせは、可能な実施の開示を制限するものではない。実際、これらの特徴の多くは、請求項に具体的に記載されていない、及び／又は明細書に開示されていない方法で組み合わせることができる。以下に列挙される各従属クレームは、１つの請求項のみに直接従属し得るが、可能な実装の開示には、特許請求の範囲内の他のすべての請求項と組み合わされた各従属請求項が含まれる。
本明細書中で使用される要素、作用、又は命令は、明示的に記述されない限り、重要又は必須と解釈されない。また、本明細書で使用される「１つ（”ａ” ａｎｄ ”ａｎ”）」という用語は、１つ以上のアイテムを含むことを意図し、「１つ以上（”ｏｎｅ ｏｒ ｍｏｒｅ．”）」と互換的に使用することができる。さらに、本明細書で使用される「セット（”ｓｅｔ”）」という用語は、１つ以上のアイテム（例えば、関連アイテム、非関連アイテム、関連アイテムと非関連アイテムとの組み合わせ等を含むことを意図し、「１つ以上」と互換的に使用することができる。１つのアイテムのみが意図される場合、用語「１つ（”ｏｎｅ”）」又は類似の言語が使用される。また、本明細書で使用される場合、「有する、備える、持つ（”ｈａｓ，” ”ｈａｖｅ，” ”ｈａｖｉｎｇ，”）」などの用語は、自由形式の用語（ｏｐｅｎ－ｅｎｄｅｄ ｔｅｒｍｓ）であることが意図されている。さらに、「に基づく（”ｂａｓｅｄ ｏｎ”）」という句は、特に明記しない限り、「少なくとも部分的に、に基づく（”ｂａｓｅｄ， ａｔ ｌｅａｓｔ ｉｎ ｐａｒｔ， ｏｎ”）」を意味することを意図している。

Claims (9)

  1. 少なくとも１つのプロセッサによって実行される、マルチレートニューラル画像圧縮の方法であって、
    第１ハイパーパラメータに基づいてエンコードマスクを選択するステップと、
    第１ニューラルネットワークの第１重み群及び選択された前記エンコードマスクのコンボリューションを実行し、第１マスク重みを取得する、ステップと、
    入力画像をエンコードし、前記第１マスク重みを使用して、エンコード表現を取得する、ステップと、
    取得された前記エンコード表現をエンコードし、圧縮表現を取得する、ステップと
    を含む、方法。
  2. 取得された前記圧縮表現をデコードし、回復表現を取得する、ステップと、
    前記第１ハイパーパラメータに基づいて、デコードマスクを選択するステップと、
    第２ニューラルネットワークの第２重み群及び選択された前記デコードマスクのコンボリューションを実行し、第２マスク重みを取得する、ステップと、
    前記第２マスク重みを使用して、取得された前記回復表現をデコードし、出力画像を再構成する、ステップと、
    を含む、請求項１記載の方法。
  3. 前記第１ニューラルネットワーク及び前記第２ニューラルネットワークは、
    前記エンコードマスク及び前記デコードマスクによってそれぞれマスクされていない前記第１重み群及び前記第２重み群のうちの１つ以上を更新し、前記入力画像、前記出力画像及び前記圧縮表現に基づいて決定されるレート歪み損失を最小化する、ステップ
    によって訓練される、請求項２記載の方法。
  4. 前記第１ニューラルネットワーク及び前記第２ニューラルネットワークはさらに、
    前記エンコードマスク及び前記デコードマスクによってそれぞれマスクされない前記第１重み群及び前記第２重み群のうちの更新された１つ以上をプルーニングし、前記第１重み群及び前記第２重み群のうちのいずれがプルーニングされているかを示すバイナリプルーニングマスクを取得する、ステップと、
    前記エンコードマスク、前記デコードマスク、及び取得された前記バイナリプルーニングマスクによってそれぞれマスクされていない前記第１重み群及び前記第２重み群のうちの少なくとも１つを更新し、前記レート歪み損失を最小化する、ステップと、
    によって訓練される、請求項３記載の方法。
  5. 前記第１ニューラルネットワーク及び前記第２ニューラルネットワークはさらに、
    前記エンコードマスク、前記デコードマスク、及び取得された前記バイナリプルーニングマスクによってそれぞれマスクされていない前記第１重み群及び前記第２重み群のうちの更新された少なくとも１つを単一化し、前記第１重み群及び前記第２重み群のうちのいずれが単一化されているかを示すバイナリ単一化マスクを取得する、ステップと、
    前記エンコードマスク、前記デコードマスク、取得された前記バイナリプルーニングマスク、及び取得されたバイナリ単一化マスクによってそれぞれマスクされていない前記第１重み群及び前記第２重み群のうちの少なくとも部分を更新し、前記レート歪み損失を最小化する、ステップと、
    によって訓練される、請求項４記載の方法。
  6. 前記第１ニューラルネットワーク及び前記第２ニューラルネットワークはさらに、
    複数のハイパーパラメータそれぞれについて、前記第１重み群及び前記第２重み群のうちの更新された１つ以上をプルーニングするステップ、前記第１重み群及び前記第２重み群のうちの前記少なくとも１つを更新するステップ、前記第１重み群及び前記第２重み群のうちの前記更新された少なくとも１つを単一化するステップ、及び前記第１重み群及び前記第２重み群のうちの前記部分を更新するステップ、を繰り返すステップ
    によって訓練される、請求項５記載の方法。
  7. 前記第１ニューラルネットワーク及び前記第２ニューラルネットワークはさらに、
    前記エンコードマスク及び前記デコードマスクにおいて１としてマスクされた、前記第１重み群及び前記第２重み群のうちの更新された部分の第１セットを固定するステップと、
    前記エンコードマスク及び前記デコードマスクにおいて０としてマスクされた、前記第１重み群及び前記第２重み群のうちの前記更新された部分の第２セットを埋め込むステップと、
    前記第１重み群及び前記第２重み群のうちの埋め込まれた第２セットを更新し、前記レート歪み損失を最小化する、ステップと、
    によって訓練される、請求項５記載の方法。
  8. マルチレートニューラル画像圧縮のための装置は、
    プログラムコードを格納するように構成された少なくとも１つのメモリと、
    前記プログラムコードを読み取り、前記プログラムコードによって命令されるように動作するように構成された少なくとも１つのプロセッサと、
    を備え、
    前記プログラムコードは、前記少なくとも１つのプロセッサに請求項１乃至７記載の方法を実行させるコード、
    を含む、装置。
  9. マルチレートニューラル画像圧縮のためのプログラムであって、少なくとも１つのプロセッサによって実行されるときに、
    前記少なくとも１つのプロセッサに、請求項１乃至７いずれか１項記載の方法を実行させるように構成されている、プログラム。
JP2022529834A 2020-08-14 2021-06-02 μ構造化ネストマスク及び重み単一化によるマルチレートニューラル画像圧縮モデルを圧縮及び加速するための方法及び装置 Active JP7342265B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063065598P 2020-08-14 2020-08-14
US63/065,598 2020-08-14
US17/317,055 2021-05-11
US17/317,055 US20220051101A1 (en) 2020-08-14 2021-05-11 Method and apparatus for compressing and accelerating multi-rate neural image compression model by micro-structured nested masks and weight unification
PCT/US2021/035462 WO2022035493A1 (en) 2020-08-14 2021-06-02 Method and apparatus for compressing and accelerating multi-rate neural image compression model by micro-structured nested masks and weight unification

Publications (2)

Publication Number Publication Date
JP2023503927A JP2023503927A (ja) 2023-02-01
JP7342265B2 true JP7342265B2 (ja) 2023-09-11

Family

ID=80222962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022529834A Active JP7342265B2 (ja) 2020-08-14 2021-06-02 μ構造化ネストマスク及び重み単一化によるマルチレートニューラル画像圧縮モデルを圧縮及び加速するための方法及び装置

Country Status (6)

Country Link
US (1) US20220051101A1 (ja)
EP (1) EP4026316A4 (ja)
JP (1) JP7342265B2 (ja)
KR (1) KR20220070291A (ja)
CN (1) CN114556911B (ja)
WO (1) WO2022035493A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210406691A1 (en) * 2020-06-29 2021-12-30 Tencent America LLC Method and apparatus for multi-rate neural image compression with micro-structured masks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020335B1 (en) 2000-11-21 2006-03-28 General Dynamics Decision Systems, Inc. Methods and apparatus for object recognition and compression
US20190124346A1 (en) 2017-10-19 2019-04-25 Arizona Board Of Regents On Behalf Of Arizona State University Real time end-to-end learning system for a high frame rate video compressive sensing network
US20200234406A1 (en) 2019-01-18 2020-07-23 Arizona Board Of Regents On Behalf Of Arizona State University Lapran: a scalable laplacian pyramid reconstructive adversarial network for flexible compressive sensing reconstruction

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6366614B1 (en) * 1996-10-11 2002-04-02 Qualcomm Inc. Adaptive rate control for digital video compression
US10623775B1 (en) * 2016-11-04 2020-04-14 Twitter, Inc. End-to-end video and image compression
US20200160565A1 (en) * 2018-11-19 2020-05-21 Zhan Ma Methods And Apparatuses For Learned Image Compression
CN111008640B (zh) * 2019-10-17 2024-03-19 平安科技（深圳）有限公司 图像识别模型训练及图像识别方法、装置、终端及介质
US11816574B2 (en) * 2019-10-25 2023-11-14 Alibaba Group Holding Limited Structured pruning for machine learning model
US12242969B2 (en) * 2020-06-22 2025-03-04 Nokia Technologies Oy Graph diffusion for structured pruning of neural networks
US20210406691A1 (en) * 2020-06-29 2021-12-30 Tencent America LLC Method and apparatus for multi-rate neural image compression with micro-structured masks
US11657285B2 (en) * 2020-07-30 2023-05-23 Xfusion Digital Technologies Co., Ltd. Methods, systems, and media for random semi-structured row-wise pruning in neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020335B1 (en) 2000-11-21 2006-03-28 General Dynamics Decision Systems, Inc. Methods and apparatus for object recognition and compression
US20190124346A1 (en) 2017-10-19 2019-04-25 Arizona Board Of Regents On Behalf Of Arizona State University Real time end-to-end learning system for a high frame rate video compressive sensing network
US20200234406A1 (en) 2019-01-18 2020-07-23 Arizona Board Of Regents On Behalf Of Arizona State University Lapran: a scalable laplacian pyramid reconstructive adversarial network for flexible compressive sensing reconstruction

Also Published As

Publication number Publication date
EP4026316A1 (en) 2022-07-13
CN114556911A (zh) 2022-05-27
EP4026316A4 (en) 2023-01-11
KR20220070291A (ko) 2022-05-30
CN114556911B (zh) 2024-07-23
JP2023503927A (ja) 2023-02-01
WO2022035493A1 (en) 2022-02-17
US20220051101A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
KR102899664B1 (ko) 마이크로구조화된 마스크들을 사용한 멀티레이트 신경 이미지 압축 방법 및 장치
JP7420942B2 (ja) 敵対的生成器を用いたレート適応ニューラル画像圧縮のための方法及び装置
KR20220042455A (ko) 마이크로-구조화된 가중치 프루닝 및 가중치 통합을 이용한 신경 네트워크 모델 압축을 위한 방법 및 장치
JP7712027B2 (ja) ニューラル画像圧縮のための潜在空間における代用品質ファクタ学習
JP7418570B2 (ja) スタック可能ネスト化モデル構造を用いたマルチレート・ニューラルイメージ圧縮のための方法および装置
JP7471730B2 (ja) メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための方法、装置及びプログラム
JP7411117B2 (ja) メタ学習による柔軟なハイパー事前モデルを用いる適応画像圧縮のための方法、装置及びコンピュータプログラム
JP7425870B2 (ja) 積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のための方法及び装置
JP7342265B2 (ja) μ構造化ネストマスク及び重み単一化によるマルチレートニューラル画像圧縮モデルを圧縮及び加速するための方法及び装置
JP2024518239A (ja) ニューラル画像圧縮における反復的なコンテンツ適応型オンライントレーニングのためのシステム、方法、及びコンピュータプログラム
JP2023526180A (ja) 滑らかな品質制御による適応ニューラル画像圧縮のための代替の入力最適化
JP7652925B2 (ja) ニューラル画像圧縮における複数ブロック用のコンテンツ適応型オンライン訓練のためのシステム、方法、およびコンピュータプログラム
JP7434605B2 (ja) メタ学習によるスムーズな品質制御を用いた適応ニューラル画像圧縮のための方法、装置、非一時的コンピュータ可読媒体、およびコンピュータプログラム
JP2024513432A (ja) ニューラルネットワークを使用する、エンドツーエンド（ｅ２ｅ）ニューラル画像圧縮（ｎｉｃ）用のコンテンツ適応型オンライン訓練の方法、装置及びコンピュータプログラム
HK40072069A (en) Multi rate neural image compression method, device and electronic equipment
HK40072069B (zh) 多速率神经图像压缩方法、装置以及电子设备
HK40072071A (en) Multi bit rate neural image compression method, equipment and storage medium
HK40072071B (zh) 多比特率神经图像压缩方法及设备以及存储介质
HK40073581A (en) Feature replacement method and apparatus for end-to-end image compression, electronic device and computer-readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230830

R150 Certificate of patent or registration of utility model

Ref document number: 7342265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150