JP7825447B2 - 符号化装置、プログラム、及びモデル生成方法 - Google Patents

Description

本発明は、符号化装置、プログラム、及びモデル生成方法に関する。

一般的に、動画像を符号化する符号化装置は、原画像と予測画像との差分を表す残差信号に対して変換処理を行って得られる変換係数に対して量子化を行う量子化部と、量子化部により得られる量子化後の変換係数をエントロピー符号化するエントロピー符号化部とを有する。量子化部は、例えば、量子化パラメータＱＰから算出される量子化ステップ（Ｑ_step）により変換係数を除算することで、実数で表されるスケール後変換係数を導出したうえで、スケール後変換係数を丸め処理により整数に変換（すなわち、量子化）した量子化後変換係数を導出する。

ＨＥＶＣ（High Efficiency Video Coding）方式及びＶＶＣ（Versatile Video Coding）方式では、量子化部が量子化後の変換係数を導出（量子化）する際に、ＲＤＯＱ（Rate Distortion Quantized Optimization）と呼ばれる技術が用いられている。ＲＤＯＱでは、式（１）に示すようにＲＤ（Rate Distortion）コストを最小化することで最適な量子化処理を決定する。

ここで、λはＱＰなどの量子化パラメータによって決定される定数であり、ｘは量子化前の変換係数であり、ｑは量子化後の変換係数である。また、Ｄ（ｑ，ｘ）は量子化歪みであり、一般的にｘ及びｑの残差二乗和で表される。Ｒ（ｑ）はｑをエントロピー符号化したビットレートである。

エントロピー符号化では、入力データに対して、その発生確率に基づいて異なる長さの符号を割り当てることで、入力データを効率的に符号化する。動画像符号化では、例えば、高効率な符号化方式であるＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）を用いてシンタックス要素のロスレス圧縮を行う。上記（１）式の第２項に相当するビットレートＲ（ｑ）を算出する際には、変換係数用のシンタックス要素及びそのコンテキスト値を用いる。

ＣＡＢＡＣは、二値算術符号化、及び２値シンボルの生起確率を周囲のパラメータの状態（コンテキスト値）に基づいて推定するコンテキスト適応処理を用いたエントロピー符号化手法である。具体的には、入力される２値シンボルの値及びＭＰＳ（Most Probable Symbol：０及び１のうち出現する確率が高いシンボル）生起確率に基づいて数直線を区間分割していき、最終的に得られた区間の２進数表現を入力２値シンボル系列の符号語とする。ここで、２値シンボルのＭＰＳ生起確率を表すコンテキスト値は、シンタックス要素ごとに異なる定まった法則に従い算出される。

一方、非特許文献１には、符号化効率を向上させるために、貪欲法による量子化結果を教師データとして用いてニューラルネットワークに学習させてニューラルネットワークモデルを生成し、量子化部がニューラルネットワークモデルを用いて量子化処理を決定する技術が記載されている。このような技術（以下、「先行研究」と呼ぶ）では、量子化部は、量子化前の変換係数及び量子化後の変換係数をニューラルネットワークモデルに入力して得られる量子化調整値を用いて当該量子化後の変換係数を調整する。

D. Kianfar, A. Wiggers, A. Said, R. Pourreza, T. Cohen, Parallelized Rate-Distortion Optimized Quantization using Deep Learning, IEEE MMSP 2020

エントロピー符号化では、量子化部による量子化後の変換係数のシンタックス要素値をそのコンテキスト値を用いて符号化する。量子化後の変換係数の決定にはシンタックス要素値及びコンテキスト値も用いているため、ニューラルネットワークを用いた量子化処理においてもシンタックス要素値及びコンテキスト値を考慮することで、符号化効率が向上すると考えられる。

しかしながら、先行研究では、量子化後の変換係数をニューラルネットワークモデルへの入力として用いているが、量子化後の変換係数を決定する際に計算されるシンタックス要素値及びコンテキスト値をニューラルネットワークモデルへの入力として用いておらず、ニューラルネットワークモデルを用いた量子化処理を改善する余地がある。

そこで、本発明は、ニューラルネットワークモデルを用いた量子化処理を改善可能な符号化装置、プログラム、及びモデル生成方法を提供することを目的とする。

第１の態様に係る符号化装置は、原画像と予測画像との差分を表す残差信号に対して変換処理を行って得られる変換係数に対して量子化を行う量子化部と、前記変換係数のためのシンタックス要素値を当該シンタックス要素値のコンテキスト値を用いてエントロピー符号化するエントロピー符号化部と、を備える。前記量子化部は、量子化前の前記変換係数と、量子化後の前記変換係数と、前記シンタックス要素値及び前記コンテキスト値と、をニューラルネットワークモデルに入力して得られる出力に応じて当該量子化後の前記変換係数を調整することにより、最適量子化後の前記変換係数を出力する。

第２の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させる。

第３の態様に係るモデル生成方法は、符号化のための学習済みニューラルネットワークモデルを生成する方法である。前記モデル生成方法は、量子化前の変換係数と、量子化後の当該変換係数と、当該変換係数のためのシンタックス要素値と、当該シンタックス要素値のコンテキスト値と、全探索又は貪欲法を用いて導出された最適量子化後の当該変換係数とを教師データとして取得するステップと、前記教師データを用いた機械学習を行うステップと、量子化前の変換係数と、量子化後の当該変換係数と、当該変換係数のためのシンタックス要素値と、当該シンタックス要素値のコンテキスト値とを入力とし、かつ、当該量子化後の当該変換係数を最適化するよう調整するための調整値を出力とするニューラルネットワークモデルを生成するステップと、を有する。

本発明によれば、ニューラルネットワークモデルを用いた量子化処理を改善可能な符号化装置、プログラム、及びモデル生成方法を提供できる。

実施形態に係る符号化装置の構成を示す図である。 スキャン順の種類の一例を示す図である。 実施形態に係る量子化処理の概要を説明するための図である。 実施形態に係るＲＤＯＱ処理部の構成例を示す図である。 エントロピー符号化部による変換係数の符号化の一例を示す図である。 実施形態に係る最適化処理部の構成例を示す図である。 実施形態に係る最適化処理部の構成の変更例を示す図である。 実施形態に係るニューラルネットワークモデルの一例を示す図である。 実施形態に係るモデル生成方法を示す図である。

図面を参照して、実施形態について説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

（実施形態の概要）
実施形態に係る符号化装置は、原画像と予測画像との差分を表す残差信号に対して変換処理を行って得られる変換係数に対して量子化を行う量子化部と、前記変換係数のためのシンタックス要素値を当該シンタックス要素値のコンテキスト値を用いてエントロピー符号化するエントロピー符号化部と、を備える。前記量子化部は、量子化前の前記変換係数と、量子化後の前記変換係数と、前記シンタックス要素値及び前記コンテキスト値と、をニューラルネットワークモデルに入力して得られる出力に応じて当該量子化後の前記変換係数を調整することにより、最適量子化後の前記変換係数を出力する。

このように、量子化前の変換係数及び量子化後の変換係数だけではなく、変換係数のシンタックス要素値及びそのコンテキスト値をニューラルネットワークモデルへの入力として用いる。すなわち、ニューラルネットワークモデルへの新たな入力パラメータとしてシンタックス要素値及びそのコンテキスト値を導入する。これにより、量子化後の変換係数をより適切に調整可能になる。よって、ニューラルネットワークモデルを用いた量子化処理を改善できるため、符号化効率が向上する。

（符号化装置）
（１）符号化装置の構成
まず、本実施形態に係る符号化装置の構成について説明する。本実施形態に係る符号化装置は、ＭＰＥＧに代表される動画像の符号化を行う。図１は、本実施形態に係る符号化装置１の構成を示す図である。符号化装置１は、画像を分割して得たブロック単位で符号化を行う装置である。

図１に示すように、符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず矩形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ復号装置が復号を行う単位（復号対象ブロック）である。このような画像ブロックはＣＵ（Coding Unit）と呼ばれることがある。

減算部１１０は、ブロック分割部１００が出力する符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

変換部１２１は、減算部１１０が出力する予測残差に対して変換処理を行って周波数成分ごとの変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理（変換）とは、画素領域の信号を周波数領域の信号に変換する処理をいい、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）、及びそれらを整数化した変換等をいう。また、変換処理には、画素領域の信号を周波数領域の信号に変換することなくスケーリング等により調整する変換スキップを含んでもよい。

量子化部１２２は、変換部１２１が出力する変換係数に対して量子化処理を行い、量子化後の変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。具体的には、量子化部１２２は、原画像のブロックと予測画像のブロックとの差分を表す残差信号に対して変換処理を行って得られる２次元の変換係数に対して量子化処理を行い、２次元の量子化後変換係数を出力する。本実施形態に係る量子化処理には、予め生成された学習済みモデルとしてニューラルネットワークモデルが用いられる。量子化部１２２の詳細については後述する。

エントロピー符号化部１３０は、量子化部１２２が出力する量子化後の変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化ストリーム（ビットストリーム）を生成し、符号化ストリームを符号化装置１の外部に出力する。具体的には、エントロピー符号化部１３０は、量子化部１２２により得られる２次元の量子化後変換係数をスキャン順に応じて１次元に変換（すなわち、シリアライズ）したうえでエントロピー符号化を行う。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ等を用いることができる。本実施形態において、エントロピー符号化にＣＡＢＡＣを用いる一例について説明するが、他のエントロピー符号化を用いてもよい。

エントロピー符号化部１３０が用いるスキャン順は１種類のみであってもよいし、イントラ予測モード又は変換スキップに応じて複数種類のスキャン順の中から１つのスキャン順を選択してもよい。図２は、スキャン順の種類の一例を示す図である。例えば、符号化対象ブロックが８×８のサイズを有し、エントロピー符号化部１３０が４×４の係数グループ（ＣＧ：Coefficient Group）単位でスキャンを行う。スキャン順は、図２（ａ）に示すｄｉａｇｏｎａｌ、図２（ｂ）に示すｈｏｒｉｚｏｎｔａｌ、及び図２（ｃ）に示すｖｅｒｔｉｃａｌの３種類を含む。エントロピー符号化部１３０は、イントラ予測モード又は変換スキップに応じて選択したスキャン順により２次元の量子化後変換係数を１次元に変換（すなわち、シリアライズ）したうえで、ＣＡＢＡＣ等のエントロピー符号化を行う。このようなシリアライズにより、８×８変換係数の場合は６４×１の変換係数に変換されることになる。エントロピー符号化部１３０は、複数種類のスキャン順の中から１つのスキャン順を選択する場合、選択したスキャン順を示す情報を量子化部１２２に出力してもよい。

なお、ＣＡＢＡＣは、二値算術符号化、及び２値シンボルの生起確率を周囲のパラメータの状態（コンテキスト）に基づいて推定するコンテキスト適応処理を用いたエントロピー符号化手法である。入力される２値シンボルの値及びＭＰＳ生起確率に基づいて数直線を区間分割していき、最終的に得られた区間の２進数表現を入力２値シンボル系列の符号語とする。２値シンボルのＭＰＳ生起確率は、それまでに出現した２値シンボルの値に基づいて推定する。すなわち、所定の確率推定モデルに基づき、２値シンボルがＭＰＳであった場合はＭＰＳ生起確率を高め、ＭＰＳでなかった場合はＭＰＳ生起確率を低下させる制御により、その後に出現する２値シンボルのＭＰＳ生起確率を更新する。

また、エントロピー符号化部１３０は、ブロック分割部１００から各符号化対象ブロックのサイズ・形状等の制御情報を取得し、量子化部１２２から量子化処理に関する制御情報を取得し、予測部１７０から予測に関する制御情報（例えば、予測モードや動きベクトルの情報）を取得し、これらの制御情報の符号化も行う。

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２が出力する量子化後変換係数に対して逆量子化処理を行うことにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

逆変換部１４２は、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１がＤＣＴを行った場合には、逆変換部１４２は逆ＤＣＴを行う。逆変換部１４２は、逆量子化部１４１が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２が出力する復元予測残差を、予測部１７０が出力する予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復号（再構成）し、復号済みブロックをメモリ１６０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。ループフィルタは、デブロッキングフィルタ処理及びＳＡＯ（sample adaptive offset）のうち少なくとも１つを含んでもよい。

メモリ１６０は、復号済みブロックをフレーム単位で復号画像として蓄積する。メモリ１６０は、記憶している復号画像を予測部１７０に出力する。

予測部１７０は、ブロック単位で予測処理を行うことにより、符号化対象ブロックに対応する予測ブロックを生成し、生成した予測ブロックを減算部１１０及び合成部１５０に出力する。予測部１７０は、インター予測及びイントラ予測を行う。インター予測では、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチング等の手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを出力する。イントラ予測では、メモリ１６０に記憶された復号画像のうち、符号化対象ブロックに隣接する復号済み画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを出力する。

（２）量子化処理
次に、本実施形態に係る量子化処理について説明する。

（２．１）量子化処理の概要
図３は、本実施形態に係る量子化処理の概要を説明するための図である。図３に示すように、本実施形態に係る量子化部１２２は、ＲＤＯＱ処理部１２２Ａと、最適化処理部１２２Ｂとを有する。

ＲＤＯＱ処理部１２２Ａは、変換部１２１がブロック単位で出力する２次元の変換係数を量子化し、量子化後の変換係数をエントロピー符号化部１３０に出力する。例えば、符号化対象ブロックが８×８のサイズを有する場合、ＲＤＯＱ処理部１２２Ａには８×８の変換係数が入力される。ＲＤＯＱ処理部１２２Ａは、上述のように、式（１）に示すようにＲＤコストを最小化することで最適な量子化処理を決定する。

ここで、λはＱＰなどの量子化パラメータによって決定される定数であり、ｘは量子化前の変換係数であり、ｑは量子化後の変換係数である。また、Ｄ（ｑ，ｘ）は量子化歪みであり、一般的にｘ及びｑの残差二乗和で表される。Ｒ（ｑ）はｑをエントロピー符号化したビットレートである。

ＲＤコストの算出の際に、エントロピー符号化部１３０は、量子化後の変換係数のシンタックス要素値を当該シンタックス要素値のコンテキスト値を用いてエントロピー符号化する。但し、ＲＤコストの最適解を求めるには探索する候補の数が膨大である。本実施形態では、実用的な手法として、ＨＥＶＣ方式のテストモデルであるＨＭのＲＤＯＱ処理を採用する。このようなＲＤＯＱ処理の詳細については後述する。

最適化処理部１２２Ｂは、ＲＤＯＱ処理部１２２Ａにより得られた量子化後の変換係数を、ニューラルネットワークモデルを用いて最適化する最適量子化を行い、最適量子化後の変換係数をエントロピー符号化部１３０に出力する。具体的には、量子化部１２２は、量子化前の変換係数と、量子化後の変換係数と、シンタックス要素値及びコンテキスト値と、をニューラルネットワークモデルに入力して得られる出力に応じて当該量子化後の変換係数を調整することにより、最適量子化後の変換係数を出力する。

ここで、量子化前の変換係数とは、ＲＤＯＱ処理部１２２Ａによる量子化が行われる前の変換係数をいう。本実施形態では、量子化前の変換係数は、量子化パラメータＱＰから算出される量子化ステップ（Ｑ_step）により変換係数を除算して得られる、実数で表される変換係数（すなわち、スケール後変換係数）である。量子化後の変換係数とは、ＲＤＯＱ処理部１２２Ａによる量子化が行われた後の変換係数をいう。シンタックス要素値及びコンテキスト値とは、ＲＤＯＱ処理部１２２Ａによる量子化を行う際に導出されたシンタックス要素値及びコンテキスト値をいう。

ニューラルネットワークモデルは、予め生成された学習済みニューラルネットワークモデルである。本実施形態に係るニューラルネットワークモデルは、量子化前の変換係数と、量子化後の変換係数と、シンタックス要素値及びコンテキスト値と、を入力として、量子化後の変換係数を最適化するよう調整するための調整値を出力する。本実施形態に係るニューラルネットワークモデルの詳細については後述する。

エントロピー符号化部１３０は、最終的に、最適化処理部１２２Ｂにより得られた最適量子化後の変換係数をエントロピー符号化することにより、ビットストリームを出力する。

（２．２）ＲＤＯＱ処理
図４は、本実施形態に係るＲＤＯＱ処理部１２２Ａの構成例を示す図である。ＲＤＯＱ処理部１２２Ａは、量子化前の変換係数、具体的には、実数で表されるスケール後変換係数を、丸め処理により整数に変換（量子化）して量子化後の変換係数を出力する。

図４に示すように、ＲＤＯＱ処理部１２２Ａは、スカラー量子化（ＳＱ：Scaler Quantization）処理部１２２Ａ１と、レベル推定（ＬＥ：Level Estimation）処理部１２２Ａ２と、ＡＺ（All-zero CG）処理部１２２Ａ３と、最終有意係数処理（ＬＡＳＴ処理）部１２２Ａ４と、ＳＢＨ（Sign Bit Hiding）処理部１２２Ａ５とを有する。

ＳＱ処理部１２２Ａ１は、２次元のスケール後変換係数に対してスカラー量子化処理を行い、２次元のスケール後変換係数の各変換係数を丸め処理する。ＬＥ処理部１２２Ａ２は、レベル推定処理を行い、各変換係数を「－１」又は「±０」（変化させない）した際のＲＤコストを算出し、ＲＤコストがより最適となるレベルを推定する。スカラー量子化処理及びレベル推定処理は、４×４の変換係数のグループであるＣＧごとに各変換係数について行われる。

ＡＺ処理部１２２Ａ３は、ＲＤコストに基づいて各ＣＧ内の変換係数を全て０にするかどうかを決定する。ＬＡＳＴ処理部１２２Ａ４は、ＲＤコストに基づいて最後の非ゼロとなる係数のブロック内での最適な位置を推定する。ＳＢＨ処理部１２２Ａ５は、変換の総和が偶数か奇数かに応じて、最後の変換係数の正負を暗黙的に決定するための処理を行う。

このように、ＳＱ処理部１２２Ａ１、ＬＥ処理部１２２Ａ２、ＡＺ処理部１２２Ａ３、ＬＡＳＴ処理部１２２Ａ４、及びＳＢＨ処理部１２２Ａ５は、それぞれ候補となる量子化後の変換係数に対してＲＤコストを算出し、コストが最も小さくなる場合の量子化後の変換係数を導出する。ＲＤコストを算出する際には、エントロピー符号化部１３０が量子化後の変換係数をエントロピー符号化した場合のビットレートＲ（ｑ）を推定する。

ここで、エントロピー符号化部１３０による変換係数の符号化の一例について説明する。図５は、エントロピー符号化部１３０による変換係数の符号化の一例を示す図である。図５において、符号化対象ブロックが８×８のサイズを有する変換ブロック（ＴＵ：Transform Unit）であり、スキャン順が図２（ａ）に示したｄｉａｇｏｎａｌである一例を示している。

図５に示すように、エントロピー符号化部１３０は、量子化後の変換係数の有意な成分（Significant coefficient）、すなわち、非ゼロとなる係数について、その位置や値をエントロピー符号化して出力する。具体的には、エントロピー符号化部１３０は、ブロック内の変換係数を高周波から低周波に向かってあらかじめ規定したスキャン順によりシリアライズし、シリアライズされた変換係数をエントロピー符号化する。その際に、シリアライズされた変換係数のうち、最も高周波側の最後の非ゼロ係数（Ｌａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆ）の位置を示すシンタックス要素を復号側にシグナリングし、当該最後の非ゼロ係数からＤＣ成分までの有意係数の位置や値を効率的にエントロピー符号化する。

具体的には、ＨＥＶＣにおける変換係数用のシンタックス要素には、
・last_sig_coeff_x_prefix
・last_sig_coeff_y_prefix
・last_sig_coeff_x_suffix
・last_sig_coeff_y_suffix
・coded_sub_block_flag
・sig_coeff_flag
・coeff_abs_level_greater1_flag
・coeff_abs_level_greater2_flag
・coeff_abs_level_remaining
・coeff_sign_flag
が存在する。

ここで、last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix、及びlast_sig_coeff_y_suffixは、ＬＡＳＴ処理部１２２Ａ４で決定した最後の非ゼロとなる係数のｘ，ｙ座標を表すシンタックス要素である。coded_sub_block_flagはサブブロック（ＣＧ）内の非ゼロの係数の有無を表すシンタックス要素であり、sig_coeff_flagは係数の絶対値が１以上であることを表すシンタックス要素であり、coeff_abs_level_greater1_flagは係数の絶対値が2以上であることを表すシンタックス要素であり、coeff_abs_level_greater2_flagは係数の絶対値が3以上であることを表すシンタックス要素であり、coeff_abs_level_remainingは係数の絶対値から3を減算した値を表すシンタックス要素であり、coeff_sign_flagは係数の正負を表すシンタックス要素である。

ここで、last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix、last_sig_coeff_y_suffixは、ひとつの変換係数に対してそれぞれひとつの値となるシンタックス要素であり、coded_sub_block_flagは、変換係数のサブブロック（ＣＧ）の個数分の値となるシンタックス要素であり、sig_coeff_flag、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_abs_level_remaining、及びcoeff_sign_flagは、変換係数の値や変換係数の最後の非ゼロとなる係数の位置に応じて変化する個数分の値で表される。

これらのシンタックス要素のうち、last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、coded_sub_block_flag、sig_coeff_flag、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flagは、コンテキスト値を用いたエントロピー符号化が行われるシンタックス要素である。一方、last_sig_coeff_x_suffix、last_sig_coeff_y_suffix、coeff_abs_level_remaining、coeff_sign_flagは、コンテキスト値を用いないバイパス処理によりエントロピー符号化が行われるシンタックス要素である。

（２．３）最適化処理
図６は、本実施形態に係る最適化処理部１２２Ｂの構成例を示す図である。上述のように、最適化処理部１２２Ｂには、ＤＣＴやＤＳＴなどの変換処理を施した変換係数に対して量子化パラメータＱＰから算出されるＱ_stepにより除算した実数で表される量子化前の変換係数と、当該量子化前の変換係数をＨＥＶＣ方式やＶＶＣ方式のテストモデルであるＨＭやＶＴＭなどで量子化した量子化後の変換係数と、当該量子化を行う際に算出した変換係数用のシンタックス要素値及びコンテキスト値と、が入力される。ここで、量子化前の変換係数及び量子化後の変換係数のそれぞれは、２次元に配列されており、例えば８×８の変換係数からなる形状を有する。最適化処理部１２２Ｂは、入力された量子化後の変換係数を最適化する最適量子化を行い、最適量子化後の変換係数を出力する。

図６に示すように、本実施形態に係る最適化処理部１２２Ｂは、符号取得部１２２Ｂ２と、符号除去部１２２Ｂ３と、形状変換部１２２Ｂ４と、調整値取得部１２２Ｂ６と、調整値適用部１２２Ｂ７とを有する。

符号取得部１２２Ｂ２は、入力された量子化前の変換係数及び量子化後の変換係数のいずれかの正負符号を取得し、取得した正負符号を調整値適用部１２２Ｂ７に出力する。例えば、符号取得部１２２Ｂ２は、２次元の量子化後の変換係数を構成する各変換係数の正負符号を取得し、取得した各正負符号を調整値適用部１２２Ｂ７に出力する。

符号除去部１２２Ｂ３は、入力された量子化前の変換係数及び量子化後の変換係数のそれぞれの正負符号を除去し、正負符号が除去された量子化前の変換係数と正負符号が除去された量子化後の変換係数とを調整値取得部１２２Ｂ６に出力する。具体的には、符号除去部１２２Ｂ３は、２次元の量子化前の変換係数を構成する各変換係数の正負符号を除去するとともに、２次元の量子化後の変換係数を構成する各変換係数の正負符号を除去する。これにより、正負符号に依らないニューラルネットワークモデルの処理が可能になる。なお、ニューラルネットワークモデルを生成する際の学習においても正負符号を除去したものを用いる。

形状変換部１２２Ｂ４は、入力されたシンタックス要素値及びコンテキスト値のそれぞれを変換係数と同一形状に変換し、形状変換後のシンタックス要素値及び形状変換後のコンテキスト値を調整値取得部１２２Ｂ６に出力する。上述のように、入力された変換係数は、ｍ×ｎ（ｍ、ｎ：１以上の整数）の変換係数からなる２次元の形状を有し、本実施形態では、８×８の変換係数からなる２次元の形状を有する。そのため、形状変換部１２２Ｂ４は、入力されたシンタックス要素値及びコンテキスト値のそれぞれを８×８の形状に変換する。

例えば、last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix、及びlast_sig_coeff_y_suffixのそれぞれは、ひとつの値で表される。そのため、形状変換部１２２Ｂ４は、8×8の変換係数の場合、これらのシンタックス要素値及びコンテキスト値を64個ずつ複製し、変換係数と同一形状に並べる。

coded_sub_block_flagは、変換係数のサブブロック（ＣＧ）の個数分の値で表される。そのため、形状変換部１２２Ｂ４は、8×8の変換係数の場合、4個のcoded_sub_block_flagが存在し、シンタックス要素値及びコンテキスト値をサブブロック内が同一の値となるようにそれぞれ16個ずつ複製し、変換係数と同一形状に並べる。

sig_coeff_flag、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_abs_level_remaining、及びcoeff_sign_flagは、変換係数の値や変換係数の最後の非ゼロとなる係数の位置に応じて個数が変化する。そのため、形状変換部１２２Ｂ４は、シンタックス要素値及びコンテキスト値が存在しない位置については発生し得ない値、例えば-1で穴埋めすることで変換係数と同一形状に並べる。

上記の操作により、どのシンタックス要素値及びコンテキスト値も変換係数と同一形状で表すことが可能となる。

調整値取得部１２２Ｂ６は、符号除去部１２２Ｂ３により正負符号が除去された量子化前の変換係数と、符号除去部１２２Ｂ３により正負符号が除去された量子化後の変換係数と、形状変換部１２２Ｂ４により形状が変換されたシンタックス要素値及びコンテキスト値と、をニューラルネットワークモデルに入力し、ニューラルネットワークモデルから出力される調整値を取得し、取得した調整値を調整値適用部１２２Ｂ７に出力する。調整値は、例えば、変換係数ごとに、「－１」及び「±０」の２種類のうちいずれかの調整値とすることができるが、３種類以上の調整値を用いてもよい。

ここで、ニューラルネットワークモデルは、入力が、量子化前の変換係数、量子化後の変換係数、変換係数のシンタックス要素値及びコンテキスト値であって、出力が、量子化後の変換係数に対する調整値となるニューラルネットワークであればよく、任意のモデルを用いてもよい。ニューラルネットワークモデルは、量子化前の変換係数と、量子化後の当該変換係数と、当該変換係数のためのシンタックス要素値と、当該シンタックス要素値のコンテキスト値と、全探索又は貪欲法を用いて導出された最適量子化後の当該変換係数とを教師データとして用いた機械学習により生成されたものであってもよい。ニューラルネットワークモデルの構成例については後述する。

調整値適用部１２２Ｂ７は、符号除去部１２２Ｂ３により正負符号が除去された量子化後の変換係数に対して、調整値取得部１２２Ｂ６が取得した調整値と、符号取得部１２２Ｂ２が取得した正負符号とを適用することにより、最適量子化後の変換係数を出力する。例えば、調整値適用部１２２Ｂ７は、符号除去部１２２Ｂ３により正負符号が除去された量子化後の各変換係数から、調整値取得部１２２Ｂ６が取得した各調整値を減算することにより、当該量子化後の各変換係数を調整する。そして、調整値適用部１２２Ｂ７は、調整された量子化後の各変換係数に対して、符号取得部１２２Ｂ２が取得した各正負符号を付与（乗算）することにより、最適量子化後の変換係数を出力する。

このように、本実施形態に係る最適化処理部１２２Ｂによれば、量子化前の変換係数及び量子化後の変換係数だけではなく、変換係数のシンタックス要素値及びそのコンテキスト値をニューラルネットワークモデルへの入力として用いる。これにより、量子化後の変換係数をより適切に調整可能になる。よって、ニューラルネットワークモデルを用いた量子化処理を改善できるため、符号化装置１における符号化効率が向上する。

（２．４）最適化処理の変更例
図７は、本実施形態に係る最適化処理部１２２Ｂの構成の変更例を示す図である。以下では、ニューラルネットワークのモデルとして１次元のニューラルネットワークであるＬＳＴＭを用いるものとし、第１に、入力された量子化前の変換係数、量子化後の変換係数、変換係数のシンタックス要素値及びコンテキスト値を２次元から１次元に変換する。エントロピー符号化順序を表す変換係数のスキャン順に応じて２次元から１次元に変換することで、ニューラルネットワークがエントロピー符号化順序を考慮することが可能となる。

図７に示すように、本変更例に係る最適化処理部１２２Ｂは、シリアライズ部１２２Ｂ１と、シリアライズ部１２２Ｂ５と、デシリアライズ部１２２Ｂ８とをさらに有する点で、図６に示した最適化処理部１２２Ｂと異なる。

上述のように、エントロピー符号化部１３０は、量子化後の２次元の変換係数をスキャン順に応じて１次元に変換（シリアライズ）したうえでエントロピー符号化を行っている。

シリアライズ部１２２Ｂ１は、入力された量子化前の２次元の変換係数と、入力された量子化後の２次元の変換係数と、のそれぞれをスキャン順に応じて１次元に変換（シリアライズ）し、量子化前の１次元の変換係数と量子化後の１次元の変換係数とを符号除去部１２２Ｂ３及び符号取得部１２２Ｂ２に出力する。

シリアライズ部１２２Ｂ５は、形状変換部１２２Ｂ４により形状が変換された２次元のシンタックス要素値及び２次元のコンテキスト値のそれぞれをスキャン順に応じて１次元に変換（シリアライズ）し、１次元のシンタックス要素値及び１次元のコンテキスト値を調整値取得部１２２Ｂ６に出力する。

このように、シリアライズ部１２２Ｂ１及びシリアライズ部１２２Ｂ５は、量子化前の２次元の変換係数と、量子化後の２次元の変換係数と、２次元のシンタックス要素値と、２次元のコンテキスト値と、のそれぞれをスキャン順に応じて１次元に変換する。例えば、ＨＥＶＣ方式では、予測画像のモードに応じて図２に示したｄｉａｇｏｎａｌ、ｈｏｒｉｚｏｎｔａｌ、ｖｅｒｔｉｃａｌの３種類のスキャン順が存在する。シリアライズ部１２２Ｂ１及びシリアライズ部１２２Ｂ５は、該当の変換係数に採用されているスキャン順に応じて１次元に変換する。８×８の変換係数の場合、シリアライズによって６４×１の形状に変換されることになる。

本変更例において、調整値取得部１２２Ｂ６は、量子化前の１次元の変換係数と、量子化後の１次元の変換係数と、１次元のシンタックス要素値と、１次元のコンテキスト値と、をニューラルネットワークモデルに入力し、ニューラルネットワークモデルから出力される調整値を取得し、取得した調整値を調整値適用部１２２Ｂ７に出力する。

ここで、ニューラルネットワークモデルは、スキャン順ごとに準備されてもよい。例えば、図２（ａ）に示すｄｉａｇｏｎａｌに対応する１次元ニューラルネットワークモデルと、図２（ｂ）に示すｈｏｒｉｚｏｎｔａｌに対応する１次元ニューラルネットワークモデルと、図２（ｃ）に示すｖｅｒｔｉｃａｌに対応する１次元ニューラルネットワークモデルとが生成されていてもよい。調整値取得部１２２Ｂ６は、複数のスキャン順に対応する複数のニューラルネットワークモデルのうち、エントロピー符号化部１３０により選択されたスキャン順に対応するニューラルネットワークモデルを特定し、当該特定したニューラルネットワークモデルを用いて調整値を取得してもよい。

デシリアライズ部１２２Ｂ８は、調整値適用部１２２Ｂ７が出力する最適量子化後の１次元の変換係数に対して、シリアライズ部１２２Ｂ１及びシリアライズ部１２２Ｂ５が行うシリアライズの逆処理（デシリアライズ）を行う。すなわち、デシリアライズ部１２２Ｂ８は、調整値適用部１２２Ｂ７が出力する最適量子化後の１次元の変換係数をスキャン順に応じて２次元に逆変換し、最適量子化後の２次元の変換係数を出力する。

このように、本変更例によれば、量子化前の１次元の変換係数及び量子化後の１次元の変換係数を１次元ニューラルネットワークモデルに入力して得られる出力に応じて、量子化後の１次元の変換係数を調整する。上述のように、エントロピー符号化部１３０は、量子化部１２２により得られる２次元の量子化後変換係数をスキャン順に応じて１次元に変換したうえでＣＡＢＡＣ等のエントロピー符号化を行う。ＣＡＢＡＣにおける２値シンボルのＭＰＳ生起確率は、それまでに出現した２値シンボルの値に基づいて推定される。

２次元ニューラルネットワークモデルを用いる先行研究では、エントロピー符号化におけるスキャン順が考慮されておらず、エントロピー符号化におけるスキャン順において隣り合わない係数の特徴も２次元ニューラルネットワークモデルにおいて抽出している。そのため、関係性の小さい特徴により誤った予測（すなわち、誤った量子化調整値の導出）につながるという問題がある。

これに対し、本変更例では、エントロピー符号化におけるスキャン順を考慮している。これにより、エントロピー符号化におけるスキャン順において隣り合う部分の係数の特徴を１次元ニューラルネットワークモデルにおいて抽出可能であり、最適な調整値を導出することが可能になる。よって、ニューラルネットワークモデルを用いた量子化処理において、エントロピー符号化におけるスキャン順を考慮することにより、符号化効率を向上させることができる。

（２．５）ニューラルネットワークモデルの一例
図８は、本実施形態に係るニューラルネットワークモデルの一例を示す図である。上述のように、本実施形態に係るニューラルネットワークモデルは、入力が、符号を取り除いた量子化前の変換係数、符号を取り除いた量子化後の変換係数、シンタックス要素値及びコンテキスト値である。これらをニューラルネットワークモデルへ入力すると、量子化後の変換係数に対する－１又は±０の調整値が出力される。

図８において、括弧内の値は次元を表しており、batchはバッチサイズ、blockはブロックサイズ、channelsはチャネル数、embedding_dimsはエンベディングの次元数をそれぞれ示している。channelsやembedding_dimsの値は、前段の全結合（FC）やエンベディングの次元数に依存しているが、各全結合やエンベディングによって異なるチャネル数や次元数としてもよい。

入力及び出力で用いている値は、
・transform_cofficient： 量子化前の変換係数
・quantized_cofficient： HMのRDOQ処理により量子化した変換係数
・last_sig_coeff_x： 最後の非ゼロとなる係数の位置のx座標
・last_sig_coeff_y： 最後の非ゼロとなる係数の位置のy座標
・coeff_abs_level_remaining： 量子化係数の絶対値から3を減算した値
・last_sig_coeff_x_prefix_ctx： last_sig_coeff_x_prefixのコンテキスト値
・last_sig_coeff_y_prefix_ctx： last_sig_coeff_y_prefixのコンテキスト値
・coded_sub_block_flag： サブブロック内の非ゼロの係数の有無を表すフラグ
・coded_sub_block_flag_ctx： coded_sub_block_flagのコンテキスト値
・sig_coeff_flag： 量子化係数の絶対値が1以上であることを表すフラグ
・sig_coeff_flag_ctx： sig_coeff_flagのコンテキスト値
・coeff_abs_level_greater1_flag： 量子化係数の絶対値が2以上であることを表すフラグ
・coeff_abs_level_greater1_flag_ctx： coeff_abs_level_greater1_flagのコンテキスト値
・coeff_abs_level_greater2_flag： 量子化係数の絶対値が3以上であることを表すフラグ
・coeff_abs_level_greater2_flag_ctx： coeff_abs_level_greater2_flagのコンテキスト値
・coeff_sign_flag： 量子化係数の正負を表すフラグ
・adjustments： RDOQ処理により量子化した変換係数と最適量子化後の変換係数の差分である調整値
である。形状変換部１２２Ｂ４においてシンタックス要素値及びコンテキスト値を変換係数と同一形状に変換しているため、入力はそれぞれバッチサイズ×64×1の形状で表される。

第１に、transform_cofficient及びquantized_cofficientを結合し、全結合層によりバッチサイズ×６４×チャネル数の形状に変形する。このような処理の際に、Relu（活性化関数）、Dropout、Layer Normalizationによる処理も施してもよい。

第２に、last_sig_coeff_x及びlast_sig_coeff_yを結合し、全結合層によりバッチサイズ×６４×チャネル数の形状に変形する。処理の際、Relu、Dropout、Layer Normalizationによる処理も施してもよい。また、coeff_abs_level_remainingについても、全結合層によりバッチサイズ×６４×チャネル数の形状に変形する。処理の際、Relu、Dropout、Layer Normalizationによる処理も施してもよい。その他の入力については、エンベディングすることによりバッチサイズ×６４×エンベディング次元数の形状に変形する。

第３に、全ての１段目の出力を結合し、全結合層によりバッチサイズ×６４×チャネル数の形状に変形する。このような処理の際に、Relu、Dropout、Layer Normalizationによる処理も施してもよい。

第４に、双方向ＬＳＴＭ及び全結合層へ入力することで、調整値を表す確率が出力される。調整値を表す確率が最大となるものを選択することで調整値を決定する。このような処理の際、Relu、Dropout、Layer Normalizationによる処理も施してもよい。双方向ＬＳＴＭについては１層ではなく、２以上の層数としてもよい。調整値は１，０の２つの出力に限らず、３つ以上の複数の調整値を推定してもよい。

（モデル生成方法）
次に、本実施形態に係るモデル生成方法について説明する。本実施形態に係るモデル生成方法は、符号化のための学習済みモデルとして、上述のニューラルネットワークモデルを生成するための方法である。このモデル生成方法は、符号化装置１と異なるコンピュータにより実行されてもよいし、符号化装置１により実行されてもよい。以下において、モデル生成方法を実行する装置をモデル生成方法装置と呼ぶ。図９は、本実施形態に係るモデル生成方法を示す図である。

図９に示すように、ステップＳ１１において、モデル生成装置は、量子化前の変換係数、量子化後の当該変換係数、当該変換係数のシンタックス要素値、当該シンタックス要素値のコンテキスト値、全探索又は貪欲法を用いて導出された最適量子化後の当該変換係数を教師データとして取得する。

ステップＳ１２において、モデル生成装置は、ステップＳ１１で取得された教師データを用いた機械学習を行う。

ステップＳ１３において、モデル生成装置は、量子化前の変換係数、量子化後の当該変換係数、当該変換係数のシンタックス要素値、及び当該シンタックス要素値のコンテキスト値を入力とし、最適な量子化後の変換係数を導出するための調整値を出力とする学習済みモデルであるニューラルネットワークモデルを生成する。

（その他の実施形態）
上述の実施形態において、符号化対象ブロックのサイズ（すなわち、２次元の変換係数のサイズ）が８×８である一例について説明したが、ブロックサイズは８×８に限らず、任意のサイズとしてもよい。また、ブロックの形状（すなわち、２次元の変換係数の形状）は非正方形の形状であってもよい。

変換部１２１が用いる変換処理の種類の候補が複数存在する場合、変換処理の種類ごとに個別のニューラルネットワークモデルが生成されていてもよい。例えば、ＤＣＴ－２に対応するニューラルネットワークモデルと、ＤＳＴ－７に対応するニューラルネットワークモデルとが生成されていてもよい。このような場合、調整値取得部１２２Ｂ６は、複数種類の変換処理に対応する複数のニューラルネットワークモデルのうち、変換部１２１により選択された種類の変換処理に対応するニューラルネットワークモデルを特定し、当該特定したニューラルネットワークモデルを用いて量子化調整値を取得（導出）してもよい。

変換部１２１が出力する２次元の変換係数は、予め定められた複数種類のブロックサイズの中から選択されたブロックサイズを有していてもよい。すなわち、ブロックサイズの候補が複数存在してもよい。ブロックサイズは、ブロック分割部１００により選択されてもよい。このような場合、ブロックサイズごとに個別のニューラルネットワークモデルが生成されていてもよい。例えば、４×４のブロックサイズに対応するニューラルネットワークモデルと、８×８のブロックサイズに対応するニューラルネットワークモデルとが生成されていてもよい。このような場合、調整値取得部１２２Ｂ６は、複数種類のブロックサイズに対応する複数のニューラルネットワークモデルのうち、ブロック分割部１００により選択されたブロックサイズに対応するニューラルネットワークモデルを特定し、当該特定したニューラルネットワークモデルを用いて量子化調整値を取得（導出）してもよい。

符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。モデル生成方法の各ステップをコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１ ：符号化装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１２２Ａ ：ＲＤＯＱ処理部
１２２Ａ１ ：ＳＱ処理部
１２２Ａ２ ：ＬＥ処理部
１２２Ａ３ ：ＡＺ処理部
１２２Ａ４ ：ＬＡＳＴ処理部
１２２Ａ５ ：ＳＢＨ処理部
１２２Ｂ ：最適化処理部
１２２Ｂ１ ：シリアライズ部
１２２Ｂ２ ：符号取得部
１２２Ｂ３ ：符号除去部
１２２Ｂ４ ：形状変換部
１２２Ｂ５ ：シリアライズ部
１２２Ｂ６ ：調整値取得部
１２２Ｂ７ ：調整値適用部
１２２Ｂ８ ：デシリアライズ部
１３０ ：エントロピー符号化部
１４０ ：逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１７０ ：予測部

Claims (7)

1. 原画像と予測画像との差分を表す残差信号に対して変換処理を行って得られる変換係数に対して量子化を行う量子化部と、
   前記変換係数のためのシンタックス要素値を当該シンタックス要素値のコンテキスト値を用いてエントロピー符号化するエントロピー符号化部と、を備える符号化装置であって、
   前記量子化部は、量子化前の前記変換係数と、量子化後の前記変換係数と、前記シンタックス要素値及び前記コンテキスト値と、をニューラルネットワークモデルに入力して得られる出力に応じて当該量子化後の前記変換係数を調整することにより、最適量子化後の前記変換係数を出力することを特徴とする符号化装置。
2. 前記量子化部は、
   量子化前の前記変換係数及び量子化後の前記変換係数のいずれかの正負符号を取得する符号取得部と、
   量子化前の前記変換係数及び量子化後の前記変換係数のそれぞれの正負符号を除去する符号除去部と、
   前記正負符号が除去された量子化前の前記変換係数と、前記正負符号が除去された量子化後の前記変換係数と、前記シンタックス要素値及び前記コンテキスト値と、を前記ニューラルネットワークモデルに入力し、前記ニューラルネットワークモデルから出力される調整値を取得する調整値取得部と、
   前記正負符号が除去された量子化後の前記変換係数に対して、前記調整値取得部が取得した前記調整値と、前記符号取得部が取得した正負符号とを適用することにより、前記最適量子化後の変換係数を出力する調整値適用部と、を備えることを特徴とする請求項１に記載の符号化装置。
3. 前記変換係数は、ｍ×ｎ（ｍ、ｎ：１以上の整数）の変換係数からなる２次元の形状を有し、
   前記量子化部は、前記シンタックス要素値及び前記コンテキスト値のそれぞれを前記変換係数と同一形状に変換する形状変換部をさらに備え、
   前記調整値取得部は、前記形状変換部による変換後の前記シンタックス要素値及び前記コンテキスト値を前記ニューラルネットワークモデルに入力することを特徴とする請求項２に記載の符号化装置。
4. 前記エントロピー符号化部は、量子化後の２次元の前記変換係数をスキャン順に応じて１次元に変換したうえでエントロピー符号化を行っており、
   前記量子化部は、量子化前の２次元の前記変換係数と、量子化後の２次元の前記変換係数と、２次元の前記シンタックス要素値と、２次元の前記コンテキスト値と、のそれぞれを前記スキャン順に応じて１次元に変換するシリアライズ部をさらに備え、
   前記調整値取得部は、量子化前の１次元の前記変換係数と、量子化後の１次元の前記変換係数と、１次元の前記シンタックス要素値と、１次元の前記コンテキスト値と、を前記ニューラルネットワークモデルに入力することを特徴とする請求項３に記載の符号化装置。
5. 前記エントロピー符号化部は、予め定められた複数のスキャン順の中から選択されたスキャン順に応じて２次元の量子化後変換係数を１次元に変換し、
   前記調整値取得部は、前記複数のスキャン順に対応する複数のニューラルネットワークモデルのうち、前記選択されたスキャン順に対応するニューラルネットワークモデルを特定し、当該特定したニューラルネットワークモデルを用いて前記調整値を取得することを特徴とする請求項２乃至３のいずれか１項に記載の符号化装置。
6. コンピュータを請求項１乃至５のいずれか１項に記載の符号化装置として機能させることを特徴とするプログラム。
7. 符号化のための学習済みニューラルネットワークモデルを生成するモデル生成方法であって、
   量子化前の変換係数と、量子化後の当該変換係数と、当該変換係数のためのシンタックス要素値と、当該シンタックス要素値のコンテキスト値と、全探索又は貪欲法を用いて導出された最適量子化後の当該変換係数とを教師データとして取得するステップと、
   前記教師データを用いた機械学習を行うステップと、
   量子化前の変換係数と、量子化後の当該変換係数と、当該変換係数のためのシンタックス要素値と、当該シンタックス要素値のコンテキスト値とを入力とし、かつ、当該量子化後の当該変換係数を最適化するよう調整するための調整値を出力とするニューラルネットワークモデルを生成するステップと、を有する
   モデル生成方法。