JP7325015B2 - 量子化方法、量子化装置、及び、プログラム - Google Patents

Description

本開示は、ニューラルネットワークで構成されるモデルの量子化方法、量子化装置、及び、プログラムに関する。

高精度な認識・予測処理に深層学習を用いたアプローチが注目されている。深層学習の工程は、ニューラルネットワークで構成されるモデルを用いて行われる「学習」及び「推論」で構成される。

深層学習では、ＰＣ（Personal Computer）上で高性能な計算リソースを活用できる場合、例えば３２ビットの浮動小数点（ＦＰ３２）で表現される重みなどのパラメータをもつモデルを用いて学習され、学習済のモデルを用いて推論が実行される。

組込みシステムなど、限られた計算リソースを活用する場合、深層学習のモデルの学習はＰＣ上で事前に実行される。一方、推論は、学習済のモデルのＦＰ３２のパラメータが例えばＩＮＴ８、１６などの整数のパラメータに量子化された学習済のモデルを用いて実行される。

しかしながら、ＦＰ３２のパラメータの分解能を等間隔でＩＮＴ８、１６などのパラメータに量子化するような単純な量子化変換では推論精度の劣化が生じる。このため、量子化によって生じる誤差（量子化誤差）を小さくするように量子化を行うことで、推論精度の劣化を抑止する方法が提案されている（例えば特許文献１参照）。

特開２０２０－１７７５３５号公報

しかしながら、特許文献１に開示される技術では、量子化誤差が大きい部分を小さくするように量子化を行ったとしても、必ずしも推論精度の劣化を抑制できるとは限らない。量子化誤差が大きくても推論精度には大きく寄与しない場合、または、量子化誤差は比較的小さくても推論精度に大きく寄与する場合がある。

このように、量子化を行うと、モデルを用いた推論の演算量を少なくすることができるものの、推論精度が劣化する場合があるという課題がある。

本開示は、上述の事情を鑑みてなされたもので、ニューラルネットワークで構成されるモデルの量子化を行っても推論精度の劣化を抑制できる量子化方法などを提供することを目的とする。

上記目的を達成するために、本開示の一形態に係る量子化方法は、コンピュータにより実行される量子化方法であって、ニューラルネットワークで構成されるモデルを用いて得た推論結果に対する、前記モデルを構成する複数のレイヤそれぞれにおける複数の第１ニューロンを要素とする前記複数のレイヤそれぞれの影響度を示す第１推論寄与度であって予め算出された第１推論寄与度のうち対象レイヤの次のレイヤにおける複数の第２ニューロンを要素とする前記次のレイヤの影響度を示す第２推論寄与度と、前記対象レイヤの複数のパラメータの量子化前後における量子化誤差とを用いて、前記複数のパラメータの量子化ステップサイズを探索し、探索により得られた量子化ステップサイズを用いて、前記複数のパラメータを量子化する。

これにより、ニューラルネットワークで構成されるモデルの量子化を行っても推論精度の劣化を抑制できる。

なお、これらの全般的または具体的な態様は、装置、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示により、ニューラルネットワークで構成されるモデルの量子化を行っても推論精度の劣化を抑制できる量子化方法などを提供できる。

図１は、実施の形態に係る量子化装置の機能構成を示すブロック図である。 図２は、実施の形態に係る量子化装置の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。 図３は、実施の形態に係る量子化対象のモデルとパラメータの一例を示す図である。 図４Ａは、実施の形態に係る推論寄与度の算出方法の一例を説明するための図である。 図４Ｂは、実施の形態に係る推論寄与度の算出方法の一例を説明するための図である。 図４Ｃは、実施の形態に係る推論寄与度の算出方法の一例を説明するための図である。 図５は、実施の形態に係る推論寄与度の算出方法の別の一例を説明するための図である。 図６は、実施の形態に係る量子化処理を説明するための図である。 図７は、実施の形態に係る評価算出部が取得する推論寄与度の一例を示す図である。 図８Ａは、実施の形態に係る評価算出部が算出する量子化前のパラメータに関する値を示す図である。 図８Ｂは、実施の形態に係る評価算出部が算出する量子化後のパラメータに関する値を示す図である。 図９は、実施の形態に係る最適な量子化ステップサイズの決定方法を説明するための図である。 図１０は、実施の形態における量子化装置の動作概要を示すフローチャートである。 図１１は、実施の形態における量子化装置の動作詳細の一例を示すフローチャートである。 図１２は、図１１のステップＳ１１の具体的な動作の一例を示すフローチャートである。 図１３は、図１１のステップＳ１３の具体的な動作の一例を示すフローチャートである。 図１４は、図１１のステップＳ１４の具体的な動作の一例を示すフローチャートである。 図１５は、量子化対象のモデルの一例を示す図である。 図１６Ａは、比較例に係る量子化方法について説明するための図である。 図１６Ｂは、比較例に係る量子化方法について説明するための図である。 図１６Ｃは、比較例に係る量子化方法について説明するための図である。 図１６Ｄは、比較例に係る量子化方法について説明するための図である。 図１７は、実施の形態に係る量子化方法を概念的に説明するための図である。

以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、規格、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略または簡略化する場合がある。

（実施の形態）
まず、本実施の形態に係る量子化方法及び量子化装置について説明する。

［１．量子化装置１０］
以下、本実施の形態に係る量子化装置１０の構成等について説明する。図１は、本実施の形態に係る量子化装置１０の機能構成を示すブロック図である。

量子化装置１０は、コンピュータ等で実現され、ニューラルネットワークで構成されるモデルのパラメータの量子化を行っても推論精度の劣化を抑制できる最適な量子化ステップサイズを探索するための装置である。なお、モデルは、全結合型のニューラルネットワークモデルであってもよいし、畳み込みニューラルネットワークであってもよい。

本実施の形態では、図１に示されるように、量子化装置１０は、分布生成部１１と、推論寄与度算出部１２と、量子化ステップサイズ探索部１３と、量子化部１４とを備える。なお、量子化装置１０において、量子化部１４は必須ではない。

量子化装置１０に入力されるＦＰモデルは、ＦＰ３２で表現されるパラメータを有するニューラルネットワークで構成されるモデルであり、図１には４層（４レイヤ）からなるモデルが例示されている。量子化装置１０に入力されるデータセットは、ＦＰモデルを学習するときに用いた学習用データセットの少なくとも一部である。量子化装置１０から出力されるＩＮＴモデルは、ＦＰモデルのＦＰ３２で表現されたパラメータが例えば整数のパラメータに量子化されたモデルを示す。なお、ＩＮＴモデルは、ＦＰモデルの浮動小数点で表現されたパラメータが例えば固定小数点で表現されるパラメータに量子化されたモデルを示していてもよい。

本実施の形態では、パラメータは、モデルにおける量子化の対象レイヤの中間値（ニューロン値）及び当該対象レイヤの重みのうち少なくとも一方である。なお、中間値は、アクティベーションと称される場合がある。また、対象レイヤが畳み込み層であれば中間値は、特徴マップと称することができる。

［１－１．ハードウェア構成］
本実施の形態に係る量子化装置１０の機能構成を説明する前に、図２を用いて、本実施の形態に係る量子化装置１０のハードウェア構成の一例について説明する。

図２は、本実施の形態に係る量子化装置１０の機能をソフトウェアにより実現するコンピュータ１０００のハードウェア構成の一例を示す図である。

コンピュータ１０００は、図２に示すように、入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７、送受信装置１００８及びバス１００９を備えるコンピュータである。入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７及び送受信装置１００８は、バス１００９により接続される。

入力装置１００１は入力ボタン、タッチパッド、タッチパネルディスプレイなどといったユーザインタフェースとなる装置であり、ユーザの操作を受け付ける。なお、入力装置１００１は、ユーザの接触操作を受け付ける他、音声での操作、リモコン等での遠隔操作を受け付ける構成であってもよい。

出力装置１００２は、例えば入力装置１００１と兼用されており、タッチパッドまたはタッチパネルディスプレイなどによって構成され、ユーザに知らすべき情報を通知する。

内蔵ストレージ１００４は、フラッシュメモリなどである。また、内蔵ストレージ１００４は、量子化装置１０の機能を実現するためのプログラム、及び、量子化装置１０の機能構成を利用したアプリケーションの少なくとも一方が、予め記憶されていてもよい。また、内蔵ストレージ１００４は、入力されたＦＰモデル、量子化ステップサイズ探索部１３で量子化処理されたＩＮＴモデル、評価を算出するための評価式及び量子化ステップサイズの初期値、更新値が記憶されるとしてもよい。

ＲＡＭ１００５は、ランダムアクセスメモリ（Random Access Memory）であり、プログラムまたはアプリケーションの実行に際してデータ等の記憶に利用される。

読取装置１００７は、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る。読取装置１００７は、上記のようなプログラムやアプリケーションが記録された記録媒体からそのプログラム、アプリケーションを読み取り、内蔵ストレージ１００４に記憶させる。

送受信装置１００８は、無線または有線で通信を行うための通信回路である。送受信装置１００８は、例えばネットワークに接続されたサーバ装置と通信を行い、サーバ装置から上記のようなプログラム、アプリケーションをダウンロードして内蔵ストレージ１００４に記憶させてもよい。

ＣＰＵ１００３は、中央演算処理装置（Central Processing Unit）であり、内蔵ストレージ１００４に記憶されたプログラム、アプリケーションをＲＡＭ１００５にコピーし、そのプログラムやアプリケーションに含まれる命令をＲＡＭ１００５から順次読み出して実行する。

続いて、図１に示される本実施の形態に係る量子化装置１０の各機能構成について説明する。

図３は、本実施の形態に係る量子化対象のモデルとパラメータの一例を示す図である。以下では、図３に示すように、３ニューロンで構成される入力層と、それぞれ４ニューロンで構成される２つのレイヤからなる中間層と、２ニューロンで構成される出力層とを有する４層からなる学習済のＦＰモデルを用いて説明する。また、図３では、量子化を行う対象レイヤがレイヤＬであるとして示されており、量子化対象のパラメータがレイヤＬのＸとＷとであるとして示されている。なお、Ｘは、レイヤＬのニューロン値（の分布）であり、特徴マップでもよい。また、Ｗは、レイヤＬの重み（の分布）であり、フィルタであってもよい。Ｃは、後述するが、対象レイヤの次のレイヤの推論寄与度を示す。

［１－２．分布生成部１１］
分布生成部１１は、入力されたＦＰモデルにおける量子化対象の対象レイヤのパラメータの分布を生成する。本実施の形態では、分布生成部１１は、対象レイヤの重みの分布すなわち対象レイヤを構成する複数のニューロンに付与された複数の重みの分布を生成する。また、分布生成部１１は、対象レイヤの中間値の分布すなわち対象レイヤを構成する複数のニューロンのニューロン値（中間値）の分布を生成する。

例えば、対象レイヤの重みの分布は、横軸をニューロインデックス、縦軸を重みの値として、対象レイヤを構成する複数のニューロンに付与された複数の重みの値が釣鐘状に示されたものである。また、分布生成部１１は、データセットをＦＰモデルに入力し、対象レイヤを構成する複数のニューロンのニューロン値（中間値）を算出することで、対象レイヤの中間値の分布を生成する。対象レイヤの中間値の分布も、横軸をニューロインデックス、縦軸を中間値として、中間値が釣鐘状に示されたものである。

なお、分布生成部１１が用いるデータセットは、学習用データセットでもよいし、学習用データセットの一部を抽出した分布生成用データセットであってもよい。

また、分布生成部１１は、生成した対象レイヤの中間値と重みとの分布に基づいて、量子化ステップサイズの初期値を算出し、量子化ステップサイズ探索部１３に出力する。

［１－３．推論寄与度算出部１２］
推論寄与度算出部１２は、量子化対象レイヤの次のレイヤを構成する複数のニューロンの推論寄与度を算出する。ここで、推論寄与度算出部１２は、例えばＧｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）など、推論結果への影響度を定量化及び可視化する方法を用いて、対象レイヤの次のレイヤにおける推論寄与度を定量化して算出する。Ｇｒａｄ－ＣＡＭは、ニューラルネットワークで構成されるモデルが着目している特徴箇所を特定することができる手法である。なお、推論結果への影響度を定量化及び可視化する方法は、Ｇｒａｄ－ＣＡＭに限らず、ＣＡＭ（Class activation map）、Ｇｕｉｄｅｄ Ｇｒａｄ－ＣＡＭ、Guided Backpropagationを用いてもよい。

例えば、まず、推論寄与度算出部１２は、ニューラルネットワークで構成されるモデルを用いて得た推論結果に対する、当該モデルを構成する複数のレイヤそれぞれにおける複数の第１ニューロンを要素とする複数のレイヤそれぞれの影響度を示す推論寄与度（第１推論寄与度）を算出する。より詳細には、推論寄与度算出部１２は、モデルの学習に用いた学習用データセットのうちの少なくとも一部である推論寄与度用データセットを構成するデータのそれぞれを、当該モデルに入力して推論させることで第１ニューロンそれぞれの値である第１ニューロン値を算出する。次いで、推論寄与度算出部１２は、推論寄与度用データセットを構成するすべてのデータに対して算出した第１ニューロン値を、第１ニューロンそれぞれについて累積した累積値を算出する。そして、推論寄与度算出部１２は、第１ニューロンそれぞれにおける累積値を複数のレイヤそれぞれで正規化した値を、第１推論寄与度として算出する。本実施の形態では、推論寄与度算出部１２は、データセットのそれぞれをＦＰモデルに順に入力し、中間層における各レイヤを構成する複数のニューロンのニューロン値（中間値）を順に算出し、算出したニューロン値を中間層におけるニューロンごとに蓄積する。そして、推論寄与度算出部１２は、蓄積したニューロン値を、レイヤごとに正規化し、正規化したＦＰモデルの中間層を構成する各ニューロンの値を第１推論寄与度とすればよい。なお、推論寄与度算出部１２が用いるデータセットは、学習用データセットでもよいし、学習用データセットの一部を抽出した推論寄与度用データセットであってもよい。

次に、例えば推論寄与度算出部１２は、算出した第１推論寄与度を用いて、対象レイヤの次のレイヤにおける複数の第２ニューロンを要素とする次のレイヤの影響度を示す推論寄与度（第２推論寄与度）を算出する。本実施の形態では、推論寄与度算出部１２は、蓄積したニューロン値をレイヤごとに正規化したＦＰモデルの中間層における各ニューロンの値のうち、対象レイヤの次のレイヤを構成する複数のニューロンのニューロン値を、第２推論寄与度としてもよい。

ここで、図４Ａ～図４Ｃを用いて、推論寄与度の算出方法の概念について説明する。

図４Ａ～図４Ｃは、本実施の形態に係る推論寄与度の算出方法の一例を説明するための図である。図４Ａの（ａ）及び図４Ｂの（ａ）に示されるデータセットは、上述した学習用データセットでもよいし、推論寄与度用データセットであってもよい。また、図４Ａ～図４Ｃでは、対象レイヤがレイヤＬであり、対象レイヤの次のレイヤはレイヤＬ＋１であるとして示されている。

図４Ａに示すように、まず、ＦＰモデルに、図４Ａの（ａ）に示されるデータセットのうちの１つのデータを入力し、図４Ａの（ｃ）に示されるように各レイヤごとのニューロン値を算出する。なお、図４Ａの（ｂ）に示される例では、１つのデータは、犬を含む画像データである。

次に、図４Ｂに示すように、ＦＰモデルに、図４Ｂの（ａ）に示されるデータセットのうちの他の１つのデータを入力し、図４Ｂの（ｃ）に示されるように各レイヤごとのニューロン値を算出して算出したニューロン値をニューロンごとに蓄積する。図４Ｂの（ｃ）では、レイヤＬの一番上のニューロンには、２．０の値が蓄積されている例が示されている、なお、図４Ｂに示される例では、他の１つのデータは、猫を含む画像データである。

次に、ＦＰモデルに、データセットのうちの残りのデータを順に入力して、データセットに含まれるすべてのデータに対して算出したニューロン値をニューロンごとに累積した累積値を算出して正規化する。図４Ｃの（ａ）には、レイヤＬ及びレイヤＬ＋１におけるニューロンごとの累積値が示されている。図４Ｃの（ｂ）には、それら累積値を各レイヤすなわちレイヤＬ及びレイヤＬ＋１ごとに正規化して得たニューロンごとの値が示されている。図４Ｃの（ｂ）では、例えばレイヤＬの累積値の合計である１６０．４でレイヤＬの各ニューロンの累積値を割った値を、レイヤＬの累積値を正規化したときに得る値としている。そして、図４Ｃの（ｂ）に示される値すなわち正規化して得たニューロンごとの値を推論寄与度とすればよい。

このようにして、推論寄与度算出部１２は、対象レイヤと次のレイヤとにおける複数のニューロンそれぞれの推論寄与度を算出する。

なお、図４Ａ～図４Ｃでは、ＦＰモデルの例として全結合型ニューラルネットワークを例に挙げて説明したが、これに限らない。ＦＰモデルは、画像認識に有用な畳み込みニューラルネットワーク（ＣＮＮ）のモデルであってもよいし、一部に畳み込み層をもつニューラルネットワークのモデルであってもよい。この場合、上述したニューロン値は、特徴マップとして算出される。すなわち、モデルが畳み込みニューラルネットワークである場合、中間値は、対象レイヤの特徴マップである。

図５は、本実施の形態に係る推論寄与度の算出方法の別の一例を説明するための図である。図５では、１つの中間層が畳み込み層である場合の例が示されている。畳み込み層は、例えば（２８×２８×１）次元の入力画像から、（３×３）のＮ個のフィルタ（重み）を用いて複数の特徴を抽出することで得た特徴マップを出力する。なお、Ｎはチャネルと称される。図５に示す例では、中間層として得たＮ個の（２６×２６）の特徴マップそれぞれにGlobal Max Pooling（ＧＭＰ）を適用した値を上述の中間値（ニューロン値）として算出している。これにより、中間値を、上述同様に、データセットに含まれるすべてのデータに対して算出して累積し、正規化することができるので、特徴マップの推論寄与度を算出することができる。

［１－３．量子化ステップサイズ探索部１３］
量子化ステップサイズ探索部１３は、対象レイヤの次のレイヤにおける推論寄与度（第２推論寄与度）と、対象レイヤの複数のパラメータの量子化前後における量子化誤差とを用いて、複数のパラメータの量子化ステップサイズを探索する。量子化ステップサイズ探索部１３は、量子化誤差と第２推論寄与度との積値からなる評価式を用いて、評価式が最小となるような複数のパラメータの量子化ステップサイズを探索する。

本実施の形態では、量子化ステップサイズ探索部１３は、図１に示すように、量子化処理部１３１と、評価算出部１３２と、量子化ステップサイズ更新部１３３とを備える。

＜量子化処理部１３１＞
量子化処理部１３１は、量子化ステップサイズの初期値または更新値を用いて対象レイヤのパラメータを量子化する。なお、対象レイヤは、特定のレイヤである場合に限らず、ＦＰモデルの全レイヤであってもよい。また、量子化処理部１３１が特徴マップを中間値として量子化する場合、特徴マップ単位で量子化する場合に限らず、計算コストを考慮してチャネル単位（図５におけるＮ個のチャネルのうちの１つ）で量子化してもよい。

図６は、本実施の形態に係る量子化処理を説明するための図である。

すなわち、量子化処理部１３１は、図６の（ａ）に示されるＦＰモデルのレイヤＬのパラメータＸ、Ｗを、量子化ステップサイズの初期値または更新値を用いて、図６の（ｂ）で量子化し、図６の（ｃ）に示されるＩＮＴモデルを得る。

＜評価算出部１３２＞
評価算出部１３２は、推論寄与度算出部１２より、対象レイヤの次のレイヤにおける推論寄与度を予め取得している。評価算出部１３２は、学習用データセットのうちの少なくとも一部である評価算出用データセットを構成するデータのそれぞれを順に、ＦＰモデルとＩＮＴモデルとに入力して得た量子化前後のパラメータに関する値を算出する。評価算出部１３２は、算出した量子化前後のパラメータに関する値と取得した推論寄与度と量子化ステップサイズの評価式とを用いて、評価結果を算出する。

図７～図８Ｂは、本実施の形態に係る量子化ステップサイズの評価の算出方法を説明するための図である。図７には、本実施の形態に係る評価算出部１３２が取得する推論寄与度の一例が示されている。図８Ａには、本実施の形態に係る評価算出部１３２が算出する量子化前のパラメータに関する値が示されている。図８Ｂには、本実施の形態に係る評価算出部１３２が算出する量子化後のパラメータに関する値が示されている。図８Ａ及び図８Ｂに示すデータセットは、上述した評価算出用データセットであってもよい。

図７の（ｃ）に示すＣ_Ｌ＋１は、推論寄与度算出部１２が、図７の（ａ）に示されるデータセットを用いて算出した、図７の（ｂ）のＦＰモデルのレイヤＬ＋１の推論寄与度である。つまり、評価算出部１３２は、図７の（ｃ）に示す推論寄与度Ｃ_Ｌ＋１を予め取得する。

また、評価算出部１３２は、図８Ａの（ａ）に示されるデータセットを用いて、図８Ａの（ｂ）のＦＰモデルに入力して、図８Ａの（ｃ）に示すレイヤＬの重みとニューロン値との行列積値Ｗ_ＬＸ_Ｌを、量子化前のパラメータに関する値として算出する。

同様に、評価算出部１３２は、図８Ｂの（ａ）に示されるデータセットを用いて、図８Ｂの（ｂ）のＩＮＴモデルに入力して、図８Ｂの（ｃ）に示すレイヤＬの重みとニューロン値との行列積値

を、量子化後のパラメータに関する値として算出する。ここで、Δは量子化ステップサイズを示し、Ｑ（・）は量子化関数を示す。

そして、評価算出部１３２は、下記の（式１）で示される評価式に、算出した量子化前後のパラメータに関する値と取得した推論寄与度とを代入して評価結果を算出する。そして、評価算出部１３２は、算出して得た評価結果が最小であれば、その時の量子化ステップサイズを保存する。なお、（式１）においてＣは、レイヤＬ+１の推論寄与度Ｃ_Ｌ＋１を示す。また、（式１）においてＸ_Ｌ、Ｗ_Ｌは、レイヤＬの重みとニューロン値（中間値）である。また、評価結果は、データセットに含まれるデータの数だけ算出された評価を蓄積した結果である。このため、評価結果の平均が最小であれば、その時の量子化ステップサイズを保存するとしてもよい。

＜量子化ステップサイズ更新部１３３＞
量子化ステップサイズ更新部１３３は、評価算出部１３２が評価結果を算出したとき用いた量子化ステップサイズの全パターンが網羅していない場合、量子化ステップサイズの値を更新する。つまり、量子化ステップサイズ更新部１３３は、量子化ステップサイズの更新を全パターンを網羅するまで繰り返し実行する。量子化ステップサイズ更新部１３３は、更新した量子化ステップサイズの値すなわち量子化ステップの更新値を、量子化処理部１３１に出力する。

以上のように、量子化ステップサイズ探索部１３は、推論寄与度と量子化誤差とを考慮して、量子化ステップサイズを決定する。

図９は、本実施の形態に係る最適な量子化ステップサイズの決定方法を説明するための図である。図９の（ａ）には、量子化誤差が大きいパラメータのニューロンがハッチングで示されている。図９の（ｂ）には、推論寄与度が大きいニューロンがハッチングで示されている。図９の（ｃ）には、量子化誤差が大きいパラメータのニューロンかつ推論寄与度が大きいニューロンが点線枠に囲まれている。

つまり、本実施の形態では、量子化ステップサイズ探索部１３は、量子化誤差が大きいパラメータ、かつ、推論寄与度が大きい、図９の（ｃ）の点線枠に囲まれたニューロンのパラメータの量子化誤差を最小化するようにパラメータの量子化ステップサイズを決定する。これにより、ニューラルネットワークで構成されるモデルの量子化を行っても推論精度の劣化を抑制できる。

［１－４．量子化部１４］
量子化部１４は、量子化ステップサイズ探索部１３において探索により得られた量子化ステップサイズを用いて、複数のパラメータを量子化する。換言すると、量子化部１４は、量子化ステップサイズ探索部１３において探索の結果、決定された量子化ステップサイズを用いて、ＦＰモデルの複数のパラメータを量子化してＩＮＴモデルを得る。

［２．量子化装置１０の動作］
以上のように構成された量子化装置１０の動作の一例について以下説明する。

図１０は、本実施の形態における量子化装置１０の動作概要を示すフローチャートである。

まず、量子化装置１０は、推論寄与度と量子化誤差とを考慮して、量子化ステップサイズを探索して決定する（Ｓ１）。より具体的には、量子化装置１０は、対象レイヤの次のレイヤにおける複数のニューロンを要素とする次のレイヤの影響度を示す推論寄与度を予め算出する。量子化装置１０は、予め算出した推論寄与度と、対象レイヤの複数のパラメータの量子化前後における量子化誤差とを用いて、複数のパラメータの量子化ステップサイズを探索する。本実施の形態では、量子化装置１０は、量子化誤差と第２推論寄与度との積値からなる評価式を用いて、評価式が最小となるような複数のパラメータの量子化ステップサイズを探索する。これにより、量子化装置１０は、モデルの対象レイヤのパラメータについて最適な量子化ステップサイズを決定することができる。

次に、量子化装置１０は、ステップ１で決定した量子化ステップサイズを用いて、パラメータを量子化する（Ｓ２）。

図１１は、本実施の形態における量子化装置１０の動作詳細の一例を示すフローチャートである。以下、量子化対象のＦＰモデルの対象レイヤをレイヤＬとし、対象レイヤの重みをＷ_Ｌ、中間値をＸ_Ｌ、対象レイヤの重み及び中間値の量子化ステップサイズをΔＷ_Ｌ及びΔＸ_Ｌと表現して説明する。

図１１に示すように、まず、量子化装置１０は、量子化対象のＦＰモデルの対象レイヤの重み（Ｗ_Ｌ）の分布を生成する（Ｓ１０）。

次に、量子化装置１０は、対象レイヤの中間値（Ｘ_Ｌ）の分布を生成する（Ｓ１１）。ここで、ステップＳ１１の具体的な動作を図１２を用いて説明する。

図１２は、図１１のステップＳ１１の具体的な動作の一例を示すフローチャートである。

図１２に示すように、まず、量子化装置１０または量子化装置１０の使用者は、分布生成用データセットを準備する（Ｓ１１１）。次いで、量子化装置１０は、分布生成用データセットに含まれる１つのデータをＦＰモデルに入力し、対象レイヤの中間値（Ｘ_Ｌ）を算出し（Ｓ１１２）、中間値（Ｘ_Ｌ）の分布を更新する（Ｓ１１３）。なお、量子化装置１０は、対象レイヤの中間値（Ｘ_Ｌ）を初めて生成した場合、生成した中間値（Ｘ_Ｌ）を保存すればよい。次いで、量子化装置１０は、データセットを網羅したか、すなわち分布生成用に含まれるデータをすべてについて対象レイヤの中間値（Ｘ_Ｌ）を算出して更新したかを確認する（Ｓ１１４）。ステップＳ１１４において、データセットを網羅していない場合（Ｓ１１４でＮ）、量子化装置１０は、ステップＳ１１２に戻り処理を繰り返す。一方、ステップＳ１１４において、データセットを網羅した場合（Ｓ１１４でＹ）、量子化装置１０は、ここでの処理すなわちステップＳ１１を終了する。なお、量子化装置１０は、対象レイヤの中間値の分布を生成する場合に限らず、上述したように、対象レイヤの特徴マップの分布を生成してもよい。

次に、量子化装置１０は、内蔵ストレージ１００４などに記憶している量子化ステップサイズ（ΔＷ_Ｌ、ΔＸ_Ｌ）を初期化する（Ｓ１２）。

次に、量子化装置１０は、対象レイヤの次のレイヤの中間値の推論寄与度（Ｃ_Ｌ+１）を算出する（Ｓ１３）。ここで、ステップＳ１３の具体的な動作を図１３を用いて説明する。

図１３は、図１１のステップＳ１３の具体的な動作の一例を示すフローチャートである。

図１３に示すように、まず、量子化装置１０または量子化装置１０の使用者は、推論寄与度用データセットを準備する（Ｓ１３１）。なお、推論寄与度用データセットは、上述した分布生成用データセットと同じでもよい。次いで、量子化装置１０は、推論寄与度用データセットに含まれる１つのデータをＦＰモデルに入力し、対象レイヤの次のレイヤの中間値（Ｘ_Ｌ+１）を算出し（Ｓ１３２）、中間値（Ｘ_Ｌ+１）を当該次のレイヤのニューロンごとに蓄積する（Ｓ１３３）。次いで、量子化装置１０は、データセットを網羅したか、すなわち推論寄与度用に含まれるデータをすべてについて対象レイヤの次のレイヤの中間値（Ｘ_Ｌ+１）を算出して蓄積したかを確認する（Ｓ１３４）。ステップＳ１３４において、データセットを網羅していない場合（Ｓ１３４でＮ）、量子化装置１０は、ステップＳ１３２に戻り処理を繰り返す。一方、ステップＳ１３４において、データセットを網羅した場合（Ｓ１３４でＹ）、量子化装置１０は、ステップＳ１１３で蓄積した中間値（Ｘ_Ｌ+１）の値を正規化し、推論寄与度（Ｃ_Ｌ+１）を算出する（Ｓ１３５）。なお、量子化装置１０は、対象レイヤの次のレイヤの中間値を算出して蓄積する場合に限らず、上述したように、対象レイヤの次のレイヤの特徴マップを算出して蓄積してもよい。以下、図１１に戻って説明を続ける。

次に、量子化装置１０は、最適な量子化ステップサイズを探索する（Ｓ１４）。ここで、ステップＳ１４の具体的な動作を図１４を用いて説明する。

図１４は、図１１のステップＳ１４の具体的な動作の一例を示すフローチャートである。

図１４に示すように、まず、量子化装置１０は、量子化ステップサイズの値を示すΔＷ_Ｌ、ΔＸ_Ｌに初期値を設定する（Ｓ１４１）。量子化装置１０または量子化装置１０の使用者は、評価算出用データセットを準備する（Ｓ１４２）。なお、評価算出用データセットは、上述した推論寄与度用データセットまたは分布生成用データセットと同じでもよい。次いで、量子化装置１０は、評価算出用データセットに含まれる１つのデータをＦＰモデル及びＩＮＴモデルに入力し、上述した（式１）に示される評価式を用いて算出した評価結果を蓄積する（Ｓ１４３）。次いで、量子化装置１０は、データセットを網羅したか、すなわち評価算出用に含まれるデータをすべてについて（式１）に示される評価式を用いて算出した評価結果を蓄積したかを確認する（Ｓ１４４）。

ステップＳ１４４において、データセットを網羅していない場合（Ｓ１４４でＮ）、量子化装置１０は、ステップＳ１４３に戻り処理を繰り返す。一方、ステップＳ１４４において、データセットを網羅した場合（Ｓ１４４でＹ）、量子化装置１０は、ステップＳ１４３で蓄積した評価結果の平均を算出する（Ｓ１４５）。次いで、量子化装置１０は、ステップＳ１４５で算出した平均が最小値であれば、そのときの量子化ステップサイズの値を示すΔＷ_Ｌ、ΔＸ_Ｌの組み合わせを保持する（Ｓ１４６）。なお、ステップＳ１４５で平均を算出することは必須ではない。この場合、ステップＳ１４６では評価結果が最小のときの組み合わせを保持すればよい。次いで、量子化装置１０は、ΔＸ_Ｌの全パターンを網羅したかを確認する（Ｓ１４７）。

ステップＳ１４７において、全パターンを網羅していない場合（Ｓ１４７でＮ）、量子化装置１０は、重みの量子化ステップサイズ（ΔＸ_Ｌ）を更新して（Ｓ１４８）、ステップＳ１４３に戻り処理を繰り返す。一方、ステップＳ１４７において、全パターンを網羅した場合（Ｓ１４７でＹ）、量子化装置１０は、ΔＷ_Ｌの全パターンを網羅したかを確認する（Ｓ１４９）。

ステップＳ１４９において、全パターンを網羅していない場合（Ｓ１４９でＮ）、量子化装置１０は、中間値の量子化ステップサイズ（ΔＷ_Ｌ）を更新して（Ｓ１５０）、ステップＳ１４３に戻り処理を繰り返す。一方、ステップＳ１４９において、全パターンを網羅した場合（Ｓ１４９でＹ）、量子化装置１０は、ここでの処理すなわちステップＳ１４を終了する。

次に、量子化装置１０は、ステップＳ１４の探索により得られた（決定された）量子化ステップサイズで、重み（Ｗ_Ｌ）及び中間値（Ｘ_Ｌ）を量子化する（Ｓ２）。

このようにして、量子化装置１０は、推論寄与度と量子化誤差とを考慮して、モデルのパラメータに対する量子化ステップサイズを決定して、モデルのパラメータを量子化する。

［３．効果等］
ここで、図を用いて、本実施の形態に係る効果について説明する。

図１５は、量子化対象のモデルの一例を示す図である。ここでは、図１５に示すように、３ニューロンで構成される入力層と、４ニューロンで構成される中間層と、２ニューロンで構成される出力層とを有する３層からなる学習済のＦＰモデルを用いて説明する。

図１６Ａ～図１６Ｄは、比較例に係る量子化方法について説明するための図である。なお、図１６Ｄに示される２つのグラフの縦軸はデータ頻度を示し、横軸は数値を示す。

図１６Ａには、ＦＰモデルに入力画像を入力したことで得たニューロン値を、ニューロインデックスで並べた第１グラフが示されている。また、図１６Ａには、当該ＦＰモデルを量子化したＩＮＴモデルに、入力画像を入力したことで得たニューロン値をニューロインデックスで並べた第２グラフが示されている。なお、図１６Ａに示すＩＮＴモデルは、図１６Ｄの（ａ）に示すような等間隔の量子化ステップサイズでＦＰモデルが量子化された場合に該当する。図１６Ｂには、図１６Ａの第１グラフと第２グラフとの差分値を量子化誤差として、ニューロインデックスで並べた第３グラフが示されている。

図１６Ｃに示されるモデルでは、図１６Ｂに示される第３グラフにおいて、量子化誤差が大きい（閾値以上の大きさの）ニューロインデックスに対応するニューロンがハッチングで示されている。すなわち、図１６Ｃに示されるＦＰモデルにおいてハッチングで示されるニューロンでは、量子化によって生じる誤差（量子化誤差）が大きいことが示されている。

比較例では、モデルのニューロンのうち、量子化によって生じる量子化誤差に対して、図１６Ｄの（ａ）に示すような等間隔（等分割）の量子化ステップサイズではなく、図１６Ｄの（ｂ）に示すような量子化誤差を最小にするように個々の量子化ステップサイズを決定する。

しかしながら、量子化誤差が大きいニューロンのパラメータを特定し、その量子化誤差を最小にするように個々の量子化ステップサイズを決定したとしても、必ずしも推論精度の劣化を抑制できるとは限らない。

図１７は、本実施の形態に係る量子化方法を概念的に説明するための図である。

一方、本実施の形態では、推論寄与度と量子化誤差とを考慮して、ＦＰモデルのパラメータに対する量子化ステップサイズを決定して、ＦＰモデルのパラメータを量子化する。

より具体的には、ＦＰモデルの対象レイヤに含まれるニューロンに対して、量子化によって生じる量子化誤差だけでなく、推論結果の寄与度（すなわち推論寄与度）も算出する。そして、量子化誤差と推論寄与度の双方を考慮した量子化方法によって最適な量子化ステップサイズを決定する。すなわち、本実施の形態に係る量子化方法では、図１７の（ａ）に示すように量子化誤差の大きいハッチングされたニューロンと図１７の（ｂ）に示すように推論寄与度の大きいハッチングされたニューロンとを導出する。そして、図１７の（ｃ）に示すように、量子化誤差が大きく推論寄与度も大きい点線四角内のニューロンの量子化誤差を最小化するように、当該ニューロンのパラメータを決定する。

これにより、推論寄与度の大きいニューロンの量子化誤差を最小にするようにステップサイズを決定することができるので、ニューラルネットワークで構成されるモデルの量子化を行っても推論精度の劣化を抑制できる。

よって、組込みシステムなどの限られた計算リソースを活用して推論を行う場合でも、推論精度と演算量（処理速度）とを両立した深層学習の推論処理を実現できる。

なお、推論精度は、量子化後のモデルの出力値が、正解を推論したか否かを示す場合の適合率及び再現率に限らず、適合率、再現率、適合率及び再現率の調和平均により算出されるＦ値、並びに、正解率のうちの少なくとも一の組み合わせであればよい。

また、本開示では、限られた計算リソースを活用して推論を行う場合の例として、組込みシステムを挙げたがこれに限らない。車載システムなど車両に搭載されるシステムで推論を行う場合にも、利用できるだけでなく、ドローンに搭載されるシステムで推論を行う場合にも、利用できる。また、本開示に係るモデルは、画像を用いた識別向け、検知向け、セグメンテーション向けに限らず、音を用いた音、話者識別、検知向けであってもよい。

（その他の実施の形態）
以上、本開示に係る量子化方法などについて、各実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、各実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。

また、以下に示す形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。

（１）上記の量子化装置を構成する構成要素の一部は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムであってもよい。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の量子化装置を構成する構成要素の一部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の量子化装置を構成する構成要素の一部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）また、上記の量子化装置を構成する構成要素の一部は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、上記の量子化装置を構成する構成要素の一部は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

（５）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

（６）また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

（７）また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（８）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本開示は、組込みシステムなど、限られた計算リソースを活用して推論するために用いられるニューラルネットワークで構成されるモデルの量子化方法、量子化装置、及び、プログラムなどに利用できる。

１０ 量子化装置
１１ 分布生成部
１２ 推論寄与度算出部
１３ 量子化ステップサイズ探索部
１４ 量子化部
１３１ 量子化処理部
１３２ 評価算出部
１３３ 量子化ステップサイズ更新部
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ 内蔵ストレージ
１００５ ＲＡＭ
１００７ 読取装置
１００８ 送受信装置
１００９ バス

Claims (7)

1. コンピュータにより実行される量子化方法であって、
   ニューラルネットワークで構成されるモデルを用いて得た推論結果に対する、前記モデルを構成する複数のレイヤそれぞれにおける複数の第１ニューロンを要素とする前記複数のレイヤそれぞれの影響度を示す第１推論寄与度であって予め算出された第１推論寄与度のうち対象レイヤの次のレイヤにおける複数の第２ニューロンを要素とする前記次のレイヤの影響度を示す第２推論寄与度と、前記対象レイヤの複数のパラメータの量子化前後における量子化誤差とを用いて、前記複数のパラメータの量子化ステップサイズを探索し、
   探索により得られた量子化ステップサイズを用いて、前記複数のパラメータを量子化する、
   量子化方法。
2. 前記量子化誤差と前記第２推論寄与度との積値からなる評価式を用いて、前記評価式が最小となるような前記複数のパラメータの量子化ステップサイズを探索する、
   請求項１に記載の量子化方法。
3. 前記モデルの学習に用いた学習用データセットのうちの少なくとも一部である推論寄与度用データセットを構成するデータのそれぞれを、前記モデルに入力して推論させることで前記第１ニューロンそれぞれの値である第１ニューロン値を算出して、
   前記推論寄与度用データセットを構成するすべてのデータに対して算出した前記第１ニューロン値を、前記第１ニューロンそれぞれについて累積した累積値を算出し、
   前記第１ニューロンそれぞれにおける累積値を前記複数のレイヤそれぞれで正規化した値を、前記第１推論寄与度として算出する、
   請求項１または２に記載の量子化方法。
4. 前記複数のパラメータは、前記対象レイヤの中間値及び前記第１ニューロンに付与された複数の重みのうち少なくとも一方である、
   請求項１～３のいずれか１項に記載の量子化方法。
5. 前記モデルが畳み込みニューラルネットワークであり、
   前記中間値は、前記対象レイヤの特徴マップである、
   請求項４に記載の量子化方法。
6. プロセッサと、
   メモリと、を備え、
   前記プロセッサは、前記メモリを用いて、
   ニューラルネットワークで構成されるモデルを用いて得た推論結果に対する、前記モデルを構成する複数のレイヤそれぞれにおける複数の第１ニューロンを要素とする前記複数のレイヤそれぞれの影響度を示す第１推論寄与度であって予め算出された第１推論寄与度のうち対象レイヤの次のレイヤにおける複数の第２ニューロンを要素とする前記次のレイヤの影響度を示す第２推論寄与度と、前記対象レイヤの複数のパラメータの量子化前後における量子化誤差とを用いて、前記複数のパラメータの量子化ステップサイズを探索し、
   探索により得られた量子化ステップサイズを用いて、前記複数のパラメータを量子化する、
   量子化装置。
7. ニューラルネットワークで構成されるモデルを用いて得た推論結果に対する、前記モデルを構成する複数のレイヤそれぞれにおける複数の第１ニューロンを要素とする前記複数のレイヤそれぞれの影響度を示す第１推論寄与度であって予め算出された第１推論寄与度
   のうち対象レイヤの次のレイヤにおける複数の第２ニューロンを要素とする前記次のレイヤの影響度を示す第２推論寄与度と、前記対象レイヤの複数のパラメータの量子化前後における量子化誤差とを用いて、前記複数のパラメータの量子化ステップサイズを探索するステップと、
   探索により得られた量子化ステップサイズを用いて、前記複数のパラメータを量子化するステップとを、
   コンピュータに実行させるプログラム。

Images