JP7700650B2 - モデル削減プログラム、装置、及び方法 - Google Patents

Description

開示の技術は、モデル削減プログラム、モデル削減装置、及びモデル削減方法に関する。

深層学習技術の進化などにより、機械学習モデル（以下、単に「モデル」ともいう）が巨大化する傾向にある。モデルのサイズが巨大化するにしたがって、機械学習に必要なメモリやプロセッサ等のコンピューティングリソースも著しく増大することになる。一方で、モバイルデバイスなど、深層学習技術を必要とする環境は多様化の傾向にある。また、機械学習の開始時には巨大なモデルが必要であるが、機械学習の結果、最終的に推論に必要となるパラメータ数は多くない場合がある。そこで、上記のような傾向への対応として、サーバなどのコンピューティングリソースが潤沢な環境でモデルの機械学習を実行し、不要なパラメータを削除して軽量化したモデルを推論に用いる、モデル軽量化技術が台頭してきている。

例えば、ファジィ推論モデルを作成する際、無意味な入力パラメータ及び出力パラメータを削除し、ファジィ推論モデルによる演算時間を短縮するファジィ推論モデルの構成の適正化方法が提案されている。この方法は、ファジィ推論モデルに任意の入力データを与え、対応する出力データを算出し、複数組の擬似データを作成し、また、このファジィ推論モデルと共通の入出力パラメータを有するニューラルネットワークを構成する。また、この方法は、擬似データを教師データとして与えてニューラルネットワークの特性値を決定し、このニューラルネットワークを用いて、各出力パラメータに対する各入力パラメータの影響度を算出する。そして、この方法は、いずれの出力パラメータに対しても影響度が小さい入力パラメータ、及びいずれの入力パラメータからも影響度が小さい出力パラメータを摘出する。そして、この方法は、摘出された入出力パラメータを前記ファジィ推論モデルの入出力パラメータの中から削除してファジィ推論モデルを修正する。

特開２０００－３２２２６３号公報

しかしながら、従来技術のモデル軽量化の手法のように、影響度が小さいパラメータを削除するだけでは、ネットワークの構成上、無駄なパラメータが残存する場合があり、その場合には、生成されたモデルによる推論の計算効率が低下する。また、影響度が小さいパラメータを単純に削除することにより、推論に有用な情報が失われ、パラメータ削除後のモデルの精度が悪化する場合もある。

一つの側面として、開示の技術は、機械学習モデルの精度低下を抑制しつつ、機械学習モデルの軽量化の効果を向上させることを目的とする。

一つの態様として、開示の技術は、ニューラルネットワークにおいて、入力層からの接続がない第１のニューロン、及び出力層への接続がない第２のニューロンを削除対象として特定する。また、開示の技術は、前記第１のニューロンのバイアスを、前記第１のニューロンと出力側で繋がっている第３のニューロンのバイアスに合算する。そして、開示の技術は、特定した前記削除対象のニューロンを前記ニューラルネットワークから削除する。

一つの側面として、機械学習モデルの精度低下を抑制しつつ、機械学習モデルの軽量化の効果を向上させることができる、という効果を有する。

モデル削減装置の機能ブロック図である。 既存のモデル軽量化技術の一例を説明するための図である。 既存のモデル軽量化技術の課題を説明するための図である。 ニューロン間の重みの表記を説明するための図である。 パラメータテーブルの一例を示す図である。 削除対象のニューロンの特定及びバイアスの補償を説明するための図である。 パラメータの削除を説明するための図である。 モデル削減装置として機能するコンピュータの概略構成を示すブロック図である。 モデル削減処理の一例を示すフローチャートである。 順方向重み修正処理の一例を示すフローチャートである。 逆方向重み修正処理の一例を示すフローチャートである。 削除処理の一例を示すフローチャートである。 層情報テーブル及び関数テーブルの一例を示す図である。 コンボリューション層を含むニューラルネットワークについての層情報テーブル及びパラメータテーブルの一例を示す図である。 コンボリューション層を含むニューラルネットワークを対象とした場合のパラメータの削除を説明するための図である。 ニューラルネットワークの層構成の一例を示す図である。 モデルのサイズ削減と精度との関係を説明するための図である。 削減率９０％の場合の層毎のデータサイズの一例を示す図である。 削減率９８％の場合の層毎のデータサイズの一例を示す図である。

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。

図１に示すように、本実施形態に係るモデル削減装置１０には、機械学習モデルであるニューラルネットワークを表すパラメータテーブルが入力される。本実施形態において、モデル削減装置１０に入力されるパラメータテーブルは、既存のモデル軽量化技術により一部のパラメータが削除されたパラメータテーブルである。

図２を参照して、既存のモデル軽量化技術の一例を説明する。なお、図２において、丸はニューラルネットワークのニューロン、矢印はニューロン間の接続を表す。以下の各図においても同様である。また、ニューロン間の接続には、モデルのパラメータの一つである重みが設定されている。既存のモデル軽量化技術は、例えば、図２に示すように、機械学習が実行されたモデルのパラメータであるニューロン間の重みに対して閾値を適用し、閾値以下の重みを０に修正する。図２の中段の図では、破線の矢印で表されるニューロン間の重みが０に修正されたことを表している。そして、既存のモデル軽量化技術は、重みが０の部分を不要なパラメータとして取り除くことにより、図２の下段の図に示すように、パラメータが削減されたモデルを出力する。

既存のモデル軽量化技術により軽量化されたモデルの場合、図３に示すように、入力が存在しないニューロン（図３中の太線の丸で示すニューロンＩ）、及び出力に用いられないニューロン（図３中の二重線の丸で示すニューロンＬ）がモデルに残存する場合がある。この場合、入力が存在しないニューロンから出力層へ至るまでの各ニューロン間の重み（図３中の破線矢印の部分の重み）は、モデルの出力の計算には使用されない不要なパラメータである。同様に、入力層から、出力に用いられないニューロンへ至るまでの各ニューロン間の重み（図３中の点線矢印の部分の重み）も、モデルの出力の計算には使用されない不要なパラメータである。

また、各ニューロンは、パラメータとしてバイアスも有する。例えば、ニューロンから出力される値ｙが単純な一次関数（ｙ＝ａｘ＋ｂ）で計算される場合、ｂがバイアス項である。なお、ここでのｘは、前段のニューロンから出力される値、ａは前段のニューロンと対象のニューロンとの間の重みである。バイアスは、機械学習の結果得られた、入力に依存しない定数値である。上記のような入力が存在しないニューロン（例えば、Ｉ）と、そのニューロンと出力側で接続されるニューロンとの間の重みを単純に削除した場合、そのニューロンが有するバイアスの情報を出力側のニューロンに伝える手段が失われる。これにより、推論に有用な情報が失われ、サイズ削減後のモデルの精度が悪化する場合もある。

そこで、本実施形態では、モデルの精度低下を抑制しつつ、モデルの軽量化の効果を向上させることができるようにパラメータを削除して、モデルのサイズを削減する。以下、本実施形態に係るモデル削減装置１０の機能構成について詳述する。なお、以下では、図４に示すように、ｎ－１層のニューロンｉとｎ層のニューロンｊが接続関係にある場合、ニューロンｉとニューロンｊとの間の重みを「ｗ_ｉ，ｊ ^（ｎ）」と表記する。また、重みｗ_ｉ，ｊ ^（ｎ）を、ニューロンｉの出力重み、又はニューロンｊの入力重みという。さらに、ニューロンｉのバイアスを「ｂ_ｉ」と表記する。なお、出力重みは、開示の技術の「出力側の重み」の一例であり、入力重みは、開示の技術の「入力側の重み」の一例である。

モデル削減装置１０は、機能的には、図１に示すように、修正部１２と、補償部１４と、削除部１６とを含む。修正部１２は、開示の技術の「特定部」の一例である。

修正部１２は、モデル削減装置１０に入力されたパラメータテーブルを取得する。図５に、パラメータテーブルの一例を示す。図５の例は、図５の上図のようなグラフ表現で表されるニューラルネットワークのパラメータテーブルである。図５に示すように、パラメータテーブルは層毎に設けられる。各層のパラメータテーブルでは、図５中の「入力」に示すように、該当の層のニューロンが各行に対応している。また、図５中の「出力」に示すように、該当の層の上位層のニューロン、すなわち出力する値が該当の層のニューロンへ入力されるニューロンが各列に対応している。行列の各要素には、その行及び列に対応するニューロン間の重みが格納されている。より具体的には、パラメータテーブルの各行には、その行に対応するニューロンの入力重みが格納され、パラメータテーブルの各列には、その行に対応するニューロンの出力重みが格納される。さらに、各層のパラメータテーブルには、該当の層のニューロンのバイアスも各行の末尾の列に格納されている。

修正部１２は、ニューラルネットワークにおいて、入力層からの接続がない第１のニューロン、及び出力層への接続がない第２のニューロンを削除対象として特定する。そして、修正部１２は、パラメータテーブルにおいて、第１のニューロンの出力重みを０に修正し、第２のニューロンの入力重みを０に修正する。

具体的には、図６に示すように、修正部１２は、ニューラルネットワークにおいて、入力層から出力層へ向かう順方向探索により、削除対象とする第１のニューロンを順次特定する。より具体的には、修正部１２は、入力層から順に、入力重みが全て０のニューロンを探索する。図６の例では、修正部１２は、ｎ＝２層のパラメータテーブルにおいて、ニューロンＩの行が全て０になっていることに基づいて、ニューロンＩの入力重みが全て０であると判定し、ニューロンＩを削除対象として特定する。そして、修正部１２は、ニューロンＩの出力重み、すなわち、ｎ＝３層のパラメータテーブルのニューロンＩの列の重みを全て０に修正する。修正部１２は、順方向探索で入力重みが全て０のニューロンを順次探索することにより、ニューロンＭについても入力重みが全て０になっていることを特定し、ニューロンＭの出力重みも全て０に修正する（図６中の破線矢印）。

また、同様に、図６に示すように、修正部１２は、ニューラルネットワークにおいて、出力層から入力層へ向かう逆方向探索により、削除対象とする第２のニューロンを順次特定する。より具体的には、修正部１２は、出力層から順に、出力重みが全て０のニューロンを探索する。図６の例では、修正部１２は、ｎ＝４層のパラメータテーブルにおいて、ニューロンＬの列が全て０になっていることに基づいて、ニューロンＬの出力重みが全て０であると判定し、ニューロンＬを削除対象として特定する。そして、修正部１２は、ニューロンＬの入力重み、すなわち、ｎ＝３層のパラメータテーブルのニューロンＬの行の重みを全て０に修正する。修正部１２は、逆方向探索で出力重みが全て０のニューロンを順次探索することにより、ニューロンＧについても出力重みが全て０になっていることを特定し、ニューロンＧの入力重みも全て０に修正する（図６中の点線矢印）。

また、修正部１２は、順方向探索で削除対象として特定した第１のニューロンについて、そのニューロンのバイアスを補償する処理を実行するように補償部１４へ通知する。

補償部１４は、修正部１２からの通知に基づいて、第１のニューロンのバイアスを、第１のニューロンと出力側で繋がっている第３のニューロンのバイアスに合算することで、削除対象の第１のニューロンのバイアスを補償する。例えば、補償部１４は、第１のニューロンのバイアスと、第１のニューロンと第３のニューロン間の重みとを乗算した値を、第３のニューロンのバイアスに足しこむことによりバイアスを合算する。

より具体的に、バイアスがｂ_ＩであるニューロンＩが削除対象の第１のニューロンとして特定された場合について説明する。図６の上図中の一点鎖線部及び図６の下図に示すように、ｎ＝２層のニューロンＩは、ｎ＝３層のニューロンＬ及びニューロンＭの各々と接続されている。また、ニューロンＬのバイアスはｂ_Ｌ、ニューロンＭのバイアスはｂ_Ｍ、ニューロンＩとニューロンＬとの間の重みはｗ_Ｉ，Ｌ ^（３）、ニューロンＩとニューロンＭとの間の重みはｗ_Ｉ，Ｍ ^（３）である。この場合、補償部１４は、ｂ_Ｌ及びｂ_Ｍを下記に示すように算出し、ｎ＝３層のパラメータテーブルの、ニューロンＬ及びニューロンＭの各々に対応する行のバイアスの列の値を更新する。
ｂ_Ｌ←ｂ_Ｌ＋ｗ_Ｉ，Ｌ ^（３）ｂ_Ｉ， ｂ_Ｍ←ｂ_Ｍ＋ｗ_Ｉ，Ｍ ^（３）ｂ_Ｉ

削除部１６は、特定された削除対象のニューロンをニューラルネットワークから削除する。削除対象のニューロンは、パラメータテーブルにおいて、入力重み及び出力重みが全て０になっている。具体的には、削除部１６は、パラメータテーブルにおいて、削除対象のニューロンの重みに対応する行及び列を削除する。より具体的には、削除部１６は、ｎ－１層のニューロンｉが削除対象の場合、ｎ－１層のパラメータテーブルで重みが全て０になっているニューロンｉの行、及びｎ層のパラメータテーブルで重みが全て０になっているニューロンｉの列を削除する。

例えば、図７の左図に示すように、ｎ＝２層のニューロンＤが削除対象のニューロンとして特定されたとする。この場合、ｎ＝２層のパラメータテーブルの「Ｄ」の行、及びｎ＝３層のパラメータテーブルの「Ｄ」の列の重みが０になっている。削除部１６は、図７の右図に示すように、ｎ＝２層のパラメータテーブルの「Ｄ」の行、及びｎ＝３層のパラメータテーブルの「Ｄ」の列を削除する。これにより、パラメータテーブルのサイズ、すなわちモデルのサイズが削減される。削除部１６は、サイズが削減されたパラメータテーブルを出力する。

モデル削減装置１０は、例えば図８に示すコンピュータ４０で実現されてよい。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、非一時的な記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。

記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現されてよい。記憶媒体としての記憶部４３には、コンピュータ４０を、モデル削減装置１０として機能させるためのモデル削減プログラム５０が記憶される。モデル削減プログラム５０は、修正プロセス５２と、補償プロセス５４と、削除プロセス５６とを有する。

ＣＰＵ４１は、モデル削減プログラム５０を記憶部４３から読み出してメモリ４２に展開し、モデル削減プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、修正プロセス５２を実行することで、図１に示す修正部１２として動作する。また、ＣＰＵ４１は、補償プロセス５４を実行することで、図１に示す補償部１４として動作する。また、ＣＰＵ４１は、削除プロセス５６を実行することで、図１に示す削除部１６として動作する。これにより、モデル削減プログラム５０を実行したコンピュータ４０が、モデル削減装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。

なお、モデル削減プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に、本実施形態に係るモデル削減装置１０の作用について説明する。モデル削減装置１０にニューラルネットワークを表すパラメータテーブルであって、既存のモデル軽量化技術により一部のパラメータが削除されたパラメータテーブルが入力されると、モデル削減装置１０において、図９に示すモデル削減処理が実行される。なお、モデル削減処理は、開示の技術のモデル削減方法の一例である。

ステップＳ１０で、修正部１２が、モデル削減装置１０に入力されたパラメータテーブルを取得する。次に、ステップＳ２０で、修正部１２が、順方向重み修正処理を実行し、入力層からの接続がない第１のニューロンを削除対象として特定し、パラメータテーブルにおいて、第１のニューロンの出力重みを０に修正する。この際、補償部１４が、第１のニューロンのバイアスを補償する処理も実行する。次に、ステップＳ４０で、修正部１２が、逆方向重み修正処理を実行し、出力層への接続がない第２のニューロンを削除対象として特定し、パラメータテーブルにおいて、第２のニューロンの入力重みを０に修正する。次に、ステップＳ６０で、削除部１６が、削除処理を実行し、削除対象のニューロンをニューラルネットワークから削除する。以下、順方向重み修正処理、逆方向重み修正処理、及び削除処理の各々について詳述する。

まず、図１０を参照して、順方向重み修正処理について説明する。

ステップＳ２１で、修正部１２が、ニューラルネットワークにおける処理対象の階層を特定する変数ｎを２に設定する。次に、ステップＳ２２で、修正部１２が、ｎが、ニューラルネットワークの階層数Ｎを超えたか否かを判定する。ｎがＮを超えていない場合には、ステップＳ２３へ移行する。

ステップＳ２３では、修正部１２が、ｎ－１層の入力重みが全て０のニューロンのリスト｛ｃ_ｉ｝を取得する。ｉは、ｎ－１層のニューロンの番号であり、ｉ＝１，２，・・・，Ｉ_ｎ－１（Ｉ_ｎ－１はｎ－１層のニューロンの個数）である。ｃ_ｉは、ｎ－１層のニューロンのうち、入力重みが全て０のニューロンの番号である。具体的には、修正部１２が、ｎ－１層のパラメータテーブルにおいて、重みが全て０の行に対応するニューロンの番号をリストに追加し、｛ｃ_ｉ｝を取得する。

次に、ステップＳ２４で、修正部１２が、ｉを１に設定する。次に、ステップＳ２５で、修正部１２が、ｉが、リスト｛ｃ_ｉ｝に含まれるニューロンの番号の最大値Ｃ_ｎ－１を超えたか否かを判定する。ｉがＣ_ｎ－１を超えていない場合には、ステップＳ２６へ移行する。ステップＳ２６では、修正部１２が、ｊを１に設定する。ｊは、ｎ層のニューロンの番号であり、ｊ＝１，２，・・・，Ｊ_ｎ（Ｊ_ｎはｎ層のニューロンの個数）である。次に、ステップＳ２７で、修正部１２が、ｊがＪ_ｎを超えたか否かを判定する。ｊがＪ_ｎを超えていない場合には、ステップＳ２８へ移行する。

ステップＳ２８では、補償部１４が、ｎ－１層のｉ番目のニューロンのバイアスを、ｎ層のｊ番目のニューロンのバイアスに合算することで、ｎ－１層のｉ番目のニューロンのバイアスを補償する。例えば、補償部１４は、ｎ層のｊ番目のニューロンのバイアスを、ｂ_ｊ←ｂ_ｊ＋ｗ_{ｃ＿ｉ，ｊ} ^（ｎ）ｂ_ｉのように算出し、ｎ層のパラメータテーブルの、ｊ番目のニューロンに対応する行のバイアスの列の値を更新する。次に、ステップＳ２９で、修正部１２が、ｎ－１層のｉ番目のニューロンから、ｎ層のｊ番目のニューロンへの出力重みを削除する。具体的には、修正部１２が、ｎ層のパラメータテーブルに格納されている重みｗ_{ｃ＿ｉ，ｊ}を０に修正する。これにより、ｎ－１層のｉ番目のニューロンは、入力重み及び出力重みが共に０になったことになる。なお、「ｃ＿ｉ」は、下付きとする都合上表記がｃ_ｉと異なっているが、ｃ＿ｉ＝ｃ_ｉである。後述のｃ＿ｊについても同様である。

次に、ステップＳ３０で、修正部１２が、ｊを１インクリメントして、ステップＳ２７に戻る。ステップＳ２７で、ｊがＪ_ｎを超えた場合には、ステップＳ３１へ移行する。ステップＳ３１では、修正部１２が、ｉを１インクリメントして、ステップＳ２５に戻る。ステップＳ２５で、ｉがＣ_ｎ－１を超えた場合には、ステップＳ３２へ移行する。ステップＳ３２では、修正部１２が、ｎを１インクリメントして、ステップＳ２２に戻る。ステップＳ２２で、ｎがＮを超えた場合には、順方向重み修正処理は終了し、モデル削減処理（図９）にリターンする。

なお、ｎ－１層のｉ番目のニューロンと、ｎ層のｊ番目のニューロンとに接続関係がない場合には、上記ステップＳ２８及びＳ２９の処理はスキップする。また、ｉがリスト｛ｃ_ｉ｝に含まれない場合、すなわち、ｎ－１層のｉ番目のニューロンの入力重みのいずれかが０ではない場合には、上記ステップＳ２７～Ｓ３０の処理はスキップする。そして、上記ステップＳ３１でｉを１インクリメントしてステップＳ２５に戻るようにすればよい。

次に、図１１を参照して、逆方向重み修正処理について説明する。

ステップＳ４１で、修正部１２が、ニューラルネットワークにおける処理対象の階層を特定する変数ｎをＮ－１に設定する。次に、ステップＳ４２で、修正部１２が、ｎが２より小さいか否かを判定する。ｎが２以上の場合には、ステップＳ４３へ移行する。

ステップＳ４３では、修正部１２が、ｎ層の出力重みが全て０のニューロンのリスト｛ｃ_ｊ｝を取得する。ｃ_ｊは、ｎ層のニューロンのうち、出力重みが全て０のニューロンの番号である。具体的には、修正部１２が、ｎ＋１層のパラメータテーブルにおいて、重みが全て０の列に対応するニューロンの番号をリストに追加し、｛ｃ_ｊ｝を取得する。

次に、ステップＳ４４で、修正部１２が、ｊを１に設定する。次に、ステップＳ４５で、修正部１２が、ｊが、リスト｛ｃ_ｊ｝に含まれるニューロンの番号の最大値Ｃ_ｎを超えたか否かを判定する。ｊがＣ_ｎを超えていない場合には、ステップＳ４６へ移行する。ステップＳ４６では、修正部１２が、ｉを１に設定する。次に、ステップＳ４７で、修正部１２が、ｉがＩ_ｎ－１を超えたか否かを判定する。ｉがＩ_ｎ－１を超えていない場合には、ステップＳ４９へ移行する。

ステップＳ４９では、修正部１２が、ｎ層のｊ番目のニューロンへの、ｎ－１層のｉ番目のニューロンからの入力重みを削除する。具体的には、修正部１２が、ｎ層のパラメータテーブルに格納されている重みｗ_{ｉ，ｃ＿ｊ} ^（ｎ）を０に修正する。これにより、ｎ層のｊ番目のニューロンは、入力重み及び出力重みが共に０になったことになる。

次に、ステップＳ５０で、修正部１２が、ｉを１インクリメントして、ステップＳ４７に戻る。ステップＳ４７で、ｉがＩ_ｎ－１を超えた場合には、ステップＳ５１へ移行する。ステップＳ５１では、修正部１２が、ｊを１インクリメントして、ステップＳ４５に戻る。ステップＳ４５で、ｊがＣ_ｎを超えた場合には、ステップＳ５２へ移行する。ステップＳ５２では、修正部１２が、ｎを１デクリメントして、ステップＳ４２に戻る。ステップＳ４２で、ｎが２より小さくなった場合には、逆方向重み修正処理は終了し、モデル削減処理（図９）にリターンする。

なお、ｎ－１層のｉ番目のニューロンと、ｎ層のｊ番目のニューロンとに接続関係がない場合には、上記ステップＳ４９の処理はスキップする。また、ｊがリスト｛ｃ_ｊ｝に含まれない場合、すなわち、ｎ層のｊ番目のニューロンの出力重みのいずれかが０ではない場合には、上記ステップＳ４７～Ｓ５０の処理はスキップする。そして、上記ステップＳ５１でｊを１インクリメントしてステップＳ４５に戻るようにすればよい。

次に、図１２を参照して、削除処理について説明する。

ステップＳ６１で、削除部１６が、ニューラルネットワークにおける処理対象の階層を特定する変数ｎを２に設定する。次に、ステップＳ６２で、削除部１６が、ｎが、ニューラルネットワークの階層数Ｎを超えたか否かを判定する。ｎがＮを超えていない場合には、ステップＳ６３へ移行する。

ステップＳ６３では、削除部１６が、ｎ－１層のニューロンのうち、入力重みが全て０のニューロンのリスト｛ｃ_ｉ｝を取得する。具体的には、削除部１６が、ｎ－１層のパラメータテーブルにおいて、重みが全て０の行に対応するニューロンの番号をリストに追加し、｛ｃ_ｉ｝を取得する。次に、ステップＳ６４で、削除部１６が、ｎ－１層のニューロンのうち、出力重みが全て０のニューロンのリスト｛ｄ_ｉ｝を取得する。具体的には、削除部１６が、ｎ層のパラメータテーブルにおいて、重みが全て０の列に対応するニューロンの番号をリストに追加し、｛ｄ_ｉ｝を取得する。

次に、ステップＳ６５で、削除部１６が、リスト｛ｃ_ｉ｝とリスト｛ｄ_ｉ｝とで共通する要素を要素とするリスト｛ｅ_ｉ｝を取得する。すなわち、リスト｛ｅ_ｉ｝には、ｎ－１層のニューロンのうち、入力重み及び出力重みが共に全て０のニューロンの番号が格納される。次に、ステップＳ６６で、削除部１６が、ｎ－１層のニューロンの番号を全て含むリスト｛ｉ｝と、リスト｛ｅ_ｉ｝との差集合｛ｆ_ｉ｝を取得する。すなわち、リスト｛ｆ_ｉ｝には、ｎ－１層のニューロンのうち、削除対象ではないニューロンの番号が格納される。

次に、ステップＳ６７で、削除部１６が、ｎ－１層のパラメータテーブルにおいて、重みｗ_{ｈ，ｆ＿ｉ} ^{（ｎ－１）}がｗ_ｈ，ｉ’ ^{（ｎ－１）}となるように更新し、ｎ層のパラメータテーブルにおいて、重みｗ_{ｆ＿ｉ，ｊ} ^（ｎ）がｗ_ｉ’，ｊ ^（ｎ）となるように更新する。なお、ｈはｎ－２層のニューロンの番号（ｈ＝１，２，・・・）であり、ｉ’は、｛ｆ_ｉ｝に含まれる番号に対して、新たに１，２，・・・のように振り直した番号である。これにより、例えば、｛ｆ_ｉ｝＝｛１，３｝の場合、ｎ－１層のパラメータテーブルの３行目が、削除後のパラメータテーブルの２行目になり、ｎ層のパラメータテーブルの３列目が、削除後のパラメータテーブルの２列目になる。すなわち、リスト｛ｅ_ｉ｝に含まれる番号のニューロンに対応する、ｎ－１層のパラメータテーブルの行と、ｎ層のパラメータテーブルにおける列が削除される。

次に、ステップＳ６８では、削除部１６が、ｎを１インクリメントして、ステップＳ６２に戻る。ステップＳ６２で、ｎがＮを超えた場合には、削除処理は終了し、モデル削減処理（図９）にリターンする。

以上説明したように、本実施形態に係るモデル削減装置は、ニューラルネットワークにおいて、入力層からの接続がない第１のニューロン、及び出力層への接続がない第２のニューロンを削除対象として特定する。また、モデル削減装置は、第１のニューロンのバイアスを、第１のニューロンと出力側で繋がっている第３のニューロンのバイアスに合算することにより補償する。そして、モデル削減装置は、特定した削除対象のニューロンをニューラルネットワークから削除する。これにより、機械学習モデルの精度低下を抑制しつつ、機械学習モデルの軽量化の効果を向上させることができる。

なお、上記実施形態では、第１のニューロンのバイアスを補償する処理として、第１のニューロンのバイアスと第３のニューロンとの間の重みとを乗算した値を第３のニューロンのバイアスに足しこむ場合について説明したが、これに限定されない。例えば、第１のニューロンのバイアスに第１のニューロンの活性化関数を適用した値と、第１のニューロンと第３のニューロンとの間の重みとを乗算した値を、第３のニューロンのバイアスに足しこんでもよい。この場合、モデル削減装置は、パラメータテーブルと共に、例えば図１３に示すような、層情報テーブル及び関数テーブルを取得する。図１３の例では、層情報テーブルには、層番号に対応付けて、その層で利用される活性化関数名が規定されている。関数テーブルには、活性化関数名と、その活性化関数の計算に利用される関数オブジェクトとが対応付けて規定されている。モデル削減装置の補償部は、例えば、ｎ－１層のニューロンｉのバイアスをｎ層のニューロンｊに足しこむ際、層情報テーブルから、ｎ－１層に対応する活性化関数を取得し、関数テーブルから、その活性化関数に対応する関数オブジェクトを取得する。そして、補償部は、下記のｆに取得した関数オブジェクトを適用して、ニューロンｊのバイアスｂ_ｊを更新する。
ｂ_ｊ←ｂ_ｊ＋ｗ_ｉ，ｊｆ（ｂ_ｉ）

また、上記実施形態は、コンボリューション層を含む構成のニューラルネットワークにも適用可能である。この場合、モデル削減装置は、例えば図１４に示すような、層情報テーブル及びパラメータテーブルを取得する。図１４の例では、層情報テーブルには、層番号に対応付けて、その層の属性が規定されている。なお、図１４において、属性の「ｃｏｎｖ」はコンボリューション層、「ｆｃ」は全結合層を表す。また、各層のパラメータテーブルは、その層の属性に応じたフォーマットとなっている。ｆｃ層についてのパラメータテーブルは、上記実施形態で説明したパラメータテーブルと同様である。コンボリューション層のパラメータテーブルには、各ニューロンに対応した行列の要素として、その層に適用されるフィルタサイズ分の重みが格納される。図１４の例では、フィルタサイズが３×３の例を示している。この場合、ｎ－１層のｉ番目のニューロンとｎ層のｊ番目のニューロン間の、フィルタの左からｋ番目かつ上からｌ番目の要素に対応する重みは、ｗ_{ｉ，ｊ，ｋ，ｌ} ^（ｎ）で表される。例えば、ｗ_{２，１，２，２} ^（２）は、図１４のパラメータテーブル中の破線で示す要素に相当する。

モデル削減装置は、コンボリューション層のパラメータテーブルの場合、フィルタの各要素の重みも含め、全ての重みが０の行又は列に対応するニューロンを、入力重み又は出力重みが０のニューロンとして特定する。例えば、図１５の左図の場合、ｎ＝２層の３番目のニューロンの入力重みが全て０であるため、モデル削減装置の修正部は、ｎ＝２層の３番目のニューロンを削除対象として特定する。そして、修正部は、図１５の右図に示すように、ｎ＝３層のパラメータテーブルにおいて、ｎ＝２層の３番目のニューロンの出力重みである３列目の重みを０に修正する。そして、モデル削減装置の削除部が、図１５の右図の網掛部で示す、ｎ＝２層のパラメータテーブルの、フィルタの３×３要素を含む３行目、及びｎ＝３層のパラメータテーブルの３列目を削除する。このように、開示の技術は、コンボリューション層を含む構成のニューラルネットワークであっても、モデルのサイズを削減することができる。なお、図１５では、パラメータテーブルにおいて、バイアスの値が格納される列の表記を省略している。

また、上記実施形態では、既存のモデル軽量化技術により一部のパラメータが削除されたパラメータテーブルがモデル削減装置へ入力される場合について説明したが、モデル軽量化前のパラメータテーブルが入力されてもよい。この場合、モデル削減装置に既存のモデル軽量化の機能も備えるようにすればよい。

ここで、開示の技術を適用した場合の、モデルのサイズの削減率と精度との関係の一例について説明する。ここでは、ニューラルネットワークとして、図１６に示すような層構成のＶＧＧＮｅｔのＶＧＧ－１９－ＢＮを用い、データセットとして、ＣＩＦＡＲ－１０を用いた。図１７に、サイズの削減率が９０％の場合と、９８％の場合とについて、それぞれのモデルの精度を示す。全体データサイズは、入力チャネル数×出力チャネル数×フィルタサイズ×４×２で算出している。この算出式において、「４」は、一つの浮動小数点型変数が持つ情報量をｂｙｔｅ単位で表したものであり、「２」は、一つの重みパラメータに重み情報及び勾配情報という二つの情報が含まれるため、２倍しているものである。図１７に示すように、いずれの削減率の場合でも、パラメータの削除前後のモデルでの精度に変化がなく、サイズ削減による精度への影響が抑制されていることが分かる。

なお、上記の例におけるニューラルネットワークの各層の削減データサイズについて、削減率が９０％の場合を図１８に、削減率が９８％の場合を図１９に示す。図１８及び図１９において、「ｔｅｓｔ＿ａｃｃ」は、テストデータに対するニューラルネットワークの予測の精度であり、図１７の「精度」と同様である。また、「ｔｒａｉｎ＿ａｃｃ」は、訓練データに対するニューラルネットワークの予測の精度である。なお、「精度」とは、ニューラルネットワークが予測した値と正解とが合致している割合である。

また、上記実施形態では、モデル削減プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）
ニューラルネットワークにおいて、入力層からの接続がない第１のニューロン、及び出力層への接続がない第２のニューロンを削除対象として特定し、
前記第１のニューロンのバイアスを、前記第１のニューロンと出力側で繋がっている第３のニューロンのバイアスに合算し、
特定した前記削除対象のニューロンを前記ニューラルネットワークから削除する
ことを含む処理をコンピュータに実行させるためのモデル削減プログラム。

（付記２）
前記第１のニューロンを削除対象として特定する処理は、前記第１のニューロンの出力側の重みを０に修正することを含み、
前記第２のニューロンを削除対象として特定する処理は、前記第２のニューロンの入力側の重みを０に修正することを含み、
前記ニューラルネットワークから削除されるニューロンは、前記入力側の重み及び前記出力側の重みが全て０のニューロンである
付記１に記載のモデル削減プログラム。

（付記３）
前記ニューラルネットワークにおいて、前記入力層から前記出力層へ向かう順方向探索により前記第１のニューロンを削除対象として特定する処理を実行し、前記出力層から前記入力層へ向かう逆方向探索により前記第２のニューロンを削除対象として特定する処理を実行する付記２に記載のモデル削減プログラム。

（付記４）
前記第１のニューロン及び前記第２のニューロンを削除対象として特定する処理は、接続されたニューロンの一方を行、他方を列に割り当てた行列の要素に、前記接続されたニューロン間の重みを格納したパラメータテーブルにおける対応する要素を０に修正することを含む付記２又は付記３に記載のモデル削減プログラム。

（付記５）
前記重みが全て０のニューロンを前記ニューラルネットワークから削除する処理は、前記パラメータテーブルにおいて、削除対象のニューロンの重みに対応する行及び列を削除することを含む付記４に記載のモデル削減プログラム。

（付記６）
前記バイアスを合算する処理は、前記第１のニューロンのバイアスと前記第１のニューロンと前記第３のニューロン間の重みとを乗算した値を、前記第３のニューロンのバイアスに足しこむことを含む付記１～付記５のいずれか１項に記載のモデル削減プログラム。

（付記７）
前記バイアスを合算する処理は、前記第１のニューロンのバイアスに前記第１のニューロンの活性化関数を適用した値と、前記第１のニューロンと前記第３のニューロン間の重みとを乗算した値を、前記第３のニューロンのバイアスに足しこむことを含む付記１～付記５のいずれか１項に記載のモデル削減プログラム。

（付記８）
ニューラルネットワークにおいて、入力層からの接続がない第１のニューロン、及び出力層への接続がない第２のニューロンを削除対象として特定する特定部と、
前記第１のニューロンのバイアスを、前記第１のニューロンと出力側で繋がっている第３のニューロンのバイアスに合算する補償部と、
特定した前記削除対象のニューロンを前記ニューラルネットワークから削除する削除部と、
を含むモデル削減装置。

（付記９）
前記特定部は、前記第１のニューロンの出力側の重みを０に修正し、前記第２のニューロンの入力側の重みを０に修正し、
前記削除部は、前記入力側の重み及び前記出力側の重みが全て０のニューロンを前記ニューラルネットワークから削除する
付記８に記載のモデル削減装置。

（付記１０）
前記特定部は、前記ニューラルネットワークにおいて、前記入力層から前記出力層へ向かう順方向探索により前記第１のニューロンを削除対象として特定する処理を実行し、前記出力層から前記入力層へ向かう逆方向探索により前記第２のニューロンを削除対象として特定する処理を実行する付記９に記載のモデル削減装置。

（付記１１）
前記特定部は、前記第１のニューロン及び前記第２のニューロンを削除対象として特定する処理として、接続されたニューロンの一方を行、他方を列に割り当てた行列の要素に、前記接続されたニューロン間の重みを格納したパラメータテーブルにおける対応する要素を０に修正することを含む処理を実行する付記９又は付記１０に記載のモデル削減装置。

（付記１２）
前記削除部は、前記パラメータテーブルにおいて、削除対象のニューロンの重みに対応する行及び列を削除する付記１１に記載のモデル削減装置。

（付記１３）
前記補償部は、前記第１のニューロンのバイアスと前記第１のニューロンと前記第３のニューロン間の重みとを乗算した値を、前記第３のニューロンのバイアスに足しこむ付記８～付記１２のいずれか１項に記載のモデル削減装置。

（付記１４）
前記補償部は、前記第１のニューロンのバイアスに前記第１のニューロンの活性化関数を適用した値と、前記第１のニューロンと前記第３のニューロン間の重みとを乗算した値を、前記第３のニューロンのバイアスに足しこむ付記８～付記１２のいずれか１項に記載のモデル削減装置。

（付記１５）
ニューラルネットワークにおいて、入力層からの接続がない第１のニューロン、及び出力層への接続がない第２のニューロンを削除対象として特定し、
前記第１のニューロンのバイアスを、前記第１のニューロンと出力側で繋がっている第３のニューロンのバイアスに合算し、
特定した前記削除対象のニューロンを前記ニューラルネットワークから削除する
ことを含む処理をコンピュータが実行するモデル削減方法。

（付記１６）
前記第１のニューロンを削除対象として特定する処理は、前記第１のニューロンの出力側の重みを０に修正することを含み、
前記第２のニューロンを削除対象として特定する処理は、前記第２のニューロンの入力側の重みを０に修正することを含み、
前記ニューラルネットワークから削除されるニューロンは、前記入力側の重み及び前記出力側の重みが全て０のニューロンである
付記１５に記載のモデル削減方法。

（付記１７）
前記ニューラルネットワークにおいて、前記入力層から前記出力層へ向かう順方向探索により前記第１のニューロンを削除対象として特定する処理を実行し、前記出力層から前記入力層へ向かう逆方向探索により前記第２のニューロンを削除対象として特定する処理を実行する付記１６に記載のモデル削減方法。

（付記１８）
前記第１のニューロン及び前記第２のニューロンを削除対象として特定する処理は、接続されたニューロンの一方を行、他方を列に割り当てた行列の要素に、前記接続されたニューロン間の重みを格納したパラメータテーブルにおける対応する要素を０に修正することを含む付記１６又は付記１７に記載のモデル削減方法。

（付記１９）
前記重みが全て０のニューロンを前記ニューラルネットワークから削除する処理は、前記パラメータテーブルにおいて、削除対象のニューロンの重みに対応する行及び列を削除することを含む付記１８に記載のモデル削減方法。

（付記２０）
前記バイアスを合算する処理は、前記第１のニューロンのバイアスと前記第１のニューロンと前記第３のニューロン間の重みとを乗算した値を、前記第３のニューロンのバイアスに足しこむことを含む付記１５～付記１９のいずれか１項に記載のモデル削減方法。

１０ モデル削減装置
１２ 修正部
１４ 補償部
１６ 削除部
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４４ 入出力装置
４５ Ｒ／Ｗ部
４６ 通信Ｉ／Ｆ
４７ バス
４９ 記憶媒体
５０ モデル削減プログラム

Claims (9)

1. ニューラルネットワークにおいて、入力層からの接続がない第１のニューロン、及び出力層への接続がない第２のニューロンを削除対象として特定し、
   前記第１のニューロンのバイアスを、前記第１のニューロンと出力側で繋がっている第３のニューロンのバイアスに合算し、
   特定した前記削除対象のニューロンを前記ニューラルネットワークから削除する
   ことを含む処理をコンピュータに実行させるためのモデル削減プログラム。
2. 前記第１のニューロンを削除対象として特定する処理は、前記第１のニューロンの出力側の重みを０に修正することを含み、
   前記第２のニューロンを削除対象として特定する処理は、前記第２のニューロンの入力側の重みを０に修正することを含み、
   前記ニューラルネットワークから削除されるニューロンは、前記入力側の重み及び前記出力側の重みが全て０のニューロンである
   請求項１に記載のモデル削減プログラム。
3. 前記ニューラルネットワークにおいて、前記入力層から前記出力層へ向かう順方向探索により前記第１のニューロンを削除対象として特定する処理を実行し、前記出力層から前記入力層へ向かう逆方向探索により前記第２のニューロンを削除対象として特定する処理を実行する請求項２に記載のモデル削減プログラム。
4. 前記第１のニューロン及び前記第２のニューロンを削除対象として特定する処理は、接続されたニューロンの一方を行、他方を列に割り当てた行列の要素に、前記接続されたニューロン間の重みを格納したパラメータテーブルにおける対応する要素を０に修正することを含む請求項２又は請求項３に記載のモデル削減プログラム。
5. 前記重みが全て０のニューロンを前記ニューラルネットワークから削除する処理は、前記パラメータテーブルにおいて、削除対象のニューロンの重みに対応する行及び列を削除することを含む請求項４に記載のモデル削減プログラム。
6. 前記バイアスを合算する処理は、前記第１のニューロンのバイアスと前記第１のニューロンと前記第３のニューロン間の重みとを乗算した値を、前記第３のニューロンのバイアスに足しこむことを含む請求項１～請求項５のいずれか１項に記載のモデル削減プログラム。
7. 前記バイアスを合算する処理は、前記第１のニューロンのバイアスに前記第１のニューロンの活性化関数を適用した値と、前記第１のニューロンと前記第３のニューロン間の重みとを乗算した値を、前記第３のニューロンのバイアスに足しこむことを含む請求項１～請求項５のいずれか１項に記載のモデル削減プログラム。
8. ニューラルネットワークにおいて、入力層からの接続がない第１のニューロン、及び出力層への接続がない第２のニューロンを削除対象として特定する特定部と、
   前記第１のニューロンのバイアスを、前記第１のニューロンと出力側で繋がっている第３のニューロンのバイアスに合算する補償部と、
   特定した前記削除対象のニューロンを前記ニューラルネットワークから削除する削除部と、
   を含むモデル削減装置。
9. ニューラルネットワークにおいて、入力層からの接続がない第１のニューロン、及び出力層への接続がない第２のニューロンを削除対象として特定し、
   前記第１のニューロンのバイアスを、前記第１のニューロンと出力側で繋がっている第３のニューロンのバイアスに合算し、
   特定した前記削除対象のニューロンを前記ニューラルネットワークから削除する
   ことを含む処理をコンピュータが実行するモデル削減方法。