JP7851810B2 - 学習装置、方法およびプログラム - Google Patents

Description

本発明の実施形態は、学習装置、方法およびプログラムに関する。

ニューラルネットワークのモデルサイズを小さくする手法として、プルーニングがある。プルーニングにより、ニューラルネットワークのパラメータ（重み係数またはチャネル）を削除することにより、推論精度を維持しつつ、ニューラルネットワークのモデルサイズを小さくできる。
しかし、プルーニングは、同じ学習条件で安定した処理結果を得られる場合は効率的に経路を最適化でき、モデルサイズを小さくできるが、学習が不安定な場合は、効率的にモデルサイズを小さくすることが難しい。例えば、隠れ層を含む複数の経路が結合したニューラルネットワークでは、学習が不安定になりがちであり、プルーニングも不安定な挙動を示す。よって、効率的にプルーニングを実行することが難しい。

特許第６９５１２９５号公報

本開示は、上述の課題を解決するためになされたものであり、効率的に経路を最適化できる学習装置、方法およびプログラムを提供することを目的とする。

本実施形態に係る学習装置は、学習部と、プルーニング部と、再構築部と、判定部とを含む。学習部は、複数の経路を有するニューラルネットワークモデルを訓練し、学習済みモデルを生成する。プルーニング部は、前記学習済みモデルに対してプルーニングを実行し、前記複数の経路それぞれの残りのパラメータ数を算出する。再構築部は、前記パラメータ数が閾値以下となる経路を削除した再構築候補モデルを生成する。判定部は、前記再構築候補モデルに含まれる経路がさらに削除可能であるか否かを判定する。前記判定部により前記経路がさらに削除可能であると判定された場合、前記再構築候補モデルに対し、前記学習部、前記プルーニング部および前記再構築部の各処理を実行する。

本実施形態に係る学習装置を示すブロック図。 本実施形態に係る学習装置の動作例を示すフローチャート。 再構築モデルのプルーニング過程の一例のうちの第１段階を示す図。 再構築モデルのプルーニング過程の一例のうちの第２段階を示す図。 再構築モデルのプルーニング過程の一例のうちの第３段階を示す図。 複数の再構築候補モデルに対する学習装置の動作例を示すフローチャート。 経路間の負の相関の一例を示すグラフ。 プルーニング結果の表示例を示す図。 学習装置のハードウェア構成の一例を示す図。

以下、図面を参照しながら本実施形態に係る学習装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。

（第１の実施形態）
第１の実施形態に係る学習装置について図１のブロック図を参照して説明する。
第１実施形態に係る学習装置１０は、学習部１０１と、プルーニング部１０２と、再構築部１０３と、判定部１０４と、表示制御部１０５と、記憶部１０６とを含む。

学習部１０１は、訓練データおよび学習条件に基づいて、複数の経路を含むニューラルネットワークモデルを訓練し、学習済みモデルを生成する。複数の経路を含むニューラルネットワークモデルとは、入力層から出力層の間で複数の経路があるニューラルネットワークモデルである。例えば、複数のモジュールが組み合わせられ、途中で各モジュールからの出力が集約されるようなニューラルネットワークモデルである。また、ニューラルネットワークモデルは、複数の経路を有するアーキテクチャであれば、ＶＧＧ１６、ＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔなどの畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、トランスフォーマー、グラフニューラルネットワークなど、どのようなネットワークでもよい。

プルーニング部１０２は、学習済みモデルに対してプルーニングを実行し、複数の経路それぞれの残りのパラメータ数を算出する。パラメータ数は、重み係数の数およびチャネル数の少なくとも１つである。
再構築部１０３は、パラメータ数が閾値以下となる経路を削除した学習済みモデルである再構築候補モデルを生成する。また、再構築部１０３は、再構築候補モデルに含まれる経路のうち削除可能な経路が存在しない場合または所定の終了条件を満たす場合、再構築候補モデルをプルーニングが終了した再構築モデルとして選択する。

判定部１０４は、再構築候補モデルに含まれる経路がさらに削除可能であるか否かを判定する。判定部１０４はさらに、プルーニング履歴に基づいて、再学習が必要か否かを判定する。プルーニング履歴は、プルーニング部１０２により複数回プルーニングが実行された場合のプルーニング結果の履歴と、対応する再構築候補モデルの履歴とを対応付けたデータである。
表示制御部１０５は、プルーニング履歴をディスプレイなどの外部の表示装置に表示するように制御する。
記憶部１０６は、訓練データ、ニューラルネットワークモデル、プルーニング結果、再構築候補モデル、再構築モデルなどを記憶する。

次に、本実施形態に係る学習装置１０の動作例について図２のフローチャートを参照して説明する。
なお、本実施形態では、訓練データを画像とし、犬か猫かのいずれかに分類する２クラスの画像分類タスクを実行するニューラルネットワークを学習する例を用いて説明する。なお、訓練データは画像に限らず、映像でもよいし、テキスト、音声、センシングデータなどの時系列データであってもよい。また、ニューラルネットワークにより推論するタスクは分類タスクに限らず、物体検出、セマンティックセグメンテーション、回帰、予測といった他のタスクであっても同様に適用できる。また、以下の実施形態では、プルーニング対象のパラメータとして、ニューラルネットワークモデルおよび再構築候補モデルのチャネル単位を想定して説明するが、ニューラルネットワークモデルおよび再構築候補モデルの重み係数単位でプルーニングしてもよいし、複数の経路を構成するモジュール単位でプルーニングするなど、どのような単位および手法でプルーニングを実行してもよい。

ステップＳＡ１では、学習部１０１が、ニューラルネットワークモデルを訓練し、学習済みモデルを生成する。ニューラルネットワークモデルの訓練は、例えば正解データを含む訓練データを用いた教師あり学習を実行すればよい。具体的には、入力画像ｘ^→ _ｉ（ｉ＝１，・・・，Ｎ）とする。Ｎは２以上の自然数である。上付き矢印は、ベクトル集合であることを示す。なお、ｉは訓練データの通し番号、訓練データの数を表す。入力画像ｘ^→ _ｉは、横幅Ｗ、縦幅Ｔの画素集合であり、Ｗ×Ｔ次元のベクトルとする。

また、教示ラベルｔ^→ _ｉは、教示ラベルに該当する要素が１、それ以外の要素が０となる２次元ベクトルである。具体的には、入力画像ｘ^→ _ｉが犬の場合は（１，０）^Ｔ、猫の場合は（０，１）^Ｔと表せばよい。なお（ ）^Ｔは、列ベクトルを示す。

ニューラルネットワークモデルの訓練において、入力画像ｘ^→ _ｉを入力したときのニューラルネットワークモデルの出力ｙ^→ _ｉは、（１）式のように表せる。なお、出力ｙ^→ _ｉは、推定確率値であり、ここでは、入力画像
ｙ^→ _ｉ＝ｆ（Θ^→，ｘ^→ _ｉ）・・・（１）
ここで、ｆ（Θ^→， ）は、パラメータ集合Θ^→を保持するニューラルネットワークモデルの関数であり、２次元のベクトルを出力する。

学習誤差Ｌ_ｉについては、（２）式の計算式を用いる場合を想定する。なお、ｌｎは自然対数である。
Ｌ_ｉ＝－ｔ^→ _ｉ ^Ｔｌｎ（ｙ^→ _ｉ）・・・（２）
教示ラベルｔ^→ _ｉと、ニューラルネットワークモデルの出力ｙ^→ _iとのクロスエントロピーを用いて計算する。本実施形態では、学習誤差Ｌ_ｉの加重平均に基づく損失関数Ｌが最小化されるように、誤差逆伝播法と確率的勾配降下法とによりニューラルネットワークモデルのパラメータ集合Θ^→をミニバッチ学習で反復学習する。

学習条件は、本実施形態では、例えば最適化器（Optimizer）を「Ａｄａｍ（学習率：０．０１）」、Ｌ２正則化強度λを「０．００１」とし、エポック数を「１００」とし、ミニバッチサイズを「６４」として設定し、学習部１０１がニューラルネットワークモデルを訓練する。当該学習条件を用いた訓練方法により、ニューラルネットワークモデルおよび再構築候補モデルに含まれる隠れ層のチャネルで群スパース化が発生する。なお、ニューラルネットワークモデルおよび再構築候補モデルを再度学習する場合は、学習部１０１は、異なる学習率、異なる正則化強度とするなど、他の学習条件で学習してもよいし、複数の学習条件で学習し、性能の良いほうを採用するなどしてもよい。

反復学習の終了条件としては、例えば、学習誤差Ｌ_ｉや、損失関数Ｌの出力の絶対値または減少値といった判定指標が閾値以下であるか否かを判定すればよい。判定指標が閾値以下であれば、学習部１０１（または判定部１０４）が、反復学習の終了条件を満たすと判定すればよい。または、学習部１０１が、反復回数が所定回数に到達したか否かを判定し、反復回数が所定回数に到達していれば、反復学習の終了条件を満たすと判定してもよい。反復学習が終了することにより、ニューラルネットワークモデルの学習が完了し、学習済みモデルが生成される。
なお、上述の例に限らず、どのような手法を用いてニューラルネットワークを学習してもよい。なお、学習誤差Ｌ_ｉは、バイナリクロスエントロピーを用いて計算されてもよい。さらに、上述の犬か猫かの２値分類は、関数ｆの出力層にシグモイド関数を含むことを想定するが、３クラス以上に分類する多クラス分類問題の場合は、関数ｆの出力層にソフトマックス関数を用いてもよい。

ステップＳＡ２では、プルーニング部１０２が、学習済みモデルに対してプルーニングを実行する。プルーニングは、例えば、各経路に含まれる隠れ層における各チャネルのＬ２ノルムを算出し、Ｌ２ノルムを有する経路のうちの所定の閾値（例えば、１０^－６）よりも大きいＬ２ノルムを有する各経路のチャネル数を示すプルーニング結果を算出する。なお、プルーニングの手法については、その他の一般的な方法を用いてもよい。

ステップＳＡ３では、再構築部１０３が、ステップＳＡ２で得られたプルーニング結果に基づき、学習済みモデルを再構築し、再構築候補モデルを生成する。例えば、隠れ層における残りのチャネル数が閾値以下（０でもよい）であるプルーニング結果が得られた経路が存在する場合、当該経路を削除し、残りの経路のみで学習済みモデルを再構築し、再構築候補モデルを生成すればよい。なお、隠れ層におけるチャネル数が閾値以下となる経路が存在しない場合は、プルーニング前の学習済みモデルと同じモデル構造となる。

ステップＳＡ４では、記憶部１０６が、算出された各経路のプルーニング結果と、対応する再構築候補モデルとを対応付けてプルーニング履歴として格納する。なお、何回目のプルーニングであるかを示す実行回数と紐付けて記憶部１０６に記憶されてもよい。

ステップＳＡ５では、判定部１０４が、再構築候補モデルの再学習を実行するか否かを判定する。例えば、再構築候補モデルに１つの経路しか存在しない場合は、再学習が不要であると判定する。一方、複数の経路が存在する場合は、再学習が必要であると判定する。また、判定部１０４は、複数の経路が存在する場合でも、再構築候補モデルに対するプルーニング結果が安定していれば、再学習が不要と判定してもよい。例えば、前回までに得られたプルーニング結果と今回新たに取得したプルーニング結果とを比較して、残りチャネル数の変動が閾値以内、例えばチャネル数の差分が閾値以内である場合、プルーニング結果が安定しているといえるため、判定部１０４は、再学習が不要と判定すればよい。
再学習が必要と判定された場合、ステップＳＡ１に戻り、同様の処理を繰り返す。すなわち、再構築候補モデルに対して再学習が実行され、再学習後の再構築候補モデルに対してプルーニングが実行される。一方、再学習が不要と判定された場合、ステップＳＡ６に進む。つまり、再構築候補モデルに含まれる経路が１つであるか、１以上の経路のプルーニング結果の変動が閾値未満となるまで再学習する。

ステップＳＡ６では、判定部１０４が、最終的に、最適なプルーニングが実行された再構築候補モデル（以下、再構築モデル）を出力する。なお、再構築モデルは、記憶部１０６に記憶されてもよい。以上で学習装置１０の動作を終了する。

なお、１つのニューラルネットワークモデルまたは１つの再構築候補モデルについて、プルーニングを複数回繰り返し行い、得られたプルーニング結果で所定回数以上、残りのチャネル数が閾値以下である経路が存在する場合に、再構築部１０３が当該経路を削除するように再構築をするようにしてもよい。つまり、ステップＳＡ１およびステップＳＡ２を１つのニューラルネットワークモデルまたは１つの再構築候補モデルに対して繰り返し実行する。これにより、削除すべき経路の確度を向上させることができる。

次に、本実施形態に係る再構築モデルを生成するまでのプルーニングの過程の一例について、図３から図５を参照して説明する。
図３は、プルーニングを実施する前のニューラルネットワークモデル３０を示す。ニューラルネットワークモデル３０は、経路１（入力層３１および隠れ層３２）と、経路２（入力層３３および隠れ層３４）と、経路３（入力層３５および隠れ層３６）と、Ｃｏｎｃａｔｅｎａｔｅ層３７と、Ｃｏｎｃａｔｅｎａｔｅ層３８と、隠れ層３９と、出力層４０とを含む。ここでは、経路１、経路２および経路３は同じ層構造であるが、それぞれ隠れ層のパラメータが異なる場合を想定する。

各入力層３１，３３，３５には、入力画像ｘ^→ _ｉが入力される。経路１および経路２のそれぞれの出力がＣｏｎｃａｔｅｎａｔｅ層３７で集約される。Ｃｏｎｃａｔｅｎａｔｅ層３７からの出力と、経路３からの出力とがＣｏｎｃａｔｅｎａｔｅ層３８で集約される。Ｃｏｎｃａｔｅｎａｔｅ層３８からの出力が隠れ層３９に入力され、隠れ層３９の出力が出力層４０に入力され、推定確率値ｙ^→ _ｉが出力される。なお、各隠れ層３２，３４，３６および３９の後段にはＲｅＬＵなどの活性化関数が配置される。なお、各入力層３１，３３，３５に入力される入力画像ｘ^→ _ｉは、同一の画像でもよいし、入力層ごとに異なる画像、例えば、回転、クロップ、色が変更された、いわゆるデータ増強された画像が入力されてもよい。
ここで、図２のステップＳＡ２のプルーニングにより、経路１の隠れ層３２の残りのチャネル数が閾値以下となり、経路２の隠れ層３４および経路３の隠れ層３６は残りのチャネル数が閾値よりも多い場合を想定する。この場合は、経路１を削除できることとなる。

図４は、経路１を削除した後の再構築候補モデル５０である。経路１を削除することにより、経路１と経路２とのそれぞれの出力を集約する必要がないため、Ｃｏｎｃａｔｅｎａｔｅ層３７が不要となり、当該Ｃｏｎｃａｔｅｎａｔｅ層３７も削除される。
ここで、図４に示す再構築候補モデル５０は、複数の経路が存在するため再学習が必要であると判定されたとする。よって、図２のステップＳＡ１からステップＳＡ４までの処理が再度実行される。ここでは、経路３の隠れ層３６の残りチャネル数が閾値以下となり、経路２の隠れ層３４は残りチャネル数が閾値よりも大きい場合を想定する。この場合、経路３が削除できることになる。

図５は、再構築候補モデル５０から経路３を削除した再構築候補モデル７０である。図５に示す再構築候補モデルは、経路が１つであるため、最終的な再構築モデルとして出力される。このように、ニューラルネットワークモデルおよび再構築候補モデルに対して繰り返し学習、プルーニングおよび再構築の各処理を適用して、徐々に経路を削除していくことで効率的なプルーニングが実現できる。

なお、図３から図５の例では、ニューラルネットワークモデルに３つの経路がある場合を想定したが、これに限らず２つの経路であってもよいし、４つ以上の経路でもよい。さらに、各経路の構造、例えば隠れ層の数、隠れ層の種類が異なってもよい。また、図３の例では２つのＣｏｎｃａｔｅｎａｔｅ層を有する場合を想定するが、各経路からの出力を１つのＣｏｎｃａｔｅｎａｔｅ層で全て集約するようなニューラルネットワークモデルのアーキテクチャであってもよい。また、各経路からの出力をＣｏｎｃａｔｅｎａｔｅ層で集約する例を示したが、各経路からの出力を加算してもよい。
さらに、図３から図５では、複数の経路が入力層の段階から配置され、複数の入力がそれぞれ異なる経路に入力され、ある層で複数の経路の出力が集約される場合を示すが、これに限らず、入力層が１つであり、ニューラルネットワークモデルの途中で分岐して複数の経路が存在するようなニューラルネットワークモデルのアーキテクチャであってもよい。

なお、同じニューラルネットワークモデルおよび再構築候補モデルに対して、複数回プルーニングを実行してもよい。これにより、複数回のプルーニングで同じ経路が削除対象となる結果が得られれば、当該経路を削除できる可能性が高いと判定することもできる。

また、１回目のプルーニング結果と、２回目のプルーニング結果とで結果が異なる場合、複数のパターンで再構築候補モデルを生成してもよい。例えば、図３の例に説明すると、ニューラルネットワークモデル３０に対する１回目のプルーニング結果では、経路１を削除可能であり、経路２および経路３を含む第１再構築候補モデルが生成され、ニューラルネットワークモデルに対する２回目のプルーニング結果では、経路２が削除可能であり、経路１および経路３を含む第２再構築候補モデルが得られたとする。この場合、得られた複数の再構築候補モデル、つまり第１再構築候補モデルおよび第２再構築候補モデルそれぞれについて、学習、プルーニングおよび再構築の各処理を実行してもよい。

複数の再構築候補モデルに対する学習装置１０の動作例について図６のフローチャートを参照して説明する。
ステップＳＢ１では、図２のステップＳＡ１と同様に、学習部１０１が、ニューラルネットワークモデルを学習し、学習済みモデルを生成する。
ステップＳＢ２では、図２のステップＳＡ２と同様に、プルーニング部１０２が、学習済みモデルのプルーニングを実行する。

ステップＳＢ３では、図２のステップＳＡ３と同様に、再構築部１０３が、プルーニング結果に基づいて学習済みモデルを再構築し、再構築候補モデルを生成する。
ステップＳＢ４では、記憶部１０６が、プルーニング履歴を記憶する。

ステップＳＢ５では、判定部１０４が、今回のステップＳＢ４により生成された再構築候補モデルが、前回までに生成された再構築候補モデルと異なるか否か、言い換えれば、前回と異なる再構築候補モデルが生成されたか否かを判定する。具体的には、例えば今回の処理で生成された再構築候補モデルと異なる経路を有する再構築候補モデルが記憶部１０６に記憶されていれば、判定部１０４が、前回と異なる再構築候補モデルが生成されたと判定すればよい。前回と異なる再構築候補モデルが生成された場合、ステップＳＢ７に進み、前回と同じ再構築候補モデルが生成された場合、ステップＳＢ６に進む。

ステップＳＢ６では、判定部１０４が、前回と同じ再構築候補モデルであるため、図２のステップＳＡ５の場合と同様に、再構築候補モデルの再学習が必要か否かを判定する。再学習が必要であれば、ステップＳＢ１に戻り、同様の処理を繰り返し、再学習が不要であれば、ステップＳＢ９に進む。

ステップＳＢ７では、判定部１０４が、複数の再構築候補モデルについて再学習が必要か否かを判定する。例えば、異なる経路を有する再構築候補モデルが新たに生成された場合、それまでに生成されていた再構築候補モデルを含めて全ての再構築候補モデルを再学習の対象としてもよい。また、複数の再構築候補モデルの中から、所定の条件を満たす再構築候補モデルを再学習の対象とし、当該所定の条件を満たさない再構築候補モデルは再学習しなくてもよい。例えば、判定部１０４は、複数の再構築候補モデルのうち、最も性能が高い、具体的には認識率または正解率が最も高い再構築候補モデルを再学習の対象であると判定してもよい。または、判定部１０４は、最もモデルサイズが小さい再構築候補モデル、具体的には最もパラメータ数または演算量が少ない再構築候補モデルを再学習の対象であると判定してもよい。または、再学習の対象を１つの再構築候補モデルにすることに限らず、モデルの性能が閾値以上である１以上の再構築候補モデル、モデルサイズが閾値以下である１以上の再構築候補モデルを再学習の対象としてもよい。
再学習が必要であると判定された場合、ステップＳＢ８に進み、再学習が不要と判定され場合、ステップＳＢ９に進む。

ステップＳＢ８では、学習部１０１が、対象となる再構築候補モデルを再学習する。学習方法は、ステップＳＢ１と同様の手法により学習すればよい。その後、ステップＳＢ２に戻り、同様の処理を繰り返す。
ステップＳＢ９では、判定部１０４が、再学習が終了した再構築候補モデルを、最終的な再構築モデルとして出力する。なお、記憶部１０６が、再構築モデルを記憶してもよい。また、図２の場合と同様に、１つのニューラルネットワークモデルまたは１つの再構築候補モデルに対して、プル－ニング結果を複数回算出し、再構築部１０３が、所定回数以上残りのチャネル数が閾値以下となった経路を削除するようにしてもよい。

なお、本実施形態に係る学習装置によるプルーニング後の再構築モデルを生成するまでに、予算および時間が限られている場合は、所定の時間を経過したときに、それ以降再学習を実行せず早期終了してもよい。この場合、判定部１０４は、記憶部１０６に記憶される複数の再構築候補モデルのうち、最も性能の高い再構築候補モデル、または最もモデルサイズの小さい再構築候補モデルを再構築モデルとして決定してもよい。

また、予算および時間が限られている場合は、ステップＳＢ４の処理において、プルーニング結果に基づく再構築候補モデルの生成条件を緩和してもよい。例えば、再構築部１０３が、残り時間に応じて、残りのチャネル数が閾値未満の経路は削除し、残りのチャネル数が閾値以上である経路のみ残すように再構築してもよい。具体的には、予め設定された学習時間の残り時間が半分、４分の１などになった場合、再構築部１０３は、残りのチャネル数が全体Ｐ％以上（Ｐは任意の整数、例えば５０）ある経路のみ残して再構築してもよい。なお、Ｐの値を固定値とせず、残り時間の経過に応じて増加させてもよい。例えば、残り時間が全体の時間の半分、４分の１、８分の１となるたびに、Ｐの値を１ずつ、２ずつといったように、順次増加させてもよい。

さらに、残り時間に応じて強制的に経路が削除されてもよい。例えば、再構築部１０３は、残り時間が全体の時間の半分となった場合、最も残りチャネル数が少ない経路を削除し、残り時間が４分の１となった場合、その時点で最も残りチャネル数が少ない経路を削除してもよい。このように、予算および時間を考慮して、再構築の条件を変更しながらプルーニングおよび再構築を実行することにより、想定した学習時間内にプルーニングを進めることができる。

また、プルーニングにおいて、ある経路が削除できない場合でも、当該経路と他の経路との間で負の相関がある場合は、それぞれの経路を削除した複数の再構築候補モデルを生成してもよい。
経路間に負の相関がある場合について図７を参照して説明する。
図７は、横軸に経路１のチャネル数、縦軸に経路２のチャネル数を示した、プルーニング結果ごとの経路間のチャネル数の関係を示すプロット図である。当該プロット図に示されるように、経路１のチャネル数が多いほど、経路２のチャネル数が少なくなり、反対に経路２のチャネル数が多いほど、経路１のチャネル数が少なくなる。また、例えば表示制御部１０５が、点群を線形回帰で近似した直線７１を表示してもよい。このように、複数回の学習およびプルーニングを実行することによって、例えば判定部１０４が経路間でこのような負の相関（トレードオフ）があると判定できる場合は、再構築部１０３が経路１を削除し、経路２を残した再構築候補モデルと、経路２を削除し、経路１を残した再構築候補モデルをそれぞれ生成し、図６に示す学習処理を実行すればよい。
表示制御部１０５は、プルーニング結果が得られるごとにグラフにプロットし、図７に示すグラフをディスプレイなどの外部の表示機器に表示してもよい。

次に、プルーニング結果の表示例について図８を参照して説明する。
図８は、複数回のプルーニングごとの各経路のプルーニング結果を示すプルーニング履歴の一部のテーブルであり、具体的には、経路１から経路３までのそれぞれの残りのチャネル数を、プルーニングごとに対応付けている。なお、「－」の表記は、１つ前のプルーニング結果に基づき経路を削除したため、該当する値がない場合を示す。表示制御部１０５が、当該テーブルをディスプレイに表示することで、ユーザは、どの経路が削除可能か否かを容易に把握できる。

また、図８の例では、残りチャネル数がゼロとなるプルーニング結果が得られた経路は、残りのチャネル数が閾値以下となった経路のセルをハッチングして強調表示する。なお、これに限らず、文字色を変更する、太字にするなど、削除可能な残りチャネル数の経路については、他と区別可能な態様で表示すればよい。これにより、ユーザがどの経路が削除可能であるかを容易に把握できる。反対に、残りのチャネル数が閾値よりも多い経路のセルを強調表示してもよい。これにより、安定した経路を容易に把握できる。

以上に示した本実施形態によれば、複数の経路から構成されたニューラルネットワークを学習し、閾値に基づいて、学習済みのニューラルネットワークのプルーニング結果を出力する。次に、プルーニング結果に基づいて、学習済みモデルから再構築候補モデルを再構築する。再構築候補モデルの残り経路から再学習が必要であると判定された場合は、再構築候補モデルを再学習してプルーニングする処理を繰り返し、再学習が不要であると判定した場合は、再構築候補モデルを最終的な再構築モデルとして出力する。これにより、プルーニング結果の安定性によらず段階的にプルーニングを実行することができ、モデルサイズをより小さく、さらに高速にプルーニングを実現できる。結果として、効率的に経路を最適化できる。

次に、上述の実施形態に係る学習装置１０のハードウェア構成の一例を図９のブロック図に示す。
学習装置１０は、ＣＰＵ（Central Processing Unit）９１と、ＲＡＭ（Random Access Memory）９２と、ＲＯＭ（Read Only Memory）９３と、ストレージ９４と、表示装置９５と、入力装置９６と、通信装置９７とを含み、それぞれバスにより接続される。

ＣＰＵ９１は、プログラムに従って演算処理および制御処理などを実行するプロセッサである。ＣＰＵ９１は、ＲＡＭ９２の所定領域を作業領域として、ＲＯＭ９３およびストレージ９４などに記憶されたプログラムとの協働により、上述した学習装置１０の各部の処理を実行する。

ＲＡＭ９２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などのメモリである。ＲＡＭ９２は、ＣＰＵ９１の作業領域として機能する。ＲＯＭ９３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。

ストレージ９４は、ＨＤＤ（Hard Disc Drive）等の磁気記録媒体、フラッシュメモリなどの半導体による記憶媒体、または、ＨＤＤなどの磁気的に記録可能な記憶媒体、光学的に記録可能な記憶媒体などにデータを書き込みおよび読み出しをする装置である。ストレージ９４は、ＣＰＵ９１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。

表示装置９５は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスである。表示装置９５は、ＣＰＵ９１からの表示信号に基づいて、各種情報を表示する。

入力装置９６は、マウスおよびキーボード等の入力デバイスである。入力装置９６は、ユーザから操作入力された情報を指示信号として受け付け、指示信号をＣＰＵ９１に出力する。

通信装置９７は、ＣＰＵ９１からの制御に応じて外部機器とネットワークを介して通信する。

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した学習装置の制御動作による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ－ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の学習装置の制御と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０・・・学習装置、３０・・・ニューラルネットワークモデル、３１，３３，３５・・・入力層、３２，３４，３６，３９・・・隠れ層、３７，３８・・・Ｃｏｎｃａｔｅｎａｔｅ層、４０・・・出力層、５０，７０・・・再構築候補モデル、７１・・・直線、９１・・・ＣＰＵ、９２・・・ＲＡＭ、９３・・・ＲＯＭ、９４・・・ストレージ、９５・・・表示装置、９６・・・入力装置、９７・・・通信装置、１０１・・・学習部、１０２・・・プルーニング部、１０３・・・再構築部、１０４・・・判定部、１０５・・・表示制御部、１０６・・・記憶部

Claims (15)

1. 複数の経路を有するニューラルネットワークモデルを訓練し、学習済みモデルを生成する学習部と、
   前記学習済みモデルに対してプルーニングを実行し、前記複数の経路それぞれの残りのパラメータ数を算出するプルーニング部と、
   前記パラメータ数が閾値以下となる経路を削除した再構築候補モデルを生成する再構築部と、
   前記再構築候補モデルに含まれる経路がさらに削除可能であるか否かを判定する判定部と、を具備し、
   前記判定部により前記経路がさらに削除可能であると判定された場合、前記再構築候補モデルに対し、前記学習部、前記プルーニング部および前記再構築部の各処理を実行する、学習装置。
2. 削除可能な経路がなくなるまで、前記再構築候補モデルに対し、前記学習部、前記プルーニング部および前記再構築部の各処理を繰り返し実行する、請求項１に記載の学習装置。
3. 前記再構築部は、前記再構築候補モデルに含まれる経路のうち削除可能な経路が存在しない場合または所定の終了条件を満たす場合、前記再構築候補モデルを前記プルーニングが終了した再構築モデルとして選択する、請求項２に記載の学習装置。
4. 前記プルーニング部は、前記ニューラルネットワークモデルまたは前記再構築候補モデルに対して前記プルーニングを複数回実行し、
   前記学習装置は、
   複数回のプルーニング結果の履歴と、各プルーニング結果の再構築候補モデルの履歴とを対応付けたプルーニング履歴を記憶する記憶部をさらに具備する、請求項１に記載の学習装置。
5. 前記再構築部は、前記プルーニング履歴に基づいて、再構築候補モデルを再構築する、請求項４に記載の学習装置。
6. 前記判定部は、前記プルーニング履歴に基づいて、再学習が必要か否かを判定する、請求項４に記載の学習装置。
7. 前記パラメータ数は、チャネル数であり、
   前記プルーニング部は、前記ニューラルネットワークモデルまたは前記再構築候補モデルに対して前記プルーニングを複数回実行し、
   前記再構築部は、前記複数回実行されたプルーニング結果で所定回数以上、残りのチャネル数が前記閾値以下である経路が存在する場合、当該経路を削除する、請求項１に記載の学習装置。
8. 前記プルーニング履歴として、前記経路ごとの残りのパラメータ数を表示装置に表示する表示制御部をさらに具備する、請求項４に記載の学習装置。
9. 前記表示制御部は、前記残りのパラメータ数が第１閾値以下である経路、または前記残りのパラメータ数が前記第１閾値よりも大きい第２閾値以上である経路を強調表示する、請求項８に記載の学習装置。
10. 前記プルーニング部は、前記ニューラルネットワークモデルまたは前記再構築候補モデルに対して前記プルーニングを複数回実行し、
    前記判定部は、それぞれ異なる経路が削除された複数の再構築候補モデルが存在する場合、前記複数の再構築候補モデルそれぞれについて、前記経路がさらに削除可能であるか否かを判定する、請求項１に記載の学習装置。
11. 前記プルーニング部は、前記ニューラルネットワークモデルまたは前記再構築候補モデルに対して前記プルーニングを複数回実行し、
    前記判定部は、前記ニューラルネットワークモデルに含まれる複数の経路間で、または前記再構築候補モデルに含まれる複数の経路間で負の相関があるか否かを判定し、
    前記再構築部は、前記負の相関がある場合、前記複数の経路のうちそれぞれ異なる経路を削除した複数の再構築候補モデルを生成する、請求項１に記載の学習装置。
12. 前記パラメータ数は、重み係数の数およびチャネル数の少なくとも１つである、請求項１に記載の学習装置。
13. 前記学習部は、チャネル単位でスパース化が発生する訓練方法で前記ニューラルネットワークモデルおよび前記再構築候補モデルを訓練する、請求項１に記載の学習装置。
14. 学習手段が、複数の経路を有するニューラルネットワークモデルを訓練し、学習済みモデルを生成し、
    プルーニング手段が、前記学習済みモデルに対してプルーニングを実行し、前記複数の経路それぞれの残りのパラメータ数を算出し、
    再構築手段が、前記パラメータ数が閾値以下となる経路を削除した再構築候補モデルを生成し、
    判定手段が、前記再構築候補モデルに含まれる経路がさらに削除可能であるか否かを判定し、
    前記判定手段により前記経路がさらに削除可能であると判定された場合、前記再構築候補モデルに対し、前記学習手段、前記プルーニング手段および前記再構築手段の各処理を実行する、学習方法。
15. コンピュータを、
    複数の経路を有するニューラルネットワークモデルを訓練し、学習済みモデルを生成する学習手段と、
    前記学習済みモデルに対してプルーニングを実行し、前記複数の経路それぞれの残りのパラメータ数を算出するプルーニング手段と、
    前記パラメータ数が閾値以下となる経路を削除した再構築候補モデルを生成する再構築手段と、
    前記再構築候補モデルに含まれる経路がさらに削除可能であるか否かを判定する判定手段として機能させ、
    前記判定手段により前記経路がさらに削除可能であると判定された場合、前記再構築候補モデルに対し、前記学習手段、前記プルーニング手段および前記再構築手段の各処理を実行させるための学習プログラム。