JP7851811B2 - 学習装置、方法およびプログラム - Google Patents

Description

本発明の実施形態は、学習装置、方法およびプログラムに関する。

ニューラルネットワークのモデルサイズを小さくする手法として、プルーニングがある。プルーニングにより、ニューラルネットワークのパラメータ（重み係数またはチャネル）を削減することにより、推論精度を維持しつつ、ニューラルネットワークのモデルサイズを小さくできる。具体的には、例えばＲｅＬＵ（Rectified Linear Unit）およびハイパボリックタンジェントのような活性化関数を活用して、隠れ層のパラメータ（重み係数およびチャネル）についてプルーニングを実行する。
しかし、活性化関数のない隠れ層については効率的なプルーニングを実行できず、所望のプルーニング結果が得られないという問題がある。

特許第６９５１２９５号公報

本開示は、上述の課題を解決するためになされたものであり、効果的なプルーニングを実現できる学習装置、方法およびプログラムを提供することを目的とする。

本実施形態に係る学習装置は、適合化部と、学習部と、プルーニング部とを含む。適合化部は、ニューラルネットワークモデルに対する活性化関数の挿入および活性化関数の修正の少なくとも１つを含む適合化処理を実行する。学習部は、前記適合化処理を実行したニューラルネットワークモデルを訓練し、学習済みモデルを生成する。プルーニング部は、前記学習済みモデルに対してプルーニングを実施し、パラメータが削減された再構築モデルを生成する。

本実施形態に係る学習装置を示すブロック図。 本実施形態に係る学習装置の動作例を示すフローチャート。 本実施形態に係る適合化処理の第１例を示す図。 本実施形態に係る適合化処理の第２例を示す図。 活性化関数の形状の違いを示すグラフ。 本実施形態に係る適合化処理の第３例を示す図。 本実施形態に係る適合化処理の第４例を示す図。 実施形態に係る学習装置１０のハードウェア構成の一例を示すブロック図。

以下、図面を参照しながら本実施形態に係る学習装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。

本実施形態に係る学習装置について図１のブロック図を参照して説明する。
本実施形態に係る学習装置１０は、取得部１０１と、適合化部１０２と、学習部１０３と、プルーニング部１０４と、判定部１０５と、記憶部１０６とを含む。

取得部１０１は、訓練データと、ニューラルネットワークモデルとを取得する。ニューラルネットワークは、Ｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ（ＭＬＰ）のような複数の全結合層に限らず、ＶＧＧ１６、ＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔなどの畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク、トランスフォーマー、グラフニューラルネットワークなど、どのようなアーキテクチャのネットワークでもよい。
適合化部１０２は、ニューラルネットワークモデルに対する活性化関数の挿入および活性化関数の修正の少なくとも１つを含む適合化処理を実行する。本実施形態に係る適合化処理とは、具体的には、ニューラルネットワークモデルの層間に活性化関数を挿入する、活性化関数を別の活性化関数に置換する、および、活性化関数の位置を別の位置に移動するといった、プルーニングに適した活性化関数をニューラルネットワークモデルにアレンジする処理を示す。
学習部１０３は、適合化処理を実行したニューラルネットワークモデルを訓練し、学習済みモデルを生成する。

プルーニング部１０４は、学習済みモデルに対してプルーニングを実施し、パラメータが削減された再構築モデルを生成する。
判定部１０５は、再構築モデルに対して再度の適合化処理が必要か否か、および再構築モデルの再学習が必要か否かを判定する。
記憶部１０６は、訓練データ、ニューラルネットワークモデル、再構築モデルなどを記憶する。

次に、本実施形態に係る学習装置の動作例１０について図２のフローチャートを参照して説明する。
なお、本実施形態では、学習データを画像とし、犬か猫かのいずれかに分類する２クラスの画像分類タスクを実行するニューラルネットワークモデルを学習する例を用いて説明する。学習データは画像に限らず、映像でもよいし、テキスト、音声、センシングデータなどの時系列データであってもよい。また、ニューラルネットワークモデルにより推論する目的タスクは分類タスクに限らず、物体検出、セマンティックセグメンテーション、回帰、予測といった他の目的タスクであっても同様に適用できる。

ステップＳＡ１では、取得部１０１が、記憶部１０６から学習データと、ニューラルネットワークモデルとを取得する。
ステップＳＡ２では、判定部１０５が、ニューラルネットワークモデルについて活性化関数の適合化処理が必要か否かを判定する。ここでは、上述した先行技術文献に記載される、不活性チャネルおよび不活性ノードによる群スパース化に基づくチャネル単位のプルーニングが実行できるか否かに基づき判定する。つまり、ニューラルネットワークモデルの全ての隠れ層に含まれるノードおよびチャネルには、微分関数が０となる入力値の区間を含むまたは微分関数が０に漸近する入力値の区間を含む活性化関数が設定される。例えば、活性化関数は、微分関数が、所定の入力値より正側の入力値の区間が０より大きく、所定の入力値より負側の入力値の区間が０または０に漸近する関数であり、例えばＲｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ（ＲｅＬＵ）である。このような活性化関数が設定されることにより、不活性ノードおよび不活性チャネルが発生する可能性が高くなる。さらに、正則化としてＬ２正則化、最適化器（Ｏｐｔｉｍｉｚｅｒ）としてＡｄａｍまたはＡｄａｍに類似した最適化器を用いて、ニューラルネットワークモデルを最適化した場合、群スパース化が発生しやすくなり、例えばチャネル単位のプルーニングを実行できる。
このように先行技術文献の最適化条件を満した条件となるか否かにより、適合化処理が必要か否かを判定する。例えば、ある層間に活性化関数が存在しない場合、活性化関数を挿入することでプルーニングが進む可能性があるため、適合化処理が必要であると判定する。また、ニューラルネットワークモデルに活性化関数が存在する場合には、学習時の損失に対するパラメータの勾配の大きさが減少するように活性化関数を修正すればよい。
活性化関数の適合化処理が必要である場合、ステップＳＡ３に進み、活性化関数の適合化処理が不要である場合、ステップＳＡ４に進む。

ステップＳＡ３では、適合化部１０２が、活性化関数の適合化処理を実行する。本実施形態では、適合化処理として、上述した活性化関数の挿入、置換および移動の各処理を想定する。適合化部１０２は、適合化処理のうち、いずれか１つの処理をニューラルネットワークモデルに適用してもよいし、複数の処理を適用してもよい。例えば、適合化部１０２は、ニューラルネットワークモデルに含まれる活性化関数を置換し、かつ別の位置に移動させる処理を組み合わせてもよい。
また、適合化処理において複数種類の手法を採用し、それぞれ別の適合化処理されたニューラルネットワークモデルとして、次のステップＳＡ４の訓練が実行されてもよい。例えば、適合化部１０２は、活性化関数が存在しない位置に、活性化関数としてＲｅＬＵを挿入する場合と、異なる活性化関数としてハードシグモイド関数を挿入する場合との２つのパターンを実行し、それぞれのパターンのニューラルネットワークモデルについて、次のステップＳＡ４の訓練が実行されてもよい。

ステップＳＡ４では、学習部１０３が、ステップＳＡ３で適合化処理されたニューラルネットワークモデルまたはステップＳＡ２で適合化処理が不要と判定されたニューラルネットワークモデルを、訓練データを用いて訓練し、学習済みモデルを生成する。

ニューラルネットワークモデルの訓練は、例えば正解データを含む訓練データを用いた「教師あり学習」を実行すればよい。具体的には、入力画像ｘ^→ _ｉ（ｉ＝１，・・・，Ｎ）とする。Ｎは２以上の自然数である。上付き矢印は、ベクトル集合であることを示す。なお、ｉは訓練データの通し番号、訓練データの数を表す。入力画像ｘ^→ _ｉは、横幅Ｗ、縦幅Ｔの画素集合であり、Ｗ×Ｔ次元のベクトルとする。
また、教示ラベルｔ^→ _ｉは、教示ラベルに該当する要素が１、それ以外の要素が０となる２次元ベクトルである。具体的には、例えば入力画像ｘ^→ _ｉが犬の場合は（１，０）^Ｔ、猫の場合は（０，１）^Ｔと表せばよい。なお（ ）^Ｔは、列ベクトルを示す。

ニューラルネットワークモデルの訓練において、入力画像ｘ_ｉを入力したときのニューラルネットワークモデルの出力ｙ_ｉは、（１）式のように表せる。なお、出力ｙ^→ _ｉは、推定確率値である。
ｙ^→ _ｉ＝ｆ（Θ^→，ｘ^→ _ｉ）・・・（１）
ここで、関数ｆ（Θ^→， ）は、パラメータ集合Θ^→を保持するニューラルネットワークモデルの関数であり、２次元のベクトルを出力する。

学習誤差Ｌ_ｉについては、（２）式の計算式を用いる場合を想定する。なお、ｌｎは自然対数である。
Ｌ_ｉ＝－ｔ^→ _ｉ ^Ｔｌｎ（ｙ^→ _ｉ）・・・（２）
教示ラベルｔ^→ _ｉと、ニューラルネットワークモデルの出力ｙ^→ _iとのクロスエントロピーを用いて計算する。本実施形態では、学習誤差Ｌ_ｉの加重平均に基づく損失関数Ｌが最小化されるように、誤差逆伝播法と確率的勾配降下法とによりニューラルネットワークモデルのパラメータ集合Θ^→をミニバッチ学習で反復学習する。
学習条件は、本実施形態では、例えば最適化器を「Ａｄａｍ」、Ｌ２正則化強度λを「０．００１」とし、エポック数を「１００」とし、ミニバッチサイズを「６４」として設定し、学習部１０３がニューラルネットワークモデルを訓練する。もちろん、異なる学習率、異なる正則化強度とするなど、他の学習条件で学習してもよいし、複数の学習条件で学習し、性能の良いほうを採用するなどしてもよい。

反復学習の終了条件としては、例えば、学習誤差Ｌ_ｉや、損失関数Ｌの出力の絶対値または減少値といった判定指標が閾値以下であるか否かを判定すればよい。判定指標が閾値以下であれば、学習部１０３が、反復学習の終了条件を満たすと判定すればよい。または、学習部１０３が、反復回数が所定回数に到達したか否かを判定し、反復回数が所定回数に到達していれば、反復学習の終了条件を満たすと判定してもよい。反復学習が終了することにより、ニューラルネットワークモデルの学習が完了し、学習済みモデルが生成される。

なお、上述の例に限らず、どのような手法を用いてニューラルネットワークを学習してもよい。なお、学習誤差Ｌ_ｉは、バイナリクロスエントロピーを用いて計算されてもよい。さらに、上述の犬か猫かの２値分類は、出力層にシグモイド関数を含むことを想定するが、３クラス以上に分類する多クラス分類タスクの場合は、出力層にソフトマックス関数を用いてもよい。

ステップＳＡ５では、プルーニング部１０４が、学習済みモデルに対してプルーニングを実行する。プルーニングは、例えば、隠れ層における各チャネルの重み係数のＬ２ノルムを算出し、所定の閾値（例えば、１０^－６）よりも大きいＬ２ノルムのチャネル（以下、残りチャネルと呼ぶ）のみを選択して、当該残りチャネルからなるニューラルネットワークモデルである再構築モデルを生成する。または、隠れ層における重み係数の絶対値が所定の閾値以上であるチャネルのみを選択し、再構築モデルを生成してもよい。すなわち、先行技術文献の手法により、チャネルに設定されている全ての重み係数の絶対値がほとんど０となる、つまり群スパース化したチャネルを削除できる。

ステップＳＡ６では、判定部１０５が、再構築モデルについて、再度の適合化処理（再適合化処理）が必要であるか否かを判定する。再適合化処理が必要であるか否かは、例えば再構築モデルの性能と、ベースライン性能とを比較して、再構築モデルの性能がベースライン性能以上である場合は、再適合化処理が不要であると判定し、再構築モデルの性能がベースライン性能よりも低ければ、再適合化処理が必要であると判定すればよい。

ベースライン性能は、上述のステップＳＡ４における学習条件とは異なる学習条件で訓練したときに得られる学習済みモデルの性能に関する指標であり、プルーニングにより得られた再構築モデルの性能が優れているか否かを判定する為のベンチマークとして用いられる。ベースライン性能は、タスクに応じて一般的に想定される指標値を用いてもよいし、学習部１０３がベースライン性能を作成してもよい。一般的に想定される指標値を用いる場合は、例えば２値分類タスクであれば、適合率（Precision）、再現率（Recall）、Ｆ１値といった指標値を用いればよい。一方、学習部１０３が作成する場合は、例えば、ベースライン性能を生成するための学習条件として、最適化器を「ＳＧＤ（Stochastic Gradient Descent）」、Ｌ２正則化強度を「０」としてニューラルネットワークモデルを訓練した結果を用いてもよい。判定部１０５は、作成されたベースライン性能と、再構築モデルの性能とを比較して再適合化処理が必要であるか否かを判定すればよい。

なお、再構築モデルの性能がベースライン結果よりも低い場合でも、最終的に出力されるモデルの要求仕様を満たす場合は、再適合化処理が不要であると判定してもよい。具体的には、「再構築モデルがα％以上の適合率を維持しながら全体のβ％のパラメータをプルーニング処理できた場合」といったような要求仕様を満たしていれば、再適合化処理が不要であると判定すればよい。
再適合化処理が必要であると判定された場合、ステップＳＡ７に進み、同様の処理を繰り返す。再適合化処理が不要であると判定された場合、ステップＳＡ８に進む。

ステップＳＡ７では、適合化部１０２が、再構築モデルの活性化関数の再適合化処理を実行する。再適合化処理は、適合化の対象が再構築モデルであること以外は、ステップＳＡ３と同様であるため説明を省略する。なお、再適合化処理においては、１つ前の適合化処理と異なる適合化処理を実行してもよい。例えば、１つ前の適合化処理において、活性化関数ＲｅＬＵを挿入した場合、再適合化処理では、ＲｅＬＵをＧｅＬＵに置換する、といった処理を実行してもよい。または、１つ前の適合化処理において、活性化関数ＲｅＬＵをハードシグモイド関数に置換した場合、再適合化処理では、ハードシグモイド関数をシグモイド関数に置換する、といった処理を実行してもよい。

ステップＳＡ８では、適合化部１０２が、ステップＳＡ３で実行された適合化処理を、適合化前の状態に復元する。例えば、再構築モデルにステップＳＡ３の適合化処理により活性化関数が挿入されている場合、適合化部１０２が当該活性化関数を削除する処理を実行する。別の活性化関数に置換された場合は、適合化部１０２がもとの活性化関数に戻す処理を実行する。また、活性化関数の接続位置を変更した場合は、適合化部１０２が当該活性化関数をもとの接続位置に戻す処理を実行する。

ステップＳＡ９では、判定部１０５が、再構築モデルについて再学習が必要か否かを判定する。再学習が必要か否かの判定は、例えば、再適合化した再構築モデルの性能と、ベースライン結果とを比較して、再適合化した再構築モデルの性能がベースラインの性能以上である高い場合は、再学習は不要であると判定すればよい。

再学習が必要である場合は、ステップＳＡ４に戻り、同様の処理を繰り返す。再学習が不要である場合は、学習済みモデルのプルーニングが完了したため、最終的な再構築モデルが生成され、当該再構築モデルが記憶部１０６に記憶される。なお、最終的な再構築モデルをデプロイ先などに出力してもよい。なお、再学習においては、訓練に係るパラメータをランダムに初期化せずに、前回の訓練において得られたパラメータを用いて初期化してもよい。すなわち、ファインチューニングにより再学習を実行してもよい。ステップＳＡ７における再適合化処理において、再適合化処理した後の活性化関数が、前回の適合化処理による活性化関数と種類が異なる場合は、隠れ層のパラメータに適切な定数（ゲイン）を乗じて初期化してもよい。

なお、ステップＳＡ８の活性化関数の復元は必須ではなく、活性化関数の適合化処理を適用したまま再構築モデルのプルーニングを継続してもよい。例えば、適合化処理によりニューラルネットワークモデルに活性化関数を挿入して学習した場合、例えば判定部１０５が、再構築モデルが、活性化関数を挿入する前のモデル以上の性能が得られると判定した場合は、挿入された活性化関数を維持したままプルーニング処理が継続されてもよい。当該適合化処理により適合化された活性化関数を復元するか否かは、ベースライン性能を用いた再適合化処理の判定と同様の手法により判定すればよい。
また、適合化処理により活性化関数が置換された場合、例えば活性化関数としてハイパボリックタンジェント関数を用いており、ハードハイパボリックタンジェント関数に置換した場合、ハードハイパボリックタンジェント関数は線形な区間が存在する関数であるため、計算コストを下げることができる。よって、最終的に生成された再構築モデルをデプロイする際にデプロイ先の計算コストを軽減できる場合は、当該置換後の活性化関数を維持したままプルーニング処理を継続してもよい。さらに、活性化関数の挿入位置を変更した場合に、ニューラルネットワークの性能がより汎化した性能を獲得できている場合は、当該活性化関数の挿入位置を維持されてもよい。

次に、本実施形態に係る適合化処理の第１例について図３を参照して説明する。
図３左図では、全結合層３１と全結合層３２とが接続された、活性化関数のない隠れ層が結合されるニューラルネットワークを示す。当該ニューラルネットワークでは、全結合層３１のパラメータと、全結合層３２のパラメータとをつなげるノードが非線形関数により変換されないため、プルーニング時にパラメータが削減しにくい。

よって、ニューラルネットワークモデルを形成する複数の隠れ層のうち、プルーニング対象となる隠れ層の後に活性化関数を接続する。具体的に、図３右図のように全結合層３１と全結合層３２との間に活性化関数３５を挿入する。活性化関数３５は、例えばＲｅＬＵを用いる。これにより、全結合層３１からの出力が活性化関数３５に入力されると、活性化関数により活性化しないノードおよびチャネルが発現する。これにより全結合層３１のパラメータのプルーニングを実行できる。

なお、適合化部１０２は、活性化関数３５を挿入する場合は、活性化関数６１の挿入前の隠れ層から得られる特徴マップが変動しないように、活性化関数６１の挿入位置を決定してもよい。

次に、本実施形態に係る適合化処理の第２例について図４および図５を参照して説明する。
図４左図では、全結合層３１と、第１活性化関数４１と、全結合層３２とが接続された活性化関数を含むニューラルネットワークを示す。ここで、第１活性化関数４１は、ハイパボリックタンジェントである場合を想定する。

一方、図４右図では、第１活性化関数４１が、損失に対するパラメータの勾配の大きさが減少し、かつ振るまいが類似する第２活性化関数４５に置換される。ここでは、第２活性化関数４５は、ハードハイパボリックタンジェント関数を想定する。
第１活性化関数４１から第２活性化関数４５への置換例として、ハイパボリックタンジェント関数とハードハイパボリックタンジェント関数との比較を図５に示す。図５は、ハイパボリックタンジェント関数５１と、ハードハイパボリックタンジェント関数５２との入力値（横軸）に対する出力値（縦軸）を示すグラフである。

ハードハイパボリックタンジェント関数５２は、ハイパボリックタンジェント関数５１と比較して、出力値として「１」または「－１」を取る範囲が広い、つまり関数の形状として平らな箇所が多い。よって、ハードハイパボリックタンジェント関数５２は、ハイパボリックタンジェント関数５１と比較して、パラメータの勾配の大きさが減少し、より多くのパラメータのプルーニングを実行できる。さらに、ハードハイパボリックタンジェント関数５２は、線形な関数で計算できるため、演算量など計算コストも軽減できる。

なお、第１活性化関数４１から第２活性化関数４５への置換候補は、ルックアップテーブルを参照して決定されてもよい。例えば関数の形状が滑らかな活性化関数と、ハード版と呼ばれる直線的（線形な）な関数の形状を有する活性化関数とを対応付けたルックアップテーブルを用意してもよい。適合化部１０２は、当該ルックアップテーブルを参照することにより、現行の第１活性化関数４１からプルーニングに適した第２活性化関数４５に置換できる。

また、適合化部１０２は、第１活性化関数４１から第２活性化関数４５に置換する場合、第１活性化関数４１と第２活性化関数４５となりうる活性化関数の候補との誤差を算出し、誤差が最小となる活性化関数を第２活性化関数として決定してもよい。これにより、当初のニューラルネットワークモデルの第１活性化関数からの出力を大幅に変更することなく、学習を継続できる。

次に、本実施形態に係る適合化処理の第３例について図６を参照して説明する。
図６左図は、全結合層３１と、活性化関数６１と、バッチ正規化層６２と、全結合層３２とが接続された活性化関数を含むニューラルネットワークを示す。適合化部１０２は、活性化関数を現行の接続位置とは異なる位置に接続するように移動させる。つまり、図６右図のように、活性化関数６１の位置をバッチ正規化層６２の後に移動する。
これにより、活性化関数６１への入力がバッチ正規化層６２の出力となるため、活性化関数６１への入力の分布が安定し、より多くのパラメータをプルーニングできる。

次に、本実施形態に係る適合化処理の第４例について図７を参照して説明する。
図７左図は、全結合層３１と、バッチ正規化層６２と、活性化関数６１と、全結合層３２とが接続された活性化関数を含むニューラルネットワークを示す。具体的に、図７左図は、全結合層３１と、バッチ正規化層６２と、活性化関数６１との接続フローに加えて、入力画像がスキップ接続されて、残差ブロック７０の出力と入力画像とが加算された値が、全結合層３２の入力となる残差ブロック７０を想定する。

このような残差ブロック７０の場合でも、適合化部１０２が、活性化関数６１を残差ブロック７０の後に移動して配置する。これにより、複数の残差ブロック７０のプルーニングにおけるチャネルが揃い、より多くのパラメータのプルーニングを実行できる。

図６および図７のように、活性化関数６１を移動する場合は、適合化部１０２は、活性化関数６１の移動前の隠れ層から得られる特徴マップが変動しないように、活性化関数６１の移動先を決定してもよい。

なお、分類タスクの場合、ニューラルネットワークモデル（再構築モデル）の出力層直前の層の後には、推論への影響度が大きいため、適合化部１０２は活性化関数を挿入または移動させなくともよい。

以上に示した本実施形態によれば、ニューラルネットワークモデルに対して活性化関数を挿入、置換および移動するなどの適合化処理を行った後で、学習およびプルーニングを実行し、再構築モデルを生成する。さらに、再構築モデルに対して適合化の要否を判定し、再適合化処理を実施し、その後再学習の要否を同様に判定し、所与の条件を満たすまで、再適合化処理および再学習処理を繰り返し実行する。これにより、活性化関数の適合化処理前ではプルーニングできなかった層の重み係数およびチャネルについてもプルーニングを実施でき、効果的なプルーニングを実現できる。

次に、上述の実施形態に係る学習装置１０のハードウェア構成の一例を図８のブロック図に示す。
学習装置１０は、ＣＰＵ（Central Processing Unit）８１と、ＲＡＭ（Random Access Memory）８２と、ＲＯＭ（Read Only Memory）８３と、ストレージ８４と、表示装置８５と、入力装置８６と、通信装置８７とを含み、それぞれバスにより接続される。

ＣＰＵ８１は、プログラムに従って演算処理および制御処理などを実行するプロセッサである。ＣＰＵ８１は、ＲＡＭ８２の所定領域を作業領域として、ＲＯＭ８３およびストレージ８４などに記憶されたプログラムとの協働により、上述した学習装置１０の各部の処理を実行する。

ＲＡＭ８２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などのメモリである。ＲＡＭ８２は、ＣＰＵ８１の作業領域として機能する。ＲＯＭ８３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。

ストレージ８４は、ＨＤＤ（Hard Disc Drive）等の磁気記録媒体、フラッシュメモリなどの半導体による記憶媒体、または、ＨＤＤなどの磁気的に記録可能な記憶媒体、光学的に記録可能な記憶媒体などにデータを書き込みおよび読み出しをする装置である。ストレージ８４は、ＣＰＵ８１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。ストレージ８４は、上述の学習装置１０の記憶部１０６を実現する。

表示装置８５は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスである。表示装置８５は、ＣＰＵ８１からの表示信号に基づいて、各種情報を表示する。
入力装置８６は、マウスおよびキーボード等の入力デバイスである。入力装置８６は、ユーザから操作入力された情報を指示信号として受け付け、指示信号をＣＰＵ８１に出力する。
通信装置８７は、ＣＰＵ８１からの制御に応じて外部機器とネットワークを介して通信する。

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した学習装置の制御動作による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ－ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の学習装置の制御と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０・・・学習装置、３１，３２・・・全結合層、３５・・・活性化関数、４１・・・第１活性化関数、４５・・・第２活性化関数、５１・・・ハイパボリックタンジェント関数、５２・・・ハードハイパボリックタンジェント関数、６１・・・活性化関数、６２・・・バッチ正規化層、７０・・・残差ブロック、８４・・・ストレージ、８５・・・表示装置、８６・・・入力装置、８７・・・通信装置、１０１・・・取得部、１０２・・・適合化部、１０３・・・学習部、１０４・・・プルーニング部、１０５・・・判定部、１０６・・・記憶部

Claims (10)

1. ニューラルネットワークモデルに対する活性化関数の挿入および活性化関数の修正の少なくとも１つを含む適合化処理を実行する適合化部と、
   前記適合化処理を実行したニューラルネットワークモデルを訓練し、学習済みモデルを生成する学習部と、
   前記学習済みモデルに対してプルーニングを実施し、パラメータが削減された再構築モデルを生成するプルーニング部と、
   を具備する学習装置。
2. 前記再構築モデルは、所与の条件を満たすまで、前記適合化部、前記学習部および前記プルーニング部の各処理が繰り返し実行される、請求項１に記載の学習装置。
3. 前記適合化部は、前記活性化関数の挿入として、前記ニューラルネットワークモデルを形成する複数の隠れ層のうち、プルーニング対象となる隠れ層の後に前記活性化関数を接続する、請求項１に記載の学習装置。
4. 前記適合化部は、前記活性化関数の修正として、前記ニューラルネットワークモデルに含まれる第１活性化関数を、前記第１活性化関数とは異なる第２活性化関数に置換する処理を含む、請求項１に記載の学習装置。
5. 前記第２活性化関数は、前記第１活性化関数と比較して、モデルの学習時に計算される損失に対するパラメータの勾配の大きさが減少する関数である、請求項４に記載の学習装置。
6. 前記適合化部は、前記活性化関数の修正として、前記ニューラルネットワークモデルに含まれる活性化関数を現行の接続位置とは異なる位置に接続させる、請求項１に記載の学習装置。
7. 前記適合化部は、前記適合化処理により挿入された活性化関数または修正された活性化関数を、前記適合化処理前の状態に復元する、請求項１に記載の学習装置。
8. 前記適合化処理後の再構築モデルの性能が、前記適合化処理前のモデルの性能以上であるか否かを判定する判定部をさらに具備し、
   前記適合化部は、前記適合化処理後の再構築モデルの性能が、前記適合化処理前のモデルの性能以上である場合、前記再構築モデルに対する前記適合化処理を維持する、請求項１に記載の学習装置。
9. 適合化部が、ニューラルネットワークモデルに対する活性化関数の挿入および活性化関数の修正の少なくとも１つを含む適合化処理を実行し、
   学習部が、前記適合化処理を実行したニューラルネットワークモデルを訓練し、学習済みモデルを生成し、
   プルーニング部が、前記学習済みモデルに対してプルーニングを実施し、パラメータが削減された再構築モデルを生成する、学習方法。
10. コンピュータを、
    ニューラルネットワークモデルに対する活性化関数の挿入および活性化関数の修正の少なくとも１つを含む適合化処理を実行する適合化手段と、
    前記適合化処理を実行したニューラルネットワークモデルを訓練し、学習済みモデルを生成する学習手段と、
    前記学習済みモデルに対してプルーニングを実施し、パラメータが削減された再構築モデルを生成するプルーニング手段として機能させるための学習プログラム。