JP7838638B2

JP7838638B2 - ニューラルネットワーク生成方法

Info

Publication number: JP7838638B2
Application number: JP2024516053A
Authority: JP
Inventors: 幸宏笹川
Original assignee: Socionext Inc
Current assignee: Socionext Inc
Priority date: 2022-04-22
Filing date: 2022-04-22
Publication date: 2026-04-01
Anticipated expiration: 2042-04-22
Also published as: US20250036951A1; WO2023203775A1; JPWO2023203775A1

Description

本開示は、学習済み生徒ニューラルネットワークを生成するニューラルネットワーク生成方法に関する。

従来、学習済み教師ニューラルネットワークに基づいて、生徒ニューラルネットワークを学習し、学習済み生徒ニューラルネットワークを生成する方法が知られている。

非特許文献１には、教師ニューラルネットワークをブロック単位に構造化し、当該教師ニューラルネットワークと複数候補の生徒ニューラルネットワークとのロスを探索することで、ネットワークアーキテクチャのサーチを効率化する方法が開示されている。この方法では、知識の蒸留を活用して生徒ニューラルネットワークを模倣させている。

ＢｌｏｃｋｗｉｓｅｌｙＳｕｐｅｒｖｉｓｅｄＮｅｕｒａｌＡｒｃｈｉｔｅｃｔｕｒｅＳｅａｒｃｈｗｉｔｈＫｎｏｗｌｅｄｇｅＤｉｓｔｉｌｌａｔｉｏｎ (ｂｙＣｈａｎｇｌｉｎＬｉ+)，ＡｒＸｉｖ，２０１９

一般には、生徒ニューラルネットワークよりも教師ニューラルネットワークの方が複雑なモデルであることが多い。その場合、生徒ニューラルネットワークの複雑度を上げて生徒ニューラルネットワークの模倣度を上げることもできるが、生徒ニューラルネットワークの制約上、複雑度を上げることが困難なことがある。

そこで本開示は、学習済み生徒ニューラルネットワークをシンプルに生成することができるニューラルネットワーク生成方法を提供する。

上記目的を達成するために、本開示の一形態に係るニューラルネットワーク生成方法は、コンピュータによって実行されるニューラルネットワーク生成方法であって、Ｍ層（Ｍは３以上の整数）によって構成される学習済み教師ニューラルネットワーク、および、Ｍ層より少ないＮ層（Ｎは２以上の整数）によって構成される生徒ニューラルネットワークを準備する準備ステップと、前記学習済み教師ニューラルネットワークをＮ個のサブネットワークに分解する分解ステップと、前記Ｎ個のサブネットワークに分解した前記学習済み教師ニューラルネットワーク、および、前記生徒ニューラルネットワークのそれぞれにデータセットを入力し、前記生徒ニューラルネットワークを学習させることで学習済み生徒ニューラルネットワークを生成する学習ステップと、を含み、前記分解ステップは、前記学習済み教師ニューラルネットワークを分解する際の分解位置を変える、複数のグループ分けパターンを有し、前記学習ステップは、（１）前記Ｎ個のサブネットワークごとの出力であるＮ個の教師側出力と、前記生徒ニューラルネットワークのＮ層の層ごとの出力であるＮ個の生徒側出力とを入力層から出力層へ向かって処理順に対応付け、（２）複数のグループ分けパターンを有する前記学習済み教師ニューラルネットワークと、前記生徒ニューラルネットワークとによる複数の組み合わせの中から、対応付けたＮ個の前記教師側出力とＮ個の前記生徒側出力とのそれぞれの誤差に基づく評価値が最も小さくなるときの当該学習済み教師ニューラルネットワークと前記生徒ニューラルネットワークとの組み合わせを選択し、（３）選択後の前記生徒ニューラルネットワークに基づいて当該生徒ニューラルネットワークのＮ層のそれぞれの重みデータを決定することで、前記学習済み生徒ニューラルネットワークを生成する。

上記目的を達成するために、本開示の一形態に係るニューラルネットワーク生成方法は、コンピュータによって実行されるニューラルネットワーク生成方法であって、Ｍ層（Ｍは３以上の整数）によって構成される学習済み教師ニューラルネットワーク、および、Ｍ層より少ないＮ層（Ｎは２以上の整数）によって構成される生徒ニューラルネットワークを準備する準備ステップと、前記学習済み教師ニューラルネットワークを、入力側から順に少なくとも第１サブネットワークと第２サブネットワークとを含むように分解する分解ステップと、前記第１サブネットワークおよび前記生徒ニューラルネットワークのそれぞれにデータセットを入力し、前記第１サブネットワークの出力である第１の教師側出力と、前記生徒ニューラルネットワークの第１層の出力である第１の生徒側出力との誤差に基づく第１の誤差が小さくなるように前記生徒ニューラルネットワークを学習させることで前記第１層の重みデータを決定する第１決定ステップと、前記第１サブネットワークおよび前記第２サブネットワークで構成される部分ニューラルネットワーク、ならびに、前記第１決定ステップで決定した重みデータを有する第１層および前記第１層の後段に位置する第２層を含む前記生徒ニューラルネットワークのそれぞれにデータセットを入力し、前記第２サブネットワークの出力である第２の教師側出力と、前記第２層の出力である第２の生徒側出力との誤差に基づく第２の誤差が小さくなるように前記生徒ニューラルネットワークを学習させることで前記第２層の重みデータを決定する第２決定ステップと、を含み、前記分解ステップにおいて、前記学習済み教師ニューラルネットワークを分解する際の分解位置を変えることで、前記第１サブネットワークおよび前記第２サブネットワークはそれぞれ複数のグループ分けパターンを有し、前記第１決定ステップは、複数のグループ分けパターンを有する前記第１サブネットワークと、前記生徒ニューラルネットワークの第１層とによる複数の組み合わせの中から、前記第１の誤差が最も小さくなるときの前記第１サブネットワークと前記生徒ニューラルネットワークの第１層との組み合わせを選択し、選択後の前記生徒ニューラルネットワークの第１層に基づいて前記第１層の重みデータを決定し、前記第２決定ステップは、前記第１の誤差が最も小さくなるときの前記第１サブネットワークおよび複数のグループ分けパターンを有する前記第２サブネットワークで構成される複数の部分ニューラルネットワークと、前記生徒ニューラルネットワークの第１層および第２層とによる組み合わせの中から、前記第２の誤差が最も小さくなるときの当該部分ニューラルネットワークと前記生徒ニューラルネットワークの第１層および第２層との組み合わせを選択し、選択後の前記生徒ニューラルネットワークの第２層に基づいて前記第２層の重みデータを決定する。

本開示のニューラルネットワーク生成方法によれば、学習済み生徒ニューラルネットワークをシンプルに生成することができる。

図１は、教師ニューラルネットワークおよび生徒ニューラルネットワークの一例を示す図である。図２は、学習済み教師ニューラルネットワークおよび学習前の生徒ニューラルネットワークを模式的に示す図である。図３は、学習済み教師ニューラルネットワークおよび生徒ニューラルネットワークの関係を示す図である。図４Ａは、実施の形態１に係るニューラルネットワーク生成方法を概略的に示す図である。図４Ｂは、図４Ａにつづき、ニューラルネットワーク生成方法を概略的に示す図である。図４Ｃは、図４Ｂにつづき、ニューラルネットワーク生成方法を概略的に示す図である。図５は、実施の形態１に係るニューラルネットワーク生成方法を示すフローチャートである。図６は、教師側出力と生徒側出力との誤差に係数を乗じた例を示す図である。図７は、誤差に乗じる係数の導出方法を示すフローチャートである。図８は、誤差に乗じる係数の導出方法の一例を示す図である。図９は、特徴マップをリサイズする際の一例を示す図である。図１０は、特徴マップをリサイズする際の他の一例を示す図である。図１１は、実施の形態２に係るニューラルネットワーク生成方法を概略的に示す図である。図１２は、実施の形態２に係るニューラルネットワーク生成方法を示すフローチャートである。図１３は、教師側出力と生徒側出力との誤差に基づく評価値を示す図である。図１４は、誤差に乗じる係数の導出方法を示すフローチャートである。図１５は、誤差に乗じる係数の導出方法の一例を示す図である。

以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、規格、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する場合がある。

［ニューラルネットワークの基本構成］
教師ニューラルネットワークおよび生徒ニューラルネットワークの基本構成について説明する。

図１は、教師ニューラルネットワークおよび生徒ニューラルネットワークの一例を示す図である。

図１に示す各ニューラルネットワークは、マルチレイヤ構造を有し、入力層、複数の中間層、および、出力層によって構成されている。入力層、中間層および出力層のそれぞれは、例えば、畳み込み層または全結合層であり、ニューロンに相当する複数のノード（図示省略）を有している。

教師ニューラルネットワークは、複雑な推論モデルによって構成されているため、教師ニューラルネットワークを利用するときの負荷が重くなることがある。そこで、教師ニューラルネットワークを模倣した生徒ニューラルネットワークが利用される。

生徒ニューラルネットワークは、簡易な推論モデルであって、教師ニューラルネットワークよりも全体の層数が少ない。本開示の生徒ニューラルネットワークは、教師ニューラルネットワークに匹敵する処理をシステムＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）などの固定ハードウェアで実現させるためのモデルである。生徒ニューラルネットワークの層数は、システムＬＳＩなどのハードウェア構成に応じて予め決定される。一方、生徒ニューラルネットワークの各層に対応するシステムＬＳＩの各層の重みデータは可変であり、重みデータを後からシステムＬＳＩに実装することが可能となっている。

本開示のニューラルネットワーク生成方法では、生徒ニューラルネットワークの層数が予め決められているという制約の下で生徒ニューラルネットワークを学習させ、各層の重みデータを決定することで学習済み生徒ニューラルネットワークを生成する。例えば、学習済み生徒ニューラルネットワークの重みデータをシステムＬＳＩに実装することで、教師ニューラルネットワークに匹敵する処理を上記のシステムＬＳＩで実現することができる。

ここで本開示に対する理解を容易にするため、教師ニューラルネットワークおよび生徒ニューラルネットワークのそれぞれを以下のように模式化して説明する。

図２は、学習済み教師ニューラルネットワークＴＬおよび学習前の生徒ニューラルネットワークＳを模式的に示す図である。図２には、図１のニューラルネットワークを模式化したものが示されている。

図２の（ａ）に示す学習済み教師ニューラルネットワークＴＬは、Ｍ層（Ｍは３以上の整数）によって構成されている。Ｍは、学習済み教師ニューラルネットワークＴＬを層構造で表したときの層数である。この例では、学習済み教師ニューラルネットワークＴＬは９つの層を有している。例えば９つの層の１層目は入力層であり、２層目～９層目は中間層である。なお、９つの層の全てが中間層であってもよい。

図２の（ｂ）に示す学習前の生徒ニューラルネットワークＳは、Ｍ層よりも少ないＮ層（Ｎは２以上の整数）によって構成されている。Ｎは、生徒ニューラルネットワークＳを層構造で表したときの層数であり、例えばシステムＬＳＩなどのハードウェア構成によって予め決定される。この例では、生徒ニューラルネットワークＳは３つの層を有している。例えば３つの層の１層目は入力層であり、２層目および３層目は中間層である。なお、３つの層の全てが中間層であってもよい。

以下では、９層で構成される学習済み教師ニューラルネットワークＴＬに基づいて、３層で構成される生徒ニューラルネットワークＳを学習し、３層のそれぞれの重みデータを決定する実施の形態について説明する。

（実施の形態１）
［ニューラルネットワーク生成方法の概略説明］
図３は、学習済み教師ニューラルネットワークＴＬおよび生徒ニューラルネットワークＳの関係を示す図である。

図３には、学習済み教師ニューラルネットワークＴＬに含まれる３個のサブネットワーク、および、学習前の生徒ニューラルネットワークＳに含まれる３つの層が示されている。サブネットワークとは、ニューラルネットワークの一部を構成するネットワークである。サブネットワークの個数を３個にしているのは、生徒ニューラルネットワークＳの層数と合わせるためである。なお、同図に示す３個のサブネットワークのグループ分けは、あくまでも一例である。

ここで３個のサブネットワークを入力層から出力層へ向う処理順に、第１サブネットワークＴ１、第２サブネットワークＴ２および第３サブネットワークＴ３と呼ぶ。また、生徒ニューラルネットワークＳに含まれる３つの層を入力層から出力層へ向う処理順に、第１層Ｓ１、第２層Ｓ２および第３層Ｓ３と呼ぶ。この例では、第１サブネットワークＴ１、第２サブネットワークＴ２および第３サブネットワークＴ３と、第１層Ｓ１、第２層Ｓ２および第３層Ｓ３とが、入力層から出力層へ向かって並ぶ順に対応付けられている。

例えば、９層で構成されるニューラルネットワークから３個のサブネットワークを生成する際のグループ分けの選択数は、９層の各層の間に位置する８つの分解位置ｐ１～ｐ８の中から２つの分解位置を選択するときの選択数と同じである。したがって、３個のサブネットワークを生成する際の全てのグループ分けパターンは、２８パターンとなる（_８Ｃ_２＝２８）。

実施の形態１では、２８パターンの全てのグループ分けパターンの探索を行うのでなく、２８パターンのうちの一部のパターンを探索して、生徒ニューラルネットワークＳの３層の重みデータを決定する。

図４Ａ、図４Ｂおよび図４Ｃは、実施の形態１に係るニューラルネットワーク生成方法を概略的に示す図である。図４Ａには、第１サブネットワークＴ１に関する探索が示され、図４Ｂには、第２サブネットワークＴ２に関する探索が示され、図４Ｃには、第３サブネットワークＴ３に関する探索が示されている。

まず、図４Ａに示すように、第１サブネットワークＴ１に関する探索を行う。第１サブネットワークＴ１の後段の第２サブネットワークＴ２および第３サブネットワークＴ３にはそれぞれ最低１層は必要なので、第１サブネットワークＴ１は、９層から２層引いた７層以下で形成される。言い換えると、第１サブネットワークＴ１は、図４Ａに示すように、分解位置ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６またはｐ７で分解したときの７つのパターンをとり得る。

次に、学習済み教師ニューラルネットワークＴＬおよび生徒ニューラルネットワークＳのそれぞれに、入力データおよびラベルを含む学習用のデータセットを入力する。データセットの入力数は、１００であってもよいし、１０００であってもよい。そして、第１サブネットワークＴ１以降の出力である第１の教師側出力ｔｏ１と、生徒ニューラルネットワークＳの第１層Ｓ１以降の出力である第１の生徒側出力ｓｏ１との誤差に基づく第１の誤差ｅ１が小さくなるように、生徒ニューラルネットワークＳを学習させる。なおここでは、第１の誤差ｅ１＝（第１サブネットワークＴ１の単体の出力と生徒ニューラルネットワークＳの第１層Ｓ１の単体の出力との誤差）としている。上記の学習を７つのパターンのそれぞれについて実行し、７つのパターンの中から第１の誤差ｅ１が最も小さくなるときのパターンを選択する。

この例では、分解位置ｐ３で分解したときの第１の誤差ｅ１が最も小さくなっており、図４Ａに示すように、第１サブネットワークＴ１は、分解位置ｐ３で分解したときのパターンに決定される。また、生徒ニューラルネットワークＳの第１層Ｓ１の重みデータは、分解位置ｐ３で分解したときの第１サブネットワークＴ１と第１層Ｓ１との学習で得られた重みデータＷ１に決定される。

次に、図４Ｂに示すように、第２サブネットワークＴ２に関する探索を行う。第２サブネットワークＴ２に関する探索は、第１サブネットワークＴ１が先に決めた分解位置ｐ３で固定されていることを前提として実行される。第２サブネットワークＴ２の後段の第３サブネットワークＴ３には最低１層は必要なので、第２サブネットワークＴ２は、第１サブネットワークＴ１以外の６層から１層引いた５層以下で形成される。言い換えると、第２サブネットワークＴ２は、図４Ｂに示すように、分解位置ｐ４、ｐ５、ｐ６、ｐ７またはｐ８で分解したときの５つのパターンをとり得る。

次に、第１サブネットワークＴ１および第２サブネットワークＴ２を含む学習済み教師ニューラルネットワークＴＬ、ならびに、先に決定した重みデータＷ１を有する第１層Ｓ１および第１層Ｓ１の後段に位置する第２層Ｓ２を含む生徒ニューラルネットワークＳのそれぞれにデータセットを入力する。そして、第２サブネットワークＴ２以降の出力である第２の教師側出力ｔｏ２と、生徒ニューラルネットワークＳの第２層Ｓ２以降の出力である第２の生徒側出力ｓｏ２との誤差に基づく第２の誤差ｅ２が小さくなるように、生徒ニューラルネットワークＳを学習させる。なおここでは、第２の誤差ｅ２＝第１の誤差ｅ１＋（第２サブネットワークＴ２の単体の出力と生徒ニューラルネットワークＳの第２層Ｓ２の単体の出力との誤差）としている。上記の学習を５つのパターンのそれぞれについて実行し、５つのパターンの中から第２の誤差ｅ２が最も小さくなるときのパターンを選択する。

この例では、分解位置ｐ６で分解したときの第２の誤差ｅ２が最も小さくなっており、図４Ｂに示すように、第２サブネットワークＴ２は、分解位置ｐ６で分解したときのパターンに決定される。また、生徒ニューラルネットワークＳの第２層Ｓ２の重みデータは、分解位置ｐ３で分解したときの第１サブネットワークＴ１および分解位置ｐ６で分解したときの第２サブネットワークＴ２と、第１層Ｓ１および第２層Ｓ２との学習で得られた重みデータＷ２に決定される。

次に、図４Ｃに示すように、第３サブネットワークＴ３に関する探索を行う。第３サブネットワークＴ３に関する探索は、第１サブネットワークＴ１が先に決めた分解位置ｐ３で固定され、第２サブネットワークＴ２が先に決めた分解位置ｐ６で固定されていることを前提として実行される。第３サブネットワークＴ３は、第１サブネットワークＴ１および第２サブネットワークＴ２以外の３層で形成される。言い換えると、第３サブネットワークＴ３は、図４Ｃに示すように、分解位置ｐ６で分解したときの１つのパターンをとり得る。

次に、第１サブネットワークＴ１、第２サブネットワークＴ２および第３サブネットワークＴ３を含む学習済み教師ニューラルネットワークＴＬ、ならびに、重みデータＷ１を有する第１層Ｓ１、重みデータＷ２を有する第２層Ｓ２および第２層Ｓ２の後段に位置する第３層Ｓ３を含む生徒ニューラルネットワークＳのそれぞれにデータセットを入力する。そして、第３サブネットワークＴ３以降の出力である第３の教師側出力ｔｏ３と、生徒ニューラルネットワークＳの第３層Ｓ３以降の出力である第３の生徒側出力ｓｏ３との誤差に基づく第３の誤差ｅ３が小さくなるように、生徒ニューラルネットワークＳを学習させる。なおここでは、第３の誤差ｅ３＝第２の誤差ｅ２＋（第３サブネットワークＴ３の単体の出力と生徒ニューラルネットワークＳの第３層Ｓ３の単体の出力との誤差）としている。

図４Ｃに示す例では、生徒ニューラルネットワークＳの第３層Ｓ３の重みデータは、上記の学習済み教師ニューラルネットワークＴＬと第１層Ｓ１、第２層Ｓ２および第３層Ｓ３との学習で得られた重みデータＷ３に決定される。これらにより、第１層Ｓ１、第２層Ｓ２および第３層Ｓ３のそれぞれに対応する重みデータＷ１、Ｗ２およびＷ３が決定され、学習済み生徒ニューラルネットワークＳＬが生成される。

このように、実施の形態１では、３個のサブネットワークごとの出力である３個の教師側出力と、生徒ニューラルネットワークＳの３層の層ごとの出力である３個の生徒側出力とを入力層から出力層へ向かって処理順に対応付ける。そして、対応付けた順に生徒ニューラルネットワークＳの３層のそれぞれの重みデータＷ１～Ｗ３を決定することで、学習済み生徒ニューラルネットワークＳＬを生成する。この方法によれば、学習済み生徒ニューラルネットワークＳＬを負荷の少ない処理でシンプルに生成することができる。例えば上記の例では、合計の探索数が７＋５＋１＝１３であり、２８パターンの全探索を行うよりも探索数を減らすことができる。

［ニューラルネットワーク生成方法のフロー］
ニューラルネットワークの生成方法のフローについて、図５を参照しながら説明する。

図５は、実施の形態１に係るニューラルネットワーク生成方法を示すフローチャートである。

実施の形態１に係るニューラルネットワーク生成方法は、準備ステップＳ１００と、分解ステップＳ２００と、学習ステップＳ３００とを含む。学習ステップＳ３００は、第１決定ステップＳ３１０と、第２決定ステップＳ３２０と、第３決定ステップＳ３３０と、を含む。

準備ステップＳ１００は、Ｍ層によって構成される学習済み教師ニューラルネットワークＴＬ、および、Ｍ層より少ないＮ層によって構成される生徒ニューラルネットワークＳを準備するステップである。

分解ステップＳ２００は、学習済み教師ニューラルネットワークＴＬを、入力側から順に少なくとも第１サブネットワークＴ１と第２サブネットワークＴ２とを含むように分解するステップである。具体的には、分解ステップＳ２００では、学習済み教師ニューラルネットワークＴＬを分解する際の分解位置を変えることで、複数のグループ分けパターンを有する第１サブネットワークＴ１および第２サブネットワークＴ２をそれぞれ生成する。また、分解ステップＳ２００は、学習済み教師ニューラルネットワークＴＬを分解する際の分解位置を変えることで、第２サブネットワークＴ２の後段に位置する第３サブネットワークＴ３を生成する。

なお、分解ステップＳ２００は、第１決定ステップＳ３１０、第２決定ステップＳ３２０および第３決定ステップＳ３３０のそれぞれの前に必要に応じて実行される。例えばこの例では、第１決定ステップＳ３１０の前に第１サブネットワークＴ１が分解して抽出され、第２決定ステップＳ３２０の前に第２サブネットワークＴ２が分解して抽出され、第３決定ステップＳ３３０の前に第３サブネットワークＴ３が分解して抽出される。

第１決定ステップＳ３１０は、生徒ニューラルネットワークＳの第１層Ｓ１の重みデータＷ１を決定するステップである。第１決定ステップＳ３１０では、学習済み教師ニューラルネットワークＴＬおよび生徒ニューラルネットワークＳのそれぞれに、入力データおよびラベルを含む学習用のデータセットを入力する。そして、第１サブネットワークＴ１の出力である第１の教師側出力ｔｏ１と、生徒ニューラルネットワークＳの第１層Ｓ１の出力である第１の生徒側出力ｓｏ１との誤差（またはロス値）に基づく第１の誤差ｅ１が小さくなるように生徒ニューラルネットワークＳを学習させることで第１層Ｓ１の重みデータを決定する。

具体的には第１決定ステップＳ３１０では、複数のグループ分けパターンを有する第１サブネットワークＴ１と、生徒ニューラルネットワークＳの第１層Ｓ１とによる複数の組み合わせの中から、第１の誤差ｅ１が最も小さくなるときの第１サブネットワークＴ１と生徒ニューラルネットワークＳの第１層Ｓ１との組み合わせを選択する。そして、選択後の生徒ニューラルネットワークＳの第１層Ｓ１に基づいて、第１層Ｓ１の重みデータＷ１を決定する。

第２決定ステップＳ３２０は、生徒ニューラルネットワークＳの第２層Ｓ２の重みデータＷ２を決定するステップである。第２決定ステップＳ３２０では、第１サブネットワークＴ１および第２サブネットワークＴ２を含む学習済み教師ニューラルネットワークＴＬ、ならびに、第１決定ステップＳ３１０で決定した重みデータＷ１を有する第１層Ｓ１および第１層Ｓ１の後段に位置する第２層Ｓ２を含む生徒ニューラルネットワークＳのそれぞれにデータセットを入力する。そして、第２サブネットワークＴ２の出力である第２の教師側出力ｔｏ２と、生徒ニューラルネットワークＳの第２層Ｓ２の出力である第２の生徒側出力ｓｏ２との誤差（またはロス値）に基づく第２の誤差ｅ２が小さくなるように生徒ニューラルネットワークＳを学習させることで第２層Ｓ２の重みデータＷ２を決定する。

具体的には第２決定ステップＳ３２０では、第１の誤差ｅ１が最も小さくなるときの第１サブネットワークＴ１および複数のグループ分けパターンを有する第２サブネットワークＴ２で構成される複数の部分ニューラルネットワークと、生徒ニューラルネットワークＳの第１層Ｓ１および第２層Ｓ２とによる組み合わせの中から、第２の誤差ｅ２が最も小さくなるときの部分ニューラルネットワークと生徒ニューラルネットワークＳの第１層Ｓ１および第２層Ｓ２との組み合わせを選択する。そして、選択後の生徒ニューラルネットワークＳの第２層Ｓ２に基づいて、第２層Ｓ２の重みデータＷ２を決定する。

第３決定ステップＳ３３０は、生徒ニューラルネットワークＳの第３層Ｓ３の重みデータＷ３を決定するステップである。第３決定ステップＳ３３０では、第１サブネットワークＴ１、第２サブネットワークＴ２および第３サブネットワークＴ３を含む学習済み教師ニューラルネットワークＴＬ、ならびに、第１決定ステップＳ３１０で決定した重みデータＷ１を有する第１層Ｓ１、第２決定ステップＳ３２０で決定した重みデータＷ２を有する第２層Ｓ２および第２層Ｓ２の後段に位置する第３層Ｓ３を含む生徒ニューラルネットワークＳのそれぞれにデータセットを入力する。そして、第３サブネットワークＴ３の出力である第３の教師側出力ｔｏ３と、生徒ニューラルネットワークＳの第３層Ｓ３の出力である第３の生徒側出力ｓｏ３との誤差（またはロス値）に基づく第３の誤差ｅ３が小さくなるように生徒ニューラルネットワークＳを学習させることで第３層Ｓ３の重みデータＷ３を決定する。

これらのステップＳ１００～Ｓ３００を実行することで、学習済み生徒ニューラルネットワークＳＬを負荷の少ない処理でシンプルに生成することができる。

なお、分解ステップＳ２００において、学習済み教師ニューラルネットワークＴＬを分解して複数のグループ分けパターンを有する第３サブネットワークＴ３を生成できる場合、すなわち、第３サブネットワークＴ３と異なる他のサブネットワークをさらに生成できる場合、第３決定ステップＳ３３０は、以下に示すように実行されてもよい。

この場合、第３決定ステップＳ３３０は、第１の誤差ｅ１が最も小さくなるときの第１サブネットワークＴ１、第２の誤差ｅ２が最も小さくなるときの第２サブネットワークＴ２、および、複数のグループ分けパターンを有する第３サブネットワークＴ３で構成される複数の部分ニューラルネットワークと、生徒ニューラルネットワークの第１層Ｓ１、第２層Ｓ２および第３層Ｓ３とによる組み合わせの中から、第３の誤差ｅ３が最も小さくなるときの当該部分ニューラルネットワークと生徒ニューラルネットワークＳの第１層Ｓ１、第２層Ｓ２および第３層Ｓ３との組み合わせを選択する。そして、選択後の生徒ニューラルネットワークＳの第３層Ｓ３に基づいて第３層Ｓ３の重みデータＷ３を決定する。

また、上記の学習ステップＳ３００で用いられるデータセットは、同じデータセットであることが望ましいが、必ずしも同じ入力データおよびラベルである必要はない。また、データセットは、全ての入力データおよびラベルを含むスーパデータセットであってもよいし、一部の代表的な入力データおよびラベルを含むサブデータセットであってもよい。例えば、教師ニューラルネットワークは、教師学習用のデータセットである教師学習用データを入力することで学習され、生徒ニューラルネットワークＳは、教師学習用データのうちの一部のデータセットによって学習されてもよい。すなわち、学習ステップＳ３００で用いられるデータセットは、教師学習用データの一部であるサブデータセットによって構成されていてもよい。この場合、さらに、教師学習用データを用いて、生徒ニューラルネットワークＳを学習させてもよい。

［実施の形態１の変形例１］
実施の形態１の変形例１について、図６～図８を参照しながら説明する。

実施の形態１では、教師側出力と生徒側出力との誤差が小さくなるように生徒ニューラルネットワークＳを学習させる例について説明したが、それに限られず、誤差に係数を乗じ、係数を乗じた後の誤差が小さくなるように生徒ニューラルネットワークＳを学習させることもできる。そこで、変形例１では、誤差に乗じる係数を導出する方法について説明する。

図６は、教師側出力と生徒側出力との誤差に係数を乗じた例を示す図である。

図６の（ａ）には、第１サブネットワークＴ１の単体の出力と第１層Ｓ１の単体の出力との誤差に係数ｋ１を乗じた値である第１の誤差ｅ１が示されている。図６の（ｂ）には、第２サブネットワークＴ２の単体の出力と第２層Ｓ２の単体の出力との誤差に係数ｋ２を乗じ、第１の誤差ｅ１に合算した値である第２の誤差ｅ２が示されている。図６の（ｃ）には、第３サブネットワークＴ３の単体の出力と第３層Ｓ３の単体の出力との誤差に係数ｋ３を乗じ、第２の誤差ｅ２に合算した値である第３の誤差ｅ３が示されている。

各誤差は、教師側出力と生徒側出力との差であるロス値であってもよい。各係数ｋ１、ｋ２、ｋ３のそれぞれは、各出力における誤差の重要性を示す値であり、係数の値が大きいほど、その出力における誤差が重要であることを示す。

この例では、対象とするニューラルネットワークの挙動の敏感さに基づいて各係数を導出する。なお、各係数は、図５に示すニューラルネットワーク生成方法のフローを実行する前の準備段階において、各誤差に応じて予め導出される。

図７は、誤差に乗じる係数の導出方法を示すフローチャートである。図８は、誤差に乗じる係数の導出方法の一例を示す図である。

図７に示すように、係数の導出方法は、参照用教師ニューラルネットワークＴｒを準備するステップと、Ｎ個のサブネットワークを有する参照用教師ニューラルネットワークＴｒを生成するステップと、誤差に乗じる係数を導出するステップと、を含む。

参照用教師ニューラルネットワークＴｒを準備するステップでは、学習済み教師ニューラルネットワークＴＬのそれぞれの層に対応する重みデータにノイズを加えたノイズ付き重みデータを有する参照用教師ニューラルネットワークＴｒを準備する。

Ｎ個のサブネットワークを有する参照用教師ニューラルネットワークＴｒを生成するステップでは、参照用教師ニューラルネットワークＴｒをＮ個のサブネットワークに分解することで、Ｎ個のサブネットワークを有する参照用教師ニューラルネットワークＴｒを生成する。

係数を導出するステップでは、学習済み教師ニューラルネットワークＴＬおよび参照用教師ニューラルネットワークＴｒのそれぞれにデータセットを入力し、学習済み教師ニューラルネットワークＴＬおよび参照用教師ニューラルネットワークＴｒの対応する各層の出力間のロス値を用いて、Ｎ個のサブネットワークごとのロス値のノイズによる変動分の合計値を求め、この合計値の大小関係に基づいて係数を設定する。

具体的には、係数を導出するステップでは、図８の（ａ）に示すように、学習済み教師ニューラルネットワークＴＬの各層の重み（Ｚ）にノイズ（ｎ）を付加したもの（Ｚ＋ｎ）を比較対象として、学習済み教師ニューラルネットワークＴＬの各層のロス変動値ΔＬを測定する。そして、ロス変動値ΔＬの値が大きいものに該当するサブネットワークから係数を大きな数値に設定する。例えば、図８の（ｂ）に示すように、各サブネットワークＴ１、Ｔ２、Ｔ３に含まれる各層のロス変動値ΔＬを合計し、各係数ｋ１、ｋ２、ｋ３を導出する。このように求めた係数を誤差に乗じることで、ニューラルネットワークの挙動の敏感さに応じて、教師側出力と生徒側出力との誤差（またはロス）を評価することが可能となる。

［実施の形態１の変形例２］
実施の形態１の変形例２について、図９および図１０を参照しながら説明する。

実施の形態１では、教師側出力と生徒側出力とを単純に比較して誤差を求める例について示したが、それに限られず、各サブネットワークの特徴マップと生徒ニューラルネットワークの各層の特徴マップとのサイズを同じにした後に、誤差を求めることもできる。そこで、変形例２では、特徴マップをリサイズしてサイズを同じにする例について説明する。

図９は、特徴マップをリサイズする際の一例を示す図である。

図９の（ａ）には、サブネットワークの特徴マップが生徒ニューラルネットワークの各層の特徴マップよりも大きくなっている例が示されている。この例では、図９の（ｂ）に示すように、サブネットワークの特徴マップを縮小して、生徒ニューラルネットワークの各層の特徴マップと同じサイズにする。リサイズの方法としては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）のプーリング計算と同じ方法や、画像リサイズで行う補完カーネル（Ｂｉ－Ｌｉｎｅａｒ）などの方法が用いられる。このようにリサイズを行うことで、教師側出力と生徒側出力との誤差を精度よく求めることが可能となる。

図１０は、特徴マップをリサイズする際の他の一例を示す図である。

図１０の（ａ）には、サブネットワークの特徴マップが生徒ニューラルネットワークの各層の特徴マップよりも大きくなっている例が示されている。この例では、図１０の（ｂ）に示すように、生徒ニューラルネットワークの特徴マップを拡大して、サブネットワークの特徴マップと同じサイズにする。リサイズの方法としては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）のアップサンプリング計算と同じ方法や、画像リサイズで行う補完カーネル（Ｂｉ－Ｌｉｎｅａｒ）などの方法が用いられる。このようにリサイズを行うことで、教師側出力と生徒側出力との誤差を精度よく求めることが可能となる。

例えば、図５に示す第１決定ステップＳ３１０において、第１の教師側出力ｔｏ１および第１の生徒側出力ｓｏ１の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、第１の誤差ｅ１を求めてもよい。第２決定ステップＳ３２０において、第２の教師側出力ｔｏ２および第２の生徒側出力ｓｏ２の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、第２の誤差ｅ２を求めてもよい。第３決定ステップＳ３３０において、第３の教師側出力ｔｏ３および第３の生徒側出力ｓｏ３の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、第３の誤差ｅ３を求めてもよい。

（実施の形態２）
［ニューラルネットワーク生成方法の概略説明］
実施の形態２では、第１サブネットワークＴ１、第２サブネットワークＴ２および第３サブネットワークＴ３に関する全探索を行う例について説明する。なお、実施の形態２でも本開示に対する理解を容易にするため、教師ニューラルネットワークおよび生徒ニューラルネットワークのそれぞれを模式化して説明する。

図１１は、実施の形態２に係るニューラルネットワーク生成方法を概略的に示す図である。

例えば、Ｍ層で構成される学習済み教師ニューラルネットワークＴＬを分解してＮ個のサブネットワークを生成する際のグループ分けパターンは、（_Ｍ－１Ｃ_Ｎ－１）で表される。この例では、Ｍ＝９、Ｎ＝３であるので、グループ分けパターンは、（_９－１Ｃ_３－１）パターンとなる。つまり、実施の形態２では、２８パターンの全てのグループ分けパターンを探索して、生徒ニューラルネットワークＳの３層の重みデータを決定する。

実施の形態２では、第１サブネットワークＴ１、第２サブネットワークＴ２および第３サブネットワークＴ３に関する全探索を行う。第１サブネットワークＴ１、第２サブネットワークＴ２および第３サブネットワークＴ３は、分解位置ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６、ｐ７およびｐ８で分解したときの２８のパターンをとり得る。なお、図１１に示す「分解位置ｐ１，ｐ２→ｐ１，ｐ８」という記載は、分解位置ｐ１を固定し、もう一つの分解位置を分解位置ｐ２からｐ８まで変えて、合計７パターンの探索を行ったことを示している。他の分解位置の記載についても同様である。

次に、学習済み教師ニューラルネットワークＴＬおよび生徒ニューラルネットワークＳのそれぞれに、入力データおよびラベルを含む学習用のデータセットを入力する。データセットの入力数は、１００であってもよいし、１０００であってもよい。そして、学習済み教師ニューラルネットワークＴＬの出力である教師側出力ｔｏと、生徒ニューラルネットワークＳの出力である生徒側出力ｓｏとの誤差に基づく評価値ｖが小さくなるように、生徒ニューラルネットワークＳを学習させる。この学習を２８つのパターンのそれぞれについて実行し、２８つのパターンの中から評価値ｖが最も小さくなるときのパターンを選択する。

この例では、分解位置ｐ３およびｐ６で分解したときの評価値ｖが最も小さくなっており、図１１に示すように、第１サブネットワークＴ１は、分解位置ｐ３で分解したときのパターンに決定され、第２サブネットワークＴ２および第３サブネットワークＴ３は、分解位置ｐ６で分解したときのパターンに決定される。また、生徒ニューラルネットワークＳの各層の重みデータは、分解位置ｐ３およびｐ６で分解したときの重みデータであり、第１層Ｓ１の重みデータはＷ１に決定され、第２層Ｓ２の重みデータはＷ２に決定され、第３層Ｓ３の重みデータはＷ３に決定される。

実施の形態２では、３個のサブネットワークの全探索を行い、生徒ニューラルネットワークＳの３層のそれぞれの重みデータＷ１～Ｗ３を決定することで、学習済み生徒ニューラルネットワークＳＬを生成する。この方法によれば、学習済み生徒ニューラルネットワークＳＬを精度よくシンプルに生成することができる。

［ニューラルネットワーク生成方法のフロー］
ニューラルネットワークの生成方法のフローについて、図１２を参照しながら説明する。

図１２は、実施の形態２に係るニューラルネットワーク生成方法を示すフローチャートである。

実施の形態２に係るニューラルネットワーク生成方法は、準備ステップＳ１００と、分解ステップＳ２００と、学習ステップＳ３００とを含む。

分解ステップＳ２００は、学習済み教師ニューラルネットワークＴＬをＮ個のサブネットワークに分解することで、Ｎ個のサブネットワークを有する学習済み教師ニューラルネットワークＴＬを生成するステップである。分解ステップＳ２００では、学習済み教師ニューラルネットワークＴＬを分解する際の分解位置を変えることで、複数のグループ分けパターンを有する学習済み教師ニューラルネットワークＴＬを生成する。

学習ステップＳ３００は、Ｎ個のサブネットワークを有する学習済み教師ニューラルネットワークＴＬ、および、生徒ニューラルネットワークＳのそれぞれにデータセットを入力し、生徒ニューラルネットワークＳを学習させることで学習済み生徒ニューラルネットワークＳＬを生成するステップである。

具体的には、学習ステップＳ３００では、まず、Ｎ個のサブネットワークごとの出力であるＮ個の教師側出力と、生徒ニューラルネットワークＳのＮ層の層ごとの出力であるＮ個の生徒側出力とを入力層から出力層へ向かって処理順に対応付ける。次に、複数のグループ分けパターンを有する学習済み教師ニューラルネットワークＴＬと、生徒ニューラルネットワークＳとによる複数の組み合わせの中から、対応付けた教師側出力と生徒側出力との誤差に基づく評価値ｖが最も小さくなるときの学習済み教師ニューラルネットワークＴＬと生徒ニューラルネットワークＳとの組み合わせを選択する。そして、選択後の生徒ニューラルネットワークＳに基づいて生徒ニューラルネットワークＳのＮ層のそれぞれの重みデータを決定することで、学習済み生徒ニューラルネットワークＳＬを生成する。

これらのステップＳ１００～Ｓ３００を実行することで、学習済み生徒ニューラルネットワークＳＬを精度よくシンプルに生成することができる。

［実施の形態２の変形例１］
実施の形態２の変形例１について、図１３～図１５を参照しながら説明する。

実施の形態２では、評価値ｖが小さくなるように、生徒ニューラルネットワークＳを学習させる例について説明したが、それに限られず、誤差に係数を乗じた後の評価値ｖが小さくなるように、生徒ニューラルネットワークＳを学習させることもできる。そこで、この変形例１では、評価値ｖを導出する方法について説明する。

図１３は、教師側出力と生徒側出力との誤差に基づく評価値を示す図である。

図１３には、第１サブネットワークＴ１の単体の出力と第１層Ｓ１の単体の出力との誤差に係数ｋ１を乗じ、第２サブネットワークＴ２の単体の出力と第２層Ｓ２の単体の出力との誤差に係数ｋ２を乗じ、第３サブネットワークＴ３の単体の出力と第３層Ｓ３の単体の出力との誤差に係数ｋ３を乗じ、これらを合算した評価値ｖが示されている。つまり、評価値ｖは、Ｎ個の教師側出力とＮ個の生徒側出力とのそれぞれの誤差であるＮ個の誤差に対し、Ｎ個の誤差のそれぞれに対応する係数を乗じ、合算した値である。

この例でも、対象とするニューラルネットワークの挙動の敏感さに基づいて各係数を導出する。各係数は、図１２に示すニューラルネットワーク生成方法のフローを実行する前の準備段階において、各誤差に応じて予め導出される。

図１４は、誤差に乗じる係数の導出方法を示すフローチャートである。図１５は、誤差に乗じる係数の導出方法の一例を示す図である。

図１４に示すように、係数の導出方法は、参照用教師ニューラルネットワークＴｒを準備するステップと、Ｎ個のサブネットワークを有する参照用教師ニューラルネットワークＴｒを生成するステップと、誤差に乗じる係数を導出するステップと、を含む。

具体的には、係数を導出するステップでは、図１５の（ａ）に示すように、学習済み教師ニューラルネットワークＴＬの各層の重み（Ｚ）にノイズ（ｎ）を付加したもの（Ｚ＋ｎ）を比較対象として、学習済み教師ニューラルネットワークＴＬの各層のロス変動値ΔＬを測定する。そして、ロス変動値ΔＬの値が大きいものに該当するサブネットワークから係数を大きな数値に設定する。例えば、図１５の（ｂ）に示すように、各サブネットワークに含まれる各層のロス変動値ΔＬを合計し、各係数ｋ１、ｋ２、ｋ３を導出する。このように求めた係数を誤差に乗じることで、ニューラルネットワークの挙動の敏感さに応じて、教師側出力と生徒側出力との誤差に基づく評価値ｖを求めることが可能となる。

なお、上記では、教師側出力と生徒側出力とを単純に比較して評価値ｖを求める例について示したが、それに限られず、各サブネットワークの特徴マップと生徒ニューラルネットワークの各層の特徴マップとのサイズを同じにした後に、評価値ｖを求めることもできる。特徴マップをリサイズしてサイズを同じにする方法は、実施の形態１の変形例２と同様である。

（まとめ）
本開示の一形態に係るニューラルネットワーク生成方法は、Ｍ層によって構成される学習済み教師ニューラルネットワークＴＬ、および、Ｍ層より少ないＮ層によって構成される生徒ニューラルネットワークＳを準備する準備ステップと、学習済み教師ニューラルネットワークＴＬをＮ個のサブネットワークに分解する分解ステップと、Ｎ個のサブネットワークに分解した学習済み教師ニューラルネットワークＴＬ、および、生徒ニューラルネットワークＳのそれぞれにデータセットを入力し、生徒ニューラルネットワークＳを学習させることで学習済み生徒ニューラルネットワークＳＬを生成する学習ステップと、を含む。学習ステップは、Ｎ個のサブネットワークごとの出力であるＮ個の教師側出力と、生徒ニューラルネットワークＳのＮ層の層ごとの出力であるＮ個の生徒側出力とを入力層から出力層へ向かって処理順に対応付け、対応付けた順に生徒ニューラルネットワークＳのＮ層のそれぞれの重みデータを決定することで、学習済み生徒ニューラルネットワークＳＬを生成する。

このように、入力層から出力層へ向う処理順に生徒ニューラルネットワークＳのＮ層のそれぞれの重みデータを決定することで、学習済み生徒ニューラルネットワークＳＬを負荷の少ない処理でシンプルに生成することができる。また、例えば一般的には、各層の重みはランダム値を初期値として学習されるが、入力に対して出力の挙動が変わるという傾向があるので、本開示のように、入力側の重みを先に確定させたほうが学習済み生徒ニューラルネットワークを生成する効率が高くなると考えられる。

また、学習ステップは、Ｎ個の教師側出力とＮ個の生徒側出力とのそれぞれの誤差が小さくなるように、生徒ニューラルネットワークＳを学習させることで、重みデータを決定してもよい。

このように、上記の誤差が小さくなるように学習させることで、生徒ニューラルネットワークＳの各層の重みデータを精度よく求めることができる。

本開示の一形態に係るニューラルネットワーク生成方法は、Ｍ層によって構成される学習済み教師ニューラルネットワークＴＬ、および、Ｍ層より少ないＮ層によって構成される生徒ニューラルネットワークＳを準備する準備ステップと、学習済み教師ニューラルネットワークＴＬをＮ個のサブネットワークに分解する分解ステップと、Ｎ個のサブネットワークに分解した学習済み教師ニューラルネットワークＴＬ、および、生徒ニューラルネットワークＳのそれぞれにデータセットを入力し、生徒ニューラルネットワークＳを学習させることで学習済み生徒ニューラルネットワークＳＬを生成する学習ステップと、を含む。分解ステップは、学習済み教師ニューラルネットワークＴＬを分解する際の分解位置を変える、複数のグループ分けパターンを有する。学習ステップは、（１）Ｎ個のサブネットワークごとの出力であるＮ個の教師側出力と、生徒ニューラルネットワークＳのＮ層の層ごとの出力であるＮ個の生徒側出力とを入力層から出力層へ向かって処理順に対応付け、（２）複数のグループ分けパターンを有する学習済み教師ニューラルネットワークＴＬと、生徒ニューラルネットワークＳとによる複数の組み合わせの中から、対応付けたＮ個の教師側出力とＮ個の生徒側出力とのそれぞれの誤差に基づく評価値ｖが最も小さくなるときの学習済み教師ニューラルネットワークＴＬと生徒ニューラルネットワークＳとの組み合わせを選択し、（３）選択後の生徒ニューラルネットワークＳに基づいて生徒ニューラルネットワークＳのＮ層のそれぞれの重みデータを決定することで、学習済み生徒ニューラルネットワークＳＬを生成する。

このように、複数の組み合わせの中から評価値ｖが最も小さくなるときの組み合わせを選択することで、生徒ニューラルネットワークＳの各層の重みデータを精度よく求めることができる。これにより、学習済み生徒ニューラルネットワークＳＬを精度よくシンプルに生成することができる。

また、評価値ｖは、Ｎ個の教師側出力とＮ個の生徒側出力とのそれぞれの誤差であるＮ個の誤差に対し、Ｎ個の誤差のそれぞれに対応する係数を乗じ、合算した値であってもよい。

このように、Ｎ個の誤差のそれぞれに対応する係数を乗じることで、誤差の重要性に応じた評価値ｖを生成することができる。そのため、評価値に応じた重みデータを有する学習済み生徒ニューラルネットワークＳＬを生成することができる。

また、ニューラルネットワーク生成方法は、さらに、学習済み教師ニューラルネットワークＴＬのそれぞれの層に対応する重みデータにノイズを加えたノイズ付き重みデータを有する参照用教師ニューラルネットワークＴｒを準備するステップと、参照用教師ニューラルネットワークＴｒをＮ個のサブネットワークに分解するステップと、学習済み教師ニューラルネットワークＴＬおよび参照用教師ニューラルネットワークＴｒに基づいて、Ｎ個の誤差のそれぞれに対応する係数を導出するステップと、を含む。係数を導出するステップは、学習済み教師ニューラルネットワークＴＬおよび参照用教師ニューラルネットワークＴｒのそれぞれにデータセットを入力し、学習済み教師ニューラルネットワークＴＬおよび参照用教師ニューラルネットワークＴｒの対応する各層の出力間のロス値を用いて、Ｎ個のサブネットワークごとのロス値のノイズによる変動分の合計値を求め、合計値の大小関係に基づいて係数を導出してもよい。

これによれば、ニューラルネットワークの挙動の敏感さに応じて、教師側出力と生徒側出力との評価値ｖを求めることが可能となる。これにより、生徒ニューラルネットワークＳの各層の重みデータを精度よく求めることができる。

また、学習ステップにおいて、教師側出力および生徒側出力の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、誤差を求めてもよい。

このように特徴マップのサイズを合わせることで、教師側出力と生徒側出力との誤差を精度よく求めることが可能となる。これにより、生徒ニューラルネットワークＳの各層の重みデータを精度よく求めることができる。

また、教師ニューラルネットワークは教師学習用データを用いて学習され、データセットは、教師学習用データの一部によって構成されてもよい。

これによれば、学習済み生徒ニューラルネットワークＳＬを短時間でシンプルに生成することができる。

また、ニューラルネットワーク生成方法は、さらに、教師学習用データを用いて生徒ニューラルネットワークＳを学習させるステップを含んでいてもよい。

これによれば、学習済み生徒ニューラルネットワークＳＬの信頼性を高めることができる。

本開示の一形態に係るニューラルネットワーク生成方法は、Ｍ層によって構成される学習済み教師ニューラルネットワークＴＬ、および、Ｍ層より少ないＮ層によって構成される生徒ニューラルネットワークＳを準備する準備ステップと、学習済み教師ニューラルネットワークＴＬを、入力側から順に少なくとも第１サブネットワークＴ１と第２サブネットワークＴ２とを含むように分解する分解ステップと、第１サブネットワークＴ１および生徒ニューラルネットワークＳのそれぞれにデータセットを入力し、第１サブネットワークＴ１の出力である第１の教師側出力ｔｏ１と、生徒ニューラルネットワークＳの第１層Ｓ１の出力である第１の生徒側出力ｓｏ１との誤差に基づく第１の誤差ｅ１が小さくなるように生徒ニューラルネットワークＳを学習させることで第１層Ｓ１の重みデータＷ１を決定する第１決定ステップと、第１サブネットワークＴ１および第２サブネットワークＴ２で構成される部分ニューラルネットワーク、ならびに、第１決定ステップで決定した重みデータＷ１を有する第１層Ｓ１および第１層Ｓ１の後段に位置する第２層Ｓ２を含む生徒ニューラルネットワークＳのそれぞれにデータセットを入力し、第２サブネットワークＴ２の出力である第２の教師側出力ｔｏ２と、第２層Ｓ２の出力である第２の生徒側出力ｓｏ２との誤差に基づく第２の誤差ｅ２が小さくなるように生徒ニューラルネットワークＳを学習させることで第２層Ｓ２の重みデータＷ２を決定する第２決定ステップと、を含む。

このように、入力側から順に生徒ニューラルネットワークＳのＮ層のそれぞれの重みデータを決定することで、学習済み生徒ニューラルネットワークＳＬを負荷の少ない処理でシンプルに生成することができる。

また、分解ステップにおいて、学習済み教師ニューラルネットワークＴＬを分解する際の分解位置を変えることで、第１サブネットワークＴ１および第２サブネットワークＴ２はそれぞれ複数のグループ分けパターンを有する。第１決定ステップは、複数のグループ分けパターンを有する第１サブネットワークＴ１と、生徒ニューラルネットワークＳの第１層Ｓ１とによる複数の組み合わせの中から、第１の誤差ｅ１が最も小さくなるときの第１サブネットワークＴ１と生徒ニューラルネットワークＳの第１層Ｓ１との組み合わせを選択し、選択後の生徒ニューラルネットワークＳの第１層Ｓ１に基づいて第１層Ｓ１の重みデータＷ１を決定する。第２決定ステップは、第１の誤差ｅ１が最も小さくなるときの第１サブネットワークＴ１および複数のグループ分けパターンを有する第２サブネットワークＴ２で構成される複数の部分ニューラルネットワークと、生徒ニューラルネットワークＳの第１層Ｓ１および第２層Ｓ２とによる組み合わせの中から、第２の誤差ｅ２が最も小さくなるときの部分ニューラルネットワークと生徒ニューラルネットワークＳの第１層Ｓ１および第２層Ｓ２との組み合わせを選択し、選択後の生徒ニューラルネットワークＳの第２層Ｓ２に基づいて第２層Ｓ２の重みデータＷ２を決定してもよい。

このように、複数の組み合わせの中から誤差が最も小さくなるときの組み合わせを選択することで、生徒ニューラルネットワークＳの各層の重みデータを精度よく求めることができる。

また、第１決定ステップにおいて、第１の教師側出力ｔｏ１および第１の生徒側出力ｓｏ１の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、第１の誤差ｅ１を求め、第２決定ステップにおいて、第２の教師側出力ｔｏ２および第２の生徒側出力ｓｏ２の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、第２の誤差ｅ２を求めてもよい。

また、分解ステップは、第２サブネットワークＴ２の後段に位置する第３サブネットワークＴ３を含む。ニューラルネットワーク生成方法は、さらに、第２決定ステップの後に実行される第３決定ステップを含む。第３決定ステップは、第１サブネットワークＴ１、第２サブネットワークＴ２および第３サブネットワークＴ３で構成される部分ニューラルネットワーク、ならびに、第１決定ステップで決定した重みデータＷ１を有する第１層Ｓ１、第２決定ステップで決定した重みデータＷ２を有する第２層Ｓ２および第２層Ｓ２の後段に位置する第３層Ｓ３を含む生徒ニューラルネットワークＳのそれぞれにデータセットを入力し、第３サブネットワークＴ３の出力である第３の教師側出力ｔｏ３と、生徒ニューラルネットワークＳの第３層Ｓ３の出力である第３の生徒側出力ｓｏ３との誤差に基づく第３の誤差ｅ３が小さくなるように生徒ニューラルネットワークＳを学習させることで第３層Ｓ３の重みデータＷ３を決定してもよい。

また、分解ステップにおいて、学習済み教師ニューラルネットワークＴＬを分解する際の分解位置を変えることで、第１サブネットワークＴ１および第２サブネットワークＴ２はそれぞれ複数のグループ分けパターンを有する。第１決定ステップは、複数のグループ分けパターンを有する第１サブネットワークＴ１と、生徒ニューラルネットワークＳの第１層Ｓ１とによる複数の組み合わせの中から、第１の誤差ｅ１が最も小さくなるときの第１サブネットワークＴ１と生徒ニューラルネットワークＳの第１層Ｓ１との組み合わせを選択し、選択後の生徒ニューラルネットワークＳの第１層Ｓ１に基づいて第１層Ｓ１の重みデータＷ１を決定する。第２決定ステップは、第１の誤差ｅ１が最も小さくなるときの第１サブネットワークＴ１および複数のグループ分けパターンを有する第２サブネットワークＴ２で構成される複数の部分ニューラルネットワークと、生徒ニューラルネットワークＳの第１層Ｓ１および第２層Ｓ２とによる組み合わせの中から、第２の誤差ｅ２が最も小さくなるときの当該部分ニューラルネットワークと生徒ニューラルネットワークＳの第１層Ｓ１および第２層Ｓ２との組み合わせを選択し、選択後の生徒ニューラルネットワークＳの第２層Ｓ２に基づいて第２層Ｓ２の重みデータＷ２を決定する。さらに、分解ステップにおいて、学習済み教師ニューラルネットワークＴＬを分解する際の分解位置を変えることで、第３サブネットワークＴ３が複数のグループ分けパターンを有する場合に、第３決定ステップは、第１の誤差ｅ１が最も小さくなるときの第１サブネットワークＴ１、第２の誤差ｅ２が最も小さくなるときの第２サブネットワークＴ２、および、複数のグループ分けパターンを有する第３サブネットワークＴ３で構成される複数の部分ニューラルネットワークと、生徒ニューラルネットワークＳの第１層Ｓ１、第２層Ｓ２および第３層Ｓ３とによる組み合わせの中から、第３の誤差ｅ３が最も小さくなるときの当該部分ニューラルネットワークと生徒ニューラルネットワークＳの第１層Ｓ１、第２層Ｓ２および第３層Ｓ３との組み合わせを選択し、選択後の生徒ニューラルネットワークＳの第３層Ｓ３に基づいて第３層Ｓ３の重みデータＷ３を決定してもよい。

また、第１決定ステップにおいて、第１の教師側出力ｔｏ１および第１の生徒側出力ｓｏ１の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、第１の誤差ｅ１を求め、第２決定ステップにおいて、第２の教師側出力ｔｏ２および第２の生徒側出力ｓｏ２の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、第２の誤差ｅ２を求め、第３決定ステップにおいて、第３の教師側出力ｔｏ３および第３の生徒側出力ｓｏ３の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、第３の誤差ｅ３を求めてもよい。

（その他の実施の形態）
以上、本開示に係るニューラルネットワーク生成方法について、各実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、各実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。

実施の形態１の変形例１および実施の形態２の変形例１では、ニューラルネットワークの挙動の敏感さに応じて、係数を決める例を示したが、その方法だけに限られない。例えば、畳み込みニューラルネットワークの入力側は入力に依らない特徴抽出が主体であるため、出力側に近くなるほど挙動が敏感になる。そこで、ニューラルネットワークの出力側に近くなるほど係数が大きくなるように設定してもよい（例えばｋ１≦ｋ２≦ｋ３）。

また、以下に示す形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。

（１）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

（２）また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

（３）また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（４）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本開示は、学習済み教師ニューラルネットワークを模倣して、学習済み生徒ニューラルネットワークを生成するニューラルネットワーク生成方法などに広く利用できる。

ｅ１、ｅ２、ｅ３誤差
ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６、ｐ７、ｐ８分解位置
Ｓ生徒ニューラルネットワーク
Ｓ１第１層
Ｓ２第２層
Ｓ３第３層
ＳＬ学習済み生徒ニューラルネットワーク
ｓｏ、ｓｏ１、ｓｏ２、ｓｏ３生徒側出力
Ｔ１第１サブネットワーク
Ｔ２第２サブネットワーク
Ｔ３第３サブネットワーク
ＴＬ学習済み教師ニューラルネットワーク
Ｔｒ参照用教師ニューラルネットワーク
ｔｏ、ｔｏ１，ｔｏ２、ｔｏ３教師側出力
ｖ評価値
Ｗ１、Ｗ２、Ｗ３重みデータ

Claims

コンピュータによって実行されるニューラルネットワーク生成方法であって、
Ｍ層（Ｍは３以上の整数）によって構成される学習済み教師ニューラルネットワーク、および、Ｍ層より少ないＮ層（Ｎは２以上の整数）によって構成される生徒ニューラルネットワークを準備する準備ステップと、
前記学習済み教師ニューラルネットワークをＮ個のサブネットワークに分解する分解ステップと、
前記Ｎ個のサブネットワークに分解した前記学習済み教師ニューラルネットワーク、および、前記生徒ニューラルネットワークのそれぞれにデータセットを入力し、前記生徒ニューラルネットワークを学習させることで学習済み生徒ニューラルネットワークを生成する学習ステップと、
を含み、
前記分解ステップは、前記学習済み教師ニューラルネットワークを分解する際の分解位置を変える、複数のグループ分けパターンを有し、
前記学習ステップは、
（１）前記Ｎ個のサブネットワークごとの出力であるＮ個の教師側出力と、前記生徒ニューラルネットワークのＮ層の層ごとの出力であるＮ個の生徒側出力とを入力層から出力層へ向かって処理順に対応付け、
（２）複数のグループ分けパターンを有する前記学習済み教師ニューラルネットワークと、前記生徒ニューラルネットワークとによる複数の組み合わせの中から、対応付けたＮ個の前記教師側出力とＮ個の前記生徒側出力とのそれぞれの誤差に基づく評価値が最も小さくなるときの当該学習済み教師ニューラルネットワークと前記生徒ニューラルネットワークとの組み合わせを選択し、
（３）選択後の前記生徒ニューラルネットワークに基づいて当該生徒ニューラルネットワークのＮ層のそれぞれの重みデータを決定することで、前記学習済み生徒ニューラルネットワークを生成する
ニューラルネットワーク生成方法。
前記評価値は、Ｎ個の前記教師側出力とＮ個の前記生徒側出力とのそれぞれの前記誤差であるＮ個の誤差に対し、前記Ｎ個の誤差のそれぞれに対応する係数を乗じ、合算した値である
請求項１に記載のニューラルネットワーク生成方法。
さらに、
前記学習済み教師ニューラルネットワークのそれぞれの層に対応する重みデータにノイズを加えたノイズ付き重みデータを有する参照用教師ニューラルネットワークを準備するステップと、
前記参照用教師ニューラルネットワークをＮ個のサブネットワークに分解するステップと、
前記学習済み教師ニューラルネットワークおよび前記参照用教師ニューラルネットワークに基づいて、前記Ｎ個の誤差のそれぞれに対応する前記係数を導出するステップと、
を含み、
前記係数を導出するステップは、
前記学習済み教師ニューラルネットワークおよび前記参照用教師ニューラルネットワークのそれぞれに前記データセットを入力し、前記学習済み教師ニューラルネットワークおよび前記参照用教師ニューラルネットワークの対応する各層の出力間のロス値を用いて、Ｎ個の前記サブネットワークごとの前記ロス値の前記ノイズによる変動分の合計値を求め、前記合計値の大小関係に基づいて前記係数を導出する
請求項２に記載のニューラルネットワーク生成方法。
前記学習ステップにおいて、前記教師側出力および前記生徒側出力の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、前記誤差を求める
請求項１～３のいずれか１項に記載のニューラルネットワーク生成方法。
前記教師ニューラルネットワークは教師学習用データを用いて学習され、
前記データセットは、前記教師学習用データの一部によって構成される
請求項１～３のいずれか１項に記載のニューラルネットワーク生成方法。
さらに、
前記教師学習用データを用いて前記生徒ニューラルネットワークを学習させるステップを含む
請求項５に記載のニューラルネットワーク生成方法。
コンピュータによって実行されるニューラルネットワーク生成方法であって、
Ｍ層（Ｍは３以上の整数）によって構成される学習済み教師ニューラルネットワーク、および、Ｍ層より少ないＮ層（Ｎは２以上の整数）によって構成される生徒ニューラルネットワークを準備する準備ステップと、
前記学習済み教師ニューラルネットワークを、入力側から順に少なくとも第１サブネットワークと第２サブネットワークとを含むように分解する分解ステップと、
前記第１サブネットワークおよび前記生徒ニューラルネットワークのそれぞれにデータセットを入力し、前記第１サブネットワークの出力である第１の教師側出力と、前記生徒ニューラルネットワークの第１層の出力である第１の生徒側出力との誤差に基づく第１の誤差が小さくなるように前記生徒ニューラルネットワークを学習させることで前記第１層の重みデータを決定する第１決定ステップと、
前記第１サブネットワークおよび前記第２サブネットワークで構成される部分ニューラルネットワーク、ならびに、前記第１決定ステップで決定した重みデータを有する第１層および前記第１層の後段に位置する第２層を含む前記生徒ニューラルネットワークのそれぞれにデータセットを入力し、前記第２サブネットワークの出力である第２の教師側出力と、前記第２層の出力である第２の生徒側出力との誤差に基づく第２の誤差が小さくなるように前記生徒ニューラルネットワークを学習させることで前記第２層の重みデータを決定する第２決定ステップと、
を含み、
前記分解ステップにおいて、前記学習済み教師ニューラルネットワークを分解する際の分解位置を変えることで、前記第１サブネットワークおよび前記第２サブネットワークはそれぞれ複数のグループ分けパターンを有し、
前記第１決定ステップは、複数のグループ分けパターンを有する前記第１サブネットワークと、前記生徒ニューラルネットワークの第１層とによる複数の組み合わせの中から、前記第１の誤差が最も小さくなるときの前記第１サブネットワークと前記生徒ニューラルネットワークの第１層との組み合わせを選択し、選択後の前記生徒ニューラルネットワークの第１層に基づいて前記第１層の重みデータを決定し、
前記第２決定ステップは、前記第１の誤差が最も小さくなるときの前記第１サブネットワークおよび複数のグループ分けパターンを有する前記第２サブネットワークで構成される複数の部分ニューラルネットワークと、前記生徒ニューラルネットワークの第１層および第２層とによる組み合わせの中から、前記第２の誤差が最も小さくなるときの当該部分ニューラルネットワークと前記生徒ニューラルネットワークの第１層および第２層との組み合わせを選択し、選択後の前記生徒ニューラルネットワークの第２層に基づいて前記第２層の重みデータを決定する
ニューラルネットワーク生成方法。
前記第１決定ステップにおいて、前記第１の教師側出力および前記第１の生徒側出力の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、前記第１の誤差を求め、
前記第２決定ステップにおいて、前記第２の教師側出力および前記第２の生徒側出力の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、前記第２の誤差を求める
請求項７に記載のニューラルネットワーク生成方法。
前記分解ステップは、前記第２サブネットワークの後段に位置する第３サブネットワークを含み、
さらに、前記第２決定ステップの後に実行される第３決定ステップを含み、
前記第３決定ステップは、
前記第１サブネットワーク、前記第２サブネットワークおよび前記第３サブネットワークで構成される部分ニューラルネットワーク、ならびに、前記第１決定ステップで決定した前記重みデータを有する前記第１層、前記第２決定ステップで決定した前記重みデータを有する前記第２層および前記第２層の後段に位置する第３層を含む前記生徒ニューラルネットワークのそれぞれにデータセットを入力し、前記第３サブネットワークの出力である第３の教師側出力と、前記生徒ニューラルネットワークの第３層の出力である第３の生徒側出力との誤差に基づく第３の誤差が小さくなるように前記生徒ニューラルネットワークを学習させることで前記第３層の重みデータを決定する
請求項７に記載のニューラルネットワーク生成方法。
前記分解ステップにおいて、前記学習済み教師ニューラルネットワークを分解する際の分解位置を変えることで、前記第１サブネットワークおよび前記第２サブネットワークはそれぞれ複数のグループ分けパターンを有し、
前記第１決定ステップは、複数のグループ分けパターンを有する前記第１サブネットワークと、前記生徒ニューラルネットワークの第１層とによる複数の組み合わせの中から、前記第１の誤差が最も小さくなるときの前記第１サブネットワークと前記生徒ニューラルネットワークの第１層との組み合わせを選択し、選択後の前記生徒ニューラルネットワークの第１層に基づいて前記第１層の重みデータを決定し、
前記第２決定ステップは、前記第１の誤差が最も小さくなるときの前記第１サブネットワークおよび複数のグループ分けパターンを有する前記第２サブネットワークで構成される複数の部分ニューラルネットワークと、前記生徒ニューラルネットワークの第１層および第２層とによる組み合わせの中から、前記第２の誤差が最も小さくなるときの当該部分ニューラルネットワークと前記生徒ニューラルネットワークの第１層および第２層との組み合わせを選択し、選択後の前記生徒ニューラルネットワークの第２層に基づいて前記第２層の重みデータを決定し、
さらに、前記分解ステップにおいて、前記学習済み教師ニューラルネットワークを分解する際の分解位置を変えることで、前記第３サブネットワークが複数のグループ分けパターンを有する場合に、
前記第３決定ステップは、
前記第１の誤差が最も小さくなるときの前記第１サブネットワーク、第２の誤差が最も小さくなるときの第２サブネットワーク、および、複数のグループ分けパターンを有する前記第３サブネットワークで構成される複数の部分ニューラルネットワークと、前記生徒ニューラルネットワークの第１層、第２層および第３層とによる組み合わせの中から、前記第３の誤差が最も小さくなるときの当該部分ニューラルネットワークと前記生徒ニューラルネットワークの第１層、第２層および第３層との組み合わせを選択し、選択後の前記生徒ニューラルネットワークの第３層に基づいて前記第３層の重みデータを決定する
請求項９に記載のニューラルネットワーク生成方法。
前記第１決定ステップにおいて、前記第１の教師側出力および前記第１の生徒側出力の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、前記第１の誤差を求め、
前記第２決定ステップにおいて、前記第２の教師側出力および前記第２の生徒側出力の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、前記第２の誤差を求め、
前記第３決定ステップにおいて、前記第３の教師側出力および前記第３の生徒側出力の一方の特徴マップのサイズを他方の特徴マップのサイズに合わせて変換した後にロス計算を行い、前記第３の誤差を求める
請求項９または１０に記載のニューラルネットワーク生成方法。
前記教師ニューラルネットワークは教師学習用データを用いて学習され、
前記データセットは、前記教師学習用データの一部によって構成される
請求項７、９、１０のいずれか１項に記載のニューラルネットワーク生成方法。
さらに、
前記教師学習用データを用いて前記生徒ニューラルネットワークを学習させるステップを含む
請求項１２に記載のニューラルネットワーク生成方法。