JP7646497B2 - 学習装置および学習方法 - Google Patents

Description

本発明は、学習装置および学習方法に関する。

従来、ディープラーニング（深層学習）の学習手法の一つとして、知識蒸留（Knowledge Distillation）と呼ばれる手法が知られている（例えば特許文献１参照）。知識蒸留においては、パラメータ数の多い大規模な教師モデルを用いて、パラメータ数の少ない生徒モデルの訓練が行われる。知識蒸留により、モデルのサイズを小さくしつつ、モデルの性能の低下を抑制することができる。

国際公開第２０２０／１６１７９７号

知識蒸留を利用した学習手法において、教師モデルの推論誤差の大きさに関わらず一律に、教師モデルを用いた生徒モデルの訓練を行うと、教師モデルの推論誤差が大きい場合に、生徒モデルを誤って訓練する虞がある。すなわち、教師モデルの推論誤差を無視して生徒モデルの訓練を行うと、生徒モデルの性能を低下させる虞がある。

本発明は、上記の点に鑑み、知識蒸留を利用した深層学習において、生徒モデルを適切に訓練することができる技術を提供することを目的とする。

例示的な本発明の学習装置は、教師モデルを用いて生徒モデルを訓練する学習装置であって、前記教師モデルの推論結果の学習データに対する損失である第１損失を求める第１損失算出部と、前記生徒モデルの推論結果の学習データに対する損失である第２損失を求める第２損失算出部と、前記第１損失と前記第２損失とに基づいて前記教師モデルを用いた訓練とするか否かを判定する判定部と、を備える。

例示的な本発明の学習方法は、教師モデルを用いて生徒モデルを訓練する学習方法であって、前記教師モデルの推論結果の学習データに対する損失である第１損失と、前記生徒モデルの推論結果の学習データに対する損失である第２損失とに基づいて、前記教師モデルを用いた訓練とするか否かを判定する。

例示的な本発明によれば、知識蒸留を利用した深層学習において、生徒モデルを適切に訓練することができる。

学習装置のハードウェア構成を示すブロック図 学習装置が備えるプロセッサの機能構成を示すブロック図 学習装置における生徒モデルの訓練の流れを示すフローチャート

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

＜１．学習装置＞
図１は、本発明の実施形態に係る学習装置１０のハードウェア構成を示すブロック図である。学習装置１０は、機械学習用の学習装置であり、学習手法として知識蒸留を利用する。学習装置１０は、教師モデルを用いて生徒モデルを訓練する学習装置である。学習装置１０は、教師モデルを用いて生徒モデルを訓練する学習方法を実行する。詳細には、学習装置１０は、学習データおよび教師モデルを用いて生徒モデルに学習させる。

本実施形態においては、学習データは、学習装置１０に入力される。また、学習データは、正解ラベル付きの学習データである。学習装置１０は、教師モデル及び生徒モデルを有する。教師モデルは、パラメータ数の多い大規模なディープニューラルネットワークであり、既に学習済みのモデルである。生徒モデルは、教師モデルに比べてパラメータ数の少ない小規模のディープニューラルネットワークである。生徒モデルは、これから学習（訓練）を行わせるモデルである。

なお、本実施形態では、教師モデルおよび生徒モデルは、物体検出を行うモデルである。教師モデルは、生徒モデルよりも高性能である。例えば、教師モデルの物体検出率は、生徒モデルの物体検出率よりも高い。本実施形態によれば、物体検出処理を高速で行うことができる高性能の学習済みモデルを、知識蒸留を用いて生成することができる。

図１に示すように、学習装置１０は、プロセッサ１１と記憶部１２とを備える。記憶部１２は、教師モデルおよび生徒モデルを記憶する。教師モデルは、学習済みパラメータを含む。生徒モデルは、学習により更新されるパラメータを含む。プロセッサ１１は、記憶部１２に記憶されている教師モデルを用いた学習データに対する推論、および、生徒モデルを用いた学習データに対する推論を行う機能を発揮する。プロセッサ１１は、教師モデルの推論結果と、生徒モデルの訓練結果との誤差が小さくなるように、生徒モデルのパラメータを更新する機能を発揮する。なお、推論結果の代わりに、中間層の特徴マップが利用されてもよい。

図２は、本発明の実施形態に係る学習装置１０が備えるプロセッサ１１の機能構成を示すブロック図である。プロセッサ１１の機能は、記憶部１２に記憶されるプログラムにしたがった演算処理の実行により発揮される。図２に示すように、本実施形態のプロセッサ１１は、その機能として、抽出部１１０と、第１推論部１１１と、第２推論部１１２と、第１損失算出部１１３と、第２損失算出部１１４と、判定部１１５と、学習部１１６とを備える。換言すると、学習装置１０は、抽出部１１０と、第１推論部１１１と、第２推論部１１２と、第１損失算出部１１３と、第２損失算出部１１４と、判定部１１５と、学習部１１６とを備える。抽出部１１０は、予め準備された複数の、正解ラベル付きの学習データから所定数の学習データを抽出してミニバッチを生成する。

第１推論部１１１は、学習済みの教師モデルを利用して、入力された学習データに対する推論を行う。第１推論部１１１の機能は、プロセッサ１１によって記憶部１２に記憶される教師モデルが読み込まれることにより実現される。推論により、推論の最終的な結果である推論結果や、中間出力である特徴マップ等が得られる。本実施形態では、学習データは画像データであり、第１推論部１１１は、入力された画像データに対する物体検出を行う。第１推論部１１１の推論結果には、物体の種類および位置の特定が含まれる。物体の種類は、例えば、歩行者、自転車、自動車、信号機等である。位置の特定には、バウンディングボックスが利用される。

第２推論部１１２は、教師モデルによる訓練の対象である生徒モデルを利用して、入力された学習データに対する推論を行う。第２推論部１１２の機能は、プロセッサ１１によって記憶部１２に記憶されている生徒モデルが読み込まれることにより実現される。推論により、推論の最終的な結果である推論結果や、中間出力である特徴マップ等が得られる。なお、生徒モデルのパラメータは、学習により逐次更新される。本実施形態では、上述のように学習データは画像データであり、第２推論部１１２は、入力された画像データに対する物体検出を行う。第２推論部１１２の推論結果には、第１推論部１１１と同様に、物体の種類と位置の特定とが含まれる。

第１損失算出部１１３は、教師モデルの推論結果の学習データに対する損失である第１損失Ｌｏｓｓ_１を求める。第１損失Ｌｏｓｓ_１は、教師モデルの推論結果と、学習データの正解ラベルとの誤差（以下、推論誤差と表現することがある）である。本実施形態では、学習タスクは物体検出であり、第１損失Ｌｏｓｓ_１には、例えば、クラス分類損失とバウンディングボックス回帰損失とが含まれる。第１損失Ｌｏｓｓ_１は、例えば、以下の式（１）により求めることができる。すなわち、第１損失Ｌｏｓｓ_１は、式（１）の第１項から第５項の和により求めることができる。

なお、以下の式（１）は、物体検出アルゴリズムの一例であるＹＯＬＯを利用する場合を想定したものである。ＹＯＬＯでは、入力画像をＳ×Ｓのグリッドに区切り、グリッド毎に、ある一定のアスペクト比を持つＢ個の矩形領域の中心座標（ｘ、ｙ）、幅と高さのスケール（ｗ、ｈ）、および、矩形領域内に物体が存在する確率（Ｃ）を予測する。さらに、各矩形領域に何らかの物体が存在するとき、その物体がどのクラスに属するかを示す事後確率ｐ（ｃ）も予測する。ＹＯＬＯでは、矩形領域、物体の存在確率、クラスの事後確率の予測を、１つの損失関数に統合している。

添え字がない変数は予測値、添え字「truth」が付与された変数が正解を示す。λcoord、λnoobjは係数である。式（１）において、第１項および第２項は、矩形領域の中心座標と大きさに関する損失関数を示す。式（１）において、第３項および第４項は、存在確率に関する損失関数を示す。式（１）において、第５項はクラスの事後確率に関する損失関数を示す。

第２損失算出部１１４は、生徒モデルの推論結果の学習データに対する損失である第２損失Ｌｏｓｓ_２を求める。第２損失Ｌｏｓｓ_２は、生徒モデルの推論結果と、学習データの正解ラベルとの誤差（推論誤差）である。本実施形態では、学習タスクは物体検出であり、第２損失Ｌｏｓｓ_２には、例えば、クラス分類損失とバウンディングボックス回帰損失とが含まれる。第２損失Ｌｏｓｓ_２は、例えば、第１損失Ｌｏｓｓ_１と同様に式（１）を用いて求めることができる。すなわち、第２損失Ｌｏｓｓ_２は、式（１）の第１項から第５項の和により求めることができる。

判定部１１５は、第１損失Ｌｏｓｓ_１と第２損失Ｌｏｓｓ_２とに基づいて教師モデルを用いた訓練とするか否かを判定する。すなわち、本実施形態の学習方法によれば、教師モデルの推論結果の学習データに対する第１損失Ｌｏｓｓ_１と、生徒モデルの推論結果の学習データに対する第２損失Ｌｏｓｓ_２とに基づいて、教師モデルを用いた訓練とするか否かが判定される。このような構成とすれば、例えば教師モデルの推論誤差が生徒モデルの推論誤差よりも大きい場合等に、教師モデルを用いた生徒モデルの訓練を行わない構成にできる。すなわち、教師モデルの誤った知識を生徒モデルに蒸留することを抑制することができる。

詳細には、判定部１１５は、第１損失Ｌｏｓｓ_１が第２損失Ｌｏｓｓ_２よりも小さい場合に、教師モデルを用いた訓練とすると判定する。これによれば、生徒モデルよりも優れた教師モデルの知識を適切に生徒モデルに蒸留することができ、生徒モデルの性能（物体検出率等）を適切に向上させることができる。

また、判定部１１５は、第１損失Ｌｏｓｓ_１が第２損失Ｌｏｓｓ_２以上である場合には、教師モデルを用いた訓練としないと判定する。これにより、生徒モデルに教師モデルの誤った知識の蒸留を行うことを抑制することができる。

学習部１１６は、損失関数を用いて生徒モデルを学習する。学習部１１６は、損失関数により算出した損失が最小化するように生徒モデルを学習する。詳細には、学習部１１６は、誤差逆伝播法を用いて生徒モデルのパラメータの更新を行う。本実施形態では、学習部１１６は、判定部１１５の判定結果に応じて生徒モデルの学習の仕方を異ならせる。

学習部１１６は、教師モデルを用いた訓練とすると判定された場合に、第２損失Ｌｏｓｓ_２と、教師モデルに対する損失（蒸留損失）Ｌｄｓｔｌとを用いて生徒モデルの損失Ｌｏｓｓ_ｓを求める。学習部１１６は、求めた生徒モデルの損失Ｌｏｓｓ_ｓに基づき生徒モデルの学習を行う。このような構成とすると、生徒モデルより優れた性能を有する教師モデルと、学習データとの両方を用いて生徒モデルを学習することができ、生徒モデルを高性能の学習モデルとすることができる。

なお、蒸留損失Ｌｄｓｔｌは、教師モデルと生徒モデルとの間の、推論結果の誤差、或いは、中間層の特徴マップ（中間出力）の誤差である。本実施形態では、蒸留損失Ｌｄｓｔｌは、教師モデルの特徴マップと、生徒モデルの特徴マップとの間の誤差である。蒸留損失Ｌｄｓｔｌは、例えば、以下の式（２）で表されるＬ２損失であってよい。ただし、蒸留損失Ｌｄｓｔｌは、L２損失以外であってもよく、例えば、教師モデルと生徒モデルの出力の分布間の損失を表すＫＬダイバージェンス等であってもよい。

式（２）において、ｎはサンプル（データ）の数を示す。ｆ_ｘｉ ^ｓは、サンプルｘｉの生徒モデルの出力を示す。ｆ_ｘｉ ^ｔは、サンプルｘｉの教師モデルの出力を示す。

また、学習部１１６は、教師モデルを用いた訓練としないと判定された場合に、生徒モデルの損失Ｌｏｓｓ_ｓを第２損失Ｌｏｓｓ_２として生徒モデルの学習を行う。この場合、学習データのみを用いて生徒モデルを学習することになるが、誤った知識を蒸留する可能性がある教師モデルを除外して学習を行うことができるので、生徒モデルの性能が低下することを抑制できる。

＜２．学習方法＞
図３は、本発明の実施形態に係る学習装置１０における生徒モデルの訓練の流れを示すフローチャートである。なお、図３に示すフローチャートの開始前に、公知の手法により学習が行われた学習済みの教師モデルが作成されている。

ステップＳ１において、抽出部１１０は、予め準備された複数の正解ラベル付きの学習データから所定数のデータをサンプリング（抽出）してミニバッチを生成する。学習データは、例えば、複数の画像データを含む。学習データに含まれる複数の画像データのそれぞれは、正解ラベルを有する。所定数は、適宜決められる任意の数である。例えば、予め準備された学習データ（画像データ）の総数が１００００枚であるとした場合、所定数は１００枚等とされる。ステップＳ１の処理が完了すると、次のステップＳ２に処理が進められる。なお、ミニバッチは、学習装置１０とは別の装置で生成されてよい。すなわち、ミニバッチを構成するデータが学習装置１０に適宜入力される構成としてもよい。このような構成の場合には、学習装置１０は抽出部１１０を備えなくてよい。

ステップＳ２では、第１推論部１１１による推論が行われる。詳細には、記憶部１２から学習済みモデルである教師モデルのパラメータがプロセッサ１１に読み込まれて、ミニバッチに対して教師モデルを用いた推論が行われる。当該推論により、ミニバッチを構成する各学習データに対して、推論の最終的な結果である推論結果が得られる。ステップＳ２の処理が完了すると、次のステップＳ３に処理が進められる。

ステップＳ３では、第１損失算出部１１３が、ミニバッチを構成する各学習データについて、ステップＳ２で得られた推論結果と正解ラベルとを用いて第１損失Ｌｏｓｓ_１を算出する。第１損失Ｌｏｓｓ_１は、教師モデルの推論誤差である。第１損失Ｌｏｓｓ_１は、上述の式（１）により求めることができる。ステップＳ３の処理が完了すると、次のステップＳ４に処理が進められる。

ステップＳ４では、第２推論部１１２による推論が行われる。詳細には、記憶部１２から学習対象である生徒モデルのパラメータがプロセッサ１１に読み込まれて、ミニバッチに対して生徒モデルを用いた推論が行われる。当該推論により、ミニバッチを構成する各学習データに対して、推論の最終的な結果である推論結果が得られる。ステップＳ４の処理が完了すると、次のステップＳ５に処理が進められる。

ステップＳ５では、第２損失算出部１１４が、ミニバッチを構成する各学習データについて、ステップＳ４で得られた推論結果と正解ラベルとを用いて第２損失Ｌｏｓｓ_２を算出する。第２損失Ｌｏｓｓ_２は生徒モデルの推論誤差である。第２損失Ｌｏｓｓ_２は、上述の式（１）により求めることができる。ステップＳ５の処理が完了すると、次のステップＳ６に処理が進められる。

なお、本実施形態では、教師モデルを用いた推論および損失の算出が、生徒モデルを用いた推論および損失の算出よりも先に行われる構成としているが、これは例示にすぎない。例えば、生徒モデルを用いた推論および損失の算出が、教師モデルを用いた推論および損失の算出よりも先に行われる構成としてもよい。

ステップＳ６では、判定部１１５によって、第１損失Ｌｏｓｓ_１が第２損失Ｌｏｓｓ_２よりも小さいか否かが確認される。第１損失Ｌｏｓｓ_１が第２損失Ｌｏｓｓ_２よりも小さい場合（ステップＳ６でＹｅｓ）、次のステップＳ７に処理が進められる。一方、第１損失Ｌｏｓｓ_１が第２損失Ｌｏｓｓ_２以上である場合（ステップＳ６でＮｏ）、ステップＳ１１に処理が進められる。

ステップＳ７では、蒸留損失Ｌｄｓｔｌが算出される。蒸留損失Ｌｄｓｔｌは、上述の式（２）により求めることができる。教師モデルの推論誤差が生徒モデルの推論誤差よりも小さく、教師モデルの推論が信頼できるために、教師モデルを用いた知識の蒸留を行うために、蒸留損失Ｌｄｓｔｌが算出される。ステップＳ７の処理が完了すると、次のステップＳ８に処理が進められる。

ステップＳ８では、生徒モデルの損失Ｌｏｓｓ_ｓが、第２損失Ｌｏｓｓ_２と蒸留損失Ｌｄｓｔｌとを用いて得られる損失とされる。なお、生徒モデルの損失Ｌｏｓｓ_ｓは、詳細には、以下の式（３）で表される構成であってよい。
Ｌｏｓｓ_ｓ ＝ Ｌｏｓｓ_２ ＋ λ・Ｌｄｓｔｌ （３）
λは、第２損失Ｌｏｓｓ_２と蒸留損失Ｌｄｓｔｌとのバランスを調整する重み係数である。重み係数λは、任意に決定される定数である。ステップＳ８の処理が完了すると、次のステップＳ９に処理が進められる。

ステップＳ９では、学習部１１６が生徒モデルの損失Ｌｏｓｓ_ｓが最小化するように生徒モデルを学習する。詳細には、学習部１１６は、誤差逆伝播法を用いて生徒モデルのパラメータを更新する。ステップＳ９の処理が完了すると、次のステップＳ１０に処理が進められる。

ステップＳ１０では、所定の学習回数（Ｉｔｅｒａｔｉｏｎ）が実行されたか否かを確認する。所定の学習回数は、学習データの数等に応じて予め設定される。所定の学習回数が完了した場合（ステップＳ１０でＹｅｓ）、図３に示す生徒モデルの訓練（学習）が完了する。これにより、生徒モデルの学習を完了して学習済みモデルの完成としてもよいが、図３に示す学習処理を所定の回数（ｅｐｏｃｈ数）繰り返して学習を完了する（学習済みモデルを完成する）構成としてもよい。

ステップＳ１１では、、生徒モデルの損失Ｌｏｓｓ_ｓが、第２損失Ｌｏｓｓ_２とされる。これは、教師モデルの推論誤差が生徒モデルの推論誤差以上であり、教師モデルの推論が信頼できないために、教師モデルを用いた知識の蒸留を行わない趣旨である。生徒モデルは、正解ラベル付きの学習データのみを用いて学習される。すなわち、教師モデルを用いた訓練が行われない。ステップＳ１１の処理が完了すると、上述のステップＳ９に処理が進められる。これにより、第２損失Ｌｏｓｓ_２（＝Ｌｏｓｓ_ｓ）が最小化するように、誤差逆伝播法を用いて生徒モデルの学習が行われる。

図３に示す学習手法によれば、教師モデルの推論が信頼できる場合に限って教師モデルの知識を生徒モデルに蒸留する構成であるために、教師モデルの知識を生徒モデルに適切に蒸留することができ、生徒モデルの性能の向上を図ることができる。図３に示す学習手法を用いた学習済みの生徒モデルは、教師モデルに比べてパラメータの数が少なく、高性能の処理を迅速に行うことができる。

＜３．留意事項等＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で適宜組み合わせて実施されてよい。

１０・・・学習装置
１１３・・・第１損失算出部
１１４・・・第２損失算出部
１１５・・・判定部
１１６・・・学習部

Claims (6)

1. 教師モデルを用いて生徒モデルを訓練する学習装置であって、プロセッサを備え、
   前記プロセッサは、
   前記教師モデルの推論結果の学習データに対する損失である第１損失を求め、
   前記生徒モデルの推論結果の学習データに対する損失である第２損失を求め、
   前記第１損失と前記第２損失とに基づいて前記教師モデルを用いた訓練とするか否かを判定し、
   前記第１損失が前記第２損失よりも小さい場合に、前記教師モデルを用いた訓練とする、学習装置。
2. 前記プロセッサは、前記教師モデルを用いた訓練とすると判定された場合に、前記第２損失と、前記教師モデルに対する損失とを用いて前記生徒モデルの損失を求め、求めた前記損失に基づき前記生徒モデルの学習を行う、請求項１に記載の学習装置。
3. 前記プロセッサは、前記教師モデルを用いた訓練としないと判定された場合に、前記生徒モデルの損失を前記第２損失として前記生徒モデルの学習を行う、請求項２に記載の学習装置。
4. 前記教師モデルおよび前記生徒モデルは、物体検出を行うモデルである、請求項１から３のいずれか１項に記載の学習装置。
5. 教師モデルを用いて生徒モデルを訓練する学習方法であって、
   前記教師モデルの推論結果の学習データに対する損失である第１損失と、前記生徒モデルの推論結果の学習データに対する損失である第２損失とに基づいて、前記教師モデルを用いた訓練とするか否かを判定し、
   前記第１損失が前記第２損失よりも小さい場合に、前記教師モデルを用いた訓練とする、学習方法。
6. 教師モデルを用いて生徒モデルを訓練する学習方法をコンピュータに実行させるプログラムであって、
   前記コンピュータを、
   前記教師モデルの推論結果の学習データに対する損失である第１損失を求めることと、
   前記生徒モデルの推論結果の学習データに対する損失である第２損失を求めることと、
   前記第１損失と前記第２損失とに基づいて前記教師モデルを用いた訓練とするか否かを判定することと、
   前記第１損失が前記第２損失よりも小さい場合に、前記教師モデルを用いた訓練とすることと、
   を実行する手段として機能させる、プログラム。

Images