JP7610602B2

JP7610602B2 - 情報処理方法、及び、情報処理システム

Info

Publication number: JP7610602B2
Application number: JP2022534936A
Authority: JP
Inventors: 智行奥野; 洋平中田; 育規石井
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2020-07-06
Filing date: 2021-05-24
Publication date: 2025-01-08
Anticipated expiration: 2041-05-24
Also published as: US20230344972A1; CN115769230A; EP4177796A1; JPWO2022009541A1; EP4177796A4; WO2022009541A1

Description

本開示は、情報処理方法、及び、情報処理システムに関する。

システムの計算リソース及び性能仕様に基づいて機械学習処理のための設定を変更する技術がある（例えば、特許文献１参照）。これにより、計算リソース及び性能仕様が制約されても推論性能がある程度維持される。

また、入力データが異なる２つの推論モデルの間に生じる推論性能の差異を入力データの射影空間上の距離に基づいて小さくする技術がある（例えば、非特許文献１参照）。これにより、入力データが異なっていても推論性能の差異をある程度小さくすることができる。

ここで、推論性能は正解データに対する推論結果の精度又は正確度であり、例えば入力データ全体に対する推論結果の正答率である。

米国特許出願公開第２０１６／０３２８６４４号明細書

ＥｒｉｃＴｚｅｎｇ，ＪｕｄｙＨｏｆｆｍａｎ，ＮｉｎｇＺｈａｎｇ，ＫａｔｅＳａｅｎｋｏ，ａｎｄＴｒｅｖｏｒＤａｒｒｅｌｌ， "Ｄｅｅｐｄｏｍａｉｎｃｏｎｆｕｓｉｏｎ：Ｍａｘｉｍｉｚｉｎｇｆｏｒｄｏｍａｉｎｉｎｖａｒｉａｎｃｅ"，ａｒＸｉｖ：１４１２．３４７４

しかしながら、上記特許文献１で開示される技術では、推論性能は維持されても、設定変更前の機械学習処理により得られる推論モデルによる推論結果と、設定変更後の機械学習処理により得られる推論モデルの推論結果とが異なることがあるという課題がある。

また、上記非特許文献１で開示される技術では、入力データの組み合わせによっては、入力データの射影空間上の距離が小さくなり、機械学習処理による訓練が進行しなくなることがあるという課題がある。

本開示は、上記従来の課題を解決するもので、入力データの組み合わせによらず、２つの推論モデルの間に生じる推論結果の差異を小さくする情報処理方法等を提供することを目的とする。

本開示の一態様に係る情報処理方法は、プロセッサが実行する情報処理方法であって、第１データを第１推論モデルに入力して、第１特徴情報を取得し、前記第１データを第２推論モデルに入力して、第２特徴情報を取得し、前記第１特徴情報に変換処理を行って、第１変換結果を取得し、前記第２特徴情報に前記変換処理を行って、第２変換結果を取得し、前記第１変換結果に射影処理を行って、第１射影結果を取得し、前記第２変換結果に前記射影処理を行って、第２射影結果を取得し、前記第１射影結果と、前記第２射影結果との誤差を示す第１誤差を取得し、前記第１誤差を小さくするように、前記第２推論モデルを機械学習により訓練し、前記変換処理は、前記第１射影結果と前記第２射影結果との誤差が、前記第１特徴情報に前記射影処理を行って取得される第１非変換射影結果と前記第２特徴情報に前記射影処理を行って取得される第２非変換射影結果との誤差よりも大きくなる処理である。

本開示の一態様に係る情報処理方法は、プロセッサが実行する情報処理方法であって、第１データを第１推論モデルに入力して、第１特徴情報を取得し、前記第１データを第２推論モデルに入力して、第２特徴情報を取得し、前記第１特徴情報に変換処理を行って、第１変換結果を取得し、前記第２特徴情報に前記変換処理を行って、第２変換結果を取得し、前記第１変換結果に射影処理を行って、第１射影結果を取得し、前記第２変換結果に前記射影処理を行って、第２射影結果を取得し、前記第１射影結果と、前記第２射影結果との誤差を示す第１誤差を取得し、前記第１誤差を小さくするように、第３推論モデルを機械学習により訓練し、前記変換処理は、前記第１射影結果と前記第２射影結果との誤差が、前記第１特徴情報に前記射影処理を行って取得される第１非変換射影結果と前記第２特徴情報に前記射影処理を行って取得される第２非変換射影結果との誤差よりも大きくなるような処理であり、訓練された前記第３推論モデルを変換するモデル変換処理を行って、前記第２推論モデルを更新する。

本開示の一態様に係る情報処理システムは、第２データを取得する取得部と、前記取得部が取得した前記第２データを第２推論モデルに入力し、第２推論結果を取得して出力する推論部とを備え、前記第２推論モデルは、プロセッサが実行する情報処理方法であって、第１データを第１推論モデルに入力して、第１特徴情報を取得し、前記第１データを前記第２推論モデルに入力して、第２特徴情報を取得し、前記第１特徴情報に変換処理を行って、第１変換結果を取得し、前記第２特徴情報に前記変換処理を行って、第２変換結果を取得し、前記第１変換結果に射影処理を行って、第１射影結果を取得し、前記第２変換結果に前記射影処理を行って、第２射影結果を取得し、前記第１射影結果と、前記第２射影結果との誤差を示す第１誤差を取得し、前記第１誤差を小さくするように、前記第２推論モデルを機械学習により訓練し、前記変換処理は、前記第１射影結果と前記第２射影結果との誤差が、前記第１特徴情報に前記射影処理を行って取得される第１非変換射影結果と前記第２特徴情報に前記射影処理を行って取得される第２非変換射影結果との誤差よりも大きくなる処理である、前記情報処理方法を実行することにより得られたモデルである。

本開示の一態様に係る情報処理システムは、第２データを取得する取得部と、前記取得部が取得した前記第２データを第２推論モデルに入力し、第２推論結果を取得して出力する推論部とを備え、前記第２推論モデルは、プロセッサが実行する情報処理方法であって、第１データを第１推論モデルに入力して、第１特徴情報を取得し、前記第１データを前記第２推論モデルに入力して、第２特徴情報を取得し、前記第１特徴情報に変換処理を行って、第１変換結果を取得し、前記第２特徴情報に前記変換処理を行って、第２変換結果を取得し、前記第１変換結果に射影処理を行って、第１射影結果を取得し、前記第２変換結果に前記射影処理を行って、第２射影結果を取得し、前記第１射影結果と、前記第２射影結果との誤差を示す第１誤差を取得し、前記第１誤差を小さくするように、第３推論モデルを機械学習により訓練し、前記変換処理は、前記第１射影結果と前記第２射影結果との誤差が、前記第１特徴情報に前記射影処理を行って取得される第１非変換射影結果と前記第２特徴情報に前記射影処理を行って取得される第２非変換射影結果との誤差よりも大きくなる処理であり、訓練された前記第３推論モデルを変換するモデル変換処理によって、前記第２推論モデルを更新する、前記情報処理方法を実行することにより得られたモデルである。

本開示の一態様に係る情報処理方法等によれば、入力データの組み合わせによらず、２つの推論モデルの間に生じる推論結果の差異を小さくすることができる。

図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。図２は、実施の形態１に係る情報処理システムにおける第２推論部における訓練を示す説明図である。図３は、実施の形態１に係る情報処理システムが実行する処理を示すフロー図である。図４は、実施の形態１に係る推論システムの機能構成を示すブロック図である。図５は、実施の形態１に係る推論システムが実行する処理を示すフロー図である。図６は、実施の形態２に係る情報処理システムの機能構成を示すブロック図である。図７は、実施の形態２に係る情報処理システムにおける第２推論部における訓練を示す説明図である。図８は、実施の形態２に係る情報処理システムが実行する処理を示すフロー図である。図９は、実施の形態３に係る情報処理システムの機能構成を示すブロック図である。図１０は、実施の形態３に係る情報処理システムにおける第２推論部における訓練を示す説明図である。図１１は、実施の形態３に係る情報処理システムが実行する処理を示すフロー図である。図１２は、実施の形態４に係る情報処理システムの機能構成を示すブロック図である。図１３は、実施の形態４に係る情報処理システムにおける射影処理の変更を示す説明図である。図１４は、実施の形態４に係る情報処理システムにおける第２推論部における訓練を示す説明図である。図１５は、実施の形態４に係る情報処理システムが実行する処理を示すフロー図である。図１６は、実施の形態４に係る情報処理システムが実行する処理のうち、射影処理の変更処理を示すフロー図である。図１７は、実施の形態５に係る情報処理システムの機能構成を示すブロック図である。図１８は、実施の形態５に係る情報処理システムにおける変換処理の変更を示す説明図である。図１９は、実施の形態５に係る情報処理システムにおける第２推論部における訓練を示す説明図である。図２０は、実施の形態５に係る情報処理システムが実行する処理を示すフロー図である。図２１は、実施の形態５に係る情報処理システムが実行する処理のうち、変換処理の変更処理を示すフロー図である。図２２は、実施の形態６に係る情報処理システムの機能構成を示すブロック図である。図２３は、実施の形態６に係る情報処理システムにおける変換処理と射影処理との組み合わせの変更を示す説明図である。図２４は、実施の形態６に係る情報処理システムにおける第２推論部における訓練を示す説明図である。図２５は、実施の形態６に係る情報処理システムが実行する処理を示すフロー図である。図２６は、実施の形態６に係る情報処理システムが実行する処理のうち、変換処理と射影処理との組み合わせの変更を示すフロー図である。図２７は、変形例に係る情報処理システムが実行する処理を示すフロー図である。

（本開示の一態様を得るに至った経緯）
近年、ＩｏＴ機器にＤｅｅｐＬｅａｒｎｉｎｇ等の機械学習で訓練された推論モデルを組み込むことが検討されている。しかし、このような推論モデルは、コスト及びプライバシーの観点から、クラウドコンピューティング環境又はＧＰＵ（ＧｒａｐｈｉｃａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を用いた環境ではなく、演算能力及びメモリ容量などの計算リソースが限られた機器上のプロセッサで動作することが求められる。このような計算リソースが限られたプロセッサ上で推論を行うために、推論モデルを量子化する等の手法を用いて推論モデルを軽量化することが考えられる。

例えば、特許文献１で開示される技術は、システムの計算リソース及び性能仕様に基づいて機械学習処理のための設定を変更する。これにより、計算リソース及び性能仕様が制約されても推論性能がある程度維持される。ここで、推論性能は正解データに対する推論結果の精度又は正確度であり、例えば入力データ全体に対する推論結果の正答率である。なお、１つの入力データに複数の推論対象がある場合には、推論性能は１つの入力データにおける複数の推論対象全体に対する推論結果の正答率であってもよい。

しかし、推論性能が維持されても、軽量化前の推論モデルの振る舞いと、軽量化後の推論モデルの振る舞いとの間に差異が生じることがある。言い換えると、軽量化前の推論モデルの推論結果と、軽量化後の推論モデルの推論結果との間に差異が生じることがある。

これに対し、非特許文献１で開示される技術は、入力データが異なる２つの推論モデルの間に生じる推論性能の差異を入力データの射影空間上の距離に基づいて小さくする。これにより、入力データが異なっていても推論性能の差異をある程度小さくすることができる。

しかし、入力データの組み合わせによっては、入力データに基づき２つの推論モデルが出力する推論結果の間の射影空間上の距離が小さくなり、機械学習処理による訓練が進行しなくなることがある。例えば、入力データが同一又は類似である場合、出力される推論結果の間の射影空間上の距離が小さくなり、訓練の進行が困難となることがある。

発明者らは、このような問題に鑑みて、鋭意検討、実験を繰り返した。その結果発明者らは、入力データの組み合わせによらず、２つの推論モデルの間に生じる推論結果の差異を小さくすることができる、下記本開示の一態様に係る情報処理方法等に想到した。

上記態様によれば、上記情報処理方法は、第１射影結果と第２射影結果との誤差が第１非変換射影結果と第２非変換射影結果との誤差よりも大きくなるように第１特徴情報及び第２特徴情報に変換処理を行う。その結果、第１非変換射影結果と第２非変換射影結果との誤差を機械学習処理による訓練に用いる場合よりも訓練を進行しやすくすることができる。また、上記情報処理方法は、第１射影結果と第２射影結果との誤差が小さくなるように第２推論モデルを訓練する。その結果、第２推論モデルは、第１推論モデルと同じ推論結果を出力するように訓練される。つまり、上記情報処理方法は、第１推論モデルと第２推論モデルとの間に生じる推論結果の差異を小さくすることができる。具体的には、第１推論モデルを手本として新たな第２推論モデルを得る場合に生じ得る推論結果の差異を小さくすることができる。このように、上記情報処理方法は、推論モデルを手本として新たな推論モデルを得る場合に生じ得る推論結果の差異を小さくすることができる。したがって、上記情報処理方法は、入力データの組み合わせによらず、２つの推論モデルの間に生じる推論結果の差異を小さくすることができる。

また、さらに、前記第２推論モデルの訓練では、前記第１データを前記第１推論モデルに入力してさらに取得される第１推論結果と、前記第１データを前記第２推論モデルに入力してさらに取得される第２推論結果との差分を示す第２誤差をさらに用いて前記第２推論モデルを機械学習により訓練するとしてもよい。

上記態様によれば、第１推論モデルから得られる第１データに対する推論結果（第１推論結果）と、第２推論モデルから得られる第１データに対する推論結果（第２推論結果）との誤差をさらに用いて第２推論モデルを訓練する。これにより、射影結果間の差異が小さくなるように訓練することに加え、第１推論モデルの推論結果と第２推論モデルの推論結果との差異が直接的に小さくなるように訓練するため、２つの推論モデルの間に生じる推論結果の差異をより一層小さくすることができる。

上記態様によれば、上記情報処理方法は、第１射影結果と第２射影結果との誤差が第１非変換射影結果と第２非変換射影結果との誤差よりも大きくなるように第１特徴情報及び第２特徴情報に変換処理を行う。その結果、第１非変換射影結果と第２非変換射影結果との誤差を機械学習処理による訓練に用いる場合よりも訓練を進行しやすくすることができる。また、上記情報処理方法は、第１射影結果と第２射影結果との誤差が小さくなるように第３推論モデルを訓練する。そして、訓練された第３推論モデルからモデル変換処理により第２推論モデルを得ることで、第２推論モデルを更新する。その結果、第２推論モデルは、第１推論モデルと同じ推論結果を出力するように間接的に訓練されるといえる。つまり、上記情報処理方法は、第１推論モデルと第２推論モデルとの間に生じる推論結果の差異を小さくすることができる。具体的には、第１推論モデルを手本として新たな第２推論モデルを得る場合に生じ得る推論結果の差異を小さくすることができる。このように、上記情報処理方法は、推論モデルを手本として新たな推論モデルを得る場合に生じ得る推論結果の差異を小さくすることができる。したがって、上記情報処理方法は、入力データの組み合わせによらず、２つの推論モデルの間に生じる推論結果の差異を小さくすることができる。

また、さらに、前記第３推論モデルの訓練では、前記第１データを前記第１推論モデルに入力してさらに取得される第１推論結果と前記第１データを前記第２推論モデルに入力してさらに取得される第２推論結果の差分を示す第２誤差をさらに用いて前記第３推論モデルを機械学習により訓練するとしてもよい。

上記態様によれば、第１推論モデルから得られる第１データに対する推論結果（第１推論結果）と、第２推論モデルから得られる第１データに対する推論結果（第２推論結果）との誤差をさらに用いて第３推論モデルを訓練する。そして、訓練された第３推論モデルからモデル変換処理により第２推論モデルを得ることで、第２推論モデルを更新する。これにより、射影結果間の差異が小さくなるように訓練することに加え、第１推論モデルの推論結果と第２推論モデルの推論結果との差異が直接的に小さくなるように訓練するため、２つの推論モデルの間に生じる推論結果の差異をより一層小さくすることができる。

また、さらに、前記第１誤差が大きくなるように前記射影処理を変更するとしてもよい。

上記態様によれば、第１射影結果と第２射影結果との誤差（第１誤差）が大きくなるように射影処理を変更する。これにより、射影処理の変更を行わない場合よりも機械学習処理による訓練をより一層進行しやすくすることができる。言い換えると、当該訓練が停滞することを抑制できる。

また、さらに、前記第１誤差が大きくなるように前記変換処理を変更するとしてもよい。

上記態様によれば、第１射影結果と第２射影結果との誤差（第１誤差）が大きくなるように変換処理を変更する。これにより、変換処理の変更を行わない場合よりも機械学習処理による訓練をより一層進行しやすくすることができる。言い換えると、当該訓練が停滞することを抑制できる。

また、さらに、前記第１誤差が大きくなるように前記変換処理と前記射影処理との組み合わせを変更するとしてもよい。

上記態様によれば、第１射影結果と第２射影結果との誤差（第１誤差）が大きくなるように変換処理と射影処理の組み合わせを変更する。これにより、変換処理又は射影処理の少なくとも一方が変更されない場合よりも機械学習処理による訓練をより一層進行しやすくすることができる。言い換えると、当該訓練が停滞することを抑制できる。

また、前記第１推論モデル、前記第２推論モデル、及び、前記第３推論モデルは、ニューラルネットワークモデルであり、前記モデル変換処理は、前記ニューラルネットワークモデルを軽量化する処理を含むとしてもよい。

上記態様によれば、第３推論モデルであるニューラルネットワークモデルを軽量化することで第２推論モデルを得る。よって、第１推論モデルを手本として、軽量化された新たな第２推論モデルを得る場合に生じ得る推論結果の差異を小さくすることができる。よって、上記情報処理方法は、推論モデルを手本として、軽量化された新たな推論モデルを得る場合に、上記２つの推論モデルの間に生じる差異を小さくすることができる。したがって、ＩｏＴ機器などの計算リソースが限られた環境においても、推論性能を維持しつつ第１推論モデルの振る舞いに近い第２推論モデルを適用することができる。

また、前記軽量化する処理は、前記ニューラルネットワークモデルを量子化する処理を含むとしてもよい。

上記態様によれば、第３推論モデルであるニューラルネットワークモデルを量子化することで第２推論モデルを得る。そのため、ネットワーク構造を変更することなくニューラルネットワークモデルを軽量化でき、軽量化前後の推論性能及び推論結果（振る舞い）の変動を抑制することができる。

また、前記量子化する処理は、前記ニューラルネットワークモデルの係数を浮動小数点形式から固定小数点形式へ変換する処理を含むとしてもよい。

上記態様によれば、第３推論モデルであるニューラルネットワークモデルの係数（重み）を浮動小数点形式から固定小数点形式に変換することで第２推論モデルを得る。そのため、推論性能及び推論結果（振る舞い）の変動を抑制しながら、一般的な組込み環境に適応させることができる。

また、前記軽量化する処理は、前記ニューラルネットワークモデルのノードを削減する処理、又は、前記ニューラルネットワークモデルのノードの接続を削減する処理を含むとしてもよい。

上記態様によれば、第３推論モデルであるニューラルネットワークモデルのノードの削減又はノードの接続の削減をすることで第２推論モデルを得る。そのため、ノード数及びノードの接続の削減は計算量の削減に直結するため、第２推論モデルを計算リソースの制約が厳しい環境に適応させることができる。

また、前記変換処理は、入力をスケール変換する処理を含むとしてもよい。

上記態様によれば、第１特徴情報及び第２特徴情報のスケールを変化させることで第１変換結果及び第２変換結果を得る。これにより、例えば、第１特徴情報と第２特徴情報とのスケールの差異を無くす又は減らすことができるため、第１特徴情報と第２特徴情報との差異を明確化することができる。言い換えると、差異を大きくすることができる。その結果、第１射影結果と第２射影結果との差異も明確化されるので、訓練をより一層進行しやすくすることができる。言い換えると、訓練が停滞することを抑制できる。別の観点では、第１特徴情報と第２特徴情報との分布の差異を明確化することができるともいえる。そして、これらの明確化された差異が機械学習処理による訓練により小さくなることにより、２つの推論モデルの間に生じる推論結果の差異をより一層小さくすることができる。

また、前記射影処理は、入力を内積空間へ射影する処理を含むとしてもよい。

上記態様によれば、第１変換結果及び第２変換結果を内積が定義された空間へ射影することで第１射影結果及び第２射影結果を得る。これにより、第１射影結果と第２射影結果とのノルムを定義することができ、例えば、第１射影結果と第２射影結果とのノルムを小さくするように第２推論モデルを訓練することができる。その結果、上記情報処理方法は、２つの推論モデルの間に生じる推論結果の差異を小さくすることができる。

また、前記射影処理は、入力の次元を削減する処理を含むとしてもよい。

上記態様によれば、第１変換結果及び第２変換結果の次元の削減をすることで第１射影結果及び第２射影結果を得る。これにより、例えば、第１変換結果と第２変換結果との差異を表す射影軸を選んだうえで、選ばれた射影軸以外の次元を削減する処理を行い、第１射影結果及び第２射影結果を得ることができる。その結果、上記情報処理方法は、第１射影結果と第２射影結果との誤差の算出にかかる時間をより一層短縮することができる。また、上記情報処理方法は、２つの推論モデルの間に生じる推論結果の差異を効率的に小さくすることができる。

また、前記次元を削減する処理は、主成分分析を含むとしてもよい。

上記態様によれば、第１変換結果及び第２変換結果に主成分分析を行い、次元を削減する処理を行うことで、第１射影結果及び第２射影結果を得る。これにより、特定の主成分以外の主成分が削減されるため、第１射影結果と第２射影結果との差異を明確化することができる。例えば、特定の主成分は、第１射影結果の分布と第２射影結果の分布との間の誤差（距離）が他の主成分に比べて大きくなりそうな主成分に設定されてよい。その結果、上記情報処理方法は、第１射影結果と第２射影結果との誤差の算出にかかる時間をより一層短縮することができる。また、２つの推論モデルの間に生じる推論結果の差異を効率的に小さくすることができる。

また、前記第１データは、画像データであるとしてもよい。

上記態様によれば、画像データに対する推論に用いる推論モデルを手本として新たな推論モデルを得る場合に、上記２つの推論モデルの間に生じる推論結果の差異を小さくすることができる。

上記態様によれば、上記情報処理システムは、既存の推論モデルを手本として、推論結果の差異を小さくするように生成された新たな推論モデルを用いて推論処理を実行し、推論結果を出力することができる。このように、既存の推論モデルの代わりに推論結果の差異が小さい当該新たな推論モデルを利用することができる。言い換えると、上記情報処理システムは、入力データの組み合わせによらず、２つの推論モデルの間に生じる推論結果の差異を小さくすることができる。

上記態様によれば、上記情報処理システムは、既存の推論モデルを手本として、推論結果の差異を小さくするように生成された新たな推論モデルを用いて推論処理を実行し、推論結果を出力することができる。言い換えると、上記情報処理システムは、入力データの組み合わせによらず、２つの推論モデルの間に生じる推論結果の差異を小さくすることができる。

なお、これらの包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下本開示の一態様に係る実施の形態について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
本実施の形態１において、入力データの組み合わせによらず、推論モデルを手本として新たな推論モデルを得る場合に生じ得る推論結果の差異を小さくする情報処理方法及び情報処理システムについて説明する。

図１は本実施の形態１に係る情報処理システム１０Ａの機能構成を示すブロック図である。情報処理システム１０Ａは、既存の推論モデルと同じ推論結果を出力するように訓練された新たな推論モデルを得るためのシステムである。

図１に示すように、情報処理システム１０Ａは、第１推論部１１Ａと、第２推論部１２Ａと、出力変換部１３Ａと、空間射影部１４Ａと、誤差算出部１５Ａと、訓練部１６Ａと、訓練制御部１７Ａとを備える。

情報処理システム１０Ａは、例えば、プロセッサ（例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ））とメモリとを備えるコンピュータ装置において、プロセッサがメモリに記憶されたプログラムを実行することにより実現される。また、情報処理システム１０Ａは、１つの装置において実現されてもよいし、互いに通信可能な複数の装置において実現されてもよい。

第１推論部１１Ａ及び第２推論部１２Ａは、入力されたデータ（入力データともいう）を、推論モデルを用いて推論する。推論モデルは、例えば、ニューラルネットワークモデルである。入力データは、例えば画像データである。以下では、入力データは画像データであるとして説明するが、入力データは、必ずしも画像データである例に限定される必要はない。入力データは、例えば、マイクロフォンから出力される音声データ、ＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）等のレーダから出力される点群データ、圧力センサから出力される圧力データ、温度センサ又は湿度センサから出力される温度データ又は湿度データ、又は、香りセンサから出力される香りデータなどのようなセンシングデータが用いられ得る。入力データは、第１データに相当する。

第１推論部１１Ａは、入力データを推論する推論モデルに用いられるニューラルネットワークとして、ネットワークＡを取得する。より具体的には、第１推論部１１Ａは、ネットワークＡに含まれる係数を取得する。ネットワークＡを用いた推論モデルが、「既存の推論モデル」に相当し、第１推論モデルともいう。

第１推論部１１Ａは、入力データを、ネットワークＡを用いた推論モデルに入力して得られた推論結果（第１推論結果ともいう）と、特徴情報（第１特徴情報ともいう）とを出力する。

第２推論部１２Ａは、入力データを推論する推論モデルに用いられるニューラルネットワークとして、ネットワークＢを取得する。より具体的には、第２推論部１２Ａは、ネットワークＢに含まれる係数を取得する。ネットワークＢを用いた推論モデルが、既存の推論モデルと同じ推論結果を出力するように訓練される新たな推論モデルに相当し、第２推論モデルともいう。なお、後述するように、ネットワークＢを用いた推論モデルは、訓練部１６Ａによって、ネットワークＡを用いた推論モデルと同じ推論結果を出力するように訓練される。

第２推論部１２Ａは、入力データを、ネットワークＢを用いた推論モデルに入力して得られた推論結果（第２推論結果ともいう）と、特徴情報（第２特徴情報ともいう）とを出力する。

ここで、推論結果は、入力データを推論した結果を示す情報であり、例えば画像データに映っている物もしくは状況、又は、それらの属性を示す情報を含む。また、推論結果は、入力データの特徴を示す情報である特徴量を含んでもよい。また、推論結果は、推論モデルの処理の中間データであってもよく、特徴量が中間データであってもよい。

ここでは、特徴量は、推論モデルの処理の中間データであるとして説明する、すなわち、特徴情報は、推論モデルの中間出力であるとして説明する。例えば、特徴情報は、入力データが画像データである場合、画像データの特徴を示す特徴マップである。なお、推論モデルは、特徴情報を最終出力とするモデルであってもよい。

出力変換部１３Ａは、第１推論部１１Ａ及び第２推論部１２Ａによる特徴情報を取得し、取得した特徴情報を、変換処理により変換する。より具体的には、出力変換部１３Ａは、第１推論部１１Ａから第１特徴情報を取得し、第２推論部１２Ａから第２特徴情報を取得する。そして、出力変換部１３Ａは、取得した第１特徴情報及び第２特徴情報を、変換処理を用いてそれぞれ変換して、入力された特徴情報についての変換結果を取得する。すなわち、出力変換部１３Ａは、第１特徴情報を変換処理で変換した結果である変換結果（第１変換結果ともいう）と、第２特徴情報を変換処理で変換した結果である変換結果（第２変換結果ともいう）とを出力する。

ここで、変換処理は、後述する空間射影部１４Ａにより行われる射影処理により、第１変換結果が射影された結果を示す射影結果（第１射影結果ともいう）と、第２変換結果が射影された結果を示す射影結果（第２射影結果ともいう）との誤差が、第１特徴情報が射影された結果を示す射影結果（第１非変換射影結果ともいう）と、第２特徴情報が射影された結果を示す射影結果（第２非変換射影結果ともいう）との誤差よりも大きくなる処理である。

空間射影部１４Ａは、出力変換部１３Ａによる変換結果を取得し、取得した変換結果を射影処理により射影する。より具体的には、空間射影部１４Ａは、出力変換部１３Ａから、第１変換結果と第２変換結果とを取得する。そして、空間射影部１４Ａは、出力変換部１３Ａから得た変換結果を、射影処理を用いてそれぞれ射影して、入力された変換結果についての射影結果を取得する。すなわち、空間射影部１４Ａは、第１変換結果を射影処理で射影した結果である射影結果（第１射影結果ともいう）と、第２変換結果を射影処理で射影した結果である射影結果（第２射影結果ともいう）とを出力する。

誤差算出部１５Ａは、空間射影部１４Ａによる射影結果を取得し、取得した射影結果間の誤差を算出する。より具体的には、誤差算出部１５Ａは、空間射影部１４Ａによる第１射影結果及び第２射影結果を取得する。そして、誤差算出部１５Ａは、取得した第１射影結果と第２射影結果との間の差分を示す誤差情報（第１誤差ともいう）を算出する。ここで、誤差情報は、誤差算出部１５Ａが保有している損失関数によって演算することで算出される。損失関数は、例えば射影結果間の射影空間上でのノルム（距離）であり、例えば、ノルムは射影結果の座標間の二乗和誤差を利用した関数で算出される。なお、誤差算出方法は、これに限られない。

訓練部１６Ａは、ネットワークＢを用いた推論モデルを機械学習により訓練する。訓練部１６Ａは、誤差算出部１５Ａが算出した第１誤差を取得し、第１誤差を小さくするように、ネットワークＢを用いた推論モデルを機械学習により訓練する。より具体的には、訓練部１６Ａは、誤差算出部１５Ａが保有している損失関数を参照し、第１誤差が小さくなるようにネットワークＢに含まれる係数を更新する。損失関数には、二乗和誤差によるノルムなどの周知技術が採用され得る。

訓練制御部１７Ａは、ニューラルネットワークを用いた推論モデルの訓練を制御する。より具体的には、訓練制御部１７Ａは、ネットワークＡと、訓練部１６Ａにより更新されたネットワークＢとの振る舞いの差異が要求性能に達しているかを判断し、判断結果に基づいてさらにネットワークＢを用いた推論モデルを訓練するかどうかを決定する。例えば、訓練制御部１７Ａは、第１推論部１１Ａが出力した第１推論結果と、訓練部１６Ａにより更新されたネットワークＢを取得した第２推論部１２Ａが出力した第２推論結果とを取得し、第１推論結果と第２推論結果との差異が許容される値よりも小さいかどうかを判断する。

例えば、訓練制御部１７Ａは、ネットワークＡとネットワークＢとの振る舞いの差異が要求性能に達していると判断した場合、ネットワークＢを用いた推論モデルの訓練を終了する。より具体的には、訓練制御部１７Ａは、第１推論結果と第２推論結果との差異が許容される値よりも小さい場合、訓練を終了する。

また、例えば、訓練制御部１７Ａは、ネットワークＡとネットワークＢとの振る舞いの差異が要求性能に達していないと判断した場合、ネットワークＢを用いた推論モデルの訓練を継続させる。この場合、例えば、訓練制御部１７Ａは、新たな入力データを第１推論部１１Ａ及び第２推論部１２Ａに入力させて、ネットワークＡと、新たなネットワークＢと、新たな入力とを用いて、第１推論部１１Ａ、第２推論部１２Ａ、出力変換部１３Ａ、空間射影部１４Ａ、誤差算出部１５Ａ、及び、訓練部１６Ａに上記処理を再度実行させることで、ネットワークＢを用いた推論モデルをさらに訓練する。

以下、情報処理システム１０ＡによるネットワークＢの更新の概要について説明する。

図２は、本実施の形態１に係る情報処理システム１０Ａにおける第２推論部１２Ａにおける訓練を示す説明図である。

第１推論部１１Ａは、入力データが入力されたとき、ネットワークＡを用いた推論モデルによって画像を推論する推論処理を実行し、中間出力である特徴情報を出力する。特徴情報は、例えば、ニューラルネットワークにおける中間特徴マップである。中間特徴マップは、画像データの特徴を示す特徴量を含む。以降でも同様とする。第１推論部１１Ａが出力した特徴情報は、出力変換部１３Ａに提供される。

第２推論部１２Ａは、入力データが入力されたとき、ネットワークＢを用いた推論モデルによって画像を推論する推論処理を実行し、中間出力である特徴情報を出力する。特徴情報は、第１推論部１１Ａが出力する特徴情報と同様の情報である。第２推論部１２Ａが出力した特徴情報は、出力変換部１３Ａに提供される。

出力変換部１３Ａは、第１推論部１１Ａ及び第２推論部１２Ａから提供された特徴情報に対して変換処理を行う。変換処理は、例えば、特徴情報が取る値の範囲を変更するスケール変換である。一例として、入力をｘ、スケール変換に用いられる係数をａとして、変換処理ｆは以下の（式１）で得られる線形スケール変換である。

ｆ（ｘ）＝ａ×ｘ（式１）

なお、変換処理はこれに限られない。この変換処理により、後の射影処理により得られる第１射影結果と第２射影結果との誤差Ｅ１が、変換処理を経ていない第１非変換射影結果と第２非変換射影結果との誤差Ｅ０よりも大きくなる。言い換えると、誤差Ｅ１が誤差Ｅ０よりも大きくなるような変換処理（例えば、線形スケール変換の係数）が設定される。

空間射影部１４Ａは、出力変換部１３Ａが出力した変換結果に対して射影処理を行う。射影処理は、例えば、入力の次元を削減する処理であり、例えば、主成分分析処理である。特定の主成分が選ばれ、選ばれた主成分以外の主成分が削減される。すなわち、ｎ次元の入力に上記処理を行ってｍ次元（ｎ＞ｍ）の射影結果を得る場合、空間射影部１４Ａは、入力ｘ＝（ｘ１、ｘ２、・・・、ｘｎ）を取得し、射影結果ｙ＝（ｙ１、ｙ２、・・・、ｙｍ）を出力する。なお、射影処理はこれに限られない。

誤差算出部１５Ａは、空間射影部１４Ａが出力した射影結果間の誤差を算出する。誤差は、例えば、射影結果間の射影空間上でのノルム（距離）であり、例えば、ノルムは射影結果の座標間の二乗和誤差を利用した関数で算出される。すなわち、空間射影部１４Ａによる射影結果として、第１射影結果ｙ１＝（ｙ１１、ｙ１２、・・・、ｙ１ｍ）と、第２射影結果ｙ２＝（ｙ２１、ｙ２２、・・・、ｙ２ｍ）とが出力された場合、誤差算出部１５Ａは、以下の（式２）で射影結果ｙ１と射影結果ｙ２間の二乗和誤差を算出する。なお、誤差算出方法はこれに限られない。

（ｙ１１－ｙ２１）^２＋（ｙ１２－ｙ２２）^２＋…＋（ｙ１ｍ－ｙ２ｍ）^２（式２）

訓練部１６Ａは、誤差算出部１５Ａによって算出される誤差を小さくするように、ネットワークＢに含まれる係数を調整する。このとき、訓練部１６Ａは、損失関数を参照し、係数の調整によって上記誤差が小さくなるように上記係数を調整する。このようにして、訓練部１６Ａは、ネットワークＢの係数を調整することによってネットワークＢを更新する。

以上のように構成された情報処理システム１０Ａが実行する処理について説明する。

図３は、本実施の形態１に係る情報処理システム１０Ａが実行する処理（情報処理方法ともいう）を示すフロー図である。

ステップＳ１０１において、第１推論部１１Ａは、ネットワークＡを用いた推論モデルに入力データを入力して、ネットワークＡによる第１特徴情報を取得する。

ステップＳ１０２において、第２推論部１２Ａは、ネットワークＢを用いた推論モデルに入力データを入力して、ネットワークＢによる第２特徴情報を取得する。

ステップＳ１０３において、出力変換部１３Ａは、ステップＳ１０１で第１推論部１１Ａが取得したネットワークＡによる第１特徴情報に、変換処理を行うことで第１変換結果を取得する。

ステップＳ１０４において、出力変換部１３Ａは、ステップＳ１０２で第２推論部１２Ａが取得したネットワークＢによる第２特徴情報に、変換処理を行うことで第２変換結果を取得する。

ステップＳ１０５において、空間射影部１４Ａは、ステップＳ１０３で出力変換部１３Ａが取得した第１変換結果に、射影処理を行うことで第１射影結果を取得する。

ステップＳ１０６において、空間射影部１４Ａは、ステップＳ１０４で出力変換部１３Ａが取得した第２変換結果に、射影処理を行うことで第２射影結果を取得する。

ステップＳ１０７において、誤差算出部１５Ａは、ステップＳ１０５で空間射影部１４Ａが取得した第１射影結果と、ステップＳ１０６で空間射影部１４Ａが取得した第２射影結果との誤差Ｅ１を算出する。

ステップＳ１０８において、訓練部１６Ａは、ステップＳ１０７で算出された誤差Ｅ１を用いて、誤差Ｅ１が小さくなるように、ネットワークＢの係数を更新する。

ステップＳ１０９において、訓練制御部１７Ａは、ネットワークＡと、訓練部１６Ａにより更新されたネットワークＢとの振る舞いの差異が予め決定された要求性能に達しているかを判断する。すなわち、訓練制御部１７Ａは、ネットワークＡを用いた推論モデルによる推論結果と、更新されたネットワークＢを用いた推論モデルによる推論結果との差異が許容される値よりも小さいかどうかを判断する。要求性能に達している場合、処理を終了する。要求性能に達していない場合、ステップＳ１０２の処理に戻り、以上と同様の一連の処理を繰り返す。

以上の一連の処理により、情報処理システム１０Ａは、第１射影結果と第２射影結果との誤差Ｅ１が第１非変換射影結果と第２非変換射影結果との誤差Ｅ０よりも大きくなるようにネットワークＡによる第１特徴情報及びネットワークＢによる第２特徴情報に変換処理を行う。その結果、誤差Ｅ０を機械学習処理による訓練に用いる場合よりも訓練を進行しやすくすることができる。また、上記情報処理システム１０Ａは、誤差Ｅ１が小さくなるようにネットワークＢを用いた推論モデルを訓練する。その結果、ネットワークＢを用いた推論モデルは、ネットワークＡを用いた推論モデルと同じ推論結果を出力するように訓練される。このように、情報処理システム１０Ａは、ネットワークＡを用いた推論モデルを手本として新たな推論モデルを得る場合に生じ得る推論結果の差異を小さくすることができる。したがって、入力データの組み合わせによらず、ネットワークＡを用いた推論モデルとネットワークＢを用いた推論モデルの間に生じる推論結果の差異を小さくすることができる。

次に、情報処理システム１０Ａによって得られたネットワークＢを用いた推論システム２０Ａについて説明する。推論システムを情報処理システムともいう。

図４は、本実施の形態１に係る推論システム２０Ａの機能構成を示すブロック図である。

図４に示すように、推論システム２０Ａは、取得部２１Ａと、第２推論部２２Ａとを備える。

推論システム２０Ａは、例えば、プロセッサ（例えば、ＣＰＵ）とメモリとを備えるコンピュータ装置において、プロセッサがメモリに記憶されたプログラムを実行することにより実現される。また、推論システム２０Ａは、１つの装置において実現されてもよいし、互いに通信可能な複数の装置において実現されてもよい。

取得部２１Ａは、入力されたデータ（入力データともいう）を取得する。入力データは、情報処理システム１０Ａに入力されるデータと同様に、例えば画像データである。以下では、入力データは画像データであるとして説明するが、入力データは、情報処理システム１０Ａの場合と同様に、必ずしも画像データである例に限定される必要はない。

取得部２１Ａは、取得した入力データを第２推論部２２Ａに提供する。入力データは、第２データに相当する。

第２推論部２２Ａは、取得部２１Ａが取得した入力データを推論モデル（第２推論モデルに相当）に入力し、推論結果を取得して出力する。第２推論部２２Ａが推論結果を得るために用いる推論モデルは、情報処理システム１０Ａによって訓練された、ネットワークＢを用いた推論モデルである。

図５は、本実施の形態１に係る推論システム２０Ａが実行する処理を示すフロー図である。

ステップＳ２０１において、取得部２１Ａは、入力データを取得する。

ステップＳ２０２において、第２推論部２２Ａは、取得部２１Ａが取得した入力データを推論モデルに入力し、ステップＳ２０３において、推論結果を取得して出力する。

このようにして、推論システム２０Ａは、既存の推論モデルを手本として、推論結果の差異を小さくするように生成された新たな推論モデルを用いて推論処理を実行し、推論結果を出力することができる。

以上のように、本実施の形態１に係る情報処理方法は、第１射影結果と第２射影結果との誤差が第１非変換射影結果と第２非変換射影結果との誤差よりも大きくなるように第１特徴情報及び第２特徴情報に変換処理を行う。その結果、第１非変換射影結果と第２非変換射影結果との誤差を機械学習処理による訓練に用いる場合よりも訓練を進行しやすくすることができる。また、上記情報処理方法は、第１射影結果と第２射影結果との誤差が小さくなるように第２推論モデルを訓練する。その結果、第２推論モデルは、第１推論モデルと同じ推論結果を出力するように訓練される。つまり、上記情報処理方法は、第１推論モデルと第２推論モデルとの間に生じる推論結果の差異を小さくすることができる。具体的には、第１推論モデルを手本として新たな第２推論モデルを得る場合に生じ得る推論結果の差異を小さくすることができる。このように、上記情報処理方法は、推論モデルを手本として新たな推論モデルを得る場合に生じ得る推論結果の差異を小さくすることができる。したがって、上記情報処理方法は、入力データの組み合わせによらず、２つの推論モデルの間に生じる推論結果の差異を小さくすることができる。

また、画像データに対する推論に用いる推論モデルを手本として新たな推論モデルを得る場合に、上記２つの推論モデルの間に生じる推論結果の差異を小さくすることができる。

また、情報処理システムは、既存の推論モデルを手本として、推論結果の差異を小さくするように生成された新たな推論モデルを用いて推論処理を実行し、推論結果を出力することができる。このように、既存の推論モデルの代わりに推論結果の差異が小さい当該新たな推論モデルを利用することができる。言い換えると、上記情報処理システムは、入力データの組み合わせによらず、２つの推論モデルの間に生じる推論結果の差異を小さくすることができる。

また、第１特徴情報及び第２特徴情報のスケールを変化させることで第１変換結果及び第２変換結果を得る。これにより、例えば、第１特徴情報と第２特徴情報とのスケールの差異を無くす又は減らすことができるため、第１特徴情報と第２特徴情報との差異を明確化することができる。言い換えると、差異を大きくすることができる。その結果、第１射影結果と第２射影結果との差異も明確化されるので、訓練をより一層進行しやすくすることができる。言い換えると、訓練が停滞することを抑制できる。別の観点では、第１特徴情報と第２特徴情報との分布の差異を明確化することができるともいえる。そして、これらの明確化された差異が機械学習処理による訓練により小さくなることにより、２つの推論モデルの間に生じる推論結果の差異をより一層小さくすることができる。

（実施の形態２）
本実施の形態２において、実施の形態１に係る情報処理方法及び情報処理システムとは異なる情報処理方法及び情報処理システムであって、入力データの組み合わせによらず、推論モデルを手本として新たな推論モデルを得る場合に生じ得る推論結果の差異を小さくする情報処理方法及び情報処理システムについて説明する。

以下、実施の形態１に係る情報処理システム１０Ａの一部が変更されて構成される実施の形態２に係る情報処理システムについて説明する。

以下では、実施の形態２に係る情報処理システムについて、実施の形態１に係る情報処理システム１０Ａの構成要素と同様の構成要素については、既に説明済みであるとして同じ符号を振ってその詳細な説明を省略し、情報処理システム１０Ａとの相違点を中心に説明する。

図６は、本実施の形態２に係る情報処理システム１０Ｂの機能構成を示すブロック図である。情報処理システム１０Ｂは、既存の推論モデルと同じ推論結果を出力するように訓練された新たな推論モデルを得るためのシステムである。

ここで、既存の推論モデルの形式と、新たな推論モデルの形式とは異なる。具体的には、例えば、既存の推論モデルを構成するネットワークの係数は、浮動小数点形式で表現されており、新たな推論モデルを構成するネットワークの係数は固定小数点形式で表現されている。この場合、例えば、情報処理システム１０Ｂは、浮動小数点形式で表現された既存の推論モデルを量子化することで、固定小数点形式で表現された新たなネットワークを得るためのシステムであるといえる。

図６に示すように、情報処理システム１０Ｂは、第１推論部１１Ａと、第２推論部１２Ｂと、出力変換部１３Ａと、空間射影部１４Ａと、誤差算出部１５Ａと、訓練部１６Ｂと、訓練制御部１７Ａと、変換部１８Ｂとを備える。

情報処理システム１０Ｂの構成要素のうち、第１推論部１１Ａと、出力変換部１３Ａと、空間射影部１４Ａと、誤差算出部１５Ａと、訓練制御部１７Ａとは、実施の形態１に係る情報処理システム１０Ａにおけるものと同様である。そのため、第２推論部１２Ｂと、訓練部１６Ｂと、変換部１８Ｂとについて、以下で詳細に説明する。

第２推論部１２Ｂは、実施の形態１に係る第２推論部１２Ａと同様に、入力データを、推論モデルを用いて推論する。

また、第２推論部１２Ｂは、実施の形態１に係る第２推論部１２Ａと同様に、入力データを推論する推論モデルに用いられるニューラルネットワークとして、ネットワークＢを取得する。より具体的には、第２推論部１２Ｂは、ネットワークＢに含まれる係数を取得する。ネットワークＢを用いた推論モデルが、既存の推論モデルと同じ推論結果を出力するように訓練される新たな推論モデルに相当し、第２推論モデルともいう。

なお、実施の形態１に係る第２推論部１２Ａと第２推論部１２Ｂとは、（Ａ）実施の形態１に係る第２推論部１２Ａは、ネットワーク変換を経ないネットワークを取得するのに対して、（Ｂ）第２推論部１２Ｂは、後述する変換部１８Ｂにより変換されたネットワークＢであって、既存の推論モデルに用いられるネットワークＡと異なる形式のネットワークＢを取得する点において相違する。

また、第２推論部１２Ｂは、実施の形態１に係る第２推論部１２Ａと同様に、入力データを、ネットワークＢを用いた推論モデルに入力して得られた推論結果（第２推論結果ともいう）と、特徴情報（第２特徴情報ともいう）とを出力する。

訓練部１６Ｂは、ネットワークＢ１を用いた推論モデル（第３推論モデルともいう）を機械学習により訓練する。ここで、ネットワークＢ１は、既存の推論モデルに用いられるネットワークＡと同じ形式のネットワークである。つまり、ネットワークＢ１は、ネットワークＢと異なる形式のネットワークである。訓練部１６Ｂは、誤差算出部１５Ａが算出した第１誤差を取得し、第１誤差を小さくするように、ネットワークＢ１を用いた推論モデルを機械学習により訓練する。より具体的には、訓練部１６Ｂは、誤差算出部１５Ａが保有している損失関数を参照し、第１誤差が小さくなるようにネットワークＢ１に含まれる係数を更新する。損失関数については、実施の形態１と同様である。

変換部１８Ｂは、ネットワークＢ１の係数に対してモデル変換処理を行うことでネットワークＢを得る。より具体的には、変換部１８Ｂは、訓練部１６Ｂによって訓練されたネットワークＢ１を取得し、ネットワークＢ１の係数に所定のモデル変換処理を施すことによってネットワークＢを得る。

なお、モデル変換処理は、例えば、ネットワークＢ１を軽量化する処理を含む。軽量化する処理は、例えばネットワークＢ１を量子化する処理を含む。例えば、ネットワークＢ１がニューラルネットワークモデルである場合、量子化する処理は、ニューラルネットワークモデルの係数を浮動小数点形式から固定小数点形式へ変換する処理を含んでもよい。また、軽量化する処理は、ニューラルネットワークモデルのノードを削減する処理、又は、ニューラルネットワークモデルのノードの接続を削減する処理を含んでもよい。

図７は、本実施の形態２に係る情報処理システム１０Ｂにおける第２推論部１２Ｂにおける訓練を示す説明図である。

入力データが第１推論部１１Ａに入力されてから、誤差算出部１５Ａによって誤差が算出されるまでの処理は、実施の形態１に係る情報処理システム１０Ａにおける訓練における処理と同様である。

誤差算出部１５Ａによって誤差が算出された後に、訓練部１６Ｂは、誤差算出部１５Ａによって算出される誤差を小さくするように、ネットワークＢ１に含まれる係数を調整する。このとき、訓練部１６Ｂは、損失関数を参照し、係数の調整によって上記誤差が小さくなるように上記係数を調整する。このようにして、訓練部１６Ｂは、ネットワークＢ１の係数を調整することによってネットワークＢ１を更新する。

変換部１８Ｂは、訓練部１６Ｂによって訓練されたネットワークＢ１を取得し、ネットワークＢ１の係数に対する変換処理を行うことで、新たなネットワークＢを得る。

以上のように構成された情報処理システム１０Ｂが実行する処理について説明する。

図８は、本実施の形態２に係る情報処理システム１０Ｂが実行する処理（情報処理方法ともいう）を示すフロー図である。

図８に示すステップＳ１０１～ステップＳ１０７及びステップＳ１０９に含まれる処理は、実施の形態１に係る情報処理システム１０Ａの処理と同様の処理である（図３等参照）。

ステップＳ１２１において、訓練部１６Ｂは、ステップＳ１０７で誤差算出部１５Ａが算出した誤差Ｅ１を用いて、誤差Ｅ１が小さくなるように、ネットワークＢ１の係数を更新する。

ステップＳ１２２において、変換部１８Ｂは、ステップＳ１２１で訓練部１６Ｂによって係数が更新されたネットワークＢ１を取得し、ネットワークＢ１の係数を変換することでネットワークＢを取得する。

ステップＳ１２３において、変換部１８Ｂは、ステップＳ１２２において取得したネットワークＢ１により、第２推論部１２Ｂに入力されるネットワークＢを更新する。

以上の一連の処理により、情報処理システム１０Ｂは、第１射影結果と第２射影結果との誤差が小さくなるようにネットワークＢ１を用いた推論モデルを訓練する。そして、訓練されたネットワークＢ１からモデル変換処理によりネットワークＢを得ることで、ネットワークＢを更新する。その結果、ネットワークＢを用いた推論モデルは、ネットワークＡを用いた推論モデルと同じ推論結果を出力するように訓練される。このように、情報処理システム１０Ｂは、ネットワークＡを用いた推論モデルを手本としてネットワークＢを用いた推論モデルを得る場合に生じ得る推論結果の差異を小さくすることができる。

以上のように、本実施の形態２に係る情報処理方法は、第１射影結果と第２射影結果との誤差が第１非変換射影結果と第２非変換射影結果との誤差よりも大きくなるように第１特徴情報及び第２特徴情報に変換処理を行う。その結果、第１非変換射影結果と第２非変換射影結果との誤差を機械学習処理による訓練に用いる場合よりも訓練を進行しやすくすることができる。また、上記情報処理方法は、第１射影結果と第２射影結果との誤差が小さくなるように第３推論モデルを訓練する。そして、訓練された第３推論モデルからモデル変換処理により第２推論モデルを得ることで、第２推論モデルを更新する。その結果、第２推論モデルは、第１推論モデルと同じ推論結果を出力するように間接的に訓練されるといえる。つまり、上記情報処理方法は、第１推論モデルと第２推論モデルとの間に生じる推論結果の差異を小さくすることができる。具体的には、第１推論モデルを手本として新たな第２推論モデルを得る場合に生じ得る推論結果の差異を小さくすることができる。このように、上記情報処理方法は、推論モデルを手本として新たな推論モデルを得る場合に生じ得る推論結果の差異を小さくすることができる。したがって、入力データの組み合わせによらず、２つの推論モデルの間に生じる推論結果の差異を小さくすることができる。

また、第３推論モデルであるニューラルネットワークモデルを軽量化することで第２推論モデルを得る。よって、第１推論モデルを手本として、軽量化された新たな第２推論モデルを得る場合に生じ得る推論結果の差異を小さくすることができる。よって、上記情報処理方法は、推論モデルを手本として、軽量化された新たな推論モデルを得る場合に、上記２つの推論モデルの間に生じる差異を小さくすることができる。したがって、ＩｏＴ機器などの計算リソースが限られた環境においても、推論性能を維持しつつ第１推論モデルの振る舞いに近い第２推論モデルを適用することができる。

また、第３推論モデルであるニューラルネットワークモデルを量子化することで第２推論モデルを得る。そのため、ネットワーク構造を変更することなくニューラルネットワークモデルを軽量化でき、軽量化前後の推論性能及び推論結果（振る舞い）の変動を抑制することができる。

また、第３推論モデルであるニューラルネットワークモデルの係数（重み）を浮動小数点形式から固定小数点形式に変換することで第２推論モデルを得る。そのため、推論性能及び推論結果（振る舞い）の変動を抑制しながら、一般的な組込み環境に適応させることができる。

また、第３推論モデルであるニューラルネットワークモデルのノードの削減又はノードの接続の削減をすることで第２推論モデルを得る。そのため、ノード数及びノードの接続の削減は計算量の削減に直結するため、第２推論モデルを計算リソースの制約が厳しい環境に適応させることができる。

また、本実施の形態２の構成で得られた推論モデルが、実施の形態１における推論システムで利用されてもよい。この場合、推論システムは、既存の推論モデルを手本として、推論結果の差異を小さくするように生成された新たな推論モデルを用いて推論処理を実行し、推論結果を出力することができる。

（実施の形態３）
本実施の形態３において、実施の形態１及び実施の形態２における情報処理方法及び情報処理システムとは異なる情報処理方法及び情報処理システムであって、入力データの組み合わせによらず、推論モデルを手本として新たな推論モデルを得る場合に生じ得る推論結果の差異を小さくする情報処理方法及び情報処理システムについて説明する。

以下、実施の形態１に係る情報処理システム１０Ａの一部が変更されて構成される実施の形態３に係る情報処理システムについて説明する。

以下では、実施の形態３に係る情報処理システムについて、実施の形態１に係る情報処理システム１０Ａの構成要素と同様の構成要素については、既に説明済みであるとして同じ符号を振ってその詳細な説明を省略し、情報処理システム１０Ａとの相違点を中心に説明する。

図９は、本実施の形態３に係る情報処理システム１０Ｃの機能構成を示すブロック図である。情報処理システム１０Ｃは、既存の推論モデルと同じ推論結果を出力するように訓練された新たな推論モデルを得るためのシステムである。

図９に示すように、情報処理システム１０Ｃは、第１推論部１１Ｃと、第２推論部１２Ｃと、出力変換部１３Ａと、空間射影部１４Ａと、誤差算出部１５Ａと、訓練部１６Ｃと、訓練制御部１７Ａと、第２誤差算出部１９Ｃとを備える。

情報処理システム１０Ｃの構成要素のうち、出力変換部１３Ａと、空間射影部１４Ａと、誤差算出部１５Ａと、訓練制御部１７Ａとは、実施の形態１に係る情報処理システム１０Ａにおけるものと同様である。そのため、第１推論部１１Ｃと、第２推論部１２Ｃと、訓練部１６Ｃと、第２誤差算出部１９Ｃとについて以下で詳細に説明する。

第１推論部１１Ｃは、実施の形態１に係る第１推論部１１Ａの機能と同様の機能に加えて、さらに以下の機能を有する。すなわち、第１推論部１１Ｃは、入力データを、ネットワークＡを用いた推論モデルに入力して得られた推論結果（第１推論結果ともいう）を第２誤差算出部１９Ｃへ提供する。

第２推論部１２Ｃは、実施の形態１に係る第２推論部１２Ａの機能と同様の機能に加えて、さらに以下の機能を有する。すなわち、第２推論部１２Ｃは、入力データを、ネットワークＢを用いた推論モデルに入力して得られた推論結果（第２推論結果ともいう）を第２誤差算出部１９Ｃへ提供する。

なお、ここでは、（１）第１推論部１１Ｃは、第１推論結果を第２誤差算出部１９Ｃに出力し、第１特徴情報を出力変換部１３Ａに出力するとして、及び、第２推論部１２Ｃは、第２推論結果を第２誤差算出部１９Ｃに出力し、第２特徴情報を出力変換部１３Ａに出力するとして説明するが、（２）第１推論部１１Ｃは、第１特徴情報を第２誤差算出部１９Ｃに出力し、第１推論結果を出力変換部１３Ａに出力するとして、及び、第２推論部１２Ｃは、第２特徴情報を第２誤差算出部１９Ｃに出力し、第２推論結果を出力変換部１３Ａに出力するとしてもよいし、（３）第１推論部１１Ｃは、第１推論結果を第２誤差算出部１９Ｃと出力変換部１３Ａとに出力するとして、及び、第２推論部１２Ｃは、第２推論結果を第２誤差算出部１９Ｃと出力変換部１３Ａとに出力するとしてもよいし、（４）第１推論部１１Ｃは、第１特徴情報を第２誤差算出部１９Ｃと出力変換部１３Ａとに出力するとし、及び、第２推論部１２Ｃは、第２特徴情報を第２誤差算出部１９Ｃと出力変換部１３Ａとに出力するとしてもよい。

なお、第１推論部１１Ｃと第２推論部１２Ｃとが、それぞれ、第１推論結果と第２推論結果とを出力変換部１３Ａに出力する場合には、出力変換部１３Ａは、第１推論結果と第２推論結果とを取得し、第１推論結果を変換処理で変換した結果である第１変換結果と、第２推論結果を変換処理で変換した結果である第２変換結果とを出力することとなる。

第２誤差算出部１９Ｃは、第１推論部１１Ｃ及び第２推論部１２Ｃが出力した推論結果間の誤差を算出する。すなわち、第２誤差算出部１９Ｃは、第１推論部１１Ｃが出力した第１推論結果と第２推論部１２Ｃが出力した第２推論結果との間の差分を示す誤差情報（第２誤差ともいう）を算出する。ここで、誤差情報は、第２誤差算出部１９Ｃが保有している損失関数によって演算することで算出される。損失関数は、実施の形態１に係る誤差算出部１５Ａにおけるものと同様であってよい。

なお、第１推論部１１Ｃと第２推論部１２Ｃとが、それぞれ、第１特徴情報と第２特徴情報とを第２誤差算出部１９Ｃに出力する場合には、第２誤差算出部１９Ｃは、第１特徴情報と第２特徴情報との間の差分を示す第２誤差を算出することとなる。

訓練部１６Ｃは、ネットワークＢを用いた推論モデルを機械学習により訓練する。訓練部１６Ｃは、誤差算出部１５Ａが算出した第１誤差と、第２誤差算出部１９Ｃが算出した第２誤差とを取得し、第１誤差及び第２誤差を小さくするように、ネットワークＢを用いた推論モデルを機械学習により訓練する。より具体的には、訓練部１６Ｃは、誤差算出部１５Ａと第２誤差算出部１９Ｃとが保有している損失関数を参照し、第１誤差及び第２誤差が小さくなるようにネットワークＢに含まれる係数を更新する。損失関数には、二乗和誤差によるノルムなどの周知技術が採用され得る。

図１０は、本実施の形態３に係る情報処理システム１０Ｃにおける第２推論部１２Ｃにおける訓練を示す説明図である。

入力データが第１推論部１１Ｃに入力されてから、誤差算出部１５Ａによって誤差が算出されるまでの処理は、実施の形態１に係る情報処理システム１０Ａにおける訓練における処理と同様である。

また、第１推論部１１Ｃは、入力データが入力されたとき、ネットワークＡを用いた推論モデルによって画像を推論する推論処理を実行し、推論結果を出力する。推論結果は、例えば「犬：７０％、猫：３０％」という情報である。上記推論結果は、入力画像に映っている被写体が犬である確率が７０％であり、被写体が猫である確率が３０％であることを意味する。以降でも同様とする。第１推論部１１Ｃが出力した推論結果は、第２誤差算出部１９Ｃに提供される。

また、第２推論部１２Ｃは、入力データが入力されたとき、ネットワークＢを用いた推論モデルによって画像を推論する推論処理を実行し、推論結果を出力する。推論結果は、第１推論部１１Ｃが出力する推論結果と同様の情報である。第２推論部１２Ｃが出力した推論結果は、第２誤差算出部１９Ｃに提供される。

第２誤差算出部１９Ｃは、第１推論部１１Ｃ及び第２推論部１２Ｃが出力した推論結果間の誤差を算出する。具体的には、第２誤差算出部１９Ｃは、ネットワークＡを用いた推論モデルでの推論結果として「犬：７０％、猫：３０％」という情報と、ネットワークＢを用いた推論モデルでの推論結果として「犬：６０％、猫：４０％」という情報とが得られた場合、推論結果における犬に係る確率の差（０．７－０．６）の二乗である０．０１と、推論結果における猫に係る確率の差（０．３－０．４）の二乗である０．０１との和である０．０２から算出される誤差を得る。

訓練部１６Ｃは、誤差算出部１５Ａ及び第２誤差算出部１９Ｃによって算出される誤差を小さくするように、ネットワークＢに含まれる係数を調整する。このとき、訓練部１６Ｃは、損失関数を参照し、係数の調整によって上記誤差が小さくなるように上記係数を調整する。

このようにして、訓練部１６Ｃは、ネットワークＢの係数を調整することによってネットワークＢを更新する。

以上のように構成された情報処理システム１０Ｃが実行する処理について説明する。

図１１は、本実施の形態に係る情報処理システム１０Ｃが実行する処理（情報処理方法ともいう）を示すフロー図である。

図１１に示すステップＳ１０１～ステップＳ１０７及びステップＳ１０９に含まれる処理は、実施の形態１に係る情報処理システム１０Ａの処理と同様の処理である（図３等参照）。

ステップＳ１４１において、第１推論部１１Ｃは、ネットワークＡを用いた推論モデルに入力データを入力して、ネットワークＡによる第１推論結果を取得する。

ステップＳ１４２において、第２推論部１２Ｃは、ネットワークＢを用いた推論モデルに入力データを入力して、ネットワークＢによる第２推論結果を取得する。

ステップＳ１４３において、第２誤差算出部１９Ｃは、ステップＳ１４１で第１推論部１１Ｃが取得した第１推論結果と、ステップＳ１４２で第２推論部１２Ｃが取得した第２推論結果との誤差Ｅ２を算出する。

ステップＳ１０８Ｃにおいて、訓練部１６Ｃは、ステップＳ１０７で誤差算出部１５Ａが算出した誤差Ｅ１と、ステップＳ１４３で第２誤差算出部１９Ｃが算出した誤差Ｅ２とが小さくなるように、ネットワークＢの係数を更新する。

以上の一連の処理により、情報処理システム１０Ｃは、第１射影結果と第２射影結果との誤差Ｅ１が小さくなるようにネットワークＢを用いた推論モデルを訓練する。さらに、情報処理システム１０Ｃは、第１推論結果と第２推論結果との誤差Ｅ２が小さくなるようにネットワークＢを用いた推論モデルを訓練する。その結果、ネットワークＢを用いた推論モデルは、ネットワークＡを用いた推論モデルと同じ推論結果を出力するようにより一層訓練される。このように、情報処理システム１０Ｃは、ネットワークＡを用いた推論モデルを手本として新たな推論モデルを得る場合に生じ得る推論結果の差異をより一層小さくすることができる。したがって、入力データの組み合わせによらず、ネットワークＡを用いた推論モデルとネットワークＢを用いた推論モデルの間に生じる推論結果の差異をより一層小さくすることができる。

以上のように、本実施の形態３に係る情報処理方法は、第１推論モデルから得られる第１データに対する推論結果（第１推論結果）と、第２推論モデルから得られる第１データに対する推論結果（第２推論結果）との誤差をさらに用いて第２推論モデルを訓練する。これにより、射影結果間の差異が小さくなるように訓練することに加え、第１推論モデルの推論結果と第２推論モデルの推論結果との差異が直接的に小さくなるように訓練するため、２つの推論モデルの間に生じる推論結果の差異をより一層小さくすることができる。

また、本実施の形態３に係る構成が実施の形態２に適用されてもよい。この場合、第１推論モデルから得られる第１データに対する推論結果（第１推論結果）と、第２推論モデルから得られる第１データに対する推論結果（第２推論結果）との誤差をさらに用いて第３推論モデルが訓練される。そして、訓練された第３推論モデルからモデル変換処理により第２推論モデルを得ることで、第２推論モデルが更新される。これにより、第１推論モデルの推論結果と第２推論モデルの推論結果との差異をより一層小さくし、２つの推論モデルの間に生じる推論結果の差異をより一層小さくすることができる。

（実施の形態４）
本実施の形態４において、実施の形態１～実施の形態３に係る情報処理方法及び情報処理システムとは異なる情報処理方法及び情報処理システムであって、入力データの組み合わせによらず、推論モデルを手本として新たな推論モデルを得る場合に生じ得る推論結果の差異を小さくする情報処理方法及び情報処理システムについて説明する。

以下、実施の形態１に係る情報処理システム１０Ａの一部が変更されて構成される実施の形態４に係る情報処理システムについて説明する。

以下では、実施の形態４に係る情報処理システムについて、実施の形態１に係る情報処理システム１０Ａの構成要素と同様の構成要素については、既に説明済みであるとして同じ符号を振ってその詳細な説明を省略し、情報処理システム１０Ａとの相違点を中心に説明する。

本実施の形態において、実施の形態１～実施の形態３に係る情報処理方法及び情報処理システムとは異なる構成を説明する。なお、実施の形態１～実施の形態３におけるものと実質的に同じ構成要素については同じ符号を付し、詳細な説明を省略する。

図１２は、本実施の形態４に係る情報処理システム１０Ｄの機能構成を示すブロック図である。情報処理システム１０Ｄは、既存の推論モデルと同じ推論結果を出力するように訓練された新たな推論モデルを得るためのシステムである。

図１２に示すように、情報処理システム１０Ｄは、第１推論部１１Ａと、第２推論部１２Ａと、出力変換部１３Ａと、空間射影部１４Ｄと、誤差算出部１５Ｄと、訓練部１６Ａと、訓練制御部１７Ｄと、第１選別部５１Ｄとを備える。

情報処理システム１０Ｄの構成要素のうち、第１推論部１１Ａと、第２推論部１２Ａと、出力変換部１３Ａと、訓練部１６Ａとは、実施の形態１に係る情報処理システム１０Ａにおけるものと同様である。そのため、空間射影部１４Ｄと、誤差算出部１５Ｄと、訓練制御部１７Ｄと、第１選別部５１Ｄとについて以下で詳細に説明する。

空間射影部１４Ｄは、実施の形態１に係る空間射影部１４Ａの機能と同様の機能に加えて、さらに以下の機能を有する。すなわち、空間射影部１４Ｄは、第１選別部５１Ｄが記録又は変更した射影処理を取得する。そして、空間射影部１４Ｄは、出力変換部１３Ａから得た変換結果を、第１選別部５１Ｄから得た射影処理を用いて射影して、入力された変換結果についての射影結果を出力する。また、空間射影部１４Ｄは、空間射影部１４Ｄが実行する射影処理を第１選別部５１Ｄへ通知する。なお、第１選別部５１Ｄによる射影処理の記録及び変更の詳細については後述する。

誤差算出部１５Ｄは、実施の形態１における誤差算出部１５Ａの機能と同様の機能に加えて、さらに以下の機能を有する。すなわち、誤差算出部１５Ｄは、空間射影部１４Ｄから得た射影結果に基づいて算出した誤差情報（第１誤差ともいう）を第１選別部５１Ｄへ出力する。

第１選別部５１Ｄは、誤差算出部１５Ｄが算出する誤差情報が大きくなるように、空間射影部１４Ｄが実行する射影処理を変更する。具体的には、第１選別部５１Ｄは、実行された射影処理と算出された誤差情報との組み合わせを記録し、記録された組み合わせに基づいて射影処理を変更する。第１選別部５１Ｄは、空間射影部１４Ｄが実行した射影処理と誤差算出部１５Ｄが算出した誤差情報との組み合わせと、第１選別部５１Ｄが記録している射影処理と誤差情報との組み合わせとの比較結果に基づいて、空間射影部１４Ｄが実行する射影処理と誤差算出部１５Ｄが算出する誤差情報との組み合わせを記録する。

詳細には、まず、第１選別部５１Ｄは、空間射影部１４Ｄが実行した射影処理と、誤差算出部１５Ｄによって算出された第１誤差とを取得する。第１選別部５１Ｄは、第１選別部５１Ｄが記録した射影処理と誤差情報とを参照し、記録された射影処理と誤差情報との中に、取得した射影処理と第１誤差との組み合わせが存在しない場合、言い換えると、射影処理及び第１誤差が、第１選別部５１Ｄが最初に取得した射影処理と誤差情報との組み合わせである場合、射影処理と第１誤差とを記録する。記録された射影処理と誤差情報との中に、取得した射影処理と第１誤差との組み合わせが存在する場合、第１選別部５１Ｄは、第１誤差と上記記録された誤差情報とを比較する。第１誤差が上記記録された誤差情報よりも大きい場合、第１選別部５１Ｄは、射影処理と第１誤差とを記録する。第１誤差が上記記録された誤差情報よりも小さい場合、第１選別部５１Ｄは、上記記録処理を行わず、記録された射影処理と誤差情報とを保持する。

第１選別部５１Ｄは、上記組み合わせの比較の履歴を参照し、まだ比較されていない射影処理の候補が存在する場合、空間射影部１４Ｄが実行する射影処理を変更する。比較されていない射影処理の候補が存在しない場合、第１選別部５１Ｄは、空間射影部１４Ｄが実行する射影処理を第１選別部５１Ｄが記録している射影処理に変更し、射影処理の記録及び変更処理を終了する。例えば、射影処理は、入力を内積空間へ射影する処理（射影処理Ａ）であってもよく、入力の次元を削減する処理（射影処理Ｂ）であってもよい。入力の次元を削減する処理は、主成分分析を含んでもよい。射影処理の候補は、射影処理Ａ及び射影処理Ｂといった異なる種類の射影処理を含んでもよく、同じ種類の射影処理であって処理のパラメタがそれぞれ異なる複数の射影処理を含んでもよい。

なお、第１選別部５１Ｄによる射影処理の記録及び変更処理は、予め設定した閾値に基づいて終了されてもよい。その場合、第１選別部５１Ｄは、第１誤差と上記閾値とを比較し、第１誤差が上記閾値よりも大きい場合、第１選別部５１Ｄは、射影処理と第１誤差とを記録し、空間射影部１４Ｄが実行する射影処理を第１選別部５１Ｄが記録している射影処理に変更し、射影処理の記録及び変更処理を終了する。第１誤差が上記閾値よりも小さい場合、第１選別部５１Ｄは、第１選別部５１Ｄが記録した射影処理と誤差情報とを参照し、以降の処理を同様に繰り返すことで、第１選別部５１Ｄは、空間射影部１４Ｄが実行する射影処理を変更する。

また、第１選別部５１Ｄによる射影処理の記録及び変更処理は、訓練部１６Ａが更新したネットワークＢに基づいて、再度行われてもよい。その場合、第１選別部５１Ｄは、訓練制御部１７Ｄから指示を受け、以上の処理を同様に実行することで、空間射影部１４Ｄが実行する射影処理を変更する。

訓練制御部１７Ｄは、実施の形態１に係る訓練制御部１７Ａの機能と同様の機能に加えて、さらに以下の機能を有する。すなわち、訓練制御部１７Ｄは、訓練部１６Ａが更新したネットワークＢに基づいて、第１選別部５１Ｄに射影処理の変更処理を再度実施させる。例えば、訓練制御部１７Ｄは、新たな入力データを第１推論部１１Ａ及び第２推論部１２Ａに入力させて、ネットワークＡと、新たなネットワークＢと、新たな入力とを用いて、第１推論部１１Ａ、第２推論部１２Ａ、出力変換部１３Ａ、空間射影部１４Ｄ、誤差算出部１５Ｄ、第１選別部５１Ｄ、及び、訓練部１６Ａに上記処理を再度実行させることで、ネットワークＢを用いた推論モデルをさらに訓練する。

図１３は、本実施の形態４に係る情報処理システム１０Ｄにおける射影処理の変更を示す説明図である。

入力データが第１推論部１１Ａに入力されてから、誤差算出部１５Ｄによって誤差が算出されるまでの処理は、実施の形態１に係る情報処理システム１０Ａにおける訓練における処理と同様である。

誤差算出部１５Ｄによって誤差が算出された後に、第１選別部５１Ｄは、誤差算出部１５Ｄによって算出される誤差を大きくするように、空間射影部１４Ｄが実行する射影処理を変更する。例えば、空間射影部１４Ｄが実行する射影処理が、ｎ次元の入力の次元を削減してｍ次元（ｎ＞ｍ）の射影結果を得る射影処理である場合、射影処理の変更は、パラメタである射影結果の次元ｍを増減させる処理や、射影軸の組み合わせを変更する処理が含まれる。第１選別部５１Ｄによる射影処理の変更手順の詳細については、後述する。

図１４は、本実施の形態４に係る情報処理システム１０Ｄにおける第２推論部１２Ａにおける訓練を示す説明図である。

入力データが第１推論部１１Ａに入力されてから、訓練部１６ＡによってネットワークＢが更新されるまでの処理は、実施の形態１に係る情報処理システム１０Ａにおける訓練における処理と同様である。

空間射影部１４Ｄが実行する射影処理は、第１選別部５１Ｄが変更した処理である。例えば、第１選別部５１Ｄが、空間射影部１４Ｄが実行する射影処理を、ｎ次元の入力の次元を削減してｋ次元（ｎ＞ｋ）の射影結果を得る射影処理に変更した場合、空間射影部１４Ｄは、入力ｘ＝（ｘ１、ｘ２、・・・、ｘｎ）を取得し、射影結果ｚ＝（ｚ１、ｚ２、・・・、ｚｋ）を出力する。

誤差算出部１５Ｄは、空間射影部１４Ｄが出力した射影結果間の誤差を算出する。誤差は、例えば、射影結果間の射影空間上でのノルム（距離）であり、例えば、ノルムは射影結果の座標間の二乗和誤差を利用した関数で算出される。すなわち、空間射影部１４Ｄによる射影結果として、第１射影結果ｚ１＝（ｚ１１、ｚ１２、・・・、ｚ１ｋ）と、第２射影結果ｚ２＝（ｚ２１、ｚ２２、・・・、ｚ２ｋ）とが出力された場合、誤差算出部１５Ｄは、以下の（式３）で射影結果ｚ１と射影結果ｚ２間の二乗和誤差を算出する。なお、誤差算出方法はこれに限られない。

（ｚ１１－ｚ２１）^２＋（ｚ１２－ｚ２２）^２＋…＋（ｚ１ｋ－ｚ２ｋ）^２（式３）

訓練部１６Ａは、誤差算出部１５Ｄによって算出される誤差を小さくするように、ネットワークＢに含まれる係数を調整する。このとき、訓練部１６Ａは、損失関数を参照し、係数の調整によって上記誤差が小さくなるように上記係数を調整する。このようにして、訓練部１６Ａは、ネットワークＢの係数を調整することによってネットワークＢを更新する。

以上のように構成された情報処理システム１０Ｄが実行する処理について説明する。

図１５及び図１６は、実施の形態４に係る情報処理システム１０Ｄが実行する処理（情報処理方法ともいう）を示すフロー図である。図１５は、本実施の形態４に係る情報処理システム１０Ｄが実行する処理のうち、射影処理の変更処理を除く処理を示すフロー図である。また、図１６は、本実施の形態４に係る情報処理システム１０Ｄが実行する処理のうち、射影処理の変更処理を示すフロー図である。

図１５に示すステップＳ１０１～ステップＳ１０９に含まれる処理は、実施の形態１に係る情報処理システム１０Ａの処理と同様の処理である（図３参照）。

ステップＳ１６１において、第１選別部５１Ｄは、まず後述する閾値処理を行うかどうか決定する。閾値処理を行わない場合、後述するステップＳ１６３の処理を行う。閾値処理を行う場合、第１選別部５１Ｄは、ステップＳ１０７で誤差算出部１５Ｄが算出した誤差Ｅ１が予め決定した閾値よりも大きいかどうか判断する。誤差Ｅ１が上記閾値よりも大きい場合、後述するステップＳ１６２の処理を行う。誤差Ｅ１が上記閾値よりも小さい場合、後述するステップＳ１６３の処理を行う。

ステップＳ１６２において、第１選別部５１Ｄは、空間射影部１４Ｄが実行した射影処理と、誤差Ｅ１との組み合わせを記録する。

ステップＳ１６３において、第１選別部５１Ｄは、ステップＳ１０７における誤差算出部１５Ｄによる誤差算出処理が最初の誤差算出である、又は、ステップＳ１０７で誤差算出部１５Ｄが算出した誤差Ｅ１が記録された誤差よりも大きいかどうか判断する。すなわち、第１選別部５１Ｄは、第１選別部５１Ｄが記録した組み合わせを参照し、組み合わせが記録されていない場合は、最初の誤差算出処理であると判断し、後述するステップＳ１６２Ｄの処理を行う。組み合わせが記録されており、かつ、誤差Ｅ１が記録された組み合わせの誤差よりも大きい場合、後述するステップＳ１６２Ｄの処理を行う。誤差Ｅ１が記録された組み合わせの誤差よりも小さい場合、後述するステップＳ１６４の処理を行う。

ステップＳ１６２Ｄにおいて、第１選別部５１Ｄは、空間射影部１４Ｄが実施した射影処理と、誤差Ｅ１との組み合わせを記録する。

ステップＳ１６４において、第１選別部５１Ｄは、上記組み合わせの比較の履歴を参照し、まだ比較されていない射影処理候補があるかどうかを判断する。他に射影処理候補が存在する場合、後述するステップＳ１６５の処理を行う。他に射影処理候補が存在しない場合、後述するステップＳ１０５Ｄの処理を行う。

ステップＳ１６５において、第１選別部５１Ｄは、空間射影部１４Ｄが実行する射影処理を変更する。

ステップＳ１０５Ｄにおいて、空間射影部１４Ｄは、ステップＳ１０３で出力変換部１３Ａが取得した第１変換結果に、ステップＳ１６２又はステップＳ１６２Ｄで第１選別部５１Ｄが記録した組み合わせの射影処理を行い、第１射影結果を取得する。

ステップＳ１０６Ｄにおいて、空間射影部１４Ｄは、ステップＳ１０４で出力変換部１３Ａが取得した第２変換結果に、ステップＳ１６２又はステップＳ１６２Ｄで第１選別部５１Ｄが記録した組み合わせの射影処理を行い、第２射影結果を取得する。

ステップＳ１０７Ｄにおいて、誤差算出部１５Ｄは、ステップＳ１０５Ｄで空間射影部１４Ｄが取得した第１射影結果と、ステップＳ１０６Ｄで空間射影部１４Ｄが取得した第２射影結果との誤差Ｅ１を算出する。

ステップＳ１６６において、訓練制御部１７Ｄは、訓練部１６ＡがネットワークＢの係数を更新するごとに、第１選別部５１Ｄが再度射影処理を変更するかどうかを判断する。第１選別部５１Ｄが更新されたネットワークＢに基づいて、射影処理を再度変更する場合はステップＳ１０５の処理に戻り、射影処理を再度変更しない場合はステップＳ１０５Ｄの処理に戻り、以上と同様の一連の処理を繰り返す。

以上の一連の処理により、情報処理システム１０Ｄは、第１射影結果と第２射影結果との誤差Ｅ１が大きくなるように射影処理を変更した上で、第１射影結果と第２射影結果との誤差Ｅ１が小さくなるようにネットワークＢを用いた推論モデルを訓練する。その結果、射影処理の変更を行わない場合よりも機械学習処理による訓練をより一層進行しやすくすることができる。言い換えると、当該訓練が停滞することを抑制できる。

以上のように、本実施の形態４に係る情報処理方法は、第１射影結果と第２射影結果との誤差（第１誤差）が大きくなるように射影処理を変更する。これにより、射影処理の変更を行わない場合よりも機械学習処理による訓練をより一層進行しやすくすることができる。言い換えると、当該訓練が停滞することを抑制できる。

また、第１変換結果及び第２変換結果を内積が定義された空間へ射影することで第１射影結果及び第２射影結果を得る。これにより、第１射影結果と第２射影結果とのノルムを定義することができ、例えば、第１射影結果と第２射影結果とのノルムを小さくするように第２推論モデルを訓練することができる。その結果、上記情報処理方法は、２つの推論モデルの間に生じる推論結果の差異を小さくすることができる。

また、第１変換結果及び第２変換結果の次元の削減をすることで第１射影結果及び第２射影結果を得る。これにより、例えば、第１変換結果と第２変換結果との差異を表す射影軸を選んだうえで、選ばれた射影軸以外の次元を削減する処理を行い、第１射影結果及び第２射影結果を得ることができる。その結果、上記情報処理方法は、第１射影結果と第２射影結果との誤差の算出にかかる時間をより一層短縮することができる。また、上記情報処理方法は、２つの推論モデルの間に生じる推論結果の差異を効率的に小さくすることができる。

また、第１変換結果及び第２変換結果に主成分分析を行い、次元を削減する処理を行うことで、第１射影結果及び第２射影結果を得る。これにより、特定の主成分以外の主成分が削減されるため、第１射影結果と第２射影結果との差異を明確化することができる。例えば、特定の主成分は、第１射影結果の分布と第２射影結果の分布との間の誤差（距離）が他の主成分に比べて大きくなりそうな主成分に設定されてよい。その結果、上記情報処理方法は、第１射影結果と第２射影結果との誤差の算出にかかる時間をより一層短縮することができる。また、２つの推論モデルの間に生じる推論結果の差異を効率的に小さくすることができる。

なお、本実施の形態４の構成が実施の形態２又は実施の形態３に適用されてもよい。

（実施の形態５）
本実施の形態５において、実施の形態１～実施の形態４に係る情報処理方法及び情報処理システムとは異なる情報処理方法及び情報処理システムであって、入力データの組み合わせによらず、推論モデルを手本として新たな推論モデルを得る場合に生じ得る推論結果の差異を小さくする情報処理方法及び情報処理システムについて説明する。

以下、実施の形態１に係る情報処理システム１０Ａの一部が変更されて構成される実施の形態５に係る情報処理システムについて説明する。

図１７は、本実施の形態５に係る情報処理システム１０Ｅの機能構成を示すブロック図である。情報処理システム１０Ｅは、既存の推論モデルと同じ推論結果を出力するように訓練された新たな推論モデルを得るためのシステムである。

図１７に示すように、情報処理システム１０Ｅは、第１推論部１１Ａと、第２推論部１２Ａと、出力変換部１３Ｅと、空間射影部１４Ａと、誤差算出部１５Ｅと、訓練部１６Ａと、訓練制御部１７Ｅと、第２選別部５２Ｅとを備える。

情報処理システム１０Ｅの構成要素のうち、第１推論部１１Ａと、第２推論部１２Ａと、空間射影部１４Ａと、訓練部１６Ａとは、実施の形態１に係る情報処理システム１０Ａにおけるものと同様である。そのため、出力変換部１３Ｅと、誤差算出部１５Ｅと、訓練制御部１７Ｅと、第２選別部５２Ｅとについて以下で詳細に説明する。

出力変換部１３Ｅは、実施の形態１に係る出力変換部１３Ａの機能と同様の機能に加えて、さらに以下の機能を有する。すなわち、出力変換部１３Ｅは、第２選別部５２Ｅが記録又は変更した変換処理を取得する。そして、出力変換部１３Ｅは、第１推論部１１Ａ及び第２推論部１２Ａから得た特徴情報を第２選別部５２Ｅから得た変換処理を用いて変換して、入力された特徴情報についての変換結果を出力する。また、出力変換部１３Ｅは、出力変換部１３Ｅが実行する変換処理を第２選別部５２Ｅへ通知する。なお、第２選別部５２Ｅによる変換処理の記録及び変更の詳細については後述する。

誤差算出部１５Ｅは、実施の形態１に係る誤差算出部１５Ａの機能と同様の機能に加えて、さらに以下の機能を有する。すなわち、誤差算出部１５Ｅは、空間射影部１４Ａから得た射影結果に基づいて算出した誤差情報（第１誤差ともいう）を第２選別部５２Ｅへ出力する。

第２選別部５２Ｅは、誤差算出部１５Ｅが算出する誤差情報が大きくなるように、出力変換部１３Ｅが実行する変換処理を変更する。具体的には、第２選別部５２Ｅは、実行された変換処理と算出された誤差情報との組み合わせを記録し、記録された組み合わせに基づいて変換処理を変更する。第２選別部５２Ｅは、出力変換部１３Ｅが実行した変換処理と誤差算出部１５Ｅが算出した誤差情報との組み合わせと、第２選別部５２Ｅが記録している変換処理と誤差情報との組み合わせとの比較結果に基づいて、出力変換部１３Ｅが実行する変換処理と誤差算出部１５Ｅが算出する誤差情報との組み合わせを記録する。

詳細には、まず、第２選別部５２Ｅは、出力変換部１３Ｅが実行した変換処理と、誤差算出部１５Ｅによって算出された第１誤差とを取得する。第２選別部５２Ｅは、第２選別部５２Ｅが記録した変換処理と誤差情報とを参照し、記録された変換処理と誤差情報との中に、取得した変換処理と第１誤差との組み合わせが存在しない場合、言い換えると、変換処理及び第１誤差が、第２選別部５２Ｅが最初に取得した変換処理と誤差情報との組み合わせである場合、変換処理と第１誤差とを記録する。記録された変換処理と誤差情報との中に、取得した変換処理と第１誤差との組み合わせが存在する場合、第２選別部５２Ｅは、第１誤差と上記記録された誤差情報とを比較する。第１誤差が上記記録された誤差情報よりも大きい場合、第２選別部５２Ｅは、変換処理と第１誤差とを記録する。第１誤差が上記記録された誤差情報よりも小さい場合、第２選別部５２Ｅは、上記記録処理を行わず、記録された変換処理と誤差情報とを保持する。

第２選別部５２Ｅは、上記組み合わせの比較の履歴を参照し、まだ比較されていない変換処理の候補が存在する場合、出力変換部１３Ｅが実行する変換処理を変更する。比較されていない変換処理の候補が存在しない場合、第２選別部５２Ｅは、出力変換部１３Ｅが実行する変換処理を第２選別部５２Ｅが記録している変換処理に変更し、変換処理の記録及び変更処理を終了する。例えば、変換処理は、入力をスケール変換する処理であってもよい。変換処理の候補は、変換処理Ａ及び変換処理Ｂといった異なる種類の変換処理を含んでもよく、同じ種類の変換処理であって処理のパラメタがそれぞれ異なる複数の変換処理を含んでもよい。また、変換処理は、ニューラルネットワークモデルによる変換処理であり、上記処理のパラメタはニューラルネットワークモデルの係数であってもよい。

なお、第２選別部５２Ｅによる変換処理の記録及び変更処理は、予め設定した閾値に基づいて終了されてもよい。その場合、第２選別部５２Ｅは、第１誤差と上記閾値とを比較し、第１誤差が上記閾値よりも大きい場合、第２選別部５２Ｅは、変換処理と第１誤差とを記録し、出力変換部１３Ｅが実行する変換処理を第２選別部５２Ｅが記録している変換処理に変更し、変換処理の記録及び変更処理を終了する。第１誤差が上記閾値よりも小さい場合、第２選別部５２Ｅは、第２選別部５２Ｅが記録した変換処理と誤差情報とを参照し、以降の処理を同様に繰り返すことで、第２選別部５２Ｅは、出力変換部１３Ｅが実行する変換処理を変更する。

また、第２選別部５２Ｅによる変換処理の記録及び変更処理は、訓練部１６Ａが更新したネットワークＢに基づいて、再度行われてもよい。その場合、第２選別部５２Ｅは、訓練制御部１７Ｅから指示を受け、以上の処理を同様に実行することで、変換処理を変更する。

訓練制御部１７Ｅは、実施の形態１に係る訓練制御部１７Ａの機能と同様の機能に加えて、さらに以下の機能を有する。すなわち、訓練制御部１７Ｅは、訓練部１６Ａが更新したネットワークＢに基づいて、第２選別部５２Ｅに変換処理の変更処理を再度実施させる。例えば、訓練制御部１７Ｅは、新たな入力データを第１推論部１１Ａ及び第２推論部１２Ａに入力させて、ネットワークＡと、新たなネットワークＢと、新たな入力とを用いて、第１推論部１１Ａ、第２推論部１２Ａ、出力変換部１３Ｅ、空間射影部１４Ａ、誤差算出部１５Ｅ、第２選別部５２Ｅ、及び、訓練部１６Ａに上記処理を再度実行させることで、ネットワークＢを用いた推論モデルをさらに訓練する。

図１８は、本実施の形態５に係る情報処理システム１０Ｅにおける変換処理の変更を示す説明図である。

入力データが第１推論部１１Ａに入力されてから、誤差算出部１５Ｅによって誤差が算出されるまでの処理は、実施の形態１に係る情報処理システム１０Ａにおける訓練における処理と同様である。

誤差算出部１５Ｅによって誤差が算出された後に、第２選別部５２Ｅは、誤差算出部１５Ｅによって算出される誤差を大きくするように、出力変換部１３Ｅが実行する変換処理を変更する。例えば、出力変換部１３Ｅが実行する変換処理が、（式１）で得られる、特徴情報が取る値の範囲を変更するスケール変換ｆである場合、変換処理の変更は、パラメタであるａを変更する処理や、スケール変換に用いる関数を以下の（式４）で得られるスケール変換ｆ２へ変更する処理が含まれる。第２選別部５２Ｅによる変換処理の変更手順の詳細については、後述する。

ｆ２（ｘ）＝ａ×ｔａｎｈ（ｘ）（式４）

図１９は、本実施の形態５に係る情報処理システム１０Ｅにおける第２推論部１２Ａにおける訓練を示す説明図である。

出力変換部１３Ｅが実行する変換処理は、第２選別部５２Ｅが変更した処理である。例えば、第２選別部５２Ｅが、出力変換部１３Ｅが実行する変換処理を、（式４）で得られるスケール変換ｆ２に変更した場合、出力変換部１３Ｅは、入力ｘを取得し、変換結果ｆ２（ｘ）を出力する。

その後、変換結果が空間射影部１４Ａに入力されてから以降の処理は、実施の形態１に係る情報処理システム１０Ａにおける訓練における処理と同様である。

以上のように構成された情報処理システム１０Ｅが実行する処理について説明する。

図２０及び図２１は、実施の形態５に係る情報処理システム１０Ｅが実行する処理（情報処理方法ともいう）を示すフロー図である。図２０は、本実施の形態５に係る情報処理システム１０Ｅが実行する処理のうち、変換処理の変更処理を除く処理を示すフロー図である。また、図２１は、本実施の形態５に係る情報処理システム１０Ｅが実行する処理のうち、変換処理の変更処理を示すフロー図である。

図２０に示すステップＳ１０１～ステップＳ１０９に含まれる処理は、実施の形態１に係る情報処理システム１０Ａの処理と同様の処理である（図３参照）。

ステップＳ１６１Ｅにおいて、第２選別部５２Ｅは、まず後述する閾値処理を行うかどうか決定する。閾値処理を行わない場合、後述するステップＳ１６３Ｅの処理を行う。閾値処理を行う場合、第２選別部５２Ｅは、ステップＳ１０７で誤差算出部１５Ｅが算出した誤差Ｅ１が予め決定した閾値よりも大きいかどうか判断する。誤差Ｅ１が上記閾値よりも大きい場合、後述するステップＳ１８１の処理を行う。誤差Ｅ１が上記閾値よりも小さい場合、後述するステップＳ１６３Ｅの処理を行う。

ステップＳ１８１において、第２選別部５２Ｅは、出力変換部１３Ｅが実行した変換処理と、誤差Ｅ１との組み合わせを記録する。

ステップＳ１６３Ｅにおいて、第２選別部５２Ｅは、ステップＳ１０７における誤差算出部１５Ｅによる誤差算出処理が最初の誤差算出である、又は、ステップＳ１０７で誤差算出部１５Ｅが算出した誤差Ｅ１が記録された誤差よりも大きいかどうか判断する。すなわち、第２選別部５２Ｅは、第２選別部５２Ｅが記録した組み合わせを参照し、組み合わせが記録されていない場合は、最初の誤差算出処理であると判断し、後述するステップＳ１８１Ｅの処理を行う。組み合わせが記録されており、かつ、誤差Ｅ１が記録された組み合わせの誤差よりも大きい場合、後述するステップＳ１８１Ｅの処理を行う。誤差Ｅ１が記録された誤差よりも小さい場合、後述するステップＳ１８２の処理を行う。

ステップＳ１８１Ｅにおいて、第２選別部５２Ｅは、出力変換部１３Ｅが実行した変換処理と、誤差Ｅ１との組み合わせを記録する。

ステップＳ１８２において、第２選別部５２Ｅは、上記組み合わせの比較の履歴を参照し、まだ比較されていない変換処理候補があるかどうかを判断する。他に変換処理候補が存在する場合、後述するステップＳ１８３の処理を行う。他に変換処理候補が存在しない場合、後述するステップＳ１０３Ｅの処理を行う。

ステップＳ１８３において、第２選別部５２Ｅは、出力変換部１３Ｅが実行する変換処理を変更する。

ステップＳ１０３Ｅにおいて、出力変換部１３Ｅは、ステップＳ１０１で第１推論部１１Ａが取得した第１特徴情報に、ステップＳ１８１又はステップＳ１８１Ｅで第２選別部５２Ｅが記録した組み合わせの変換処理を行い、第１変換結果を取得する。

ステップＳ１０４Ｅにおいて、出力変換部１３Ｅは、ステップＳ１０２で第２推論部１２Ａが取得した第２特徴情報に、ステップＳ１８１又はステップＳ１８１Ｅで第２選別部５２Ｅが記録した組み合わせの変換処理を行い、第２変換結果を取得する。

ステップＳ１０５Ｅにおいて、空間射影部１４Ａは、ステップＳ１０３Ｅで出力変換部１３Ｅが取得した第１変換結果に、射影処理を行い、第１射影結果を取得する。

ステップＳ１０６Ｅにおいて、空間射影部１４Ａは、ステップＳ１０４Ｅで出力変換部１３Ｅが取得した第２変換結果に、射影処理を行い、第２射影結果を取得する。

ステップＳ１０７Ｅにおいて、誤差算出部１５Ｅは、ステップＳ１０５Ｅで空間射影部１４Ａが取得した第１射影結果と、ステップＳ１０６Ｅで空間射影部１４Ａが取得した第２射影結果との誤差Ｅ１を算出する。

ステップＳ１０２Ｅにおいて、第２推論部１２Ａは、ネットワークＢを用いた推論モデルに入力データを入力して、ネットワークＢによる第２特徴情報を取得する。

ステップＳ１８４において、訓練制御部１７Ｅは、訓練部１６ＡがネットワークＢの係数を更新するごとに、第２選別部５２Ｅが再度変換処理を変更するかどうかを判断する。第２選別部５２Ｅが更新されたネットワークＢに基づいて、変換処理を再度変更する場合はステップＳ１０３の処理に戻り、変換処理を再度変更しない場合はステップＳ１０３Ｅの処理に戻り、以上と同様の一連の処理を繰り返す。

以上の一連の処理により、情報処理システム１０Ｅは、第１射影結果と第２射影結果との誤差Ｅ１が大きくなるように変換処理を変更した上で、第１射影結果と第２射影結果との誤差Ｅ１が小さくなるようにネットワークＢを用いた推論モデルを訓練する。その結果、変換処理の変更を行わない場合よりも機械学習処理による訓練をより一層進行しやすくすることができる。言い換えると、当該訓練が停滞することを抑制できる。

以上のように、本実施の形態５に係る情報処理方法は、第１射影結果と第２射影結果との誤差（第１誤差）が大きくなるように変換処理を変更する。これにより、変換処理の変更を行わない場合よりも機械学習処理による訓練をより一層進行しやすくすることができる。言い換えると、当該訓練が停滞することを抑制できる。

なお、本実施の形態５の構成が実施の形態２又は実施の形態３に適用されてもよい。

（実施の形態６）
本実施の形態６において、実施の形態１～実施の形態５に係る情報処理方法及び情報処理システムとは異なる情報処理方法及び情報処理システムであって、入力データの組み合わせによらず、推論モデルを手本として新たな推論モデルを得る場合に生じ得る推論結果の差異を小さくする情報処理方法及び情報処理システムについて説明する。

以下、実施の形態１に係る情報処理システム１０Ａの一部が変更されて構成される実施の形態６に係る情報処理システムについて説明する。

図２２は、本実施の形態６に係る情報処理システム１０Ｆの機能構成を示すブロック図である。情報処理システム１０Ｆは、既存の推論モデルと同じ推論結果を出力するように訓練された新たな推論モデルを得るためのシステムである。

図２２に示されるように、情報処理システム１０Ｆは、第１推論部１１Ａと、第２推論部１２Ａと、出力変換部１３Ｆと、空間射影部１４Ｆと、誤差算出部１５Ｆと、訓練部１６Ａと、訓練制御部１７Ｆと、第３選別部５３Ｆとを備える。

情報処理システム１０Ｆの構成要素のうち、第１推論部１１Ａと、第２推論部１２Ａと、訓練部１６Ａとは実施の形態１の情報処理システム１０Ａにおけるものと同様である。そのため、出力変換部１３Ｆと、空間射影部１４Ｆと、誤差算出部１５Ｆと、訓練制御部１７Ｆと、第３選別部５３Ｆとについて以下で詳細に説明する。

出力変換部１３Ｆは、実施の形態１に係る出力変換部１３Ａの機能と同様の機能に加えて、さらに以下の機能を有する。すなわち、出力変換部１３Ｆは、第３選別部５３Ｆが記録又は変更した変換処理を取得する。そして、出力変換部１３Ｆは、第１推論部１１Ａ及び第２推論部１２Ａから得た特徴情報を第３選別部５３Ｆから得た変換処理を用いて変換して、入力された特徴情報についての変換結果を出力する。また、出力変換部１３Ｆは、出力変換部１３Ｆが実行する変換処理を第３選別部５３Ｆへ通知する。なお、第３選別部５３Ｆによる変換処理の記録及び変更の詳細については後述する。

空間射影部１４Ｆは、実施の形態１に係る空間射影部１４Ａの機能と同様の機能に加えて、さらに以下の機能を有する。すなわち、空間射影部１４Ｆは、第３選別部５３Ｆが記録又は変更した射影処理を取得する。そして、空間射影部１４Ｆは、出力変換部１３Ｆから得た変換結果を、第３選別部５３Ｆから得た射影処理を用いて射影して、入力された変換結果についての射影結果を出力する。また、空間射影部１４Ｆは、空間射影部１４Ｆが実行する射影処理を第３選別部５３Ｆへ通知する。なお、第３選別部５３Ｆによる射影処理の記録及び変更の詳細については後述する。

誤差算出部１５Ｆは、実施の形態１に係る誤差算出部１５Ａの機能と同様の機能に加えて、さらに以下の機能を有する。すなわち、誤差算出部１５Ｆは、空間射影部１４Ｆから得た射影結果に基づいて算出した誤差情報（第１誤差ともいう）を第３選別部５３Ｆへ出力する。

第３選別部５３Ｆは、誤差算出部１５Ｆが算出する誤差情報が大きくなるように、出力変換部１３Ｆが実行する変換処理と空間射影部１４Ｆが実行する射影処理とを変更する。具体的には、第３選別部５３Ｆは、実行された変換処理と、実行された射影処理と、算出された誤差情報との組み合わせを記録し、記録された組み合わせに基づいて変換処理と射影処理とを変更する。第３選別部５３Ｆは、出力変換部１３Ｆが実行した変換処理と、空間射影部１４Ｆが実行した射影処理と、誤差算出部１５Ｆが算出した誤差情報との組み合わせと、第３選別部５３Ｆが記録している変換処理と、射影処理と、誤差情報との組み合わせとの比較結果に基づいて、出力変換部１３Ｆが実行する変換処理と、空間射影部１４Ｆが実行する射影処理と、誤差算出部１５Ｆが算出する誤差情報との組み合わせを記録する。

詳細には、まず、第３選別部５３Ｆは、出力変換部１３Ｆが実行した変換処理と、空間射影部１４Ｆが実行した射影処理と、誤差算出部１５Ｆによって算出された第１誤差とを取得する。第３選別部５３Ｆは、第３選別部５３Ｆが記録した変換処理と、射影処理と、誤差情報とを参照し、記録された変換処理と、射影処理と、誤差情報とが存在しない場合、言い換えると、変換処理と、射影処理と、第１誤差とが第３選別部５３Ｆが最初に取得した変換処理と、射影処理と、誤差情報との組み合わせである場合、変換処理と、射影処理と、第１誤差とを記録する。記録された変換処理と、射影処理と、誤差情報との中に、取得した変換処理と、射影処理と、第１誤差との組み合わせが存在する場合、第３選別部５３Ｆは、第１誤差と上記記録された誤差情報とを比較する。第１誤差が上記記録された誤差情報よりも大きい場合、第３選別部５３Ｆは、変換処理と、射影処理と、第１誤差とを記録する。第１誤差が上記記録された誤差情報よりも小さい場合、第３選別部５３Ｆは、上記記録処理を行わず、記録された変換処理と、射影処理と、誤差情報とを保持する。

第３選別部５３Ｆは、上記組み合わせの比較の履歴を参照し、まだ比較されていない変換処理と射影処理との組み合わせの候補が存在する場合、出力変換部１３Ｆが実行する変換処理と、空間射影部１４Ｆが実行する射影処理とを変更する。比較されていない変換処理と射影処理との組み合わせの候補が存在しない場合、第３選別部５３Ｆは、出力変換部１３Ｆが実行する変換処理と、空間射影部１４Ｆが実行する射影処理とを第３選別部５３Ｆが記録している変換処理と射影処理とに変更し、変換処理と射影処理との組み合わせの記録及び変更処理を終了する。上記変換処理は、実施の形態５におけるものと同様である。また、上記射影処理は、実施の形態４におけるものと同様である。

なお、第３選別部５３Ｆによる変換処理と射影処理との組み合わせの記録及び変更処理は、予め設定した閾値に基づいて終了されてもよい。その場合、第３選別部５３Ｆは、第１誤差と上記閾値とを比較し、第１誤差が上記閾値よりも大きい場合、第３選別部５３Ｆは、変換処理と、射影処理と、第１誤差との組み合わせを記録し、出力変換部１３Ｆが実行する変換処理を第３選別部５３Ｆが記録している変換処理に変更し、空間射影部１４Ｆが実行する射影処理を第３選別部５３Ｆが記録している射影処理に変更し、変換処理と射影処理との組み合わせの記録及び変更処理を終了する。第１誤差が上記閾値よりも小さい場合、第３選別部５３Ｆは、第３選別部５３Ｆが記録した変換処理と、射影処理と、誤差情報とを参照し、以降の処理を同様に繰り返すことで、第３選別部５３Ｆは、変換処理と射影処理とを変更する。

また、第３選別部５３Ｆによる変換処理と射影処理との組み合わせの記録及び変更処理は、訓練部１６Ａが更新したネットワークＢに基づいて、再度行われてもよい。その場合、第３選別部５３Ｆは、訓練制御部１７Ｆから指示を受け、以上の処理を同様に実行することで、変換処理と射影処理とを変更する。

なお、第３選別部５３Ｆによる変換処理と射影処理との組み合わせの変更処理は、順番に行われてもよいし、同時に行われてもよい。すなわち、第３選別部５３Ｆによる変換処理と射影処理との組み合わせの変更処理が順番に行われる場合は、第１誤差が大きくなるように変換処理を変更し、さらに変更された変換処理に基づいて第１誤差が大きくなるように射影処理を変更する、又は、第１誤差が大きくなるように射影処理を変更し、さらに変更された射影処理に基づいて第１誤差が大きくなるように変換処理を変更する。第３選別部５３Ｆによる変換処理と射影処理との組み合わせの変更処理が同時に行われる場合は、第１誤差が大きくなるように変換処理と射影処理との組み合わせを変更する。この場合の変更方法は、例えばベイズ最適化などの周知技術が採用され得る。

訓練制御部１７Ｆは、実施の形態１に係る訓練制御部１７Ａと同様の機能に加えて、さらに以下の機能を有する。すなわち、訓練制御部１７Ｆは、訓練部１６Ａが更新したネットワークＢに基づいて、第３選別部５３Ｆに変換処理と射影処理との組み合わせの変更処理を再度実施させる。例えば、訓練制御部１７Ｆは、新たな入力データを第１推論部１１Ａ及び第２推論部１２Ａに入力させて、ネットワークＡと、新たなネットワークＢと、新たな入力とを用いて、第１推論部１１Ａ、第２推論部１２Ａ、出力変換部１３Ｆ、空間射影部１４Ｆ、誤差算出部１５Ｆ、第３選別部５３Ｆ、及び、訓練部１６Ａに上記処理を再度実行させることで、ネットワークＢを用いた推論モデルをさらに訓練する。

図２３は、本実施の形態６に係る情報処理システム１０Ｆにおける変換処理と射影処理との組み合わせの変更を示す説明図である。

入力データが第１推論部１１Ａに入力されてから、誤差算出部１５Ｆによって誤差が算出されるまでの処理は、実施の形態１に係る情報処理システム１０Ａにおける訓練における処理と同様である。

誤差算出部１５Ｆによって誤差が算出された後に、第３選別部５３Ｆは、誤差算出部１５Ｆによって算出される誤差を大きくするように、出力変換部１３Ｆが実行する変換処理と、空間射影部１４Ｆが実行する射影処理とを変更する。変換処理の変更の詳細については、実施の形態５におけるものと同様である。また、射影処理の変更の詳細については、実施の形態４におけるものと同様である。

図２４は、本実施の形態６に係る情報処理システム１０Ｆにおける第２推論部１２Ａにおける訓練を示す説明図である。

出力変換部１３Ｆが実行する変換処理は、第３選別部５３Ｆが変更した処理である。第３選別部５３Ｆが変換処理を変更した場合の出力変換部１３Ｆの処理の詳細は、実施の形態５に係る情報処理システム１０Ｅにおけるものと同様である。

空間射影部１４Ｆが実行する射影処理は、第３選別部５３Ｆが変更した処理である。第３選別部５３Ｆが射影処理を変更した場合の空間射影部１４Ｆの処理の詳細は、実施の形態４に係る情報処理システム１０Ｄにおけるものと同様である。

その後、射影結果が誤差算出部１５Ｆに入力されてから以降の処理は、実施の形態１に係る情報処理システム１０Ａにおける訓練における処理と同様である。

以上のように構成された情報処理システム１０Ｆが実行する処理について説明する。

図２５及び図２６は、実施の形態６に係る情報処理システム１０Ｆが実行する処理（情報処理方法ともいう）を示すフロー図である。図２５は、本実施の形態６に係る情報処理システム１０Ｆが実行する処理のうち、変換処理と射影処理との組み合わせの変更処理を除く処理を示すフロー図である。また、図２６は、本実施の形態６に係る情報処理システム１０Ｆが実行する処理のうち、変換処理と射影処理との組み合わせの変更処理を示すフロー図である。

図２５に示すステップＳ１０１～ステップＳ１０９に含まれる処理は、実施の形態１に係る情報処理システム１０Ａの処理と同様の処理である（図３参照）。

ステップＳ１６１Ｆにおいて、第３選別部５３Ｆは、まず後述する閾値処理を行うかどうか決定する。閾値処理を行わない場合、後述するステップＳ１６３Ｆの処理を行う。閾値処理を行う場合、第３選別部５３Ｆは、ステップＳ１０７で誤差算出部１５Ｆが算出した誤差Ｅ１が予め決定した閾値よりも大きいかどうか判断する。誤差Ｅ１が上記閾値よりも大きい場合、後述するステップＳ１９１の処理を行う。誤差Ｅ１が上記閾値よりも小さい場合、後述するステップＳ１６３Ｆの処理を行う。

ステップＳ１９１において、第３選別部５３Ｆは、出力変換部１３Ｆが実行した変換処理と、空間射影部１４Ｆが実行した射影処理と、誤差Ｅ１との組み合わせを記録する。

ステップＳ１６３Ｆにおいて、第３選別部５３Ｆは、ステップＳ１０７における誤差算出部１５Ｆによる誤差算出処理が最初の誤差算出である、又は、ステップＳ１０７で誤差算出部１５Ｆが算出した誤差Ｅ１が記録された誤差よりも大きいかどうか判断する。すなわち、第３選別部５３Ｆは、第３選別部５３Ｆが記録した組み合わせを参照し、組み合わせが記録されていない場合は、最初の誤差算出処理であると判断し、後述するステップＳ１９１Ｆの処理を行う。組み合わせが記録されており、かつ、誤差Ｅ１が記録された組み合わせの誤差よりも大きい場合、後述するステップＳ１９１Ｆの処理を行う。誤差Ｅ１が記録された誤差よりも小さい場合、後述するステップＳ１９２の処理を行う。

ステップＳ１９１Ｆにおいて、第３選別部５３Ｆは、出力変換部１３Ｆが実行した変換処理と、空間射影部１４Ｆが実行した射影処理と、誤差Ｅ１との組み合わせを記録する。

ステップＳ１９２において、第３選別部５３Ｆは、上記組み合わせの比較の履歴を参照し、まだ比較されていない変換処理と射影処理との組み合わせ候補があるかどうかを判断する。他に変換処理と射影処理との組み合わせ候補が存在する場合、後述するステップＳ１９３の処理を行う。他に変換処理と射影処理との組み合わせ候補が存在しない場合、後述するステップＳ１０３Ｆの処理を行う。

ステップＳ１９３において、第３選別部５３Ｆは、出力変換部１３Ｆが実行する変換処理と、空間射影部１４Ｆが実行する射影処理とを変更する。

ステップＳ１０３Ｆにおいて、出力変換部１３Ｆは、ステップＳ１０１で第１推論部１１Ａが取得した第１特徴情報に、ステップＳ１９１又はステップＳ１９１Ｆで第３選別部５３Ｆが記録した組み合わせの変換処理を行い、第１変換結果を取得する。

ステップＳ１０４Ｆにおいて、出力変換部１３Ｆは、ステップＳ１０２で第２推論部１２Ａが取得した第２特徴情報に、ステップＳ１９１又はステップＳ１９１Ｆで第３選別部５３Ｆが記録した組み合わせの変換処理を行い、第２変換結果を取得する。

ステップＳ１０５Ｆにおいて、空間射影部１４Ｆは、ステップＳ１０３Ｆで出力変換部１３Ｆが取得した第１変換結果に、ステップＳ１９１又はステップＳ１９１Ｆで第３選別部５３Ｆが記録した組み合わせの射影処理を行い、第１射影結果を取得する。

ステップＳ１０６Ｆにおいて、空間射影部１４Ｆは、ステップＳ１０４Ｆで出力変換部１３Ｆが取得した第２変換結果に、ステップＳ１９１又はステップＳ１９１Ｆで第３選別部５３Ｆが記録した組み合わせの射影処理を行い、第２射影結果を取得する。

ステップＳ１０７Ｆにおいて、誤差算出部１５Ｆは、ステップＳ１０５Ｆで空間射影部１４Ｆが取得した第１射影結果と、ステップＳ１０６Ｆで空間射影部１４Ｆが取得した第２射影結果との誤差Ｅ１を算出する。

ステップＳ１０２Ｆにおいて、第２推論部１２Ａは、ネットワークＢを用いた推論モデルに入力データを入力して、ネットワークＢによる第２特徴情報を取得する。

ステップＳ１９４において、訓練制御部１７Ｆは、訓練部１６ＡがネットワークＢの係数を更新するごとに、第３選別部５３Ｆが再度変換処理と射影処理との組み合わせを変更するかどうかを判断する。第３選別部５３Ｆが更新されたネットワークＢに基づいて、変換処理と射影処理との組み合わせを再度変更する場合はステップＳ１０３の処理に戻り、変換処理と射影処理との組み合わせを再度変更しない場合はステップＳ１０３Ｆの処理に戻り、以上と同様の一連の処理を繰り返す。

以上の一連の処理により、情報処理システム１０Ｆは、第１射影結果と第２射影結果との誤差Ｅ１が大きくなるように変換処理と射影処理との組み合わせを変更した上で、第１射影結果と第２射影結果との誤差Ｅ１が小さくなるようにネットワークＢを用いた推論モデルを訓練する。その結果、変換処理又は射影処理の少なくとも一方が変更されない場合よりも機械学習処理による訓練をより一層進行しやすくすることができる。言い換えると、当該訓練が停滞することを抑制できる。

以上のように、本実施の形態６に係る情報処理方法は、第１射影結果と第２射影結果との誤差（第１誤差）が大きくなるように変換処理と射影処理の組み合わせを変更する。これにより、変換処理又は射影処理の少なくとも一方が変更されない場合よりも機械学習処理による訓練をより一層進行しやすくすることができる。言い換えると、当該訓練が停滞することを抑制できる。

なお、本実施の形態の構成が実施の形態２又は実施の形態３に適用されてもよい。

（変形例）
なお、実施の形態１～実施の形態６に係る情報処理システム１０Ａ～情報処理システム１０Ｆが実行する処理において、変換処理が必要かどうかの要否判断を行ってもよい。以下では、変換処理が必要かどうかの要否判断を行う場合の変形例について説明する。なお、以下では実施の形態１に係る情報処理システム１０Ａが実行する処理を例として説明するが、実施の形態２～実施の形態６に係る情報処理システム１０Ｂ～情報処理システム１０Ｆが実行する処理の場合についても、実施の形態１に係る情報処理システム１０Ａが実行する処理の場合と同様である。

図２７は、変形例に係る情報処理システムが実行する処理を示すフロー図である。

図２７に示すステップＳ１０１～ステップＳ１０９に含まれる処理は、実施の形態１に係る情報処理システム１０Ａの処理と同様の処理である（図３参照）。

ステップＳ１１０において、誤差算出部１５Ａは、変換処理が必要かどうかの要否判断を行うかどうかを判断する。要否判断を行わない場合、ステップＳ１０８の処理を行う。要否判断を行う場合、後述するステップＳ１１１の処理を行う。

ステップＳ１１１において、空間射影部１４Ａは、ステップＳ１０１で第１推論部１１Ａが取得したネットワークＡによる第１特徴情報に射影処理を行い、第１非変換射影結果を取得する。

ステップＳ１１２において、空間射影部１４Ａは、ステップＳ１０２で第２推論部１２Ａが取得したネットワークＢによる第２特徴情報に射影処理を行い、第２非変換射影結果を取得する。

ステップＳ１１３において、誤差算出部１５Ａは、ステップＳ１１１で空間射影部１４Ａが取得した第１非変換射影結果と、ステップＳ１１２で空間射影部１４Ａが取得した第２非変換射影結果との誤差Ｅ０を算出する。

ステップＳ１１４において、誤差算出部１５Ａは、ステップＳ１０７で誤差算出部１５Ａが算出した誤差Ｅ１が、ステップＳ１１３で誤差算出部１５Ａが算出した誤差Ｅ０よりも大きいかどうか判断する。誤差算出部１５Ａは、誤差Ｅ１が誤差Ｅ０よりも大きい場合、変換処理は必要と判断し、ステップＳ１０８の処理を行う。誤差算出部１５Ａは、誤差Ｅ１が誤差Ｅ０よりも小さい場合、変換処理は不要と判断し、後述のステップＳ１０８Ａの処理を行う。

なお、ステップＳ１１４の処理において、誤差算出部１５Ａは、誤差Ｅ０が所定の閾値よりも大きい場合、変換処は必要と判断し、誤差Ｅ０が所定の閾値よりも小さい場合、変換処理は不要と判断してもよい。

ステップＳ１０８Ａにおいて、訓練部１６Ａは、ステップＳ１１３で算出された誤差Ｅ０を用いて、上記誤差Ｅ０が小さくなるように、ネットワークＢの係数を更新し、ステップＳ１０９の処理を行う。

（補足）
また、実施の形態１～実施の形態６、変形例において、情報処理システム１０Ａ～情報処理システム１０Ｆが備える各機能は、プロセッサ（例えばＣＰＵ）（不図示）が、所定のプログラムを実行することで実現され得る。

また、実施の形態１～実施の形態６、変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、これら実施の形態及び変形例の情報処理装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、プロセッサが実行する情報処理方法であって、第１データを第１推論モデルに入力して、第１特徴情報を取得し、前記第１データを第２推論モデルに入力して、第２特徴情報を取得し、前記第１特徴情報に変換処理を行って、第１変換結果を取得し、前記第２特徴情報に前記変換処理を行って、第２変換結果を取得し、前記第１変換結果に射影処理を行って、第１射影結果を取得し、前記第２変換結果に前記射影処理を行って、第２射影結果を取得し、前記第１射影結果と、前記第２射影結果との誤差を示す第１誤差を取得し、前記第１誤差を小さくするように、前記第２推論モデルを機械学習により訓練し、前記変換処理は、前記第１射影結果と前記第２射影結果との誤差が、前記第１特徴情報に前記射影処理を行って取得される第１非変換射影結果と前記第２特徴情報に前記射影処理を行って取得される第２非変換射影結果との誤差よりも大きくなる処理である情報処理方法を実行させるプログラムである。

また、このプログラムは、コンピュータに、プロセッサが実行する情報処理方法であって、第１データを第１推論モデルに入力して、第１特徴情報を取得し、前記第１データを第２推論モデルに入力して、第２特徴情報を取得し、前記第１特徴情報に変換処理を行って、第１変換結果を取得し、前記第２特徴情報に前記変換処理を行って、第２変換結果を取得し、前記第１変換結果に射影処理を行って、第１射影結果を取得し、前記第２変換結果に前記射影処理を行って、第２射影結果を取得し、前記第１射影結果と、前記第２射影結果との誤差を示す第１誤差を取得し、前記第１誤差を小さくするように、第３推論モデルを機械学習により訓練し、前記変換処理は、前記第１射影結果と前記第２射影結果との誤差が、前記第１特徴情報に前記射影処理を行って取得される第１非変換射影結果と前記第２特徴情報に前記射影処理を行って取得される第２非変換射影結果との誤差よりも大きくなるような処理であり、訓練された前記第３推論モデルを変換するモデル変換処理を行って、前記第２推論モデルを更新する情報処理方法を実行させるプログラムである。

これらプログラムは、例えば、コンピュータ読み取り可能な非一時的な記録媒体に記録される。

以上のように、本出願において開示する技術の例示として、実施の形態及び変形例に基づいて説明した。しかしながら、本開示は、これら実施の形態及び変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形をこれら実施の形態及び変形例に施したものや、異なる実施の形態及び変形例における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。

本開示は、既存の推論モデルを手本として新たな推論モデルを生成するシステムに利用可能である。

１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆ情報処理システム
１１Ａ、１１Ｃ第１推論部
１２Ａ、１２Ｂ、１２Ｃ第２推論部
１３Ａ、１３Ｅ、１３Ｆ出力変換部
１４Ａ、１４Ｄ、１４Ｆ空間射影部
１５Ａ、１５Ｄ、１５Ｅ、１５Ｆ誤差算出部
１６Ａ、１６Ｂ、１６Ｃ訓練部
１７Ａ、１７Ｄ、１７Ｅ、１７Ｆ訓練制御部
１８Ｂ変換部
１９Ｃ第２誤差算出部
２０Ａ推論システム
２１Ａ取得部
２２Ａ第２推論部
５１Ｄ第１選別部
５２Ｅ第２選別部
５３Ｆ第３選別部
Ａ、Ｂ、Ｂ１ネットワーク

Claims

プロセッサが実行する情報処理方法であって、
第１データを第１推論モデルに入力して、第１特徴情報を取得し、
前記第１データを第２推論モデルに入力して、第２特徴情報を取得し、
前記第１特徴情報に変換処理を行って、第１変換結果を取得し、
前記第２特徴情報に前記変換処理を行って、第２変換結果を取得し、
前記第１変換結果に射影処理を行って、第１射影結果を取得し、
前記第２変換結果に前記射影処理を行って、第２射影結果を取得し、
前記第１射影結果と、前記第２射影結果との誤差を示す第１誤差を取得し、
前記第１誤差を小さくするように、前記第２推論モデルを機械学習により訓練し、
前記変換処理は、前記第１射影結果と前記第２射影結果との誤差が、前記第１特徴情報に前記射影処理を行って取得される第１非変換射影結果と前記第２特徴情報に前記射影処理を行って取得される第２非変換射影結果との誤差よりも大きくなる処理である
情報処理方法。
さらに、
前記第２推論モデルの訓練では、前記第１データを前記第１推論モデルに入力してさらに取得される第１推論結果と、前記第１データを前記第２推論モデルに入力してさらに取得される第２推論結果との差分を示す第２誤差をさらに用いて前記第２推論モデルを機械学習により訓練する
請求項１に記載の情報処理方法。
プロセッサが実行する情報処理方法であって、
第１データを第１推論モデルに入力して、第１特徴情報を取得し、
前記第１データを第２推論モデルに入力して、第２特徴情報を取得し、
前記第１特徴情報に変換処理を行って、第１変換結果を取得し、
前記第２特徴情報に前記変換処理を行って、第２変換結果を取得し、
前記第１変換結果に射影処理を行って、第１射影結果を取得し、
前記第２変換結果に前記射影処理を行って、第２射影結果を取得し、
前記第１射影結果と、前記第２射影結果との誤差を示す第１誤差を取得し、
前記第１誤差を小さくするように、第３推論モデルを機械学習により訓練し、
前記変換処理は、前記第１射影結果と前記第２射影結果との誤差が、前記第１特徴情報に前記射影処理を行って取得される第１非変換射影結果と前記第２特徴情報に前記射影処理を行って取得される第２非変換射影結果との誤差よりも大きくなる処理であり、
訓練された前記第３推論モデルを変換するモデル変換処理を行って、前記第２推論モデルを更新する
情報処理方法。
さらに、
前記第３推論モデルの訓練では、前記第１データを前記第１推論モデルに入力してさらに取得される第１推論結果と前記第１データを前記第２推論モデルに入力してさらに取得される第２推論結果の差分を示す第２誤差をさらに用いて前記第３推論モデルを機械学習により訓練する
請求項３に記載の情報処理方法。
さらに、
前記第１誤差が大きくなるように前記射影処理を変更する
請求項１から請求項４のいずれか１項に記載の情報処理方法。
さらに、
前記第１誤差が大きくなるように前記変換処理を変更する
請求項１から請求項５のいずれか１項に記載の情報処理方法。
さらに、
前記第１誤差が大きくなるように前記変換処理と前記射影処理との組み合わせを変更する
請求項１から請求項４のいずれか１項に記載の情報処理方法。
前記第１推論モデル、前記第２推論モデル、及び、前記第３推論モデルは、ニューラルネットワークモデルであり、
前記モデル変換処理は、前記ニューラルネットワークモデルを軽量化する処理を含む
請求項３又は請求項４に記載の情報処理方法。
前記軽量化する処理は、前記ニューラルネットワークモデルを量子化する処理を含む
請求項８に記載の情報処理方法。
前記量子化する処理は、前記ニューラルネットワークモデルの係数を浮動小数点形式から固定小数点形式へ変換する処理を含む
請求項９に記載の情報処理方法。
前記軽量化する処理は、前記ニューラルネットワークモデルのノードを削減する処理、又は、前記ニューラルネットワークモデルのノードの接続を削減する処理を含む
請求項８から請求項１０のいずれか１項に記載の情報処理方法。
前記変換処理は、入力をスケール変換する処理を含む
請求項１から請求項１１のいずれか１項に記載の情報処理方法。
前記射影処理は、入力を内積空間へ射影する処理を含む
請求項１から請求項１２のいずれか１項に記載の情報処理方法。
前記射影処理は、入力の次元を削減する処理を含む
請求項１から請求項１３のいずれか１項に記載の情報処理方法。
前記次元を削減する処理は、主成分分析を含む
請求項１４に記載の情報処理方法。
前記第１データは、画像データである
請求項１から請求項１５のいずれか１項に記載の情報処理方法。
第２データを取得する取得部と、
前記取得部が取得した前記第２データを第２推論モデルに入力し、第２推論結果を取得して出力する推論部とを備え、
前記第２推論モデルは、
プロセッサが実行する情報処理方法であって、
第１データを第１推論モデルに入力して、第１特徴情報を取得し、
前記第１データを前記第２推論モデルに入力して、第２特徴情報を取得し、
前記第１特徴情報に変換処理を行って、第１変換結果を取得し、
前記第２特徴情報に前記変換処理を行って、第２変換結果を取得し、
前記第１変換結果に射影処理を行って、第１射影結果を取得し、
前記第２変換結果に前記射影処理を行って、第２射影結果を取得し、
前記第１射影結果と、前記第２射影結果との誤差を示す第１誤差を取得し、
前記第１誤差を小さくするように、前記第２推論モデルを機械学習により訓練し、
前記変換処理は、前記第１射影結果と前記第２射影結果との誤差が、前記第１特徴情報に前記射影処理を行って取得される第１非変換射影結果と前記第２特徴情報に前記射影処理を行って取得される第２非変換射影結果との誤差よりも大きくなる処理である、前記情報処理方法を実行することにより得られたモデルである
情報処理システム。
第２データを取得する取得部と、
前記取得部が取得した前記第２データを第２推論モデルに入力し、第２推論結果を取得して出力する推論部とを備え、
前記第２推論モデルは、
プロセッサが実行する情報処理方法であって、
第１データを第１推論モデルに入力して、第１特徴情報を取得し、
前記第１データを前記第２推論モデルに入力して、第２特徴情報を取得し、
前記第１特徴情報に変換処理を行って、第１変換結果を取得し、
前記第２特徴情報に前記変換処理を行って、第２変換結果を取得し、
前記第１変換結果に射影処理を行って、第１射影結果を取得し、
前記第２変換結果に前記射影処理を行って、第２射影結果を取得し、
前記第１射影結果と、前記第２射影結果との誤差を示す第１誤差を取得し、
前記第１誤差を小さくするように、第３推論モデルを機械学習により訓練し、
前記変換処理は、前記第１射影結果と前記第２射影結果との誤差が、前記第１特徴情報に前記射影処理を行って取得される第１非変換射影結果と前記第２特徴情報に前記射影処理を行って取得される第２非変換射影結果との誤差よりも大きくなる処理であり、
訓練された前記第３推論モデルを変換するモデル変換処理によって、前記第２推論モデルを更新する、前記情報処理方法を実行することにより得られたモデルである
情報処理システム。