JP7803111B2 - 機械学習プログラム、機械学習方法および情報処理装置 - Google Patents

Description

本発明は、機械学習プログラム、機械学習方法および情報処理装置に関する。

自然言語処理分野の深層学習を用いた機械学習モデルでは、事前学習とファインチューニングの２段階の学習を行うことが一般的である。

事前学習は、単語の意味や基本的な文法などの汎用的な言語学習等の学習を大量の文章データを例として実行する。この事前学習では、基本的には教師無し学習を実施し、大量のデータを言語のパターンサンプルとして機械学習モデルを学習させる。

ファインチューニングは、事前学習後の機械学習モデルに対して教師有り学習で明確なタスクを与える学習であり、事前学習を済ませているので、ある程度の文意等は読み取れるニューラルネットワークに対して、問題と正解情報を与えて指定されたタスクを解けるように学習する。どの程度文意が読み取れているかは事前学習時の学習内容が強く影響してくるため、最終的な精度は事前学習の内容に依存する。

精度の高い学習を行うためには、膨大なデータを用いた事前学習を行うことになるが、演算量が膨大となることから、処理時間を短縮するための高速化技術として、生成器（Generator）と識別器（Discriminator）との２つの言語処理ニューラルネットワークを用いる技術が知られている。

例えば、Generatorは、Masked Language Model（MLM）であり、ランダムにマスク化された文章を入力して適当な語句を埋める学習を実行する。Discriminatorは、Replaced Token Detection（RTD）であり、Generatorが学習穴埋めした文章を入力して、どの単語が元の入力文と異なるかを判別する問題を解くように学習を実行する。

米国特許出願公開第２０２１／００８９７２４号明細書 米国特許出願公開第２０２０／００１９８６３号明細書 特開２０２１－０１８５８８号公報

しかしながら、上記技術では、機械学習の高速化が図れるものの、期待する精度まで到達することが難しい。

例えば、Generator（MLM）では、マスク化された文字にのみ焦点を当て、前後の文章や単語から類推する単語を選ぶことから、あまりにもマスク化されている割合が多すぎるとそもそも穴埋めできないので、一般的に１５％ぐらいの割合をマスク化する。Discriminator（RTD）では、入力の単語全てに対してマスクか否かの判定を行い、文脈的におかしい部分はマスクに対してGeneratorが穴埋めした可能性が高いと判定するので、前後の単語の関係性等も判断基準になり、学習への単語の寄与は１００％となり、処理の高速化が図れる。

ところが、Generatorが学習する事でマスクの穴埋めの正解率が上がるので、期待する精度まで到達することが難しい。例えば、正解率が上がったGenerator（識別機）は、マスクされていないことを示す回答（original）の割合が増え、適当に「original」と答えれば高い正答率になると学習する。このため、学習の後半では、Generator（識別器）の到達精度が低くなる。

一つの側面では、高精度な機械学習モデルを生成することができる機械学習プログラム、機械学習方法および情報処理装置を提供することを目的とする。

第１の案では、機械学習プログラムは、コンピュータに、第一の入力データの入力に応じて前記第一の入力データ内の一部を書き換えた第二の入力データを生成する生成器と、前記生成器により生成された前記第二の入力データの入力に応じて書き換えられた部分を識別する識別器とを有する機械学習モデルに、訓練データを入力し、前記訓練データと前記生成器の出力結果とに基づき正解情報を生成し、前記生成器の出力結果と前記識別器の識別結果とに基づく第一の誤差情報、および、前記識別器の識別結果と前記正解情報とに基づく第二の誤差情報を用いて、前記機械学習モデルの機械学習を実行する、処理を実行させる。

一実施形態によれば、高精度な機械学習モデルを生成することができる。

図１は、実施例１にかかる情報処理装置を説明する図である。 図２は、実施例１にかかる情報処理装置の機能構成を示す図である。 図３は、実施例１にかかる機械学習モデルを説明する図である。 図４は、実施例１にかかる機械学習モデルの事前学習を説明する図である。 図５は、実施例１にかかる機械学習モデルのファインチューニングを説明する図である。 図６は、実施例１にかかる機械学習処理の流れを示すフローチャートである。 図７は、実施例１にかかる機械学習処理の注意点を説明する図である。 図８は、実施例２にかかる機械学習モデルの事前学習を説明する図である。 図９は、実施例２にかかる機械学習処理の流れを示すフローチャートである。 図１０は、ハードウェア構成例を説明する図である。

以下に、本願の開示する機械学習プログラム、機械学習方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

［情報処理装置の説明］
図１は、実施例１にかかる情報処理装置１０を説明する図である。情報処理装置１０は、自然言語処理分野の深層学習を用いた機械学習モデルを生成するコンピュータの一例であり、事前学習とファインチューニングの２段階の機械学習により、機械学習モデルを生成し、生成された機械学習モデルを用いて運用を実行する。なお、本実施例では、情報処理装置１０が、事前学習、ファインチューニング、運用の各フェーズを実行する例で説明するが、各フェーズを別々の装置が実行してもよい。

図１に示すように、情報処理装置１０が生成する機械学習モデルは、生成器と識別器とを含む敵対性ＲＴＤ（Replaced Token Detection）ネットワークにより構成される。具体的には、生成器は、第一の入力データの入力に応じて、入力データ内の一部を書き換えた第二の入力データを生成する。識別器は、生成器により生成された第二の入力データの入力に応じて書き換えられた部分を識別する。

このような状況において、事前学習フェーズでは、情報処理装置１０は、正解情報（ラベル）を有している教師なしの訓練データを用いて、敵対性ＲＴＤネットワークの生成器と識別器との機械学習を実行する。具体的には、情報処理装置１０は、訓練データと生成器の出力結果とに基づき正解情報を生成する。そして、情報処理装置１０は、生成器の出力結果と識別器の識別結果とに基づく第一の誤差情報、および、識別器の識別結果と正解情報とに基づく第二の誤差情報を用いて、機械学習モデルの機械学習を実行する。

このような事前学習が完了すると、情報処理装置１０は、ファインチューニングを実行する。具体的には、情報処理装置１０は、事前学習で訓練された識別器に対して、正解情報（ラベル）を有している教師ありの訓練データを用いて機械学習を実行する。

その後、ファインチューニングが完了すると、情報処理装置１０は、事前学習およびファインチューニングにより生成された識別器を用いて、運用を実行する。具体的には、情報処理装置１０は、識別対象データを識別器に入力し、識別器の識別結果に基づいて、識別対象データの正当性等を評価する。

このように、情報処理装置１０は、自然言語処理において、問題を生成する生成器を敵対性ネットワークとして構築し、識別器に対して識別が困難な問題を生成するようなトポロジを構築する。この結果、情報処理装置１０は、高精度な機械学習モデルを生成することができる。

［機能構成］
図２は、実施例１にかかる情報処理装置１０の機能構成を示す図である。図２に示すように、情報処理装置１０は、通信部１１、記憶部１２、制御部２０を有する。

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、管理者の端末との間で各種指示やデータの送受信を実行する。

記憶部１２は、各種データや制御部２０が実行する各種プログラムなどを記憶する処理部であり、例えばメモリやハードディスクなどにより実現される。この記憶部１２は、教師なし訓練データＤＢ１３、教師あり訓練データＤＢ１４、機械学習モデル１５を記憶する。

教師なし訓練データＤＢ１３は、事前学習で使用される訓練データであって、正解情報を含まない教師なし訓練データを記憶するデータベースである。具体的には、教師なし訓練データは、自然言語処理で使用されるデータであり、例えば「A bird fry in the sky」などのように、複数の単語を有する文書データである。

教師あり訓練データＤＢ１４は、ファインチューニングで使用される訓練データであって、正解情報を含む教師あり訓練データを記憶するデータベースである。具体的には、教師あり訓練データは、複数の単語を有する文書データと、文書データ内の各単語が置き換えられていない正当な単語（original）か置き換えられた単語（replace）であるかが示されたラベルとを有する。例えば、教師あり訓練データは、「文書データ「A bird fry in the sky」、正解情報（A：original，bird：original，fry：original，in：original，the：original，sky：original）」や、「文書データ「A cat fry in the sky」、正解情報（A：original，cat：replace，fry：original，in：original，the：original，sky：original）」などである。

機械学習モデル１５は、生成器と識別器とを有する敵対性ＲＴＤネットワークで構成されたモデルである。図３は、実施例１にかかる機械学習モデル１５を説明する図である。図３に示すように、機械学習モデル１５は、データ生成を行う生成器ＧＡとＲＴＤを実行する識別器Ｄとを有する。

生成器ＧＡは、第一の文書データの一例である文書データＸが入力された場合に、文書データＸが有する複数の単語のうち、少なくとも１つの単語を他の単語に置き換えた第二の文書データの一例である変更文書データＸ´を生成する。識別器Ｄは、変更文書データＸ´が入力された場合に、変更文書データＸ´内の各単語が置き換えられた単語か否かを識別した識別結果Ｙ´を出力する。なお、生成器ＧＡに生成処理は、複数の単語を置き換えた場合やいずれの単語も置き換えない場合を含む。

例えば、生成器ＧＡは、文書データＸ「A bird fry in the sky」が入力された場合に、「bird」を「dog」に置き換えた変更文書データＸ´「A dog fry in the sky」を生成して、識別器Ｄに入力する。識別器Ｄは、変更文書データＸ´「A dog fry in the sky」内の各単語が置き換えられたものか否かを示す識別結果Ｙ´「A：original，dog：replace，fry：original，in：original，the：original，sky：original」を出力する。

制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部２０は、事前学習部２１、チューニング部２２、運用実行部２３を有する。なお、事前学習部２１、チューニング部２２、運用実行部２３は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。

事前学習部２１は、機械学習モデル１５の事前学習を実行する処理部である。具体的には、事前学習部２１は、教師なし訓練データＤＢ１３に記憶される各教師なし訓練データを用いて、生成器ＧＡと識別器Ｄとの機械学習を実行する。

図４は、実施例１にかかる機械学習モデル１５の事前学習を説明する図である。図４に示すように、事前学習部２１は、教師なし訓練データである文書データＸを生成器ＧＡに入力し、生成器ＧＡにより生成された変更文書データＸ´を取得する。ここで、事前学習部２１は、文書データ内の各単語と変更文書データＸ´内の各単語とを比較し、どの単語が置き換えられなかった単語（original）でどの単語が置き換えられた単語（replace）かを示すラベルＹ（正解情報）を生成する。例えば、事前学習部２１は、文書データＸ「A bird fry in the sky」に対して変更文書データＸ´「A dog fry in the sky」が生成器ＧＡにより生成が生成された場合、ラベルＹ「A：original，dog：replace，fry：original，in：original，the：original，sky：original」を生成する。

続いて、事前学習部２１は、変更文書データＸ´を識別器Ｄに入力し、識別器Ｄの識別結果Ｙ´を取得する。そして、事前学習部２１は、識別器Ｄの合否をrewardとして、変更文書データＸ´のloss計算に利用し、識別器Ｄが正解するとlossが大きく、間違えるとlossが小さいと判断して誤差を算出する。すなわち、事前学習部２１は、敵対性の学習を実行する。

具体的には、事前学習部２１は、生成器ＧＡの出力結果Ｘ´と識別器Ｄの識別結果Ｙ´とに基づく第一の誤差情報、および、識別器Ｄの識別結果Ｙ´と正解情報Ｙとに基づく第二の誤差情報を用いて、機械学習モデル１５の機械学習を実行する。ここで、事前学習部２１は、第一の誤差情報として、変更文書データＸ´が識別器Ｄに識別されないように生成器ＧＡを訓練されるためのロス関数を用いた「loss_GA」を生成する。また、事前学習部２１は、第二の誤差情報として、識別結果Ｙ´と正解情報Ｙとの誤差が小さくなるように識別器Ｄを訓練されるためのロス関数を用いた「loss_D」を生成する。そして、事前学習部２１は、図４の式（１）に示すように、機械学習モデル１５全体のロス「Loss」を「Loss＝αloss_GA＋γloss_D」と算出し、この「Loss」が最小化するように、生成器ＧＡや識別器Ｄの各種パラメータ更新等を行う機械学習を実行する。なお、αとγは、任意の係数である。

チューニング部２２は、事前学習部２１による事前学習後に、ファインチューニングを実行する処理部である。具体的には、チューニング部２２は、教師あり訓練データＤＢ１４に記憶される各教師あり訓練データを用いて、事前学習後の識別器Ｄの教師あり学習を実行する。

図５は、実施例１にかかる機械学習モデル１５のファインチューニングを説明する図である。図５に示すように、チューニング部２２は、文書データＺとラベルＺ´とを含む教師あり訓練データを識別器Ｄに入力し、識別器Ｄの識別結果Ｇを取得する。そして、チューニング部２２は、ラベルＸ´と識別結果Ｇとの誤差が最小化するように、識別器Ｄの各種パラメータ等を更新する機械学習を実行する。

運用実行部２３は、事前学習およびファインチューニングにより生成された機械学習モデル１５の識別器Ｄを用いて、運用処理を実行する処理部である。例えば、運用実行部２３は、複数の単語を有する文章である識別対象データを識別器Ｄに入力し、識別器Ｄによる識別結果を取得する。ここで、識別器Ｄは、識別対象データ内の各単語が、置き換えられた単語か否かを識別する。そして、運用実行部２３は、識別結果内に「replace」が存在する場合、改変された可能性が高い不正なデータと判定し、アラーム等を出力する。

例えば、運用実行部２３は、受信したメールを識別器Ｄに入力し、当該メールが不正なメールか否かを識別する。なお、識別器Ｄは、不正なデータか否かの識別に限らず、不自然な単語（例えば誤記）を含むか否かの識別等にも適用することができる。例えば、運用実行部２３は、生成された文書データを識別器Ｄに入力して識別結果を取得し、識別結果内の「replace」に該当する単語を誤字等と判定することもできる。

［処理の流れ］
図６は、実施例１にかかる機械学習処理の流れを示すフローチャートである。図６に示すように、事前学習部２１は、事前学習を開始すると（Ｓ１０１：Ｙｅｓ）、教師なしの訓練データ（文書データ）を取得し（Ｓ１０２）、教師なしの訓練データを生成器ＧＡに入力して変更文書データを取得する（Ｓ１０３）。

続いて、事前学習部２１は、文書データと変更文書データとから正解情報を生成する（Ｓ１０４）。そして、事前学習部２１は、変更文書データを識別器Ｄに入力して識別結果を取得する（Ｓ１０５）。

その後、事前学習部２１は、変更文書データと識別結果から誤差情報を算出し（Ｓ１０６）、正解情報と識別結果から誤差情報を算出し（Ｓ１０７）、各誤差情報に基づき機械学習を実行する（Ｓ１０８）。

ここで、事前学習部２１は、事前学習を継続する場合（Ｓ１０９：Ｎｏ）、Ｓ１０２以降を繰り返す。

一方、事前学習を終了する場合（Ｓ１０９：Ｙｅｓ）、チューニング部２２は、事前学習済みの識別器Ｄのパラメータ等を用いて識別器Ｄを構成し（Ｓ１１０）、教師ありの訓練データを識別器Ｄに入力して識別結果を取得する（Ｓ１１１）。そして、チューニング部２２は、訓練データの正解情報と識別器Ｄの識別結果から誤差情報を算出し（Ｓ１１２）、誤差情報に基づき、識別器Ｄの機械学習を実行する（Ｓ１１３）。

ここで、チューニング部２２は、ファインチューニングを継続する場合（Ｓ１１４：Ｎｏ）、Ｓ１１０以降を繰り返し、ファインチューニングを終了する場合（Ｓ１１４：Ｙｅｓ）、機械学習を終了する。

［効果］
上述したように、情報処理装置１０は、識別器を騙すための学習を行う敵対性ネットワークの要素を適応した機械学習モデル１５の生成を実行することができる。この結果、情報処理装置１０は、事前学習の精度を向上させることができ、識別器の最終的な到達精度も向上させることができる。また、情報処理装置１０は、事前学習では教師なし訓練データを用いるので、教師ありの訓練データを用意するコストと手間を削減しつつ、事前学習の精度を向上させることができる。すなわち、情報処理装置１０は、自然言語処理用の教師無し学習の事前学習において、優秀な問題情報を提供するネットワークモデルを構築して高精度なモデルを生成することができる。

ところで、実施例１による敵対性ＲＴＤネットワークを用いた機械学習モデル１５では、生成器ＧＡが、識別器Ｄが間違える事に特化するため、識別器Ｄが判別できないように元の文章を完全に壊して全く別の文意が通った適当な文章を生成するように訓練される可能性もある。つまり、生成器ＧＡが、どんな入力をしても固定の文章を出力するように訓練される可能性もある。

図７は、実施例１にかかる機械学習処理の注意点を説明する図である。生成器ＧＡは、識別器Ｄが間違える事に特化する訓練が進み過ぎると、図７に示すように、何の入力に対しても同じ出力を行う。例えば、図７の（ａ）に示すように、識別器Ｄは、「I ate breakfast at seven AM」が入力されても「A bird fry in the sky」を出力し、「ppp is pen pine orange pen」が入力されても「A bird fry in the sky」を出力する。この結果、識別器Ｄでは、すべてが「original」として扱われるようになり、識別器Ｄの機械学習が進まなくなり、識別器Ｄを機械学習させるための問題として成り立たなくなる。

このような問題として成り立たなく可能性に対して、実施例２では、生成器ＧＡが単純に識別器Ｄに対して判別困難な問題を作るだけだと元の文章が崩壊させるので、画像処理に用いられるCycleGAN（Generative Adversarial Network）を自然言語処理に適用し、文章として一貫性を持った判別困難な問題を生成するように学習させる例を説明する。

図８は、実施例２にかかる機械学習モデル１５の事前学習を説明する図である。図８に示すように、実施例２にかかる機械学習モデル１５は、実施例１で説明した生成器ＧＡと識別器Ｄに加えて、復元器ＧＢを有する。復元器ＧＢは、文書データＸの入力に応じて生成器ＧＡが生成した変更文書データＸ´が入力されると、文書データＸを復元した復元文書データＸ´´を生成する。

例えば、生成器ＧＡは、文書データＸ「A bird fry in the sky」が入力されると、変更文書データＸ´「A dog fry in the sky」を生成する。そして、復元器ＧＢは、変更文書データＸ´「A dog fry in the sky」が入力されると、文書データＸを復元した復元文書データＸ´´を生成する。

ここで、事前学習部２１は、実施例１で説明した第一の誤差情報と第二の誤差情報に加えて、文書データＸと復元器ＧＢにより生成された第三の文書データの一例である復元文書データＸ´´とに基づく第三の誤差情報を生成する。事前学習部２１は、この第三の誤差情報として、生成器ＧＡに入力される文書データＸと、復元器ＧＢが復元する復元文書データとの誤差が小さくなるように復元器ＧＢを訓練されるためのロス関数を用いた「loss_GB」を生成する。

そして、事前学習部２１は、図８の式（２）に示すように、機械学習モデル１５全体のロス「Loss」を「Loss＝αloss_GA＋βloss_GB＋γloss_D」と算出し、この「Loss」が最小化するように、生成器ＧＡ、復元器ＧＢ、識別器Ｄの各種パラメータ更新等を行う機械学習を実行する。すなわち、「αloss_GA」が、いわゆる敵対性Lossであり、「βloss_GB」が、いわゆる一貫性Lossであり、「γloss_D」が、いわゆるRTDLossである。なお、α、β、γは、任意の係数である。

図９は、実施例２にかかる機械学習処理の流れを示すフローチャートである。図９に示すように、事前学習部２１は、事前学習を開始すると（Ｓ２０１：Ｙｅｓ）、教師なしの訓練データ（文書データ）を取得し（Ｓ２０２）、教師なしの訓練データを生成器ＧＡに入力して変更文書データを取得する（Ｓ２０３）。

続いて、事前学習部２１は、変更文書データを復元器ＧＢに入力して復元文書データを取得する（Ｓ２０４）。そして、事前学習部２１は、文書データと変更文書データとから正解情報を生成し（Ｓ２０５）、変更文書データを識別器Ｄに入力して識別結果を取得する（Ｓ２０６）。

その後、事前学習部２１は、変更文書データと識別結果から誤差情報を算出し（Ｓ２０７）、正解情報と識別結果から誤差情報を算出し（Ｓ２０８）、文書データと復元文書データから誤差情報を算出する（Ｓ２０９）。

そして、事前学習部２１は、各誤差情報に基づき機械学習を実行し（Ｓ２１０）、事前学習を継続する場合（Ｓ２１１：Ｎｏ）、Ｓ２０２以降を繰り返す。一方、事前学習を終了する場合（Ｓ２１１：Ｙｅｓ）、実施例１と同様、チューニング部２２によるファインチューニングが実行される（Ｓ２１２）。

上述したように、実施例２にかかる情報処理装置１０は、生成器ＧＡの出力に一貫性を持たせつつ、識別器Ｄに対する敵対性問題を生成するように、機械学習モデル１５の機械学習を実行する。この結果、機械学習の後半になるほど識別器Ｄが判別するのが難しい問題を生成器ＧＡが生成するように、生成器ＧＡの機械学習が進む。識別器Ｄは文章データ中の別の複数単語情報を加味して判別せざるを得なくなる。また、生成器側は言語処理能力を持たないので、生成器ＧＡには、「どの単語が類似した意味を持つ単語になるか」という機械学習になり、文意を読み取るというタスクにはならない。したがって、実施例２にかかる情報処理装置１０は、図７で説明した問題とならない状態の発生を軽減しつつ、高精度なモデルを生成することができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

［数値等］
上記実施例で用いた数値例、文書データ例、ラベル名、ロス関数、単語数等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。

また、上記実施例では、文書データを用いた言語処理を例にして説明したが、これに限定されるものではない。例えば、画像データを用いた画像処理にも適用することができる。その場合、例えば、生成器ＧＡは、画像データ内のいずれかの領域を他の画像データに置き換えた変換画像データを生成し、識別器Ｄは、変換画像データ内の各領域がoriginalかreplaceかを識別し、復元器ＧＢは、変換画像データから復元画像データを生成する。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア］
図１０は、ハードウェア構成例を説明する図である。図１０に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１０に示した各部は、バス等で相互に接続される。

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、事前学習部２１、チューニング部２２、運用実行部２３等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、事前学習部２１、チューニング部２２、運用実行部２３等と同様の処理を実行するプロセスを実行する。

このように、情報処理装置１０は、プログラムを読み出して実行することで機械学習方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。

１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 教師なし訓練データＤＢ
１４ 教師あり訓練データＤＢ
１５ 機械学習モデル
２０ 制御部
２１ 事前学習部
２２ チューニング部
２３ 運用実行部

Claims (7)

1. コンピュータに、
   第一の入力データの入力に応じて前記第一の入力データ内の一部を書き換えた第二の入力データを生成する生成器と、前記生成器により生成された前記第二の入力データの入力に応じて書き換えられた部分を識別する識別器とを有する機械学習モデルに、訓練データを入力し、
   前記訓練データと前記生成器の出力結果とに基づき正解情報を生成し、
   前記生成器の出力結果と前記識別器の識別結果とに基づく第一の誤差情報、および、前記識別器の識別結果と前記正解情報とに基づく第二の誤差情報を用いて、前記機械学習モデルの機械学習を実行する、
   処理を実行させ、
   前記機械学習モデルの生成器は、
   第一の文書データの入力に応じて、前記第一の文書データ内の単語を別の単語に置き換えた第二の文書データを生成し、
   前記機械学習モデルの識別器は、
   前記生成器により生成された前記第二の文書データの入力に応じて、前記第二の文書データ内の各単語が前記生成器により置き換えられた単語であるか否かの識別を実行し、
   前記機械学習モデルは、
   前記生成器により生成された前記第二の文書データの入力に応じて、前記第一の文書データを復元した第三の文書データを生成する復元器をさらに有し、
   前記機械学習を実行する処理は、
   前記第一の誤差情報、前記第二の誤差情報、および、前記第一の文書データと前記復元器により生成された前記第三の文書データとに基づく第三の誤差情報に基づき、前記機械学習モデルの機械学習を実行する、機械学習プログラム。
2. 前記機械学習を実行する処理は、
   前記第一の誤差情報として、前記第二の文書データが前記識別器に識別されないように前記生成器を訓練させるためのロス関数を用いた誤差情報を生成し、
   前記第二の誤差情報として、前記識別結果と前記正解情報との誤差が小さくなるように前記識別器を訓練させるためのロス関数を用いた誤差情報を生成し、
   前記第三の誤差情報として、前記第一の文書データと前記第三の文書データとの誤差が小さくなるように前記復元器を訓練させるためのロス関数を用いた誤差情報を生成する、請求項１に記載の機械学習プログラム。
3. 前記機械学習を実行する処理は、
   前記第一の誤差情報と前記第二の誤差情報と前記第三の誤差情報の合計値が最小化するように、前記機械学習モデルの機械学習を実行する、請求項１または２に記載の機械学習プログラム。
4. 前記訓練データを用いて機械学習が実行された前記識別器に、正解情報が付与された教師ありの訓練データを入力し、
   前記教師ありの訓練データの入力に応じて前記識別器が出力した識別結果と、前記正解情報との誤差が最小化するように、前記識別器の機械学習を実行する、処理を前記コンピュータに実行させる請求項１から３のいずれか一つに記載の機械学習プログラム。
5. 前記教師ありの訓練データを用いた前記機械学習により生成された前記識別器に、複数の単語を含む識別対象の文書データを入力し、
   前記識別器の出力結果に基づき、前記識別対象の文書データ内の前記複数の単語のうち改変された単語を識別する、
   処理を前記コンピュータに実行させる請求項４に記載の機械学習プログラム。
6. コンピュータが、
   第一の入力データの入力に応じて前記第一の入力データ内の一部を書き換えた第二の入力データを生成する生成器と、前記生成器により生成された前記第二の入力データの入力に応じて書き換えられた部分を識別する識別器とを有する機械学習モデルに、訓練データを入力し、
   前記訓練データと前記生成器の出力結果とに基づき正解情報を生成し、
   前記生成器の出力結果と前記識別器の識別結果とに基づく第一の誤差情報、および、前記識別器の識別結果と前記正解情報とに基づく第二の誤差情報を用いて、前記機械学習モデルの機械学習を実行する、
   処理を実行し、
   前記機械学習モデルの生成器は、
   第一の文書データの入力に応じて、前記第一の文書データ内の単語を別の単語に置き換えた第二の文書データを生成し、
   前記機械学習モデルの識別器は、
   前記生成器により生成された前記第二の文書データの入力に応じて、前記第二の文書データ内の各単語が前記生成器により置き換えられた単語であるか否かの識別を実行し、
   前記機械学習モデルは、
   前記生成器により生成された前記第二の文書データの入力に応じて、前記第一の文書データを復元した第三の文書データを生成する復元器をさらに有し、
   前記機械学習を実行する処理は、
   前記第一の誤差情報、前記第二の誤差情報、および、前記第一の文書データと前記復元器により生成された前記第三の文書データとに基づく第三の誤差情報に基づき、前記機械学習モデルの機械学習を実行する、機械学習方法。
7. 第一の入力データの入力に応じて前記第一の入力データ内の一部を書き換えた第二の入力データを生成する生成器と、前記生成器により生成された前記第二の入力データの入力に応じて書き換えられた部分を識別する識別器とを有する機械学習モデルに、訓練データを入力し、
   前記訓練データと前記生成器の出力結果とに基づき正解情報を生成し、
   前記生成器の出力結果と前記識別器の識別結果とに基づく第一の誤差情報、および、前記識別器の識別結果と前記正解情報とに基づく第二の誤差情報を用いて、前記機械学習モデルの機械学習を実行する、
   制御部を有し、
   前記機械学習モデルの生成器は、
   第一の文書データの入力に応じて、前記第一の文書データ内の単語を別の単語に置き換えた第二の文書データを生成し、
   前記機械学習モデルの識別器は、
   前記生成器により生成された前記第二の文書データの入力に応じて、前記第二の文書データ内の各単語が前記生成器により置き換えられた単語であるか否かの識別を実行し、
   前記機械学習モデルは、
   前記生成器により生成された前記第二の文書データの入力に応じて、前記第一の文書データを復元した第三の文書データを生成する復元器をさらに有し、
   前記制御部は、
   前記第一の誤差情報、前記第二の誤差情報、および、前記第一の文書データと前記復元器により生成された前記第三の文書データとに基づく第三の誤差情報に基づき、前記機械学習モデルの機械学習を実行する、情報処理装置。