JP7807658B2 - 書換プログラム、書換方法および情報処理装置 - Google Patents

Description

本発明は書換プログラム、書換方法および情報処理装置に関する。

コンピュータは、訓練データを用いて機械学習モデルを訓練する機械学習を行うことがある。訓練データは、機械学習モデルに入力される入力データと、機械学習モデルが出力する予測データに対応する正解データとを含むことがある。コンピュータは、入力データから生成される予測データと正解データとの間の誤差が小さくなるように、機械学習モデルに含まれるパラメータ値を最適化する。

コンピュータに機械学習を実行させるユーザは、機械学習の手順を規定した機械学習プログラムを作成することがある。機械学習プログラムでは、訓練データの前処理の方法、機械学習モデルの構造、機械学習アルゴリズムの挙動を制御するためのハイパーパラメータなどの各種の調整項目の値が選択される。これらの調整項目は、機械学習モデルの予測精度に影響を与える。そのため、機械学習モデルのタスクおよび使用する訓練データが同一であっても、機械学習プログラムによって予測精度が異なることがある。

なお、階層化されたプログラムを複数のプログラム要素に分割し、各プログラム要素の属性および階層に基づいて機械学習を行い、それら複数のプログラム要素を複数のグループに分類する情報処理装置が提案されている。

国際公開第２０１８／０６６０７４号

コンピュータは、既存の機械学習プログラムに対するスコアを算出したいことがある。スコアとしては、その機械学習プログラムによって訓練される機械学習モデルの予測精度を用いることが考えられる。例えば、ユーザが機械学習モデルのタスクおよび訓練データを指定すると、そのタスクを実現するための機械学習プログラムを生成することでユーザの負担を軽減するＡｕｔｏＭＬ（Auto Machine Learning）がある。コンピュータは、ＡｕｔｏＭＬが高品質な機械学習プログラムを生成するように、スコアの高い既存の機械学習プログラムを用いてＡｕｔｏＭＬをチューニングしたいことがある。

ここで、既存の機械学習プログラムは、スコアを自動的に算出するように記載されているとは限らない。この点、実行時にスコアが算出されるように、ユーザが既存の機械学習プログラムを手作業で編集することも考えられる。しかし、既存の機械学習プログラムを理解して手作業で編集することは、ユーザの負担が大きい。例えば、ＡｕｔｏＭＬのチューニングのために多数の既存の機械学習プログラムを収集する場合、これら多数の機械学習プログラムを手作業で編集することはユーザの負担が大きい。そこで、１つの側面では、本発明は、既存の機械学習プログラムに対するスコアを算出することを目的とする。

１つの態様では、コンピュータに以下の処理を実行させる書換プログラムが提供される。機械学習ライブラリに含まれるモジュールのモジュール名に基づいて、機械学習ライブラリを使用する機械学習プログラムの中から、機械学習モデルを訓練する訓練関数を呼び出す第１のコードを検出する。第１のコードの前に、第１のコードで訓練関数に渡される第１の訓練データを、第２の訓練データとテストデータとに分割する第２のコードを挿入する。第１のコードを、訓練関数に第２の訓練データを渡すように書き換える。第１のコードの後に、訓練された機械学習モデルとテストデータに含まれる入力データとから生成される予測データと、テストデータに含まれる正解データとに基づいてスコアを算出する第３のコードを挿入する。

また、１つの態様では、コンピュータが実行する書換方法が提供される。また、１つの態様では、記憶部と処理部とを有する情報処理装置が提供される。

１つの側面では、既存の機械学習プログラムに対するスコアを算出できる。

第１の実施の形態の情報処理装置を説明するための図である。 第２の実施の形態の情報処理装置のハードウェア例を示す図である。 ＡｕｔｏＭＬを用いた機械学習の流れの例を示す図である。 ＡＰＩドキュメントとクラス名リストの例を示す図である。 機械学習プログラムの書き換え例を示す図である。 書き換え前の抽象構文木の例を示す図である。 書き換え後の抽象構文木の例を示す図である。 情報処理装置の機能例を示すブロック図である。 スコア算出の手順例を示すフローチャートである。

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
第１の実施の形態を説明する。

図１は、第１の実施の形態の情報処理装置を説明するための図である。
第１の実施の形態の情報処理装置１０は、実行時にスコアが算出されるように機械学習プログラムを書き換える。情報処理装置１０は、複数の機械学習プログラムをそれぞれ書き換えてもよい。また、情報処理装置１０は、書き換えられた機械学習プログラムを実行することで、機械学習プログラムに対するスコアを算出してもよい。情報処理装置１０は、スコアが付与された機械学習プログラムを用いて、ＡｕｔｏＭＬをチューニングしてもよい。ＡｕｔｏＭＬは、機械学習モデルのタスクおよび訓練データが指定されると、そのタスクを実現するための機械学習プログラムを生成する。情報処理装置１０は、クライアント装置でもよいしサーバ装置でもよい。情報処理装置１０が、コンピュータ、書換装置または機械学習装置と呼ばれてもよい。

情報処理装置１０は、記憶部１１および処理部１２を有する。記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性ストレージでもよい。処理部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサである。ただし、処理部１２が、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電子回路を含んでもよい。プロセッサは、例えば、ＲＡＭなどのメモリ（記憶部１１でもよい）に記憶されたプログラムを実行する。プロセッサの集合が、マルチプロセッサまたは単に「プロセッサ」と呼ばれてもよい。

記憶部１１は、機械学習プログラム１４を記憶する。機械学習プログラム１４は、高水準言語で記載されたソースコードを含んでもよく、コンパイル済みのオブジェクトコードを含んでもよい。機械学習プログラム１４は、機械学習ライブラリ１３を使用する。機械学習ライブラリ１３は、機械学習における典型的な処理を規定した再利用可能な１以上のモジュールを含むライブラリプログラムである。機械学習ライブラリ１３を使用することで、ユーザは効率的に機械学習プログラム１４を作成することができる。

機械学習ライブラリ１３は、機械学習モデルの種類または機械学習アルゴリズムの種類に対応するモジュールを含んでもよい。例えば、機械学習ライブラリ１３は、ニューラルネットワーク、決定木、サポートベクタマシーンなどの機械学習モデルに対応するモジュールを含む。モジュールは関数を含むことがあり、機械学習プログラム１４はモジュールの関数を呼び出すことがある。モジュールはオブジェクト指向言語のクラスに相当してもよく、関数はオブジェクト指向言語のメソッドに相当してもよい。関数には、機械学習モデルを訓練する訓練関数が含まれてもよく、入力データに対応する予測データを機械学習モデルに出力させる予測関数が含まれてもよい。

なお、機械学習モデルは、画像データから物体クラスを判定する画像認識モデルであってもよい。また、機械学習モデルは、テキストデータに対して固有表現抽出や機械翻訳や類義語検索や応答文生成などの自然言語処理を行う自然言語処理モデルであってもよい。

処理部１２は、機械学習プログラム１４を分析する。処理部１２は、機械学習プログラム１４がスコアを算出するコードを含まない場合、スコアを算出するコードを含むように機械学習プログラム１４を書き換える。これによって、機械学習プログラム１４が機械学習プログラム１５に書き換えられる。機械学習プログラム１５は、ソースコードを含んでもよくオブジェクトコードを含んでよい。なお、機械学習ライブラリ１３や機械学習プログラム１５が、記憶部１１に記憶されてもよい。

処理部１２は、機械学習ライブラリ１３に含まれるモジュールのモジュール名に基づいて、機械学習プログラム１４の中から、機械学習モデルを訓練する訓練関数を呼び出すコード１４－１を検出する。例えば、処理部１２は、機械学習プログラム１４からモジュール名を含む命令文を検索することで、そのモジュールのインスタンスを示す変数を特定する。モジュール名は、機械学習モデルの種類に対応するモデルモジュールの名称であってもよく、変数は、モデルモジュールのインスタンスを示すモデル変数であってもよい。

そして、例えば、処理部１２は、変数が示すインスタンスの訓練関数を呼び出すコード１４－１を検出する。訓練関数は、入力データから生成される予測データと正解データとの間の誤差が小さくなるように、機械学習モデルに含まれるパラメータ値を最適化する。訓練関数の関数名は、事前に特定されてもよく、機械学習ライブラリ１３に基づいて特定されてもよい。訓練関数は、ｆｉｔ関数であってもよい。

コード１４－１を検出するために、処理部１２は、機械学習ライブラリ１３の使用方法を示すドキュメントを分析し、このドキュメントからモジュール名を抽出してもよい。処理部１２は、ドキュメントから抽出されたモジュール名に基づいてコード１４－１を検出してもよい。ドキュメントは、ＡＰＩ（Application Programming Interface）ドキュメントと呼ばれてもよい。ドキュメントには、機械学習ライブラリ１３に含まれるモジュールのモジュール名や、モジュールに含まれる関数の関数名が記載されていてもよい。なお、「コード」は、１以上の命令または１行以上の命令文を含んでもよい。

処理部１２は、コード１４－１の前にコード１５－２を挿入する。例えば、処理部１２は、コード１４－１の直前にコード１５－２を挿入する。コード１５－２は、コード１４－１において訓練関数に渡される第１の訓練データを、第２の訓練データとテストデータとに分割する。コード１５－２は、機械学習ライブラリ１３に規定された分割関数を呼び出してもよい。例えば、第１の訓練データは、入力データと正解データとをそれぞれ含む複数のレコードを含む。正解データは、Ground Truth、教師ラベルまたは教師データと呼ばれてもよい。その場合、コード１５－２は、第１の訓練データのうちの一部のレコードを第２の訓練データとし、残りのレコードをテストデータとする。例えば、コード１５－２は、第１の訓練データに含まれるレコードの１０％をテストデータとする。

処理部１２は、コード１４－１を、第１の訓練データに代えて第２の訓練データを訓練関数に渡すように書き換える。これにより、コード１４－１がコード１５－１に書き換えられる。なお、コード１５－２では、入力データおよび正解データが、訓練データ用の入力データ、テストデータ用の入力データ、訓練データ用の正解データおよびテストデータ用の正解データに分割されてもよい。コード１５－１では、訓練データ用の入力データと訓練データ用の正解データとが、訓練関数に入力されてもよい。

処理部１２は、コード１４－１の後にコード１５－３を挿入する。例えば、処理部１２は、コード１４－１の直後にコード１５－３を挿入する。コード１５－３は、訓練された機械学習モデルが出力する予測データとテストデータに含まれる正解データとに基づいてスコアを算出する。スコアは、正答率のように機械学習モデルの予測精度を示してもよい。コード１５－３は、機械学習ライブラリ１３に規定されたスコア関数を呼び出してもよい。例えば、コード１５－３では、機械学習モデルが出力する予測データとテストデータ用の正解データとが、スコア関数に入力される。

予測データを生成するため、処理部１２は、機械学習プログラム１４の中から予測関数を呼び出すコードを検索してもよい。例えば、処理部１２は、コード１４－１と同じ変数が示すインスタンスの予測関数を呼び出すコードを検索する。予測関数は、ｐｒｅｄｉｃｔ関数であってもよい。該当するコードが検出された場合、処理部１２は、検出されたコードを書き換えてもよい。該当するコードが検出されない場合、処理部１２は、予測関数を呼び出すコードを挿入してもよい。書き換えられたコードまたは挿入されたコードでは、テストデータ用の入力データが予測関数に入力されてもよく、予測関数が出力する予測データが変数に格納されてもよい。

これにより、コード１５－１，１５－２，１５－３を含む機械学習プログラム１５が生成される。処理部１２は、生成された機械学習プログラム１５を不揮発性ストレージに保存してもよいし、表示装置に表示してもよいし、他の情報処理装置に送信してもよい。また、処理部１２は、機械学習プログラム１５を実行してスコアを算出してもよい。その場合、処理部１２は、算出されたスコアを機械学習プログラム１４または機械学習プログラム１５と対応付けて保存してもよい。また、処理部１２は、算出されたスコアを表示装置に表示してもよいし、他の情報処理装置に送信してもよい。

なお、処理部１２は、機械学習プログラム１４の構文解析を行って抽象構文木（ＡＳＴ：Abstract Syntax Tree）を生成してもよい。抽象構文木は、モジュール名や関数名や変数名などのトークンの関係を木構造で表現する。処理部１２は、生成された抽象構文木を用いて、コード１４－１の検出、コード１５－２の挿入、コード１４－１の書き換え、コード１５－３の挿入の一部または全部を行ってもよい。処理部１２は、抽象構文木を書き換えてもよく、書き換えられた抽象構文木を機械学習プログラム１５に変換してもよい。

以上説明したように第１の実施の形態の情報処理装置１０は、機械学習ライブラリ１３に含まれるモジュールのモジュール名に基づいて、訓練関数を呼び出すコード１４－１を機械学習プログラム１４の中から検出する。情報処理装置１０は、コード１４－１の前に、訓練関数に渡される第１の訓練データを第２の訓練データとテストデータとに分割するコード１５－２を挿入する。情報処理装置１０は、コード１４－１を、訓練関数に第２の訓練データを渡すように書き換える。情報処理装置１０は、コード１４－１の後に、機械学習モデルとテストデータに含まれる入力データとから生成される予測データと、テストデータに含まれる正解データとに基づいてスコアを算出するコード１５－３を挿入する。

これにより、機械学習プログラム１４がスコアを算出するように記載されていない場合であっても、生成された機械学習プログラム１５を実行することで、機械学習プログラム１４に対するスコアが自動的に算出される。よって、機械学習プログラム１４を人手で編集する負担が削減される。例えば、機械学習モデルのタスクおよび訓練データから機械学習プログラムを生成するＡｕｔｏＭＬをチューニングするために、スコアが付与された複数の機械学習プログラムのサンプルが使用されることがある。その場合、複数の機械学習プログラムを人手で編集する負担が軽減される。また、機械学習プログラム１４に対して、機械学習モデルの予測精度を示す適切なスコアが算出される。

なお、情報処理装置１０は、機械学習ライブラリ１３の使用方法を示すドキュメントからモジュール名を抽出してもよく、抽出されたモジュール名を機械学習プログラム１４から検索してもよい。これにより、訓練関数を呼び出すコード１４－１が高精度に検出される。また、情報処理装置１０は、機械学習プログラム１４の構文解析を行って抽象構文木を生成してもよく、抽象構文木を用いてコード１４－１の検出や書き換えなどの処理を行ってもよい。これにより、情報処理装置１０は、機械学習プログラム１４の書き方に依存せずに、高精度に上記の処理を行うことができる。

また、情報処理装置１０は、機械学習プログラム１４の中から予測関数を呼び出すコードを検出してもよく、テストデータに含まれる入力データを予測関数に渡すように当該コードを書き換えてもよい。このとき、予測関数に入力されるハイパーパラメータ値は変更されなくてもよい。これにより、機械学習プログラム１４に含まれる他のコードと整合するように、入力データに対応する予測データが生成される。

また、モジュールは機械学習モデルを表すクラスであってもよく、訓練関数はクラスに含まれるメソッドであってもよい。これにより、機械学習モデルを訓練するコード１４－１が高精度に検出される。また、情報処理装置１０は、第１の訓練データを用いて機械学習プログラム１５を実行してもよく、算出されたスコアを機械学習プログラム１４と対応付けて保存してもよい。これにより、機械学習プログラム１４に対してスコアが付与され、ＡｕｔｏＭＬのチューニングなどの他のタスクが促進される。

［第２の実施の形態］
次に、第２の実施の形態を説明する。
第２の実施の形態の情報処理装置１００は、複数の機械学習プログラムのサンプルを収集し、各機械学習プログラムにスコアを付与する。情報処理装置１００は、スコアが付与された複数の機械学習プログラムを用いて、タスクに応じた機械学習プログラムを生成するＡｕｔｏＭＬを訓練する。情報処理装置１００は、訓練されたＡｕｔｏＭＬを用いて、所望のタスクに応じた機械学習プログラムを生成する。そして、情報処理装置１００は、生成された機械学習プログラムを実行して機械学習モデルを生成する。ただし、上記の処理が異なる情報処理装置によって実行されてもよい。

情報処理装置１００は、クライアント装置でもよいしサーバ装置でもよい。情報処理装置１００が、コンピュータまたは機械学習装置と呼ばれてもよい。情報処理装置１００は、第１の実施の形態の情報処理装置１０に対応する。

図２は、第２の実施の形態の情報処理装置のハードウェア例を示す図である。
情報処理装置１００は、バスに接続されたＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、ＧＰＵ１０４、入力インタフェース１０５、媒体リーダ１０６および通信インタフェース１０７を有する。ＣＰＵ１０１は、第１の実施の形態の処理部１２に対応する。ＲＡＭ１０２またはＨＤＤ１０３は、第１の実施の形態の記憶部１１に対応する。

ＣＰＵ１０１は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０３に記憶されたプログラムおよびデータをＲＡＭ１０２にロードし、プログラムを実行する。情報処理装置１００は、複数のプロセッサを有してもよい。

ＲＡＭ１０２は、ＣＰＵ１０１で実行されるプログラムおよびＣＰＵ１０１で演算に使用されるデータを一時的に記憶する揮発性半導体メモリである。情報処理装置１００は、ＲＡＭ以外の種類の揮発性メモリを有してもよい。

ＨＤＤ１０３は、オペレーティングシステム（ＯＳ：Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラムと、データとを記憶する不揮発性ストレージである。情報処理装置１００は、フラッシュメモリやＳＳＤ（Solid State Drive）などの他の種類の不揮発性ストレージを有してもよい。

ＧＰＵ１０４は、ＣＰＵ１０１と連携して画像処理を行い、情報処理装置１００に接続された表示装置１１１に画像を出力する。表示装置１１１は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイまたはプロジェクタである。情報処理装置１００に、プリンタなどの他の種類の出力デバイスが接続されてもよい。また、ＧＰＵ１０４は、ＧＰＧＰＵ（General Purpose Computing on Graphics Processing Unit）として使用されてもよい。ＧＰＵ１０４は、ＣＰＵ１０１からの指示に応じてプログラムを実行し得る。情報処理装置１００は、ＲＡＭ１０２以外の揮発性半導体メモリをＧＰＵメモリとして有してもよい。

入力インタフェース１０５は、情報処理装置１００に接続された入力デバイス１１２から入力信号を受け付ける。入力デバイス１１２は、例えば、マウス、タッチパネルまたはキーボードである。情報処理装置１００に複数の入力デバイスが接続されてもよい。

媒体リーダ１０６は、記録媒体１１３に記録されたプログラムおよびデータを読み取る読み取り装置である。記録媒体１１３は、例えば、磁気ディスク、光ディスクまたは半導体メモリである。磁気ディスクには、フレキシブルディスク（ＦＤ：Flexible Disk）およびＨＤＤが含まれる。光ディスクには、ＣＤ（Compact Disc）およびＤＶＤ（Digital Versatile Disc）が含まれる。媒体リーダ１０６は、記録媒体１１３から読み取られたプログラムおよびデータを、ＲＡＭ１０２やＨＤＤ１０３などの他の記録媒体にコピーする。読み取られたプログラムは、ＣＰＵ１０１によって実行されることがある。

記録媒体１１３は、可搬型記録媒体であってもよい。記録媒体１１３は、プログラムおよびデータの配布に用いられることがある。また、記録媒体１１３およびＨＤＤ１０３が、コンピュータ読み取り可能な記録媒体と呼ばれてもよい。

通信インタフェース１０７は、ネットワーク１１４を介して他の情報処理装置と通信する。通信インタフェース１０７は、スイッチやルータなどの有線通信装置に接続される有線通信インタフェースでもよいし、基地局やアクセスポイントなどの無線通信装置に接続される無線通信インタフェースでもよい。

次に、ＡｕｔｏＭＬについて説明する。
図３は、ＡｕｔｏＭＬを用いた機械学習の流れの例を示す図である。
情報処理装置１００は、ＡｕｔｏＭＬを訓練するためのサンプルデータを収集する。サンプルデータは、複数の機械学習プログラムそれぞれについて、データセットと問題定義と機械学習プログラムとスコアとを対応付ける。

データセットは、機械学習プログラムに入力される訓練データである。データセットは複数のレコードを含み、各レコードは２以上のカラムの値を含む。データセットは、テーブルデータであってもよい。２以上のカラムのうちの一部のカラムが説明変数として使用され、説明変数の値が入力データとして使用される。また、２以上のカラムのうちの他の一部のカラムが目的変数として使用され、目的変数の値が正解データとして使用される。

問題定義は、機械学習モデルによる予測のタスクを示す。問題定義は、例えば、データセットに含まれる２以上のカラムのうち、機械学習モデルが予測する目的変数に相当するカラムを指定する。機械学習プログラムは、機械学習の手順を規定したスクリプトプログラムである。機械学習プログラムは、高水準言語で記載されたソースコードである。機械学習プログラムは、機械学習ライブラリを使用することがある。機械学習プログラムは、訓練データの前処理方法の指定、機械学習モデルの構造の指定、機械学習アルゴリズムのハイパーパラメータ値の指定などを含むことがある。

スコアは、機械学習プログラムによって生成される機械学習モデルの予測精度の測定値である。スコアの指標としては、正答率（Accuracy）、適合率（Precision）、再現率（Recall）、Ｆ値、平均二乗誤差（ＭＳＥ：Mean Squared Error）、二乗平均平方根誤差（ＲＭＳＥ：Root Mean Squared Error）、決定係数などが挙げられる。訓練された機械学習モデルのスコアが算出されるように機械学習プログラムが記載されている場合、その機械学習プログラムによって算出されるスコアが保存される。一方、訓練された機械学習モデルのスコアが算出されるように機械学習プログラムが記載されていない場合、後述するように、その機械学習プログラムを書き換えることで算出されるスコアが保存される。

サンプルデータは、機械学習プログラム３３ａについて、データセット３１ａと問題定義３２ａと機械学習プログラム３３ａとスコア３４ａとを対応付けて保持する。また、サンプルデータは、機械学習プログラム３３ｂについて、データセット３１ｂと問題定義３２ｂと機械学習プログラム３３ｂとスコア３４ｂとを対応付けて保持する。サンプルデータは、例えば、数百件から数万件程度の機械学習プログラムを含む。

情報処理装置１００は、このサンプルデータを用いてＡｕｔｏＭＬ３５を訓練する。ＡｕｔｏＭＬ３５は、データセット３１および問題定義３２から、その問題を解くための機械学習モデル３６を訓練する機械学習プログラム３３を生成するプログラム生成器である。ＡｕｔｏＭＬ３５は、プログラムを含むソフトウェアとして実装される。ＡｕｔｏＭＬ３５は、データセット３１から機械学習モデル３６の入力データを生成するための前処理方法を選択することがある。データセット３１に対する前処理は、説明変数として使用するカラムの選択や、カラム値の正規化などを含むことがある。

また、ＡｕｔｏＭＬ３５は、問題定義３２に適した機械学習モデルの構造を選択することがある。また、ＡｕｔｏＭＬ３５は、機械学習モデル３６の予測精度が高くなるように機械学習アルゴリズムのハイパーパラメータ値を選択することがある。ＡｕｔｏＭＬ３５は、ハイパーパラメータ探索を行うように機械学習プログラム３３を生成してもよい。

ＡｕｔｏＭＬ３５を訓練するにあたり、情報処理装置１００は、サンプルデータの各機械学習プログラムに付与されたスコアを参照する。例えば、情報処理装置１００は、機械学習プログラムに含まれるコードとスコアとの相関関係を分析し、スコアが高くなるコードの書き方を学習する。また、例えば、情報処理装置１００は、スコアが閾値を超える機械学習プログラムなどスコアが高い機械学習プログラムを用いて、好ましい機械学習プログラムの記載を学習する。これにより、ＡｕｔｏＭＬ３５は、機械学習モデル３６の予測精度が高くなるように機械学習プログラム３３を生成する。

機械学習プログラム３３は、データセット３１を用いて機械学習モデル３６を訓練するモデル生成器である。機械学習プログラム３３は、データセット３１および問題定義３２にとって好適な機械学習の手順を規定したスクリプトプログラムである。情報処理装置１００は、機械学習プログラム３３を実行する。情報処理装置１００は、機械学習プログラム３３をコンパイルしてオブジェクトコードに変換してもよい。

機械学習プログラム３３は、機械学習モデル３６に入力データを入力し、機械学習モデル３６が出力する予測データと正解データとの間の誤差を算出し、誤差が小さくなるように機械学習モデル３６のパラメータ値を最適化する。訓練された機械学習モデル３６は、入力データから予測データを生成して出力する。

ここで、機械学習プログラム３３ａ，３３ｂなどの既存の機械学習プログラムは、スコアを算出するように記載されていないことがある。一方、ＡｕｔｏＭＬ３５を訓練するにあたり、既存の機械学習アルゴリズムのスコアが参照される。そこで、情報処理装置１００は、スコアが自動的に算出されない機械学習プログラムについては、スコアが自動的に算出されるように機械学習プログラムを書き換えて実行する。情報処理装置１００は、算出されたスコアと元の機械学習プログラムとを対応付けて保存する。これにより、収集された機械学習プログラムは、スコアが付与されてＡｕｔｏＭＬ３５の訓練に使用される。

図４は、ＡＰＩドキュメントとクラス名リストの例を示す図である。
機械学習プログラムを書き換えるために、情報処理装置１００は、機械学習ライブラリのＡＰＩドキュメント１３１を取得し、ＡＰＩドキュメント１３１からクラス名リスト１３２を生成する。複数の機械学習ライブラリが存在する場合、情報処理装置１００は、複数のＡＰＩドキュメントからクラス名リスト１３２を生成する。

機械学習ライブラリは、オブジェクト指向言語によって規定される複数のクラスを含む。それら複数のクラスの中には、機械学習モデルの種類に対応するモデルクラスが含まれる。例えば、機械学習ライブラリは、クラス分類型のニューラルネットワーク、回帰型のニューラルネットワーク、クラス分類型の決定木、回帰型の決定木、サポートベクタマシンなどの機械学習モデルを表すモデルクラスを含む。

クラスは、１以上のメソッドを含む。例えば、モデルクラスは、入力データおよび正解データを引数として受け付け、機械学習モデルのインスタンスを訓練するｆｉｔ関数を含む。また、例えば、モデルクラスは、入力データを引数として受け付け、機械学習モデルのインスタンスによって生成される予測データを出力するｐｒｅｄｉｃｔ関数を含む。

ＡＰＩドキュメント１３１は、機械学習ライブラリのインタフェースを示す文書である。ＡＰＩドキュメント１３１には、複数のクラスそれぞれのクラス名や種類が記載されている。また、ＡＰＩドキュメント１３１には、各クラスが有するメソッドのメソッド名が記載されている。情報処理装置１００は、ＡＰＩドキュメント１３１からモデルクラスのクラス名を抽出し、抽出したクラス名をクラス名リスト１３２に追加する。情報処理装置１００は、モデルクラス以外のクラスのクラス名を抽出しなくてもよい。複数のＡＰＩドキュメントがある場合、クラス名リスト１３２には、異なるＡＰＩドキュメントから抽出されたクラス名が混在していてもよい。

図５は、機械学習プログラムの書き換え例を示す図である。
情報処理装置１００は、前述のクラス名リスト１３２を参照して、機械学習プログラム１３３を機械学習プログラム１３４に書き換える。機械学習プログラム１３３ではスコアが算出されない一方、機械学習プログラム１３４ではスコアが算出される。

機械学習プログラム１３３の１行目には、モデルクラスのインスタンスを生成してモデル変数に代入する命令文が記載されている。機械学習プログラム１３３の３行目には、モデル変数が示すインスタンスのｆｉｔ関数を呼び出す命令文が記載されている。このとき、ｆｉｔ関数には、入力データＸと正解データｙが引数として渡される。機械学習プログラム１３３の５行目には、モデル変数が示すインスタンスのｐｒｅｄｉｃｔ関数を呼び出し、予測データをデータ変数に代入する命令文が記載されている。このとき、ｐｒｅｄｉｃｔ関数には、ある入力データとハイパーパラメータ値が引数として渡される。

まず、情報処理装置１００は、機械学習プログラム１３３の中からクラス名リスト１３２に含まれるクラス名を検索する。クラス名リスト１３２の何れかのクラス名が検出されると、情報処理装置１００は、検出されたクラス名についてモデルクラスのインスタンスを生成するコードを特定し、インスタンスが代入されるモデル変数を特定する。ここでは、機械学習プログラム１３３の１行目からモデル変数が特定される。

次に、情報処理装置１００は、機械学習プログラム１３３の中から、モデル変数が示すインスタンスのｆｉｔ関数を呼び出すコードを検出し、ｆｉｔ関数に渡される入力データおよび正解データを特定する。ここでは、機械学習プログラム１３３の３行目から、入力データＸおよび正解データｙが特定される。

次に、情報処理装置１００は、入力データのレコード群を訓練用とテスト用とに分割すると共に、正解データのレコード群を訓練用とテスト用とに分割するコードを生成し、ｆｉｔ関数の呼び出しの直前に挿入する。データ分割には、例えば、機械学習ライブラリに規定されたｓｐｌｉｔ関数が用いられる。訓練データのレコード数とテストデータのレコード数との比は、例えば、９対１である。次に、情報処理装置１００は、ｆｉｔ関数に渡される入力データを、上記で分割された訓練用の入力データに変更し、ｆｉｔ関数に渡される正解データを、上記で分割された訓練用の正解データに変更する。これにより、機械学習プログラム１３４の３行目および４行目が生成される。

次に、情報処理装置１００は、機械学習プログラム１３３の中から、モデル変数が示すインスタンスのｐｒｅｄｉｃｔ関数を呼び出すコードを検索する。ｐｒｅｄｉｃｔ関数を呼び出すコードが検出された場合、情報処理装置１００は、検出されたコードをコピーして、検出されたコードの直後に挿入する。情報処理装置１００は、コピーされたコードについて、ｐｒｅｄｉｃｔ関数に渡される入力データを、上記で分割されたテスト用の入力データに変更し、予測データが代入されるデータ変数を新しいデータ変数に変更する。このとき、ハイパーパラメータ値などの他の引数は、変更されずに引き継がれる。

一方、ｐｒｅｄｉｃｔ関数を呼び出すコードが検出されない場合、情報処理装置１００は、モデル変数が示すインスタンスのｐｒｅｄｉｃｔ関数を呼び出すコードを生成し、ｆｉｔ関数の呼び出しの直後に挿入する。生成されるコードは、上記で分割されたテスト用の入力データをｐｒｅｄｉｃｔ関数に引数として渡し、機械学習プログラム１３３に含まれない新しいデータ変数に予測データを代入する。ｐｒｅｄｉｃｔ関数が他の引数をもつ場合、他の引数には特定の初期値が代入される。ここでは、機械学習プログラム１３３の５行目がコピーされ、機械学習プログラム１３４の７行目が生成される。

次に、情報処理装置１００は、データ変数に代入された予測データと上記で分割されたテスト用の正解データとを比較してスコアを算出するコードを生成し、ｐｒｅｄｉｃｔ関数の呼び出しの直後に挿入する。スコアは、例えば、正答率である。スコア算出には、例えば、機械学習ライブラリに規定されたスコア関数が用いられる。その場合、生成されるコードは、予測データと正解データをスコア関数に引数として渡す。これにより、機械学習プログラム１３４の９行目が生成される。

ところで、実質的に同じ機械学習の手順を示していても、機械学習プログラムによって記載方法が異なることがある。このような記載方法の揺れに柔軟に対応するため、情報処理装置１００は、上記のコードの検出や書き換えを、ソースコードのテキストに対して直接行う代わりに抽象構文木に対して行う。機械学習プログラム１３３を機械学習プログラム１３４に書き換える場合、情報処理装置１００は、機械学習プログラム１３３に対して構文解析を行って抽象構文木を生成する。抽象構文木は、式、変数、クラス、メソッド、演算子などの構文要素の間の関係を示す木構造データである。

情報処理装置１００は、抽象構文木の上でパターンマッチングを行って、特定のコードに相当する部分木を検出する。情報処理装置１００は、検出した部分木を書き換えることでコードの書き換えを行う。また、情報処理装置１００は、検出した部分木の位置を基準にして、新たな部分木を抽象構文木に挿入することでコードの挿入を行う。そして、情報処理装置１００は、書き換えられた抽象構文木をソースコードに変換する。

図６は、書き換え前の抽象構文木の例を示す図である。
抽象構文木１４０は、機械学習プログラム１３３に対応する。図６は、抽象構文木１４０の全体のうち、機械学習プログラム１３３の３行目に相当する部分を示している。ノード１４１は、ｆｉｔ関数の第１引数である入力データＸを示す。ノード１４２は、ｆｉｔ関数の第２引数である正解データｙを示す。

図７は、書き換え後の抽象構文木の例を示す図である。
抽象構文木１５０は、機械学習プログラム１３４に対応する。図７は、抽象構文木１５０の全体のうち、機械学習プログラム１３４の３行目および４行目に相当する部分を示している。抽象構文木１４０を書き換えることで、抽象構文木１５０が生成される。

ノード１５１は、入力データＸのうち訓練用に分割されたレコードを格納するデータ変数を示す。ノード１５２は、入力データＸのうちテスト用に分割されたレコードを格納するデータ変数を示す。ノード１５３は、正解データｙのうち訓練用に分割されたレコードを格納するデータ変数を示す。ノード１５４は、正解データｙのうちテスト用に分割されたレコードを格納するデータ変数を示す。ノード１５１，１５２，１５３，１５４を含む部分木は、抽象構文木１５０に新規に追加されている。

ノード１５５は、ｓｐｌｉｔ関数の第１引数である入力データＸを示す。ノード１５６は、ｓｐｌｉｔ関数の第２引数である正解データｙを示す。ノード１５５，１５６を含む部分木は、抽象構文木１５０に新規に追加されている。

ノード１５７は、ｆｉｔ関数の第１引数である訓練用の入力データを示す。ノード１５７は、ノード１５１と同じデータ変数を示す。ノード１５８は、ｆｉｔ関数の第２引数である訓練用の正解データを示す。ノード１５８は、ノード１５３と同じデータ変数を示す。ノード１５７，１５８を含む部分木は、抽象構文木１４０に含まれる部分木を書き換えたものである。ノード１５７は、抽象構文木１４０のノード１４１に対応する。ノード１５８は、抽象構文木１４０のノード１４２に対応する。情報処理装置１００は、ノード１４１，１４２をノード１５７，１５８に書き換えている。

次に、情報処理装置１００の機能および処理手順について説明する。
図８は、情報処理装置の機能例を示すブロック図である。
情報処理装置１００は、ＡＰＩドキュメント記憶部１２１、プログラム記憶部１２２およびＡｕｔｏＭＬ記憶部１２３を有する。これらの記憶部は、例えば、ＲＡＭ１０２またはＨＤＤ１０３を用いて実装される。また、情報処理装置１００は、クラス名リスト生成部１２４、プログラム書換部１２５、スコア算出部１２６、ＡｕｔｏＭＬ訓練部１２７、プログラム生成部１２８およびモデル生成部１２９を有する。これらの処理部は、例えば、ＣＰＵ１０１またはＧＰＵ１０４とプログラムとを用いて実装される。

ＡＰＩドキュメント記憶部１２１は、１以上の機械学習ライブラリのインタフェースを示す１以上のＡＰＩドキュメントを記憶する。また、ＡＰＩドキュメント記憶部１２１は、それら１以上のＡＰＩドキュメントから抽出されたクラス名を列挙したクラス名リストを記憶する。プログラム記憶部１２２は、サンプルとして収集された複数の機械学習プログラムを記憶する。また、プログラム記憶部１２２は、各機械学習プログラムと対応付けて、その機械学習プログラムに入力されるデータセットと、機械学習のタスクを示す問題定義と、訓練された機械学習モデルのスコアとを記憶する。

ＡｕｔｏＭＬ記憶部１２３は、ＡｕｔｏＭＬのプログラムやデータを記憶する。ＡｕｔｏＭＬは、データセットと問題定義から機械学習プログラムを生成する。クラス名リスト生成部１２４は、ＡＰＩドキュメント記憶部１２１に記憶されたＡＰＩドキュメントから機械学習モデルの種類に対応するモデルクラスを検索し、モデルクラスのクラス名を抽出する。クラス名リスト生成部１２４は、抽出したクラス名をクラス名リストに追加する。

プログラム書換部１２５は、プログラム記憶部１２２に記憶された機械学習プログラムのうち、スコアを出力するコードを含まない機械学習プログラムを抽出する。プログラム書換部１２５は、ＡＰＩドキュメント記憶部１２１に記憶されたクラス名リストを参照して、抽出された機械学習プログラムを書き換えてスコア算出部１２６に渡す。プログラム書換部１２５は、書き換えられた機械学習プログラムを不揮発性ストレージに保存してもよいし、表示装置１１１に表示してもよいし、他の情報処理装置に送信してもよい。

スコア算出部１２６は、プログラム記憶部１２２に記憶された機械学習プログラムに、対応するデータセットを入力して機械学習プログラムを実行し、スコアを算出する。スコア算出部１２６は、算出されたスコアを機械学習プログラムと対応付けて保存する。

ただし、スコアを出力するコードを含まない機械学習プログラムについては、スコア算出部１２６は、書き換えられた機械学習プログラムをプログラム書換部１２５から受け取る。スコア算出部１２６は、元の機械学習プログラムに代えて書き換えられた機械学習プログラムを実行し、元の機械学習プログラムに対応するスコアを算出する。スコア算出部１２６は、算出されたスコアを不揮発性ストレージに保存してもよいし、表示装置１１１に表示してもよいし、他の情報処理装置に送信してもよい。

ＡｕｔｏＭＬ訓練部１２７は、プログラム記憶部１２２に記憶されたデータセット、問題定義、機械学習プログラムおよびスコアを用いて、ＡｕｔｏＭＬ記憶部１２３に記憶されたＡｕｔｏＭＬを訓練する。このとき、ＡｕｔｏＭＬ訓練部１２７は、機械学習プログラムに含まれるコードとスコアとの関係を分析して、スコアの向上に寄与するコードのパターンを検出する。これにより、ＡｕｔｏＭＬは、スコアの高い機械学習モデルを生成する高品質な機械学習プログラムが生成されるように訓練される。

プログラム生成部１２８は、データセットおよび問題定義を受け付ける。プログラム生成部１２８は、ＡｕｔｏＭＬ記憶部１２３に記憶されたＡｕｔｏＭＬにデータセットおよび問題定義を入力することで、機械学習プログラムを生成する。プログラム生成部１２８は、生成された機械学習プログラムをモデル生成部１２９に渡す。プログラム生成部１２８は、生成された機械学習プログラムを不揮発性ストレージに保存してもよいし、表示装置１１１に表示してもよいし、他の情報処理装置に送信してもよい。

モデル生成部１２９は、機械学習プログラムにデータセットを入力して機械学習プログラムを実行し、訓練された機械学習モデルを生成する。モデル生成部１２９は、訓練された機械学習モデルを不揮発性ストレージに保存してもよいし、表示装置１１１に表示してもよいし、他の情報処理装置に送信してもよい。

図９は、スコア算出の手順例を示すフローチャートである。
（Ｓ１０）クラス名リスト生成部１２４は、機械学習ライブラリのＡＰＩドキュメントから、機械学習モデルの種類に対応するモデルクラスのクラス名を抽出する。クラス名リスト生成部１２４は、抽出されたクラス名を列挙したクラス名リストを生成する。

（Ｓ１１）プログラム書換部１２５は、機械学習プログラムの構文解析により抽象構文木を生成する。以下のステップＳ１２～Ｓ２０は、抽象構文木の上で行われる。なお、ステップＳ１１～Ｓ２１は、複数の機械学習プログラムそれぞれに対して実行される。

（Ｓ１２）プログラム書換部１２５は、クラス名リストに記載された何れか１つのクラス名を機械学習プログラムから検索する。プログラム書換部１２５は、モデルクラスのインスタンスが代入されるモデル変数を特定する。

（Ｓ１３）プログラム書換部１２５は、ステップＳ１２で特定されたモデル変数に対してｆｉｔ関数を呼び出すコードＦを機械学習プログラムから検索する。
（Ｓ１４）プログラム書換部１２５は、コードＦにおいてｆｉｔ関数に渡されるデータセットを特定する。プログラム書換部１２５は、コードＦの前に、データセットを訓練データとテストデータとに分割するコードを挿入する。

（Ｓ１５）プログラム書換部１２５は、コードＦの引数を、ステップＳ１４で分割される訓練データを示すデータ変数に書き換える。
（Ｓ１６）プログラム書換部１２５は、ステップＳ１２で特定されたモデル変数に対してｐｒｅｄｉｃｔ関数を呼び出すコードＰを機械学習プログラムから検索する。

（Ｓ１７）プログラム書換部１２５は、機械学習プログラムにコードＰが存在するか判断する。コードＰが存在する場合、ステップＳ１８に処理が進む。コードＰが存在しない場合、ステップＳ１９に処理が進む。

（Ｓ１８）プログラム書換部１２５は、コードＰをコピーしてコードＰの後に挿入する。プログラム書換部１２５は、コピーしたコードの引数を、ステップＳ１４で分割されるテストデータに含まれる入力データを示すデータ変数に書き換える。また、プログラム書換部１２５は、予測データが代入される出力変数を、他の変数と異なる新しいデータ変数に書き換える。そして、ステップＳ２０に処理が進む。

（Ｓ１９）プログラム書換部１２５は、ステップＳ１２で特定されたモデル変数に対してｐｒｅｄｉｃｔ関数を呼び出すコードを生成し、コードＦの後に挿入する。生成されるコードでは、テストデータに含まれる入力データがｐｒｅｄｉｃｔ関数に引数として渡され、ｐｒｅｄｉｃｔ関数が出力する予測データが新しいデータ変数に代入される。

（Ｓ２０）プログラム書換部１２５は、ｐｒｅｄｉｃｔ関数が出力する予測データとステップＳ１４で分割されるテストデータに含まれる正解データとを比較してスコアを算出するコードを生成する。プログラム書換部１２５は、生成されたコードを、ステップＳ１８またはステップＳ１９のコードの後に挿入する。

（Ｓ２１）プログラム書換部１２５は、書き換えられた抽象構文木を機械学習プログラムのソースコードに変換する。スコア算出部１２６は、保存されているデータセットを用いて、書き換えられた機械学習プログラムを実行することでスコアを算出する。スコア算出部１２６は、算出されたスコアを、元の機械学習プログラムと対応付けて保存する。

以上説明したように、第２の実施の形態の情報処理装置１００は、ＡｕｔｏＭＬを用いて、データセットと問題定義に応じた適切なデータ前処理やモデル構造やハイパーパラメータ値を選択して、機械学習プログラムを生成する。これにより、機械学習をコンピュータに実行させるユーザの試行錯誤が削減されてユーザの負担が軽減される。

また、情報処理装置１００は、スコアが付与された機械学習プログラムのサンプルを用いてＡｕｔｏＭＬを訓練する。これにより、ＡｕｔｏＭＬが、スコアの高い機械学習モデルが生成される高品質な機械学習プログラムを生成するように訓練される。また、情報処理装置１００は、訓練された機械学習モデルのスコアが算出されるように記載されていない機械学習プログラムを、スコアが算出されるように書き換え、書き換えられた機械学習プログラムを実行する。これにより、機械学習プログラムを人手で編集する負担が削減されると共に、適切なスコアが機械学習プログラムに付与される。

また、情報処理装置１００は、ＡＰＩドキュメントからモデルクラスのクラス名を抽出し、抽出されたクラス名を機械学習プログラムから検索することで、モデル変数を特定する。これにより、モデル変数が効率的かつ高精度に特定される。また、情報処理装置１００は、機械学習プログラムの構文解析を行って抽象構文木を生成し、抽象構文木の上でコードの検索や書き換えを行う。これにより、機械学習プログラムの書き方に依存せずに、効率的かつ高精度にコードの検索や書き換えが行われる。

また、情報処理装置１００は、入力されるデータセットの一部分をテストデータとして分割してスコアを算出するように、機械学習プログラムを書き換える。これにより、テストデータを別途用意しなくてよく、機械学習プログラムに付随して収集されたデータセットの範囲内で機械学習モデルのスコアが算出される。また、情報処理装置１００は、機械学習プログラムがｐｒｅｄｉｃｔ関数を呼び出すコードを含む場合、そのコードをコピーして所望の予測データを生成するコードに書き換える。これにより、他の引数が引き継がれて周辺のコードとの整合性が維持される。

１０ 情報処理装置
１１ 記憶部
１２ 処理部
１３ 機械学習ライブラリ
１４，１５ 機械学習プログラム
１４－１，１５－１，１５－２，１５－３ コード

Claims (8)

1. 機械学習ライブラリに含まれるモジュールのモジュール名に基づいて、前記機械学習ライブラリを使用する機械学習プログラムの中から、機械学習モデルを訓練する訓練関数を呼び出す第１のコードを検出し、
   前記第１のコードの前に、前記第１のコードで前記訓練関数に渡される第１の訓練データを、第２の訓練データとテストデータとに分割する第２のコードを挿入し、
   前記第１のコードを、前記訓練関数に前記第２の訓練データを渡すように書き換え、
   前記第１のコードの後に、訓練された前記機械学習モデルと前記テストデータに含まれる入力データとから生成される予測データと、前記テストデータに含まれる正解データとに基づいてスコアを算出する第３のコードを挿入する、
   処理をコンピュータに実行させる書換プログラム。
2. 前記機械学習ライブラリの使用方法を示すドキュメントから前記モジュール名を抽出する処理を前記コンピュータに更に実行させ、
   前記第１のコードの検出は、前記ドキュメントから抽出された前記モジュール名を前記機械学習プログラムの中から検索する処理を含む、
   請求項１記載の書換プログラム。
3. 前記第１のコードの検出は、前記機械学習プログラムの構文解析を行って抽象構文木を生成し、前記抽象構文木を用いて前記第１のコードを検出する処理を含む、
   請求項１記載の書換プログラム。
4. 前記第３のコードの挿入は、前記機械学習プログラムの中から、前記機械学習モデルを用いて前記予測データを生成する予測関数を呼び出す第４のコードを検出し、前記第４のコードを、前記予測関数に前記入力データを渡すように書き換える処理を含む、
   請求項１記載の書換プログラム。
5. 前記モジュールは、前記機械学習モデルを表すクラスであり、前記訓練関数は、前記クラスに含まれるメソッドである、
   請求項１記載の書換プログラム。
6. 書き換えられた前記機械学習プログラムを前記第１の訓練データを用いて実行し、算出された前記スコアを書き換え前の前記機械学習プログラムと対応付けて保存する処理を前記コンピュータに更に実行させる、
   請求項１記載の書換プログラム。
7. 機械学習ライブラリに含まれるモジュールのモジュール名に基づいて、前記機械学習ライブラリを使用する機械学習プログラムの中から、機械学習モデルを訓練する訓練関数を呼び出す第１のコードを検出し、
   前記第１のコードの前に、前記第１のコードで前記訓練関数に渡される第１の訓練データを、第２の訓練データとテストデータとに分割する第２のコードを挿入し、
   前記第１のコードを、前記訓練関数に前記第２の訓練データを渡すように書き換え、
   前記第１のコードの後に、訓練された前記機械学習モデルと前記テストデータに含まれる入力データとから生成される予測データと、前記テストデータに含まれる正解データとに基づいてスコアを算出する第３のコードを挿入する、
   処理をコンピュータが実行する書換方法。
8. 機械学習ライブラリを使用する機械学習プログラムを記憶する記憶部と、
   前記機械学習ライブラリに含まれるモジュールのモジュール名に基づいて、前記機械学習プログラムの中から、機械学習モデルを訓練する訓練関数を呼び出す第１のコードを検出し、前記第１のコードの前に、前記第１のコードで前記訓練関数に渡される第１の訓練データを、第２の訓練データとテストデータとに分割する第２のコードを挿入し、前記第１のコードを、前記訓練関数に前記第２の訓練データを渡すように書き換え、前記第１のコードの後に、訓練された前記機械学習モデルと前記テストデータに含まれる入力データとから生成される予測データと、前記テストデータに含まれる正解データとに基づいてスコアを算出する第３のコードを挿入する処理部と、
   を有する情報処理装置。