JP7615817B2

JP7615817B2 - 数式特定装置、数式特定方法、推定装置及び推定方法

Info

Publication number: JP7615817B2
Application number: JP2021050824A
Authority: JP
Inventors: 陽平野口
Original assignee: Sintokogio Ltd
Current assignee: Sintokogio Ltd
Priority date: 2020-09-01
Filing date: 2021-03-24
Publication date: 2025-01-17
Anticipated expiration: 2041-03-24
Also published as: JP2022041850A

Description

本発明は、学習済モデルの演算過程を数式化する装置及び方法に関する。また、そのような数式を用いて学習済モデルの出力を推定する装置及び方法に関する。

ディープニューラルネットワーク（以下、「ＤＮＮ」）を利用した第三世代ＡＩの利用が社会で促進されている。ＤＮＮは、例えば静止画や動画の画像認識、音声認識、機械翻訳等の自然言語処理、産業機器に取り付けられたセンサの時系列データから異常の兆候を検知する異常検知処理に利用されている。

ＤＮＮは、ニューラルネットワークをディープラーニングに対応させてネットワークの階層を深くしたものである。ＤＮＮは、入力層、複数の隠れ層、出力層を含む複数の層を含み、各層は複数のノードがエッジで結ばれる構造となっている。各層は、活性化関数と呼ばれる関数を持ち、エッジは重みを持つことができる。各ノードの出力値は、そのノードと接続する前の層のノードの出力値から計算される。すなわち、前の層のノードの出力値、接続エッジの重みの値、そして層が持つ活性化関数から各ノードの出力値が計算される。

ところで、ＤＮＮはパーセプトロン層の学習工程が多層になっているため、入力値から出力値を得たとき、なぜその出力値になったのかが人間にはわからないことがある。ＤＮＮにおける演算方法には様々な種類があり、かつその内容は複雑であるため、演算工程をユーザが把握可能な態様で可視化することは困難である。

これを解消するために、例えば特許文献１には、ＤＮＮの演算工程の可視化をはかる技術として、出力値群に対して主成分分析アルゴリズム、最小二乗法等の次元削減アルゴリズムを用いて線形式を得ることが記載されている。特許文献１に記載の技術によれば、ＤＮＮの内部でどのような演算が行われているのかを人間が明示的に理解できるので、次に利用するときにどのパラメータや重み付けを調節すればよいかをユーザが把握できる。

特開２０１９－４６４５３号公報（２０１９年３月２２日公開）

しかしながら、特許文献１に記載の方法は、線形アルゴリズムである次元削減アルゴリズムを用いるものであり、演算表現、数式化、可視化の幅が狭く、ＤＮＮの内部の演算過程を数式化、可視化するのは難しい場合がある。

本発明の一態様は、上記の問題に鑑みてなされたものであり、学習済モデルの演算過程を数式化する技術を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る数式特定装置は、特定ステップを実行する一又は複数のプロセッサを備えている。また、本発明の一態様に係る数式特定方法は、特定ステップを含んでいる。特定ステップは、学習済モデルの入力データを表す数値と前記学習済モデルの出力データを表す数値との関係を表す非線形の数式を特定するステップである。

また、本発明の一態様に係る推定装置は、第２推定ステップを実行する一又は複数のプロセッサを備えている。また、本発明の一態様に係る推定方法は、第２推定ステップを含んでいる。第２推定ステップは、上述の数式特定方法で特定された前記非線形の数式に、前記入力データを表す数値を代入して演算することにより、前記出力データを表す数値を推定するステップである。

本発明の一態様に係る数式特定装置及び数式特定方法によれば、学習済モデルの演算過程を数式化することができる。また、本発明の一態様に係る推定装置及び推定方法によれば、そのような数式特定装置及び数式特定方法により特定された数式を用いて学習済モデルの出力を推定することができる。

本発明の一実施形態に係る演算数式化システムの構成を示す図である。図１の演算数式化システムに含まれる数式特定装置の構成を示すブロック図である。図２の数式特定装置が実施する数式特定方法の流れを示すフローチャートである。学習済モデルと遺伝的アルゴリズムとを例示する図である。図３の特定ステップの流れを示すフローチャートである。数式特定装置が実施する処理の流れを示すフローチャートである。クロスオーバーの内容を例示する図である。サブツリー突然変異の内容を例示する図である。ホイスト突然変異の内容を例示する図である。点突然変異の内容を例示する図である。学習済モデルと遺伝的アルゴリズムとを例示する図である。図３の特定ステップの流れを示すフローチャートである。図１の演算数式化システムに含まれる推定装置の構成を示すブロック図である。図１３の推定装置が実施する推定方法の流れを示すフローチャートである。図１の演算数式化システムに含まれる機械学習装置の構成を示すブロック図である。図１５の機械学習装置が実施する機械学習方法の流れを示すフローチャートである。鋳造フェーズの構成を示す図である。学習済モデルと遺伝的アルゴリズムとを例示する図である。学習済モデルと遺伝的アルゴリズムとを例示する図である。学習済モデルと遺伝的アルゴリズムとを例示する図である。学習済モデルと遺伝的アルゴリズムとを例示する図である。

〔実施形態１〕
〔演算数式化システム〕
本発明の一実施形態に係る演算数式化システムＳについて、図１を参照して説明する。図１は、演算数式化システムＳの構成を表す図である。

演算数式化システムＳは、学習済モデルＬＭ１の入力と出力の関係を表す非線形の数式を特定するシステムである。演算数式化システムＳは、図１に示すように、数式特定装置１と、機械学習装置２と、推定装置３と、を備えている。

数式特定装置１は、数式特定方法Ｍ１を実施する装置である。数式特定方法Ｍ１は、数式特定装置１が、機械学習により構築された学習済モデルＬＭ１を用いて入力データから出力データを推定する推定ステップＭ１１と、遺伝的アルゴリズムＧＡを用いた非線形回帰によって、入力データを表す数値と出力データを表す数値との関係を表す非線形の数式ｆを特定する特定ステップＭ１２と、を含む。学習済モデルＬＭ１としては、例えば、畳み込みニューラルネットワークや再帰型ニューラルネットワークなどのニューラルネットワークモデル、線形回帰などの回帰モデル、又は、回帰木などの木モデルなどのアルゴリズムを用いることができる。数式特定装置１の構成及び数式特定方法Ｍ１の流れの詳細については、参照する図面を代えて後述する。

学習済モデルＬＭ１の入力としては、種々のデータが採用され得る。学習済モデルＬＭ１の入力は例えば、静止画または動画を表す画像データ、音声を表す音声データ、文書を表す文書データ、産業機器に取り付けられたセンサの時系列データである。また、学習済モデルＬＭ１の入力は例えば、鋳造ラインにおいて収集される各種のパラメータである。

学習済モデルＬＭ１の出力としては、種々のデータが採用され得る。学習済モデルＬＭ１の出力は例えば、画像認識結果、音声認識結果、機械翻訳結果、異常の有無である。また、学習済モデルＬＭ１の出力は例えば、鋳造ラインにおける鋳物砂のＣＢ値（コンパクタビリティ）の目標値である。

数式特定装置１は、データ収集装置１１１を備える。データ収集装置１１１は、学習済モデルＬＭ１への入力データと学習済モデルＬＭ１からの出力データとを一時的に保持し、保持した入力データと出力データとを次段の遺伝的アルゴリズムＧＡに入力する。データ収集装置１１１は例えば、半導体メモリ、ハードディスク等の情報記憶手段と入出力手段を備えたバッファである。なお、図１の例では、データ収集装置１１１が数式特定装置１に含まれる構成を例示しているが、データ収集装置１１１が数式特定装置１と別体の装置として構成されていてもよい。また、データ収集装置１１１は、ハードウェア単体で構成されてもよく、また、ハードウェアとソフトウェアとにより構成されてもよい。

機械学習装置２は、機械学習方法Ｍ２を実施するための装置である。機械学習方法Ｍ２は、入力データを用いて学習用データセットＤＳを構築すると共に、学習用データセットＤＳを用いた機械学習（教師あり学習）によって学習済モデルＬＭ１を構築するための方法である。機械学習装置２の構成及び機械学習方法Ｍ２の流れの詳細については、参照する図面を代えて後述する。

推定装置３は、推定方法Ｍ３を実施するための装置である。推定方法Ｍ３は、推定装置３が、数式特定方法Ｍ１で特定された非線形の数式ｆに、入力データを表す数値を代入して演算することにより、出力データを表す数値を推定する第２推定ステップ、を含む。推定装置３の構成及び推定方法Ｍ３の流れの詳細については、参照する図面を代えて後述する。

演算数式化システムＳは、学習フェーズ、数式特定フェーズ、推定フェーズ、を実行する。学習フェーズ、数式特定フェーズ、推定フェーズについて、その内容を簡単に説明すれば、以下のとおりである。

（１）学習フェーズ
学習フェーズにおいては、学習済モデルＬＭ１が構築される。機械学習装置２は、入力データ及び出力データから教師データを作成し、作成した教師データを学習用データセットＤＳに追加する。また、機械学習装置２は、学習用データＤＳを用いた機械学習によって学習済モデルＬＭ１を構築する。構築された学習済モデルＬＭ１は、機械学習装置２から数式特定装置１に転送される。

（２）数式特定フェーズ
数式特定フェーズにおいては、数式特定装置１は、入力データに基づき、学習済モデルＬＭ１を用いて出力データを推定する。また、数式特定装置１は、遺伝的アルゴリズムを用いた非線形回帰によって、学習済モデルＬＭ１の入力データを表す数値と出力データの表す数値との関係を表す非線形の数式を特定する。

（３）推定フェーズ
推定フェーズにおいては、推定装置３は、数式特定装置１が特定した数式に、入力データを表す数値を代入して演算を行うことにより、出力データを表す数値を推定する。すなわち、推定装置３は、学習済モデルＬＭ１を用いることなく、入力データから出力データを推定する。

〔数式特定装置の構成〕
数式特定装置１の構成について、図２を参照して説明する。図２は、数式特定装置１の構成を示すブロック図である。

数式特定装置１は、汎用コンピュータを用いて実現されており、プロセッサ１１と、一次メモリ１２と、二次メモリ１３と、入出力インタフェース１４と、通信インタフェース１５と、バス１６とを備えている。プロセッサ１１、一次メモリ１２、二次メモリ１３、入出力インタフェース１４、及び通信インタフェース１５は、バス１６を介して相互に接続されている。

二次メモリ１３には、数式特定プログラムＰ１及び学習済モデルＬＭ１が格納されている。プロセッサ１１は、二次メモリ１３に格納されている数式特定プログラムＰ１及び学習済モデルＬＭ１を一次メモリ１２上に展開する。そして、プロセッサ１１は、一次メモリ１２上に展開された数式特定プログラムＰ１に含まれる命令に従って、数式特定方法Ｍ１に含まれる各ステップを実行する。一次メモリ１２上に展開された学習済モデルＬＭ１は、数式特定方法Ｍ１の推定ステップＭ１１（後述）をプロセッサ１１が実行する際に利用される。なお、数式特定プログラムＰ１が二次メモリ１３に格納されているとは、ソースコード、又は、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ１３に記憶されていることを指す。また、学習済モデルＬＭ１が二次メモリ１３に格納されているとは、学習済モデルＬＭ１を規定するパラメータが二次メモリ１３に格納されていることを指す。

プロセッサ１１として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ１１は、「演算装置」と呼ばれることもある。

また、一次メモリ１２として利用可能なデバイスとしては、例えば、半導体ＲＡＭ（Random Access Memory）を挙げることができる。一次メモリ１２は、「主記憶装置」と呼ばれることもある。また、二次メモリ１３として利用可能なデバイスとしては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＯＤＤ（Optical Disk Drive）、ＦＤＤ（Floppy（登録商標） Disk Drive）、又は、これらの組み合わせを挙げることができる。二次メモリ１３は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ１３は、数式特定装置１に内蔵されていてもよいし、入出力インタフェース１４又は通信インタフェース１５を介して数式特定装置１と接続された他のコンピュータ（例えば、クラウドサーバを構成するコンピュータ）に内蔵されていてもよい。なお、本実施形態においては、数式特定装置１における記憶を２つのメモリ（一次メモリ１２及び二次メモリ１３）により実現しているが、これに限定されない。すなわち、数式特定装置１における記憶を１つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ１２として利用し、そのメモリの他の記憶領域を二次メモリ１３として利用すればよい。

入出力インタフェース１４には、入力デバイス及び／又は出力デバイスが接続される。入出力インタフェース１４としては、例えば、ＵＳＢ（Universal Serial Bus）、ＡＴＡ（Advanced Technology Attachment）、ＳＣＳＩ（Small Computer System Interface）、ＰＣＩ（Peripheral Component Interconnect）などのインタフェースが挙げられる。入出力インタフェース１４に接続される入力デバイスとしては例えば、鋳造ラインに設けられたセンサ群が挙げられる。数式特定方法Ｍ１においてセンサ群から取得するデータは数式特定装置１に入力され、一次メモリ１２に記憶される。また、入出力インタフェース１４に接続される入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。数式特定方法Ｍ１においてユーザから取得するデータは、これらの入力デバイスを介して数式特定装置１に入力され、一次メモリ１２に記憶される。また、入出力インタフェース１４に接続される出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。数式特定方法Ｍ１においてユーザに提供する情報は、これらの出力デバイスを介して数式特定装置１から出力される。なお、数式特定装置１は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、数式特定装置１は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。

通信インタフェース１５には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信インタフェース１５としては、例えば、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのインタフェースが挙げられる。利用可能なネットワークとしては、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＣＡＮ（Campus Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。数式特定方法Ｍ１において数式特定装置１が他のコンピュータ（例えば、機械学習装置２）から取得するデータ（例えば、学習済モデルＬＭ１）、及び、数式特定方法Ｍ１において数式特定装置１が他のコンピュータに提供するデータは、これらのネットワークを介して送受信される。

なお、本実施形態においては、単一のプロセッサ（プロセッサ１１）を用いて数式特定方法Ｍ１を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて数式特定方法Ｍ１を実行する構成を採用してもよい。この場合、連携して数式特定方法Ｍ１を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して数式特定方法Ｍ１を実行する態様などが考えられる。

また、本実施形態においては、数式特定方法Ｍ１を実行するプロセッサ（プロセッサ１１）と同じコンピュータに内蔵されたメモリ（二次メモリ１３）に学習済モデルＬＭ１を格納する構成を採用しているが、本発明は、これに限定されない。すなわち、数式特定方法Ｍ１を実行するプロセッサと異なるコンピュータに内蔵されたメモリに学習済モデルＬＭ１を格納する構成を採用してもよい。この場合、学習済モデルＬＭ１を格納するメモリが内蔵されたコンピュータは、数式特定方法Ｍ１を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに学習済モデルＬＭ１を格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが数式特定方法Ｍ１を実行する態様などが考えられる。

また、本実施形態においては、単一のメモリ（二次メモリ１３）に学習済モデルＬＭ１を格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに学習済モデルＬＭ１を分散して格納する構成を採用してもよい。この場合、学習済モデルＬＭ１を格納する複数のメモリは、単一のコンピュータ（数式特定方法Ｍ１を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい）に設けられていてもよいし、複数のコンピュータ（数式特定方法Ｍ１を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい）に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに学習済モデルＬＭ１を分散して格納する構成などが考えられる。

データ収集装置１１１が数式特定装置１と別体の装置として構成される場合、データ収集装置１１１は、例えばメモリ（図示略）とプロセッサ（図示略）とを含む。

〔数式特定方法の流れ〕
数式特定方法Ｍ１の流れについて、図３を参照して説明する。図３は、数式特定方法Ｍ１の流れを示すフローチャートである。数式特定方法Ｍ１は、推定ステップＭ１１と、特定ステップＭ１２と、を含んでいる。

推定ステップＭ１１は、プロセッサ１１が、学習済モデルＬＭ１を用いて入力データから出力データを推定するステップである。推定ステップＭ１１において、プロセッサ１１は、入力データを学習済モデルＬＭ１に入力することにより、出力データを取得する。学習済モデルＬＭ１に入力された入力データと、学習済モデルＬＭ１から出力された出力データとは、データ収集装置１１１に一時的に保持される。データ収集装置１１１が保持するデータは、後段の特定ステップＭ１２で用いられる。

図３の特定ステップＭ１２は、プロセッサ１１が、遺伝的アルゴリズムＧＡを用いた非線形回帰によって、入力データを表す数値と出力データを表す数値との関係を表す非線形の数式を特定するステップである。データ収集装置１１１は、一時的に保持していた学習済モデルＬＭ１の入力データと出力データとを、遺伝的アルゴリズムＧＡに時間的同期をつけて入力する。このように、データ収集装置１１１は、学習済モデルＬＭ１のデータを纏めて（ある程度の情報単位にして）次段の遺伝的アルゴリズムＧＡに入力する、一種のバッファとして動作する。

遺伝的アルゴリズムＧＡは、解の候補を遺伝子で表現した個体ｉを複数用意し、適応度Ｄｉの高い個体ｉを優先的に選択して交叉、突然変異などの操作を繰り返しながら解を探索するアルゴリズムである。本実施形態において、個体ｉは、非線形の数式（関係式）をツリー構造で表したものであり、数式に含まれる演算子及び引数がツリーのノードで表される。適応度Ｄｉは適応度関数によって与えられる。

〔学習済モデルと遺伝的アルゴリズムの具体例１〕
図４は、学習済モデルＬＭ１と遺伝的アルゴリズムＧＡとを例示する図である。学習済モデルＬＭ１は、複数の層により構成されるディープニューラルネットワークである。学習済モデルＬＭ１は、入力データが入力される入力層ＬＸ、隠れ層ＬＹ、出力データを出力する出力層ＬＺを含む複数の層を含む。各層は複数のノードがエッジで結ばれる構造となっている。

各層は、活性化関数と呼ばれる関数を持ち、エッジは重みを持つことができる。各ノードの出力値は、そのノードと接続する前の層のノードの出力値から計算される。すなわち、前の層のノードの出力値、接続エッジの重みの値、そして層が持つ活性化関数から各ノードの出力値が計算される。

図４の例において、入力層ＬＸは、ノードＸ１、Ｘ２、Ｘ３、Ｘ４を含む。すなわち、この例で、学習済モデルＬＭ１に入力される入力データは、ノードＸ１、Ｘ２、Ｘ３、Ｘ４の出力値ｘ１、ｘ２、ｘ３、ｘ４を含む。

隠れ層ＬＹは、ノードＹ１、Ｙ２、Ｙ３を含む。ノードＹ１、Ｙ２、Ｙ３の出力値ｙ１、ｙ２、ｙ３は、隠れ層ＬＹの前の層である入力層ＬＸのノードの出力値ｘ１、ｘ２、ｘ３、ｘ４から計算される。

出力層ＬＺは、ノードＺ１を含む。ノードＺ１の出力値ｚ１は、出力層ＬＺの前の層である隠れ層ＬＹのノードの出力値ｙ１、ｙ２、ｙ３から計算される。すなわち、この例で、学習済モデルＬＭ１の出力データは、ノードＺ１の出力値ｚ１である。

データ収集装置１１１は、学習済モデルＬＭ１への入力データと学習済モデルＬＭ１の出力データを一時的に保持し、入力データと出力データとを次段の遺伝的アルゴリズムＧＡに順次入力する。

遺伝的アルゴリズムＧＡは、第一世代Ｇ１～第四世代Ｇ４を含む。図４の例では、個体ｉである非線形の数式は、例えば以下の（１）式で表される。
ｚ１＝ｆ_０（ｘ１，ｘ２，ｘ３，ｘ４） …（１）

（１）式において、ｚ１は学習済モデルＬＭ１のノードＺ１の出力値、すなわち出力データを表す数値である。ｘ１、ｘ２、ｘ３、ｘ４は入力層ＬＸの各ノードの出力値、すなわち入力データを表す数値である。すなわち、（１）式は、入力層ＬＸの各ノードの出力値ｘ１、ｘ２、ｘ３、ｘ４と、出力層ＬＺのノードＺ１の出力値ｚ１との関係を表す式である。（１）式に示されるように、プロセッサ１１は、入力データと出力データとの関係を表す非線形の数式（関係式）を解の候補とする遺伝的アルゴリズムを用いた非線形回帰により、非線形の数式を特定する。

図５は、プロセッサ１１が実行する特定ステップＭ１２の流れを例示するフローチャートである。プロセッサ１１は、所定のモジュール（以下、「Ａモジュール」という）を用いて特定ステップＭ１２を実行する。Ａモジュールは、遺伝的アルゴリズムを実行するモジュールである。Ａモジュールでは、プロセッサ１１は、まず、新しいデータを予測するために、既知の独立変数とそれらの従属変数ターゲットの間の関係を表す単純なランダム式の母集団を作成することから始める。次に、プロセッサ１１は、遺伝子操作を受ける集団から最も適した個体を選択することにより、集団を進化させて次の世代の集団を生成する。上記の操作により、上記関係を最もよく示す数式が特定される。

本具体例では、Ａモジュールとして、遺伝的プログラミングを実行するモジュールが用いられる。遺伝的プログラミングとは、遺伝的アルゴリズムを拡張したものであり、遺伝子型の表現としてツリー構造を用いるものである。なお、図５に示す特定ステップＭ１２の流れは例示であり、遺伝的アルゴリズムＧＡを用いた数式の特定方法は図５に示した方法に限定されるものではない。遺伝的アルゴリズムＧＡを用いた数式の特定方法として、他の種々の手法が採用され得る。

ステップＭ１２１において、プロセッサ１１は、学習済モデルＬＭ１の入力データと出力データとをデータ収集装置１１１から取得する。入力データは、学習済モデルＬＭ１の入力層ＬＸの各ノードの出力値ｘ１、ｘ２、ｘ３、ｘ４を含む。出力データは、出力層ＬＺのノードＺ１の値ｚ１を含む。

ステップＭ１２２において、プロセッサ１１は、遺伝的アルゴリズムＧＡで用いるパラメータを取得する。パラメータは例えば、生成個体数Ｎ、トーナメントサイズＮｔ、交叉確率Ｐｃ、突然変異確率Ｐｍｓ、進化世代数Ｎｇ、構文木に用いる演算子Ｏｊ、構文木の最大の深さｄ、事象発生確率Ｐｋ１～Ｐｋ５を含む。各パラメータの値は例えば、ユーザが数式特定装置１に入力する。

生成個体数Ｎは、集合に含める個体ｉの数を表す。トーナメントサイズＮｔは、現世代の集合からランダムに選択する個体ｉの数である。突然変異確率Ｐｍｓは、遺伝子が突然変異をする確率である。構文木に用いる演算子Ｏｉは、例えば、Max、Min、sqrt（ルート）、log（自然対数）、＋、－、×、÷、sin(ラジアン)、cos(ラジアン)、tan(ラジアン)、abs、neg、invである。Maxは、最大値を選択する演算子である。Minは、最小値を選択する演算子である。negは符号をマイナスにする演算子である。invはゼロに近い引数を0にする演算子である。

事象発生確率Ｐｋ１～Ｐｋ５は、次世代の集合を進化させる操作として操作ｍ１～ｍ５がそれぞれ選択される確率である。プロセッサ１１は、操作ｍ１～ｍ５のいずれかの方法で次世代の集合を進化させる。事象発生確率Ｐｋ１～Ｐｋ５の総和は１とする。一例として、事象発生確率Ｐｋ１、Ｐｋ２、Ｐｋ３、Ｐｋ４、Ｐｋ５の値は、それぞれ、「０．１」、「０．２」、「０．３」、「０．４」、「０．１」である。操作ｍ１～ｍ５については参照する図面を代えて後述する。

ステップＭ１２３において、プロセッサ１１は、指定されたパラメータ（構文木に用いる演算子Ｏｉ、構文木の最大の深さｄ、等）に基づいて、Ｎ個の個体ｉをランダムに生成し、最初の現世代となるＮ個の個体ｉの集合を生成する。

ステップＭ１２４において、プロセッサ１１は、現世代の集合に含まれる個体ｉのそれぞれの適応度Ｄｉを算出する。適応度Ｄｉは、適応度関数によって与えられる。

ステップＭ１２５において、プロセッサ１１は、現世代の集合からトーナメントサイズＮｔの数の個体ｉをランダムに取り出し、その中で最も適応度Ｄｉの高い個体ｉを選択し、次世代の集合に追加する。ステップＭ１２５において選択された個体ｉ、すなわち、次世代の集合に追加された個体ｉを「勝者ツリー」ともいう。

プロセッサ１１は、次世代の個体数が現世代と同じＮ個になるまで、すなわち次世代の個体数がＮに達していない間は（ステップＭ１２６；ＮＯ）、ステップＭ１２５の処理を繰り返す。プロセッサ２１は、次世代の個体数がＮに達すると（ステップＭ１２６；ＹＥＳ）ステップＭ１２７の処理を実行する。

ステップＭ１２７において、プロセッサ１１は、次世代の集合を進化させる処理を実行する。なお、ステップＭ１２７の詳細については、参照する図面を代えて後述する。

ステップＭ１３０において、プロセッサ１１は、次世代の集合を現世代の集合に上書きする。ステップＭ１３１において、プロセッサ１１は、進化世代数Ｎｇに達したかを判定する。進化世代数Ｎｇに達していない場合（ステップＭ１３１；ＮＯ）、プロセッサ１１はステップＭ１２４の処理に戻る。一方、進化世代数Ｎｇに達している場合（ステップＭ１３１；ＹＥＳ）、プロセッサ１１は、ステップＭ１３２の処理に進む。

ステップＭ１３２において、プロセッサ１１は、現世代の集合に含まれる個体ｉの中から適応度Ｄｉが最も高い個体ｉを特定する。ステップＭ１３３において、プロセッサ１１は、特定した個体ｉを最適解として出力する。例えば、プロセッサ１１は、選択した個体ｉである数式、又はその数式の表す図形（グラフ等）をディスプレイに表示する。

図６は、プロセッサ１１が実行するステップＭ１２７の流れを例示するフローチャートである。ステップＭ２０１において、プロセッサ１１は、ユーザにより設定された事象発生確率Ｐｋ１～Ｐｋ５に基づき、操作ｍ１～ｍ５のいずれかを選択する。操作ｍ１を選択した場合（ステップＭ２０１；「操作ｍ１」）、プロセッサ１１は、ステップＭ２０２の処理に進む。操作ｍ２を選択した場合（ステップＭ２０１；「操作ｍ２」）、プロセッサ１１は、ステップＭ２１１の処理に進む。操作ｍ３を選択した場合（ステップＭ２０１；「操作ｍ３」）、プロセッサ１１は、ステップＭ２２１の処理に進む。操作ｍ４を選択した場合（ステップＭ２０１；「操作ｍ４」）、プロセッサ１１は、ステップＭ２３１の処理に進む。操作ｍ５を選択した場合（ステップＭ２０１；「操作ｍ５」）、プロセッサ１１は、処理を終了する。

操作ｍ１は、クロスオーバーである。クロスオーバーとは、個体間で遺伝物質を混合する方法である。クロスオーバーの場合、ステップＭ２０２において、プロセッサ１１は、次世代の集合に含まれる勝者ツリーについて、各勝者ツリーに含まれるサブツリーをランダムに選択する。

ステップＭ２０３において、プロセッサ１１は、ドナー用の次世代の集合を生成する。ステップＭ２０３の処理の内容は、図６のステップＭ１２３～Ｍ１２５の内容と同様である。すなわち、プロセッサ１１は、まず、ユーザにより指定された個体パラメータに基づいて、Ｎ個の個体ｉをランダムに生成し、Ｎ個の個体ｉの集合（以下「ドナー集合」という）を生成する。次いで、プロセッサ１１は、ドナー集合に含まれる個体ｉのそれぞれの適応度Ｄｉを算出する。次いで、プロセッサ１１は、ドナー集合からトーナメントサイズＮｔの数の個体ｉをランダムに取り出し、その中で最も適応度Ｄｉの高い個体ｉを選択し、次世代のドナー集合に追加する。この処理により選択される個体ｉを「ドナーツリー」ともいう。プロセッサ１１は、次世代のドナーツリーの数がＮになるまで、ドナーツリーの選択処理を繰り返す。

ステップＭ２０４において、プロセッサ１１は、ドナーツリーに含まれるサブツリー（以下「ドナーサブツリー」という）をランダムに選択する。

ステップＭ２０５において、プロセッサ１１は、勝者ツリーにおいてサブツリーの入れ替えを行う。本実施形態では、プロセッサ１１は、勝者ツリーからステップＭ２０２で選択したサブツリー取り除き、そのサブツリーがあった箇所にステップＭ２０３で選択したドナーサブツリーを移植する。すなわち、プロセッサ１１は、勝者ツリーに含まれるサブツリーをドナーサブツリーで置換する。このサブツリーが置換された勝者ツリーが、次世代の子孫（個体）となる。

操作ｍ２は、サブツリーを突然変異させる操作である。サブツリーを突然変異させることにより、絶滅した機能とオペレーターを集団に再導入し、多様性を維持することができる。この場合、ステップＭ２１１において、プロセッサ１１は、勝者ツリーに含まれるサブツリーをランダムに選択する。

ステップＭ２１２において、プロセッサ１１は、サブツリーをランダムに生成する。ステップＭ２１３において、プロセッサ１１は、勝者ツリーにおいてサブツリーの入れ替えを行う。本実施形態では、プロセッサ１１は、勝者ツリーからステップＭ２０２で選択したサブツリーを取り除き、取り除いたサブツリーがあった箇所に、ステップＭ２１２で生成したサブツリーを移植する。すなわち、プロセッサ１１は、勝者ツリーに含まれるサブツリーをステップＭ２１２で生成したサブツリーで置換する。このサブツリーが置換された勝者ツリーが、次世代の子孫（個体）となる。

操作ｍ３は、ホイスト突然変異である。ホイスト突然変異は、ツリーの膨らみと戦う突然変異操作である。ステップＭ２２１において、プロセッサは、勝者ツリーに含まれるサブツリーをランダムに選択する。ステップＭ２２２において、プロセッサ１１は、ステップＭ２２１で選択したサブツリーに含まれるサブツリーをランダムに選択する。

ステップＭ２２３において、プロセッサ１１は、ステップＭ２２２で選択したサブツリーを、元のサブツリー（ステップＭ２２１で選択したサブツリー）の位置まで巻き上げる。このサブツリーが巻き上げられた勝者ツリーが、次世代の子孫（個体）となる。

操作ｍ４は、点突然変異である。点突然変異は、多様性を維持するために、絶滅した数式と演算子を集団に再導入する操作である。ステップＭ２３１において、プロセッサ１１は、勝者ツリーのノードをランダムに選択する。ステップＭ２３２において、プロセッサ１１は、ステップＭ２３１で選択したノードを、他のノードに置換する。これにより、勝者ツリーの表す数式は、元のノードと同じ数の引数を必要とする他の数式に置き換えられる。置き換えにより得られる勝者ツリーが、次世代の子孫（個体）となる。

操作ｍ５は、再生である。この場合、勝者ツリーは複製され、変更されることなく次の世代に含められる。

図７～図１０は、勝者ツリーに対して行われる操作の内容を例示する図である。図７は、操作ｍ１（クロスオーバー）の内容を例示する図である。図７の例では、勝者ツリーｔｒ１１のサブツリーｔｒ１１１が、ドナーツリーｔｒ１２のサブツリーｔｒ１２１で置換され、勝者ツリーｔｒ１３となる。勝者ツリーｔｒ１３が、次世代の子孫（個体）となる。

図８は、操作ｍ２（サブツリー突然変異）の内容を例示する図である。図８の例では、勝者ツリーｔｒ１１のサブツリーｔｒ１１１が、サブツリーｔｒ２２で置換され、勝者ツリーｔｒ２３となる。勝者ツリーｔｒ２３が、次世代の子孫（個体）となる。

図９は、操作ｍ３（ホイスト突然変異）の内容を例示する図である。図９の例では、勝者ツリーｔｒ１１のサブツリーｔｒ１１２１が、サブツリーｔｒ１１２の位置まで巻き上げられ、勝者ツリーｔｒ３１となる。勝者ツリーｔｒ３１が、次世代の子孫（個体）となる。

図１０は、操作ｍ４（点突然変異）の内容を例示する図である。図１０の例では、勝者ツリーｔｒ１１に含まれるノードｎ２１及びノードｎ３４が、ノードｎ４２１及びノードｎ４３４に置換され、勝者ツリーｔｒ４１となる。勝者ツリーｔｒ４１が、次世代の子孫（個体）となる。

〔学習済モデルと遺伝的アルゴリズムの具体例２〕
図１１は、学習済モデルＬＭ１と遺伝的アルゴリズムＧＡとの他の例を示す図である。図１１の例では、遺伝的アルゴリズムＧＡの個体ｉは、例えば以下の（２）～（５）式の４つの式を含む。
ｚ１＝ｆ_１（ｙ１，ｙ２，ｙ３） …（２）
ｙ１＝ｆ_２（ｘ１，ｘ２，ｘ３，ｘ４） …（３）
ｙ２＝ｆ_３（ｘ１，ｘ２，ｘ３，ｘ４） …（４）
ｙ３＝ｆ_４（ｘ１，ｘ２，ｘ３，ｘ４） …（５）

（３）～（５）式は、入力層ＬＸの各ノードの出力値ｘ１、ｘ２、ｘ３、ｘ４と、隠れ層ＬＹの各ノードの出力値ｙ１、ｙ２、ｙ３との関係を表す非線形の数式（第１の数式）である。（２）式は、出力層ＬＺのノードＺ１の値ｚ１と、隠れ層ＬＹの各ノードの出力値ｙ１、ｙ２、ｙ３との関係を表す非線形の数式（第２の数式）である。

すなわち、この例では、プロセッサ１１は、入力データを表す数値と隠れ層ＬＹ１に属する全部のノードの各々の出力値との関係を表す非線形の第１の数式、及び、隠れ層ＬＹ１の各ノードの各々の出力値と出力データを表す数値との関係を表す非線形の第２の数式を解の候補とする遺伝的アルゴリズムを用いた非線形回帰により、第１の数式及び第２の数式を特定する。

図１２は、図１１の例においてプロセッサ１１が実行する特定ステップＭ１２の流れを例示するフローチャートである。図１２のフローチャートは、図５のフローチャートのステップＭ１２１、Ｍ１２３、及びステップＭ１３２に代えて、ステップＭ１５１、Ｍ１５２、及びステップＭ１５３を実行する。

ステップＭ１５１において、プロセッサ１１は、学習済モデルＬＭ１の入力データと出力データとを取得する。取得される入力データは、入力層ＬＸの各ノートの出力値ｘ１、ｘ２、ｘ３を含む。出力データは、出力層ＬＺのノードＺ１の出力値ｚ１に加えて、隠れ層ＬＹの各ノードの出力値ｙ１、ｙ２、ｙ３を含む。

ステップＭ１５２において、プロセッサ１１は、指定されたパラメータ（構文木に用いる演算子Ｏｉ、構文木の最大の深さｄ、等）に基づいて、Ｎ個の個体ｉをランダムに生成し、最初の現世代となるＮ個の個体ｉの集合を生成する。個体ｉは、上述の（２）～（５）の４つの数式を含む。ステップＭ１５２の処理を終えると、プロセッサ１１は、ステップＭ１２４の処理に進む。

プロセッサ１１は、ステップＭ１２４～Ｍ１３１の処理を実行する。これにより、遺伝的アルゴリズムによる最適解（（２）～（５）式）が得られる。ステップＭ１３１の処理を終えると、プロセッサ１１は、ステップＭ１５３の処理に進む。

ステップＭ１５３において、プロセッサ１１は、遺伝的アルゴリズムにより特定した第１の数式（（３）～（５）式）及び第２の数式（（２）式）を用いて、入力データと出力データとの関係を表す非線形の数式を特定する。この例で、プロセッサ１１は、最適解として選択した個体ｉに含まれる（２）式～（５）式の連立方程式を解くことにより、学習済モデルＬＭ１の入力データと出力データとの関係を表す数式を特定する。入力データと出力データの関係を表す数式は、例えば、上述の（１）式で表される。ステップＳ１３３において、プロセッサ１１は、特定した数式を、例えばディスプレイに表示する等して出力する。

以上説明したように本実施形態によれば、数式特定装置１が、学習済モデルＬＭ１に入力したデータを表す数値と、学習済モデルＬＭ１から出力された出力データを表す数値との関係を表す非線形の数式を、遺伝的アルゴリズムＧＡを用いた非線形回帰により特定する。ユーザは、非線形の数式又はこの数式により表されるグラフ等の図形により、その学習済モデルの演算過程を把握し易い。

〔推定装置の構成〕
推定装置３の構成について、図１３を参照しつつ説明する。図１３は、推定装置３の構成を示すブロック図である。

推定装置３は、汎用コンピュータを用いて実現されており、プロセッサ３１と、一次メモリ３２と、二次メモリ３３と、入出力インタフェース３４と、通信インタフェース３５と、バス３６とを備えている。プロセッサ３１、一次メモリ３２、二次メモリ３３、入出力インタフェース３４、及び通信インタフェース３５は、バス３６を介して相互に接続されている。

二次メモリ３３には、推定プログラムＰ３が格納されている。プロセッサ２１は、二次メモリ２３に格納されている推定プログラムＰ３を一次メモリ３２上に展開する。そして、プロセッサ３１は、一次メモリ３２上に展開された推定プログラムＰ３に含まれる命令に従って、推定方法Ｍ３（第２推定ステップの一例）に含まれる各ステップを実行する。二次メモリ３３に格納された数式ｆは、推定方法Ｍ３の第２推定ステップＭ３１（後述）において利用される。なお、推定プログラムＰ３が二次メモリ３３に格納されているとは、ソースコード、又は、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ３３に記憶されていることを指す。

プロセッサ３１として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ３１は、「演算装置」と呼ばれることもある。

また、一次メモリ３２として利用可能なデバイスとしては、例えば、半導体ＲＡＭ（Random Access Memory）を挙げることができる。一次メモリ３２は、「主記憶装置」と呼ばれることもある。また、二次メモリ３３として利用可能なデバイスとしては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＯＤＤ（Optical Disk Drive）、ＦＤＤ（Floppy Disk Drive）、又は、これらの組み合わせを挙げることができる。二次メモリ３３は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ３３は、推定装置３に内蔵されていてもよいし、入出力インタフェース３４又は通信インタフェース３５を介して推定装置３と接続された他のコンピュータ（例えば、クラウドサーバを構成するコンピュータ）に内蔵されていてもよい。なお、本実施形態においては、推定装置３における記憶を２つのメモリ（一次メモリ３２及び二次メモリ３３）により実現しているが、これに限定されない。すなわち、推定装置３における記憶を１つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ３２として利用し、そのメモリの他の記憶領域を二次メモリ３３として利用すればよい。

入出力インタフェース３４には、入力デバイス及び／又は出力デバイスが接続される。入出力インタフェース３４としては、例えば、ＵＳＢ（Universal Serial Bus）、ＡＴＡ（Advanced Technology Attachment）、ＳＣＳＩ（Small Computer System Interface）、ＰＣＩ（Peripheral Component Interconnect）などのインタフェースが挙げられる。入出力インタフェース３４に接続される入力デバイスとしては例えば、鋳造ラインに設けられたセンサ群が挙げられる。推定方法Ｍ３においてセンサ群から取得するデータは推定装置３に入力され、一次メモリ３２に記憶される。また、入出力インタフェース３４に接続される入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。推定方法Ｍ３においてユーザから取得するデータは、これらの入力デバイスを介して推定方法Ｍ３に入力され、一次メモリ３２に記憶される。また、入出力インタフェース３４に接続される出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。推定方法Ｍ３においてユーザに提供する情報は、これらの出力デバイスを介して推定装置３から出力される。なお、推定装置３は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、推定装置３は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。

通信インタフェース３５には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信インタフェース３５としては、例えば、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのインタフェースが挙げられる。利用可能なネットワークとしては、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＣＡＮ（Campus Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。推定装置３が他のコンピュータ（例えば、数式特定装置１）から提供されるデータ（例えば、数式ｆ）は、これらのネットワークを介して送受信される。

なお、本実施形態においては、単一のプロセッサ（プロセッサ３１）を用いて推定方法Ｍ３を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて推定方法Ｍ３を実行する構成を採用してもよい。この場合、連携して推定方法Ｍ３を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して推定方法Ｍ３を実行する態様などが考えられる。

また、本実施形態においては、推定方法Ｍ３を実行するプロセッサ（プロセッサ３１）と同じコンピュータに内蔵されたメモリ（二次メモリ３３）に数式ｆを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、推定方法Ｍ３を実行するプロセッサと異なるコンピュータに内蔵されたメモリに数式ｆを格納する構成を採用してもよい。この場合、数式ｆを格納するメモリが内蔵されたコンピュータは、推定方法Ｍ３を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに数式ｆを格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが推定方法Ｍ３を実行する態様などが考えられる。

また、本実施形態においては、単一のメモリ（二次メモリ３３）に数式ｆを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに数式ｆを分散して格納する構成を採用してもよい。この場合、数式ｆを格納する複数のメモリは、単一のコンピュータ（推定方法Ｍ３を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい）に設けられていてもよいし、複数のコンピュータ（推定方法Ｍ３を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい）に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに数式ｆを分散して格納する構成などが考えられる。

〔推定方法の流れ〕
推定方法Ｍ３の流れについて、図１４を参照して説明する。図１４は、推定方法Ｍ３の流れを示すフローチャートである。推定方法Ｍ３は、第２推定ステップＭ３１と、出力ステップＭ３２と、を含んでいる。

第２推定ステップＭ３１は、プロセッサ１１が、推定装置３が特定した非線形の数式に、入力データを表す数値を代入して演算することにより、出力データを表す数値を推定するステップである。第２推定ステップＭ３１において推定される出力データは、学習済モデルＬＭ１に入力データを入力した場合に出力されると推定されるデータである。

出力ステップＭ３２は、プロセッサ１１が、推定した出力データを出力するステップである。プロセッサ１１は例えば、出力データの表す画像をディスプレイに表示する等して出力データを出力する。

本実施形態によれば、推定装置３が、遺伝的アルゴリズムＧＡを用いた非線形回帰により特定された非線形の数式を用いて、学習済モデルＬＭ１の出力を推定する。すなわち、推定装置３は、学習済モデルＬＭ１を用いることなく、入力データから学習済モデルＬＭ１の出力を推定することができる。そのため、例えば、推定装置３の演算装置が高度な演算処理に対応していない場合であっても、推定装置３が学習済モデルＬＭ１の出力結果を推定することができる。

また、本実施形態では、データ収集装置１１１が学習済モデルＬＭ１の入力データと出力データとをバッファリングし、遺伝的アルゴリズムＧＡに時間的同期をつけて入力する。学習済モデルＬＭ１からの出力と遺伝的アルゴリズムＧＡへの入力の時間的同期を図ることができるため、次段の遺伝的アルゴリズムＧＡが最終解を出力するまでの時間を先読みすることができる。

また、本実施形態では、データ収集装置１１１が、学習済モデルＬＭ１のデータを纏めて（ある程度の情報単位にして）次段の遺伝的アルゴリズムＧＡに入力する一種のバッファとして働く。これにより、次段の遺伝的アルゴリズムＧＡの世代演算処理において無駄なメモリ空間及び無駄な演算処理を削減でき、遺伝的アルゴリズムの世代演算処理を効率化できる。

〔機械学習装置の構成〕
機械学習装置２の構成について、図１５を参照して説明する。図１５は、機械学習装置２の構成を示すブロック図である。

機械学習装置２は、汎用コンピュータを用いて実現されており、プロセッサ２１と、一次メモリ２２と、二次メモリ２３と、入出力インタフェース２４と、通信インタフェース２５と、バス２６とを備えている。プロセッサ２１、一次メモリ２２、二次メモリ２３、入出力インタフェース２４、及び通信インタフェース２５は、バス２６を介して相互に接続されている。

二次メモリ２３には、機械学習プログラムＰ２及び学習用データセットＤＳが格納されている。学習用データセットＤＳは、教師データＤＳ１，ＤＳ２…の集合である。プロセッサ２１は、二次メモリ２３に格納されている機械学習プログラムＰ２を一次メモリ２２上に展開する。そして、プロセッサ２１は、一次メモリ２２上に展開された機械学習プログラムＰ２に含まれる命令に従って、機械学習方法Ｍ２に含まれる各ステップを実行する。二次メモリ２３に格納された学習用データセットＤＳは、機械学習方法Ｍ２の学習用データセット構築ステップＭ２１（後述）にて構築され、機械学習方法Ｍ２の学習済モデル構築ステップＭ２２（後述）において利用される。また、機械学習方法Ｍ２の学習済モデル構築ステップＭ２２にて構築された学習済モデルＬＭ１も、二次メモリ２３に格納される。なお、機械学習プログラムＰ２が二次メモリ２３に格納されているとは、ソースコード、又は、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ２３に記憶されていることを指す。また、学習済モデルＬＭ１が二次メモリ２３に格納されているとは、学習済モデルＬＭ１を規定するパラメータが二次メモリ２３に格納されていることを指す。

プロセッサ２１として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ２１は、「演算装置」と呼ばれることもある。

また、一次メモリ２２として利用可能なデバイスとしては、例えば、半導体ＲＡＭ（Random Access Memory）を挙げることができる。一次メモリ２２は、「主記憶装置」と呼ばれることもある。また、二次メモリ２３として利用可能なデバイスとしては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＯＤＤ（Optical Disk Drive）、ＦＤＤ（Floppy Disk Drive）、又は、これらの組み合わせを挙げることができる。二次メモリ２３は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ２３は、機械学習装置２に内蔵されていてもよいし、入出力インタフェース２４又は通信インタフェース２５を介して機械学習装置２と接続された他のコンピュータ（例えば、クラウドサーバを構成するコンピュータ）に内蔵されていてもよい。なお、本実施形態においては、機械学習装置２における記憶を２つのメモリ（一次メモリ２２及び二次メモリ２３）により実現しているが、これに限定されない。すなわち、機械学習装置２における記憶を１つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ２２として利用し、そのメモリの他の記憶領域を二次メモリ２３として利用すればよい。

入出力インタフェース２４には、入力デバイス及び／又は出力デバイスが接続される。入出力インタフェース２４としては、例えば、ＵＳＢ（Universal Serial Bus）、ＡＴＡ（Advanced Technology Attachment）、ＳＣＳＩ（Small Computer System Interface）、ＰＣＩ（Peripheral Component Interconnect）などのインタフェースが挙げられる。入出力インタフェース２４に接続される入力デバイスとしては、鋳造ラインに設けられたセンサ群が挙げられる。機械学習方法Ｍ２においてセンサ群から取得するデータは機械学習装置２に入力され、一次メモリ２２に記憶される。また、入出力インタフェース２４に接続される入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。機械学習方法Ｍ２においてユーザから取得するデータは、これらの入力デバイスを介して機械学習装置２に入力され、一次メモリ２２に記憶される。また、入出力インタフェース２４に接続される出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。機械学習方法Ｍ２においてユーザに提供する情報は、これらの出力デバイスを介して機械学習装置２から出力される。なお、機械学習装置２は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、機械学習装置２は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。

通信インタフェース２５には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信インタフェース２５としては、例えば、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのインタフェースが挙げられる。利用可能なネットワークとしては、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＣＡＮ（Campus Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。機械学習装置２が他のコンピュータ（例えば、数式特定装置１）に提供するデータ（例えば、学習済モデルＬＭ１）は、これらのネットワークを介して送受信される。

なお、本実施形態においては、単一のプロセッサ（プロセッサ２１）を用いて機械学習方法Ｍ２を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて機械学習方法Ｍ２を実行する構成を採用してもよい。この場合、連携して機械学習方法Ｍ２を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して機械学習方法Ｍ２を実行する態様などが考えられる。

また、本実施形態においては、機械学習方法Ｍ２を実行するプロセッサ（プロセッサ２１）と同じコンピュータに内蔵されたメモリ（二次メモリ２３）に学習用データセットＤＳを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、機械学習方法Ｍ２を実行するプロセッサと異なるコンピュータに内蔵されたメモリに学習用データセットＤＳを格納する構成を採用してもよい。この場合、学習用データセットＤＳを格納するメモリが内蔵されたコンピュータは、機械学習方法Ｍ２を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに学習用データセットＤＳを格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが機械学習方法Ｍ２を実行する態様などが考えられる。

また、本実施形態においては、単一のメモリ（二次メモリ２３）に学習用データセットＤＳを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに学習用データセットＤＳを分散して格納する構成を採用してもよい。この場合、学習用データセットＤＳを格納する複数のメモリは、単一のコンピュータ（機械学習方法Ｍ２を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい）に設けられていてもよいし、複数のコンピュータ（機械学習方法Ｍ２を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい）に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに学習用データセットＤＳを分散して格納する構成などが考えられる。

また、本実施形態においては、数式特定方法Ｍ１、機械学習方法Ｍ２及び推定方法Ｍ３を異なるプロセッサ（プロセッサ１１、プロセッサ２１及びプロセッサ３１）を用いて実行する構成を採用しているが、本発明は、これに限定されない。すなわち、数式特定方法Ｍ１、機械学習方法Ｍ２及び推定方法Ｍ３を同一のプロセッサを用いて実行してもよい。この場合、機械学習方法Ｍ２を実行することによって、このプロセッサと同じコンピュータに内蔵されたメモリに学習済モデルＬＭ１が格納さる。そして、このプロセッサは、数式特定方法Ｍ１を実行する際に、このメモリに格納された学習済モデルＬＭ１を利用し、数式を特定することになる。また、このプロセッサは、推定方法Ｍ３を実行する際に、特定した数式を用いて出力データを推定する。

〔機械学習方法の流れ〕
機械学習方法Ｍ２の流れについて、図１６を参照して説明する。図１６は、機械学習方法Ｍ２の流れを示すフローチャートである。

機械学習方法Ｍ２は、学習用データセット構築ステップＭ２１と、学習済モデル構築ステップＭ２２と、を含んでいる。

学習用データセット構築ステップＭ２１は、プロセッサ２１が、教師データＤＳ１，ＤＳ２，…の集合である学習用データセットＤＳを構築するステップである。

各教師データＤＳｉ（ｉ＝１，２，…）には、第１データ、及び第２データが含まれている。教師データＤＳｉに含まれる第１データは、学習済モデルＬＭ１に入力する入力データと同様のデータである。学習用データセット構築ステップＭ２１において、プロセッサ２１は、数式特定装置１と同様の方法でこのデータを取得する。また、教師データＤＳｉには、第２データがラベルとして含まれる。学習用データセット構築ステップＭ２１において、プロセッサ２１は、第１データと、第２データとを関連付けて二次メモリ２３に格納する。以上のプロセスをプロセッサ２１が繰り返すことによって、学習用データセットＤＳが構築される。

学習済モデル構築ステップＭ２２は、プロセッサ２１が、学習済モデルＬＭ１を構築するステップである。学習済モデル構築ステップＭ２２において、プロセッサ２１は、学習用データセットＤＳを用いた教師あり学習によって、学習済モデルＬＭ１を構築する。そして、プロセッサ２１は、構築した学習済モデルＬＭ１を二次メモリ２３に格納する。

〔実施例１〕
本実施形態に係る演算数式化システムＳは、例えば鋳造システムに適用される。鋳造フェーズＣ１について、図１７を参照して説明する。図１７は、鋳造システムにおける鋳造フェーズＣ１の構成を示す図である。

鋳造フェーズＣ１は、鋳物砂を用いて鋳造を行うフェーズである。鋳造フェーズＣ１は、例えば図１７に示すように、混練工程Ｃ１１と、造型工程Ｃ１２と、抜型工程Ｃ１３と、塗型工程Ｃ１４と、枠合せ工程Ｃ１５と、注湯工程Ｃ１６と、冷却工程Ｃ１７と、解枠工程Ｃ１８と、により構成することができる。

混練工程Ｃ１１は、鋳物砂に樹脂及び硬化剤を含む添加物を加えて混練する工程である。造型工程Ｃ１２は、混練工程Ｃ１１にて混練された鋳物砂を鋳枠に充填することによって、鋳型を造型する工程である。ここでは、鋳型の上部に相当する上型と鋳型の下部に相当する下型とが、それぞれ造型されるものとする。抜型工程Ｃ１３は、造型工程Ｃ１２にて造型された上型及び下型を鋳枠から分離する工程である。塗型工程Ｃ１４は、抜型工程Ｃ１３にて取り出した上型及び下型の製品面に塗型剤を塗布する工程である。枠合せ工程Ｃ１５は、塗型工程Ｃ１４にて塗型剤が塗布された上型と下型とを合体させることによって、鋳型を得る工程である。注湯工程Ｃ１６は、枠合せ工程Ｃ１５にて得られた鋳型に溶湯を流し込む工程である。冷却工程Ｃ１７は、注湯工程Ｃ１６にて鋳型に注入された溶湯を冷却する工程である。冷却された溶湯は、鋳型の内部で凝固して鋳物となる。解枠工程Ｃ１８は、鋳型に振動を与えることによって、鋳型を解体して砂塊にすると共に、冷却工程Ｃ１７にて得られた鋳物を取り出す工程である。

鋳造フェーズＣ１にて得られた砂塊は、例えば、解砕工程、分離工程、再生前冷却工程、砂再生工程等を経て鋳物砂に再生される。

本実施例に係る鋳造システムにおいて、遺伝的アルゴリズムを用いて特定される数式における入力データは例えば、鋳造ラインに設置された各種のセンサが検知するセンサ出力値を含む。出力データは例えば、ＣＢ値、鋳型強度、鋳型の欠けの有無ラベル、製品の良品、不良品ラベルを含む。

本実施例によれば、例えば、数式特定装置１が、学習済モデルＬＭ１に入力したセンサ出力値と、学習済モデルＬＭ１から出力されたＣＢ値との関係を表す非線形の数式を、遺伝的アルゴリズムＧＡを用いて非線形回帰により特定する。ユーザは、この非線形の数式又はこの数式により表されるグラフ等の図形により、センサ出力値とＣＢ値との関係を把握し易い。

〔実施例２〕
本実施形態に係る演算数式化システムＳは、例えば売上予測システムに適用される。売上予測システムにおいて、遺伝的アルゴリズムを用いて特定される数式における入力データは例えば、気温、曜日、通行量、人口、世帯数、店舗面積、単価、品ぞろえ数、駅からの距離、広告費、SNSハッシュタグ統計、キーワード検索統計、感染症の感染者数、来日外国人数、為替レート、株価、金利、物価、雇用統計、日銀短観、家計調査を示す条件データを含む。出力データは例えば、売上金額を示すデータを含む。

本実施例によれば、例えば、数式特定装置１が、学習済モデルＬＭ１に入力した条件データと、学習済モデルＬＭ１から出力された売上金額との関係を表す非線形の数式を、遺伝的アルゴリズムＧＡを用いて非線形回帰により特定する。ユーザは、この非線形の数式又はこの数式により表されるグラフ等の図形により、売上予測システムにおける条件と売上との関係を把握し易い。

〔実施例３〕
また、本実施形態に係る演算数式化システムＳは、例えば創薬システムに適用される。創薬システムにおいて、遺伝的アルゴリズムを用いて特定される数式における入力データは例えば、分子モデルパラメータ、各成分の結合親和性を示すデータを含む。出力データは例えば、薬剤を示すデータを含む。

本実施例によれば、例えば、数式特定装置１が、学習済モデルＬＭ１に入力した入力データと、学習済モデルＬＭ１から出力された薬剤を示すデータとの関係を表す非線形の数式を、遺伝的アルゴリズムＧＡを用いて非線形回帰により特定する。ユーザは、この非線形の数式又はこの数式により表されるグラフ等の図形により、入力データと薬剤との関係を把握し易い。

〔実施例４〕
また、本実施形態に係る演算数式化システムＳは、例えば材料開発システムに適用される。材料開発システムにおいて、遺伝的アルゴリズムを用いて特定される数式における入力データは例えば、合金の成分の配合率、物性値を含む。出力データは例えば、生成される材料の特性（強度、等）を表す特性データを含む。

本実施例によれば、例えば、数式特定装置１が、学習済モデルＬＭ１に入力した配合率及び物性値と、学習済モデルＬＭ１から出力された特性データとの関係を表す非線形の数式を、遺伝的アルゴリズムＧＡを用いて非線形回帰により特定する。ユーザは、この非線形の数式又はこの数式により表されるグラフ等の図形により、配合率及び物性値と特性データとの関係を把握し易い。

〔実施例５〕
また、本実施形態に係る演算数式化システムＳは、例えば画像認識システムに適用される。画像認識システムにおいて、遺伝的アルゴリズムを用いて特定される数式における入力データは例えば、画像の特徴量を示すデータを含む。出力データは例えば、画像認識結果を示すデータを含む。

本実施例によれば、例えば、数式特定装置１が、学習済モデルＬＭ１に入力した特徴量と、学習済モデルＬＭ１から出力された画像認識結果との関係を表す非線形の数式を、遺伝的アルゴリズムＧＡを用いて非線形回帰により特定する。ユーザは、この非線形の数式又はこの数式により表されるグラフ等の図形により、画像の特徴量と画像認識結果との関係を把握し易い。

〔実施例６〕
また、本実施形態に係る演算数式化システムＳは、例えば設備不具合予知システムに適用される。設備不具体予知システムにおいて、遺伝的アルゴリズムを用いて特定される数式における入力データは例えば、設備に設けられた各センサにより検出された検出値を含む。出力データは例えば、設備の不具合の発生の有無の推定結果を示すデータを含む。

本実施例によれば、例えば、数式特定装置１が、学習済モデルＬＭ１に入力した検出値と、学習済モデルＬＭ１から出力された不具合の発生の有無の推定結果との関係を表す非線形の数式を、遺伝的アルゴリズムＧＡを用いて非線形回帰により特定する。ユーザは、この非線形の数式又はこの数式により表されるグラフ等の図形により、センサの検出値と設備の不具合の発生の有無との関係を把握し易い。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

本実施形態に係る演算数式化システムは、上述の実施形態１に係る演算数式化システムＳに対し、学習済モデルの構造が異なっている。本実施形態に係る数式特定装置１、機械学習装置２、推定装置３の装置構成は、上述の実施形態１に係る数式特定装置１、機械学習装置２、推定装置３の装置構成と同様である。

上述の実施形態１に係る学習済モデルＬＭ１が１つの隠れ層ＬＹを含むのに対し、本実施形態に係る学習済モデルＬＭ２は、複数の隠れ層ＬＹ１、ＬＹ２を含む。

〔学習済モデルと遺伝的アルゴリズムの具体例３〕
図１８は、実施形態２に係る学習済モデルＬＭ２と遺伝的アルゴリズムＧＡとを例示する図である。図において、学習済モデルＬＭ２は、入力層ＬＸ、隠れ層ＬＹ１、ＬＹ２、出力層ＬＺを含む。各層は複数のノードがエッジで結ばれる構造となっている。学習済モデルＬＭ２は２つの隠れ層ＬＹ１、ＬＹ２を含んでいる。

入力層ＬＸは、ノードＸ１、Ｘ２、Ｘ３、Ｘ４を含む。すなわち、入力層ＬＸには、ノードＸ１、Ｘ２、Ｘ３、Ｘ４のそれぞれの値ｘ１、ｘ２、ｘ３、ｘ４を含む入力データが入力される。

隠れ層ＬＹ１は、ノードＹ１、Ｙ２、Ｙ３を含み、隠れ層ＬＹ２は、ノードＹ１１、Ｙ１２、Ｙ１３を含む。ノードＹ１、Ｙ２、Ｙ３のそれぞれの値ｙ１、ｙ２、ｙ３は、隠れ層ＬＹ１の前の層である入力層ＬＸのノードの出力値ｘ１、ｘ２、ｘ３、ｘ４から算出される。ノードＹ１１、Ｙ１２、Ｙ１３のそれぞれの値ｙ１１、ｙ１２、ｙ１３は、隠れ層ＬＹ２の前の層である隠れ層ＬＹ１のノードの出力値ｙ１、ｙ２、ｙ３から算出される。

出力層ＬＺは、ノードＺ１を含む。ノードＺ１の値ｚ１は、出力層ＬＺの前の層である隠れ層ＬＹ２のノードの出力値ｙ１１、ｙ１２、ｙ１３、ｙ１４から計算される。出力層ＬＺは、ノードＺ１の値ｚ１を、出力データとして出力する。

図１８の例において、遺伝的アルゴリズムの個体ｉである非線形の数式は、例えば上述の（１）式で表される。

この例で、プロセッサ１１が実行する特定ステップＭ１２は、上述の実施形態１で示した図５の処理と同様である。すなわち、プロセッサ１１は、図５のステップＭ１２１～Ｍ１３２の処理を実行することにより、入力データと出力データとの関係を表す非線形の数式を特定し、出力する。

〔学習済モデルと遺伝的アルゴリズムの具体例４〕
図１９は、本実施形態に係る学習済モデルＬＭ２と遺伝的アルゴリズムＧＡとを例示する図である。

図１９の例では、遺伝的アルゴリズムＧＡの個体ｉは、例えば以下の（６）～（１２）式の７つの式を含む。
ｚ１＝ｆ_５（ｙ１，ｙ２，ｙ３，ｙ１１，ｙ１２，ｙ１３） …（６）
ｙ１＝ｆ_２（ｘ１，ｘ２，ｘ３，ｘ４） …（７）
ｙ２＝ｆ_３（ｘ１，ｘ２，ｘ３，ｘ４） …（８）
ｙ３＝ｆ_４（ｘ１，ｘ２，ｘ３，ｘ４） …（９）
ｙ１１＝ｆ_６（ｘ１，ｘ２，ｘ３，ｘ４） …（１０）
ｙ１２＝ｆ_７（ｘ１，ｘ２，ｘ３，ｘ４） …（１１）
ｙ１３＝ｆ_８（ｘ１，ｘ２，ｘ３，ｘ４） …（１２）

この例で、プロセッサ１１が実行する特定ステップＭ１２は、上述の実施形態１で示した図１２の処理と同様である。すなわち、プロセッサ１１は、ステップＭ１５１において、関係を数式化する入力データと出力データとを取得する。

入力データは、入力層ＬＸの各ノートの値ｘ１、ｘ２、ｘ３を含む。また、出力データは、出力層ＬＺのノードＺ１の値ｚ１に加えて、隠れ層ＬＹ１、ＬＹ２の各ノードの出力値ｙ１、ｙ２、ｙ３、ｙ１１、ｙ１２、ｙ１３を含む。

プロセッサ１１は、図１２のステップＭ１５２～１３１の処理を実行し、最適解である個体ｉを選択する。ステップＭ１５３において、プロセッサ１１は、選択した個体ｉに含まれる（６）～（１２）式の連立方程式を解くことにより、学習済モデルＬＭ２の入力データと出力データとの関係を表す数式を特定する。入力データと出力データの関係を表す数式は、例えば、上述の（１）式で表される。プロセッサ１１は、特定した数式を、例えばディスプレイに表示する等して出力する。

〔実施例〕
上述の実施形態１で説明した実施例１～６は、本実施形態の実施例としても適応され得る。すなわち、本実施形態に係る演算数式化システムは、例えば、鋳造システム、売上予測システム、創薬システム、材料開発システム、画像認識システムに適用される。なお、上述の実施例１～６のうち、実施例３～５は実施形態２により適した実施例であり、一方、実施例１、２、６は実施形態１により適した実施例である。

〔変形例〕
〔変形例１〕
図２０は、変形例１に係る学習済モデルＬＭ３と、遺伝的アルゴリズムＧＡとを例示する図である。図において、学習済モデルＬＭ３は、入力層ＬＸ、複数の隠れ層ＬＹ１１、ＬＹ１２、出力層ＬＺを含む。各層は複数のノードがエッジで結ばれる構造となっている。

隠れ層ＬＹ１１は、ノードＹ１、Ｙ２、Ｙ３を含み、隠れ層ＬＹ１２は、ノードＹ１１、Ｙ１２を含む。ノードＹ１、Ｙ２、Ｙ３のそれぞれの値ｙ１、ｙ２、ｙ３は、隠れ層ＬＹ１１の前の層である入力層ＬＸのノードの出力値ｘ１、ｘ２、ｘ３、ｘ４から算出される。ノードＹ１１、Ｙ１２のそれぞれの値ｙ１１、ｙ１２は、隠れ層ＬＹ１２の前の層である隠れ層ＬＹ１１のノードの出力値ｙ１、ｙ２、ｙ３から算出される。

出力層ＬＺは、ノードＺ１を含む。ノードＺ１の値ｚ１は、出力層ＬＺの前の層である隠れ層ＬＹ１２のノードの出力値ｙ１１、ｙ１２から計算される。出力層ＬＺは、ノードＺ１の値ｚ１を、出力データとして出力する。

図２０において、遺伝的アルゴリズムＧＡの個体ｉは、例えば上述の（２）～（５）式の４つの非線形の数式を含む。すなわち、プロセッサ１１は、入力データと一部の隠れ層（一の隠れ層（隠れ層ＬＹ１１））に属する各ノードの出力値との関係を表す非線形の第１の数式（（３）～（５）式）、及び、当該各ノードのデータと出力データとの関係を表す非線形の第２の数式（（２）式）を、前記遺伝的アルゴリズムを用いた非線形回帰により特定する。

プロセッサ１１が実行する特定ステップＭ１２は、上述の実施形態１で示した図１２の処理と同様である。すなわち、プロセッサ１１は、ステップＭ１５１において、関係を数式化する入力データと出力データとを取得する。入力データは、入力層ＬＸの各ノートの値ｘ１、ｘ２、ｘ３を含む。また、出力データは、出力層ＬＺのノードＺ１の値ｚ１に加えて、隠れ層ＬＹ１１の各ノードの出力値ｙ１、ｙ２、ｙ３を含む。

プロセッサ１１は、図１２のステップＭ１５２～１３１の処理を実行し、最適解である個体ｉを選択する。ステップＭ１５３において、プロセッサ１１は、選択した個体ｉに含まれる（２）～（５）式の連立方程式を解くことにより、学習済モデルＬＭ２の入力データと出力データとの関係を表す数式を特定する。入力データと出力データの関係を表す数式は、例えば、上述の（１）式で表される。プロセッサ１１は、特定した数式を、例えばディスプレイに表示する等して出力する。

学習済モデルＬＭ３の隠れ層には、学習の進みにくい層と学習の進みやすい層とが含まれる場合がある。学習の進みにくい層とは、パーセプトロンが多数あったり、重み付けが複数あったりする層である。学習が進みやすい層とは、パーセプトロンが少なかったり、重み付けがなかったり又は１つだったりする層である。本変形例において、プロセッサ１１は、隠れ層のうち、学習の進みにくい層（例えば、隠れ層ＬＹ１１）については、その層の各ノードの値を変数として数式に含める。一方、プロセッサ１１は、学習の進みやすい層（例えば、隠れ層ＬＹ１２）については、その層の各ノードの値を数式に含めない。

学習の進みにくい層の各ノードの値を変数として数式に含めることにより、例えば画像認識等の複雑な事象において、特徴量をつかむことができる。また、各ノードがどのように働いているのかを把握し易い。また、学習が進みやすい層の各ノードの値を数式に含めないことにより、計算コストを節約することができ、また、数式をシンプルにすることができる。

〔変形例２〕
図２１は、変形例１に係る学習済モデルＬＭ３と、遺伝的アルゴリズムＧＡとを例示する図である。図において、学習済モデルＬＭ３は、上述の変形例１の図２０に示した学習済モデルＬＭ３と同様である。

図２１において、遺伝的アルゴリズムＧＡの個体ｉは、例えば以下の（１３）～（１５）式の３つの非線形の数式を含む。
ｚ１＝ｆ_８（ｙ１１，ｙ１２） …（１３）
ｙ１１＝ｆ_６（ｘ１，ｘ２，ｘ３，ｘ４） …（１４）
ｙ１２＝ｆ_７（ｘ１，ｘ２，ｘ３，ｘ４） …（１５）

プロセッサ１１は、入力データと、出力層ＬＺの前段の隠れ層ＬＹ１２に属する各ノードの出力値との関係を表す非線形の第１の数式（（１４）～（１５）式）、及び、当該各ノードの出力値と前記出力データとの関係を表す非線形の第２の数式（（１３）式）を、前記遺伝的アルゴリズムを用いた非線形回帰により特定する。

入力データは、入力層ＬＸの各ノートの値ｘ１、ｘ２、ｘ３を含む。また、出力データは、出力層ＬＺのノードＺ１の値ｚ１に加えて、隠れ層ＬＹ１２の各ノードの出力値ｙ１１、ｙ１２を含む。

プロセッサ１１は、図１２のステップＭ１５２～１３１の処理を実行し、最適解である個体ｉを選択する。ステップＭ１５３において、プロセッサ１１は、選択した個体ｉに含まれる（１３）～（１５）式の連立方程式を解くことにより、学習済モデルＬＭ２の入力データと出力データとの関係を表す数式を特定する。入力データと出力データの関係を表す数式は、例えば、上述の（１）式で表される。プロセッサ１１は、特定した数式を、例えばディスプレイに表示する等して出力する。

上述の実施形態２では、２つの隠れ層ＬＹ１、ＬＹ２を含む学習済モデルＬＭ２を用いたが、学習済モデルに含まれる隠れ層の数は、２以上であってもよい。

〔まとめ〕
態様１に係る数式特定装置は、学習済モデルの入力データを表す数値と前記学習済モデルの出力データを表す数値との関係を表す非線形の数式を特定する特定ステップを実行する一又は複数のプロセッサを備えている。

上記の構成によれば、数式特定装置は、学習済モデルの演算過程を数式化することができる。

態様２に係る数式特定装置は、態様１に係る数式特定装置の特徴に加えて、以下の特徴を有している。すなわち、態様２に係る数式特定装置において、前記プロセッサは、機械学習により構築された前記学習済モデルを用いて前記入力データから前記出力データを推定する推定ステップ、を更に実行し、前記特定ステップにおいて、遺伝的アルゴリズムを用いた非線形回帰によって前記非線形の数式を特定する。

態様３に係る数式特定装置は、態様２に係る数式特定装置の特徴に加えて、以下の特徴を有している。すなわち、態様３に係る数式特定装置において、前記学習済モデルは、複数の層により構成されるディープニューラルネットワークであり、前記プロセッサは、前記特定ステップにおいて、入力層に入力される前記入力データを表す数値と出力層から出力される前記出力データを表す数値との関係を表す非線形の数式を解の候補とする前記遺伝的アルゴリズムを用いた非線形回帰により、当該数式を特定する。

上記の構成によれば、数式特定装置は、学習済モデルの入力データを表す数値と出力データを表す数値との関係を表す非線形の数式を解の候補とする遺伝的アルゴリズムを用いた非線形回帰により特定する。これにより、学習済モデルの演算過程を数式化することができる。

態様４に係る数式特定装置は、態様２に係る数式特定装置の特徴に加えて、以下の特徴を有している。すなわち、態様４に係る数式特定装置において、前記学習済モデルは、複数の層により構成されるディープニューラルネットワークであり、前記プロセッサは、前記特定ステップにおいて、前記入力データを表す数値と隠れ層に属する一部又は全部のノードの各々の出力値との関係を表す非線形の第１の数式、及び、当該ノードの各々の出力値と前記出力データを表す数値との関係を表す非線形の第２の数式を解の候補とする前記遺伝的アルゴリズムを用いた非線形回帰により、当該第１の数式及び当該第２の数式を特定し、特定した第１の数式及び第２の数式を用いて、前記入力データを表す数値と前記出力データを表す数値との関係を表す非線形の数式を特定する。

上記の構成によれば、数式特定装置は、複数の層を含む学習済モデルの入力層のノードの出力値と隠れ層の一部又は全部のノードの出力値との関係を表す数式と、隠れ層のノードの出力値を出力層のノードの出力値との関係を表す数式とを、遺伝的アルゴリズムを用いた非線形回帰によって特定する。これにより、学習済モデルの演算過程を数式化することができる。

態様５に係る数式特定装置は、態様４に係る数式特定装置の特徴に加えて、以下の特徴を有している。すなわち、態様５に係る数式特定装置において、前記学習済モデルは、複数の隠れ層を含み、前記プロセッサは、前記特定ステップにおいて、前記入力データを表す数値と一の隠れ層に属する各ノードの出力値との関係を表す非線形の第１の数式、及び、当該各ノードの出力値と前記出力データを表す数値との関係を表す非線形の第２の数式を、前記遺伝的アルゴリズムを用いた非線形回帰により特定する。

上記の構成によれば、数式特定装置は、複数の層を含む学習済モデルの入力層のノードの出力値と一の隠れ層のノードの出力値との関係を表す数式と、上記一の隠れ層のノードの出力値を出力層のノードの出力値との関係を表す数式とを、遺伝的アルゴリズムを用いた非線形回帰によって特定する。これにより、学習済モデルの演算過程を数式化することができる。

態様６に係る数式特定装置は、態様４に係る数式特定装置の特徴に加えて、以下の特徴を有している。すなわち、態様６に係る数式特定装置において、前記学習済モデルは、複数の隠れ層を含み、前記プロセッサは、前記特定ステップにおいて、前記入力データを表す数値と、出力層の前段の隠れ層に属する各ノードの出力値との関係を表す非線形の第１の数式、及び、当該各ノードのデータと前記出力データを表す数値との関係を表す非線形の第２の数式を、前記遺伝的アルゴリズムを用いた非線形回帰により特定する。

上記の構成によれば、数式特定装置は、複数の層を含む学習済モデルの入力層のノードの出力値と出力層の前段の隠れ層のノードの出力値との関係を表す数式と、上記隠れ層のノードの出力値を出力層のノードの出力値との関係を表す数式とを、遺伝的アルゴリズムを用いた非線形回帰によって特定する。これにより、学習済モデルの演算過程を数式化することができる。

態様７に係る数式特定方法は、一又は複数のプロセッサが、学習済モデルの入力データを表す数値と前記学習済モデルの出力データを表す数値との関係を表す非線形の数式を特定する特定ステップ、を含んでいる。

態様８に係る推定装置は、態様１～６の何れかに記載の数式特定装置が特定した前記非線形の数式に、前記入力データを表す数値を代入して演算することにより、前記出力データを表す数値を推定する第２推定ステップ、を実行する一又は複数のプロセッサを備えている。

上記の構成によれば、学習済モデルの演算過程を数式化した非線形の数式を用いて、学習済モデルの出力を推定することができる。

態様９に係る数式特定方法は、一又は複数のプロセッサが、態様７に記載の数式特定方法で特定された前記非線形の数式に、前記入力データを表す数値を代入して演算することにより、前記出力データを表す数値を推定する第２推定ステップ、を含んでいる。

〔付記事項１〕
上述の各実施形態及び各変形例では、学習済モデルＬＭ１、ＬＭ２、ＬＭ３として、教師あり学習により機械学習された学習済モデルを用いたが、教師なし学習により機械学習された学習済モデルが用いられてもよい。教師なし学習により機械学習された学習済モデルについても、上述の各実施形態及び各変形例と同様、プロセッサ１１が、学習済モデルの入力と出力との関係を表す非線形の数式を、遺伝的アルゴリズムにより回帰して特定する。

〔付記事項２〕
上述の各実施形態及び変形例では、機械学習装置２が、学習済モデルＬＭ１、ＬＭ２、ＬＭ３を構築したが、学習済モデルＬＭ１、ＬＭ２、ＬＭ３は、機械学習装置２以外の他の装置により予め構築されていてもよい。この場合、数式特定装置１は、他の装置により予め構築された学習済モデルを用いて上述の数式特定方法Ｍ１を実施する。

〔付記事項３〕
上述の各実施形態及び変形例では、プロセッサ１１は、入力データと出力データとの関係を表す非線形の数式を、遺伝的アルゴリズムを用いた非線形回帰によって特定した。入力データと出力データとの関係を表す非線形の数式を特定するためのアルゴリズムは、遺伝的アルゴリズムに限られず、他の非線形アルゴリズムであってもよい。

一例として、プロセッサ１１は、入力データと出力データとの関係を表す非線形の数式を、モンテカルロ法を用いて特定してもよい。この場合、一例として、プロセッサ１１は、数式の長さ、および、数式の要素（変数や演算子など）をランダムに選択することによって複数の数式を作成し、作成した複数の数式のなかから、最も誤差の小さい数式を選択することによって、入力データから出力データを導出する関係式を構築する。

また、一例として、プロセッサ１１は、データセットから非線形の数式を導出する学習済モデル（以下、「数式導出モデル」という）を用いて、非線形の数式を特定してもよい。この場合、数式導出モデルは、データセットを入力とし、非線形の数式に対応するラベルを出力とする学習済モデルである。入力であるデータセットは、上述の学習済モデルＬＭ１、ＬＭ２、ＬＭ３の入力データと出力データとのセットである。出力であるラベルは、非線形の数式に対応するラベルである。

数式導出モデルの学習フェーズにおいては、機械学習装置２等の情報処理装置が、データセットとラベルとを結びつけた学習用データを用いた機械学習により、数式導出モデルを構築する。

〔付記事項４〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、上述した実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる他の実施形態についても本発明の技術的範囲に含まれる。

１数式特定装置
２機械学習装置
３推定装置
１１、２１プロセッサ
１２、２２一次メモリ
１３、２３二次メモリ
１４、２４入出力インタフェース
１５、２５通信インタフェース
１６、２６バス
ＬＭ１、ＬＭ２学習済モデル
Ｍ１数式特定方法
Ｍ１１推定ステップ
Ｍ１２特定ステップ
Ｍ２機械学習方法
Ｍ２１学習用データセット構築ステップ
Ｍ２２学習済モデル構築ステップ
Ｓ演算数式化システム

Claims

機械学習により構築された学習済モデルを用いて入力データから出力データを推定する推定ステップと、
前記学習済モデルの前記入力データを表す数値と前記学習済モデルの前記出力データを表す数値との関係を表す非線形の数式を特定する特定ステップと、
を実行する一又は複数のプロセッサを備え、
前記学習済モデルは、複数の層により構成されるディープニューラルネットワークであり、
前記プロセッサは、前記特定ステップにおいて、入力層に入力される前記入力データを表す数値と出力層から出力される前記出力データを表す数値との関係を表す非線形の数式を解の候補とする遺伝的アルゴリズムを用いた非線形回帰により、当該数式を特定する、
ことを特徴とする数式特定装置。
機械学習により構築された学習済モデルを用いて入力データから出力データを推定する推定ステップと、
前記学習済モデルの前記入力データを表す数値と前記学習済モデルの前記出力データを表す数値との関係を表す非線形の数式を特定する特定ステップと、
を実行する一又は複数のプロセッサを備え、
前記学習済モデルは、複数の層により構成されるディープニューラルネットワークであり、
前記プロセッサは、前記特定ステップにおいて、前記入力データを表す数値と隠れ層に属する一部又は全部のノードの各々の出力値との関係を表す非線形の第１の数式、及び、当該ノードの各々の出力値と前記出力データを表す数値との関係を表す非線形の第２の数式を解の候補とする遺伝的アルゴリズムを用いた非線形回帰により、当該第１の数式及び当該第２の数式を特定し、特定した第１の数式及び第２の数式を用いて、前記入力データを表す数値と前記出力データを表す数値との関係を表す非線形の数式を特定する、
ことを特徴とする数式特定装置。
前記学習済モデルは、複数の隠れ層を含み、
前記プロセッサは、前記特定ステップにおいて、前記入力データを表す数値と一の隠れ層に属する各ノードの出力値との関係を表す非線形の第１の数式、及び、当該各ノードのデータと前記出力データを表す数値との関係を表す非線形の第２の数式を、前記遺伝的アルゴリズムを用いた非線形回帰により特定する、
ことを特徴とする請求項２に記載の数式特定装置。
前記学習済モデルは、複数の隠れ層を含み、
前記プロセッサは、前記特定ステップにおいて、前記入力データを表す数値と、出力層の前段の隠れ層に属する各ノードの出力値との関係を表す非線形の第１の数式、及び、当該各ノードのデータと前記出力データを表す数値との関係を表す非線形の第２の数式を前記遺伝的アルゴリズムを用いた非線形回帰により特定する、
ことを特徴とする請求項２に記載の数式特定装置。
一又は複数のプロセッサが、
機械学習により構築された学習済モデルを用いて入力データから出力データを推定する推定ステップと、
前記学習済モデルの前記入力データを表す数値と前記学習済モデルの前記出力データを表す数値との関係を表す非線形の数式を特定する特定ステップと、
を含み、
前記学習済モデルは、複数の層により構成されるディープニューラルネットワークであり、
前記プロセッサは、前記特定ステップにおいて、入力層に入力される前記入力データを表す数値と出力層から出力される前記出力データを表す数値との関係を表す非線形の数式を解の候補とする遺伝的アルゴリズムを用いた非線形回帰により、当該数式を特定する、
ことを特徴とする数式特定方法。
一又は複数のプロセッサが、
機械学習により構築された学習済モデルを用いて入力データから出力データを推定する推定ステップと、
前記学習済モデルの前記入力データを表す数値と前記学習済モデルの前記出力データを表す数値との関係を表す非線形の数式を特定する特定ステップと、
を含み、
前記学習済モデルは、複数の層により構成されるディープニューラルネットワークであり、
前記プロセッサは、前記特定ステップにおいて、前記入力データを表す数値と隠れ層に属する一部又は全部のノードの各々の出力値との関係を表す非線形の第１の数式、及び、当該ノードの各々の出力値と前記出力データを表す数値との関係を表す非線形の第２の数式を解の候補とする遺伝的アルゴリズムを用いた非線形回帰により、当該第１の数式及び当該第２の数式を特定し、特定した第１の数式及び第２の数式を用いて、前記入力データを表す数値と前記出力データを表す数値との関係を表す非線形の数式を特定する、
ことを特徴とする数式特定方法。
請求項１～４の何れか一項に記載の数式特定装置が特定した前記非線形の数式に、前記入力データを表す数値を代入して演算することにより、前記出力データを表す数値を推定する第２推定ステップ、
を実行する一又は複数のプロセッサを備える、
ことを特徴とする推定装置。
一又は複数のプロセッサが、請求項５又は６に記載の数式特定方法で特定された前記非線形の数式に、前記入力データを表す数値を代入して演算することにより、前記出力データを表す数値を推定する第２推定ステップ、
を含むことを特徴とする推定方法。