JP7647692B2 - 推定装置、推定方法、および、推定プログラム - Google Patents

Description

本発明は、推定装置、推定方法、および、推定プログラムに関する。

特許文献１には、「モデル４５は測定データの入力に応じ報酬値を高めるために推奨される第１種類の制御内容を示す推奨制御パラメータを出力する」と記載されている。また、非特許文献１には、「ＦＫＤＰＰ（Ｆａｃｔоｒｉａｌ Ｋｅｒｎｅｌ Ｄｙｎａｍｉｃ Ｐоｌｉｃｙ Ｐｒоｇｒａｍｍｉｎｇ）」が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２０２１－０８６２８３
［非特許文献］
［非特許文献１］ "横河電機とＮＡＩＳＴが化学プラント向けに強化学習"，日経Ｒｏｂｏｔｉｃｓ ２０１９年３月号

本発明の第１の態様においては、推定装置を提供する。前記推定装置は、設備の状態に応じた評価指標を出力するように機械学習された評価モデルの出力を報酬の少なくとも一部とした強化学習により生成され、前記設備の状態に応じた行動を出力する操業モデルを用いて前記設備に設けられた制御対象を制御した場合における前記設備の状態を示す状態データのうち、前記設備に異常が発生した場合における前記状態データを入力したことに応じて前記評価モデルが出力する前記評価指標を、異常指標として取得する異常指標取得部と、前記異常指標に基づいて、前記異常の主要因が前記評価モデルまたは前記操業モデルのいずれであるかを推定する推定部と、前記推定された結果に応じた出力を実行する出力部と、を備える。

前記推定装置において、前記推定部は、前記異常指標が予め定められた基準を満たさない場合に、前記異常の主要因が前記操業モデルであると推定してもよい。

前記推定装置のいずれかにおいて、前記出力部は、前記異常の主要因が前記操業モデルであると推定された場合に、前記操業モデルの再学習を指示する旨を出力してもよい。

前記推定装置のいずれかにおいて、前記推定部は、前記異常指標が予め定められた基準を満たす場合に、前記異常の主要因が前記評価モデルであると推定してもよい。

前記推定装置のいずれかにおいて、前記出力部は、前記異常の主要因が前記評価モデルであると推定された場合に、前記評価モデルの再学習を指示する旨を出力してもよい。

前記推定装置において、前記出力部は、前記評価モデルの再学習を指示する旨を出力した場合に、再学習された評価モデルの出力を報酬の少なくとも一部とした前記操業モデルの再学習を指示する旨を出力してもよい。

前記推定装置のいずれかは、前記状態データを取得する状態データ取得部を更に備えてもよい。

前記推定装置のいずれかは、前記状態データに基づいて、前記設備に異常が発生したことを検出する異常検出部を更に備えてもよい。

前記推定装置のいずれかは、前記操業モデルを用いて前記制御対象を制御する制御部を更に備えてもよい。

前記推定装置のいずれかは、強化学習により前記操業モデルを生成する操業モデル生成部を更に備えてもよい。

前記推定装置のいずれかは、機械学習により前記評価モデルを生成する評価モデル生成部を更に備えてもよい。

本発明の第２の態様においては、推定方法を提供する。前記推定方法は、コンピュータにより実行され、前記コンピュータが、設備の状態に応じた評価指標を出力するように機械学習された評価モデルの出力を報酬の少なくとも一部とした強化学習により生成され、前記設備の状態に応じた行動を出力する操業モデルを用いて前記設備に設けられた制御対象を制御した場合における前記設備の状態を示す状態データのうち、前記設備に異常が発生した場合における前記状態データを入力したことに応じて前記評価モデルが出力する前記評価指標を、異常指標として取得することと、前記異常指標に基づいて、前記異常の主要因が前記評価モデルまたは前記操業モデルのいずれであるかを推定することと、前記推定された結果に応じた出力を実行することと、を備える。

本発明の第３の態様においては、推定プログラムを提供する。前記推定プログラムは、コンピュータにより実行され、前記コンピュータを、設備の状態に応じた評価指標を出力するように機械学習された評価モデルの出力を報酬の少なくとも一部とした強化学習により生成され、前記設備の状態に応じた行動を出力する操業モデルを用いて前記設備に設けられた制御対象を制御した場合における前記設備の状態を示す状態データのうち、前記設備に異常が発生した場合における前記状態データを入力したことに応じて前記評価モデルが出力する前記評価指標を、異常指標として取得する異常指標取得部と、前記異常指標に基づいて、前記異常の主要因が前記評価モデルまたは前記操業モデルのいずれであるかを推定する推定部と、前記推定された結果に応じた出力を実行する出力部と、して機能させる。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

制御システム１のブロック図の一例を示す。 評価モデル管理装置２００のブロック図の一例を示す。 操業モデル管理装置３００のブロック図の一例を示す。 本実施形態に係る推定装置４００のブロック図の一例を示す。 制御装置５００のブロック図の一例を示す。 本実施形態に係る推定装置４００が実行してよい推定方法のフロー図の一例を示す。 第１の変形例に係る推定装置４００のブロック図の一例を示す。 第２の変形例に係る推定装置４００のブロック図の一例を示す。 第３の変形例に係る推定装置４００のブロック図の一例を示す。 第４の変形例に係る推定装置４００のブロック図の一例を示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ９９００の例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、制御システム１のブロック図の一例を示す。なお、これらブロックは、それぞれ機能的に分離された機能ブロックであって、実際の装置構成とは必ずしも一致していなくてもよい。すなわち、本図において、１つのブロックとして示されているからといって、それが必ずしも１つの装置により構成されていなくてもよい。また、本図において、別々のブロックとして示されているからといって、それらが必ずしも別々の装置により構成されていなくてもよい。これより先のブロック図についても同様である。

制御システム１においては、設備１０の状態に応じた評価指標を出力する評価モデルを機械学習により生成し、当該評価モデルの出力を報酬の少なくとも一部とした強化学習により操業モデルを生成する。そして、制御システム１においては、生成された操業モデルを用いて設備１０における制御対象１５を制御する。このような操業モデルを用いた制御は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）制御とも呼ばれる。本実施形態に係る推定装置４００は、このように評価モデルと操業モデルという異なる複数の機械学習モデルが用いられる制御システム１において、設備１０に異常が発生した場合に、異常の主要因が評価モデルまたは操業モデルのいずれであるかを推定する。

制御システム１には、設備１０と、シミュレータ１００と、評価モデル管理装置２００と、操業モデル管理装置３００と、推定装置４００と、制御装置５００とが含まれてよい。

設備１０は、制御対象１５が設けられた施設や装置である。例えば、設備１０は、プラントであってもよいし、複数の機器を複合させた複合装置であってもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。

これより先、設備１０が、プロセス装置の１つである蒸留装置である場合を一例として説明する。一般に、蒸留装置は、蒸留塔内において低沸成分を蒸発させて塔頂から抜き出し、抜き出した低沸成分の蒸気をコンデンサにより凝縮させて還流ドラムに貯蔵する。そして、蒸留装置は、還流ドラムに貯蔵された一部を蒸留塔内に還流して、蒸留塔内の蒸気と接触させ、低沸成分と高沸成分とに蒸留する。このような蒸留装置においては、一例として、還流量を制御すべく、還流ドラムと蒸留塔との間に設けられたバルブが開閉制御される。

制御対象１５は、設備１０に設けられ、制御の対象となる機器である。例えば、制御対象１５は、設備１０のプロセスにおける物体の量、温度、圧力、流量、速度、または、ｐＨ等の少なくとも１つの物理量を制御する、バルブ、ヒータ、モータ、ファン、または、スイッチ等のアクチュエータ、すなわち、操作端であってよく、操作量に応じた所与の操作を実行する。これより先、制御対象１５が、蒸留装置における還流ドラムと蒸留塔との間に設けられたバルブである場合を一例として説明する。しかしながら、これに限定されるものではない。制御対象１５は、操作端を制御するコントローラであってもよい。すなわち、本明細書において用いられる「制御」という用語には、操作端を直接制御することに加えて、コントローラを介して操作端を間接的に制御することをも含まれるものと広義に解釈されてよい。

制御対象１５が設けられた設備１０には、設備１０の内外における様々な状態（物理量）を測定可能な１または複数のセンサが設けられていてよい。一例として、設備１０が蒸留装置である場合、センサは、蒸留装置の様々な位置（例えば、塔頂、塔中央、塔底等）における温度や、様々な経路における流量等を測定した測定値ＰＶ（Ｐｒｏｃｅｓｓ Ｖａｒｉａｂｌｅ）を出力してよい。設備１０の状態を示す状態データには、このような測定値ＰＶが含まれていてよい。また、状態データには、制御対象１５であるバルブの開閉度を示す操作量ＭＶ（Ｍａｎｉｐｕｌａｔｅｄ Ｖａｒｉａｂｌｅ）が含まれていてよい。状態データには、このように制御対象１５を制御した結果の運転状態を示す運転データに加えて、設備１０におけるエネルギーや原材料の消費量を示す消費量データや、制御対象１５の制御に対して外乱として作用し得る物理量を示す外乱環境データ等が含まれていてもよい。

蒸留装置は、石油・化学プロセスにおいて非常に多く用いられている装置の一つであるが、塔頂と塔底の相互干渉が強く、時定数が長く、動作が非線形であるという特徴を有している。このような、蒸留装置において還流量を制御すべくバルブをＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ Ｉｎｔｅｇｒａｌ Ｄｉｆｆｅｒｅｎｔｉａｌ）等により開閉制御する場合、制御性の向上を図ることが困難であった。また、このようなバルブを、品質確保、省エネルギー、ＧＨＧ（ＧｒｅｅｎＨｏｕｓｅ Ｇａｓ）削減、および、歩留まり向上等の複数の項目を目的として、作業員がマニュアル操作する場合、どの程度バルブを開閉制御するかは、作業員の経験や勘に頼るところが大きかった。

そこで、このようなバルブを開閉制御するにあたり、評価指標を出力する評価モデルを機械学習により生成し、当該評価モデルの出力を報酬の少なくとも一部とした強化学習により操業モデルを生成し、当該操業モデルを用いてＡＩ制御することが考えられる。本実施形態に係る推定装置４００は、例えばこのような評価モデルと操業モデルという異なる複数の機械学習モデルが用いられる制御システム１に適用されてよい。

シミュレータ１００は、設備１０における操業を模擬する。例えば、シミュレータ１００は、設備１０における設計情報をもとに設計されたものであってよく、設備１０における操業を模擬した挙動を実行する。シミュレータ１００は、制御対象１５に対する操作量を模擬した信号を取得することで環境が変化し、設備１０における状態（例えば、センサの予測値）を模擬したシミュレーションデータを出力する。一例として、シミュレータ１００は、蒸留装置の状態を予測する予測モデルと、プラント制御シミュレータとにより構成されていてよい。予測モデルは、ディープラーニングを用いた時系列データのモデル化技術を用いて、蓄積されたプロセスデータから反応器の状態変化を予測可能であってよい。また、プラント制御シミュレータは、制御対象１５に対して、目標値ＳＶと制御量ＣＶとの差分によって操作量ＭＶを導出するＰＩＤ制御を仮想的にシミュレート可能であってよい。すなわち、シミュレータ１００は、状態予測値に加えて、設備１０における挙動そのものをシミュレート可能であってよい。

評価モデル管理装置２００は、設備１０の状態に応じた評価指標を出力する評価モデルを管理する。例えば、評価モデル管理装置２００は、機械学習により評価モデルを生成し、生成した評価モデルを自装置内に記憶してよい。また、評価モデル管理装置２００は、生成した評価モデルを操業モデル管理装置３００へ出力してよい。

操業モデル管理装置３００は、設備１０の状態に応じた行動を出力する操業モデルを管理する。例えば、操業モデル管理装置３００は、評価モデル管理装置２００が管理する評価モデルの出力を報酬の少なくとも一部とした強化学習により、操業モデルを生成し、生成した操業モデルを自装置内に記憶してよい。また、操業モデル管理装置３００は、生成した操業モデルを制御装置５００へ出力してよい。

推定装置４００は、評価モデルと操業モデルという異なる複数の機械学習モデルが用いられる制御システム１において、設備１０に異常が発生した場合に、異常の主要因が評価モデルまたは操業モデルのいずれであるかを推定する。そして、推定装置４００は、推定した結果に応じた出力を実行する。

制御装置５００は、操業モデルを用いて制御対象１５を制御する。例えば、制御装置５００は、操業モデル管理装置３００が管理する操業モデルを用いて、設備１０における制御対象１５を制御してよい。

このように、制御システム１においては、ＡＩが自動的に操業におけるボトルネック（ポテンシャルフォルト）を探し出し、改善のための指標を評価モデルとして生成する。そして、ＡＩが与えられた指標を基に試行錯誤を行い、よりよい操業方法を指示する操業モデルを生成する。これにより、制御システム１によれば、ＡＩ技術を用いて設備１０を自律的に制御可能な環境を提供する。本実施形態に係る推定装置４００は、このように評価モデルと操業モデルという異なる複数の機械学習モデルが用いられる制御システム１において、設備１０に異常が発生した場合に、異常の主要因が評価モデルまたは操業モデルのいずれであるかを推定する。これについて、各装置の詳細を順に説明する。

図２は、評価モデル管理装置２００のブロック図の一例を示す。評価モデル管理装置２００は、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。このようなコンピュータシステムもまた広義のコンピュータである。また、評価モデル管理装置２００は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、評価モデル管理装置２００は、評価モデルの管理用に設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。また、インターネットに接続可能な場合、評価モデル管理装置２００は、クラウドコンピューティングにより実現されてもよい。

評価モデル管理装置２００は、評価モデル生成部２１０と、評価モデル記憶部２２０と、評価モデル出力部２３０とを備える。

評価モデル生成部２１０は、設備１０の状態に応じた評価指標を出力する評価モデルを生成する。例えば、評価モデル生成部２１０は、設備１０における操業目標（プラントＫＰＩ（Ｋｅｙ Ｐｅｒｆｏｒｍａｎｃｅ Ｉｎｄｉｃａｔｏｒ：重要業績評価指標）等）、設備１０の状態を示す状態データ、および、教師ラベルを取得し、これらに基づいてラベリングデータを生成してよい。そして、評価モデル生成部２１０は、生成したラベリングデータを学習データとして、機械学習のアルゴリズムにより評価モデルを生成してよい。このような評価モデルは、設定された操業目標に照らして設備１０の状態を評価した場合に評価結果が良い程、評価指標として大きい値を出力し、評価結果が悪い程、評価指標として小さい値を出力するものであってよい。評価モデルの生成処理自体については任意であってよいので、更なる詳細についてはここでは説明を省略する。評価モデル生成部２１０は、生成した評価モデルを評価モデル記憶部２２０へ供給する。

評価モデル記憶部２２０は、評価モデルを記憶する。例えば、評価モデル記憶部２２０は、評価モデル生成部２１０により生成された評価モデルを記憶してよい。なお、上述の説明では、評価モデル記憶部２２０が、評価モデル管理装置２００の内部において生成された評価モデルを記憶する場合を一例として示したが、これに限定されるものではない。評価モデル記憶部２２０は、評価モデル管理装置２００の外部において生成された評価モデルを記憶してもよい。評価モデル記憶部２２０は、記憶した評価モデルを複製して評価モデル出力部２３０へ供給する。

評価モデル出力部２３０は、評価モデルを出力する。例えば、評価モデル出力部２３０は、評価モデル記憶部２２０が複製した評価モデルを、ネットワークを介して操業モデル管理装置３００へ出力してよい。

図３は、操業モデル管理装置３００のブロック図の一例を示す。操業モデル管理装置３００についても、評価モデル管理装置２００と同様、コンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。また、操業モデル管理装置３００は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、操業モデル管理装置３００は、操業モデルの管理用に設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。また、インターネットに接続可能な場合、操業モデル管理装置３００は、クラウドコンピューティングにより実現されてもよい。

操業モデル管理装置３００は、評価モデル取得部３１０と、操業モデル生成部３２０と、操業モデル記憶部３３０と、操業モデル出力部３４０とを備える。

評価モデル取得部３１０は、設備１０の状態に応じた評価指標を出力する評価モデルを取得する。例えば、評価モデル取得部３１０は、評価モデル出力部２３０から出力された評価モデルを、ネットワークを介して取得してよい。評価モデル取得部３１０は、取得した評価モデルを操業モデル生成部３２０へ供給する。

操業モデル生成部３２０は、評価モデルの出力を報酬の少なくとも一部とした強化学習により、設備１０の状態に応じた行動を出力する操業モデルを生成する。このような操業モデルは、一例として、サンプリングされた状態データの集合を示すＳと各状態下に取られた行動Ａとの組み合わせ（Ｓ，Ａ）と、報酬によって計算されたウエイトＷとで構成されるデータテーブルを有してよい。なお、このようなウエイトＷを計算するための報酬の少なくとも一部として、評価モデルの出力が用いられてよい。

このような操業モデルを生成するにあたって、操業モデル生成部３２０は、学習環境の状態を示す学習環境データを取得してよい。この際、学習環境として設備１０における操業を模擬するシミュレータ１００が用いられる場合、操業モデル生成部３２０は、シミュレータ１００からのシミュレーションデータを学習環境データとして取得してよい。しかしながら、これに限定されるものではない。学習環境として実際の設備１０が用いられてもよい。この場合、操業モデル生成部３２０は、設備１０の状態を示す状態データを学習環境データとして取得してよい。

次に、操業モデル生成部３２０は、ランダムに、または、後述するＦＫＤＰＰ等の既知のＡＩアルゴリズムを用いて行動を決定し、当該行動に基づく操作量を学習環境における制御対象へ与えてよい。これに応じて学習環境の状態が変化する。

そして、操業モデル生成部３２０は、学習環境データを再び取得してよい。これにより、操業モデル生成部３２０は、決定された行動に基づく操作量が制御対象へ与えられたことに応じて変化した後の学習環境の状態を取得することができる。

そして、操業モデル生成部３２０は、評価モデルの出力に少なくとも部分的に基づき、報酬値を算出してよい。一例として、変化した後の学習環境の状態を示す学習環境データを評価モデルへ入力したことに応じて、当該評価モデルが出力する指標をそのまま報酬値として算出してよい。

操業モデル生成部３２０は、このような行動の決定に応じた状態の取得処理を複数回繰り返した後、データテーブルにおけるウエイト列の値を上書きするほか、これまでに保存されていない新たなサンプルデータをデータテーブルにおける新たな行へ追加することで、操業モデルを更新してよい。操業モデル生成部３２０は、このような更新処理を複数回繰り返すことで、操業モデルを生成することができる。操業モデルの生成自体については任意であってよいので、更なる詳細についてはここでは説明を省略する。操業モデル生成部３２０は、生成した操業モデルを操業モデル記憶部３３０へ供給する。

操業モデル記憶部３３０は、操業モデルを記憶する。例えば、操業モデル記憶部３３０は、操業モデル生成部３２０により生成された操業モデルを記憶してよい。なお、上述の説明では、操業モデル記憶部３３０が、操業モデル管理装置３００の内部において生成された操業モデルを記憶する場合を一例として示したが、これに限定されるものではない。操業モデル記憶部３３０は、操業モデル管理装置３００の外部において生成された操業モデルを記憶してもよい。操業モデル記憶部３３０は、記憶した操業モデルを複製して操業モデル出力部３４０へ供給する。

操業モデル出力部３４０は、操業モデルを出力する。例えば、操業モデル出力部３４０は、操業モデル記憶部３３０が複製した操業モデルを、ネットワークを介して制御装置５００へ出力してよい。

図４は、本実施形態に係る推定装置４００のブロック図の一例を示す。推定装置４００についても、評価モデル管理装置２００と同様、コンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。また、推定装置４００は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、推定装置４００は、異常要因の推定用に設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。また、インターネットに接続可能な場合、推定装置４００は、クラウドコンピューティングにより実現されてもよい。

推定装置４００は、状態データ取得部４１０と、異常指標取得部４２０と、推定部４３０と、出力部４４０とを備える。

状態データ取得部４１０は、設備１０の状態を示す状態データを取得する。ここで、状態データは、評価モデルおよび操業モデルを用いて制御対象１５をＡＩ制御した場合における設備１０の状態を示すデータである。したがって、状態データ取得部４１０は、設備１０の状態に応じた評価指標を出力するように機械学習された評価モデルの出力を報酬の少なくとも一部とした強化学習により生成され、設備１０の状態に応じた行動を出力する操業モデルを用いて設備１０に設けられた制御対象１５を制御した場合における設備１０の状態を示す状態データを取得してよい。状態データ取得部４１０は、取得した状態データを、異常指標取得部４２０へ供給する。

異常指標取得部４２０は、異常指標を取得する。例えば、異常指標取得部４２０は、設備１０の状態に応じた評価指標を出力するように機械学習された評価モデルの出力を報酬の少なくとも一部とした強化学習により生成され、設備１０の状態に応じた行動を出力する操業モデルを用いて設備１０に設けられた制御対象１５を制御した場合における設備１０の状態を示す状態データのうち、設備１０に異常が発生した場合における状態データを入力したことに応じて評価モデルが出力する評価指標を、異常指標として取得してよい。異常指標取得部４２０は、取得した異常指標を、推定部４３０へ供給する。

推定部４３０は、異常の主要因を推定する。例えば、推定部４３０は、異常指標に基づいて、異常の主要因が評価モデルまたは操業モデルのいずれであるかを推定してよい。推定部４３０は、推定した結果を出力部４４０へ供給する。

出力部４４０は、出力を実行する。例えば、出力部４４０は、推定された結果に応じた出力を実行してよい。この際、出力部４４０は、推定された結果をそのまま出力してもよいし、後述するように、評価モデルまたは操業モデルの再学習を指示する旨を出力してもよい。

図５は、制御装置５００のブロック図の一例を示す。制御装置５００は、例えば、ＤＣＳ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍ：分散制御システム）や中規模向け計装システムにおけるコントローラであってもよいし、リアルタイムＯＳコントローラ等であってもよい。

制御装置５００は、操業モデル取得部５１０と、実環境データ取得部５２０と、制御部５３０とを備える。

操業モデル取得部５１０は、操業モデルを取得する。例えば、操業モデル取得部５１０は、操業モデル出力部３４０が出力した操業モデルを、ネットワークを介して取得してよい。操業モデル取得部５１０は、取得した操業モデルを制御部５３０へ供給する。

実環境データ取得部５２０は、実環境、すなわち、設備１０の状態を示す実環境データを取得する。このような実環境データは、設備１０の状態を示す状態データと同様のデータであってよい。実環境データ取得部５２０は、取得した実環境データを制御部５３０へ供給する。

制御部５３０は、操業モデルを用いて制御対象１５を制御する。例えば、制御部５３０は、ＦＫＤＰＰ等の既知のＡＩアルゴリズムにより行動を決定してよい。このようなカーネル法を用いる場合、制御部５３０は、取得された実環境データ（状態データ）により得られたセンサ値から状態Ｓのベクトルを生成してよい。次に、制御部５３０は、状態Ｓと、取り得る全ての行動Ａとの組み合わせを、行動決定テーブルとして生成してよい。そして、制御部５３０は、行動決定テーブルを、操業モデルへ入力してよい。これに応じて、操業モデルは、行動決定テーブルの各行と、データテーブルのうちのウエイト列を除いた各サンプルデータとの間でカーネル計算を行い、各サンプルデータとの間の距離をそれぞれ算出してよい。次に、操業モデルは、各サンプルデータについて算出した距離にそれぞれのウエイト列の値を乗算したものを順次足し合わせ、各行動における報酬期待値を計算してよい。そして、操業モデルは、取り得る全ての行動の中で報酬期待値が最も高くなる行動を出力してよい。制御部５３０は、例えばこのようにして操業モデルが出力した行動を選択することにより、行動を決定してよい。

そして、制御部５３０は、決定した行動を制御対象１５の現在の値（例えば、現在のバルブ開度）に加算した操作量を、制御対象１５へ与えてよい。制御部５３０は、例えばこのようにして、操業モデル管理装置３００が管理する操業モデルを用いて、制御対象１５をＡＩ制御することができる。

図６は、本実施形態に係る推定装置４００が実行してよい推定方法のフロー図の一例を示す。

ステップＳ６１０において、推定装置４００は、状態データを取得する。例えば、状態データ取得部４１０は、設備１０に設けられた各種センサが測定した様々な物理量を、設備１０からネットワークを介して、状態データとして取得してよい。しかしながら、これに限定されるものではない。状態データ取得部４１０は、ネットワークとは異なる手段を介して状態データを取得してもよいし、設備１０とは異なる他の装置から状態データを取得してもよい。

ここで、状態データは、評価モデルおよび操業モデルを用いて制御対象１５をＡＩ制御した場合における設備１０の状態を示すデータである。したがって、状態データ取得部４１０は、設備１０の状態に応じた評価指標を出力するように機械学習された評価モデルの出力を報酬の少なくとも一部とした強化学習により生成され、設備１０の状態に応じた行動を出力する操業モデルを用いて設備１０に設けられた制御対象１５を制御した場合における設備１０の状態を示す状態データを取得してよい。状態データ取得部４１０は、取得した状態データを、異常指標取得部４２０へ供給する。

ステップＳ６２０において、推定装置４００は、異常が発生したか否か判定する。例えば、推定装置４００は、外部（他の装置やユーザ）から設備１０において異常が検出された旨が通知されたか否か判定してよい。異常が検出された旨が通知されていない場合（Ｎｏの場合）、推定装置４００は、処理をステップＳ６１０に戻してフローを継続する。すなわち、推定装置４００は、状態データ取得部４１０による状態データの取得処理を継続する。一方、異常が検出された旨が通知された場合（Ｙｅｓの場合）、推定装置４００は、処理をステップＳ６３０に進める。すなわち、推定装置４００は、異常指標取得部４２０による異常指標の取得処理をトリガする。

ステップＳ６３０において、推定装置４００は、異常指標を取得する。例えば、異常指標取得部４２０は、異常が検出された旨の通知に基づいて、異常発生時刻を特定してよい。次に、異常指標取得部４２０は、ステップＳ６１０において取得された状態データの中から、異常発生時における（例えば、異常発生時に測定された）状態データを抽出してよい。そして、異常指標取得部４２０は、異常発生時における状態データを、ネットワークを介して評価モデル管理装置２００へ供給してよい。これに応じて、評価モデル管理装置２００が管理する評価モデルは、当該異常発生時における状態データを入力し、評価指標を出力してよい。そして、異常指標取得部４２０は、評価モデルが出力した評価指標を異常指標として、ネットワークを介して評価モデル管理装置２００から取得してよい。異常指標取得部４２０は、例えばこのようにして、設備１０の状態に応じた評価指標を出力するように機械学習された評価モデルの出力を報酬の少なくとも一部とした強化学習により生成され、設備１０の状態に応じた行動を出力する操業モデルを用いて設備１０に設けられた制御対象１５を制御した場合における設備１０の状態を示す状態データのうち、設備１０に異常が発生した場合における状態データを入力したことに応じて評価モデルが出力する評価指標を、異常指標として取得してよい。

なお、上述の説明では、異常指標を取得するにあたって、推定装置４００自らが、状態データを取得し、取得された状態データの中から異常発生時における状態データを抽出して、異常発生時における状態データを評価モデル管理装置２００へ供給する場合を一例として示したが、これに限定されるものではない。他の装置が、状態データを取得し、取得された状態データの中から異常発生時における状態データを抽出して、異常時における状態データを評価モデル管理装置２００へ供給してもよい。そして、推定装置４００は、これに応じて評価モデルが出力した評価指標を異常指標として取得してもよい。すなわち、ステップＳ６１０およびステップＳ６２０の処理は、必ずしも推定装置４００が実行しなくてもよく、他の装置が実行してもよい。この場合、推定装置４００は、状態データ取得部４１０を備えていなくてもよい。異常指標取得部４２０は、取得した異常指標を、推定部４３０へ供給する。

推定部４３０は、例えば次のようにして、ステップＳ６３０において取得された異常指標に基づいて、異常の主要因が評価モデルまたは操業モデルのいずれであるかを推定してよい。

ステップＳ６４０において、推定装置４００は、異常指標が基準を満たすか否か判定する。例えば、推定部４３０は、ステップＳ６３０において取得された異常指標が予め定められた基準を満たすか否か判定してよい。一例として、評価モデルが、設定された操業目標に照らして設備１０の状態を評価した場合に評価結果が良い程、評価指標として大きい値を出力し、評価結果が悪い程、評価指標として小さい値を出力するものであったとする。この場合、推定部４３０は、異常指標が予め定められた閾値以上であるか否か判定してよい。そして、推定部４３０は、異常指標が閾値未満である場合に、異常指標が基準を満たさない（Ｎｏ）と判定してよい。この場合、推定装置４００は、処理をステップＳ６５０へ進める。

ステップＳ６５０において、推定装置４００は、異常の主要因が操業モデルであると推定する。推定部４３０は、例えばこのようにして、異常指標がステップＳ６４０において予め定められた基準を満たさないと判定された場合に、異常の主要因が操業モデルであると推定してよい。

ここで、操業モデルは、評価モデルが出力する評価指標を報酬の少なくとも一部とした強化学習により生成され、報酬の期待値が最も高くなる行動を出力するものである。したがって、仮に操業モデルが適切に生成されていたとしたら、当該操業モデルを用いたＡＩ制御下において取得された状態データを評価モデルに入力した場合に、評価モデルから出力される評価指標は大きな値となるはずである。それにも関わらず、異常指標、すなわち、異常発生時の状態データを入力したことに応じて評価モデルが出力する評価指標が閾値未満であるということは、操業モデルを生成するための強化学習に何らかの問題（学習データの不足、学習アルゴリズムの不適合、または、初期パラメータの設定不備等）があり、操業モデルが適切に生成されなかった蓋然性が高い。そして、このような操業モデルが出力した行動に基づいて制御対象１５を制御した結果、設備１０に異常が発生したと考えることができる。そこで、推定部４３０は、例えばこのような場合に、設備１０における異常の主要因が操業モデルであると推定してよい。推定部４３０は、推定した結果を出力部４４０へ供給する。

ステップＳ６６０において、推定装置４００は、操業モデルの再学習を指示する旨を出力する。例えば、出力部４４０は、ステップＳ６５０において異常の主要因が操業モデルであると推定された場合に、操業モデルの再学習を指示する旨を出力してよい。この際、出力部４４０は、操業モデルの再学習を指示する旨を、モニタにより表示出力してもよいし、スピーカにより音声出力してもよいし、プリンタにより印字出力してもよい。これに応じて、ユーザは、操業モデル管理装置３００に対して操業モデルの再学習を指示し、操業モデル生成部３２０に新たな操業モデルを生成させることもできる。これに代えて、または、加えて、出力部４４０は、操業モデルの再学習を指示する旨のメッセージを操業モデル管理装置３００へ送信出力してもよい。これに応じて、操業モデル生成部３２０は、操業モデルの再学習をトリガし、新たな操業モデルを自動的に（ユーザを介することなく）生成することもできる。

なお、操業モデルの再学習にあたっては、操業モデル生成部３２０は、学習データ、学習アルゴリズム、または、初期パラメータの少なくともいずれかを変更した上で、操業モデルを再学習するとよい。したがって、出力部４４０は、操業モデルの再学習を指示する旨を出力するにあたって、学習データ、学習アルゴリズム、または、初期パラメータの少なくともいずれかを変更する旨を併せて出力するとよい。

一方、ステップＳ６４０において、推定部４３０は、異常指標が閾値以上である場合に、異常指標が基準を満たす（Ｙｅｓ）と判定してよい。この場合、推定装置４００は、処理をステップＳ６７０へ進める。

ステップＳ６７０において、推定装置４００は、異常の主要因が評価モデルであると推定する。推定部４３０は、例えばこのようにして、異常指標がステップＳ６４０において予め定められた基準を満たすと判定された場合に、異常の主要因が評価モデルであると推定してよい。

ここで、評価モデルは、設備１０の状態を評価した場合に評価結果が良い程、評価指標として大きい値を出力し、評価結果が悪い程、評価指標として小さい値を出力するように機械学習されたものである。したがって、状態データを入力したことに応じて評価モデルが出力する評価指標が閾値以上であるということは、評価モデルが、設備１０の状態を比較的良いと評価したことを意味している。それにも関わらず、設備１０に異常が発生したということは、評価モデルを生成するための機械学習に何らかの問題があり、評価モデルが適切に生成されなかった蓋然性が高い。そして、このように設備１０の状態を適切に評価できない評価モデルの出力を報酬として強化学習した操業モデルを用いて制御対象１５をＡＩ制御した結果、設備１０に異常が発生したと考えることができる。そこで、推定部４３０は、例えばこのような場合に、設備１０における異常の主要因が評価モデルであると推定してよい。推定部４３０は、推定した結果を出力部４４０へ供給する。

ステップＳ６８０において、推定装置４００は、評価モデルの再学習を指示する旨を出力する。例えば、出力部４４０は、ステップＳ６７０において異常の主要因が評価モデルであると推定された場合に、評価モデルの再学習を指示する旨を出力してよい。この際、出力部４４０は、評価モデルの再学習を指示する旨を、モニタにより表示出力してもよいし、スピーカにより音声出力してもよいし、プリンタにより印字出力してもよい。これに応じて、ユーザは、評価モデル管理装置２００に対して評価モデルの再学習を指示し、評価モデル生成部２１０に新たな評価モデルを生成させることもできる。これに代えて、または、加えて、出力部４４０は、評価モデルの再学習を指示する旨のメッセージを評価モデル管理装置２００へ送信出力してもよい。これに応じて、評価モデル生成部２１０は、評価モデルの再学習をトリガし、新たな評価モデルを自動的に（ユーザを介することなく）生成することもできる。

なお、評価モデルの再学習にあたっては、評価モデル生成部２１０は、学習データ（操業目標や教師ラベルを含む）、学習アルゴリズム、または、初期パラメータの少なくともいずれかを変更した上で、評価モデルを再学習するとよい。したがって、出力部４４０は、評価モデルの再学習を指示する旨を出力するにあたって、学習データ、学習アルゴリズム、または、初期パラメータの少なくともいずれかを変更する旨を併せて出力するとよい。

推定装置４００は、ステップＳ６８０の後、処理をステップＳ６６０に進めてよい。すなわち、出力部４４０は、操業モデルの再学習を指示する旨を出力してよい。これにより、出力部４４０は、評価モデルの再学習を指示する旨を出力した場合に、再学習された評価モデルの出力を報酬の少なくとも一部とした操業モデルの再学習を指示する旨を出力することもできる。

機械学習モデルは、学習データを機械学習することにより生成され、入力に応じて然るべき結果を出力する。しかしながら、機械学習モデルが、どのような根拠（論理）に基づいて出力結果を導き出したのかを知ることはできない。このような問題は、ブラックボックス問題ともいわれる。従来、このようにブラックボックス化された機械学習モデルが複数用いられるシステムにおいて、異常が発生した場合、いずれの機械学習モデルが要因となって異常が発生したのかを切り分けることが困難であった。

これに対して、本実施形態に係る推定装置４００は、異常発生時における状態データを入力したことに応じて評価モデルが出力する評価指標を異常指標として取得する。そして、本実施形態に係る推定装置４００は、当該異常指標に基づいて、異常の主要因が評価モデルまたは操業モデルのいずれであるかを推定し、推定結果に応じた出力を実行する。これにより、本実施形態に係る推定装置４００によれば、評価モデルと操業モデルという異なる複数の機械学習モデルが用いられる場合であっても、異常の主要因が評価モデル側にあるのか、操業モデル側にあるのかを推定して、切り分けることができる。

本実施形態に係る推定装置４００は、異常指標が予め定められた基準を満たさない場合に、異常の主要因が操業モデルであると推定してもよい。これにより、本実施形態に係る推定装置４００によれば、操業モデルが異常の主要因である蓋然性が高いことを、客観的な根拠に基づいて推定することができる。また、本実施形態に係る推定装置４００は、異常の主要因が操業モデルであると推定した場合に、当該操業モデルの再学習を指示する旨を出力してもよい。これにより、本実施形態に係る推定装置４００によれば、操業モデルが異常の主要因である蓋然性が高い場合に、当該操業モデルを再学習するトリガを提供することができる。

本実施形態に係る推定装置４００は、異常指標が予め定められた基準を満たす場合に、異常の主要因が評価モデルであると推定してもよい。これにより、本実施形態に係る推定装置４００によれば、評価モデルが異常の主要因である蓋然性が高いことを、客観的な根拠に基づいて推定することができる。また、本実施形態に係る推定装置４００は、異常の主要因が評価モデルであると推定した場合に、当該評価モデルの再学習を指示する旨を出力してもよい。これにより、本実施形態に係る推定装置４００によれば、評価モデルが異常の主要因である蓋然性が高い場合に、当該評価モデルを再学習するトリガを提供することができる。また、本実施形態に係る推定装置４００は、評価モデルの再学習を指示する旨を出力した場合に、再学習された評価モデルの出力を報酬の少なくとも一部とした操業モデルの再学習を指示する旨を出力してもよい。これにより、本実施形態に係る推定装置４００によれば、評価モデルの再学習と併せて、操業モデルの再学習のトリガをも提供することができる。

図７は、第１の変形例に係る推定装置４００のブロック図の一例を示す。図７においては、図４と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。上述の実施形態においては、推定装置４００が、外部からの通知に基づいて設備１０における異常を判定する場合を一例として示した。しかしながら、本変形例においては、推定装置４００が、自ら設備１０における異常を検出する。

本変形例に係る推定装置４００は、異常検出部７１０を更に備えてよい。また、本変形例に係る推定装置４００において、状態データ取得部４１０は、取得した状態データを、異常指標取得部４２０に代えて、異常検出部７１０へ供給してよい。

異常検出部７１０は、状態データに基づいて、設備１０に異常が発生したことを検出する。この際、異常検出部７１０は、予め定められた異常検出関数を用いて設備１０に異常が発生したことを検出してもよいし、予め機械学習された異常検出モデルを用いて設備１０に異常が発生したことを検出してもよい。異常検出処理自体については任意であってよいので、更なる詳細についてはここでは説明を省略する。

異常検出部７１０は、状態データに基づいて設備１０に異常が発生したことを検出した場合に、当該異常発生の検出に至った状態データを、異常発生時における状態データとして、異常指標取得部４２０へ供給してよい。

このように、本変形例に係る推定装置４００は、設備１０に異常が発生したことを、状態データに基づいて自らが検出する。これにより、本変形例に係る推定装置４００によれば、異常を検出する機能と、異常の主要因を推定する機能とを、一つの装置により実現することができる。したがって、本変形例に係る推定装置４００によれば、異常指標取得のトリガとなる異常判定にあたって、外部からの通知を不要とすることができる。

図８は、第２の変形例に係る推定装置４００のブロック図の一例を示す。図８においては、図４と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。上述の実施形態においては、評価モデル管理装置２００と、操業モデル管理装置３００と、推定装置４００と、制御装置５００とがそれぞれ独立した別々の装置として提供される場合を一例として示した。しかしながら、これら装置は、一部または全部が一体となった一つの装置として提供されてもよい。本変形例においては、推定装置４００は、上述の実施形態に係る推定装置４００の機能に加えて、制御装置５００の機能を提供する。

本変形例に係る推定装置４００は、操業モデル取得部５１０と、制御部５３０とを更に備えてよい。すなわち、本変形例に係る推定装置４００は、操業モデルを用いて制御対象１５を制御する制御部５３０を更に備えてよい。

また、状態データ取得部４１０は、取得した状態データを、異常指標取得部４２０に加えて、制御部５３０へ供給してよい。すなわち、本変形例に係る推定装置４００において、状態データ取得部４１０は、実環境データ取得部５２０としても機能してよい。そして、制御部５３０は、操業モデルを用いて制御対象１５を制御してよい。推定装置４００は、例えばこのようにして、制御装置５００としての機能をも提供してよい。

また、推定装置４００が制御装置５００としての機能をも提供する場合、出力部４４０は、評価モデルまたは操業モデルの再学習を指示する旨を出力したことに応じて、制御部５３０に対して、制御対象１５の制御を中断する旨のメッセージを送信してもよい。これにより、出力部４４０は、制御部５３０による制御対象１５の制御を一時的に中断させることもできる。

このように、本変形例に係る推定装置４００は、操業モデルを用いて制御対象１５を制御することもできる。これにより、本変形例に係る推定装置４００によれば、異常の主要因を推定する機能と、制御対象１５を制御する機能とを、一つの装置により実現することができる。

図９は、第３の変形例に係る推定装置４００のブロック図の一例を示す。図９においては、図８と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。第２の変形例においては、推定装置４００が、制御装置５００の機能をも提供する場合を一例として示した。しかしながら、本変形例においては、推定装置４００が、制御装置５００の機能に加えて、操業モデル管理装置３００の機能をも提供する。

本変形例に係る推定装置４００は、評価モデル取得部３１０を更に備えてよい。また、本変形例に係る推定装置４００は、操業モデル取得部５１０に代えて、操業モデル生成部３２０を更に備えてよい。すなわち、本変形例に係る推定装置４００は、強化学習により操業モデルを生成する操業モデル生成部３２０を更に備えてよい。そして、操業モデル生成部３２０は、生成した操業モデルを制御部５３０へ供給してよい。

また、推定装置４００が操業モデル管理装置３００の機能をも提供する場合、出力部４４０は、操業モデルの再学習を指示する旨のメッセージを操業モデル生成部３２０へ送ることもできる。これに応じて、操業モデル生成部３２０は、新たな操業モデルを生成することもできる。

このように、本変形例に係る推定装置４００は、強化学習により操業モデルを生成することもできる。これにより、本変形例に係る推定装置４００によれば、操業モデルを管理（生成）する機能と、異常の主要因を推定する機能と、制御対象１５を制御する機能とを、一つの装置により実現することができる。これにより、本変形例に係る推定装置４００によれば、操業モデル管理装置３００と制御装置５００との間で操業モデルをやりとりする必要がないので、通信コストや時間を削減することもできる。

図１０は、第４の変形例に係る推定装置４００のブロック図の一例を示す。図１０においては、図９と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。第３の変形例においては、推定装置４００が、制御装置５００および操業モデル管理装置３００の機能をも提供する場合を一例として示した。しかしながら、本変形例においては、推定装置４００が、制御装置５００および操業モデル管理装置３００の機能に加えて、評価モデル管理装置２００の機能をも提供する。

本変形例に係る推定装置４００は、評価モデル取得部３１０に代えて、評価モデル生成部２１０を更に備えてよい。すなわち、本変形例に係る推定装置４００は、機械学習により評価モデルを生成する評価モデル生成部２１０を更に備えてよい。そして、評価モデル生成部２１０は、生成した評価モデルを操業モデル生成部３２０へ供給してよい。

また、推定装置４００が評価モデル管理装置２００の機能をも提供する場合、出力部４４０は、評価モデルの再学習を指示する旨のメッセージを評価モデル生成部２１０へ送ることもできる。これに応じて、評価モデル生成部２１０は、新たな評価モデルを生成することもできる。

このように、本変形例に係る推定装置４００は、機械学習により評価モデルを生成することもできる。これにより、本変形例に係る推定装置４００によれば、評価モデルを管理（生成）する機能と、操業モデルを管理（生成）する機能と、異常の主要因を推定する機能と、制御対象１５を制御する機能とを、一つの装置により実現することができる。これにより、本変形例に係る推定装置４００によれば、評価モデル管理装置２００と操業モデル管理装置３００との間で評価モデルをやりとりする必要がないので、通信コストや時間を削減することもできる。また、本変形例に係る推定装置４００によれば、異常指標を取得するにあたって、評価モデル管理装置２００と推定装置４００との間で、状態データや評価指標をやりとりする必要がないので、通信コストや時間を削減することもできる。

本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

図１１は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ９９００の例を示す。コンピュータ９９００にインストールされたプログラムは、コンピュータ９９００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ９９００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ９９００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ９９１２によって実行されてよい。

本実施形態によるコンピュータ９９００は、ＣＰＵ９９１２、ＲＡＭ９９１４、グラフィックコントローラ９９１６、およびディスプレイデバイス９９１８を含み、それらはホストコントローラ９９１０によって相互に接続されている。コンピュータ９９００はまた、通信インターフェイス９９２２、ハードディスクドライブ９９２４、ＤＶＤドライブ９９２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ９９２０を介してホストコントローラ９９１０に接続されている。コンピュータはまた、ＲＯＭ９９３０およびキーボード９９４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ９９４０を介して入／出力コントローラ９９２０に接続されている。

ＣＰＵ９９１２は、ＲＯＭ９９３０およびＲＡＭ９９１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ９９１６は、ＲＡＭ９９１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ９９１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス９９１８上に表示されるようにする。

通信インターフェイス９９２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ９９２４は、コンピュータ９９００内のＣＰＵ９９１２によって使用されるプログラムおよびデータを格納する。ＤＶＤドライブ９９２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ９９０１から読み取り、ハードディスクドライブ９９２４にＲＡＭ９９１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

ＲＯＭ９９３０はその中に、アクティブ化時にコンピュータ９９００によって実行されるブートプログラム等、および／またはコンピュータ９９００のハードウェアに依存するプログラムを格納する。入／出力チップ９９４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ９９２０に接続してよい。

プログラムが、ＤＶＤ－ＲＯＭ９９０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ９９２４、ＲＡＭ９９１４、またはＲＯＭ９９３０にインストールされ、ＣＰＵ９９１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ９９００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ９９００の使用に従い情報の操作または処理を実現することによって構成されてよい。

例えば、通信がコンピュータ９９００および外部デバイス間で実行される場合、ＣＰＵ９９１２は、ＲＡＭ９９１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス９９２２に対し、通信処理を命令してよい。通信インターフェイス９９２２は、ＣＰＵ９９１２の制御下、ＲＡＭ９９１４、ハードディスクドライブ９９２４、ＤＶＤ－ＲＯＭ９９０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

また、ＣＰＵ９９１２は、ハードディスクドライブ９９２４、ＤＶＤドライブ９９２６（ＤＶＤ－ＲＯＭ９９０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ９９１４に読み取られるようにし、ＲＡＭ９９１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ９９１２は次に、処理されたデータを外部記録媒体にライトバックする。

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ９９１２は、ＲＡＭ９９１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ９９１４に対しライトバックする。また、ＣＰＵ９９１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ９９１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ９９００上またはコンピュータ９９００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ９９００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１ 制御システム
１０ 設備
１５ 制御対象
１００ シミュレータ
２００ 評価モデル管理装置
２１０ 評価モデル生成部
２２０ 評価モデル記憶部
２３０ 評価モデル出力部
３００ 操業モデル管理装置
３１０ 評価モデル取得部
３２０ 操業モデル生成部
３３０ 操業モデル記憶部
３４０ 操業モデル出力部
４００ 推定装置
４１０ 状態データ取得部
４２０ 異常指標取得部
４３０ 推定部
４４０ 出力部
５００ 制御装置
５１０ 操業モデル取得部
５２０ 実環境データ取得部
５３０ 制御部
７１０ 異常検出部
９９００ コンピュータ
９９０１ ＤＶＤ－ＲＯＭ
９９１０ ホストコントローラ
９９１２ ＣＰＵ
９９１４ ＲＡＭ
９９１６ グラフィックコントローラ
９９１８ ディスプレイデバイス
９９２０ 入／出力コントローラ
９９２２ 通信インターフェイス
９９２４ ハードディスクドライブ
９９２６ ＤＶＤドライブ
９９３０ ＲＯＭ
９９４０ 入／出力チップ
９９４２ キーボード

Claims (13)

1. 設備の状態に応じた評価指標を出力するように機械学習された評価モデルの出力を報酬の少なくとも一部とした強化学習により生成され、前記設備の状態に応じた行動を出力する操業モデルを用いて前記設備に設けられた制御対象を制御した場合における前記設備の状態を示す状態データのうち、前記設備に異常が発生した場合における前記状態データを入力したことに応じて前記評価モデルが出力する前記評価指標を、異常指標として取得する異常指標取得部と、
   前記異常指標に基づいて、前記異常の主要因が前記評価モデルまたは前記操業モデルのいずれであるかを推定する推定部と、
   前記推定された結果に応じた出力を実行する出力部と、
   を備える、推定装置。
2. 前記推定部は、前記異常指標が予め定められた基準を満たさない場合に、前記異常の主要因が前記操業モデルであると推定する、請求項１に記載の推定装置。
3. 前記出力部は、前記異常の主要因が前記操業モデルであると推定された場合に、前記操業モデルの再学習を指示する旨を出力する、請求項２に記載の推定装置。
4. 前記推定部は、前記異常指標が予め定められた基準を満たす場合に、前記異常の主要因が前記評価モデルであると推定する、請求項１に記載の推定装置。
5. 前記出力部は、前記異常の主要因が前記評価モデルであると推定された場合に、前記評価モデルの再学習を指示する旨を出力する、請求項４に記載の推定装置。
6. 前記出力部は、前記評価モデルの再学習を指示する旨を出力した場合に、再学習された評価モデルの出力を報酬の少なくとも一部とした前記操業モデルの再学習を指示する旨を出力する、請求項５に記載の推定装置。
7. 前記状態データを取得する状態データ取得部を更に備える、請求項１から６のいずれか一項に記載の推定装置。
8. 前記状態データに基づいて、前記設備に異常が発生したことを検出する異常検出部を更に備える、請求項７に記載の推定装置。
9. 前記操業モデルを用いて前記制御対象を制御する制御部を更に備える、請求項７に記載の推定装置。
10. 強化学習により前記操業モデルを生成する操業モデル生成部を更に備える、請求項１から６のいずれか一項に記載の推定装置。
11. 機械学習により前記評価モデルを生成する評価モデル生成部を更に備える、請求項１から６のいずれか一項に記載の推定装置。
12. コンピュータにより実行され、前記コンピュータが、
    設備の状態に応じた評価指標を出力するように機械学習された評価モデルの出力を報酬の少なくとも一部とした強化学習により生成され、前記設備の状態に応じた行動を出力する操業モデルを用いて前記設備に設けられた制御対象を制御した場合における前記設備の状態を示す状態データのうち、前記設備に異常が発生した場合における前記状態データを入力したことに応じて前記評価モデルが出力する前記評価指標を、異常指標として取得することと、
    前記異常指標に基づいて、前記異常の主要因が前記評価モデルまたは前記操業モデルのいずれであるかを推定することと、
    前記推定された結果に応じた出力を実行することと、
    を備える、推定方法。
13. コンピュータにより実行され、前記コンピュータを、
    設備の状態に応じた評価指標を出力するように機械学習された評価モデルの出力を報酬の少なくとも一部とした強化学習により生成され、前記設備の状態に応じた行動を出力する操業モデルを用いて前記設備に設けられた制御対象を制御した場合における前記設備の状態を示す状態データのうち、前記設備に異常が発生した場合における前記状態データを入力したことに応じて前記評価モデルが出力する前記評価指標を、異常指標として取得する異常指標取得部と、
    前記異常指標に基づいて、前記異常の主要因が前記評価モデルまたは前記操業モデルのいずれであるかを推定する推定部と、
    前記推定された結果に応じた出力を実行する出力部と、
    して機能させる、推定プログラム。

Images