JP7708834B2 - メンテナンス意思決定のための強化学習方法及びコンピュータ可読媒体 - Google Patents

Description

本開示は、一般に、機器の予知保全のためのオフライン強化学習（RL）を使用する方法、コンピュータ可読媒体およびシステムに向けられている。

産業機械は経年劣化にさらされている。メンテナンス・コストの削減は、産業組織にとって大きな関心事のひとつである。メンテナンス・コストには、設備の修理費用や作業員の人件費だけでなく、設備のダウンタイムによる経済的損失や修理・交換時の物理的な占有スペースなど、その他の諸要因も含まれる。修理費を削減するために設備の点検頻度を少なくすれば、突発的な故障が発生する確率が高くなり、ひとたび故障が発生すれば、その交換費用は多額になる。機器の点検・修理の頻度が高ければ、突発的な故障のリスクは低くなるが、メンテナンス・コストは大きくなる。

関連技術では、時間間隔において検査された機器の過去の観測結果が、その後の時間間隔における故障予測に使用される。しかし、モデルの出力を受け取り、機器の修理時期を決定するのは、人間のオペレーター・ユーザーである。

関連技術では、観測と故障の履歴記録に基づいて残存耐用年数（RUL）を推定するために、時系列分析に機械学習モデル（例えば、LSTMや関数型ニューラルネットワーク）が使用される。この場合も、モデルの出力を受け取り、機器の修理時期を決定するのは人間のオペレーター・ユーザーである。

時期尚早や不必要なメンテナンスを回避し、同時に予期せぬ故障に伴う機器のダウンタイムリスクを低減するメンテナンス活動の適切なタイミングを決定するための、スマートな予防／予知保全を行う必要がある。効果的なメンテナンス計画では、同時に修理できる機器の最大数など、さまざまな制約も考慮しなければならない。

本開示の態様は、機器の予測保守のための革新的な方法を含む。本方法は、意思決定器モデルへの入力として将来の期待戻り値を受信すること、この意思決定器モデルは、機器に関連するメンテナンスアクションを予測する機械学習モデルである。そして、本方法は、さらに、意思決定器モデルへの入力として、環境から最近の観測値および最近のアクションを供給することと、意思決定器モデルのモデル出力として次のアクションを生成することを含む。この次のアクションは予測されたメンテナンスアクションである。本方法は、環境において次のアクションを実行することと、を含み得る。

本開示の態様は、革新的な非一過性のコンピュータ可読媒体であって、機器の予測保守のための命令を記憶する、非一過性のコンピュータ可読媒体を含む。命令は、意思決定器モデルへの入力として予想される将来の戻り値を受信する。この意思決定器モデルは、機器に関連するメンテナンスアクションを予測する機械学習モデルである、そして、命令は、意思決定器モデルへの入力として、環境からの最近の観察および最近のアクションを供給することと、意思決定器モデルのモデル出力として次のアクションを生成することを含む。この次のアクションは予測されたメンテナンスアクションである。さらに、命令は、環境において次のアクションを実行することと、を含み得る。

本開示の態様は、機器の予測保守のための革新的なサーバシステムを含む。このシステムは、意思決定器モデルへの入力として将来の期待戻り値を受信する。この意思決定器モデルは、機器に関連するメンテナンスアクションを予測する機械学習モデルである、サーバシステムは、意思決定器モデルへの入力として、環境から最近の観察および最近のアクションを供給する。この意思決定器モデルのモデル出力として次のアクションを生成するものである。この次のアクションは予測されたメンテナンスアクションである。サーバシステムは、環境において次のアクションを実行することと、を含み得る。

本開示の態様は、機器の予測保守のための革新的なシステムを含む。このシステムは、意思決定器モデルへの入力として将来の期待戻り値を受け取るための手段を含む。この意思決定器モデルは、機器に関連するメンテナンスアクションを予測する機械学習モデルである。このシステムは、意思決定器モデルへの入力として、環境からの最近の観察および最近のアクションを供給するための手段と、意思決定器モデルのモデル出力として次のアクションを生成するための手段とを含む。次のアクションは予測されたメンテナンスアクションである。また、環境において次のアクションを実行するための手段とを含むことができる。

次に、本開示の様々な特徴を実装する一般的なアーキテクチャを、図面を参照して説明する。図面および関連する説明は、本開示の例示的な実装を説明するために提供されるものであり、本開示の範囲を限定するものではない。図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用される。

図１は、実施例によるオフラインRLシステムの一例を示す図である。 図２は、実施例による予知保全支援システムの一例を示す図である。 図３は、実施例によるRLモデルのモデル学習フェーズの処理フロー例を示す図である。 図４は、実施例によるRLモデルの適用処理の流れの一例を示す図である。 図５は、いくつかの実施例で使用するのに適したコンピュータデバイスを備えたコンピューティング環境の例を示す図である。 図６は、オフラインの深層RL学習と実システムでの学習、およびシミュレータでの学習の違いを示している。 図７は、データベース212に格納されるデータテーブルの例を示す図である。 図８は、時間とモデルの信頼度の関係を例示したものである。 図９は、特徴別説明の2つの異なる応用例を示している。 図１０は、インスタンス単位の説明の適用例を示している。

以下の詳細な説明は、本出願の図および実施例の詳細を提供する。図間の参照数字および冗長な要素の説明は、明確にするために省略されている。本明細書を通して使用される用語は、例として提供され、限定することを意図していない。例えば、「自動」という用語の使用は、本願発明の実施態様を実践する当業者の所望の実施態様に応じて、実施態様の特定の側面に対するユーザまたは管理者の制御を伴う完全自動または半自動実施態様を含むことができる。選択は、ユーザーインターフェースまたは他の入力手段を通じてユーザによって実施することができ、または所望のアルゴリズムを通じて実施することができる。本明細書に記載された例示的な実施態様は、単数または組み合わせのいずれかを利用することができ、例示的な実施態様の機能は、所望の実施態様に従って任意の手段を通じて実施することができる。

不確実性の下での逐次的な意思決定は、システムの現在の状態が時間的に連続的に変化し、将来の状態が現在と過去の意思決定に非線形に依存するため、1回限りの最適化よりも困難である。ディープニューラルネットワークに基づく強化学習（RL：Reinforcement Learning）は、このような問題に取り組む有望なアプローチである。RLエージェントは状態stを持つマルコフ環境でアクションする。次の状態ｓ_ｔ+１は遷移確率 Ｐ（ｓ_ｔ, ａ_ｔ) からサンプリングされる。ここで、ａ_ｔは状態ｓ_ｔにおけるRLエージェントのアクションである。RLエージェントは時間ステップごとに報酬ｒ (st, at) ∈ Rを受け取る。ここで、ｒは、ギリシャ文字のガンマである。目標は、エピソードと呼ばれる複数のタイムステップにわたって、期待される報酬の合計E[シグマtｒ^ｔｒ_ｔ]を最大化するポリシー「パイ」（状態空間からアクション空間へのマップ）を学習することである。このような累積報酬はしばしばリターンと呼ばれる。

図６は、オフラインの深層RL学習と実システムでのトレーニング、およびシミュレータでのトレーニングの違いを示している。RLは、一時的に拡張された制御問題を解くために、一連の動作全体を最適化しようとする。RLを実世界の問題に適用して成功した例は、必要な訓練時間と関連費用のためにほとんどない。また、実システムを用いた訓練では、実時間の運用における安全性が懸念される。一方、従来のオンラインRL設定におけるシミュレータ上でのトレーニングは、コストがかかり、時には実行不可能な場合もある。また、故障モードのモデリング自体が、シミュレータ上でトレーニングを行う上での課題となる。高忠実度のシミュレータを必要とする従来のオンラインRLアルゴリズムとは対照的に、オフラインRLはシミュレータを必要とせず、代わりに過去のアクションと観測のデータセットから有用なスキルを学習する。

機器の正確なシミュレータはめったに入手できないが、センサデータと修理の履歴記録は追加コストなしで容易に入手できる。データセットに修理データがほとんど、あるいは全く含まれていない場合、修理データをエピソードの途中で人為的に挿入し、機器を初期状態にリセットすることができる。オフラインRLは、環境とのライブなインタラクションを必要とせず、データセットから有用なスキルセットを開発する。メンテナンスの最適化は、教師付き機械学習問題として定式化することができ、メンテナンスの履歴記録が不良操作のログで構成されている場合でも、RLエージェントが効果的なメンテナンススキルを習得することを可能にする。さらに、RLエージェントは説明可能なAIモジュールを備えており、RLエージェントのアクション方針について意味のある説明を提供することで、ユーザがモデルをより解釈しやすくしている。

図１は、実施例によるオフラインRLシステム100の一例を示す図である。図１に示されるように、オフラインRLシステム100は、意思決定器102を有する。訓練段階では、意思決定器102は、センサからの過去の観測結果、過去のアクション、および期待される将来のリターンを入力として受け取り、次のアクション、信頼度スコア、および説明を出力として生成することができる。訓練後およびモデル適用段階において、意思決定器102は、現在の観測結果、最近のアクション、および希望するアクションを受信し、入力に基づいて予測を生成することができる。いくつかの実装例では、オフラインRLシステム100は、残存耐用年数（RUL）推定器104をさらに備える。RUL推定器104は、センサから過去の観測結果を入力として受け取り、意思決定器102への入力としてRULの推定値を生成する。

意思決定器102は、多層パーセプトロン、畳み込みニューラルネットワーク、変換器、サポートベクターマシン（SVM）、隠れマルコフモデル、ガウス過程、ロジスティック回帰、ゲート型リカレントユニット（GUR）、長短期記憶（LSTM）などの機械学習（ML）モデルであるが、これらに限定されない。原理的には、どのようなMLでも意思決定器102の仕事を実行することができる。意思決定器102への入力が時系列データであることを考慮すると、TransformerやRecurrent Neural Networks（例えば、LSTM、GRU）のような逐次データ用に調整されたMLモデルは、他のものよりも優れた性能を発揮する可能性がある。意思決定器102への入力は、以下からなる。
与えられたウィンドウTについて、それぞれの与えられた時間kで：

Tを大きくすることで、意思決定器102により多くの情報を入力することができ、パフォーマンスの向上につながる。しかしながら、特徴次元の増大は、より広いニューラルネットワーク、より多くの隠れ層、より長いトレーニング時間等を必要とし、教師あり学習を計算上より高価にする。水平線Hに対する将来の累積報酬（オフラインデータを使用して推定）：

ここで、Ｒはリターン・トゥ・ゴー／将来の期待リターン値であり、現在から現在のエピソードが終了するまでの希望リターンを表す。

RUL推定器104を使用しないモデルの場合：

追加入力にRUL推定器104を利用するモデルの場合：

ここで、ｃ_ｋ は、ａ_ｋ に対するモデルの確信度（または不確実性）を表し、E_ｋ は、意思決定器102の決定の説明を表す。a_ｋ は、意思決定器102によって生成された次のアクションである。

モデルの信頼度スコアｃ_ｋ,は、ベイズニューラルネットワーク、ディープアンサンブル、モンテカルロドロップアウト、クォンタイルニューラルネットワークなどのうち少なくとも１つを使用して生成することができるが、これらに限定されない。モデルの信頼度スコアは、オペレータにRLモデルの信頼性に関する情報を提供し、RLモデルの再トレーニングが必要かどうかを判断するのに役立つ。アクション空間が離散的である場合、サポートベクターマシン、QDA、決定木などの標準的なML分類器は、追加の計算コストなしで各アクションの確率を提供する。図８は、時間とモデルの信頼度スコアとの関係の例を示す図である。図８の一番上の図を例にとると、モデルが各アクションの信頼度スコアを生成し、推奨されるアクションが「何もしない」であったとすると、生成された信頼度スコアは、時間が進むにつれてゆっくりと減少するように示されている。このような経過から、間もなく修理が推奨されることが推測できる。図８の一番下の図を例にとると、モデルの信頼度スコアはすべてのアクションでほぼ同じである。具体的には、モデルはアクションに優先順位をつけることができない。これは、機器や機械の動作が過去の記録から見て新しいことを示している可能性があり、新たに得られたデータを用いて機械の再学習を促す。

意思決定器102は、過去の保守記録を用いて訓練され、シミュレータとのオンラインインタラクションを必要としない。さらに、意思決定器102は、故障確率やRULのような間接的なシグネチャではなく、メンテナンスの意思決定そのものを直接もたらす。報酬r は、人間のオペレータによって事前に設計され、修理、交換、故障の経済的コストを反映する。

図２は、実施例による予知保全支援システム200を例示する図である。図２に示されるように、予知保全支援システム200は、意思決定器102と、報酬計算器208と、決定器訓練エンジン210と、データベース212と、XAIユニット214と、グラフィックユーザーインターフェース（GUI）218とを備える。いくつかの例示的な実施態様において、予知保全支援システム200は、RUL推定器104およびRUL推定器訓練エンジン216をさらに備える。RUL推定器104はオプションであるが、しかし、RUL推定器104の予測が正確であれば、これはひいては意思決定器102の性能を向上させる。

ユーザ202から動作や修理の指示を受けると、機器204は指示通りに動作／修理を行う。機器204の内部のセンサ、機器204に接続されたセンサ、機器204の外部のセンサなどのセンサは、機器204の性能を監視することによってセンサデータを生成するが、これらに限定されない。いくつかの例示的な実装では、センサデータは、センサデータ前処理ユニット206によって受信され、ノイズ除去、次元削減などのデータ処理を実行するが、これらに限定されない。

センサデータ前処理ユニット206によって生成された処理データは、その後、報酬計算器208、意思決定器102、RUL推定器104、およびGUI218に転送される。センサデータおよび処理されたデータは、データベース212に格納されてもよい。データベース212は、過去の観測、過去のアクション、関連する報酬、および関連する予測アクションに関連する履歴記録／データを記憶する。報酬計算器208から生成された報酬もデータベース212に格納される場合がある。

決定器訓練エンジン210およびRUL推定器訓練エンジン216は、データベース212から過去の記録／データを取得し、トレーニングされた意思決定器102およびRUL推定器104を生成する。RUL推定器104は、処理されたデータを入力として受け取り、意思決定器102への入力として推定RULを生成する。意思決定器102は、説明、処理されたデータ、および処理されたデータに関連付けられた報酬を入力として受け取り、次のアクション、および信頼度スコアを生成する。説明はXAIユニット214によって生成される。XAIユニット214は、データベース212と意思決定器102の両方にアクセスし、意思決定器102の内部を分析し、それによって人間が読める説明を作成する。その後、説明は意思決定器102からGUI218に送信される。

XAIユニット214は、AIの決定について2種類の説明を提供することができる。第１は、特徴ごとの説明であり、RLモデルの最終結果を個々の特徴の寄与に分解し、その結果に最も責任のある特徴を特定する。特徴ごとの説明は、局所的解釈可能モデル不可知論的説明（LIME）、シャプレー加法的説明（SHAP）、勾配重み付けクラス活性化マッピング（Grad-CAM）などの説明者可視化モデルから生成することができるが、これらに限定されない。図９は、特徴別説明の2つの異なる応用例を示している。図９に示すように、左図は特徴「犬」を識別するためにGrad-CAM法を利用し、右図は時系列データにおける重要な特徴の識別を示している。

第２のタイプの説明は、インスタンス単位の説明であり、学習データセット中のどのラベル付けされたサンプルが、特定の入力に対するRLモデルの出力に最も影響を与えるかを示す。図１０は、インスタンス単位の説明の適用例を示している。図１０に示すように、入力としてx_iを用いると、モデル出力としてy_iが生成される。これは、入力x_iが特定の識別されたトレーニングサンプル、例えばサンプル2、5、6に類似しているためである。インスタンス単位の説明は、影響関数などの方法から生成されてもよいが、これに限定されない。XAIユニット214は、機器故障の根本原因分析を大幅に容易にし、修理のためのダウンタイムを短縮する。例えば、「修理をお勧めします。この決定は、主に過去10分間のセンサ2の信号に基づいて行われました。」のようなメッセージが生成された場合、エンジニアは、装置のどの部分でどのような異常が検出されたかを知ることができ、より迅速かつ円滑な修理対応が可能となる。さらに、AIによって提示された不確実性のスコアが高い場合、エンジニアは、新たなデータを使用して意思決定器102の追加トレーニングが緊急に必要であることを知ることができる。意思決定器102およびセンサデータ前処理ユニット206からの出力は、GUI218で受信され、そこでユーザ202に提示される。

図７は、例示的な実施形態に従って、データベース212に格納された例示的なデータテーブルを示す。図７に示されるように、このようなデータテーブルは、センサデータ、各マシンに関連する収益、各マシンに関連する修理コスト、報酬などの情報を含むことができるが、これらに限定されない。一番上のテーブルは、機械・センサと関連する動作状態を識別し、各エントリは一意のタイムスタンプに関連付けられている。例えば、最初のエントリには"2021/12/10 13:30 "というタイムスタンプがあり、その時刻に稼動していた機械（Machine）/センサと関連する状態が追跡される。たとえは、タイムスタンプ"2021/12/10 13:30 "では、機械ID１のセンサデータが（12，0.3．108.1）であることを示す。左下の表は、関連する収益と修理費用を持つマシン/センサを特定し、各エントリは一意のタイムスタンプと関連付けられる。たとえば、タイムスタンプ"2021/12/10 13:30 "において、機械ＩＤ１の収益は「１」で、修理費用は「０」である。右下の表は、タイムスタンプに関連する総報酬を識別する。たとえば、タイムスタンプ"2021/12/10 13:30 "において、総報酬が「3.7」であることを示す。

図３は、実施例によるRLモデルのモデル学習フェーズの処理フロー例を示す図である。S302で、正常データと故障データ、処置・修理データを含む観測時系列データを準備・受信する。S304で、データはエピソードに分割される。すべての時間ステップについて報酬が計算され、データベース212に格納される。S306では、オブザベーション｛ｏ_ｔ｝、および真のRULラベル｛RUL_ｔ｝を使用する教師あり学習を使用して、RUL推定器がトレーニングされる。

S308において、決定器トレーニングエンジン210は、意思決定器102をトレーニングするために初期化される。シーケンス｛O，A，R，a｝_Bのランダムなミニバッチ／バッチBが、S310で決定メーカ訓練エンジン210によってサンプリングされ、ここで、O，A，Rは長さTであり、ａは次の時間ステップで取られるアクションである。Oは現在の観察、Aは環境で実行されたアクション、Rは関連する報酬である。

S312では、関数で損失が計算される：

ここでLは、連続的なアクションの平均二乗誤差（MSE）、離散的なアクションのクロスエントロピーのような任意の損失であるが、これらに限定されるものではない。

S314では、損失関数を最小化するために、損失の勾配降下によって意思決定器102のパラメータが更新される。S316では、モデルのトレーニングが十分に行われたかどうかの判定が行われる。答えがノーであれば、プロセスはモデルのさらなるトレーニングのためにS310に戻る。答えがイエスであれば、プロセスは終了する。

図４は、実施例による、RLモデルのアプリケーションのプロセスフロー例を示す。S402で、希望復帰率Ｒがユーザから受信される。所望のリターン・ツー・ゴー(復帰率)は、良いアクションと悪いアクションを識別するために、意思決定器102に入力される。過去の記録は通常、良いエピソード（低費用）と悪いエピソード（高費用；故障や修理が多すぎる）が混在している。高いリターンを指定することで、RLエージェントはデータセットの「ベストプラクティス」によく沿ったアクションを出力するようになる。非現実的な大きな値を選択すると、制御不能な外挿による故障が発生する。

S404で、新しいセンサデータoと報酬rが環境から受信される。S406で、機器が故障したかどうかの判定が行われる。答えがノーであれば、プロセスはS410に進む。答えが「はい」の場合、プロセスはS408に進み、そこで機器が修理または交換され、プロセスはS410に進む。S410では、RがR-rに置き換えられる。

S412では、センサデータ／最近の観測値｛o｝がRUL推定器104に供給され、出力されたRUL予測が受信される。S414では、最近のセンサデータ／観測値｛o｝、最近のアクション｛a｝、希望する復帰率R、およびRUL予測が意思決定器102に入力される。さらに、次のアクションａ、信頼度スコアck、説明Ekを含む意思決定器102からの出力が受信される。S416において、出力はGUI218に送られる。S418において、次のアクションが環境内で実行される。S420では、動作を継続するかどうかの判定が行われる。答えが「はい」であれば、プロセスは、さらなる処理のためにS404に戻る。NOの場合、処理は終了する。

前述の実施例には、様々な利点やメリットがあると考えられる。例えば、データ駆動型アプローチは、専門家の領域知識を必要とすることなく、最適化された予知保全決定の自動化を可能にする。訓練されたRLエージェントの推論時間は、従来の数学的最適化手法よりもはるかに短い。同時に、RL手法はオフラインで動作可能であるため、高価な忠実度の高い機器シミュレータは不要である。MLの出力をオペレータが解釈する必要がある故障尤度やRUL推定に基づく方法とは対照的に、オフラインRL法は最適な決定そのものをもたらす。過去の運転データの提供により、個々の相互依存性を明示的にモデル化することなく、複数のコンポーネントの非同期修理、状態に依存する修理コストなどを扱う複雑なメンテナンススケジューリングを行うことができる。

図５は、いくつかの例示的な実装において使用するのに適した例示的なコンピュータデバイスを有する例示的なコンピューティング環境を示す。コンピューティング環境500のコンピューティングデバイス505は、１つまたは複数の処理ユニット、コア、またはプロセッサ（複数可）510、メモリ515（例えば、RAM、ROM、および／または同類）、内部ストレージ520（例えば、磁気、光学、ソリッドステートストレージ、および／または有機）、および／またはIOインターフェース525を含むことができ、これらのいずれかは、情報を通信するための通信機構またはバス530上に結合されるか、またはコンピューティングデバイス505に埋め込まれることができる。IOインターフェース525はまた、所望の実装に応じて、カメラから画像を受信するか、またはプロジェクタまたはディスプレイに画像を提供するように構成される。

コンピューティングデバイス505は、入力／ユーザーインターフェース535および出力デバイス／インターフェース540に通信可能に結合され得る。入力／ユーザーインターフェース535および出力デバイス／インターフェース540のいずれか一方または両方は、有線または無線インターフェースとすることができ、着脱可能とすることができる。入力／ユーザーインターフェース535は、入力を提供するために使用できる任意のデバイス、コンポーネント、センサ、またはインターフェース（物理的または仮想的）を含み得る（例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサー、加速度計、光学リーダー、および／または同種のもの）。出力デバイス／インターフェース540は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含み得る。いくつかの例示的な実装では、入力／ユーザーインターフェース535および出力デバイス／インターフェース540は、コンピューティングデバイス505に埋め込まれるか、またはコンピューティングデバイス505に物理的に結合され得る。他の例示的な実装では、他のコンピュータデバイスは、コンピューティングデバイス505の入力／ユーザーインターフェース535および出力デバイス／インターフェース540の機能として機能するか、またはその機能を提供することができる。

コンピューティングデバイス505の例としては、高度に移動可能なデバイス（例えば、スマートフォン、車両および他の機械に搭載されたデバイス、人間および動物によって運ばれるデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、および移動用に設計されていないデバイス（例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、そこに埋め込まれたおよび／またはそれに結合された１つまたは複数のプロセッサを有するテレビ、ラジオなど）が挙げられるが、これらに限定されない。

コンピューティングデバイス505は、同じ構成または異なる構成の１つまたは複数のコンピュータデバイスを含む、任意の数のネットワーク接続されたコンポーネント、デバイス、およびシステムと通信するために、外部ストレージ545およびネットワーク550に（例えば、IOインターフェース525を介して）通信可能に結合され得る。コンピューティングデバイス505または任意の接続されたコンピュータデバイスは、サーバ、クライアント、シンサーバ、一般的なマシン、特別な目的のマシン、または別のラベルとして機能し、サービスを提供し、または参照され得る。

IOインターフェース525は、コンピューティング環境500内の少なくともすべての接続されたコンポーネント、デバイス、およびネットワークとの間で情報を通信するための任意の通信またはIOプロトコルまたは標準（例えば、イーサネット、802.11x、ユニバーサルシステムバス、WiMax、モデム、セルラーネットワークプロトコルなど）を使用する有線および／または無線インターフェースを含むことができるが、これらに限定されない。ネットワーク550は、任意のネットワークまたはネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）であり得る。

コンピューティングデバイス505は、一過性媒体および非一過性媒体を含む、コンピュータ使用可能媒体またはコンピュータ可読媒体を使用および／または通信することができる。一過性の媒体には、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などが含まれる。非一過性媒体には、磁気媒体（ディスク、テープなど）、光媒体（CD ROM、デジタルビデオディスク、ブルーレイディスクなど）、固体媒体（RAM、ROM、フラッシュメモリ、ソリッドステートストレージなど）、その他の不揮発性ストレージまたはメモリが含まれる。

コンピューティングデバイス505は、いくつかの例示的なコンピューティング環境において、技術、方法、アプリケーション、プロセス、またはコンピュータ実行可能命令を実装するために使用することができる。コンピュータ実行可能命令は、一過性の媒体から取得され、非一過性の媒体に格納され、非一過性の媒体から取得され得る。実行可能な命令は、プログラミング言語、スクリプト言語、および機械言語（例えば、C、C++、C#、Java、Visual Basic、Python、Perl、JavaScriptなど）の１つまたは複数から発信することができる。

プロセッサ510は、ネイティブ環境または仮想環境において、任意のオペレーティングシステム（OS）（図示せず）の下で実行することができる。論理ユニット560、アプリケーションプログラミングインターフェース（API）ユニット565、入力ユニット570、出力ユニット575、および異なるユニットが互いに、OSと、および他のアプリケーション（図示せず）と通信するためのユニット間通信メカニズム595を含む、１つまたは複数のアプリケーションを展開することができる。説明されるユニットおよび要素は、設計、機能、構成、または実装において様々であり得、提供される説明に限定されない。プロセッサ（複数可）510は、中央処理装置（CPU）のようなハードウェア・プロセッサの形態、またはハードウェア・ユニットとソフトウェア・ユニットの組み合わせとすることができる。

いくつかの例示的な実装では、情報または実行命令がAPIユニット565によって受信されると、それは１つまたは複数の他のユニット（例えば、論理ユニット560、入力ユニット570、出力ユニット575）に伝達されてもよい。いくつかの実施態様において、論理ユニット560は、上述のいくつかの例示的な実施態様におけるように、ユニット間の情報の流れを制御し、APIユニット565、入力ユニット570、出力ユニット575によって提供されるサービスを指示するように構成され得る。例えば、１つまたは複数のプロセスまたは実装の流れは、論理ユニット560単独で、またはAPIユニット565と連携して制御されてもよい。入力ユニット570は、例示的な実施態様において説明された計算のための入力を取得するように構成されてもよく、出力ユニット575は、例示的な実施態様において説明された計算に基づいて出力を提供するように構成されてもよい。

プロセッサ（単数または複数）510は、意思決定器モデルへの入力として、予想される将来の戻り値を受信するように構成することができ、意思決定器モデルは、図１－図２および図４に示されるように、機器に関連するメンテナンスアクションを予測する機械学習モデルである。プロセッサ（単数または複数）510はまた、図１－図２および図４に示されるように、意思決定器モデルへの入力として、環境からの最近の観察および最近のアクションを供給するように構成されてもよい。プロセッサ（複数可）510はまた、意思決定器モデルのモデル出力として次のアクションを生成するように構成されてもよく、次のアクションは、図１－図２および図４に示されるように、予測されたメンテナンスアクションである。プロセッサ（複数可）510はまた、図１－図２および図４に示されるような環境において次のアクションを実行するように構成されてもよい。

プロセッサ（複数可）510はまた、図１－図２に示されるように、信頼度スコアを閾値と比較するように構成されてもよい。プロセッサ（複数可）510はまた、信頼度スコアが閾値を下回る場合、図１－図２に示されるように、最近の観測結果よりも時間的に最近に観測された観測結果及び最近のアクションよりも時間的に最近に観測されたアクションを入力として機械学習モデルを再学習するように構成されてもよい。プロセッサ（複数可）510はまた、図２および図４に示されるように、グラフィカルユーザインターフェース（GUI）上にモデル出力を表示するように構成されてもよい。

プロセッサ（複数可）510はまた、図１－図４に示されるような残存耐用年数（RUL）推定器への入力として最近の観測結果を供給するように構成されてもよい。プロセッサ（複数可）510はまた、図１－図４に示されるように、RUL推定器からの出力として機器の推定残存耐用年数を生成するように構成されてもよい。プロセッサ（複数可）510はまた、図１－図２および図４に示されるように、次のアクションを生成する際の意思決定器モデルへの入力として、生成された機器の推定残存耐用年数を供給するように構成されてもよい。

プロセッサ（複数可）510はまた、図２および図４に示されるように、グラフィカルユーザインターフェース（GUI）上にモデル出力および機器の推定残存耐用年数を表示するように構成されてもよい。プロセッサ（複数可）510はまた、意思決定器モデルのモデル出力の生成に関連する入力のサブセットを識別するように構成されてもよく、入力のサブセットは、図３に示されるように、次のアクションの生成に直接影響する。

プロセッサ（単数又は複数）510はまた、図１－図２に示されるように、複数のセンサからのデータを最近の観測及び最近のアクションとしてデータベースに格納するように構成されてもよい。プロセッサ（単数又は複数）510はまた、図１－図２および図４に示されるように、データベースから最近の観測及び最近のアクションを検索するように構成されてもよい。

詳細な説明のいくつかの部分は、アルゴリズムおよびコンピュータ内の操作の記号的表現の観点から提示されている。これらのアルゴリズム記述および記号表現は、データ処理技術の当業者が、その技術革新のエッセンスを当業者に伝えるために使用する手段である。アルゴリズムとは、所望の最終状態または結果を導く一連の定義されたステップのことである。実施例では、実行されるステップは、目に見える結果を達成するために、目に見える量の物理的操作を必要とする。

特に別段の記載がない限り、議論から明らかなように、本明細書全体を通して、「処理」、「計算」、「計算」、「決定」、「表示」などの用語を使用する議論には、コンピュータシステムのレジスタおよびメモリ内の物理的（電子的）量として表されるデータを、コンピュータシステムのメモリまたはレジスタまたは他の情報記憶、送信または表示デバイス内の物理的量として同様に表される他のデータに操作および変換する、コンピュータシステムまたは他の情報処理デバイスの動作およびプロセスが含まれ得ることが理解される。

例示的な実施態様は、本明細書における操作を実行するための装置に関するものでもある。この装置は、必要な目的のために特別に構成されていてもよいし、１つまたは複数のコンピュータプログラムによって選択的に起動または再構成される１つまたは複数の汎用コンピュータを含んでいてもよい。このようなコンピュータプログラムは、コンピュータ可読記憶媒体やコンピュータ可読信号媒体などのコンピュータ可読媒体に格納することができる。コンピュータ可読記憶媒体には、光ディスク、磁気ディスク、読み取り専用メモリ、ランダムアクセスメモリ、ソリッドステートデバイス、ドライブなどの有形媒体、または電子情報を記憶するのに適した他のタイプの有形媒体または非一過性媒体が含まれるが、これらに限定されない。コンピュータ可読信号媒体は、搬送波などの媒体を含むことができる。本明細書で提示されるアルゴリズムおよび表示は、特定のコンピュータまたは他の装置とは本質的に関係しない。コンピュータプログラムは、所望の実装の動作を実行する命令を含む純粋なソフトウェア実装を含むことができる。

様々な汎用システムが、本明細書の実施例に従ったプログラムおよびモジュールと共に使用されてもよいし、所望の方法ステップを実行するためのより特殊な装置を構築することが便利であることが判明してもよい。さらに、実施例は特定のプログラミング言語を参照して説明されていない。様々なプログラミング言語が、本明細書に記載される実施例の教示を実施するために使用され得ることが理解されるであろう。プログラミング言語の命令は、１つまたは複数の処理装置、例えば、中央処理装置（CPU）、プロセッサ、またはコントローラによって実行されてもよい。

当技術分野で知られているように、上述の動作は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの何らかの組み合わせによって実行することができる。例示的な実装の様々な態様は、回路および論理デバイス（ハードウェア）を使用して実装されてもよく、一方、他の態様は、プロセッサによって実行された場合、プロセッサに本出願の実装を実行する方法を、実行される機械可読媒体（ソフトウェア）上に記憶された命令を使用して実装されてもよい。さらに、本出願のいくつかの例示的な実装は、ハードウェアのみで実行され得るが、他の例示的な実装は、ソフトウェアのみで実行され得る。さらに、説明した様々な機能は、単一のユニットで実行することもできるし、任意の数の方法で多数の構成要素にまたがることもできる。ソフトウェアによって実行される場合、方法は、コンピュータ可読媒体上に記憶された命令に基づいて、汎用コンピュータなどのプロセッサによって実行され得る。所望により、命令は、圧縮および／または暗号化されたフォーマットで媒体に格納することができる。

さらに、本願の他の実施態様は、本願明細書の考察および本願の教示の実践から当業者には明らかであろう。記載された例示的な実施態様の様々な態様及び／又は構成要素は、単独で又は任意の組み合わせで使用され得る。本明細書および例示的な実施態様は、例示としてのみ考慮されることが意図され、本願の真の範囲および精神は、以下の特許請求の範囲によって示される。

Claims (6)

1. 設備の予知保全のための予知保全支援システムのオフライン強化学習方法であって、
   前記予知保全支援システムは、
   過去の観測、過去のアクション、関連する報酬、および関連する予測アクションに関連する履歴を格納するデータベースと、XAIユニットと、残存耐用年数（RUL）推定器と、決定器訓練エンジンと、GUIと、報酬計算器と、意思決定器と、を備え、
   前記報酬計算器によって、ユーザからの指示に従って動作する複数の機器の内部センサのセンサデータが入力され、期待される将来の収益期待値を出力し、
   前記意思決定器は、
   前記センサデータとして過去の観測結果と、過去のアクションと、前記期待される将来の収益期待値と、を入力し、
   予測された次のアクションと、前記意思決定器の意思決定器モデルの信頼度スコアと、を出力し、
   前記XAIユニットは、前記データベースと前記意思決定器とにアクセスし、人間が読める予測された次のアクションの説明を出力し、
   前記RUL推定器によって、
   前記センサからの過去の観測結果を入力し、前記意思決定器に残存耐用年数の推定値を前記意思決定器に出力し、
   前記データベースによって、時間毎に、前記複数の機器のそれぞれの、センサデータと、収益と、修理コスト、報酬とを格納し、
   前記決定器訓練エンジンによって、前記データベースのデータを取得し、前記RUL推定器のトレーニングし、
   前記決定器訓練エンジンによって、さらに、
   前記信頼度スコアを閾値と比較し、
   前記信頼度スコアがしきい値を下回る場合、最近の観察よりも時間的に新しく観測された観察と、最近のアクションよりも時間的に新しく観測されたアクションを入力として、前記意思決定器モデルを再トレーニングする
   オフライン強化学習方法。
2. 請求項１に記載のオフライン強化学習方法であって、
   前記RUL推定器への入力として、最近の観測値を供給し、
   前記RUL推定器からの出力として、機器の推定残存耐用年数を生成し、
   生成された機器の推定残存耐用年数は、次のアクションを生成する際の前記意思決定器
   の前記意思決定器モデルの入力として使用される
   オフライン強化学習方法。
3. 請求項２に記載のオフライン強化学習方法であって、
   生成された前記機器の推定残存耐用年数を、前記GUIに表示する
   オフライン強化学習方法。
4. 機器の予知保全のための命令を記憶した、非一時的なコンピュータ可読媒体であって、
   前記命令は、以下の処理をコンピュータに実行させる、
   ユーザからの指示に従って動作する複数の機器の内部センサのセンサデータが入力され、期待される将来の収益期待値を出力させ、
   前記センサデータとして過去の観測結果と、過去のアクションと、前記期待される将来の収益期待値と、を入力させ、
   予測された次のアクションと、前記コンピュータの意思決定器の意思決定器モデルの信頼度スコアと、を出力させ、
   過去の観測、過去のアクション、関連する報酬、および関連する予測アクションに関連する履歴を格納するデータベースと前記意思決定器とにアクセスし、人間が読める予測された次のアクションの説明を出力させ、
   前記センサからの過去の観測結果を入力させ、前記意思決定器に残存耐用年数の推定値を前記意思決定器に出力させ、
   時間毎に、前記複数の機器のそれぞれの、センサデータと、収益と、修理コスト、報酬とを格納させ、
   過去の観測、過去のアクション、関連する報酬、および関連する予測アクションに関連する履歴を格納するデータベースのデータを取得させ、残存耐用年数（RUL）推定器をトレーニングさせて、
   さらに、
   前記信頼度スコアを閾値と比較させ、
   前記信頼度スコアがしきい値を下回る場合、最近の観察よりも時間的に新しく観測された観察と、最近のアクションよりも時間的に新しく観測されたアクションを入力として、前記意思決定器モデルを再トレーニングさせる
   コンピュータ可読媒体。
5. 請求項４に記載のコンピュータ可読媒体であって、
   前記命令は、
   残存耐用年数推定器（RUL推定器）への入力として、最近の観測値を供給させ、
   前記RUL推定器からの出力として、機器の推定残存耐用年数を生成させ、
   生成された機器の推定残存耐用年数は、次のアクションを生成する際の前記意思決定器モデルの入力として使用させる
   コンピュータ可読媒体。
6. 請求項５に記載のコンピュータ可読媒体であって、
   前記命令は、
   グラフィカル・ユーザー・インターフェース(GUI)にモデル出力と機器の推定残存耐用年数を表示する
   コンピュータ可読媒体。