JP7365967B2 - 行動選択システム及び行動選択方法 - Google Patents

Description

本発明は、行動選択システム及び行動選択方法に関する。

特許文献１～２には、生産ラインやプラントの生産制御の自動化に関する技術が開示されている。また、特許文献３には、ロボットの行動制御の自動行動獲得に関する技術が開示されている。

例えば、特許文献１では、プラントのシミュレータを用いてプラントの運転状態を示すパラメータの最適値を強化学習により求めるが、プラントをセグメント分けすることで従来と比較してより短時間で学習を収束させ易くしている。

また、特許文献２では、プラントのシミュレータを用いてプラントの制御パラメータの最適化を強化学習により求めるが、学習に時間がかかると推定される場合には、学習の探索範囲を絞ることで高速化している。

また、特許文献３では、強化学習アルゴリズムを、未学習、初期化、及び学習のそれぞれの処理に分類することで、特に、学習初期の段階における学習効率を向上させている。

このようにして、従来技術では、生産ラインやプラントの生産制御の自動化、ロボットの行動制御の自動行動獲得などを高速に行っている。

特開２０１９－２０８８５号公報 特許第６６５０７８６号公報 特開２００６－３０９５１９号公報

しかしながら上述の従来技術は、強化学習を用いるために生産ラインやプラント、ロボットなどの対象システムの挙動を模擬できるシミュレータが必要であり、シミュレータが無い場合は適用できない。また、複雑な生産ラインやプラントのシミュレータを構築するには多大な労力を要する。さらに、従来技術は、強化学習の試行錯誤過程の効率を向上させているものの、それでもなお試行錯誤過程が必要という課題がある。

本発明は、上述の従来技術に鑑みてなされたものであり、生産ラインやプラント、ロボットなどの対象システムの生産制御の自動化、行動制御の自動行動獲得などにおいて、対象システムのシミュレータが無い場合でも適用可能とし、かつ、試行錯誤過程を不要とし、対象システムの制御や行動の規則を自動的に獲得できるようにすることを目的とする。

上記課題を解決するために、本発明の行動選択システムは、対象システムの遷移元状態と、前記対象システムの行動と、該行動により該遷移元状態から遷移した前記対象システムの遷移後状態と、を対応付けた時系列の実績データを前記対象システムから収集するデータ収集部と、前記対象システムの現在の状態を遷移元状態とし、前記実績データから、該現在の状態と、該現在の状態において前記対象システムが取るべき推奨行動と、該推奨行動により前記対象システムが該現在の状態から遷移すると予測される遷移後状態と、を対応付けた行動則を生成する事前行動選択情報生成部とを有することを特徴とする。

本発明によれば、生産ラインやプラント、ロボットなどの対象システムの生産制御の自動化、行動制御の自動行動獲得などにおいて、対象システムのシミュレータが無い場合でも適用可能とし、かつ、試行錯誤過程を不要とし、対象システムの制御や行動の規則を自動的に獲得できる。

実施形態に係る行動選択システムの構成を示すブロック図である。 データ収集部のデータ収集処理を示すフローチャートである。 データ収集部により収集されデータベースに格納されるデータの例を示す図である。 事前行動選択情報生成部の事前行動選択情報生成処理を示すフローチャートである。 事前行動頻度情報生成処理の詳細を示すフローチャートである。 事前行動頻度情報生成処理により作成される事前行動頻度情報の例を示す図である。 事前遷移確率生成処理の詳細を示すフローチャートである。 事前遷移確率生成処理により作成される事前遷移確率情報の例を示す図である。 事前行動則生成処理の詳細を示すフローチャートである。 ネットワーク情報作成処理により作成される事前遷移確率をネットワーク表現したネットワーク情報の例を示す図である。 状態価値探索適用処理の詳細を示すフローチャートである。 対象状態からの状態価値探索適用処理の詳細を示すフローチャートである。 実施形態で説明する迷路の例を示す図である。 実施形態で説明する迷路に状態価値探索適用した結果の例を示す図である。 行動則情報作成処理の詳細を示すフローチャートである。 実施形態で説明する行動則作成の際に作成する初期リストの例を示す図である。 実施形態で説明する獲得した行動則の例を示す図である。 実施形態で説明する迷路の最適ルートの例を示す図である。 事前表示情報生成処理の詳細を示すフローチャートである。 事前表示情報生成処理で生成される状態遷移確率の表示データの表示画面例を示す図である。 事前表示情報生成処理で生成されるネットワーク情報の表示データの表示画面例を示す図である。 事前表示情報生成処理で生成される行動則の表示データの表示画面例を示す図である。 運用時行動選択情報生成指示部の運用時行動選択情報生成指示処理を示すフローチャートである。 運用時状態取得処理の詳細を示すフローチャートである。 運用時行動選択処理の詳細を示すフローチャートである。 運用時表示情報生成処理の詳細を示すフローチャートである。 運用時行動指示処理の詳細を示すフローチャートである。 運用時表示情報生成処理で生成される表示データの表示画面例を示す図である。

以下、本発明の好適な実施形態を説明する。以下において、同一又は類似の要素及び処理に同一の符号を付して差分を説明し、重複説明を省略する。また、後出の実施形態では、既出の実施形態との差分を説明し、重複説明を省略する。

また、以下の説明及び各図で示す構成及び処理は、本発明の理解及び実施に必要な程度で実施形態の概要を例示するものであり、本発明に係る実施の態様を限定することを意図する趣旨ではない。また、各実施形態及び各変形例は、本発明の趣旨を逸脱せず、整合する範囲内で、一部又は全部を組合せることができる。

また、以下の説明では、情報をテーブル形式で示すが、他の形式であってもよい。

以下に説明する実施形態では、対象システムは、生産ラインやプラント、ロボットなどを例として示すが、これに限らず、遷移元状態、遷移後状態、及び、遷移元状態から遷移後状態へ状態遷移を行う際の「行動」を対応付けた実績データが取得可能なシステム、設備、装置、機器などに広く適用できる。なお、本明細書では、「行動」とは、システム、設備、装置、機器などの行動主体の動作や制御、行動を含んだ概念とする。

図１は、実施形態に係る行動選択システムＳの構成を示すブロック図である。図１において、対象システム１は、制御の対象となる生産ラインやプラント、ロボットなどであり、自装置の状態遷移を含む稼働の実績データＤ３（図３）を生成する。

行動選択システムＳは、ＣＰＵなどのプロセッサ、主記憶装置（メモリ）、補助記憶装置、及び通信インターフェースを有する１以上のコンピュータで構成される。行動選択システムＳの各機能構成は、主記憶装置と協働してプログラムを実行するプロセッサを含むハードウェアの協働により実現される。行動選択システムＳは、制御部２及び行動選択部３を有する。

制御部２は、行動選択部３の動作を制御する。データ収集部６は、対象システム１が生成するデータを収集しデータベース７に格納する。

事前行動選択情報生成部５は、事前行動頻度情報生成部１０、事前遷移確率生成部１１、事前行動則生成部１２、及び事前表示情報生成部１３を有する。

事前行動頻度情報生成部１０は、データベース７に蓄積された実績データＤ３を用いて、対象システム１の事前行動頻度情報Ｄ６を生成する。事前遷移確率生成部１１は、事前行動頻度情報Ｄ６から事前遷移確率情報Ｄ８を生成する。事前行動則生成部１２は、事前遷移確率情報Ｄ８から行動則Ｄ１６Ｂを生成する。事前表示情報生成部１３は、事前行動頻度情報Ｄ６、事前遷移確率情報Ｄ８、及び行動則Ｄ１６Ｂを表示するための事前表示情報を生成する。

表示指示部４は、ディスプレイなどの表示装置、及び、キーボードや、マウス、タッチパネルなどの入力装置を含む。表示指示部４は、事前表示情報に基づいて各種情報を表示装置に表示し、利用者による表示に基づく入力を、入力装置を介して受け付ける。

運用時行動選択情報生成指示部８は、運用時状態取得部２０、運用時行動選択部２１、運用時表示情報生成部２２、及び運用時行動指示部２３を有する。

運用時状態取得部２０は、データベース７に蓄積されたデータを用いて、対象システム１の現在の状態を取得する。運用時行動選択部２１は、対象システム１の現在の状態と事前行動則生成部１２により生成された行動則１６Ｂから、対象システム１の運用時の行動を選択する。運用時表示情報生成部２２は、運用時の表示情報を生成する。運用時行動指示部２３は、運用時行動選択部２１により決定した対象システム１の運用時の行動、あるいは表示指示部４で利用者が選択した行動を対象システム１に指示する。表示指示部４は、運用時の表示情報を表示する。

図２は、データ収集部６のデータ収集処理を示すフローチャートである。データ収集部６は、制御部２の指示によりデータ収集処理を開始し（Ｓ１０１）、対象システム１からデータを収集するデータ収集処理（Ｓ１０２）を行い、データベース７にデータを格納する（Ｓ１０３）。

続いてデータ収集部６は、データ収集処理が終了かの判定を行い（Ｓ１０４）、処理継続ならば（Ｓ１０４ＮＯ）、Ｓ１０２に処理を戻し、処理終了ならば（Ｓ１０４ＹＥＳ）、データ収集処理を終了する（Ｓ１０５）。

図３は、データ収集部６により収集されデータベース７に格納される実績データＤ３の例を示す図である。実績データＤ３は、データを収集した「年月日時刻」、「遷移元状態」、「遷移後状態」、「遷移前から遷移後の状態に遷移した場合の「行動」のデータ項目を含む。実績データＤ３は、対象システム１の状態遷移前後と行動の実際のデータとして、例えば図３に示すように、テーブルのレコード毎に格納される。

（事前行動選択情報生成部５の事前行動選択情報生成処理）
図４は、事前行動選択情報生成部５の事前行動選択情報生成処理を示すフローチャートである。事前行動選択情報生成部５は、制御部２の指示により事前行動選択情報生成処理を開始し（Ｓ２０１）、事前行動頻度情報生成部１０が事前行動頻度情報生成処理を行い（Ｓ２０２）、事前遷移確率生成部１１が事前遷移確率生成処理を行い（Ｓ２０３）、事前行動則生成部１２が事前行動則生成処理を行い（Ｓ２０４）、事前表示情報生成部１３が事前表示情報生成処理を行い（Ｓ２０５）、事前行動選択情報生成処理を終了する（Ｓ２０６）。

図５は、事前行動頻度情報生成処理Ｓ２０２（図４）の詳細を示すフローチャートである。事前行動頻度情報生成部１０は、事前行動頻度情報生成処理を開始し（Ｓ３０１）、実績データＤ３（図３）の入力の処理を行い（Ｓ３０２）、全ての実績データ（遷移元状態、遷移後状態、行動）の頻度をゼロに初期化する（Ｓ３０３）。

続いて事前行動頻度情報生成部１０は、（遷移元状態、遷移後状態、行動）の全てが同一の実績データＤ３のレコードの発生頻度をそれぞれ加算し（Ｓ３０４）、Ｓ３０２で入力された全ての実績データＤ３に対して処理が終了か否かを判定する（Ｓ３０５）。事前行動頻度情報生成部１０は、全ての実績データＤ３に対して処理が終了していなければ（Ｓ３０５ＮＯ）、Ｓ３０４に処理を戻し、全ての実績データＤ３に対して処理が終了していれば（Ｓ３０５ＹＥＳ）、事前行動頻度情報生成処理を終了する（Ｓ３０６）。

図６は、事前行動頻度情報生成処理Ｓ２０２により作成される事前行動頻度情報Ｄ６の例を示す図である。事前行動頻度情報Ｄ６は、実績データＤ３（図３）の各レコードを、（遷移元状態、遷移後状態、行動）の３つのデータ項目が一致するレコード数を頻度としてカウントした情報である。

図７は、事前遷移確率生成処理Ｓ２０３の詳細を示すフローチャートである。事前遷移確率生成部１１は、事前遷移確率生成処理を開始し（Ｓ４０１）、事前行動頻度情報生成処理Ｓ２０２で生成された事前行動頻度情報Ｄ６の入力処理を行う（Ｓ４０２）。

続いて事前遷移確率生成部１１は、事前行動頻度情報Ｄ６のなかで（遷移元状態、遷移後状態）の遷移元状態から各遷移後状態への遷移確率を算出し事前遷移確率情報Ｄ８（図８）に格納する（Ｓ４０３）。事前遷移確率生成部１１は、全ての遷移後状態の遷移確率を算出し事前遷移確率情報Ｄ８に格納したか否かを判定する（Ｓ４０４）。事前遷移確率生成部１１は、全ての遷移後状態の遷移確率を算出し事前遷移確率情報Ｄ８に格納していなければ（Ｓ４０４Ｎｏ）、Ｓ４０３に処理を戻し、全ての遷移確率を算出し事前遷移確率情報Ｄ８に格納していれば事前遷移確率生成処理を終了する（Ｓ４０５）。

図８は、事前遷移確率生成処理Ｓ２０３により作成される事前遷移確率情報Ｄ８の例を示す図である。例えば、事前行動頻度情報Ｄ６において、遷移元状態ｓ１のレコードは、Ｎｏ.１の（遷移元状態：ｓ１、行動：ａ１、遷移後状態：ｓ２、頻度：８）と、Ｎｏ.２の（遷移元状態：ｓ１、行動：ａ２、遷移後状態：ｓ３、頻度：１２）である。よって、遷移元状態：ｓ１の全レコード数２０（８＋１２）に対して、遷移後状態：ｓ２への遷移確率は８／２０＝０．４、遷移後状態：ｓ３への遷移確率は１２／２０＝０．６である。同様にして、全ての遷移確率を算出する。

図９は、事前行動則生成処理Ｓ２０４の詳細を示すフローチャートである。事前行動則生成部１２は、事前行動則生成処理を開始し（Ｓ５０１）、事前遷移確率情報Ｄ８の入力処理を行い（Ｓ５０２）、事前遷移確率情報Ｄ８をもとにネットワーク情報Ｄ１０（図１０）の作成処理を行う（Ｓ５０３）。続いて事前行動則生成部１２は、状態価値探索適用処理を行い（Ｓ５０４）、行動則情報作成処理を行い（Ｓ５０５）、事前行動則生成処理を終了する（Ｓ５０６）。

図１０は、ネットワーク情報作成処理Ｓ５０３により作成される事前遷移確率情報Ｄ８をネットワーク表現したネットワーク情報Ｄ１０の例を示す図である。図１０では、丸は状態、矢印は状態の遷移方向を示しており、各矢印の近傍に行動と遷移確率を示している。例えば図１０の例は、ｓ１が遷移元状態の場合、行動ａ１によって遷移確率０．４で遷移後状態ｓ２へ状態遷移し、行動ａ２によって遷移確率０．６で遷移後状態ｓ３へ状態遷移することを示す。

図１１は、状態価値探索適用処理Ｓ５０４の詳細を示すフローチャートである。事前行動則生成部１２は、状態価値探索適用処理を開始し（Ｓ６０１）、ネットワーク情報Ｄ１０の入力処理を行い（Ｓ６０２）、初期設定処理を行う（Ｓ６０３）。

続いて事前行動則生成部１２は、状態価値変化フラグをなしに設定し（Ｓ６０４）、目的状態登録キューにネットワーク情報Ｄ１０の各状態を登録する目的状態登録処理を行い（Ｓ６０５）、目的状態登録キューから先頭を対象状態として取り出す（Ｓ６０６）。

続いて事前行動則生成部１２は、対象状態があるか否かを判定し（Ｓ６０７）、対象状態があれば（Ｓ６０７ＹＥＳ）、対象状態を探索済かつ他の状態を未探索に設定し（Ｓ６０８）、対象状態からの状態価値探索適用処理を行い（Ｓ６０９）、Ｓ６０６に処理を戻す。事前行動則生成部１２は、対象状態がなければ（Ｓ６０７ＮＯ）、状態価値変化フラグ＝ありか否かを判定し（Ｓ６１０）、状態価値変化フラグ＝ありの場合（Ｓ６１０ＹＥＳ）にはＳ６０４に処理を戻す。事前行動則生成部１２は、状態価値変化フラグ＝ありでない場合（Ｓ６１０ＮＯ）には状態価値探索適用処理を終了する（Ｓ６１１）。

図１２は、対象状態からの状態価値探索適用処理Ｓ６０９の詳細を示すフローチャートである。事前行動則生成部１２は、対象状態からの状態価値探索適用処理を開始し（Ｓ７０１）、Ｓ６０６（図１１）で目的状態登録キューから取り出した対象状態につながり、状態価値が未探索の状態を対象状態キューに登録する（Ｓ７０２）。

続いて事前行動則生成部１２は、対象状態キューに登録している状態があるか否かを判定し（Ｓ７０３）、状態がある場合（Ｓ７０３ＹＥＳ）には対象状態キューの先頭を対象状態として取り出す（Ｓ７０４）。続いて事前行動則生成部１２は、Ｓ７０４で取り出した対象状態の状態価値算出処理を行い（Ｓ７０５）、対象状態の状態価値は未探索あるいは前回より大きいか否かの判定を行う（Ｓ７０６）。

事前行動則生成部１２は、対象状態の状態価値は未探索あるいは前回算出の状態価値より大きい（Ｓ７０６ＹＥＳ）場合には状態変化フラグ＝あり、かつ、対象状態＝探索済に設定し（Ｓ７０７）、対象状態の状態価値を更新する（Ｓ７０８）。Ｓ７０８に続き事前行動則生成部１２は、対象状態がスタート状態か否かの判定を行い（Ｓ７０９）、対象状態はスタート状態の場合（Ｓ７０９ＹＥＳ）にはＳ７０３に処理を戻す。

事前行動則生成部１２は、対象状態の状態価値は探索済かつ前回算出の状態価値より小さい（Ｓ７０６ＮＯ）場合にはＳ７０９に処理を移す。

事前行動則生成部１２は、対象状態はスタート状態でない場合（Ｓ７０９ＮＯ）にはＳ７０２に処理を戻す。そして事前行動則生成部１２は、Ｓ７０３でキューに登録状態がなければ対象状態からの状態価値探索適用処理を終了する（Ｓ７１０）。

なお、Ｓ７０７では対象状態の状態価値＝探索済で前回算出の状態価値と今回算出の状態価値の差が予め定められた値より小さい場合、かつ、現在の状態価値変化フラグ＝なしの場合には、状態価値変化フラグ＝なしのままとしてもよい。

図１１、図１２、図１３、図１４を用いて、図１３の迷路の例とした作用を説明する。図１３は、実施形態で説明する迷路の例を示す図である。図１３にはＬ＝１～４、Ｃ＝１～４で示される太枠で囲まれた１６個のセルがあり、灰色のセルは通ることができないセルを示している。各セルは３×３の小区画で表現し、中央の小区画の上段には状態名としてｓ１～ｓ１２を記載し、s１はスタート状態、ｓ９は目的状態に設定し、下段には状態価値の初期値を示している。小区画の上下左右には事前遷移確率生成処理（Ｓ２０３）で求めた遷移確率を示している。状態価値算出処理（Ｓ７０５）で行う状態価値算出方法の例として、強化学習における公知の価値反復法の式を以下の（１）式に示す。

（１）式において、Ｖ（ｓ）は状態ｓにおける状態価値、ｍａｘは以降の式の値が最大となる行動ａを選択した時の最大値、Ｐ（ｓ´|ｓ，ａ）は状態ｓで行動ａを行い状態ｓ´となる条件付き確率、ｒ（ｓ，ａ，ｓ´）は状態ｓから行動ａにより状態ｓ´になる場合の報酬、γは割引率と呼ばれる１未満の正定数、Ｖ（ｓ´）は状態ｓ´の状態価値である。

ネットワーク情報入力処理（Ｓ６０２）では、図１０に例として示したネットワーク情報Ｄ１０を入力し、図１３に示す各セルの連結形態の作成と遷移確率を設定する。初期設定処理（Ｓ６０３）では、予め設定されたスタート状態と目的状態を設定し、r(ｓ，ａ，ｓ´)は全ての場合における移動コストとして－０．００１を設定し、割引率として０．９を設定する。

図１３ではｓ１がスタート状態、ｓ９が目的状態に設定され、目的状態の状態価値を１．０、その他の状態価値を０に設定する。Ｓ６０４では、状態価値変化フラグ＝なしに設定し、目的状態登録処理（Ｓ６０５）ではｓ９を目的状態として目的状態登録キューに登録する。目的状態登録キューから先頭を対象状態として取り出す処理で（Ｓ６０６）、ｓ９を目的状態として取り出す。

対象状態があるか否かの判定（Ｓ６０７）ではｓ９があるため、対象状態ｓ９を探索済かつ他の状態を未探索に設定し（Ｓ６０８）、対象状態からの状態価値探索適用処理（Ｓ６０９）を行う。Ｓ６０９の詳細処理である図１２に示す処理において、対象状態ｓ９につながり、状態価値が未探索の状態はｓ８であるため、ｓ８を対象状態キューに登録する（Ｓ７０２）。対象状態キューに登録状態があるか否かを判定し（Ｓ７０３）、ｓ８があるため、対象状態キューの先頭のｓ８を対象状態として取り出し（Ｓ７０４）、状態価値算出処理（Ｓ７０５）を行う。Ｓ７０５では例えば上記（１）式を用いる。

ｓ８からの行動ａの選択肢は上下左右あるが、上方向での状態価値の計算値は、０．３×（－０．００１＋０．９×０）＝－０．０００３となる。同様の計算により下方向は－０．０００３、左方向は０、右方向は０．３５９６となり、小数点２位までの表記とすると最大値は０．３６と求まる。対象状態の状態価値は未探索あるいは前回より大きいか否かを判定し（Ｓ７０６）、未探索で前回の値０より大きいため、状態価値変化フラグ＝ありに設定し、ｓ８を探索済に設定し（Ｓ７０７）、ｓ８の状態価値を０．３６に更新し（Ｓ７０８）、対象状態はスタート状態か否かを判定し（Ｓ７０９）、ｓ８はスタート状態ではないためＳ７０２に戻る。

次にｓ８につながり状態価値が未探索の状態はｓ６とｓ１２であるため、ｓ６とｓ１２を対象状態キューに登録し（Ｓ７０２）、対象状態キューに登録状態があるか否かを判定し（Ｓ７０３）、登録状態があるので対象状態キューの先頭のｓ６を対象状態として取り出し（Ｓ７０４）、状態価値算出処理（Ｓ７０５）を行う。ｓ６での上方向での状態価値の計算値は、０．４×（－０．００１＋０．９×０）＝－０．０００４、下方向は、０．６×（－０．００１＋０．９×０．３５９６）＝０．１９３６となり、小数点２位までの表記とすると０．１９と求まる。同様に左方向は０、右方向は０となり、最大値は０．１９となる。以降、図１４（実施形態で説明する迷路に状態価値探索適用した結果の例を示す図）に示すように、同様の処理を繰り返すことでｓ９に連続的につながる全てのセルの状態価値を求めることができる。

次に図１５、図１６Ａ、図１６Ｂ、図１７を用いて、行動則情報作成処理Ｓ５０５の動作と作用を説明する。図１５は、行動則情報作成処理Ｓ５０５の詳細を示すフローチャートである。

事前行動則生成部１２は、初期リストＤ１６Ａを作成し（Ｓ８０２）、Ｎ＝状態の総数、変数ｉ＝０と初期化し（Ｓ８０３）、ｉに１を加算し（Ｓ８０４）、ｉ≦Ｎであるか否かを判定する（Ｓ８０５）。

事前行動則生成部１２は、ｉ≦Ｎの場合（Ｓ８０５ＹＥＳ）の場合にはＳ８０６に処理を移し、ｉ＞Ｎの場合（Ｓ８０５ＮＯ）の場合にはＳ８０８に処理を移して行動則情報作成処理を終了する。

Ｓ８０６では、事前行動則生成部１２は、ｉ番目の遷移元状態が目的状態か否かを判定する。事前行動則生成部１２は、ｉ番目の遷移元状態が目的状態でない場合（Ｓ８０６ＮＯ）には、ｉ番目の遷移状態につながる状態価値が最大の状態を遷移後状態としてその行動を記録し（Ｓ８０７）、Ｓ８０４に処理を戻す。

一方、事前行動則生成部１２は、ｉ番目の遷移元状態が目的状態である場合（Ｓ８０６ＹＥＳ）には、Ｓ８０４に処理を戻す。

Ｓ８０２では、例えば、図１６Ａに示すように、例えば図１４に示す全ての状態を遷移元状態として記録した初期リストＤ１６Ａを作成し、Ｎ＝１２（状態の総数）、変数ｉ＝０に初期化し（Ｓ８０３）、ｉに１を加算し（Ｓ８０４）、ｉ≦Ｎであるか否かを判定する（Ｓ８０５）。ｉは１であり１２以下であるため、Ｓ８０５ＹＥＳとなり、１番目の遷移元状態は目的状態か否かを判定する（Ｓ８０６）。ｓ１は目的状態ではないため、１番目の遷移元状態につながる状態価値が０．０６の最大の状態であるｓ２を遷移後状態とし、その行動は右に進むであることから図１６ＢのＮｏ１の行に「右に進む」の情報を記録し（Ｓ８０７）、Ｓ８０４に戻る。

同様に処理を繰り返し行い、ｉ＝９の場合は、Ｓ８０６で９番目の遷移元状態のｓ９は目的状態であるため記録せずにＳ８０４に戻る。同様にｉ＝１２の場合まで処理を繰り返すことにより図１６Ｂに示す行動則１６Ｂを作成する。

図１７は、スタート状態として遷移元状態ｓ１に対して図１６Ｂに示す行動則を適用して遷移後状態を求め、以降、遷移後状態を次の遷移元状態として、順次遷移後状態を求めることで、矢印で示すように目的状態ｓ９への最適ルートが求まる例を示す。

図１８は、事前表示情報生成処理Ｓ２０５の詳細を示すフローチャートである。事前表示情報生成部１３は、事前表示情報生成処理を開始し（Ｓ９０１）、遷移元状態、行動、遷移後状態、遷移確率（事前遷移確率情報Ｄ８）の表示データ生成処理を行い（Ｓ９０２）、ネットワーク情報Ｄ１０の表示データ生成処理を行う（Ｓ９０３）。そして、事前表示情報生成部１３は、行動則１６Ｂの表示データ生成処理を行い（Ｓ９０４）、事前表示情報生成処理を終了する（Ｓ９０５）。Ｓ９０２～Ｓ９０４の各処理で表示データが生成される情報を、総称して事前表示情報という。

事前表示情報生成部１３は、Ｓ９０２、Ｓ９０３、及びＳ９０４で生成された表示データをもとに、事前遷移確率情報Ｄ８、ネットワーク情報Ｄ１０、及び、行動則１６Ｂの各事前表示情報を表示指示部４に表示させる。

図１９は、事前表示情報生成処理Ｓ２０５で生成される状態遷移確率Ｄ８の表示データの表示画面例を示す図である。図２０は、事前表示情報生成処理Ｓ２０５で生成されるネットワーク情報Ｄ１０の表示データの表示画面例を示す図である。図２１は、事前表示情報生成処理Ｓ２０５で生成される行動則Ｄ１６Ｂの表示データの表示画面例を示す図である。

表示指示部４に表示される事前表示画面４Ａにおいて、利用者によって事前表示メニュー４ａが選択された際に表示されるプルダウンメニューから状態遷移確率表示メニュー４ｂが選択された場合に、図１９に示す事前表示画面(状態遷移確率)が表示される。

また、事前表示画面４Ａにおいて、利用者によって事前表示メニュー４ａが選択された際に表示されるプルダウンメニューからネットワーク情報表示メニュー４ｃが選択された場合に、図２０に示す事前表示画面(ネットワーク情報)が表示される。また、事前表示画面４Ａにおいて、利用者によって事前表示メニュー４ａが選択された際に表示されるプルダウンメニューから行動則表示４ｄが選択された場合に、図２１に示す事前表示画面(行動則)が表示される。

次に図２２から図２７を参照して、事前行動選択情報生成部５と表示指示部４の動作を説明する。図２２は、運用時行動選択情報生成指示部８の運用時行動選択情報生成指示処理を示すフローチャートである。運用時行動選択情報生成指示部８は、制御部２の指示により、運用時行動選択情報生成指示処理を開始し（Ｓ１００１）、運用時状態取得処理を行い（Ｓ１００２）、運用時行動選択処理を行い（Ｓ１００３）、運用時表示情報生成処理を行い（Ｓ１００４）、運用時行動指示処理を行い（Ｓ１００５）、運用時行動選択情報生成指示処理を終了する（Ｓ１００６）。

図２３は、運用時状態取得処理Ｓ１００２の詳細を示すフローチャートである。運用時状態取得部２０は、運用時状態取得処理を開始し（Ｓ１１０１）、対象システム１の現在の状態の取得処理を行い（Ｓ１１０２）、運用時状態取得処理を終了する（Ｓ１１０３）。

図２４は、運用時行動選択処理Ｓ１００３の詳細を示すフローチャートである。運用時行動選択部２１は、運用時行動選択処理を開始し（Ｓ１２０１）、対象システム１の現在の状態に該当する遷移元状態の行を行動則１６Ｂから選択し（Ｓ１２０２）、選択した行に登録された行動を選択し（Ｓ１２０３）、運用時行動選択処理を終了する（Ｓ１２０４）。

図２５は、運用時表示情報生成処理Ｓ１００４の詳細を示すフローチャートである。運用時表示情報生成部２２は、運用時表示情報生成処理を開始し（Ｓ１３０１）、対象システム１の現在の状態、行動後の予想状態、推奨行動の表示データ生成処理を行う（Ｓ１３０２）。対象システム１の現在の状態は、運用時状態取得処理（図２３）で取得された情報である。対象システム１の行動後の予想状態は、運用時行動選択処理（図２３）で選択された行動が行われた場合に遷移すると予測される対象システム１の遷移後状態であり、行動則１６Ｂから取得される。対象システム１の推奨行動は、運用時行動選択処理（図２３）で選択された行動である。

続いて運用時表示情報生成部２２は、現在までの状態推移の表示データ生成処理を行い（Ｓ１３０３）、運用時表示情報生成処理を終了する（Ｓ１３０４）。現在までの時系列の状態推移は、過去から現在までに対象システム１が取ってきた状態の時系列情報である。Ｓ１３０２及びＳ１３０３の各処理で表示データが生成される情報を、総称して運用時表示情報という。

運用時表示情報生成部２２は、Ｓ１３０２及びＳ１３０３で生成された表示データをもとに、対象システム１の現在の状態、推奨行動、予測される遷移後状態、及び、対象システム１が現在までに選択した行動の時系列情報の各運用時表示情報を表示指示部４に表示させる。

図２６は、運用時行動指示処理Ｓ１００５の詳細を示すフローチャートである。運用時行動指示部２３は、運用時行動指示処理を開始し（Ｓ１４０１）、利用者によって表示指示部４などを介して選択された、あるいは運用時行動選択処理（図２４）で自動選択された行動を対象システム１に指示し（Ｓ１４０２）、運用時行動指示処理を終了する（Ｓ１４０４）。

例えば、図１３に示す迷路の例で、現在の状態がｓ６の場合は、Ｓ１１０２でデータベース７から現在の状態がｓ６であるとの情報が取得されると、Ｓ１２０２で現在の状態ｓ６が遷移元状態の行としてＮｏ６の行が行動則１６Ｂ（図１６Ｂ）から選択される。そして、Ｓ１２０３でＮｏ６の行に登録された行動として「下に進む」が選択される。Ｓ１３０２では、現在の状態がｓ６、「下に進む」場合の行動後の予想状態がｓ８、推奨行動が「下に進む」の表示データ生成処理が行われる。Ｓ１３０３では、例えば、スタート状態のｓ１から現在の状態であるｓ６までの推移（ｓ１→ｓ２→ｓ３→ｓ６）の表示データ生成処理が行われる。

また、Ｓ１４０２では、利用者によって選択された、あるいは運用時行動選択処理（図２４）で自動選択された行動が対象システムに指示される。表示指示部４で利用者によって行動が選択された場合は、制御部２により運用時行動指示部２３が起動され、選択された行動を対象システム１に指示する。

図２７は、運用時表示情報生成処理Ｓ１００４で生成される運用時表示データＤ２７の表示画面例を示す図である。図２７は、利用者によって運用表示メニュー４ｅが選択され、ガイダンスメニュー４ｆが選択された場合に、表示指示部４に表示される運用時表示画面４Ｂの表示例を示している。

選択ボタン４ｈは、利用者が、運用時表示画面４Ｂに提示された推奨行動を選択する場合に押下される。行動入力ボタン４ｉは、利用者が提示された推奨行動を選択せず、上、下、左、右の任意の方向への行動を入力して指示する場合に選択可能としている。なお、「上、下、左、右」は、行動則１６Ｂ（図１６Ｂ）に含まれる「上」「下」「左」「右」の４種類の行動にそれぞれ対応する。行動入力ボタン４ｉによって入力指示可能な行動は、行動則に含まれる各行動に応じて決まる。これにより、利用者は、自らの意思に基づいて対象システム１を制御することもできる。

また、利用者によって自動メニュー４ｇが選択された場合には、行動選択システムＳが提示する推奨行動が自動的に選択され、対象システム１に対して自動的に指示されることで、対象システム１の行動が自動制御される。

状態の推移表示４ｊは、Ｓ１３０３で生成された表示データに基づいて、スタート状態から現在の状態まで、対象システム１が取った状態の推移を、時間軸とともに示す時系列情報である。これにより、利用者は、対象システム１が各状態を取った時刻や、各状態を取ってからの時間経過を把握することができる。

本実施形態では、生産ラインやプラント、ロボットなどの対象システム１の制御や行動の規則を自動的に獲得する行動選択システムＳにおいて、収集した実績データに基づいて事前の行動選択情報を生成する。そして、事前の行動選択情報と運用時のデータに基づいて運用時の行動選択情報を生成する。行動選択システムＳは、システムにより自動選択された運用時の行動選択情報の提示、利用者による行動の選択あるいは自動選択された運用時の行動選択情報に基づいて自動的な行動の指示を行う。

よって、本実施形態によれば、対象システム１の挙動を模擬するシミュレータが無い場合でも適用可能とし、かつ、試行錯誤過程を不要とし、対象システム１の制御や行動の規則を獲得し、対象システム１に対して、現在の状態から最適な行動を選択して指示する行動指示を自動的に行うことができる。

また、試行錯誤過程が不要となるため、対象システム１の制御や行動の規則を示す最適パラメータを、メモリ等の計算機資源を圧迫することなく高速処理かつ高精度に求めることができる。また、高精度の最適パラメータに基づいて対象システム１の制御や行動選択を精度よく効率的に行うことができる。

また、行動選択の対象システム１の行動選択を示す最適パラメータを、最適パラメータ算出するセグメントに分割することなく算出できるので、最適パラメータの精度とパラメータ算出処理の高速化との両立を図ることができる。

本発明は上記実施形態に限定されるものではなく、様々な変形例を含む。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、矛盾しない限りにおいて、ある実施形態の構成の一部を他の実施形態の構成で置き換え、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、構成の追加、削除、置換、統合、又は分散をすることが可能である。また実施形態で示した構成及び処理は、処理効率又は実装効率に基づいて適宜分散、統合、又は入れ替えることが可能である。

１…対象システム、２…制御部、３…行動選択部、４…表示指示部、５…事前行動選択情報生成部、６…データ収集部、７…データベース、８…運用時行動選択情報生成指示部、１０…事前行動頻度情報生成部、１１…事前遷移確率生成部、１２…事前行動則生成部、１３…事前表示情報生成部、２０…運用時状態取得部、２１…運用時行動選択部、２２…運用時表示情報生成部、２３…運用時行動指示部

Claims (12)

1. 対象システムの遷移元状態と、前記対象システムの行動と、該行動により該遷移元状態から遷移した前記対象システムの遷移後状態と、を対応付けた時系列の実績データを前記対象システムから収集するデータ収集部と、
   前記対象システムの現在の状態を前記遷移元状態とし、前記実績データから、該遷移元状態と、該遷移元状態において前記対象システムが取るべき行動と、該行動により前記対象システムが該遷移元状態から遷移すると予測される前記遷移後状態と、を対応付けた行動則を生成する事前行動選択情報生成部とを有し、
   前記事前行動選択情報生成部は、
   前記実績データにおいて前記遷移元状態と前記行動と前記遷移後状態の全てが一致するレコード毎に頻度を算出し、該遷移元状態と該行動と該遷移後状態と該頻度とを対応付けた行動頻度情報を生成する行動頻度情報生成部と、
   前記行動頻度情報において異なる前記行動により同一の前記遷移元状態から異なる前記遷移後状態に遷移するそれぞれの遷移確率を各頻度に基づいて算出し、該遷移元状態と該行動と該遷移後状態と該遷移確率とを対応付けた遷移確率情報を生成する遷移確率生成部と、
   前記遷移確率情報に基づいて、前記遷移元状態から該遷移元状態と接続する前記遷移後状態のうちで状態価値が最も高い前記遷移後状態へ遷移する場合の前記行動と該遷移元状態と該遷移後状態とを対応付けた前記行動則を生成する行動則生成部と
   を有することを特徴とする行動選択システム。
2. 請求項１に記載の行動選択システムにおいて、
   前記事前行動選択情報生成部は、
   前記遷移確率情報及び前記行動則を表示するための表示データを生成し、該表示データをもとに前記遷移確率情報及び前記行動則を表示部に表示させる事前表示情報生成部
   をさらに有することを特徴とする行動選択システム。
3. 請求項１に記載の行動選択システムにおいて、
   前記対象システムの現在の状態と前記行動則に基づいて、該現在の状態に対応する前記対象システムが取るべき前記行動を推奨行動として選択する運用時行動選択情報生成部
   をさらに有することを特徴とする行動選択システム。
4. 請求項３に記載の行動選択システムにおいて、
   前記運用時行動選択情報生成部は、
   前記推奨行動を選択する行動選択部と、
   前記行動選択部によって選択された前記推奨行動を前記対象システムに対して指示する行動指示部と
   を有することを特徴とする行動選択システム。
5. 請求項４に記載の行動選択システムにおいて、
   前記運用時行動選択情報生成部は、
   前記対象システムの現在の状態と前記推奨行動と前記予測される遷移後状態を表示するための表示データを生成し、該表示データをもとに、前記対象システムの現在の状態と前記推奨行動と前記予測される遷移後状態を表示部に表示させる運用時表示情報生成部
   をさらに有することを特徴とする行動選択システム。
6. 請求項５に記載の行動選択システムにおいて、
   前記運用時表示情報生成部は、
   前記対象システムの現在の状態から取るべき行動の入力を受け付ける入力手段を前記表示部に表示させるためのデータを含んだ前記表示データを生成し、
   前記行動指示部は、
   前記表示データをもとに前記表示部に表示された前記入力手段を介して前記取るべき行動の入力を受け付けた場合に、前記推奨行動に代えて、該取るべき行動を前記対象システムに対して指示する
   ことを特徴とする行動選択システム。
7. 請求項５に記載の行動選択システムにおいて、
   前記運用時表示情報生成部は、
   前記対象システムが選択した行動の時系列情報を前記表示部に表示させるためのデータを含んだ前記表示データを生成し、前記表示データをもとに、該時系列情報を前記表示部に表示させる
   ことを特徴とする行動選択システム。
8. 行動選択システムが行う行動選択方法であって、
   対象システムの遷移元状態と、前記対象システムの行動と、該行動により該遷移元状態から遷移した前記対象システムの遷移後状態と、を対応付けた時系列の実績データを前記対象システムから収集するデータ収集ステップと、
   前記対象システムの現在の状態を前記遷移元状態とし、前記実績データから、該遷移元状態と、該遷移元状態において前記対象システムが取るべき行動と、該行動により前記対象システムが該遷移元状態から遷移すると予測される前記遷移後状態と、を対応付けた行動則を生成する事前行動選択情報生成ステップと
   を有し、
   前記事前行動選択情報生成ステップでは、
   前記実績データにおいて前記遷移元状態と前記行動と前記遷移後状態の全てが一致するレコード毎に頻度を算出し、該遷移元状態と該行動と該遷移後状態と該頻度とを対応付けた行動頻度情報を生成する行動頻度情報生成ステップと、
   前記行動頻度情報において異なる前記行動により同一の前記遷移元状態から異なる前記遷移後状態に遷移するそれぞれの遷移確率を各頻度に基づいて算出し、該遷移元状態と該行動と該遷移後状態と該遷移確率とを対応付けた遷移確率情報を生成する遷移確率生成ステップと、
   前記遷移確率情報に基づいて、前記遷移元状態から該遷移元状態と接続する前記遷移後状態のうちで状態価値が最も高い前記遷移後状態へ遷移する場合の前記行動と該遷移元状態と該遷移後状態とを対応付けた前記行動則を生成する行動則生成ステップと
   を有することを特徴とする行動選択方法。
9. 請求項８に記載の行動選択方法において、
   前記対象システムの現在の状態と前記行動則に基づいて、該現在の状態に対応する前記対象システムが取るべき前記行動を推奨行動として選択する運用時行動選択情報生成ステップ
   をさらに有することを特徴とする行動選択方法。
10. 請求項９に記載の行動選択方法において、
    前記運用時行動選択情報生成ステップは、
    前記推奨行動を選択する行動選択ステップと、
    前記行動選択ステップによって選択された前記推奨行動を前記対象システムに対して指示する行動指示ステップと
    を有することを特徴とする行動選択方法。
11. 請求項１０に記載の行動選択方法において、
    前記運用時行動選択情報生成ステップは、
    前記対象システムの現在の状態と前記推奨行動と前記予測される遷移後状態を表示するための表示データを生成し、該表示データをもとに、前記対象システムの現在の状態と前記推奨行動と前記予測される遷移後状態を表示部に表示させる運用時表示情報生成ステップ
    をさらに有することを特徴とする行動選択方法。
12. 請求項１１に記載の行動選択方法において、
    前記運用時表示情報生成ステップは、
    前記対象システムの現在の状態から取るべき行動の入力を受け付ける入力手段を前記表示部に表示させるためのデータを含んだ前記表示データを生成し、
    前記行動指示ステップは、
    前記表示データをもとに前記表示部に表示された前記入力手段を介して前記取るべき行動の入力を受け付けた場合に、前記推奨行動に代えて、該取るべき行動を前記対象システムに対して指示する
    ことを特徴とする行動選択方法。

Images