JP7464115B2 - 学習装置、学習方法および学習プログラム - Google Patents

Description

本発明は、ユーザの意思を反映した学習を行う学習装置、学習方法および学習プログラムに関する。

ＡＩ（Artificial Intelligence ）技術の進歩により、熟練技術が必要な業務についても自動化が進められている。ＡＩによる自動化には、予測や最適化に用いられる目的関数を適切に設定する必要がある。そこで、目的関数の定式化を簡素化する方法が各種提案されている。

定式化を簡素にする方法の一つとして、逆強化学習が知られている。逆強化学習は、熟練者が行った意思決定の履歴に基づいて、状態ごとに行動を評価する目的関数（報酬関数）を推定する学習方法である。逆強化学習では、意思決定の履歴を熟練者のものへ近づけるように報酬関数を更新していくことで、熟練者の報酬関数を推定する。

非特許文献１には、逆強化学習の一つである最大エントロピー逆強化学習について記載されている。非特許文献１に記載された方法では、熟練者のデータＤ＝｛τ_１，τ_２，…τ_Ｎ｝（ただし、τ_ｉ＝（（ｓ_１，ａ_１），（ｓ_２，ａ_２），…，（ｓ_Ｎ，ａ_Ｎ））であり、ｓ_ｉは状態を表わし、ａ_ｉは行動を表わす。）からただ１つの報酬関数Ｒ（ｓ，ａ，ｓ´）＝θ・ｆ（ｓ，ａ，ｓ´）を推定する。この推定されたθを用いることで、熟練者の意思決定を再現できる。

なお、非特許文献２および非特許文献３には、順位付けされたデータを用いた学習方法が記載されている。

B. D. Ziebart, A. Maas, J. A. Bagnell, and A. K. Dey, "Maximum entropy inverse reinforcement learning", In AAAI, AAAI’08, 2008. Brown, Daniel S., et al., "Extrapolating beyond suboptimal demonstrations via inverse reinforcement learning from observations", Proceedings of the 36th International Conference on Machine Learning, PMLR 97:783-792, 2019. Castro, Pablo Samuel, Shijian Li, and Daqing Zhang., "Inverse Reinforcement Learning with Multiple Ranked Experts", arXiv preprint arXiv:1907.13411, 2019.

熟練者の意思決定を再現するためには、多くの意思決定履歴データを用いて目的関数を学習することが好ましい。一方、その時代の流行や社会課題、客層の変化などにより、業務における重要指標や最適性が変化することも多い。このような場合、非特許文献１に記載されたような逆強化学習や逆最適化により学習した目的関数も、その時代にあった真の目的関数とずれてしまう可能性がある。そのため、時代に即した意思決定履歴データを用いて、その都度目的関数を学習することが望まれる。

しかし、目的関数を再学習するにしても、常に意思決定履歴データを収集できるとは限らないため、時代に即したユーザの意思を適切に反映した目的関数を学習することは容易ではない。例えば、発生頻度が少ない意思決定に関するデータの収集は困難と言えるからである。

そこで、本発明は、ユーザの意思を反映した目的関数を学習できる学習装置、学習方法および学習プログラムを提供することを目的とする。

本発明による学習装置は、対象の変更実績を示す意思決定履歴データに基づく逆強化学習で予め生成された一つまたは複数の目的関数を用いた第一の対象に対する最適化結果である第二の対象を複数出力する対象出力手段と、出力された複数の第二の対象に対するユーザからの選択指示を受け付ける選択受付手段と、第一の対象から、受け付けた第二の対象への変更実績を意思決定履歴データとして出力するデータ出力手段と、意思決定履歴データを用いて目的関数を学習する学習手段とを備えたことを特徴とする。

本発明による学習方法は、コンピュータが、対象の変更実績を示す意思決定履歴データに基づく逆強化学習で予め生成された一つまたは複数の目的関数を用いた第一の対象に対する最適化結果である第二の対象を複数出力し、コンピュータが、出力された複数の第二の対象に対するユーザからの選択指示を受け付け、コンピュータが、第一の対象から、受け付けた第二の対象への変更実績を意思決定履歴データとして出力し、コンピュータが、意思決定履歴データを用いて目的関数を学習することを特徴とする。

本発明による学習プログラムは、コンピュータに、対象の変更実績を示す意思決定履歴データに基づく逆強化学習で予め生成された一つまたは複数の目的関数を用いた第一の対象に対する最適化結果である第二の対象を複数出力する対象出力処理、出力された複数の第二の対象に対するユーザからの選択指示を受け付ける選択受付処理、第一の対象から、受け付けた第二の対象への変更実績を意思決定履歴データとして出力するデータ出力処理、および、意思決定履歴データを用いて目的関数を学習する学習処理を実行させることを特徴とする。

本発明によれば、ユーザの意思を反映した目的関数を学習できる。

本発明による学習装置の第一の実施形態の構成例を示すブロック図である。 対象を変更する処理の例を示す説明図である。 第一の実施形態の学習装置の動作例を示すフローチャートである。 本発明による学習装置の第二の実施形態の構成例を示すブロック図である。 意思決定履歴データの例を示す説明図である。 ユーザからの選択指示を受け付ける処理の例を示す説明図である。 第二の実施形態の学習装置の動作例を示すフローチャートである。 第二の実施形態の学習装置の変形例を示すブロック図である。 本発明による学習装置の概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明による学習装置の第一の実施形態の構成例を示すブロック図である。本実施形態の学習装置は、変更する対象（以下、単に対象と記すこともある。）の変更実績を示す意思決定履歴データに基づいて逆強化学習を行う学習装置である。

以下の説明では、列車や航空機などのダイヤグラム（以下、運行ダイヤと記す。）を対象とし、運行ダイヤに対する変更実績を意思決定履歴データとして例示する。ただし、本実施形態で想定する対象は、運行ダイヤに限定されず、例えば、店舗の発注情報や、車両が備える各種装置の制御情報などであってもよい。

本実施形態の学習装置１００は、記憶部１０と、入力部２０と、第一出力部３０と、変更指示受付部４０と、第二出力部５０と、データ出力部６０と、学習部７０とを備えている。

記憶部１０は、本実施形態の学習装置１００が処理に用いるパラメータや各種情報などを記憶する。また、本実施形態の記憶部１０は、対象の変更実績を示す意思決定履歴データに基づく逆強化学習で予め生成された目的関数を記憶する。また、記憶部１０は、意思決定履歴データそのものを記憶していてもよい。

入力部２０は、変更する対象（すなわち、対象）の入力を受け付ける。例えば、運行ダイヤを対象とした場合、入力部２０は、変更の対象とする運行ダイヤの入力を受け付ける。なお、入力部２０は、例えば、ユーザ等の指示に応じて、記憶部１０に記憶されている対象を取得してもよい。

第一出力部３０は、入力部２０が受け付けた変更の対象（以下、第一の対象と記す。）に対する上記目的関数を用いた最適化結果（以下、第二の対象と記す。）を出力する。なお、第一出力部３０は、最適化処理に用いた目的関数を合わせて出力してもよい。

図２は、第一出力部３０が対象を変更する処理の例を示す説明図である。図２に例示する対象は運行ダイヤであり、第一出力部３０による最適化処理の結果、変更の対象である運行ダイヤＤ１が、運行ダイヤＤ２に変更されたことを示す。なお、図２に示す例では、変更箇所を点線で示している。

変更指示受付部４０は、第二の対象を出力する。変更指示受付部４０は、例えば、第二の対象を表示装置（図示せず）に表示してもよい。そして、変更指示受付部４０は、出力した第二の対象に関する変更指示をユーザから受け付ける。なお、変更指示を行うユーザとは、例えば、対象の分野の熟練者である。

第二の対象を変更するために必要な情報であれば、変更指示の内容は任意である。以下、変更指示の具体例を説明する。本実施形態では、三種類の変更指示の態様を説明する。第一の態様は、出力された第二の対象に対する直接的な変更指示である。例えば、対象が運行ダイヤの場合、第一の態様による変更指示は、例えば、運行時刻の変更や運行便の変更などが挙げられる。

第二の態様は、第一の対象を変更する際に用いられた目的関数に対する変更指示である。ここで、目的関数が線形式で表わされる場合を想定すると、第二の態様による変更指示は、目的関数に含まれる説明変数の重みを変更する指示である。目的変数が線形式で表わされる場合、各説明変数の重みは、その説明変数を重要視する度合いを示すものである。そのため、目的変数に含まれる説明変数の重みの変更指示は、対象を変更する観点を修正する指示であると言える。

変更指示受付部４０は、変更する説明変数の値の指定を受け付けてもよく、現在の説明変数に対する変更度合い（例えば、倍率等）の指定を受け付けてもよい。

第三の態様も、第一の対象を変更する際に用いられた目的関数に対する変更指示である。第三の態様による変更指示は、目的関数に説明変数を追加する指示である。説明変数の追加は、当初想定していなかった特徴量を考慮すべき要素として加える指示であると言える。特徴量（説明変数）の選別や作成等は、予めユーザ（運用者）によって行われる。

以下、新規の特徴量（説明変数）を目的関数へ反映する具体的方法を説明する。本実施形態では、変更前の特徴量ベクトルをφ_０（ｘ）とする。ここで、ｘは、最適化を行うときの対象の状態を表わし、各特徴量は、状態ｘによって変化する最適指標とみなすことができる。また、最適化に用いられる目的関数が、Ｊ_０（ｘ）＝θ_０・φ_０（ｘ）の形式で表わされるものとする。

また、新規に追加される特徴ベクトルをφ_１（ｘ）とする。ここで、φ（ｘ）≡（φ_０（ｘ），φ_１（ｘ））およびθ≡（θ_０，θ_１）を定義する。このとき、新たな目的関数は、Ｊ＝θ・φ（ｘ）と定義される。

第二出力部５０は、ユーザから受け付けた第二の対象に関する変更指示に基づいて、その第二の対象をさらに変更した結果の対象（以下、第三の対象）を出力する。すなわち、第二出力部５０は、受け付けた変更指示に応じた結果を出力する。

例えば、上記第一の態様による変更指示（すなわち、第二の対象に対する直接的な変更指示）をユーザから受け付けたとする。この場合、第二出力部５０は、受け付けた変更指示に基づく結果の対象そのものを第三の対象として出力する。

また、上記第二の態様による変更指示（すなわち、線形式で表わされた目的関数に含まれる説明変数の重みに対する変更指示）をユーザから受け付けたとする。この場合、第二出力部５０は、変更された目的関数を用いた最適化により、第二の対象を変更した結果として第三の対象を出力する。

また、上記第三の態様による変更指示（すなわち、目的関数に新たな説明変数を追加する変更指示）をユーザから受け付けたとする。この場合、第二出力部５０は、変更された目的関数を用いた最適化により、第二の対象を変更した結果として第三の対象を出力する。

データ出力部６０は、第二の対象から第三の対象への変更実績を意思決定履歴データとして出力する。具体的には、データ出力部６０は、目的関数の学習に用いることができる態様で意思決定履歴データを出力すればよい。また、データ出力部６０は、例えば、意思決定履歴データを記憶部１０に記憶させてもよい。以下の説明では、データ出力部６０が出力したデータのことを、再学習用データと記すこともある。

学習部７０は、出力された意思決定履歴データを用いて目的関数を学習する。具体的には、学習部７０は、出力された意思決定履歴データを用いて、第一の対象を変更する際に用いられた目的関数を再学習する。

なお、第一の態様による変更指示および第二の態様による変更指示では、目的変数に含まれる説明変数（特徴量）の種類自体に変更はないため、学習部７０は、既存の目的関数について行った学習と同様の方法で再学習すればよい。

一方、第三の態様による変更指示の場合、学習部７０は、追加された説明変数を含む目的関数について再学習を行う。例えば、変更前の目的関数（すなわち、新規特徴量を追加する前の目的関数）は、一度はその目的関数を用いて運用が行われていたことから、真の目的関数に近いと想定される。

そこで、学習部７０は、上述の具体例において、再学習の際のθをθ＝（θ_０，０）（すなわち、θ_１＝０）として初期推定し、逆強化学習アルゴリズムに基づいて再学習を行ってもよい。初期推定が真のθに近いため、このように推定することで、計算時間を短縮することが可能になる。ただし、初期推定の方法は、上記の方法に限定されない。

入力部２０と、第一出力部３０と、変更指示受付部４０と、第二出力部５０と、データ出力部６０と、学習部７０とは、プログラム（学習プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit））によって実現される。

例えば、プログラムは、記憶部１０に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部２０、第一出力部３０、変更指示受付部４０、第二出力部５０、データ出力部６０および学習部７０として動作してもよい。また、入力部２０、第一出力部３０、変更指示受付部４０、第二出力部５０、データ出力部６０および学習部７０の各機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

また、入力部２０と、第一出力部３０と、変更指示受付部４０と、第二出力部５０と、データ出力部６０と、学習部７０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

また、入力部２０、第一出力部３０、変更指示受付部４０、第二出力部５０、データ出力部６０および学習部７０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

なお、第一出力部３０が変更する対象を出力し、変更指示受付部４０が出力した対象に対する変更指示を受け付け、第二出力部５０が変更指示に基づいて変更後の対象を出力し、データ出力部６０が変更実績を意思決定履歴データとして出力することで、新たな意思決定履歴データ（再学習用データ）が生成される。そのため、第一出力部３０と、変更指示受付部４０と、第二出力部５０と、データ出力部６０とを含む装置１１０を、データ生成装置と言うことができる。

この場合、第一出力部３０と、変更指示受付部４０と、第二出力部５０と、データ出力部６０とは、プログラム（データ生成プログラム）に従って動作するコンピュータのプロセッサによって実現されてもよい。

次に、本実施形態の学習装置１００の動作を説明する。図３は、本実施形態の学習装置１００の動作例を示すフローチャートである。入力部２０は、変更する対象の入力を受け付ける（ステップＳ１１）。第一出力部３０は、目的関数を用いた第一の対象に対する最適化結果である第二の対象を出力する（ステップＳ１２）。変更指示受付部４０は、第二の対象に関する変更指示を受け付ける（ステップＳ１３）。第二出力部５０は、ユーザから受け付けた第二の対象に関する変更指示に基づいて第三の対象を出力する（ステップＳ１４）。データ出力部６０は、第二の対象から第三の対象への変更実績を意思決定履歴データとして出力する（ステップＳ１５）。そして、学習部７０は、出力された意思決定履歴データを用いて目的関数を学習する（ステップＳ１６）。

以上のように、本実施形態では、第一出力部３０が目的関数を用いた第一の対象に対する最適化結果である第二の対象を出力し、第二出力部５０が、ユーザから受け付けた第二の対象に関する変更指示に基づいて第三の対象を出力する。そして、データ出力部６０が、第二の対象から第三の対象への変更実績を意思決定履歴データとして出力し、学習部７０が、出力された意思決定履歴データを用いて目的関数を学習する。よって、ユーザの意思を反映した目的関数を学習できる。

実施形態２．
次に、本発明の学習装置の第二の実施形態を説明する。第二の実施形態の学習装置も、変更する対象の変更実績を示す意思決定履歴データに基づいて逆強化学習を行う学習装置である。

図４は、本発明による学習装置の第二の実施形態の構成例を示すブロック図である。本実施形態の学習装置２００は、記憶部１１と、入力部２１と、対象出力部３１と、選択受付部４１と、データ出力部６１と、学習部７１とを備えている。

記憶部１１は、本実施形態の学習装置２００が処理に用いるパラメータや各種情報などを記憶する。また、本実施形態の記憶部１１は、対象の変更実績を示す意思決定履歴データに基づく逆強化学習で予め生成された複数の目的関数を記憶する。また、記憶部１１は、意思決定履歴データそのものを記憶していてもよい。

入力部２１は、変更する対象（すなわち、第一の対象）の入力を受け付ける。第一の実施形態と同様、例えば、運行ダイヤを対象とした場合、入力部２１は、変更の対象とする運行ダイヤの入力を受け付ける。なお、入力部２１は、例えば、ユーザ等の指示に応じて、記憶部１１に記憶されている対象を取得してもよい。

また、入力部２１は、記憶部１１から意思決定履歴データを取得し、対象出力部３１に入力してもよい。なお、意思決定履歴データが外部装置（図示せず）に記憶されている場合、入力部２１は、通信回線を介して外部装置から意思決定履歴データを取得してもよい。

対象出力部３１は、記憶部１１に記憶された一つまたは複数の目的関数を用いた第一の対象に対する最適化結果（第二の対象）を複数出力する。すなわち、対象出力部３１は、一つまたは複数の目的関数を用いた最適化により、第一の対象を変更した結果の対象を示す第二の対象を複数出力する。

対象出力部３１が最適化に用いる目的関数を選択する方法は任意である。ただし、対象出力部３１は、意思決定履歴データが示すユーザの意図をより反映した目的関数を優先的に選択することが好ましい。

ここで、φ（ｘ）を目的関数を構成する特徴量（すなわち、最適化指標）とし、ｘを状態または１つの候補解とする。そして、逆強化学習における推定対象をθとした場合、目的関数Ｊは、Ｊ（θ，ｘ）＝ｆ（θ，φ（ｘ））と表わすことができる。そして、対象出力部３１は、事前に蓄積された意思決定履歴データＤ（すなわち、入力された意思決定履歴データ）を用いて、尤度Ｌ（Ｄ｜θ）を算出してもよい。なお、この尤度は、推定対象がθの場合における意思決定履歴データＤの尤もらしさ（確率）を示す値と言える。

例えば、修正ダイヤをｘとし、運行ダイヤの定数パラメータ値の組をｙとしたときの特徴量ベクトルをφ_ｙ（ｘ）と記す。また、意思決定履歴データＤは、Ｄ＝｛（ｘ_１，ｙ_１），（ｘ_２，ｙ_２），…｝と表わすことができる。図５は、意思決定履歴データの例を示す説明図である。図５に例示する意思決定履歴データは、列車の運行ダイヤの履歴データであり、各列車の各駅における計画と実績とを対応付けたデータの例である。

ここで、最大エントロピー逆強化学習の枠組みにおいて、対象出力部３１は、尤度Ｌ（Ｄ｜θ）を、以下に例示する式１に基づいて算出してもよい。式１において、｜Ｄ｜は、意思決定履歴データの数であり、Ｘ_ｙは、定刻ダイヤｙのもと、実現可能な修正ダイヤｘの取り得る空間である。

なお、本実施形態で用いられる目的関数の態様は任意である。目的関数が、ｆ（θ，φ（ｘ））＝θ・φ（ｘ）のように、θに関する線形式で表わされていてもよく、入力をφ（ｘ）とし、出力を目的関数値とするディープニューラルネットワークで表わされていてもよい。なお、目的関数がディープニューラルネットワークで表わされている場合、θは、ニューラルネットワークのハイパーパラメータに対応する。いずれの場合も、θは、意思決定履歴データが示すユーザの意図を反映した値であるといえる。

そこで、対象出力部３１は、上述する尤度Ｌ（Ｄ｜θ）がより大きい目的関数を所定の数（例えば、２つなど）選択し、選択された目的関数を用いた最適化により、第一の対象を変更した第二の対象をそれぞれ出力してもよい。ただし、目的関数を選択する数は２つに限られず、３つ以上であってもよい。

なお、出力する第二の対象が似たような内容にならないように（すなわち、バラエティに富むように）するため、対象出力部３１は、目的関数をランダムに選択して第二の対象を出力してもよい。さらに、逆強化学習で推定するθが尤度Ｌ（Ｄ｜θ）を最大化する値であることから、対象出力部３１は、∂Ｌ（Ｄ｜θ）／∂θ＝０（極大条件：θ微分が０）になるθのうち、尤度Ｄが高い上位Ｎ個のθ（すなわち、目的関数）を選択してもよい。

また、例えば、再学習前に推定されていた目的関数が、再学習時の真の目的関数と近いと仮定できるとする。この場合、対象出力部３１は、最初の学習時に使用していた意思決定履歴データＤ_ｐｒｅｖ、または、Ｄ_ｐｒｅｖに再学習用データを加えた意思決定履歴データＤ_ａを用いて尤度を計算してもよい。なお、ここで加えられる再学習用データには、後述するデータ出力部６１により出力されたデータの他、第一の実施形態においてデータ出力部６０が出力するような意思決定履歴データが含まれていても良い。そして、対象出力部３１は、計算した尤度の値がある閾値以下の目的関数を、選択対象から除外してもよい。このようにすることで、再学習用データが少ないことによる見当違いなθを探索するコストを低減できるため、効率的に再学習することが可能になる。

選択受付部４１は、出力された複数の第二の対象に対するユーザからの選択指示を受け付ける。なお、選択指示を行うユーザとは、例えば、対象の分野の熟練者である。例えば、対象が運行ダイヤの場合、選択受付部４１は、変更された複数の運行ダイヤの中から、ユーザによる選択指示を受け付ける。図６は、第二の対象に対するユーザからの選択指示を受け付ける処理の例を示す説明図である。図６に示す例は、対象出力部３１が異なる目的関数を用いて変更後の運行ダイヤＡ案と運行ダイヤＢ案を出力した後、選択受付部４１がユーザからＢ案の選択指示を受け付けたことを示す。

データ出力部６１は、変更前の第一の対象から、選択受付部４１が受け付けた第二の対象への変更実績を意思決定履歴データとして出力する。具体的には、データ出力部６１は、第一の実施形態と同様、目的関数の学習に用いることができる態様で意思決定履歴データを出力すればよい。また、データ出力部６１は、例えば、意思決定履歴データを記憶部１１に記憶させてもよい。また、第一の実施形態と同様、データ出力部６１が出力したデータのことを、再学習用データと記すこともある。

学習部７１は、出力された意思決定履歴データを用いて、候補になる１つまたは複数の目的関数を学習（再学習）する。学習部７１は、候補となる各目的関数の下での最適解（最適化結果）のうち、予め定めた閾値よりも尤度の高い解を選択し、選択されたの解を含む意思決定履歴データを追加して再学習を行ってもよい。また、学習部７１は、一部の目的関数について再学習を行ってもよく、すべての目的関数について再学習を行ってもよい。例えば、一部の目的関数について再学習を行う場合、学習部７１は、所定の基準を満たす（例えば、尤度が閾値を超えるθ）目的関数についてのみ再学習を行ってもよい。また、学習部７１は、再学習用データが十分溜まった後で、通常の逆強化学習と同様に目的関数を学習すればよい。

なお、初期段階では、対象出力部３１により出力されるデータ（すなわち、ユーザに提示されるデータ）が、どれも真の目的関数から外れた目的関数を用いて出力されたデータであることも考えられる。しかし、ユーザによって、より好ましいデータ（最もマシなデータ）が選択され、再学習用データが追加されていく。そのため、推定精度は徐々に向上することになり、次のタイミングは、より真に近い目的関数により生成されたデータが選ばれるようになる。これを繰り返すことで、真の目的関数に近い目的関数で生成されたデータの割合が増えていくため、最終的には、生成された再学習用データにより、高精度な意図学習が可能になる。

また、複数のデータの中から熟練者の選択したデータは、他のデータよりも、真の目的関数に近い目的関数で生成されたデータであると言える。そこで、学習部７１は、真の目的関数から生成されたデータに近い順に順位付けされたデータを用いて目的関数を学習してもよい。この場合、学習部７１は、順位付けされたデータを用いた学習方法として、例えば、非特許文献２に記載された方法や、非特許文献３に記載された方法を用いてもよい。

入力部２１と、対象出力部３１と、選択受付部４１と、データ出力部６１と、学習部７１とは、プログラム（学習プログラム）に従って動作するコンピュータのプロセッサによって実現される。第一の実施形態と同様、例えば、プログラムは、記憶部１１に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部２１、対象出力部３１、選択受付部４１、データ出力部６１および学習部７１として動作してもよい。

また、対象出力部３１が変更する対象を出力し、選択受付部４１が出力した対象に対する選択指示を受け付け、データ出力部６１が変更実績を意思決定履歴データとして出力することで、新たな意思決定履歴データ（再学習用データ）が生成される。そのため、対象出力部３１と、選択受付部４１と、データ出力部６１とを含む装置２１０を、データ生成装置と言うことができる。

次に、本実施形態の学習装置２００の動作を説明する。図７は、本実施形態の学習装置２００の動作例を示すフローチャートである。対象出力部３１は、一つまたは複数の目的関数を用いた第一の対象の最適化結果である第二の対象を複数出力する（ステップＳ２１）。選択受付部４１は、出力された複数の第二の対象に対するユーザからの選択指示を受け付ける（ステップＳ２２）。データ出力部６１は、第一の対象から、受け付けた第二の対象への変更実績を意思決定履歴データとして出力する（ステップＳ２３）。そして、学習部７１は、出力された意思決定履歴データを用いて目的関数を学習する（ステップＳ２４）。

以上のように、本実施形態では、対象出力部３１が、一つまたは複数の目的関数を用いた第一の対象の最適化結果である第二の対象を複数出力し、選択受付部４１が、出力された複数の第二の対象に対するユーザからの選択指示を受け付ける。そして、データ出力部６１が、第一の対象から、受け付けた第二の対象への変更実績を意思決定履歴データとして出力し、学習部７１が、出力された意思決定履歴データを用いて目的関数を学習する。そのような構成によっても、ユーザの意思を反映した目的関数を学習できる。

次に、本実施形態の学習装置の変形例を説明する。第二の実施形態では、選択された第二の対象への変更実績を意思決定履歴データとして出力する場合について説明した。本変形例では、選択された第二の対象に関する変更指示をユーザから受け付けて再学習用データを生成する方法を説明する。

図８は、第二の実施形態の学習装置の変形例を示すブロック図である。本変形例の学習装置３００は、記憶部１１と、入力部２１と、対象出力部３１と、選択受付部４１と、変更指示受付部４０と、第二出力部５０と、データ出力部６０と、学習部７１とを備えている。すなわち、本変形例の学習装置２００は、第二の実施形態の学習装置３００と比較し、データ出力部６１に変えて、第一の実施形態の変更指示受付部４０、第二出力部５０およびデータ出力部６０を備えている点において異なる。それ以外の構成については、第二の実施形態と同様である。

変更指示受付部４０は、選択された第二の対象に関する変更指示をユーザから受け付ける。なお、変更指示の内容は、第一の実施形態と同様である。そして、第二出力部５０は、第一の実施形態と同様、ユーザから受け付けた第二の対象に関する変更指示に基づいて第三の対象を出力し、データ出力部６０は、第二の対象から第三の対象への変更実績を意思決定履歴データとして出力する。

以上のように、本変形例では、第二の実施形態の構成に加え、第二出力部５０が、ユーザから変更指示受付部４０が受け付けた第二の対象に関する変更指示に基づいて第三の対象を出力する。そして、データ出力部６０が、第二の対象から第三の対象への変更実績を意思決定履歴データとして出力する。そのような構成によっても、ユーザの意思を反映した目的関数を学習できる。

次に、本発明の概要を説明する。図９は、本発明による学習装置の概要を示すブロック図である。本発明による学習装置９０（例えば、学習装置２００）は、対象（すなわち、変更の対象。例えば、運行ダイヤ）の変更実績を示す意思決定履歴データに基づく逆強化学習で予め生成された一つまたは複数の目的関数を用いた第一の対象に対する最適化結果である第二の対象を複数出力する対象出力手段９１（例えば、対象出力部３１）と、出力された複数の第二の対象に対するユーザからの選択指示を受け付ける選択受付手段９２（例えば、選択受付部４１）と、第一の対象から、受け付けた第二の対象への変更実績を意思決定履歴データとして出力するデータ出力手段９３（例えば、データ出力部６１）と、意思決定履歴データを用いて目的関数を学習する学習手段９４（例えば、学習部７１）とを備えている。

そのような構成により、ユーザの意思を反映した目的関数を学習できる。

また、対象出力手段９１は、目的関数の学習に用いられるデータから推定される目的関数の尤もらしさを示す尤度（例えば、尤度Ｌ（Ｄ｜θ））に基づいて、複数の目的関数から一つまたは複数の目的関数を選択し、選択した目的関数を用いた最適化により第二の対象を出力してもよい。

具体的には、対象出力手段９１は、予め定めた閾値よりも尤度の低い目的関数を、最適化を行う対象から除外してもよい。そのような構成により、ユーザに効率よく選択してもらうことが可能になる。

また、対象出力手段９１は、パラメータの微分が０になる目的関数のうち、尤度が高い予め定めた上位の目的関数を選択してもよい。そのような構成により、ユーザに提示するデータが偏らないようにすることが可能になる。

また、対象出力手段９１は、データ出力手段９３によって出力された意思決定履歴データをさらに用いて尤度を算出し、算出した尤度に基づいて目的関数を選択してもよい。このようにユーザから選択された意思決定履歴データは、よりユーザの意思を反映したデータであることから、ユーザの意思をより反映した目的関数を学習できるようになる。

また、学習手段９４は、出力された最適化結果のうち、予め定めた閾値よりも尤度の高い解を選択し、選択された解を含む意思決定履歴データを追加して再学習を行ってもよい。

また、学習装置９０（たとえば、学習装置３００）は、ユーザから（例えば、変更指示受付部４０が）受け付けた第二の対象に関する変更指示に基づいて、その第二の対象をさらに変更した結果の対象を示す第三の対象を出力する変更対象出力手段（例えば、第二出力部５０）を備えていてもよい。そして、データ出力手段（例えば、データ出力部６０）は、第二の対象から第三の対象への変更実績を意思決定履歴データとして出力してもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）対象の変更実績を示す意思決定履歴データに基づく逆強化学習で予め生成された一つまたは複数の目的関数を用いた第一の対象に対する最適化結果である第二の対象を複数出力する対象出力手段と、出力された複数の前記第二の対象に対するユーザからの選択指示を受け付ける選択受付手段と、前記第一の対象から、受け付けた前記第二の対象への変更実績を意思決定履歴データとして出力するデータ出力手段と、前記意思決定履歴データを用いて前記目的関数を学習する学習手段とを備えたことを特徴とする学習装置。

（付記２）対象出力手段は、目的関数の学習に用いられるデータから推定される当該目的関数の尤もらしさを示す尤度に基づいて、複数の目的関数から一つまたは複数の目的関数を選択し、選択した目的関数を用いた最適化により第二の対象を出力する付記１記載の学習装置。

（付記３）対象出力手段は、予め定めた閾値よりも尤度の低い目的関数を、最適化を行う対象から除外する付記２記載の学習装置。

（付記４）対象出力手段は、パラメータの微分が０になる目的関数のうち、尤度が高いあらかじめ定めた上位の目的関数を選択する付記２または付記３記載の学習装置。

（付記５）対象出力手段は、データ出力手段によって出力された意思決定履歴データをさらに用いて尤度を算出し、算出した尤度に基づいて目的関数を選択する付記２から付記４のうちのいずれか１つに記載の学習装置。

（付記６）学習手段は、出力された最適化結果のうち、予め定めた閾値よりも尤度の高い解を選択し、選択された解を含む意思決定履歴データを追加して再学習を行う付記１から付記５のうちのいずれか１つに記載の学習装置。

（付記７）ユーザから受け付けた第二の対象に関する変更指示に基づいて、当該第二の対象をさらに変更した結果の対象を示す第三の対象を出力する変更対象出力手段を備え、データ出力手段は、第二の対象から前記第三の対象への変更実績を意思決定履歴データとして出力する付記１から付記６のうちのいずれか１つに記載の学習装置。

（付記８）対象の変更実績を示す意思決定履歴データに基づく逆強化学習で予め生成された一つまたは複数の目的関数を用いた第一の対象に対する最適化結果である第二の対象を複数出力し、出力された複数の前記第二の対象に対するユーザからの選択指示を受け付け、前記第一の対象から、受け付けた前記第二の対象への変更実績を意思決定履歴データとして出力し、前記意思決定履歴データを用いて前記目的関数を学習することを特徴とする学習方法。

（付記９）目的関数の学習に用いられるデータから推定される当該目的関数の尤もらしさを示す尤度に基づいて、複数の目的関数から一つまたは複数の目的関数を選択し、選択した目的関数を用いた最適化により第二の対象を出力する付記８記載の学習方法。

（付記１０）コンピュータに、対象の変更実績を示す意思決定履歴データに基づく逆強化学習で予め生成された一つまたは複数の目的関数を用いた第一の対象に対する最適化結果である第二の対象を複数出力する対象出力処理、出力された複数の前記第二の対象に対するユーザからの選択指示を受け付ける選択受付処理、前記第一の対象から、受け付けた前記第二の対象への変更実績を意思決定履歴データとして出力するデータ出力処理、および、前記意思決定履歴データを用いて前記目的関数を学習する学習処理を実行させるための学習プログラムを記憶するプログラム記憶媒体。

（付記１１）コンピュータに、対象出力処理で、目的関数の学習に用いられるデータから推定される当該目的関数の尤もらしさを示す尤度に基づいて、複数の目的関数から一つまたは複数の目的関数を選択させ、選択された目的関数を用いた最適化により第二の対象を出力させるための学習プログラムを記憶する付記１０記載のプログラム記憶媒体。

（付記１２）コンピュータに、対象の変更実績を示す意思決定履歴データに基づく逆強化学習で予め生成された一つまたは複数の目的関数を用いた第一の対象に対する最適化結果である第二の対象を複数出力する対象出力処理、出力された複数の前記第二の対象に対するユーザからの選択指示を受け付ける選択受付処理、前記第一の対象から、受け付けた前記第二の対象への変更実績を意思決定履歴データとして出力するデータ出力処理、および、前記意思決定履歴データを用いて前記目的関数を学習する学習処理を実行させるための学習プログラム。

（付記１３）コンピュータに、対象出力処理で、目的関数の学習に用いられるデータから推定される当該目的関数の尤もらしさを示す尤度に基づいて、複数の目的関数から一つまたは複数の目的関数を選択させ、選択された目的関数を用いた最適化により第二の対象を出力させる付記１２記載の学習プログラム。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１０，１１ 記憶部
２０，２１ 入力部
３０ 第一出力部
３１ 対象出力部
４０ 変更指示受付部
４１ 選択受付部
５０ 第二出力部
６０，６１ データ出力部
７０，７１ 学習部
１００，２００，３００ 学習装置

Claims (10)

1. 対象の変更実績を示す意思決定履歴データに基づく逆強化学習で予め生成された一つまたは複数の目的関数を用いた第一の対象に対する最適化結果である第二の対象を複数出力する対象出力手段と、
   出力された複数の前記第二の対象に対するユーザからの選択指示を受け付ける選択受付手段と、
   前記第一の対象から、受け付けた前記第二の対象への変更実績を意思決定履歴データとして出力するデータ出力手段と、
   前記意思決定履歴データを用いて前記目的関数を学習する学習手段とを備えた
   ことを特徴とする学習装置。
2. 対象出力手段は、目的関数の学習に用いられるデータから推定される当該目的関数の尤もらしさを示す尤度に基づいて、複数の目的関数から一つまたは複数の目的関数を選択し、選択した目的関数を用いた最適化により第二の対象を出力する
   請求項１記載の学習装置。
3. 対象出力手段は、予め定めた閾値よりも尤度の低い目的関数を、最適化を行う対象から除外する
   請求項２記載の学習装置。
4. 対象出力手段は、パラメータの微分が０になる目的関数のうち、尤度が高いあらかじめ定めた上位の目的関数を選択する
   請求項２または請求項３記載の学習装置。
5. 対象出力手段は、データ出力手段によって出力された意思決定履歴データをさらに用いて尤度を算出し、算出した尤度に基づいて目的関数を選択する
   請求項２から請求項４のうちのいずれか１項に記載の学習装置。
6. 学習手段は、出力された最適化結果のうち、予め定めた閾値よりも尤度の高い解を選択し、選択された解を含む意思決定履歴データを追加して再学習を行う
   請求項１から請求項５のうちのいずれか１項に記載の学習装置。
7. ユーザから受け付けた第二の対象に関する変更指示に基づいて、当該第二の対象をさらに変更した結果の対象を示す第三の対象を出力する変更対象出力手段を備え、
   データ出力手段は、第二の対象から前記第三の対象への変更実績を意思決定履歴データとして出力する
   請求項１から請求項６のうちのいずれか１項に記載の学習装置。
8. コンピュータが、対象の変更実績を示す意思決定履歴データに基づく逆強化学習で予め生成された一つまたは複数の目的関数を用いた第一の対象に対する最適化結果である第二の対象を複数出力し、
   前記コンピュータが、出力された複数の前記第二の対象に対するユーザからの選択指示を受け付け、
   前記コンピュータが、前記第一の対象から、受け付けた前記第二の対象への変更実績を意思決定履歴データとして出力し、
   前記コンピュータが、前記意思決定履歴データを用いて前記目的関数を学習する
   ことを特徴とする学習方法。
9. コンピュータが、目的関数の学習に用いられるデータから推定される当該目的関数の尤もらしさを示す尤度に基づいて、複数の目的関数から一つまたは複数の目的関数を選択し、選択した目的関数を用いた最適化により第二の対象を出力する
   請求項８記載の学習方法。
10. コンピュータに、
    対象の変更実績を示す意思決定履歴データに基づく逆強化学習で予め生成された一つまたは複数の目的関数を用いた第一の対象に対する最適化結果である第二の対象を複数出力する対象出力処理、
    出力された複数の前記第二の対象に対するユーザからの選択指示を受け付ける選択受付処理、
    前記第一の対象から、受け付けた前記第二の対象への変更実績を意思決定履歴データとして出力するデータ出力処理、および、
    前記意思決定履歴データを用いて前記目的関数を学習する学習処理
    を実行させるための学習プログラム。

Images