JP7367609B2

JP7367609B2 - 応答文生成装置、強化学習装置、応答文生成方法、モデル生成方法、プログラム

Info

Publication number: JP7367609B2
Application number: JP2020086759A
Authority: JP
Inventors: 雅博水上; 誠也河野
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2020-05-18
Filing date: 2020-05-18
Publication date: 2023-10-24
Anticipated expiration: 2040-05-18
Also published as: JP2021182039A

Description

本発明は、対話履歴に対する応答文を生成するための応答文生成装置、強化学習装置、応答文生成方法、モデル生成方法、プログラムに関する。

応答文を選択する技術として非特許文献１などが知られている。非特許文献１では、エントレインメント（Entrainment）を対話中に考慮し、用例ベース対話システムにおける応答文選択に応用する取り組みが示されている。エントレインメントとは、同調傾向、シンクロニーとも呼ばれ、対話における話者間の話し方や声の調子などの振る舞いが同調または類似する現象を意味する。

水上雅博，吉野幸一郎，Graham Neubig，中村哲，"エントレインメント分析に基づく応答文選択モデルの評価"，言語処理学会，第23回年次大会発表論文集，pp.370-373，2017年3月．

対話システムの発展に伴い、対話システムは単に妥当な応答を返すのみでなく、より人間らしい応答および人間特有の対話現象を再現し、その人間らしさを向上させることが求められ始めている。これまでの多くの対話システムは、人間同士の対話等から得られたデータを参考とし、任意の入力に妥当な応答を返す一問一答のシステムが主である。非特許文献１には、応答文の候補を選択し、それらの選択した応答文の候補の中から、過去の対話履歴から計算した単語頻度（言語モデルとも呼ぶ）を用いて、最もエントレインメントが生じたものを選ぶことで、適切な応答文とする技術が示されている。しかし、非特許文献１も、応答文の候補の選択は直前の発話に基づいて行う技術であり、過去の複数の発話からなる対話履歴に基づいて応答文の候補を生成していない。

近年の対話システムでは、ニューラルネットワークを用いて応答を生成する方式（以下、「文生成方式」と呼ぶ）が一般化しており、文生成方式では、対話全体を入力として、次の応答を出力する「文脈を考慮できる」モデルも提案されつつある。しかしながら、全てのやりとりを入力したとしても、最終的にモデルが注目するのは一つ前のユーザの発話のみであるという研究結果も出ている。これは、文脈考慮が可能なモデルであっても文脈を十分に考慮できないことを示している。また、対話全体を入力する文生成方式において、エントレインメントを考慮できるモデルは提案されていない。

例えば、ユーザとシステムとの間で以下のような対話があったとする。
ユーザ：こんにちは。
システム：こんにちは。
ユーザ：いい天気だね。
システム：そうですね，晴れてよかったですね。
ユーザ：晴れるとキャンプとかピクニックとかに行きたくなるね。
システム：キャンプが好きなんですか？
ユーザ：うん，好きだよ。あなたはキャンプ好きかな？
上記の対話に対するエントレインメントを考慮したシステムの応答文の例は、「うん，私もキャンプ好きだよ。」などである。この応答文であれば、ユーザの話し方と同調している。一方、エントレインメントを考慮できていない現状のシステムの応答文の例は、「キャンプは好きです。」などである。内容は同じであるが、対話としては不自然な単純な応答になっている。

本発明は、過去の複数の発話からなる対話履歴に対する応答文を、エントレインメント度合いに基づいて生成することを目的とする。

本発明の応答文生成装置は、記録部と応答生成部を備える。記録部は、対話履歴を入力として応答文を出力するための応答生成モデルを記録する。応答生成モデルは、対話履歴と応答文とのエントレインメント度合いに基づいた報酬期待値を用いて強化学習したモデルである。応答生成部は、対話履歴を入力とし、応答生成モデルを用いて、対話履歴に対する応答文を出力する。

本発明の強化学習装置は、入力された対話履歴に対する応答文を出力するための応答生成モデルを強化学習する。本発明の強化学習装置は、報酬計算モデル部とパラメータ更新部を備える。報酬計算モデル部は、少なくとも他者の対話履歴、当該対話履歴に対して生成された応答文、当該対話履歴に対するレファレンス応答を入力とし、対話履歴と応答文とのエントレインメント度合いに基づいた報酬期待値を計算し、当該報酬期待値を出力する。パラメータ更新部は、応答生成モデルと報酬期待値を入力とし、報酬期待値を用いて応答生成モデルのパラメータを更新し、更新後のパラメータを出力する。

本発明の応答文生成装置によれば、過去の複数の発話からなる対話履歴に対する応答文を、エントレインメント度合いに基づいて生成することができる。また、本発明の強化学習装置によれば、本発明の応答文生成装置で用いる応答生成モデルを強化学習できる。

応答文生成装置と強化学習装置の構成例を示す図。応答文生成の処理フローを示す図。強化学習の処理フローを示す図。 ConvAI2データセットにおける対話数／発話数を示す図。各応答生成モデルを用いた場合の応答文生成結果を示す図。コンピュータの機能構成例を示す図。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

図１に応答文生成装置と強化学習装置の構成例を示す。図２に応答文生成の処理フローを、図３に強化学習の処理フローを示す。応答文生成装置１００は、記録部１２０と応答生成部１１０を備える。記録部１２０は、対話履歴を入力として応答文を出力するための応答生成モデルを記録する。応答生成モデルは、対話履歴と応答文とのエントレインメント度合いに基づいた報酬期待値を用いて強化学習したモデルである。応答生成部１１０は、対話履歴を入力とし（Ｓ１０１）、応答生成モデルを用いて対話履歴に対する応答文を生成し（Ｓ１１０）、出力する（Ｓ１０２）。なお、「対話履歴」は、複数の発話からなっており、エントレインメント度合いなどのその他の情報は含まれていない。

強化学習装置２００は、入力された対話履歴に対する応答文を出力するための応答生成モデルを強化学習する。強化学習装置２００は、報酬計算モデル部２１０とパラメータ更新部２２０を備える。強化学習の処理フローでは、対話履歴を応答文生成装置１００に入力し、当該対話履歴とレファレンス応答の組を訓練データとして強化学習装置２００に入力する（S２０１）。応答生成部１１０は、応答生成モデルを用いて対話履歴に対する応答文を生成する（Ｓ１１０）。報酬計算モデル部２１０は、少なくとも他者の対話履歴、当該対話履歴に対して生成された応答文、当該対話履歴に対するレファレンス応答を入力とし、対話履歴と応答文とのエントレインメント度合いに基づいた報酬期待値を計算し、当該報酬期待値を出力する（Ｓ２１０）。ここで、「他者」とは、発話しようとしている者（応答文を生成しようとしている者）ではない者を意味する。なお、「自身」とは、発話しようとしている者（応答文を生成しようとしている者）を意味する。例えば、ユーザＡとユーザＢの対話の場合、ユーザＡの発話（応答文）を生成しているときは、自身はユーザＡであり、他者はユーザＢである。また、ユーザＢの発話（応答文）を生成しているときは、自身はユーザＢであり、他者はユーザＡである。このように、「自身」と「他者」は、だれの応答文を生成しようとしているときか、に基づいて決まる。パラメータ更新部２２０は、応答生成モデルと報酬期待値を入力とし、報酬期待値を用いて応答生成モデルのパラメータを更新し、更新後のパラメータを出力する（Ｓ２２１）。これらの処理を繰り返す（Ｓ２０２）。以下では、各構成部の処理について詳細に説明する。

＜応答生成部１１０，応答生成モデル＞
応答生成部１１０では、対話履歴H = {H_i-1, H_i-2, …, H_i-N}が与えられたときに、応答文R_i = {w_i,1, w_i,2, …, w_i,t}を生成する。ここで、ｉは対話のターン、Ｎは履歴長、ｔは単語順であり、H_i-Nはｉ－Ｎ番目の発話、w_i,tはｉ番目の発話（処理対象の応答文）のｔ番目の単語である。応答生成部１１０では、入力された対話履歴を固定長の文脈表現に符号化する階層型Encoderと、階層型Encoderから受け取った文脈表現を用いて発話生成（応答文生成）を行うDecoderからなるモデルを用いればよい。この技術は、参考文献１（Serban, I. V., Sordoni, A., Bengio, Y., Courville, A. C., and Pineau, J.: Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models., in AAAI, pp. 3776-3784 (2016).）などに示されている。さらに、応答生成部１１０では、より対話履歴を考慮した応答文生成を実現するために、参考文献１に示されたモデルに対して対話履歴を考慮した注意機構を用いてもよい。つまり、応答生成部１１０は、注意機構付き階層型Encoder-Decoderを用いればよい。また、ＲＮＮ（Recurrent Neural Network）セルには、ＧＲＵ（Gated Recurrent Unit）を用いればよい。

階層型Encoderでは、発話Encoderを用いて対話履歴における各発話H_iを固定長の発話表現h_iに符号化する。ここで、h_iはH_iの各単語w_i,tについて、次式を再帰的に適用することで最終的に得られるベクトルu_i,tとすればよい。
u_i,t = GRU(u_i,t-1, Embedding(w_i,t))
ただし、Embeddingは単語w_i,tを固定長密ベクトルに写像する線形変換関数である。そして、文脈Encoderにおいて発話Encoderから得られた発話表現h_iに対して次式を再帰的に適用することで対話履歴の文脈表現c_iを得ればよい。
c_i = GRU(c_i-1, h_i)

Decoderにおいては、階層型Encoderから得られた対話履歴Hの文脈表現c_i-1を初期状態h₀’として用い、Decoderの中間状態h_t’と単語の生成確率p_tを次式のように求めればよい。
h_t’= GRU(h_t-1’, Embedding(w_i,t-1))
p_t = softmax(Linear(h_t’))
ただし、Linearは、h_t’を語彙サイズ次元の密ベクトルに写像する線形変換関数である。また、w_i,tはp_tからサンプルされ、次のステップの入力として使用される。

応答生成部１１０は、エントレインメントという会話現象を取り扱う性質上、より対話履歴を考慮した応答生成モデルを構築することが求められる。したがって、上述のDecoderに対して対話履歴における各発話の情報をより効率的に扱うための注意機構を導入すればよい。具体的には、c_i-1-N:i-1を文脈Encoderによって得られた文脈ベクトルの系列、h_t’をtステップにおけるDecoderの中間状態としたとき、次のように各中間状態に対してアラインメントの重みを計算し、文脈ベクトルh^－を求めればよい。なお、記載上の制限から“h^－”と表現しているが、この表現では、“^－”は“h”の上に位置することを意味している。同様に、“h_t^”の場合は、“^”は“h”の上に位置することを意味している。

応答生成部１１０は、さらに、文脈ベクトルh^-を用いて、ステップｔにおける出力単語の予測を次のように行えばよい。
h_t^= tanh(Linear([h^-,h_t’]))
p_t = softmax(Linear(h_t^))

＜報酬計算モデル部２１０＞
報酬計算モデル部２１０は、パラメータ更新部２２０で用いる報酬期待値を計算する（S２１０）。そこで、生成する応答文のエントレイメント度合いを評価するための報酬計算モデルを定義する。例えば、単純な例としては、ＷＤＭ（Word Mover’s Distance）を用いて他者による直前の発話H_i-1と生成した応答文R_iの類似度を報酬r_previousとして定義すればよい。ＷＤＭの具体的な内容は、参考文献２（Kusner, M., Sun, Y., Kolkin, N., and Weinberger, K.: From word embeddings to document distances, in International conference on machine learning, pp. 957-966 (2015).）などに示されている。ただし、参考文献２などに示されているＷＤＭは正規化されていない類似度指数であるため、そのまま用いることは強化学習における報酬として利用することは望ましくない。したがって、以下のようにＷＤＭを０から１に正規化したWDM_normを定義し、報酬r_previousを求めればよい。なお、“e^(-WDM(H_i-1, R_i)²)”は、“e”を“(-WDM(H_i-1, R_i)²)”乗することを意味している。
WDM_norm(H_i-1, R_i) = e^(-WDM(H_i-1, R_i)²)
r_previous(H_i-1, R_i) = WDM_norm(H_i-1, R_i)

さらに、エントレインメントは必ずしも他者の直前の発話に対してのみ行われるものではなく、他者による発話履歴から文脈に応じて適切にエントレインメントの対象となる発話を決定する方が望ましい。そこで、報酬計算モデル部２１０は、理想的なエントレインメント度合いに関する情報も入力とし、当該理想的なエントレインメント度合いとの相対的な値に基づいて報酬期待値を計算してもよい。そのために、他者の発話に対するエントレインメント度合いを示すr_LIDを次のように定義する。

ただし、R_i ^refは対話履歴Hに対応するレファレンスの応答文（訓練データに含まれている正解の応答文）、H^otherは対話履歴から自身の発話をすべて除外したもの（言い換えると、他者の対話履歴）である。また、U_entrainedは与えた他者の対話履歴H^otherの中でレファレンスの応答文と最も類似している発話を示す。なお、上述したとおり、「自身」と「他者」は、だれの応答文を生成しようとしているときかに基づいて決まる。

エントレインメント度合いr_LIDでは、生成した応答文がレファレンスの応答文から計算されたエントレインメントの対象となる発話と類似するように、理想的なエントレインメント値r_idealとの相対値を考慮して報酬を与える。これにより、ＬＩＤ（Local Interpersonal Distance）を間接的に最大化するような応答生成モデルの学習を行うことが可能になる。なお、ＬＩＤは、エントレインメント評価指標の１つであり、参考文献３（Nasir, M., Chakravarthula, S. N., Baucom, B. R., Atkins, D. C., Georgiou, P., and Narayanan, S.: Modeling Interpersonal Linguistic Coordination in Conversations Using Word Mover ’s Distance, in Proc. Interspeech 2019, pp. 1423-1427 (2019).）などに示されている。報酬計算モデル部２１０では、理想的なエントレインメント値r_idealとして、訓練データにおけるすべての応答事例における実際のエントレイメント度合いを次式を用いて計算し、上位Ａ％の値を理想的なエントレインメント度合いr_idealとしてモデルの学習を行えばよい。

Ａ％は、例えば、９０％、７０％、５０％などであり、応答文でどの程度のエントレインメントを起こしたいかに応じてエントレインメント度合いが大きいほど大きなパーセンテージとなるように適宜定めればよい。そして、各ステップtからのロールアウトを用いたMonte Carlo Tree Searchによって報酬期待値を求めればよい。なお、Monte Carlo Tree Searchについては、参考文献４（Yu, L., Zhang, W., Wang, J., and Yu, Y.: SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient., in AAAI, pp. 2852-2858 (2017).）などに具体的に示されている。

＜パラメータ更新部２２０＞
パラメータ更新部２２０は、例えば、方策勾配型の強化学習の一種であるREINFORCEアルゴリズムを用いればよい。REINFORCEアルゴリズムについては、参考文献５（Williams, R. J.: Simple statistical gradient-following algorithms for connectionist reinforcement learning, Machine learning, Vol. 8, No. 3-4, pp. 229-256 (1992).）などに示されている。

応答生成部１１０における応答文生成では、対話履歴H = {H_i-1, H_i-2, …, H_i-N}の文脈表現が入力されると、単語列である応答文R_i = {w_i,1, w_i,2, …, w_i,t}を生成する。このような応答文生成のプロセスは、マルコフ決定過程において、ある政策にしたがって実行される一連の行動系列とみなすことができる。パラメータ更新部２２０では、報酬計算モデル部２１０から出力される報酬期待値を利用し、報酬期待値が大きくなるように応答生成モデルのパラメータをREINFORCEアルゴリズムにより更新すればよい。

G_θをパラメータθを持つ応答生成モデル、pを単語w_tを生成する確率とする。目的関数J_REINFORCEと勾配は、次式のように定義すればよい。

ステップＳ２２１では、パラメータ更新部２２０は、上記の目的関数J_REINFORCEとその勾配に基づいて応答生成モデルG_θのパラメータθを更新すればよい。

なお、目的関数J_REINFORCEとその勾配のみに基づいてパラメータθを更新すると、エントレインメント度合いを重要視しすぎるために応答生成モデルが崩壊してしまうリスクがある。そのようなリスクがある場合は、パラメータ更新部２２０は、損失関数も用いてパラメータθを更新すればよい。損失関数を用いた更新とは、従来から存在するものであり、Decoderの各ステップにおける単語予測結果と正解単語の負の対数尤度J_MLE(θ)が小さくなるように、パラメータθを更新すればよい（Ｓ２２２）。ただし、対数尤度J_MLE(θ)の影響が支配的にならないように、係数λを乗じて更新すればよい。係数λは例えば、０．１などにすればよい。このように、エントレインメントに基づく更新と、損失関数に基づく更新に適宜重み付けを行って更新すればよい。

応答文生成装置１００によれば、応答文の品質を損なうことなく、過去の複数の発話からなる対話履歴に対する応答文を、エントレインメント度合いに基づいて生成することができる。また、強化学習装置２００によれば、応答文生成装置１００で用いる応答生成モデルを、応答文の品質を損なわないようにしながら、エントレインメント度合いに基づくように強化学習できる。

＜実験＞
応答生成モデルの訓練と評価には、参考文献６（ConvAI2,［令和２年４月２７日検索］、インターネット<http://convai.io/>．）で提供されたPersonaChatデータセットを使用した。図４にConvAI2データセットにおける対話数／発話数を示す。評価用データセットは非公開であったため、開発用データをに分割し、開発用データセットと評価用データセットとして用いた。図５に各応答生成モデルを用いた場合の応答文生成結果を示す。

ＭＬＥは、負の対数尤度の最小化による訓練を行った応答生成モデルを用いた場合を示している。訓練方法の列にＲＥＩＮＦＯＲＣＥと示された応答生成モデルは、エントレイメントに基づいた強化学習を行った応答生成モデルである。さらに、評価実験に用いる応答生成モデルとしては，Sequence-to-Sequenceモデル（SEQ2SEQ）と、SEQ2SEQに内積によるスコア計算を用いたアテンション機構を導入したモデル（Attention-SEQ2SEQ）と、上述した階層型Encoder-Decoderモデル（HED）と、注意機構付き階層型Encoder-Decoderモデル（Attention-HED）の４つの応答生成モデルを使用した。なお、Attention-SEQ2SEQに導入したアッテンション機構は、参考文献７（Luong, M.-T., Pham, H., and Manning, C. D.: Effective approaches to attention-based neural machine translation, arXiv preprint arXiv:1508.04025 (2015).）に示されている。なお、モデルがHumanの行は、人が応答をした場合を想定した評価を示している。

いずれの応答生成モデルもＲＮＮにはＧＲＵを使用し、単語埋め込み層の次元を３００、中間層の次元を３００、層数を１に設定した。また、使用する語彙サイズは１５，０００とし、未知語は特殊記号“UNK”に置き換えた。応答生成モデルの事前訓練は交差エントロピー誤差を用いて行った。その後、報酬計算モデル部２１０に、r_previousを用いて強化学習した応答生成モデル（以下、“r_previous”と示す）、上位９０％の値を理想的なエントレインメント度合いr_idealとして求めたr_LIDを用いて強化学習した応答生成モデル（以下、“r_LID ^90％”と示す）、上位７０％の値を理想的なエントレインメント度合いr_idealとして求めたr_LIDを用いて強化学習した応答生成モデル（以下、“r_LID ^70％”と示す）、上位５０％の値を理想的なエントレインメント度合いr_idealとして求めたr_LIDを用いて強化学習した応答生成モデル（以下、“r_LID ^50％”と示す）を生成した。応答生成モデルの訓練においては、パッチサイズを64、学習率を1×10^-4とし、OptimizerにはＳＧＤ（Stochastic Gradient Descent：確率的勾配降下法）を使用した。

応答文生成の評価においては、従来と同様に、言語モデルの性能を測るための指標であるPerplexity（ＰＰＬ）による評価と、生成応答とレファレンス発話の類似度（関連性）による評価を行った。関連性についての評価指標としては、ＢＬＥＵによる評価と、正規化したWDM_normの平均（×１００）による評価を用いた。図５の“ＷＤＭ^－”が付された列は、正規化したWDM_normを用いた評価結果を示している。ＰＰＬは値が小さいほど高い評価であり、ＢＬＥＵとＷＤＭ^－は値が大きいほど高い評価である。また，エントレインメントに着目した応答文生成の評価を行うために、各報酬計算モデルが応答発話に対して与える報酬値の平均（×１００）を用いた。図５の“r^－ _previous”，“r^－ _LID ^90％”，“r^－ _LID ^70％”，“r^－ _LID ^50％”が付された列は、それぞれの報酬計算モデルを用いたときの評価結果を示している。これらの評価結果は１００を最大値とし、値が大きい方が高い評価である。なお、“ＷＤＭ^－”という表記は、“ＷＤＭ”の上部に“－”が付された記載を意味している。“r^－”という表記は、“r”の上部に“－”が付された記載を意味している。なお、WDMの計算においては、TWITTER（登録商標）データで事前学習された２００次元の単語分散表現ベクトルをノルムが１になるように正規化した。この単語分散表現ベクトルについては、参考文献８（GloVe: Global Vectors for Word Representation,［令和２年４月２７日検索］、インターネット<https://nlp.stanford.edu/projects/glove/>．）に示されている。

図５に示された結果より、従来の損失関数を用いた応答生成モデルに相当するＭＬＥは、人による応答と比較してエントレインメントに基づいた評価結果（“r^－ _previous”，“r^－ _LID ^90％”，“r^－ _LID ^70％”，“r^－ _LID ^50％”）が大きく劣ることが分かる。これは，既存の応答生成モデルがエントレインメントを行う能力に乏しいのに加え、対話履歴の情報を有効に活用できていないことを示唆している。一方で、エントレインメント度合いに基づいた報酬期待値を用いて強化学習を適用した応答生成モデルは、ＭＬＥと比較して、ＰＰＬがほぼ同等であり、かつ、エントレインメントに基づいた評価結果（“r^－ _previous”，“r^－ _LID ^90％”，“r^－ _LID ^70％”，“r^－ _LID ^50％”）が大きく向上していることが分かる。特に、図５の太い線で囲んだ部分の評価から、指定した理想的なエントレインメント値r_idealとなるように強化学習できていることが分かる。なお、生成した応答文とレファレンスの応答文についての関連性評価については、強化学習を適用する場合では、ＢＬＥＵについては低下傾向にあるものの、ＷＭＤ^－が大きく向上していることが分かる。したがって、ＰＰＬ，ＢＬＥＵ，ＷＤＭ^－の評価において、応答文の品質を損なわないようにしながら、エントレインメント度合いに基づくように、応答生成モデルを強化学習できていることが分かる。

［プログラム、記録媒体］
上述の各種の処理は、図６に示すコンピュータ２０００の記録部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０、表示部２０５０などに動作させることで実施できる。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１００応答文生成装置
１１０応答生成部
１２０記録部
２００強化学習装置
２１０報酬計算モデル部
２２０パラメータ更新部

Claims

対話履歴を入力として応答文を出力するための応答生成モデルを記録した記録部と、
対話履歴を入力とし、前記応答生成モデルを用いて、前記対話履歴に対する応答文を出力する応答生成部と、
を備え、
前記応答生成モデルは、対話履歴と応答文とのエントレインメント度合いに基づいた報酬期待値を用いて強化学習したモデルである
ことを特徴とする応答文生成装置。
請求項１記載の応答文生成装置であって、
前記応答生成部は、注意機構付き階層型Encoder-Decoderを用いる
ことを特徴とする応答文生成装置。
入力された対話履歴に対する応答文を出力するための応答生成モデルを強化学習するための強化学習装置であって、
少なくとも他者の対話履歴、当該対話履歴に対して生成された応答文、当該対話履歴に対するレファレンス応答を入力とし、対話履歴と応答文とのエントレインメント度合いに基づいた報酬期待値を計算し、当該報酬期待値を出力する報酬計算モデル部と、
前記応答生成モデルと前記報酬期待値を入力とし、前記報酬期待値を用いて前記応答生成モデルのパラメータを更新し、更新後のパラメータを出力するパラメータ更新部と、
を備える強化学習装置。
請求項３記載の強化学習装置であって、
前記パラメータ更新部は、損失関数も用いて前記パラメータを更新する
ことを特徴とする強化学習装置。
請求項３または４記載の強化学習装置であって、
前記報酬計算モデル部は、理想的なエントレインメント度合いに関する情報も入力とし、当該理想的なエントレインメント度合いとの相対的な値に基づいて前記報酬期待値を計算する
ことを特徴とする強化学習装置。
対話履歴を入力として応答文を出力するための応答生成モデルを記録した応答文生成装置を用いた応答文生成方法であって、
対話履歴を入力するステップと、
前記応答生成モデルを用いて、前記対話履歴に対応した応答文を生成する応答生成ステップと、
前記応答文を出力する応答文出力ステップ、
を有し、
前記応答生成モデルは、対話履歴と応答文とのエントレインメント度合いに基づいた報酬期待値を用いて強化学習したモデルである
ことを特徴とする応答文生成方法。
入力された対話履歴に対する応答文を出力するための応答生成モデルを強化学習し、強化学習された応答生成モデルを生成するモデル生成方法であって、
少なくとも他者の対話履歴、当該対話履歴に対して生成された応答文、当該対話履歴に対するレファレンス応答を入力とし、対話履歴と応答文とのエントレインメント度合いに基づいた報酬期待値を計算し、当該報酬期待値を出力する報酬計算ステップと、
前記応答生成モデルと前記報酬期待値を入力とし、前記報酬期待値を用いて前記応答生成モデルのパラメータを更新し、更新後のパラメータを出力するパラメータ更新ステップと、
を実行するモデル生成方法。
請求項１または２の応答文生成装置、もしくは請求項３から５のいずれかに記載の強化学習装置としてコンピュータを機能させるためのプログラム。