JP6815899B2

JP6815899B2 - 出力文生成装置、出力文生成方法および出力文生成プログラム

Info

Publication number: JP6815899B2
Application number: JP2017039141A
Authority: JP
Inventors: 守小町; 晨叶内; 朋哉尾形; 智哉高谷
Original assignee: Toyota Motor Corp; Tokyo Metropolitan Public University Corp
Current assignee: Toyota Motor Corp; Tokyo Metropolitan Public University Corp
Priority date: 2017-03-02
Filing date: 2017-03-02
Publication date: 2021-01-20
Anticipated expiration: 2037-03-02
Also published as: US20180253420A1; JP2018147073A; CN108536670A; EP3370165A1; US10643032B2; CN108536670B

Description

本発明は、出力文生成装置、出力文生成方法および出力文生成プログラムに関する。

自然言語処理システムにおいて、ニューラルネットワークを用いた文生成技術が知られるようになってきた（例えば、特許文献１を参照）。最近では、キーワードを与えるとそれらのキーワードを適度に取り込んだ文を生成する、学習済みのニューラルネットワークを利用した文生成装置が知られるようになってきた。

特開平１−２５５９６６号公報

ニューラルネットワークの学習時においては、与えられるキーワードが重複して組み込まれた文が正解文であるとして学習する学習データもある。このように学習された学習済みニューラルネットワークを利用する場合、与えたキーワードを重複して組み込んだ文を生成する頻度が高くなるという問題があった。実際の自然文においては、特定の単語が重複する場合は少なく、このようなキーワードの重複する文が生成される頻度を下げたい。しかし、そのためには膨大な学習データを用意して、ニューラルネットワークの学習精度を上げる必要があり、多大な作業量を要することになる。また、すでに存在するニューラルネットワークを利用するという利便性を失うことにもなる。

本発明は、このような問題を解決するためになされたものであり、学習済みのニューラルネットワークを利用しつつ、キーワードの重複を避けた、より自然な印象を与える出力文を生成するものである。

本発明の第１の態様における出力文生成装置は、入力された複数のキーワードから一つの出力文を自動生成する出力文生成装置であって、複数のキーワードを取り込んで、それぞれが複数のキーワードの少なくとも一部を含む複数の候補文を生成する、学習済みのニューラルネットワークが組み込まれた候補文生成部と、候補文生成部によって生成された複数の候補文のそれぞれで、含まれるすべての単語の出現回数に対する重複する単語の出現回数である重複割合を算出し、重複割合の小さな候補文の評価を高めることによって、複数の候補文から出力文を決定して出力する評価出力部とを備える。

このように構成された出力文生成装置によれば、学習済みのニューラルネットワーク自体に対して再調整を行う必要がなく、学習済みのニューラルネットワークから出力された複数の候補文を対象としてキーワードの重複に対する評価を行う。したがって、既存のリソースを利用しつつも簡便な処理によって、キーワードの重複を避けた出力文を生成することができる。

また、上記の評価出力部は、重複割合の小さな候補文の評価を高めると共に、複数の候補文のそれぞれで、複数のキーワードの群と対象の候補文に含まれるすべての単語の群の和集合の要素個数に対する、複数のキーワードの群と対象の候補文に含まれるすべての単語の群の積集合の要素個数であるキーワード割合を算出し、キーワード割合の大きな候補文の評価を高めることによって、複数の候補文から出力文を決定して出力しても良い。このように、キーワード割合も考慮して評価することにより、取り込まれたキーワードの数が少ない文を出力文としてしまう可能性を抑制することができる。

この場合、上記の候補文生成部は、複数の候補文と共に、候補文ごとに出力文と決定される可能性の高い順に大きな値が与えられる評価スコアＮを生成し、評価出力部は、重複割合として、Ｐ＝１−（重複する単語の出現回数）／（すべての単語の出現回数）を算出し、キーワード割合として、Ｊ＝（複数のキーワードの群と対象の候補文に含まれるすべての単語の群の積集合の要素個数）／（複数のキーワードの群と対象の候補文に含まれるすべての単語の群の和集合の要素個数）を算出して、Ｎ×Ｐ×Ｊの値が最大となる候補文を出力文として出力することができる。このように、評価を具体的で単純な数値に置き換えることにより、より迅速に出力文を決定することができる。

このような評価において、重複割合を算出する場合およびキーワード割合を算出する場合は、助詞、助動詞および接続詞を除外しても良い。単語の中でも助詞、助動詞および接続詞は、他の品詞に比較してその重複が自然文に与える印象の観点からは異質である。したがって、助詞、助動詞および接続詞を算出の対象から外すことにより、より精度の高い評価が可能となる。また、助詞、助動詞および接続詞に加えて、さらに特定の品詞を除外しても良い。特定の品詞を除外することにより、使用目的や利用状況に応じた精度の高い出力文を出力することができる。また、演算速度の向上を期待できる。

本発明の第２の態様における出力文生成方法は、入力された複数のキーワードから一つの出力文を自動生成する出力文生成方法であって、複数のキーワードを取り込んで、学習済みのニューラルネットワークを用いて、それぞれが複数のキーワードの少なくとも一部を含む複数の候補文を生成する候補文生成ステップと、候補文生成ステップによって生成された複数の候補文のそれぞれで、含まれるすべての単語の出現回数に対する重複する単語の出現回数である重複割合を算出し、重複割合の小さな候補文の評価を高めることによって、複数の候補文から出力文を決定して出力する評価出力ステップとを有する。

また、本発明の第３の態様における出力文生成プログラムは、入力された複数のキーワードから一つの出力文を自動生成する出力文生成プログラムであって、複数のキーワードを取り込んで、学習済みのニューラルネットワークを用いて、それぞれが複数のキーワードの少なくとも一部を含む複数の候補文を生成する候補文生成ステップと、候補文生成ステップによって生成された複数の候補文のそれぞれで、含まれるすべての単語の出現回数に対する重複する単語の出現回数である重複割合を算出し、重複割合の小さな候補文の評価を高めることによって、複数の候補文から出力文を決定して出力する評価出力ステップとをコンピュータに実行させる。これら第２の態様および第３の態様であっても、第１の態様と同様の効果を期待できる。

本発明により、学習済みのニューラルネットワークを利用しつつ、キーワードの重複を避けた、より自然な印象を与える出力文を生成できる。

本実施形態にかかる出力文生成装置の機能ブロック図を示す。入力から出力までの具体例を示す図である。全体の処理フローを示すフロー図である。機器への応用例としてのスマートフォンを示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、本実施形態にかかる出力文生成装置１００の機能ブロック図を示す。出力文生成装置１００は、複数のキーワードを与えると、それらのキーワードの少なくとも一部を含む一文を自動的に生成して出力する装置である。出力文生成装置１００は、例えばユーザと音声対話を行う人型ロボットに組み込まれる。人型ロボットは、ユーザの意図を確認するような返答を行う場合に、ユーザの発話から抽出したキーワードを出力文生成装置１００に引き渡し、その結果生成された一文を受け取って、スピーカ等から発声する。あるいは、サーバが出力文生成装置１００として機能し、例えばユーザの端末からネットワークを介して送信されてくるキーワードを用いて一文を生成し、その端末に送り返すものであっても良い。

上述のように、出力文生成装置１００は、ハードウェアとして独立した構造体を備えていなくても良く、他の装置の一部として組み込まれていても良い。また、ＡＳＩＣなどのチップが出力文生成装置１００の実体であっても良い。

本実施形態として説明する出力文生成装置１００は、入力インタフェースとしてキーワード入力部１１０を備え、出力インタフェースとして呈示部１４０を備える。また、演算を行う演算部として、候補文生成部１２０と評価出力部１３０を備える。候補文生成部１２０と評価出力部１３０は、例えば、汎用の演算処理チップとしてのＣＰＵで構成されても良く、あるいは専用に設計されたＡＳＩＣで構成されていても良い。

また、演算部は、例えばコーパスとして体系化された言語データベースを格納するメモリを含む構成であっても良いし、外部のメモリに格納された言語データベースにアクセスする構成であっても良い。候補文生成部１２０は、言語データベースを参照することによって、一文を生成する。

キーワード入力部１１０は、例えばハードウェアとしてのマイクと、入力された音声を解析する音声解析部によって構成される。この場合、キーワード入力部１１０は、音声解析によってキーワードを抽出して、候補文生成部１２０へ引き渡す。キーワード入力部１１０は、キーボード等によりユーザから直接的にキーワードの入力を受け付ける構成であっても良い。また、出力文生成装置１００が他の装置に組み込まれている場合は、キーワード入力部１１０は、当該装置から対象となる一文やキーワードを受け付けるインタフェースである。

呈示部１４０は、例えばハードウェアとしてのスピーカと、生成された一文を音声信号に変換する信号変換部によって構成される。この場合、呈示部１４０は、評価出力部１３０から受け取った一文を音声信号に変換して、スピーカから発声する。呈示部１４０は、評価出力部１３０から受け取った一文をテキストで表示する表示ユニットであっても良い。また、出力文生成装置１００が他の装置に組み込まれている場合は、呈示部１４０は、評価出力部１３０から受け取った一文を当該装置へ引き渡すインタフェースである。

候補文生成部１２０は、学習済みのニューラルネットワークであるＮＮ生成器１２１を組み込んで構成されている。候補文生成部１２０は、通信インタフェースを介してＮＮ生成器１２１を更新可能なように構成しても良い。

ＮＮ生成器１２１は、キーワード入力部１１０から与えられたキーワードを取り込んで、これらの少なくとも一部のキーワードを含む候補文を複数生成すると共に、それぞれの候補文の基礎スコアを算出する。基礎スコアは、ＮＮ生成器１２１が判断した、出力文としてどの程度ふさわしいかを表すスコアである。基礎スコアは、例えば０から１の間で１に近いほど出力文にふさわしいものとして定義される。換言すれば、ＮＮ生成器１２１は、１に近い値を算出したものほど、より出力文にふさわしい候補文であると判断する。

ＮＮ生成器１２１として実装されるニューラルネットワークは、外部のコンピュータによってモデル学習が行われる。モデル学習は、教師データとして与えた正解文から、助詞、助動詞および接続詞を除いて内容語を抽出し、抽出した内容語から一文を生成させ、生成させた一文が正解文に近づくように、各層の誤差更新を繰り返すことによって行う。

本実施形態にかかる候補文生成部１２０は、ＮＮ生成器１２１として、さまざまなタイプの公知のニューラルネットワークを利用することができる。例えば、ＬＳＴＭを用いたｓｅｑ２ｓｅｑによる文生成モジュール（例えば、Ilya Sutskever, Oriol Vinyals, and Quoc V Le, "Sequence to sequence learning with neural networks, "In NIPS. 2014.または、Kyunghyun Cho, Bart van Merrienboer, Dzmitry Bahdanau, and Yoshua Bengio, "On the properties of neural machine translation: Encoder-decoder approaches,"In SSST, 2014.を参照）、ＲＮＮを用いたｓｅｑ２ｓｅｑによる文生成モジュール（例えば、Liang Lu, Xingxing Zhang, Steve Renais, "On training the recurrent neural network encoder-decoder for large vocabulary end-to-end speech recognition," In ICASSP, 2016. または、Iulian V. Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville and Joelle Pineauy, "Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models," https://arxiv.org/pdf/1507.04808.pdfを参照）、Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌＬＳＴＭを用いたｓｅｑ２ｓｅｑによる文生成モジュール（例えば、Xuezhe Ma, Eduard Hovy, "End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF," https://arxiv.org/abs/1603.01354 または、Andrej Karpathy, Li Fei-Fei, "Deep Visual-Semantic Alignments for Generating Image Descriptions,"in CVPR, 2015.を参照）、特開平１−２５５９６６号公報に開示された文生成モジュール、Dusek+,2016に開示された文生成モジュール（Ond rej Du sek and Filip Jurcicek, "Sequence-to-sequence generation for spoken dialogue via deep syntax trees and strings," In ACL, 2016.を参照）を利用することができる。

ＮＮ生成器１２１が生成する候補文は、与えられたキーワードを複数回用いていることがある。これは、組み込まれたニューラルネットワークが、学習時において同一単語を複数回含む正解文を学習しているからである。しかし、実際の自然文においては、特定の単語が重複する場合は少なく、このようなキーワードの重複する文が生成される頻度を下げたい。しかし、そのためには膨大な学習データを用意して、ニューラルネットワークの学習精度を上げる必要があり、多大な作業量を要することになる。また、すでに存在するニューラルネットワークを利用するという利便性を失うことにもなる。

そこで、本実施形態においては、学習済みのニューラルネットワークをそのまま利用しつつも、出力された候補文をさらに解析することにより、キーワードが重複して用いられた候補文を回避する。評価出力部１３０は、候補文生成部１２０によって生成された複数の候補文のそれぞれで、内容語がどれくらい重複して用いられているかの重複割合と、与えられた複数のキーワードがどれくらい採用されているかのキーワード割合を算出して、候補文を評価する。そして、最も評価の高かった候補文を出力文として決定し、呈示部１４０へ出力する。以下に具体例を示しながら、重複割合とキーワード割合の算出方法と評価について説明する。

図２は、入力から出力までの具体例を示す図である。ここでは、キーワードの例として３つの内容語「犯す」「罪」「すべて」が与えられた場合を説明する。出力文生成装置１００は、これらのキーワードをできるだけ多く含みつつも、同じキーワードの重複を避けた、自然な一文を出力することを目標とする。

ＮＮ生成器１２１は、与えられたキーワード「犯す」「罪」「すべて」から複数の生成文を生成する。それらのうち、基礎スコアの高い３つを候補文とする。ここでは、候補文１として「罪の罪を犯した」、候補文２として「罪のルールを犯した」、候補文３として「罪のすべてを犯した」が生成されたものとする。また、この例においては、基礎スコアはいずれもＮ＝０.８と算出されたとする。

評価出力部１３０は、これら３つの候補文を受け取って、スコア算出部１３１により評価値を算出する。スコア算出部１３１は、まずペナルティ係数を算出する。ペナルティ係数は、候補文に含まれるすべての内容語の出現回数に対する重複する内容語の出現回数を表す重複割合の一つの指標であり、具体的には、
Ｐ＝１−（重複する内容語の出現回数）／（すべての内容語の出現回数）
と定義される。

候補文１に含まれる内容語は、「罪」「罪」「犯し」の３つであるので、候補文１の内容語の出現回数は「３」である。また、候補文１には、「罪」が重複して２回現れるので、重複する内容語の出現回数は「１」である。なお、重複する同じ内容語が候補文にｎ（ｎは２以上の自然数）回現れる場合の出現回数は「ｎ−１」と数える。したがって、候補文１のペナルティ係数はＰ＝１−１／３＝２／３である。

候補文２に含まれる内容語は、「罪」「ルール」「犯し」の３つであるので、候補文２の内容語の出現回数は「３」である。また、候補文２には、重複する内容語が存在しないので、重複する内容語の出現回数は「０」である。したがって、候補文２のペナルティ係数はＰ＝１−０／３＝１である。

候補文３に含まれる内容語は、「罪」「すべて」「犯し」の３つであるので、候補文３の内容語の出現回数は「３」である。また、候補文３には、重複する内容語が存在しないので、重複する内容語の出現回数は「０」である。したがって、候補文３のペナルティ係数はＰ＝１−０／３＝１である。

スコア算出部１３１は、次にＪａｃｃａｒｄ係数を算出する。Ｊａｃｃａｒｄ係数は、キーワードの群と候補文に含まれるすべての内容語の群の和集合の要素個数に対する、キーワードの群と候補文に含まれるすべての内容語の群の積集合の要素個数を表すキーワード割合の一つの指標であり、具体的には、
Ｊ＝（キーワードの群と候補文に含まれるすべての内容語の群の積集合の要素個数）／（キーワードの群と候補文に含まれるすべての内容語の群の和集合の要素個数）
と定義される。

キーワードの群は、｛「犯す」「罪」「すべて」｝であり、候補文１に含まれるすべての内容語の群は｛「罪」「犯し」｝である。これらの群の積集合は｛「犯す」「罪」｝であり、その要素個数は「２」である。同様に和集合は｛「犯す」「罪」「すべて」｝であり、その要素個数は「３」である。したがって、候補文１のＪａｃｃａｒｄ係数はＪ＝２／３である。

同様に、候補文２に含まれるすべての内容語の群は｛「罪」「ルール」「犯し」｝である。キーワードの群との積集合は｛「犯す」「罪」｝であり、その要素個数は「２」である。同様に和集合は｛「犯す」「罪」「すべて」「ルール」｝であり、その要素個数は「４」である。したがって、候補文２のＪａｃｃａｒｄ係数はＪ＝２／４＝１／２である。

同様に、候補文３に含まれるすべての内容語の群は｛「罪」「すべて」「犯し」｝である。キーワードの群との群の積集合は｛「犯す」「罪」「すべて」｝であり、その要素個数は「３」である。同様に和集合は｛「犯す」「罪」「すべて」｝であり、その要素個数は「３」である。したがって、候補文３のＪａｃｃａｒｄ係数はＪ＝３／３＝１である。

決定部１３２は、スコア算出部１３１が計算した各候補文のＰ値とＪ値を受け取り、候補文ごとにＮ×Ｐ×Ｊを算出して最終スコアとする。具体的には、候補文１の最終スコアは０.３６であり、候補文２の最終スコアは０.４０であり、候補文３の最終スコアは０.８０である。したがって、決定部１３２は、最大スコアを獲得した候補文３を出力文として決定する。

なお、単語の中でも助詞、助動詞および接続詞は、他の品詞に比較してその重複が自然文に与える印象の観点からは異質であるので、上記の手法では、各候補文のうち要素としてカウントする対象を、助詞、助動詞および接続詞を除いた内容語に限っている。しかし、目的に応じて、助詞、助動詞および接続詞を含めたすべての単語を対象としても良い。逆に、内容語の中でも、副詞や形容詞など、特定の品詞を除外しても良い。いずれにしても、出力文生成装置１００の使用目的や利用状況に応じて、適宜調整すれば良い。このように調整すれば、使用目的や利用状況に応じた精度の高い出力文を出力することができる。また、演算が簡略化されることから、演算速度の向上を期待できる。

また、上記の手法においては、重複割合としてペナルティ係数を利用したが、重複割合の小さな候補文の評価を高める係数であれば、具体的な計算式は如何なるものであっても良い。同様に、キーワード割合としてＪａｃｃａｒｄ係数を利用したが、キーワード割合の大きな候補文の評価を高める係数であれば、具体的な計算式は如何なるものであっても良い。

また、上記の例においては、ペナルティ係数とＪａｃｃａｒｄ係数がスコアに与える影響を明確にするために基礎スコアが同一の例を説明したが、実際のＮＮ生成器１２１は、異なる基礎スコアを与え得る。したがって、ペナルティ係数とＪａｃｃａｒｄ係数の積が同値となる複数の候補文は、互いの基礎スコアの大小により出力文として選択されるか否かが決定される。

また、上記の例においては、重複割合とキーワード割合の両方を考慮する例であったが、与えたキーワードが重複して含まれる候補文を避けるという観点からは、重複割合のみを考慮しても良い。その場合は、基礎スコアにペナルティ係数を掛けて最終スコアとすれば良い。

次に、出力文生成装置１００の全体の処理フローについて説明する。図３は、全体の処理フローを示すフロー図である。図示する処理フローは、メモリから読み出された出力文生成プログラムが実行されることにより実現される。

キーワード入力部１１０は、ステップＳ１０１で複数のキーワードの入力を受け付ける。キーワード入力部１１０は、装置の構成により、上述のように、ユーザの発話からキーワードを抽出しても良いし、キーボード等から直接的にキーワードを受け付けても良い。

候補文生成部１２０は、続くステップＳ１０２で、複数の候補文とそれぞれの基礎スコアを生成し、出力する。具体的には上述のように、学習済みのニューラルネットワークであるＮＮ生成器１２１によって処理される。

評価出力部１３０は、ステップＳ１０３で、複数の候補文とそれぞれの基礎スコアを受け取り、スコア算出部１３１によって各候補文の修正スコアを算出する。修正スコアは、基礎スコアを修正したスコアであり、図２を用いて説明した例では、基礎スコアにペナルティ係数とＪａｃｃａｒｄ係数を掛け合わせたスコアである。

評価出力部１３０は、ステップＳ１０４で、決定部１３２により複数の候補文のそれぞれの修正スコアを比較し、最大の修正スコアを有する候補文を出力文と決定し、呈示部１４０へ引き渡す。呈示部１４０は、装置の構成により、上述のように、スピーカから当該決定文を発声させたり、表示パネルにテキスト文で表示させたりする。出力文の呈示が完了したら、一連の処理を終了する。

図４は、機器への応用例としてのスマートフォン７００を示す図である。出力文生成装置１００は、図示するように、スマートフォンに組み込むことができる。スマートフォン７００は、表示部７１０、マイク７１１、およびスピーカ７１２を備える。マイク７１１は、キーワード入力部１１０の一部として機能し、表示部７１０およびスピーカ７１２は、呈示部１４０の一部として機能する。

呈示部１４０は、表示部７１０に、例えばロボットを表現したキャラクタ８００をＣＧとして表示しても良い。キャラクタ８００は、対話ロボットのように頭部と体部を有し、呈示部１４０は、出力文の発話に併せてアニメーションで動作を表現することもできる。出力文は、スピーカ７１２から発声させても良く、スピーカ７１２からの発声に加え、あるいは発声に代えて、表示部７１０に吹出し８１０を表示し、出力文をテキストとしてユーザに知らせても良い。

１００出力文生成装置、１１０キーワード入力部、１２０候補文生成部、１２１ＮＮ生成器、１３０評価出力部、１３１スコア算出部、１３２決定部、１４０呈示部

Claims

入力された複数のキーワードから一つの出力文を自動生成する出力文生成装置であって、
前記複数のキーワードを取り込んで、それぞれが前記複数のキーワードの少なくとも一部を含む複数の候補文を生成する、学習済みのニューラルネットワークが組み込まれた候補文生成部と、
前記候補文生成部によって生成された前記複数の候補文のそれぞれで、含まれるすべての単語の出現回数に対する重複する単語の出現回数である重複割合を算出し、前記重複割合の小さな候補文の評価を高めることによって、前記複数の候補文から出力文を決定して出力する評価出力部と
を備える出力文生成装置。
前記評価出力部は、前記重複割合の小さな候補文の評価を高めると共に、前記複数の候補文のそれぞれで、前記複数のキーワードの群と対象の候補文に含まれるすべての単語の群の和集合の要素個数に対する、前記複数のキーワードの群と対象の候補文に含まれるすべての単語の群の積集合の要素個数であるキーワード割合を算出し、前記キーワード割合の大きな候補文の評価を高めることによって、前記複数の候補文から出力文を決定して出力する請求項１に記載の出力文生成装置。
前記候補文生成部は、前記複数の候補文と共に、候補文ごとに前記出力文と決定される可能性の高い順に大きな値が与えられる評価スコアＮを生成し、
前記評価出力部は、前記重複割合として
Ｐ＝１−（重複する単語の出現回数）／（すべての単語の出現回数）
を算出し、前記キーワード割合として
Ｊ＝（複数のキーワードの群と対象の候補文に含まれるすべての単語の群の積集合の要素個数）／（複数のキーワードの群と対象の候補文に含まれるすべての単語の群の和集合の要素個数）
を算出して、
Ｎ×Ｐ×Ｊ
の値が最大となる候補文を前記出力文として出力する請求項２に記載の出力文生成装置。
前記重複割合を算出する場合および前記キーワード割合を算出する場合は、助詞、助動詞および接続詞を除外する請求項２または３に記載の出力文生成装置。
前記重複割合を算出する場合および前記キーワード割合を算出する場合は、さらに特定の品詞を除外する請求項４に記載の出力文生成装置。
入力された複数のキーワードから一つの出力文を自動生成する出力文生成方法であって、
候補文生成部が、前記複数のキーワードを取り込んで、学習済みのニューラルネットワークを用いて、それぞれが前記複数のキーワードの少なくとも一部を含む複数の候補文を生成する候補文生成ステップと、
評価出力部が、前記候補文生成部によって生成された前記複数の候補文のそれぞれで、含まれるすべての単語の出現回数に対する重複する単語の出現回数である重複割合を算出し、前記重複割合の小さな候補文の評価を高めることによって、前記複数の候補文から出力文を決定して出力する評価出力ステップと
を有する出力文生成方法。
入力された複数のキーワードから一つの出力文を自動生成する出力文生成プログラムであって、
前記複数のキーワードを取り込んで、学習済みのニューラルネットワークを用いて、それぞれが前記複数のキーワードの少なくとも一部を含む複数の候補文を生成する候補文生成ステップと、
前記候補文生成ステップによって生成された前記複数の候補文のそれぞれで、含まれるすべての単語の出現回数に対する重複する単語の出現回数である重複割合を算出し、前記重複割合の小さな候補文の評価を高めることによって、前記複数の候補文から出力文を決定して出力する評価出力ステップと
をコンピュータに実行させる出力文生成プログラム。