JP7614738B2

JP7614738B2 - 検索装置および検索方法、学習装置および学習方法、質問回答予測システムおよび質問回答予測方法、並びにプログラム

Info

Publication number: JP7614738B2
Application number: JP2020085091A
Authority: JP
Inventors: 隆人小柳; 小太郎山本; 健太郎鈴木; 涼君塚
Original assignee: NTT Comware Corp
Current assignee: NTT Comware Corp
Priority date: 2020-05-14
Filing date: 2020-05-14
Publication date: 2025-01-16
Anticipated expiration: 2040-05-14
Also published as: JP2021179827A

Description

本発明は、検索装置および検索方法、学習装置および学習方法、質問回答予測システムおよび質問回答予測方法、並びにプログラムに関する。

従来より、質問に対して回答を得るための技術として、「全文検索技術」と「機械読解技術」とが知られている。全文検索技術は、質問中の単語の、文書中の出現頻度に基づいて、質問にマッチする文書を検索する技術である。機械読解技術は、質問、回答、および文献のセットを学習データとして学習し、質問が入力された場合に回答が含まれる文献中の区間を出力する技術である。

全文検索技術を用いた文書検索装置は、例えば、特許文献１に記載されている。この文書検索装置は、ユーザによって入力された検索条件に基づいて、文書データベースに記憶されている複数の文書に対する全文検索を行い、検索条件に一致する複数の文書を抽出する。

機械読解技術を用いた回答学習装置は、例えば、特許文献２に記載されている。この回答学習装置は、入力された文章及び質問文に基づいて、当該文章における当該質問文に対する回答の根拠となる範囲を推定するための予め学習された読解モデルを用いて、当該範囲の始端及び終端を推定する機械読解部を備える。

特開２０１９－８９６３４号公報特開２０２０－０６１１７３号公報

全文検索技術は多数の文献から所望の文献を抽出する技術であるが、全文検索技術により抽出した文献中に質問の回答が含まれている場合でも、当該文献を抽出した理由は当該文献中に質問中の単語が存在しただけであり、その他の理由を提示することができない。

機械読解技術は、質問、文献および回答を学習データとして学習するので、学習データに質問および文献が存在する場合には、文献中で質問の回答に対応した区間を抽出することができる。しかし、ユーザの質問に対する回答を含む文献が無い場合、回答を得ることができない。

本発明は、上記の課題に鑑みてなされたものであって、高い精度で質問に対する回答を出力することができる検索装置および検索方法、学習装置および学習方法、質問回答予測システムおよび質問回答予測方法、並びにプログラムを提供することを目的としている。

（１）本発明の一態様は、学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを有し、当該生成モデルを用いて、入力される質問に対応する特徴語を生成する特徴語生成部と、入力される前記質問に含まれる単語に基づいて当該単語に合致する単語を含む文献を文献データベースから検索する処理と、前記特徴語生成部により生成された特徴語に基づいて当該特徴語に合致する単語を含む文献を前記文献データベースから検索する処理とを実行する検索部と、学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを有し、前記機械読解モデルを用いて、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力する機械読解部と、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを前記機械読解部から取得し、各回答候補の尤度を示すスコアの比較に基づいて当該質問に対する回答を予測した結果を出力する予測部と、を備える、検索装置である。

（２）本発明の一態様は、上記の検索装置であって、前記予測部は、前記機械読解モデルにより出力された、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補と、当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補とが同じである場合において、当該同じ回答候補のそれぞれの尤度を示すスコアが閾値を超える場合、当該同じ回答候補同士のスコアを合計してよい。

（３）本発明の一態様は、学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを生成する第１の学習部と、学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを生成する第２の学習部と、を備える、学習装置である。

（４）本発明の一態様は、学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを生成する第１の学習部と、学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを生成する第２の学習部と、を備える、学習装置と、前記生成モデルを有し、当該生成モデルを用いて、入力される質問に対応する特徴語を生成する特徴語生成部と、入力される前記質問に含まれる単語に基づいて当該単語に合致する単語を含む文献を文献データベースから検索する処理と、前記特徴語生成部により生成された特徴語に基づいて当該特徴語に合致する単語を含む文献を前記文献データベースから検索する処理とを実行する検索部と、前記機械読解モデルを有し、前記機械読解モデルを用いて、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力する機械読解部と、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを前記機械読解部から取得し、各回答候補の尤度を示すスコアの比較に基づいて当該質問に対する回答を予測した結果を出力する予測部と、を備える、検索装置と、を備える、質問回答予測システムである。

（５）本発明の一態様は、学習装置が、学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを生成するステップと、前記学習装置が、学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを生成するステップと、検索装置が、前記生成モデルを用いて、入力される質問に対応する特徴語を生成するステップと、前記検索装置が、入力される前記質問に含まれる単語に基づいて当該単語に合致する単語を含む文献を文献データベースから検索する処理と、前記特徴語に基づいて当該特徴語に合致する単語を含む文献を前記文献データベースから検索する処理とを実行するステップと、前記検索装置が、前記機械読解モデルを用いて、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するステップと、前記検索装置が、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを取得し、各回答候補の尤度を示すスコアの比較に基づいて当該質問に対する回答を予測した結果を出力するステップと、を有する、質問回答予測方法である。

（６）本発明の一態様は、検索装置が、学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを有し、当該生成モデルを用いて、入力される質問に対応する特徴語を生成するステップと、前記検索装置が、入力される前記質問に含まれる単語に基づいて当該単語に合致する単語を含む文献を文献データベースから検索する処理と、生成された特徴語に基づいて当該特徴語に合致する単語を含む文献を前記文献データベースから検索する処理とを実行するステップと、前記検索装置が、学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを有し、前記機械読解モデルを用いて、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するステップと、前記検索装置が、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを取得し、各回答候補の尤度を示すスコアの比較に基づいて当該質問に対する回答を予測した結果を出力するステップと、を有する、検索方法である。

（７）本発明の一態様は、検索装置のコンピュータに、学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを有し、当該生成モデルを用いて、入力される質問に対応する特徴語を生成するステップと、入力される前記質問に含まれる単語に基づいて当該単語に合致する単語を含む文献を文献データベースから検索する処理と、生成された特徴語に基づいて当該特徴語に合致する単語を含む文献を前記文献データベースから検索する処理とを実行するステップと、学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを有し、前記機械読解モデルを用いて、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するステップと、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを取得し、各回答候補の尤度を示すスコアの比較に基づいて当該質問に対する回答を予測した結果を出力するステップと、を実行させる、プログラムである。

（８）本発明の一態様は、学習装置が、学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを生成するステップと、前記学習装置が、学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを生成するステップと、を有する、学習方法である。

（９）本発明の一態様は、学習装置のコンピュータに、学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを生成するステップと、前記学習装置が、学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを生成するステップと、を実行させる、プログラムである。

本発明の一態様によれば、高い精度で質問に対する回答を出力することができる。

実施形態の質問回答予測システムの構成例を示すブロック図である。実施形態の特徴語生成モデルの学習処理を説明するためのブロック図である。実施形態の特徴語生成モデルの構成の一例を示すブロック図である。実施形態の機械読解モデルの学習処理を説明するためのブロック図である。実施形態の機械読解モデルの構成の一例を示すブロック図である。実施形態の質問回答予測システムにおける処理手順の一例を示すフローチャートである。実施形態の質問回答予測システムにおける処理手順の一例を示すブロック図である。

以下、本発明を適用した検索装置および検索方法、学習装置および学習方法、質問回答予測システムおよび質問回答予測方法、並びにプログラムを、図面を参照して説明する。

＜質問回答予測システムの構成＞
図１は、実施形態の質問回答予測システムの構成例を示すブロック図である。実施形態の質問回答予測システム１は、未知の質問文を受け付けた場合に、当該質問に含まれる単語を用いて文献を検索し、検索した文献を用いて回答を予測し、予測した回答を提供するサービスを提供するためのＷｅｂシステムやアプリケーションシステムである。

質問回答予測システム１は、例えば、一または複数の端末装置１００と、サービス提供サーバ２００と、ジョブキュー２３０および２４０と、全文検索サーバ３００と、文献データベース３１０と、特徴語生成部４００と、特徴語生成モデル４１０と、機械読解部５００と、機械読解モデル５１０とを備える。質問回答予測システム１における端末装置１００、サービス提供サーバ２００、ジョブキュー２３０および２４０、全文検索サーバ３００、文献データベース３１０、特徴語生成部４００、特徴語生成モデル４１０、機械読解部５００、および機械読解モデル５１０は、例えば、通信ネットワークに接続され、ＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）や無線通信モジュールなどの通信インターフェースを備える（図１では不図示）。通信ネットワークは、例えば、インターネット、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、セルラー網、Ｗｉｆｉ（登録商標）などを含んでよい。

端末装置１００は、例えば、表示部、操作部、およびＣＰＵ等を備えたパーソナルコンピュータやスマートフォン等のコンピュータである。端末装置１００は、コンテンツの表示や操作内容の受け付け、および情報の送受信等を行うためにブラウザ１１０を備える。端末装置１００は、ブラウザ１１０に限らず、アプリケーションプログラムなどのＵＡ（ＵｓｅｒＡｇｅｎｔ）を起動してよい。ＵＡは、例えば、サービス提供サーバ２００が提供するサービスを受けるためのアプリケーションである。端末装置１００は、ＵＡとしてのアプリケーションを利用して、サービス提供サーバ２００から受信したコンテンツを用いて表示処理や操作の受け付け処理などを行う。実施形態の端末装置１００は、ユーザの操作に基づく質問文を含む要求をサービス提供サーバ２００に提供し、サービス提供サーバ２００から質問文に対する回答を含む応答を受け付ける。

サービス提供サーバ２００は、端末装置１００からの要求に応じ、質問文に対する回答を提供するサービスを実現するサーバ装置である。サービス提供サーバ２００は、例えば、ジョブ管理部２１０と、結果提供部２２０とを備える。ジョブ管理部２１０および結果提供部２２０といった機能部は、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｉｎｇＵｎｉｔ）やＴＰＵ（ＴｅｎｓｏｒＰｒｏｃｅｓｉｎｇ、Ｕｎｉｔ）など高速に機械学習処理（行列計算処理）を計算できるプロセッサや、ＧＰＵやＴＰＵなどのプロセッサの組み合わせ、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ-ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

ジョブ管理部２１０は、端末装置１００からの要求に応じて、特徴語生成処理のジョブおよび機械読解処理のジョブを管理する。ジョブ管理部２１０は、端末装置１００から質問文を受け付けた場合に、特徴語生成処理のジョブをジョブキュー２３０に登録する。ジョブ管理部２１０は、機械読解処理の対象となる文書をジョブキュー２４０に登録する。結果提供部２２０は、処理結果としての回答を含む応答を端末装置１００に提供する。なお、ジョブキュー２３０は、特徴語生成部４００内の記憶部で構成されてよいが、サービス提供サーバ２００内の記憶部で構成されてもよい。ジョブキュー２４０は、機械読解部５００内の記憶部で構成されてよいが、サービス提供サーバ２００内の記憶部で構成されてもよい。

特徴語生成部４００は、サービス提供サーバ２００から受け付けた質問文を単語に分割することで複数の質問語を生成し、各質問語を用いて特徴語を生成する特徴語生成処理を行う。特徴語生成部４００は、例えば、ＣＰＵ等のプロセッサであり、特徴語生成モデル４１０を実行することにより、特徴語生成処理を実現する。特徴語生成モデル４１０は、特徴語生成処理を実現するための各種のパラメータにより表現される。なお、プロセッサにはＧＰＵまたはＴＰＵなどの高速に行列計算処理を実行できるプロセッサの組み合わせが含まれてもよい。

全文検索サーバ３００は、サービス提供サーバ２００の要求に応じて、全文検索処理を実行するサーバ装置である。全文検索サーバ３００は、サービス提供サーバ２００から受け付けた質問文を単語（以下、質問語とも記載する。）に分割し、分割された単語群用いて全文検索処理を行う。全文検索処理は、文献データベース３１０に登録された文献に質問語と合致する単語が含まれるかを検索し、質問語と合致する単語を含む文献を抽出する処理である。文献データベース３１０は、多数の文献データが格納されたデータベースである。文献データベース３１０は、例えば、データベース管理等を行う処理部、ＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒy），ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ），またはＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等により実現される。

機械読解部５００は、サービス提供サーバ２００から受け付けた質問文を構成する複数の質問語、文献を用いて機械読解処理を行う。機械読解部５００は、例えば、ＣＰＵ等のプロセッサであり、機械読解モデル５１０を実行することにより、機械読解処理を実現する。機械読解モデル５１０は、機械読解処理を実現するための各種のパラメータにより表現される。機械読解部５００は、機械読解処理の処理結果として、質問に対する回答候補およびスコアをサービス提供サーバ２００に供給する。回答候補およびスコアは、結果提供部２２０により所定の処理が施されて端末装置１００に提供される。

図２は、実施形態の特徴語生成モデルの学習処理を説明するためのブロック図である。特徴語生成モデル４１０は、機械読解モデル５１０を学習するために用いられる機械読解用学習データのうち、質問文と例えば後述の学習処理部６００により文献から抽出される特徴語を用いて学習される。特徴語生成モデル４１０の学習処理は、まず、特徴語生成モデル４１０に質問文を入力し、特徴語生成モデル４１０から当該質問文に対応する所定の特徴語を出力するように特徴語生成モデル４１０における処理パラメータを学習する。

学習処理部６００は、例えば以下のステップで処理を行う。（１）学習処理部６００は、例えば質問文と検索対象文献すべてについて単語と出現回数とのインデックスを作成する。（２）学習処理部６００は、作成したインデックスを用いて質問文と、質問文とペアになる回答を含む文献に対し、文献を特徴づける単語を、特徴語として抽出する。文献を特徴づける単語である特徴語は、全文献に対し、対象文献のＢＭ２５スコアが高くなる単語群である。（３）学習処理部６００は、上記ステップにより獲得した質問文と対応する特徴語のペアに対し、質問文を入力し例えばＢＭ２５スコアにおける上位１０件の単語を特徴語として出力するように特徴語生成モデル４１０の処理パラメータを学習する。学習処理部６００は、上記の（２）および（３）を学習用データの全質問文と文献のペアに対して１回もしくは複数回、特徴語生成モデル４１０の出力の誤差が収束するまで繰り返す。

図３は、実施形態の特徴語生成モデルの構成の一例を示すブロック図である。特徴語生成モデル４１０は、例えば、入力層、中間層、および出力層を備え、各層が複数のノードを持つ多層ニューラルネットワークである。学習処理部６００は、多層ニューラルネットワークにおける単語の埋め込み、注意、活性化関数、誤差関数、および勾配降下アルゴリズム、重み係数、および重み行列といった処理パラメータを更新することで、質問文に対応した特徴語を出力するように学習する。なお、実施形態における特徴語生成モデル４１０は多層ニューラルネットワークであるが、これに限定されず、他の機械学習モデルであってよい。さらに、特徴語生成モデル４１０は、質問文から特徴語を生成可能なモデルであれば、機械学習モデルに限定しない。

図４は、実施形態の機械読解モデルの学習処理を説明するためのブロック図である。機械読解モデル５１０は、質問、当該質問の回答を含む文献、および回答のセットを複数含む機械読解処理用学習データを用いて学習される。回答は、例えば、文献中における区間を示す情報である。機械読解モデル５１０の学習処理は、まず、機械読解モデル５１０に質問および文献を入力し、機械読解モデル５１０から当該質問および文献に対応する回答を出力するように機械読解モデル５１０における処理パラメータを学習する。

図５は、実施形態の機械読解モデルの構成の一例を示すブロック図である。機械読解モデル５１０は、例えば入力層、中間層、および出力層を備え、各層が複数のノードを持つ多層ニューラルネットワークである。学習処理部６１０は、多層ニューラルネットワークにおける単語の埋め込み、注意、活性化関数、誤差関数、及び勾配降下アルゴリズム、重み係数、および重み行列といった処理パラメータを更新することで、質問文に対応した特徴語を出力するように学習する。なお、実施形態における機械読解モデル５１０は多層ニューラルネットワークであるが、これに限定されず、他の機械学習モデルであってよい。さらに、機械読解モデル５１０は、質問文と文献から文献中に存在する質問文の回答となる箇所を出力可能なモデルであれば機械学習モデルに限定しない。

機械読解モデル５１０の出力層は、文献中に含まれる回答を示す区間を評価するためのスコアを出力することが可能なノードであればよい。文献中に含まれる回答を示す区間を評価するためのスコアは、例えば、すべての区間の値が０～１の所定範囲に収まり、他の区間との総和が考慮されない値で表される。このスコアは、例えば、区間同士の絶対的な尤度を示す値と読み替えてよい。この出力層に適用された活性化関数は、例えばＳｉｇｍｏｉｄ（シグモイド）関数と呼ばれる。機械読解モデル５１０は、例えば、複数の文献を用いて複数の区間が抽出された場合に、Ｓｉｇｍｏｉｄ関数を用いて区間およびスコアを出力する。複数の文献を用いて複数の区間が抽出された場合とは、例えば、質問語から全文検索処理により取得された文献Ａから機械読解処理により区間Ａが抽出され、特徴語から全文検索処理により取得された文献Ｂから機械読解処理により区間Ｂが抽出されることである。これにより、サービス提供サーバ２００は、異なる文献Ａ，Ｂであっても、区間Ａのスコアと区間Ｂのスコアとを比較して順位付けをすることができる。

図６は、実施形態の質問回答予測システムにおける処理手順の一例を示すフローチャートである。図７は、実施形態の質問回答予測システムにおける処理手順の一例を示すブロック図である。
上述した質問回答予測システムは、まず、サービス提供サーバ２００が、端末装置１００から質問文を受け付ける（ステップＳ１００）。次に、サービス提供サーバ２００は、特徴語生成部４００に質問文を提供する。特徴語生成部４００は、質問文を単語に分割することで質問語を生成し、質問語に基づく特徴語を生成する（ステップＳ１０２）。サービス提供サーバ２００は、生成された特徴語を取得する。

次にサービス提供サーバ２００は、質問語および特徴語を全文検索サーバ３００に提供する。全文検索サーバ３００は、質問語を用いた全文検索処理、および特徴語を用いた全文検索処理を実行する（ステップＳ１０４）。サービス提供サーバ２００は、質問語を用いた全文検索処理の結果としての文献、および特徴語を用いた全文検索処理の結果としての文献を取得する。

次にサービス提供サーバ２００は、取得した文献を機械読解処理の処理単位の長さを持つ文書に分割し（ステップＳ１０６）、機械読解部５００は、各文書について機械読解処理を実行する（ステップＳ１０８）。サービス提供サーバ２００は、各質問に対応する文書から取得した回答候補および当該回答候補のスコアを取得する。

次にサービス提供サーバ２００は、機械読解部５００から取得した回答候補およびスコアに基づいて、処理結果としての回答を生成する（ステップＳ１１０）。このとき、サービス提供サーバ２００は、回答候補間におけるスコアの比較に基づいて回答を出力する。具体的に、サービス提供サーバ２００は、回答候補が同じである場合において、当該同じ回答候補のそれぞれのスコアが閾値を超える場合、当該同じ回答候補同士のスコアを合計する。

ここで、別々の文献から同一の回答が出力された場合に、正解である可能性を高くすることができる。しかし、機械読解モデル５１０が出力したスコアの値を考慮せずにスコアを加算すると頻出の単語等でスコアが低い多数の回答が出力された場合に、回答が正解である精度が低下してしまう。また、スコアの範囲に負値を含めた場合に、加算することでスコアが減少する可能性がある。そこで、サービス提供サーバ２００は、スコアの加算対象を限定するために閾値を設定し、閾値を超えるスコアを持つ回答候補同士のスコアを加算する。サービス提供サーバ２００は、加算されないスコアを持つ回答候補が複数存在する場合、複数の回答候補のスコアのうちで最大値のスコアを、当該回答候補のスコアとして決定する。

サービス提供サーバ２００は、複数の回答候補をスコアでランキングする。サービス提供サーバ２００は、スコアが大きい方の回答候補から降順に回答候補を並べた情報を結果として生成し（ステップＳ１１０）、生成した情報を端末装置１００に提供する（ステップＳ１１２）。

なお、実施形態の質問回答予測システム１は、回答を含む文献の文字情報を端末装置１００により表示させ、ユーザの操作に基づく回答を用いて機械読解モデル５１０のための学習処理を行ってよい。

＜実施形態の効果＞
以上説明したように、実施形態の質問回答予測システム１によれば、質問を入力し、質問に含まれる単語に基づいて文献を検索する検索部（例えば全文検索サーバ３００）と、検索部により検索された文献に基づく情報を入力し、質問に対する回答を予測した結果を出力する予測モデル（例えば機械読解モデル５１０）を有する予測部（例えば機械読解部５００）と、備える、検索装置（例えばサービス提供サーバ２００、全文検索サーバ３００および機械読解部５００）を実現することができる。この検索装置において、予測モデルは、例えば、学習用質問、学習用回答、および前記学習用回答を含む学習用文献を含むセットを学習データとして学習したモデルである。
実施形態の質問回答予測システム１によれば、質問、質問の回答、および回答を含む文献を第１学習データとして学習し、未知の質問および文献を入力した場合に回答を出力する予測モデル（例えば機械読解モデル５１０）を生成する第１の学習部（例えば学習処理部６１０）と、第１学習データのうち質問および質問に関連する特徴語を学習データとして学習し、未知の質問を入力した場合に、当該未知の質問に関連する特徴語を出力する特徴語生成モデル（例えば特徴語生成モデル４１０）を生成する第２の学習部（例えば学習処理部６００）と、を備える学習装置（例えば学習処理部６００と学習処理部６１０との組み合わせ）と、特徴語生成モデルを有し、未知の質問を入力した場合に、当該未知の質問に関連する特徴語を生成する特徴語生成部（例えば特徴語生成部４００）と、未知の質問に含まれる単語に基づいて文献を検索する処理と、および特徴語生成部により生成された特徴語に基づいて文献を検索する処理とを実行する検索部（例えば全文検索サーバ３００）と、予測モデルを有し、検索部により検索された文献に基づく情報を入力し、未知の質問に対する回答を予測した結果を出力する予測部（例えば機械読解部５００）と、を備える、検索装置（例えば全文検索サーバ３００と特徴語生成部４００と機械読解部５００との組み合わせ）と、を備える、質問回答予測システムを実現することができる。
実施形態の質問回答予測システム１によれば、質問、質問の回答、および回答を含む文献を第１学習データとして学習し、未知の質問および文献を入力した場合に回答を出力する予測モデルを生成するステップと、第１学習データのうち質問および質問に関連する特徴語を学習データとして学習し、未知の質問を入力した場合に、当該未知の質問に関連する特徴語を出力する特徴語生成モデルを生成するステップと、特徴語生成モデルを用いて、未知の質問を入力した場合に、当該未知の質問に関連する特徴語を生成するステップと、未知の質問に含まれる単語に基づいて文献を検索する処理と、および特徴語生成部により生成された特徴語に基づいて文献を検索する処理とを実行するステップと、予測モデルを用いて、検索された文献に基づく情報を入力し、未知の質問に対する回答を予測した結果を出力するステップと、を有する、質問回答予測方法を実現することができる。
質問回答予測システム１によれば、高い精度で質問に対する回答を出力することができることができる。すなわち、質問回答予測システム１によれば、ユーザの質問に対して単純な文字列等の一致に基づく文献の検索結果ではなく、質問から検索した文献に含まれる文字列のうち回答の確率の高い情報を、回答の結果として提供することができる。この結果、質問回答予測システム１によれば、質問の文脈を考慮した回答を提供することができる。

実施形態の質問回答予測システム１によれば、質問に含まれる単語を入力し、当該質問に関連する特徴語を生成する生成モデルを有する特徴語生成部（例えば特徴語生成部４００）を備え、検索部により、質問に含まれる単語に基づいて文献を検索する処理と、および特徴語生成部により生成された特徴語に基づいて文献を検索する処理とを実行することができる。生成モデルは、例えば、学習データに含まれる学習用質問を入力し、入力した学習用質問に関連する特徴語を出力するように学習されたモデルである。
この質問回答予測システム１によれば、更に高い精度で質問に対する回答を出力することができることができる。すなわち、質問回答予測システム１によれば、質問に含まれる単語から検索した文献が存在しても当該文献に回答が含まれなくても、特徴語から検索した文献から回答を取得することができる。また、質問回答予測システム１によれば、ユーザの質問から検索した文献に正解となる回答を含んでいない場合でも、特徴語から検索した文献に正解となる回答を含んでいる場合に、質問に対して正解となる回答を提供することができる。

実施形態の質問回答予測システム１によれば、予測モデルにより、結果の元となる情報である一または複数の回答候補、および当該一または複数の回答候補のスコアを出力する出力層を備え、予測部により、質問に含まれる単語に基づく文献中の回答候補およびスコア、特徴語に基づく文献中の回答候補およびスコアを出力し、回答候補間における前記スコアの比較に基づいて結果を出力することができる。また、実施形態の質問回答予測システム１によれば、予測モデルにより、結果の元となる情報である一または複数の回答候補、および当該一または複数の回答候補のスコアであって一または複数のスコアの上限および下限が設定されかつ総和が所定値に調整されないスコアを出力する出力層を備え、予測部により、質問に含まれる単語に基づく文献中の回答候補およびスコア、特徴語に基づく文献中の回答候補およびスコアを出力し、回答候補間における前記スコアの比較に基づいて結果を出力することができる。
この質問回答予測システム１によれば、更に高い精度で質問に対する回答を出力することができる。すなわち、質問回答予測システム１によれば、質問ならびに特徴語に基づく文献から抽出した複数の回答候補のスコアを比較することで、多数の回答候補から回答の確率の高い情報を提供することができる。

質問回答予測システム１によれば、予測部により、予測モデルにより出力された回答候補が同じである場合において、当該同じ回答候補のそれぞれのスコアが閾値を超える場合、当該同じ回答候補同士のスコアを合計することができる。これにより、質問回答予測システム１によれば、複数の文献で、回答の確率が低い多数の回答候補が出力された場合でも、ユーザに提供する回答の精度が低くなることを抑制することができる。具体的には、多くの文献に出現する情報であるが、質問の文脈とはあまり合致しない情報等を回答として提供することを抑制することができる。

なお、各実施形態および変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の１または複数の実施形態や他の１または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。

なお、本実施形態における個体推定装置１００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、端末装置１００、サービス提供サーバ２００、全文検索サーバ３００、特徴語生成部４００、機械読解部５００に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ
ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。

ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

１質問回答予測システム
１００端末装置
１１０ブラウザ
２００サービス提供サーバ
２１０ジョブ管理部
２２０結果提供部
２３０、２４０ジョブキュー
３００全文検索サーバ
３１０文献データベース
４００特徴語生成部
４１０特徴語生成モデル
５００機械読解部
５１０機械読解モデル
６００、６１０学習処理部

Claims

学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを有し、当該生成モデルを用いて、入力される質問に対応する特徴語を生成する特徴語生成部と、
入力される前記質問に含まれる単語に基づいて当該単語に合致する単語を含む文献を文献データベースから検索する処理と、前記特徴語生成部により生成された特徴語に基づいて当該特徴語に合致する単語を含む文献を前記文献データベースから検索する処理とを実行する検索部と、
学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを有し、前記機械読解モデルを用いて、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力する機械読解部と、
入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを前記機械読解部から取得し、各回答候補の尤度を示すスコアの比較に基づいて当該質問に対する回答を予測した結果を出力する予測部と、
を備える、検索装置。
前記予測部は、前記機械読解モデルにより出力された、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補と、当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補とが同じである場合において、当該同じ回答候補のそれぞれの尤度を示すスコアが閾値を超える場合、当該同じ回答候補同士のスコアを合計する、
請求項１に記載の検索装置。
学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを生成する第１の学習部と、
学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを生成する第２の学習部と、を備える、
学習装置。
学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを生成する第１の学習部と、学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを生成する第２の学習部と、を備える、学習装置と、
前記生成モデルを有し、当該生成モデルを用いて、入力される質問に対応する特徴語を生成する特徴語生成部と、入力される前記質問に含まれる単語に基づいて当該単語に合致する単語を含む文献を文献データベースから検索する処理と、前記特徴語生成部により生成された特徴語に基づいて当該特徴語に合致する単語を含む文献を前記文献データベースから検索する処理とを実行する検索部と、前記機械読解モデルを有し、前記機械読解モデルを用いて、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力する機械読解部と、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを前記機械読解部から取得し、各回答候補の尤度を示すスコアの比較に基づいて当該質問に対する回答を予測した結果を出力する予測部と、を備える、検索装置と、
を備える、質問回答予測システム。
学習装置が、学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを生成するステップと、
前記学習装置が、学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを生成するステップと、
検索装置が、前記生成モデルを用いて、入力される質問に対応する特徴語を生成するステップと、
前記検索装置が、入力される前記質問に含まれる単語に基づいて当該単語に合致する単語を含む文献を文献データベースから検索する処理と、前記特徴語に基づいて当該特徴語に合致する単語を含む文献を前記文献データベースから検索する処理とを実行するステップと、
前記検索装置が、前記機械読解モデルを用いて、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するステップと、
前記検索装置が、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを取得し、各回答候補の尤度を示すスコアの比較に基づいて当該質問に対する回答を予測した結果を出力するステップと、
を有する、質問回答予測方法。
検索装置が、学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを有し、当該生成モデルを用いて、入力される質問に対応する特徴語を生成するステップと、
前記検索装置が、入力される前記質問に含まれる単語に基づいて当該単語に合致する単語を含む文献を文献データベースから検索する処理と、生成された特徴語に基づいて当該特徴語に合致する単語を含む文献を前記文献データベースから検索する処理とを実行するステップと、
前記検索装置が、学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを有し、前記機械読解モデルを用いて、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するステップと、
前記検索装置が、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを取得し、各回答候補の尤度を示すスコアの比較に基づいて当該質問に対する回答を予測した結果を出力するステップと、
を有する、検索方法。
検索装置のコンピュータに、
学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを有し、当該生成モデルを用いて、入力される質問に対応する特徴語を生成するステップと、
入力される前記質問に含まれる単語に基づいて当該単語に合致する単語を含む文献を文献データベースから検索する処理と、生成された特徴語に基づいて当該特徴語に合致する単語を含む文献を前記文献データベースから検索する処理とを実行するステップと、
学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを有し、前記機械読解モデルを用いて、入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するステップと、
入力される前記質問と当該質問に含まれる単語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコア、および当該質問と当該質問に対応する特徴語に基づいて検索された文献とに対応する回答候補および当該回答候補の尤度を示すスコアを取得し、各回答候補の尤度を示すスコアの比較に基づいて当該質問に対する回答を予測した結果を出力するステップと、
を実行させる、プログラム。
学習装置が、学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを生成するステップと、
前記学習装置が、学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを生成するステップと、
を有する、学習方法。
学習装置のコンピュータに、
学習用質問と当該学習用質問に対する学習用回答を含む学習用文献を特徴づける単語である特徴語とのセットを学習データとして、前記学習用質問に対応する特徴語を生成するように学習した生成モデルを生成するステップと、
前記学習装置が、学習用質問、当該学習用質問に対する学習用回答を含む学習用文献、および当該学習用回答のセットを学習データとして、当該学習用質問と当該学習用文献とに対応する回答候補および当該回答候補の尤度を示すスコアを出力するように学習した機械読解モデルを生成するステップと、
を実行させる、プログラム。