JP7736787B2 - 回答スパン訂正 - Google Patents

Description

本発明の実施形態の分野は、機械読解（ＭＲＣ）モデルおよびシステムのための回答スパン訂正に関する。

機械読解（ＭＲＣ）での回答検証は、入力コンテキスト－質問ペアに対して、抽出された回答を検証することからなる。従来のシステムは、抽出された回答から、質問の「回答可能性」を再評価することに対処する。従来のＭＲＣシステムは、回答可能な質問が提示されたとき、部分的に正しい回答を生成する傾向を有する。

実施形態は、機械読解（ＭＲＣ）モデルおよびシステムのための回答スパン訂正に関する。一実施形態は、コンピューティング・デバイスを使用して、自然言語質問回答システムによって生成される回答を改善する方法を提供する。方法は、コンピューティング・デバイスによって、自然言語質問回答システムでの複数の質問を受け取ることを含む。コンピューティング・デバイスは、複数の質問に対する複数の回答をさらに生成する。コンピューティング・デバイスは、生成した複数の回答で新しいトレーニング・セットをさらに構築し、各回答が、複数の質問のうちの対応する質問と比較される。コンピューティング・デバイスは、生成した複数の回答のうちの１つまたは複数のスパンを区切るトークンで新しいトレーニング・セットをさらに増補する。コンピューティング・デバイスは、増補した新しいトレーニング・セットで新しい自然言語質問回答システムをさらにトレーニングする。実施形態は、訂正を介して、様々な誤りカテゴリで現況技術の英語リーダの予測を著しく改善する。ＭＲＣシステムでは、回答可能な質問が提示されたとき、既存のＭＲＣシステムが部分的に正しい回答を生成する傾向があるので、いくつかの特徴が、回答の訂正の利点に寄与する。いくつかの特徴は、ＭＲＣモデルの予測の誤りを検出し、誤りを訂正するという利点に寄与する。さらに、特徴は、グラウンド・トルース（ＧＴ）により良く一致する回答スパンを生成するという利点に寄与し、したがってＭＲＣ出力回答の品質を改善する。

以下の特徴のうちの１つまたは複数が含まれ得る。いくつかの実施形態では、自然言語質問回答システムのリーダ・モデルの回答スパンが、新しい自然言語質問回答システムについての増補した新しいトレーニング・セットを使用して訂正される。

いくつかの実施形態では、回答スパンを訂正する新しい自然言語質問回答システムが、自然言語質問回答システムの後ろにカスケード接続される。

１つまたは複数の実施形態では、方法は、回答スパンを訂正する新しい自然言語質問回答システムによって、回答スパンを訂正すべきかどうかを判定することをさらに含み得る。さらに、新しい自然言語質問回答システムのコレクタ・モデルが、改良後回答スパンを生成することに基づいて、回答スパンを訂正する。

いくつかの実施形態では、方法は、コレクタ・モデルが、改良後回答スパンを生成するためにニューラル・ネットワークを使用することをさらに含み得る。

１つまたは複数の実施形態では、方法は、回答スパンを訂正すべきではないという判定に対して、新しい自然言語質問回答システムに対する入力として、ＧＴ回答を区切ることに基づいて、複数の回答のうちのそれぞれの元の回答から新しい回答例を作成し、訂正の必要がないことを示すことを含み得る。

いくつかの実施形態では、方法は、複数の上位ｋ個の誤った回答予測を使用して、それぞれの誤った回答予測についての回答例を作成することをさらに含み得、入力がリーダ・モデルの予測される回答スパンであり、ターゲット回答がＧＴ回答である。

１つまたは複数の実施形態では、方法は、生成した複数の回答が予測される回答を含むことと、１つまたは複数のトークンが、コレクタ・モデルによって新しい回答を予測するために、コンテキスト中の予測される複数の回答をマークすることとをさらに含み得る。

以下の説明、添付の特許請求の範囲、および添付の図面を参照すると、本実施形態のこれらおよび他の特徴、態様、および利点を理解されよう。

一実施形態によるクラウド・コンピューティング環境を示す図である。 一実施形態による抽象化モデル層のセットを示す図である。 一実施形態による、機械読解（ＭＲＣ）についての性能改善のための回答スパン訂正用のシステムのネットワーク・アーキテクチャである。 一実施形態による、図３のサーバまたはクライアントあるいはその両方に関連付けられ得る代表的ハードウェア環境を示す図である。 一実施形態による、ＭＲＣについての性能改良のための回答スパン訂正用の分散システムを示すブロック図である。 多層双方向トランスフォーマ・エンコーダ（ＢＥＲＴ）ＭＲＣシステムの一例を示す図である。 一実施形態による、従来のＭＲＣモデルまたはシステムのリーダからの（質問およびコンテキストが与えられた場合の）単一の回答結果、さらにはリーダ・プラス・コレクタ・パイプラインからの（質問およびコンテキストが与えられた場合の）回答結果の例を示す図である。 フォールドに分割された、従来のＭＲＣモデルまたはシステムについてのトレーニング・データの代表例を示す図である。 一実施形態による、残りのフォールドに関する予測を生成するために使用される、ｎ－１個のフォールドが別々のＭＲＣモデルをトレーニングするためにどのようにグループ化されるかの代表例を示す図である。 一実施形態による、修正後ＭＲＣ回答スパン・コレクタ・モデルのリーダ・プラス・コレクタ・パイプラインについての流れのブロック図である。 一実施形態によるによる、ｒｏｂｕｓｔｌｙ－ｏｐｔｉｍｉｚｅｄ ＢＥＲＴ手法（ＲｏＢＥＲＴａ）、２リーダ手法のアンサンブル、および図９に示されるリーダ・プラス・コレクタ・パイプライン（または修正後ＭＲＣ回答スパン・コレクタ・モデル）を使用する手法についての、Ｎａｔｕｒａｌ Ｑｕｅｓｔｉｏｎｓ（ＮＱ）ＭＲＣベンチマークについての回答可能な質問に関する結果を含む表を示す図である。 一実施形態による、パラグラフが英語であり、一般化クロスリンガル移転タスク（Ｇ－ＸＬＴ）についてのものであるときの、リーダ・プラス・コレクタ・パイプライン（図９に示される修正後ＭＲＣ回答スパン・コレクタ・モデル）を使用するＭｕｌｔｉｌｉｎｇｕａｌ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ（ＭＬＱＡ）ＭＲＣベンチマーク・データセットに関する結果を含む表を示す図である。 一実施形態による、リーダ・プラス・コレクタ・パイプライン（修正後ＭＲＣ回答スパン・コレクタ・モデル）を使用することによるすべての４９個のＭＬＱＡ言語ペア組合せについての完全一致スコアの違いを含む表を示す図である。 一実施形態による、ＭＲＣについての性能改善のための回答スパン訂正についてのプロセスのブロック図である。

例示のために様々な実施形態の説明が提示されているが、網羅的であること、および開示される実施形態に限定されることは意図されない。記載の実施形態の範囲から逸脱することなく、多くの修正形態および変形形態が当業者には明らかとなるであろう。本明細書で用いられる用語は、実施形態の原理、市場で見つかる技術に勝る実際の応用もしくは技術的改善を最良に説明するために、または本明細書で開示される実施形態を当業者が理解することを可能にするために選ばれたものである。

実施形態は、機械読解（ＭＲＣ）モデルおよびシステムのための回答スパン訂正に関する。一実施形態は、コンピューティング・デバイスによって、自然言語質問回答システムでの複数の質問を受け取ることを含む、コンピューティング・デバイスを使用して、自然言語質問回答システムによって生成される回答を改善する方法を提供する。コンピューティング・デバイスは、複数の質問に対する複数の回答をさらに生成する。コンピューティング・デバイスは、生成した複数の回答で新しいトレーニング・セットをさらに構築し、各回答が、複数の質問のうちの対応する質問と比較される。コンピューティング・デバイスは、生成した複数の回答のうちの１つまたは複数のスパンを区切るトークンで新しいトレーニング・セットをさらに増補する。コンピューティング・デバイスは、増補した新しいトレーニング・セットで新しい自然言語質問回答システムをさらにトレーニングする。

１つまたは複数の実施形態は、人工知能（ＡＩ）モデルを利用するコレクタ（たとえば、コレクタ９６０（図９））を含む。ＡＩモデルは、トレーニングされたＭＬモデル（たとえば、ＮＮ、畳み込みＮＮ（ＣＮＮ）、リカレントＮＮ（ＲＮＮ）、長・短期記憶（ＬＳＴＭ）ベースのＮＮ、ゲート・リカレント・ユニット（ＧＲＵ）ベースのＲＮＮ、ツリー・ベースのＣＮＮ、自己注意ネットワーク（たとえば、基本ビルディング・ブロックとして注意機構を利用するＮＮ；自己注意・ネットワークは、シーケンス・モデリング・タスクに対して効果的であることが示されていると共に、反復および畳み込みを有さない）、ＢｉＬＳＴＭ（双方向ＬＳＴＭ）などのモデル）を含み得る。人工ＮＮは、ノードまたはニューロンの相互接続されたグループである。

本開示はクラウド・コンピューティングの詳細な説明を含むが、本明細書に記載の教示の実装はクラウド・コンピューティング環境に限定されないことをあらかじめ理解されたい。むしろ、本実施形態のいくつかの実施形態は、現在周知の、または後に開発される任意の他のタイプのコンピューティング環境と共に実装することができる。

クラウド・コンピューティングは、最小限の管理労力またはサービスのプロバイダとの対話で迅速にプロビジョニングされ、解放され得る、構成可能なコンピューティング・リソース（たとえば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン（ＶＭ）、およびサービス）の共有プールへの便利なオンデマンド・ネットワーク・アクセスを可能にするためのサービス配信のモデルである。このクラウド・モデルは、少なくとも５つの特徴、少なくとも３つのサービス・モデル、および少なくとも４つの配置モデルを含み得る。

特徴は以下の通りである。

オンデマンド・セルフサービス：クラウド消費者は、サービスのプロバイダとの人間の対話を必要とすることなく、必要に応じて自動的に、サーバ時間やネットワーク・ストレージなどのコンピューティング機能を一方的にプロビジョニングし得る。

広範なネットワーク・アクセス：機能がネットワークを介して利用可能であり、異種シンまたはシック・クライアント・プラットフォーム（たとえば、携帯電話、ラップトップ、およびＰＤＡ）による使用を促進する標準機構を通じてアクセスされる。

リソース・プーリング：マルチ・テナント・モデルを使用して複数の消費者にサービスするためにプロバイダのコンピューティング・リソースがプールされ、異なる物理および仮想リソースが、要求に従って動的に割当ておよび再割当てされる。消費者は一般に、提供されるリソースの厳密な位置に関する制御または知識を有さないが、より高いレベルの抽象化（たとえば、国、州、またはデータ・センタ）で位置を指定することができ得るという点で、ある意味で位置独立性がある。

迅速な弾力性：迅速にスケールアウトし、迅速に解放して迅速にスケールインするために、機能が、迅速かつ弾力的に、あるケースでは自動的にプロビジョニングされ得る。消費者にとって、プロビジョニングのために利用可能な機能はしばしば無制限であるように見え、いつでも任意の量を購入することができる。

測定サービス：クラウド・システムは、サービスのタイプにとって適切な何らかのレベルの抽象化（たとえば、ストレージ、処理、帯域幅、およびアクティブな消費者アカウント）の計量機能を活用することによってリソース使用量を自動的に制御し、最適化する。リソース使用量が監視され、制御され、レポートされ得、それによって、利用されるサービスのプロバイダと消費者の両方についての透明性が実現される。

サービス・モデルは以下の通りである。

Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＳａａＳ）：消費者に提供される機能は、クラウド・インフラストラクチャ上で実行中のプロバイダのアプリケーションを使用できることである。アプリケーションは、ウェブ・ブラウザ（たとえば、ウェブ・ベースのｅメール）などのシン・クライアント・インターフェースを通じて、様々なクライアント・デバイスからアクセス可能である。消費者は、ネットワーク、サーバ、オペレーティング・システム、ストレージ、さらには個々のアプリケーション機能を含む、基礎となるクラウド・インフラストラクチャを管理または制御しないが、可能性のある例外は、限定された消費者特有のアプリケーション構成設定である。

Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ（ＰａａＳ）：消費者に提供される機能は、プロバイダによってサポートされるプログラミング言語およびツールを使用して作成された、消費者が作成または取得したアプリケーションをクラウド・インフラストラクチャ上に配置できることである。消費者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む、基礎となるクラウド・インフラストラクチャを管理または制御しないが、配置されるアプリケーション、および場合によってはアプリケーション・ホスティング環境構成に関する制御を有する。

Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＩａａＳ）：消費者に提供される機能は、処理、ストレージ、ネットワーク、および他の基本コンピューティング・リソースをプロビジョニングできることであり、消費者は、オペレーティング・システムおよびアプリケーションを含み得る任意のソフトウェアを配置および実行することができる。消費者は、基礎となるクラウド・インフラストラクチャを管理または制御しないが、オペレーティング・システム、ストレージ、配置されるアプリケーションに関する制御、および場合によっては選択されたネットワーキング構成要素（たとえば、ホスト・ファイアウォール）の限定された制御を有する。

配置モデルは以下の通りである。

プライベート・クラウド：クラウド・インフラストラクチャが組織だけのために運用される。クラウド・インフラストラクチャは、組織または第３者によって管理され得、オンプレミスまたはオフプレミスで存在し得る。

コミュニティ・クラウド：クラウド・インフラストラクチャがいくつかの組織によって共有され、共有される関心事（たとえば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンスの考慮事項）を有する特定のコミュニティをサポートする。クラウド・インフラストラクチャは、組織または第３者によって管理され得、オンプレミスまたはオフプレミスで存在し得る。

パブリック・クラウド：クラウド・インフラストラクチャが、一般社会または大規模な産業グループに対して利用可能にされ、クラウド・サービスを販売する組織によって所有される。

ハイブリッド・クラウド：クラウド・インフラストラクチャは、固有のエンティティのままであるが、データおよびアプリケーション・ポータビリティを可能にする標準化技術または所有権を主張できる技術（たとえば、クラウド間のロード・バランシングのためのクラウド・バースティング）によって互いに結び付けられる２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の合成である。

クラウド・コンピューティング環境は、ステートレスネス（statelessness）、低結合、モジュラリティ、およびセマンティック相互運用性（semantic interoperability）に焦点を当てることを指向するサービスである。クラウド・コンピューティングの中心は、相互接続されたノードのネットワークを含むインフラストラクチャである。

次に図１を参照すると、例示的クラウド・コンピューティング環境５０が示されている。図示されるように、クラウド・コンピューティング環境５０は、たとえば、携帯情報端末（ＰＤＡ）もしくはセルラ電話５４Ａ、デスクトップ・コンピュータ５４Ｂ、ラップトップ・コンピュータ５４Ｃ、または自動車コンピュータ・システム５４Ｎ、あるいはその組合せなどの、クラウド消費者によって使用されるローカル・コンピューティング・デバイスが通信し得る１つまたは複数のクラウド・コンピューティング・ノード１０を備える。ノード１０は互いに通信し得る。ノード１０は、前述のようなプライベート・クラウド、コミュニティ・クラウド、パブリック・クラウド、またはハイブリッド・クラウド、あるいはそれらの組合せなど、１つまたは複数のネットワーク内で物理的または仮想的にグループ化され得る（図示せず）。これにより、クラウド・コンピューティング環境５０が、インフラストラクチャ、プラットフォーム、またはソフトウェア、あるいはその組合せを、クラウド消費者がローカル・コンピューティング・デバイス上でそのためのリソースを維持する必要のないサービスとして提供することが可能となる。図１のコンピューティング・デバイス５４Ａ～Ｎのタイプは例示的なものに過ぎないこと、ならびにコンピューティング・ノード１０およびクラウド・コンピューティング環境５０が、（たとえば、ウェブ・ブラウザを使用して）任意のタイプのネットワークまたはネットワーク・アドレス指定可能接続あるいはその両方を介して任意のタイプのコンピュータ化されたデバイスと通信し得ることを理解されたい。

次に図２を参照すると、クラウド・コンピューティング環境５０（図１）によって提供される機能抽象化層のセットが示されている。図２に示される構成要素、層、および機能は例示的なものに過ぎず、本発明の実施形態はそれに限定されないことをあらかじめ理解されたい。図示されるように、以下の層および対応する機能が提供される。

ハードウェアおよびソフトウェア層６０が、ハードウェア構成要素およびソフトウェア構成要素を含む。ハードウェア構成要素の例には、メインフレーム６１、ＲＩＳＣ（縮小命令セット・コンピュータ）アーキテクチャベースのサーバ６２、サーバ６３、ブレード・サーバ６４、記憶デバイス６５、ならびにネットワークおよびネットワーキング構成要素６６が含まれ得る。いくつかの実施形態では、ソフトウェア構成要素は、ネットワーク・アプリケーション・サーバ・ソフトウェア６７およびデータベース・ソフトウェア６８を含む。

仮想化層７０が、仮想エンティティの以下の例が提供され得る抽象化層を提供する。仮想サーバ７１、仮想ストレージ７２、仮想プライベート・ネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティング・システム７４、ならびに仮想クライアント７５。

一例として、管理層８０が以下で説明される機能を与え得る。リソース・プロビジョニング８１が、クラウド・コンピューティング環境内でタスクを実施するために利用されるコンピューティング・リソースおよび他のリソースの動的調達（dynamic procurement）を実現する。計量および価格設定（Metering and Pricing）８２が、クラウド・コンピューティング環境内でリソースが利用されるときのコスト追跡と、こうしたリソースの消費に対する請求書作成（billing）または送り状送付（invoicing）とを実現する。一例として、こうしたリソースはアプリケーション・ソフトウェア・ライセンスを含み得る。セキュリティが、クラウド消費者およびタスクについての識別検証、ならびにデータおよび他のリソースに対する保護を実現する。ユーザ・ポータル８３が、消費者およびシステム管理者のためのクラウド・コンピューティング環境へのアクセスを実現する。サービス・レベル管理８４が、必要とされるサービス・レベルが満たされるようにクラウド・コンピューティング・リソース割振りおよび管理を実現する。サービス・レベル・アグリーメント（ＳＬＡ）計画および履行８５が、ＳＬＡに従って、将来の必要が予想されるクラウド・コンピューティング・リソースの事前調整および調達を実現する。

作業負荷層９０が、クラウド・コンピューティング環境が利用され得る機能の例を提供する。この層から提供され得る作業負荷および機能の例には、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想クラスルーム教育配信９３、データ解析処理９４、取引処理９５、およびＭＲＣ処理についての性能改善のための回答スパン訂正９６（たとえば、図５のシステム５００、リーダ・プラス・コレクタ・パイプライン（修正後ＭＲＣ回答コレクタ・モデル９００）、および図１１のプロセス１１００）が含まれる。前述のように、図２に関して説明される上記の例のすべては例示的なものに過ぎず、実施形態はこうした例に限定されない。

本開示はクラウド・コンピューティングに関する詳細な説明を含むが、本明細書に記載の教示の実装はクラウド・コンピューティング環境に限定されないことを繰り返しておく。むしろ、実施形態は、現在周知の、または後に開発される任意のタイプのクラスタ化コンピューティング環境で実装され得る。

図３は、一実施形態による、ＭＲＣモデルについての性能改善のための回答スパン訂正用のシステム３００のネットワーク・アーキテクチャである。図３に示されるように、第１のリモート・ネットワーク３０４および第２のリモート・ネットワーク３０６を含む複数のリモート・ネットワーク３０２が設けられる。リモート・ネットワーク３０２と近接するネットワーク３０８との間にゲートウェイ３０１が結合され得る。このネットワーク・アーキテクチャ３００の状況では、ネットワーク３０４、３０６はそれぞれ、限定はしないが、ＬＡＮ、インターネットなどのＷＡＮ、公衆交換電話網（ＰＳＴＮ）、内部電話網などの任意の形態を取り得る。

使用の際に、ゲートウェイ３０１は、リモート・ネットワーク３０２から近接するネットワーク３０８への入口点として働く。したがって、ゲートウェイ３０１は、ゲートウェイ３０１に到着する所与のデータのパケットを送ることのできるルータとして、ならびに所与のパケットに対してゲートウェイ３０１内の、およびゲートウェイ３０１外への実際の経路を供給するスイッチとして機能し得る。

近接するネットワーク３０８に結合された少なくとも１つのデータ・サーバ３１４がさらに含まれ、データ・サーバ３１４は、ゲートウェイ３０１を介してリモート・ネットワーク３０２からアクセス可能である。データ・サーバ３１４が任意のタイプのコンピューティング・デバイス／グループウェアを含み得ることに留意されたい。複数のユーザ・デバイス３１６が各データ・サーバ３１４に結合される。そのようなユーザ・デバイス３１６は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、ハンドヘルド・コンピュータ、プリンタ、または任意の他のタイプの論理含有デバイス（logic-containing device）、ならびにその組合せを含み得る。いくつかの実施形態では、ユーザ・デバイス３１６はまた、ネットワークのいずれかに直接的に結合され得ることに留意されたい。

周辺機器３２０または一連の周辺機器３２０、たとえばファクシミリ・マシン、プリンタ、スキャナ、ハード・ディスク・ドライブ、ネットワーク型および／またはローカル・ストレージ・ユニットまたはシステムなどが、ネットワーク３０４、３０６、３０８のうちの１つまたは複数に結合され得る。データベースまたは追加の構成要素あるいはその両方が、ネットワーク３０４、３０６、３０８に結合された任意のタイプのネットワーク要素と共に利用され、またはその中に一体化され得ることに留意されたい。この説明の状況では、ネットワーク要素は、ネットワークの任意の構成要素を指すことがある。

いくつかの手法によれば、本明細書で説明される方法およびシステムは、ＩＢＭ（Ｒ）ｚ／ＯＳ環境をエミュレートするＵＮＩＸ（Ｒ）システム、ＭＩＣＲＯＳＯＦＴ（Ｒ）ＷＩＮＤＯＷＳ（Ｒ）環境を仮想的にホストするＵＮＩＸ（Ｒ）システム、ＩＢＭ（Ｒ）ｚ／ＯＳ環境をエミュレートするＭＩＣＲＯＳＯＦＴ（Ｒ）ＷＩＮＤＯＷＳ（Ｒ）システムなどの１つまたは複数の他のシステムをエミュレートする仮想システムおよび／またはシステムと共に、かつ／またはその上で実装され得る。この仮想化またはエミュレーションあるいはその両方は、いくつかの実施形態ではＶＭＷＡＲＥ（Ｒ）ソフトウェアを通じて実装され得る。

図４は、一実施形態による、図３のユーザ・デバイス３１６またはサーバ３１４あるいはその両方に関連する代表的ハードウェア・システム４００環境を示す。一例として、ハードウェア構成は、マイクロプロセッサなどの中央演算処理装置４１０と、システム・バス４１２を介して相互接続されたいくつかの他のユニットとを有するワークステーションを含む。図４に示されるワークステーションは、ランダム・アクセス・メモリ（ＲＡＭ）４１４と、読取り専用メモリ（ＲＯＭ）４１６と、ディスク・ストレージ・ユニット４２０などの周辺デバイスをバス４１２に接続するためのＩ／Ｏアダプタ４１８と、キーボード４２４、マウス４２６、スピーカ４２８、マイクロフォン４３２、またはタッチ・スクリーン、デジタル・カメラ（図示せず）などの他のユーザ・インターフェース・デバイス、あるいはその組合せをバス４１２に接続するためのユーザ・インターフェース・アダプタ４２２と、ワークステーションを通信ネットワーク４３５（たとえば、データ処理ネットワーク）に接続するための通信アダプタ４３４と、バス４１２をディスプレイ・デバイス４３８に接続するためのディスプレイ・アダプタ４３６とを含み得る。

一例として、ワークステーション上には、ＭＩＣＲＯＳＯＦＴ（Ｒ）ＷＩＮＤＯＷＳ（Ｒ）オペレーティング・システム（ＯＳ）、ＭＡＣ ＯＳ（Ｒ）、ＵＮＩＸ（Ｒ）ＯＳなどのオペレーティング・システムが常駐し得る。一実施形態では、システム４００はＰＯＳＩＸ（Ｒ）ベースのファイル・システムを利用する。他の例が前述のもの以外のプラットフォームおよびオペレーティング・システム上でも実装され得ることを理解されよう。そのような他の例には、Ｊａｖａ（Ｒ）、ＸＭＬ、Ｃ、もしくはＣ＋＋言語、またはその組合せ、あるいは他のプログラミング言語、およびオブジェクト指向プログラミング方法を使用して書かれたオペレーティング・システムが含まれ得る。複雑なアプリケーションを開発するためにますます使用されるようになったオブジェクト指向プログラミング（ＯＯＰ）も使用され得る。

図５は、一実施形態による、ＭＲＣモデルについての性能改良のための回答スパン訂正用の分散システム５００を示すブロック図である。一実施形態では、システム５００は、クライアント・デバイス５１０（たとえば、モバイル・デバイス、スマート・デバイス、コンピューティング・システムなど）、クラウドまたはリソース共有環境５２０（たとえば、パブリック・クラウド・コンピューティング環境、プライベート・クラウド・コンピューティング環境、データ・センタなど）、およびサーバ５３０を含む。一実施形態では、クライアント・デバイス５１０には、クラウドまたはリソース共有環境５２０を通じてサーバ５３０からクラウド・サービスが提供される。

従来のシステムによって対処された、抽出された回答が与えられた場合に質問の回答可能性の予測を改善する代わりに、１つまたは複数の実施形態は、回答可能な質問が提示されたとき、既存のＭＲＣシステムが部分的に正しい回答を生成する傾向があるという問題に対処する。一実施形態は、コンテキスト中の抽出された回答を再検討し、訂正を提案するＡＩ訂正モデルを提供する。一実施形態は、ＭＲＣモデルがトレーニングされるのと同一のラベル付きデータを使用して、そのようなＡＩ訂正モデルをトレーニングするためのトレーニング・データを構築する。一実施形態によれば、コレクタは、ＭＲＣモデルの予測の誤りを検出し、さらには検出した誤りを訂正する。

図６は、多層双方向トランスフォーマ・エンコーダ（ＢＥＲＴ）モデル６３０のＭＲＣシステム６００の一例を示す。ＢＥＲＴモデル６３０は多層双方向トランスフォーマ・エンコーダである。従来のニューラル機械翻訳は主に、エンコーダ－デコーダ・アーキテクチャのモデル・ベースとしてＲＮＮまたはＣＮＮを使用する。注意ベースのトランスフォーマ・モデルは、従来のＲＮＮおよびＣＮＮ方式を放棄する。注意機構は、モデルの隠れ状態を含むファジィ・メモリの一形態である。モデルは、メモリから内容を取り出すことを選ぶ。注意機構は、デコーダがソース・シーケンス隠れ状態を見返し、次いでその重み付き平均をデコーダに対する追加の入力として提供することを可能にすることによってこの問題を低減する。注意を使用して、モデルは、復号化段階中に、現ノードに最良に適合するコンテキストを入力として選択する。トランスフォーマ・モデルはエンコーダ－デコーダ・アーキテクチャを使用する。ＢＥＲＴモデル６３０はディープ双方向ＤＮＮモデルである。ＢＥＲＴモデル６３０は、トランスフォーマの双方向トレーニングを言語モデリングに適用する。トランスフォーマは、テキスト入力を読み取るエンコーダと、タスクについての予測を生成するデコーダとを含む。ＢＥＲＴモデル６３０を使用することに対して事前トレーニングおよびファインチューニングという２つの段階がある。事前トレーニング中に、ＢＥＲＴモデル６３０が、様々な事前トレーニング・タスクにわたってラベルなしデータに関してトレーニングされる。ファインチューニングについて、ＢＥＲＴモデル６３０が事前トレーニングされたパラメータでまず初期化され、パラメータのすべてが、下流側タスクからのラベル付きデータを使用してファインチューニングされる。各下流側タスクは、同一の事前トレーニング済みパラメータで初期化されるとしても、別々のトランスフォーマ（ファインチューニング済み）モデル６２５を有する。

ＢＥＲＴモデル６３０事前トレーニング段階は、マスクされた言語モデルおよび次の文予測を含む。マスクされた言語モデルについて、ＢＥＲＴモデル６３０が使用する多層自己注意機構の双方向性および効果のために、ディープ双方向表現をトレーニングするために、ある割合（たとえば、１５％）の入力トークンがランダムにマスクされ、次いでマスクされたトークンが予測される。マスク・トークンに対応する最終的隠れベクトルが、標準言語モデルと同様に、語彙にわたって出力ソフトマックス関数内に供給される（ソフトマックス関数は、Ｋ個の実数値のベクトルを、合計で１になるＫ個の実数値のベクトルに変換する）。マスクされた言語モデル・ターゲットにより、フュージョンの左側および右側のコンテキストを表現することが可能となり、それによって、ディープ双方向トランスフォーマを事前トレーニングすることが可能となる。ＢＥＲＴモデル６３０損失関数は、マスクされた値の予測のみを考慮に入れ、マスクされない語の予測を無視する。次の文予測について、ＢＥＲＴモデル６３０はまた、任意のテキスト・コーパスから非常に容易に生成され得る、２値化された次の文予測タスク（binarized next sentence prediction）について事前トレーニングする。ＢＥＲＴモデル６３０がトレーニングで２つの文を区別する助けとなるように、以下のようにＢＥＲＴモデル６３０に入る前に入力が処理される。分類［ＣＬＳ］トークン６０５が質問６１０（すなわち、第１の文または文Ａ）の先頭に挿入され、分離［ＳＥＰ］トークン６１５が質問６１０およびコンテキスト（第２の文または文Ｂ）６２０の終わりに挿入される。質問６１０またはコンテキスト６２０を示す文埋込み（Ｅ）が各トークンに追加される（たとえば、Ｅ_{［ＣＬＳ］}、Ｅ_{［ＳＥＰ］}）。位置埋込み（たとえば、Ｅ_１－Ｅ_Ｎ、Ｅ’_１－Ｅ’_Ｍ）が、シーケンス中の位置を示すために各トークンに追加される。

コンテキスト６２０が質問６１０に結び付けられるかどうかを予測するために、入力シーケンス全体はトランスフォーマ・モデル６２５を通過する。［ＣＬＳ］トークン６０５の出力は、分類層（重みおよびバイアスの学習済み行列）を使用して、２×１の形のベクトルに変換される。ＩｓＮｅｘｔＳｅｑｕｅｎｃｅの確率はソフトマックス関数で求められる。各下流側自然言語処理（ＮＬＰ）タスクについて、タスク特有の入力および出力がＢＥＲＴモデル６３０内に供給され、すべてのパラメータがエンドツーエンドでファインチューニングされる。入力では、事前トレーニングからの質問６１０およびコンテキスト６２０は、パラフレージングでの文ペア、含意での仮説－前提ペア（hypothesis-premise pairs）、質問回答での質問－節ペア（question-passage pairs）などと類似し得る。出力では、トークン表現が、シーケンス・タグ付けや質問回答などのトークン・レベル・タスクのために出力層内に供給され、［ＣＬＳ］表現が分類のために（たとえば、クラス・ラベルＣ６３５を出力するために）出力層内に供給される。出力層は、トランスフォーマ出力Ｔ_１～Ｔ_Ｎ６４０と、回答「Ｓｔａｒｔ＆Ｅｎｄ」スパン位置分類器６４５である、Ｔ_{［ＳＥＰ］}、Ｔ’_１～Ｔ’_Ｍ、およびＴ_{［ＳＥＰ］}とを含む。

図７は、従来のＭＲＣシステムからのリーダ（たとえば、図９のリーダ９３０；質問およびコンテキストが与えられた場合）からの単一の回答結果と、さらには一実施形態による、リーダ・プラス・コレクタ・パイプライン（ＭＲＣ回答スパン・コレクタ・モデル９００（図９））からの（質問およびコンテキストが与えられた場合の）回答結果の例を示す。第１の例は、質問７１０と、コンテキスト７１５内の結果と、コンテキスト（Ｒ）７１６を用いたリーダからの回答結果と、リーダ・プラス・コレクタ・パイプライン（Ｒ＋Ｃ）７１７からのコンテキストを用いた回答結果とを含む。第２の例は、質問７２０と、コンテキスト７２５内の結果と、Ｒ７２６と、Ｒ＋Ｃ７２７とを含む。

図８Ａは、フォールドに分割された、従来のＭＲＣモデルまたはシステムについてのトレーニング・データの代表例８００を示す。トレーニング・データは、フォールド１ ８１０からフォールドｎ ８２０のｎ個のフォールドに分割され、または解析される。

図８Ｂは、一実施形態による、残りのフォールド８４０に関する予測を生成するために使用される、ｎ－１個の個々のフォールド８３５が別々のＭＲＣモデル（ｎ個のＭＲＣ回答スパン・コレクタ・モデル９００（図９））をトレーニングするためにどのようにグループ化されるかの代表例８３０を示す。ｎ個のＭＲＣ回答スパン・コレクタ・モデル９００が、ｎ－１（ｎは≧２の整数）個の異なるフォールドに関してそれぞれトレーニングされ、それを用いて残りのフォールド８４０に関して予測を生成する。省かれたフォールドに関するｎ個の異なるモデルからの結果を組み合わせることにより、トレーニング・セット内の各例についてのシステム出力の一例が生成される。こうした［question-context-true answer-system answer］タプルは、回答スパン・コレクタ・モデル９００についてのトレーニング・セットを構築するための基礎である。

図９は、一実施形態による、修正後ＭＲＣ回答スパン・コレクタ・モデル９００のリーダ・プラス・コレクタ・パイプラインについての流れのブロック図を示す。一実施形態では、リーダ・モデル９３０の出力がコレクタ（またはコレクタ・モデル）９６０に入力される。一実施形態では、ＭＲＣモデル（リーダ・モデル９３０）は、回答スパンの先頭および終わりをそれぞれ選択する２つの追加の分類ヘッドを有する、トランスフォーマのようなエンコーダを含む。この実施形態では、回答スパン・コレクタ（コレクタ９６０）も類似のアーキテクチャを有する。コレクタ９６０は、リーダ９３０とは異なるデータでトレーニングされる。修正後ＭＲＣ回答スパン・コレクタ・モデル９００は、コンテキスト内のリーダ回答９４０（抽出された回答）を再検討して、訂正を提案し、回答スパンを改善することの関連する問題に対処し、訂正後回答９７０を出力する。一実施形態では、リーダ回答９４０が、特別な区切り文字トークン［Ｔ_ｄ］９５０および［Ｔ_ｄ］９５１で区切られ、新しい正確な予測を生成するようにトレーニングされる（元のリーダ９３０と同様のアーキテクチャを有する）コレクタ９６０を利用する。

一実施形態では、リーダ９３０は、質問９１０が与えられた場合の節９２０からの回答抽出の標準ＭＲＣタスクについてのベースライン・リーダである。リーダ９３０は、事前トレーニングされたトランスフォーマ・ベースの言語モデルに加えて、回答スパンの開始および終了を指し示す２つの分類ヘッドを使用する。次いで、ネットワーク全体が、ターゲットＭＲＣトレーニング・データに対してファインチューニングされる。一実施形態では、コレクタ９６０に対する入力は、リーダの予測（リーダ回答９４０）の境界を作成する区切り文字トークン［Ｔ_ｄ］９５０および［Ｔ_ｄ］９５１を含むが、残りのアーキテクチャはリーダ９３０入力と同様である。一実施形態では、修正後ＭＲＣ回答スパン・コレクタ・モデル９００が、グラウンド・トルース（ＧＴ）スパンと既に一致している回答をそのままに保ち、残りの部分を訂正することが望ましい。

一実施形態では、コレクタ９６０についてのトレーニング・データを生成するために、リーダ９３０予測がトレーニング・セットのために必要とされる。リーダ９３０予測を得るために、一実施形態は、トレーニング・セットを５つのフォールドに分割または解析し（たとえば、図８Ｂの例８３０を参照）、フォールドのうちの４つ（すなわち、ｎ－１個）に関してリーダ９３０をトレーニングし、残りのフォールド８４０に関する予測を得る。このプロセスが５回反復され、トレーニング・セット内のすべての（質問、回答）ペアについてリーダ予測（リーダ回答９４０）が生成される。こうしたリーダ予測（リーダ回答９４０）および元のＧＴ注釈を使用して、コレクタ９６０についてのトレーニング例が生成される。訂正を必要としない例を作成するために、新しい例９２１がそれぞれの元の例（節９２０）から作成され、ＧＴ回答自体が入力で区切られ、訂正の必要がないことが示される。訂正を必要とする例について、リーダ９３０の上位ｋ個の誤った予測（ｋはハイパーパラメータである）が使用され、それぞれについての例が作成され、入力９２５はリーダ９３０が予測したスパンであり、ターゲットはＧＴである。入力データ内のＧＴ（正しい）予測と誤った予測の両方の存在により、コレクタ９６０が両方を学習して、リーダ９３０予測の誤りを検出し、それを訂正することが保証される。

図１０Ａは、一実施形態による、ｒｏｂｕｓｔｌｙ－ｏｐｔｉｍｉｚｅｄＢＥＲＴ手法（ＲｏＢＥＲＴａ）についてのＮａｔｕｒａｌ Ｑｕｅｓｔｉｏｎｓ（ＮＱ）ＭＲＣベンチマークについての回答可能な質問に関する結果１００５と、２リーダ手法のアンサンブルについての結果１００６と、リーダ・プラス・コレクタ・パイプライン（または図９に示される修正後ＭＲＣ回答スパン・コレクタ・モデル９００）手法についての結果１００７とを含む表１０００を示す。１つの例示的実施形態では、修正後ＭＲＣ回答スパン・コレクタ・モデル９００が、開発（ｄｅｖ）およびテスト・セット内の回答可能な質問に関して評価される。回答可能なテスト・セット質問に関する完全一致を計算するために、常に回答を出力し、リーダーボードからリコール値を取ったシステムが使用される。ＭＬＱＡ（Ｍｕｌｔｉｌｉｎｇｕａｌ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ）は、英語（ｅｎ）、アラビア語（ａｒ）、ドイツ語（ｄｅ）、スペイン語（ｅｓ）、ヒンディー語（ｈｉ）、ベトナム語（ｖｉ）、および中国語簡体字（ｚｈ）という７つの言語での例を含む。

ＮＱおよびＭＬＱＡリーダは、それぞれＲｏＢＥＲＴａ ｌａｒｇｅおよびｍＢＥＲＴ（ｃａｓｅｄ、１０４言語）言語モデルをファインチューニングする。ＲｏＢＥＲＴａモデルはまず、ＳＱｕＡＤ２．０に関してファインチューニングされ、次いでＮＱに関してファインチューニングされる。結果は、回答可能な質問と回答不能な質問の両方に関するトレーニングにより、回答可能な質問のみに関して評価されるとしても、よりロバストなリーダが得られることを示す。修正後ＭＲＣ回答スパン・コレクタ・モデル９００は、対応するＲｏＢＥＲＴａリーダと同一の基礎となるトランスフォーマ言語モデルを使用する。修正後ＭＲＣ回答スパン・コレクタ・モデル９００についてのトレーニング・データを作成して、訂正を必要とする例を生成すると共に、２つ（ｋ＝２）の最高のスコアリングの誤ったリーダ予測（ｋの値はｄｅｖに関してチューニングされた）が使用される。目標は、ＲｏＢＥＲＴＡリーダの予測の誤りがあればそれを完全に訂正することであるので、完全一致（ＥＭ）が評価メトリックとして使用される。一実施形態では、修正後ＭＲＣ回答スパン・コレクタ・モデル９００は、リーダ９３０およびコレクタ９６０についての共通アーキテクチャを使用するが、そのパラメータは別々であり、独立して学習される。等しいサイズのベースラインと比較するために、ＮＱについてのアンサンブル・システムは、２つの異なるＲｏＢＥＲＴａリーダの出力ロジット（ｌｏｇｉｔ）（まだ正規化されていない予測）を平均する。３つのシードにわたって平均することによって表１０００の結果が得られる。結果１００７は、リーダ結果のアンサンブル１００６よりもｄｅｖテストで０．７だけ優れていた。こうした結果は、訂正目標がリーダの抽出目標を十分に補足し、修正後ＭＲＣ回答スパン・コレクタ・モデル９００についての全性能利得にとって基本的なものであることを確認する。ＮＱの回答可能な質問に関する結果は、修正後ＭＲＣ回答スパン・コレクタ・モデル９００についての結果１００７がＲｏＢＥＲＴａリーダ手法の結果１００５に対してｄｅｖセットに関して１．６ポイントだけ改善され、ブラインド・テスト・セットに関して１．３ポイントだけ改善されることを示す。

図１０Ｂは、一実施形態による、パラグラフが英語であり、一般化クロスリンガル移転タスク（Ｇ－ＸＬＴ）についてのものであるときの、リーダ・プラス・コレクタ・パイプライン（図９に示される修正後ＭＲＣ回答スパン・コレクタ・モデル９００）を使用するＭＬＱＡＭＲＣベンチマーク・データセットに関する結果を含む表１０２０を示す。２つの設定での性能が比較され、一方は英語のパラグラフであり、７つの質問のいずれかの質問であり（Ｅｎ－Ｃｏｎｔｅｘｔ結果１０２５）、他方はＧ－ＸＬＴ結果１０３０であり、性能が、７つの言語（英語、アラビア語、ドイツ、スペイン語、ヒンディー語、ベトナム語、中国語簡体字）を含むすべての４９個の（質問、パラグラフ）言語ペアにわたる平均である。ＭＬＱＡでは、フィッシャーランダム化テストが１５８ｋ個の例示的テスト・セットの完全一致数に対して使用され、結果の統計的有意性が検証される。リーダ・プラス・コレクタ・パイプライン（修正後ＭＲＣ回答スパン・コレクタ・モデル９００）がｐ＜０：０１でベースライン・リーダよりも著しく良好に動作したことが表１０２０からわかる。

図１０Ｃは、一実施形態による、リーダ・プラス・コレクタ・パイプライン（修正後ＭＲＣ回答スパン・コレクタ・モデル９００とコレクタ９６０（図９））を使用することによる、すべての４９個のＭＬＱＡ言語ペアの組合せについての完全一致スコアの違いを含む表１０４０を示す。表１０４０の結果は、ＭＬＱＡテスト・セット内のすべての言語ペア組合せについてのコレクタ９６０との完全一致の変化を示す。表１０４０の最終行は、異なる言語の質問にわたって平均した、各パラグラフ言語についての利得を示す。平均して、コレクタ９６０は、すべての言語のパラグラフについての性能利得を与える（最後の行）。最高の利得が英語コンテキストで観察され、コレクタ９６０モデルがコンテキスト中の英語の回答を訂正するようにトレーニングされるので、このことが予想される。しかしながら、完全一致が４９個の言語ペアのうちの４０で改善されるので、リーダ・プラス・コレクタ・パイプライン（修正後ＭＲＣ回答スパン・コレクタ・モデル９００）の手法が、ゼロショット設定で他の言語に対して良好に一般化されることも判明する。

一実施形態では、ＮＱ ｄｅｖセットに関するリーダの予測に対してリーダ・プラス・コレクタ・パイプライン（修正後ＭＲＣ回答スパン・コレクタ・モデル９００）のコレクタ９６０によって行われる変更が、リーダ・モデル予測の全体の１３％を示す。すべての変更のうち、２４％がＧＴ回答に対する誤った、または部分的に正しい回答の訂正となり、１０％が元の正しい回答を新しい正しい回答で置き換える（ＮＱ内の複数のＧＴ注釈のため）。このケースの５７％では、変更は誤りを訂正しなかった。しかしながら、より詳しく見てみると、Ｆ１スコア（テストの精度の尺度）が、低下したとき（１５％）と比べて、こうしたケースの多く（３０％）で増加したことが観察される。最後に、変更の９％が、正しいリーダ予測で誤りを導入した。

一実施形態では、部分カバレッジ、冗長（verbosity）、および重複という３つの誤りカテゴリのそれぞれで訂正される誤りの割合が、それぞれ９％、３８％、および２２％訂正される。訂正がすべてのカテゴリが行われたが、部分カバレッジよりも冗長および重複で多く行われ、コレクタ９６０（図９）が妥当性（adequacy）よりも良好に最小性（minimality）および構文構造の概念を学習する可能性が指し示された。一実施形態では、リーダ・プラス・コレクタ・パイプライン（修正後ＭＲＣ回答スパン・コレクタ・モデル９００（図９））を使用する処理が、様々な誤りカテゴリで現況技術の英語リーダ９３０の予測を訂正する。一実施形態を使用する実験では、この手法はまた、７つの言語の多言語およびクロスリンガルＭＲＣに良好に一般化される。

図１１は、一実施形態による、ＭＲＣについての性能改善のための回答スパン訂正についてのプロセス１１００のブロック図を示す。一実施形態では、ブロック１１１０では、プロセス１１００は、（図１のコンピューティング・ノード１０、図２のハードウェアおよびソフトウェア層６０、図３の処理システム３００、図４のシステム４００、図５のシステム５００、リーダ・プラス・コレクタ・パイプライン（図９の修正後ＭＲＣ回答スパン・コレクタ・モデル９００）などからの）コンピューティング・デバイスによって、自然言語質問回答システム（たとえば、図９のリーダ９３０を含むＭＲＣモデル）で複数の質問を受け取る。ブロック１１２０では、プロセス１１００は、コンピューティング・デバイスによって、複数の質問に対する複数の回答をさらに生成する。ブロック１１３０では、プロセス１１００は、生成した複数の回答で新しいトレーニング・セットをさらに構築し、各回答が、複数の質問のうちの対応する質問と比較される。ブロック１１４０では、プロセス１１００は、コンピューティング・デバイスによって、生成した複数の回答のうちの１つまたは複数のスパンを区切るトークンで新しいトレーニング・セットをさらに増補する。ブロック１１５０では、プロセス１１００は、増補した新しいトレーニング・セットで新しい自然言語質問回答システム（たとえば、図９の、コレクタ９６０を伴うリーダ・プラス・コレクタ・パイプラインまたは修正後ＭＲＣ回答スパン・コレクタ・モデル９００）をさらにトレーニングする。

一実施形態では、プロセス１１００は、自然言語質問回答システムのリーダ・モデル（たとえば、図９のリーダ９３０）の回答スパンが、新しい自然言語質問回答システムについての増補した新しいトレーニング・セットを使用して訂正されるという特徴をさらに含み得る。

一実施形態では、プロセス１１００は、回答スパンを訂正する新しい自然言語質問回答システムが自然言語質問回答システムの後ろにカスケード接続されるという特徴をさらに含み得る。

一実施形態では、プロセス１１００は、回答スパンを訂正する新しい自然言語質問回答システムによって、回答スパンを訂正すべきかどうかを判定するという特徴をさらに含み得る。さらに、新しい自然言語質問回答システムのコレクタ・モデル（たとえば、図９のコレクタ９６０）が、改良後回答スパンを生成することに基づいて、回答スパンを訂正する。

一実施形態では、プロセス１１００は、コレクタ・モデルが、改良後回答スパンを生成するためにニューラル・ネットワークを使用することをさらに含み得る。

一実施形態では、プロセス１１００は、回答スパンを訂正すべきではないという判定に対して、新しい自然言語質問回答システムに対する入力として、ＧＴ回答を区切ることに基づいて、複数の回答のうちのそれぞれの元の回答から新しい回答例を作成し、訂正の必要がないことを示すという特徴をさらに含み得る。

一実施形態では、プロセス１１００は、複数の上位ｋ個の誤った回答予測を使用して、それぞれの誤った回答予測についての回答例を作成するという特徴をさらに含み得、入力がリーダ・モデルの予測される回答スパンであり、ターゲット回答がＧＴ回答である。

一実施形態では、プロセス１１００は、生成した複数の回答が、予測される回答を含み、１つまたは複数のトークンが、コレクタ・モデルによって新しい回答を予測するために、コンテキスト中の予測される複数の回答をマークするという特徴を含み得る。

いくつかの実施形態では、前述の特徴は、訂正を介して、様々な誤りカテゴリで現況技術の自然言語リーダの予測を著しく改善するという利点に寄与する。ＭＲＣシステムでは、回答可能な質問が提示されたとき、既存のＭＲＣシステムが部分的に正しい回答を生成する傾向があるので、いくつかの特徴は、回答の訂正の利点に寄与する。いくつかの特徴は、ＭＲＣモデルの予測の誤りを検出し、検出した誤りを訂正するという利点に寄与する。さらに、特徴は、ＧＴの一致を改善する回答スパンを生成するという利点に寄与し、したがってＭＲＣ出力回答の品質を改善する。

１つまたは複数の実施形態は、任意の可能な統合の技術的詳細レベルのシステム、方法、またはコンピュータ・プログラム製品、あるいはその組合せであり得る。コンピュータ・プログラム製品は、プロセッサに本実施形態の態様を実施させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含み得る。

コンピュータ可読記憶媒体は、命令実行デバイスによる使用のために命令を保持し、記憶する有形デバイスであり得る。コンピュータ可読記憶媒体は、たとえば、限定はしないが、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上記の任意の適切な組合せであり得る。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、静的ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピィ・ディスク、命令が記録されたパンチ・カードや溝の中の隆起構造などの機械的に符号化されたデバイス、および上記の任意の適切な組合せが含まれる。本明細書では、コンピュータ可読記憶媒体は、電波または他の自由伝播電磁波、導波路または他の伝送媒体を通じて伝播する電磁波（たとえば、光ファイバ・ケーブルを通過する光パルス）、ワイヤを通じて伝送される電気信号など、本質的に一時的信号であると解釈されるべきではない。

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、あるいはネットワーク、たとえばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、もしくはワイヤレス・ネットワーク、またはその組合せを介して外部コンピュータまたは外部記憶デバイスにダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せを含み得る。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体内に記憶するためにコンピュータ可読プログラム命令を転送する。

実施形態の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械語命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用の構成データ、あるいはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語や類似のプログラミング言語などの手続型プログラミング言語とを含む１つまたは複数のプログラミング言語の何らかの組合せで書かれたソース・コードまたはオブジェクト・コードであり得る。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、スタンド・アロン・ソフトウェア・パッケージとして部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上、および部分的にリモート・コンピュータ上で、または完全にリモート・コンピュータもしくはサーバ上で実行され得る。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続され得、または接続が外部コンピュータに対して（たとえば、インターネット・サービス・プロバイダを使用してインターネットを通じて）行われ得る。いくつかの実施形態では、たとえばプログラマブル論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路が、本実施形態の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個別化することによってコンピュータ可読プログラム命令を実行し得る。

実施形態の態様が、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して本明細書で説明される。フローチャート図またはブロック図あるいはその両方の各ブロックと、フローチャート図またはブロック図あるいはその両方の中のブロックの組合せが、コンピュータ可読プログラム命令によって実装され得ることを理解されよう。

こうしたコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作を実装するための手段を生み出すように、コンピュータまたは他のプログラム可能データ処理装置のプロセッサに与えられ、マシンが作り出され得る。こうしたコンピュータ可読プログラム命令はまた、命令を記憶するコンピュータ可読記憶媒体がフローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作の態様を実装する命令を含む製造品を含むように、コンピュータ、プログラム可能データ処理装置、または他のデバイス、あるいはその組合せに特定の方式で機能するように指示し得るコンピュータ可読記憶媒体内に記憶され得る。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能装置、または他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作を実装するように、コンピュータ、他のプログラム可能データ処理装置、または他のデバイス上にロードされ、コンピュータ、他のプログラム可能装置、または他のデバイス上で一連の動作ステップを実施させて、コンピュータ実装プロセスが生成され得る。

図のフローチャートおよびブロック図は、様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。この点で、フローチャートまたはブロック図の各ブロックは、指定の論理的機能を実装するための１つまたは複数の実行可能命令を含む命令のモジュール、セグメント、または部分を表し得る。いくつかの代替実装では、ブロック内に記載の機能は、図に記載されている以外の順序で行われ得る。たとえば、連続して示される２つのブロックは、実際には１つのステップとして実施され、同時に実行され、部分的もしくは全体的に時間的に重複する形で、ほぼ同時に実行され得、またはブロックは、関係する機能に応じて、時には逆の順序で実行され得る。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方のブロックの組合せが、指定の機能または動作を実施し、あるいは専用ハードウェアとコンピュータ命令の組合せを実施する専用ハードウェア・ベースのシステムによって実装され得ることにも留意されよう。

特許請求の範囲での単数の要素への参照は、具体的に記載されていない限り、「ただ１つの」を意味するのではなく、「１つまたは複数」を意味するものとする。当業者に周知の、または後に知られることになる、前述の例示的実施形態の要素に対するすべての構造的および機能的均等物が、本特許請求の範囲によって包含されるものとする。本明細書のクレーム要素は、要素が「のための手段（means for）」または「のためのステップ（step for）」という語句を使用して明白に記載されるのでない限り、米国特許法第１１２条の第６の段落の規定の下で解釈されるべきではない。

本明細書で使用される用語は、特定の実施形態を説明するためのものに過ぎず、実施形態を限定するものではない。本明細書では、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が別段に明確に示すのでない限り、複数形も含むものとする。本明細書では、「備える（comprises）」および／または「含む（comprising）」という用語は、記載の特徴、完全体、ステップ、動作、要素、または構成要素、あるいはその組合せの存在を指定するが、１つまたは複数の他の特徴、完全体、ステップ、動作、要素、または構成要素、またはそのグループ、あるいはその組合せの存在または追加を除外しないことをさらに理解されよう。

以下の特許請求の範囲のすべての手段またはステップおよび機能要素の対応する構造、材料、動作、および均等物は、具体的に特許請求されるように、他の特許請求される要素と組み合わせて機能を実施するための任意の構造、材料、または動作を含むものとする。本実施形態の説明は、例示および説明のために提示されたものであり、網羅的なものではなく、開示された形態の実施形態に限定されないものとする。実施形態の範囲から逸脱することなく、多くの修正形態および変形形態が当業者には明らかとなるであろう。実施形態は、実施形態の原理および実際の応用を最良に説明するため、および企図される特定の用途に適するように様々な修正が行われた様々な実施形態についての実施形態を当業者が理解することを可能にするために選ばれ、説明された。

Claims (15)

1. コンピューティング・デバイスを使用して、自然言語質問回答システムによって生成される回答を改善する方法であって、
   コンピューティング・デバイスによって、自然言語質問回答システムでの複数の質問を受け取ることと、
   前記コンピューティング・デバイスによって、前記複数の質問に対する複数の回答を生成することと、
   前記コンピューティング・デバイスによって、生成した複数の回答で新しいトレーニング・セットを構築することであって、各回答が、前記複数の質問のうちの対応する質問と比較される、前記構築することと、
   前記コンピューティング・デバイスによって、１つまたは複数のトークンで前記生成した複数の回答のうちの１つまたは複数のスパンを区切って前記新しいトレーニング・セットを増補することであって、前記トークンは、回答の開始および終了を指し示すことで境界をマークして区切り、前記増補することと、
   前記コンピューティング・デバイスによって、増補した新しいトレーニング・セットで新しい自然言語質問回答システムをトレーニングすることと
   を含む、方法。
2. 前記新しい自然言語質問回答システムについての前記増補した新しいトレーニング・セットを使用して、前記自然言語質問回答システムのリーダ・モデルの回答スパンを訂正すること
   をさらに含む、請求項１に記載の方法。
3. 前記自然言語質問回答システムの後ろに前記回答スパンを訂正する前記新しい自然言語質問回答システムをカスケード接続すること
   をさらに含む、請求項２に記載の方法。
4. 前記回答スパンを訂正する前記新しい自然言語質問回答システムによって、前記回答スパンを訂正すべきかどうかを判定することをさらに含み、
   前記新しい自然言語質問回答システムのコレクタ・モデルが、改良後回答スパンを生成することに基づいて、前記回答スパンを訂正する、請求項３に記載の方法。
5. 前記コレクタ・モデルが、前記改良後回答スパンを生成するためにニューラル・ネットワークを使用する、請求項４に記載の方法。
6. 前記回答スパンを訂正すべきではないという判定に対して、前記新しい自然言語質問回答システムに対する入力として、グラウンド・トルース（ＧＴ）回答を区切ることに基づいて、前記複数の回答のうちのそれぞれの元の回答から新しい回答例を作成し、訂正の必要がないことを示すこと
   をさらに含む、請求項４に記載の方法。
7. 複数の上位ｋ個の誤った回答予測を使用して、それぞれの誤った回答予測についての回答例を作成することをさらに含み、前記入力が前記リーダ・モデルの予測される回答スパンであり、ターゲット回答が前記ＧＴ回答である、請求項６に記載の方法。
8. 生成した複数の回答が、予測される回答を含み、前記１つまたは複数のトークンが、前記コレクタ・モデルによって新しい回答を予測するために、コンテキスト中の前記予測される複数の回答をマークする、請求項５に記載の方法。
9. コンピュータ・プログラムであって、請求項１ないし８のいずれか１項に記載の方法をコンピュータに実行させるための、コンピュータ・プログラム。
10. 請求項９に記載のコンピュータ・プログラムを記録した、コンピュータ可読記憶媒体。
11. 装置であって、
    命令を記憶するように構成されたメモリと、
    前記命令を実行して、
    自然言語質問回答システムでの複数の質問を受け取ることと、
    前記複数の質問に対する複数の回答を生成することと、
    生成した複数の回答で新しいトレーニング・セットを構築することであって、各回答が、前記複数の質問のうちの対応する質問と比較される、前記構築することと、
    １つまたは複数のトークンで前記生成した複数の回答のうちの１つまたは複数のスパンを区切って前記新しいトレーニング・セットを増補することであって、前記トークンは、回答の開始および終了を指し示すことで境界をマークして区切り、前記増補することと、
    増補した新しいトレーニング・セットで新しい自然言語質問回答システムをトレーニングすることと
    を行うように構成されたプロセッサと
    を備える、装置。
12. 前記プロセッサが、前記命令を実行して、
    前記新しい自然言語質問回答システムについての前記増補した新しいトレーニング・セットを使用して、前記自然言語質問回答システムのリーダ・モデルの回答スパンを訂正し、
    前記自然言語質問回答システムの後ろに前記回答スパンを訂正する前記新しい自然言語質問回答システムをカスケード接続する
    ようにさらに構成される、請求項１１に記載の装置。
13. 前記プロセッサが、前記命令を実行して、
    前記回答スパンを訂正する前記新しい自然言語質問回答システムを使用して、前記回答スパンを訂正すべきかどうかを判定するようにさらに構成され、
    前記新しい自然言語質問回答システムのコレクタ・モデルが、改良後回答スパンを生成することに基づいて、前記回答スパンを訂正し、前記コレクタ・モデルが、前記改良後回答スパンを生成するためにニューラル・ネットワークを使用する、請求項１２に記載の装置。
14. 前記プロセッサが、前記命令を実行して、
    前記回答スパンを訂正すべきではないという判定に対して、前記新しい自然言語質問回答システムに対する入力として、グラウンド・トルース（ＧＴ）回答を区切ることに基づいて、前記複数の回答のうちのそれぞれの元の回答から新しい回答例を作成し、訂正の必要がないことを示すこと、および
    複数の上位ｋ個の誤った回答予測を使用して、それぞれの誤った回答予測についての回答例を作成することを行うようにさらに構成され、前記入力が前記リーダ・モデルの予測される回答スパンであり、ターゲット回答が前記ＧＴ回答である、請求項１３に記載の装置。
15. 生成した複数の回答が、予測される回答を含み、前記１つまたは複数のトークンが、前記コレクタ・モデルによって新しい回答を予測するために、コンテキスト中の予測される複数の回答をマークする、請求項１３に記載の装置。