JP7807441B2 - 敵対的攻撃を防ぐための質問回答対話システムのトレーニング - Google Patents

Description

本発明は、質問に回答するために使用される質問回答対話システムの分野に関連している。より詳細には、本発明は、そのような質問回答対話システムを破損する敵対的攻撃から質問回答対話システムを保護する分野に関連している。

本発明の１つまたは複数の実施形態では、方法が、質問に間違って回答する敵対的ステートメントによって攻撃されることから質問回答対話システムを保護する。コンピューティング・デバイスは、特定の種類の質問に対する正しい回答を提供するようにトレーニングされた質問回答対話システムに対して敵対的攻撃を行うことができる複数の敵対的ステートメントにアクセスする。コンピューティング・デバイスは、複数の敵対的ステートメントを利用して、質問回答対話システムのための機械学習モデルをトレーニングする。次に、コンピューティング・デバイスは、複数の種類の敵対的ステートメントを識別する敵対的ポリシーをトレーニングされた機械学習モデルにブートストラップすることによって、トレーニングされた機械学習モデルを強化する。その後、コンピューティング・デバイスは、質問回答対話システムに提出された質問に応答するときに、トレーニングされ、ブートストラップされた機械学習モデルを利用して、敵対的攻撃を防ぐ。

本発明の１つまたは複数の実施形態では、質問回答対話システムに対する質問を、回答のためのプレースホルダを含むステートメントに変換することと、回答から回答実体をランダムに選別し、ランダムに選別された回答実体をプレースホルダの代わりに追加して、敵対的ステートメントを生成することと、敵対的ステートメントを含む、トレーニングされ、ブートストラップされた機械学習モデルに対する攻撃を生成することと、生成された攻撃に対するトレーニングされ、ブートストラップされた機械学習モデルからの応答を測定することと、生成された攻撃に対する応答の応答レベルを向上させるために、トレーニングされ、ブートストラップされた機械学習モデルを変更することとを実行するコンピューティング・デバイスによって、トレーニングされ、ブートストラップされた機械学習モデルがテストされる。

本発明の１つまたは複数の実施形態では、コンテキスト・パッセージ（context passage）が、正しい回答実体を含んでいる正しい回答を含み、特定の種類の質問が特定の種類の質問実体を含み、この方法は、コンピューティング・デバイスが、ランダムな回答ランダムな質問（ＲＡＲＱ：Random Answer Random Question）敵対的ステートメントを生成する／取り出すことであって、ＲＡＲＱ敵対的ステートメントが、正しい回答内の正しい回答実体を置き換えるランダムな回答実体を含み、ＲＡＲＱ敵対的ステートメントが、正しい回答内の正しい質問実体を置き換えるランダムな質問実体を含む、生成する／取り出すことと、ランダムな回答オリジナルの質問（ＲＡＯＱ：Random Answer Original Question）敵対的ステートメントを生成する／取り出すことであって、ＲＡＯＱ敵対的ステートメントが、正しい回答内の正しい回答実体を置き換えるランダムな回答実体を含み、ＲＡＯＱ敵対的ステートメントが、正しい回答からの正しい質問実体を含む、生成する／取り出すことと、回答なしランダムな質問（ＮＡＲＱ：No Answer Random Question）敵対的ステートメントを生成する／取り出すことであって、ＮＡＲＱ敵対的ステートメントが、正しい回答内の正しい回答実体を回答なしに置き換え、ＮＡＲＱ敵対的ステートメントが、正しい回答内の正しい質問実体を置き換えるランダムな質問実体を含む、生成する／取り出すことと、回答なしオリジナルの質問（ＮＡＯＱ：No Answer Original Question）敵対的ステートメントを生成する／取り出すことであって、ＮＡＯＱ敵対的ステートメントが、正しい回答内の正しい回答実体を回答なしに置き換え、ＮＡＯＱ敵対的ステートメントが、正しい回答からの正しい質問実体を含む、生成する／取り出すことと、ＲＡＲＱ敵対的ステートメント、ＲＡＯＱ敵対的ステートメント、ＮＡＲＱ敵対的ステートメント、およびＮＡＯＱ敵対的ステートメントを、敵対的ステートメントを認識するように質問回答対話システムのための機械学習モデルをさらにトレーニングするための入力として利用することとを実行することをさらに含む。

本発明の１つまたは複数の実施形態では、質問回答対話システムが複数の言語で敵対的攻撃を処理できるように、質問回答対話システムにおいて使用されるオリジナルの質問、質問回答対話システムにおいて使用されるオリジナルのコンテキスト・パッセージ、または質問回答対話システムのために生成された敵対的ステートメント、あるいはその組合せは、１つまたは複数の異なる言語である。

１つまたは複数の実施形態では、本明細書に記載された方法は、コンピュータ・プログラム製品またはコンピュータ・システムあるいはその両方の実行によって実行される。

さまざまな実施形態において本発明が実装される例示的なシステムおよびネットワークを示す図である。 本発明の１つまたは複数の実施形態に従って、コンテキスト・パッセージに敵対的ステートメントを含む、質問回答（ＱＡ：question answering）対話／学習システムを実行するときに使用される例示的な攻撃パイプラインの高レベルの概要を示す図である。 本発明の１つまたは複数の実施形態において使用されるさまざまな種類の敵対的パッセージを示す図である。 本発明の１つまたは複数の実施形態において敵対的ステートメントを生成するために使用されるステップの例示的なフローを示す図である。 本発明の１つまたは複数の実施形態に従って、質問回答対話システムにおいてトレーニング済みモデルを使用して敵対的ステートメント／攻撃に対して防御するための例示的なプロセスを示す図である。 本発明の１つまたは複数の実施形態に従って、トランスフォーマ・モデル・システムの再帰的トレーニングの高レベルの概要を示す図である。 本発明の１つまたは複数の実施形態に従って、多言語トランスフォーマ双方向エンコーダ表現（multilanguage bidirectional encoder representation from transformers，例えば、ＭＢＥＲＴ）を使用する、図６に示されたトランスフォーマ・モデル・システムの例示的な実施形態を示す図である。 本発明の１つまたは複数の実施形態において利用される例示的な質問回答対話システムを示す図である。 本発明の１つまたは複数の実施形態に従って、新しい質問に応答するために図８に示されたＱＡ対話システム８００によって使用される例示的な深層ニューラル・ネットワークを示す図である。 本発明の１つまたは複数の実施形態に従って、方法によって実行される１つまたは複数のステップの高レベルのフローチャートを示す図である。 本発明の１つまたは複数の実施形態に従って、クラウド・コンピューティング環境を示す図である。 本発明の１つまたは複数の実施形態に従ってクラウド・コンピューティング環境の抽象化モデル・レイヤを示す図である。

１つまたは複数の実施形態では、本発明は、任意の可能な統合の技術的詳細レベルで、システム、方法、またはコンピュータ・プログラム製品、あるいはその組合せである。１つまたは複数の実施形態では、コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を含んでいるコンピュータ可読ストレージ媒体を含む。

コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用するための命令を保持して格納することができる有形のデバイスであることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、またはこれらの任意の適切な組合せであることができるが、これらに限定されない。コンピュータ可読ストレージ媒体のさらに具体的な例の非網羅的リストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ：random access memory）、読み取り専用メモリ（ＲＯＭ：read-only memory）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：erasable programmable read-only memoryまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：static random access memory）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：compact disc read-only memory）、デジタル・バーサタイル・ディスク（ＤＶＤ：digital versatile disk）、メモリ・スティック、フロッピー（登録商標）・ディスク、命令が記録されているパンチカードまたは溝の中の隆起構造などの機械的にエンコードされるデバイス、およびこれらの任意の適切な組合せを含む。本明細書において使用されるとき、コンピュータ可読ストレージ媒体は、それ自体が、電波または他の自由に伝搬する電磁波、導波管または他の送信媒体を伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、あるいはワイヤを介して送信される電気信号などの一過性の信号であると解釈されるべきではない。

本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から各コンピューティング・デバイス／処理デバイスへ、またはネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、またはワイヤレス・ネットワーク、あるいはその組合せ）を介して外部コンピュータまたは外部ストレージ・デバイスへダウンロードされ得る。このネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せを備えることができる。各コンピューティング・デバイス／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェイスは、コンピュータ可読プログラム命令をネットワークから受信し、それらのコンピュータ可読プログラム命令をそれぞれのコンピューティング・デバイス／処理デバイス内のコンピュータ可読ストレージ媒体に格納するために転送する。

１つまたは複数の実施形態では、本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：instruction-set-architecture）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組合せで記述されたソース・コードまたはオブジェクト・コードを含む。１つまたは複数の実施形態では、コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に実行されるか、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に実行されるか、ユーザのコンピュータ上およびリモート・コンピュータ上でそれぞれ部分的に実行されるか、あるいはリモート・コンピュータ上またはサーバ上で全体的に実行される。後者のシナリオでは、１つまたは複数の実施形態では、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ：local area network）または広域ネットワーク（ＷＡＮ：wide area network）を含む任意の種類のネットワークを介してユーザのコンピュータに接続される、または接続は、（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して行われる。一部の実施形態では、本発明の態様を実行するために、例えばプログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：field-programmable gate arrays）、またはプログラマブル・ロジック・アレイ（ＰＬＡ：programmable logic arrays）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用して電子回路をカスタマイズすることによって、コンピュータ可読プログラム命令を実行する。

本発明の態様は、本明細書において、本発明の実施形態に従って、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、ならびにフローチャート図またはブロック図あるいはその両方に含まれるブロックの組合せが、コンピュータ可読プログラム命令によって実装され得るということが理解されるであろう。

１つまたは複数の実施形態では、これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作を実施する手段を作り出すべく、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されて、マシンを作り出す。１つまたは複数の実施形態では、これらのコンピュータ可読プログラム命令は、命令が格納されたコンピュータ可読ストレージ媒体がフローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作の態様を実施する命令を含んでいる製品を含むように、コンピュータ可読ストレージ媒体に格納され、１つまたは複数の実施形態では、コンピュータ、プログラム可能なデータ処理装置、または他のデバイス、あるいはその組合せに特定の方式で機能するように指示する。

１つまたは複数の実施形態では、コンピュータ可読プログラム命令は、また、コンピュータ上、他のプログラム可能な装置上、または他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作を実施するように、コンピュータ実装処理を作出するべく、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスに読み込まれ、一連の動作可能なステップを、コンピュータ上、他のプログラム可能な装置上、またはコンピュータ実装プロセスを生成する他のデバイス上で実行させる。

図内のフローチャートおよびブロック図は、本発明のさまざまな実施形態に従って、システム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。これに関連して、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能な命令を備える、モジュール、セグメント、または命令の部分を表す。一部の代替の実装では、ブロックに示された機能は、図に示された順序とは異なる順序で発生する。例えば、連続して示された２つのブロックは、実際には、含まれている機能に応じて、実質的に同時に実行されるか、または場合によっては逆の順序で実行される。本発明の１つまたは複数の実施形態では、ブロック図またはフローチャート図あるいはその両方の各ブロック、ならびにブロック図またはフローチャート図あるいはその両方に含まれるブロックの組合せが、規定された機能または動作を実行するか、または専用ハードウェアとコンピュータ命令の組合せを実行する専用ハードウェアベースのシステムによって実装されるということにも留意されたい。

ここで図を参照し、特に図１を参照すると、本発明の実装によって、または本発明の実装において、あるいはその両方で利用され得る例示的なシステムおよびネットワークのブロック図が示されている。コンピュータ１０１に関して、およびコンピュータ１０１内に示された、描かれたハードウェアおよびソフトウェアの両方とも含んでいる、例示的なアーキテクチャの一部またはすべてが、図１に示されている人工知能１２４、もしくはソフトウェア・デプロイ・サーバ１５０、もしくはテキスト・ドキュメント・サーバ１５２、もしくは音声ファイル・サーバ１５４、もしくは質問回答対話システム１５６、もしくは質問送信システム１５８、もしくはビデオ・ファイル・サーバ１６０、またはその組合せ、または図６に示されているコントローラ６０１、または図７に示されている多言語トランスフォーマ双方向エンコーダ表現（例えば、ＭＢＥＲＴ）システム７２４、または図９に描かれた深層ニューラル・ネットワーク９２４に示されているニューロン／ノードのうちの１つまたは複数、あるいはその組合せによって利用され得るということに注意する。

例示的なコンピュータ１０１は、システム・バス１０６に結合されたプロセッサ１０４を含んでいる。プロセッサ１０４は１つまたは複数のプロセッサを利用することができ、プロセッサの各々は１つまたは複数のプロセッサ・コアを含む。ディスプレイ１１０を駆動／サポートするビデオ・アダプタ１０８も、システム・バス１０６に結合される。システム・バス１０６は、バス・ブリッジ１１２を介して入出力（Ｉ／Ｏ：input/output）バス１１４に結合される。Ｉ／Ｏインターフェイス１１６は、Ｉ／Ｏバス１１４に結合される。Ｉ／Ｏインターフェイス１１６は、キーボード１１８、マウス１２０、媒体トレイ１２２（ＣＤ－ＲＯＭドライブ、マルチメディア・インターフェイスなどのストレージ・デバイスを含むことができる）、人工知能１２４、および外部ＵＳＢポート１２６を含む、さまざまなＩ／Ｏデバイスとの通信を提供する。Ｉ／Ｏインターフェイス１１６に接続されたポートの形式は、コンピュータ・アーキテクチャの当業者に知られている任意の形式であることができるが、一実施形態では、それらのポートの一部またはすべては、ユニバーサル・シリアル・バス（ＵＳＢ：universal serial bus）ポートである。

図に示されているように、コンピュータ１０１は、ネットワーク１２８とのネットワーク・インターフェイス１３０を使用して、人工知能１２４、またはソフトウェア・デプロイ・サーバ１５０、またはテキスト・ドキュメント・サーバ１５２、または音声ファイル・サーバ１５４、または質問回答対話システム１５６、または質問送信システム１５８、またはビデオ・ファイル・サーバ１６０、あるいはその組合せと通信することもできる。ネットワーク・インターフェイス１３０は、ネットワーク・インターフェイス・カード（ＮＩＣ：network interface card）などのハードウェア・ネットワーク・インターフェイスである。ネットワーク１２８は、インターネットなどの外部ネットワーク、あるいはイーサネット（登録商標）または仮想プライベート・ネットワーク（ＶＰＮ：virtual private network）などの内部インターネットであることができる。以下では、物理デバイス１５４の１つまたは複数の例が提示される。

ハード・ドライブ・インターフェイス１３２も、システム・バス１０６に結合される。ハード・ドライブ・インターフェイス１３２は、ハード・ドライブ１３４とインターフェイスをとる。一実施形態では、ハード・ドライブ１３４は、やはりシステム・バス１０６に結合されたシステム・メモリ１３６にデータを入力する。システム・メモリは、コンピュータ１０１内の最低レベルの揮発性メモリとして定義される。この揮発性メモリは、キャッシュ・メモリ、レジスタ、およびバッファを含むがこれらに限定されない、さらに高レベルの追加の揮発性メモリ（図に示されていない）を含む。システム・メモリ１３６に入力されるデータは、コンピュータ１０１のオペレーティング・システム（ＯＳ：operating system）１３８およびアプリケーション・プログラム１４４を含む。

ＯＳ１３８は、アプリケーション・プログラム１４４などのリソースへの透過的なユーザ・アクセスを提供するためのシェル１４０を含んでいる。一般にシェル１４０は、ユーザとオペレーティング・システムの間のインタープリタおよびインターフェイスを提供するプログラムである。より詳細には、シェル１４０は、コマンド・ライン・ユーザ・インターフェイスに入力されたコマンド、またはファイルからのコマンドを実行する。したがって、シェル１４０（コマンド・プロセッサとも呼ばれる）は通常、オペレーティング・システムの最高レベルのソフトウェア階層であり、コマンド・インタープリタとして機能する。シェルは、システム・プロンプトを提供し、キーボード、マウス、または他のユーザ入力媒体によって入力されたコマンドを解釈し、解釈されたコマンドを、処理するために適切なさらに低いレベルのオペレーティング・システム（例えば、カーネル１４２）に送信する。シェル１４０はテキストベースのライン指向ユーザ・インターフェイスであるが、本発明は、グラフィック、音声、ジェスチャーなどの他のユーザ・インターフェイス・モードも同様に適切にサポートするということに注意する。

図に示されているように、ＯＳ１３８は、ＯＳ１３８の他の部分およびアプリケーション・プログラム１４４によって必要とされる不可欠なサービス（メモリ管理、プロセスとタスクの管理、ディスク管理、およびマウスとキーボードの管理を含む）を提供することを含めて、ＯＳ１３８のさらに低いレベルの機能を含むカーネル１４２も含んでいる。

アプリケーション・プログラム１４４は、ブラウザ１４６として例示的に示されたレンダラを含んでいる。ブラウザ１４６は、ワールド・ワイド・ウェブ（ＷＷＷ：world wide web）クライアント（すなわち、コンピュータ１０１）で、ハイパーテキスト転送プロトコル（ＨＴＴＰ：hypertext transfer protocol）メッセージングを使用してネットワーク・メッセージをインターネットに対して送受信できるようにするプログラム・モジュールおよび命令を含んでおり、このようにして、ソフトウェア・デプロイ・サーバ１５０および他のコンピュータ・システムとの通信を可能にする。

コンピュータ１０１のシステム・メモリ（およびソフトウェア・デプロイ・サーバ１５０のシステム・メモリ）内のアプリケーション・プログラム１４４は、質問回答対話システム保護論理（ＱＡＤＳＰＬ：question answering dialog system protection logic）１４８も含んでいる。ＱＡＤＳＰＬ１４８は、図２～図１０で説明されているプロセスを含めて、下記で説明されているプロセスを実装するためのコードを含んでいる。一実施形態では、コンピュータ１０１は、ソフトウェア・デプロイ・サーバ１５０からＱＡＤＳＰＬ１４８をダウンロードすることができ、このダウンロードは、実行で必要になるまでＱＡＤＳＰＬ１４８のコードがダウンロードされない、オンデマンドのダウンロードを含む。さらに、本発明の一実施形態では、ソフトウェア・デプロイ・サーバ１５０は、本発明に関連するすべての機能を（ＱＡＤＳＰＬ１４８の実行を含めて）実行するため、コンピュータ１０１が、ＱＡＤＳＰＬ１４８を実行するためにそれ自身の内部コンピューティング・リソースを使用する必要がないということに注意する。

テキスト・ドキュメント・サーバ１５２は、（コンピュータ１０１、ＡＩ１２４、またはＱＡ質問回答対話システム１５６、あるいはその組合せによって受信された）特定の種類の質問を候補回答テキストの特定のセットと照合することによって、コンテキスト（すなわち、図３に示されているようなテキスト・パッセージなどのテキスト・パッセージ）をコンピュータ１０１、ＡＩ１２４、またはＱＡ質問回答対話システム１５６、あるいはその組合せに送信するサーバである。

音声ファイル・サーバ１５４は、（コンピュータ１０１、ＡＩ１２４、またはＱＡ質問回答対話システム１５６、あるいはその組合せによって受信された）特定の種類の質問を候補回答音声ファイルの特定のセットと照合することによって、コンテキスト（すなわち、音声ファイル）をコンピュータ１０１、ＡＩ１２４、またはＱＡ質問回答対話システム１５６、あるいはその組合せに送信するサーバである。すなわち、音声ファイル・サーバ１５４は、受信された質問の種類を解釈し、その種類の質問に一致する主題を有する（例えば、各音声ファイルを説明するメタデータによって識別された）関連する音声ファイルを返す。例えば、質問が特定の種類の音楽に関するものである場合、音声ファイル・サーバ１５４は、その特定の種類の音楽を説明するメタタグを含んでいる音声ファイルを返す。

ＱＡ対話システム１５６は、本明細書に記載されたプロセス／システムを利用して、（例えば、質問送信システム１５８からの）質問に回答で応答するシステムである。

ビデオ・ファイル・サーバ１６０は、（コンピュータ１０１、ＡＩ１２４、またはＱＡ質問回答対話システム１５６、あるいはその組合せによって受信された）特定の種類の質問を候補回答ビデオ・ファイルの特定のセットと照合することによって、コンテキスト（すなわち、ビデオ・ファイル）をコンピュータ１０１、ＡＩ１２４、またはＱＡ質問回答対話システム１５６、あるいはその組合せに送信するサーバである。すなわち、ビデオ・ファイル・サーバ１６０は、受信された質問の種類を解釈し、その種類の質問に一致する主題を有する（例えば、各ビデオ・ファイルを説明するメタデータによって識別された）関連するビデオ・ファイルを返す。例えば、質問が特定の種類の視覚芸術に関するものである場合、ビデオ・ファイル・サーバ１６０は、その特定の種類の視覚芸術を説明するメタタグを含んでいるビデオ・ファイルを返す。

コンピュータ１０１に示されたハードウェア要素は、網羅的であることは意図されておらず、本発明に求められる、本質的なコンポーネントを強調するための代表例であるということに注意する。例えば、コンピュータ１０１は、磁気カセット、デジタル・バーサタイル・ディスク（ＤＶＤ：digital versatile disks）、ベルヌーイ・カートリッジなどの代替のメモリ・ストレージ・デバイスを含むことができる。これらおよび他の変形形態が本発明の範囲に含まれることが意図されている。

質問回答対話システムとも呼ばれる質問回答（ＱＡ）システムは、回答を求めている人によって使用される重要なツールである。例示的なＱＡシステムは、質問（例えば、「What is the oldest cafe in Paris?（パリで最も古いカフェは何ですか？）」）を受信し、テキスト、ビデオ、音声などのリソースのコーパスを検索し、正しい回答（例えば、「Cafe X（カフェＸ）」）を返す。

そのため、そのようなＱＡシステムは、正しい回答をユーザに提供できることを保証するように、堅牢であることが好ましい。すなわち、ＱＡシステムは、（下記で詳細に説明される）悪意のある攻撃に対して機能しなくなる場合、弱く、（本発明の１つまたは複数の実施形態において説明され、主張されているように）悪意のある攻撃に対して防御することに成功できる場合、堅牢である。

したがって、本発明の１つまたは複数の実施形態は、悪意のある攻撃に対してＱＡシステム自体を防御するだけでなく、多言語の悪意のある攻撃を処理することもできる堅牢なＱＡシステムを提供する。

本明細書に記載されているように、本発明の１つまたは複数の実施形態は、１つまたは複数の新しい種類の敵対的ステートメントを利用して、多言語質問回答（ＭＬＱＡ：multilingual question answer）システムにおける弱点を明らかにする。

これらの新しい種類の敵対的ステートメントは、ＱＡモデルをトレーニングするために使用され、このようにして、トレーニング済みＱＡモデルを、悪意のある攻撃と戦うことにおいてより堅牢にする。

本発明の１つまたは複数の実施形態では、トレーニング済みＱＡモデルは、敵対的ポリシー（例えば、敵対的種類の新しい種類のうちのどれが監視されるべきかを記述するポリシー）をブートストラップすることによって強化され、それによって、ＭＬＱＡシステムをトレーニングするためのよりいっそう効果的なＱＡモデルを作成する。

したがって、本発明の１つまたは複数の実施形態では、方法／装置は、回答のためのプレースホルダを使用することによってオリジナルの質問を一般的なステートメントに変換することと、敵対的ステートメントを作成するために、オリジナルの質問内で発見された質問実体または回答実体あるいはその両方を置き換えるためのさまざまな実体をランダムに選別することと、敵対的ステートメントを、ＭＬＱＡシステムを攻撃するためのコンテキストにランダムに追加することと、オリジナルのデータに加えて敵対的ステートメントを含んでいるデータを使用してＭＬＱＡシステムをトレーニングすることと、敵対的ポリシーをトレーニング済みＭＬＱＡにブートストラップする（すなわち、敵対的ステートメントを処理する方法に関するポリシーを追記する）ことによってトレーニング済みＭＬＱＡモデルを強化することと、その後、ブートストラップされた敵対的ポリシーと共にトレーニング済みＭＬＱＡを使用して、強化されたトレーニング済みＭＬＱＡモデルに意味において類似する質問に回答することとによって、ＭＬＱＡシステムの任意の言語で攻撃ステートメントを生成する。

オープンドメイン質問回答（ＱＡ）システム（open domain question answering (QA) systems）における最近の進歩は、主に機械読み取り理解（ＭＲＣ：machine reading comprehension）を中心に展開しており、ＭＲＣの課題は、特定のテキストを読み取って理解し、その後、それに基づいて質問に回答することである。最先端（ＳＯＴＡ：state-of-the-art）の英語のＭＲＣデータセットを取得するための従来技術における多くの信頼は、大規模なトレーニング済み言語モデル（ＬＭ：language models）の発明に起因する。従来技術では、多言語質問回答に、ほとんど注意が払われなかった。

そのため、本発明の１つまたは複数の実施形態は、多言語ＱＡ（ＭＬＱＡ）システムに重点を置く。より詳細には、本発明の１つまたは複数の実施形態は、堅牢なＭＬＱＡモデルを使用して、多言語の攻撃を認識する方法に関してＭＬＱＡシステムをトレーニングするために、新規な多言語の敵対的ステートメントを使用することによって、ＭＬＱＡデータセット（すなわち、質問に回答するためにＭＬＱＡシステムによって使用されるコンテキスト／パッセージ）に対する敵対的攻撃の問題に対処する。

本発明の１つまたは複数の実施形態では、図７の例において下記で詳細に説明されるように、トランスフォーマを使用する、多言語トランスフォーマ双方向エンコーダ表現（例えば、ＭＢＥＲＴ）を使用して、多言語ＱＡモデルがトレーニングされる。トランスフォーマは、左から右へ、または右から左へ読み取ることに制約されずに、パッセージから一連の単語全体を読み取る論理的メカニズムである。すなわち、トランスフォーマは、図４に示されているフローチャート４００のステップ１（要素４０２）およびステップ２（要素４０４）において下記で説明されているように、さまざまな単語が互いにどのように関連しているかを識別する論理として定義される。

図４において下記で説明されているように、質問が、回答のためのプレースホルダを含む、対応するステートメントに変換され、次に、このステートメントが、（正しい回答において発見される類似する用語、パッセージに起因して）正しい回答のように「見える」が、実際にはそうでない、敵対的ステートメントを作成するために使用される。これらの敵対的ステートメントは、本発明の１つまたは複数の実施形態では、１つまたは複数の異なる言語に翻訳された敵対的ステートメントの翻訳を含み、既存の多言語ＱＡモデルを攻撃し、新しい多言語ＱＡモデルをトレーニングするために使用される。

トレーニング済み多言語ＱＡモデルが構築された後に、そのトレーニング済み多言語ＱＡモデルは、（敵対的ステートメントを含んでいる）敵対的攻撃を認識して、ＱＡシステムを使用している質問者に敵対的攻撃が返されることを阻止するために、人工知能システムによって使用される。

ここで図２を参照すると、本発明の１つまたは複数の実施形態に従って、コンテキスト・パッセージ内の敵対的ステートメントを認識するように質問回答学習システムをトレーニングするときに使用される例示的な攻撃パイプラインの高レベルの概要が示されている。

図２に示されているように、オリジナルの質問およびオリジナルの質問に回答するオリジナルのコンテキスト（例えば、テキスト・パッセージ、ビデオ・ファイルなど）が、ブロック２０２に示されているように、質問／回答（ＱＡ）システム（例えば、図１に示されているＱＡ対話システム１５６）の保持セクションに入力される。質問およびコンテキストが両方ともテキストである場合、本発明の１つまたは複数の実施形態では、それらの質問およびコンテキストは任意の言語である。

ブロック２０４に示されているように、オリジナルのコンテキスト／パッセージ／回答において発見された情報と矛盾する新しいステートメントである１つまたは複数の敵対的ステートメントが、オリジナルのコンテキスト／パッセージ／回答に追加される。

本発明の１つまたは複数の実施形態では、オリジナルの質問上にパターン形成されるが、オリジナルのコンテキスト／パッセージ／回答内の情報と矛盾するこれらの敵対的ステートメントは、オリジナルの質問またはオリジナルのコンテキスト／パッセージ／回答あるいはその両方において使用される言語と異なる言語である。

本発明の１つまたは複数の実施形態では、これらの敵対的ステートメントは、オリジナルの質問またはオリジナルのコンテキスト／パッセージ／回答あるいはその両方の言語と同じ言語である。

本発明の１つまたは複数の実施形態では、下記で詳細に説明されるように、これらの敵対的ステートメントは、図３および図４において下記で詳細に説明されるように、ランダムな回答ランダムな質問（ＲＡＲＱ）敵対的ステートメント、ランダムな回答オリジナルの質問（ＲＡＯＱ）敵対的ステートメント、回答なしランダムな質問（ＮＡＲＱ）敵対的ステートメント、または回答なしオリジナルの質問（ＮＡＯＱ）敵対的ステートメント、あるいはその組合せの形態である。

図２のブロック２０６に示されているように、次に、追加された敵対的ステートメントを含むオリジナルのコンテキストが、人工知能（ＡＩ：artificial intelligence）システム上で質問／回答（ＱＡ）モデルに対して実行される。すなわち、追加された敵対的ステートメントを含むオリジナルのコンテキストは、特定の種類の質問（オリジナルの質問のパラメータ、用語、コンテキストなどに一致する）を特定の種類のコンテキスト／パッセージ／回答（オリジナルのコンテキスト／パッセージ／回答のパラメータ、用語などに一致する）と照合するように質問／回答（ＱＡ）モデルによってトレーニングされているＡＩシステムへの入力として使用される。

しかし、この時点で、システムは、ブロック２０４で追加された敵対的ステートメントを認識するようにトレーニングされておらず、したがって、ブロック２０８に示されている出力された回答は、ブロック２０４で追加された敵対的ステートメントによって引き起こされた誤りのある情報を含む可能性がある。

ここで図３を参照すると、本発明の１つまたは複数の実施形態において使用されるさまざまな種類の敵対的パッセージが示されている。

ブロック３０１に示されているように、質問のトピックが項目「Paris cafes（パリのカフェ）」に関するものであるということを仮定する。ＱＡシステムに提示されているオリジナルの質問３０４が「What is the oldest cafe in Paris?（パリで最も古いカフェは何ですか？）」であるということを、さらに仮定する。このオリジナルの質問に対する正しい／オリジナルの回答は、ブロック３０３に示されているオリジナルの／正しいパッセージ／コンテキストから導き出された「Cafe X（カフェＸ）」であり、ブロック３０３の位置３０２にある。例えば、この例では、位置３０２は、ブロック３０３に示されているオリジナルの／正しいパッセージ／コンテキスト内の２５番目の単語の位置である。

しかし、ブロック３０３に示されているオリジナルの／正しいパッセージ／コンテキストは、敵対的パッセージＡ（ブロック３０５）、敵対的パッセージＢ（ブロック３０９）、敵対的パッセージＣ（ブロック３１３）、および敵対的パッセージＤ（ブロック３１７）に示されている敵対的ステートメントなどの敵対的ステートメントを使用して変更され得る。

敵対的パッセージに追加される敵対的ステートメントは、質問を、回答のためのプレースホルダを含むステートメントに変換することによって作成される。ステートメントは、図３に示されているように、下記で説明されるような攻撃手法のうちの１つを使用して変更され得る。

したがって、図３に関して、ブロック３０５に示されている敵対的パッセージＡは、ランダムな回答ランダムな質問（ＲＡＲＱ）敵対的ステートメント３０７を含んでおり、この敵対的ステートメントには、ランダムな回答実体（「Corporation A（会社Ａ）」）が含まれており、この敵対的ステートメント内で、ランダムな質問実体（「Arctic Ocean（北極海）」）が、ブロック３０１／３０３に示されている正しい質問実体（「Paris（パリ）」）を置き換えている。

ブロック３０９に示されている敵対的パッセージＢは、ランダムな回答オリジナルの質問（ＲＡＯＱ）敵対的ステートメント３１１を含んでおり、この敵対的ステートメントには、ランダムな回答実体（「Alaskan Statehood（アラスカ州）」）が含まれており、ブロック３０１／３０３に示されている正しい回答からの特定の種類の質問実体（「Paris（パリ）」）が同じままである。

ブロック３１３に示されている敵対的パッセージＣは、回答なしランダムな質問（ＮＡＲＱ）敵対的ステートメント３１５を含んでおり、この敵対的ステートメントでは、回答実体が追加されず（単語が存在しないことを示すために「＿」として参照される）、ランダムな質問実体（「Brooklyn（ブルックリン）」）が、ブロック３０１／３０３に示されている正しい回答において発見された正しい質問実体（「Paris（パリ）」）を置き換えている。

ブロック３１７に示されている敵対的パッセージＤは、回答なしオリジナルの質問（ＮＡＯＱ）敵対的ステートメント３１９を含んでおり、この敵対的ステートメントでは、回答実体が追加されず（単語が存在しないことを示すために「＿」として参照される）、ブロック３０１／３０３に示されている正しい回答からの正しい質問実体（「Paris（パリ）」）が同じままである。

図２のブロック２０４の説明において前述したように、本発明の１つまたは複数の実施形態では、敵対的ステートメントは、オリジナルの質問またはオリジナルのコンテキスト／パッセージ／回答あるいはその両方の言語以外の言語である。他の言語でのそのような敵対的ステートメントは、ＱＡシステムによって外国語のパッセージが取り出されることの結果であるか、またはＱＡシステムが前述の敵対的ステートメントのうちの１つを翻訳することによる結果である。どちらの実施形態においても、ブロック３２１に敵対的パッセージＡ’が示されており、この敵対的ステートメントでは、ＲＡＲＱ敵対的ステートメント３０７（「Corporation A is the oldest cafe in the Arctic Ocean.（会社Ａは、北極海で最も古いカフェです。）」）がドイツ語の敵対的ステートメント３２３（「Corporation A ist das alteste Cafe in Arktischen Ozean.」）に翻訳され、ブロック３０３に示されているオリジナルの／正しいパッセージに挿入されている。

ここで図４を参照すると、本発明の１つまたは複数の実施形態に従って、図３に示された例示的な敵対的ステートメントを生成するために使用されるステップの例示的なフローチャート４００が示されている。

ブロック４０２に示されているように、本発明の１つまたは複数の実施形態では、ステップ１が、図３のブロック３０１にも示されている質問４１２（「What is the oldest cafe in Paris?（パリで最も古いカフェは何ですか？）」）に対して言語前処理ステップを実行する。これらの例示的な言語前処理ステップは、（１）普遍的依存関係構文解析（ＵＤＰ：universal dependency parsing）、（２）固有表現認識（ＮＥＲ：named entity recognition）を含む。ステップ１は、マークアップ・ルールおよび構文解析を使用して、問われている質問の種類（「what（何が）」）を広く識別するルート用語（例えば、要素４４６）に加えて、タグ付けされた質問実体４２６（位置、例えばパリ）を識別する。すなわち、この分析は、質問４１２内で、対応する品詞（ＰＯＳ：part of speech）タグ（例えば、「where（どこで）」などの副詞の場合はｗｒｂ、「is（です）」などの動詞の場合はｖｂ）を使用している焦点の単語（例えば、which（どれ）、what（何）など）がパーサーによって生成されることを識別する。この分析は、構文解析での深さ優先探索につながり、質問ルールの一部として、焦点の単語と同じレベルにあるか、または焦点の単語の子であるすべてのＰＯＳトークンにマークを付ける。この手法は、トレーニング・セットとして使用される質問回答データセット内に数千個のパターンを作成し、その一部は一回だけ発生する。一部の例示的なパターンは、「what nn（どのｎｎが）」「what vb（何がｖｂ）」、「who vb（誰がｖｂ）」、「how many（いくつ）」、および「what vb vb（何がｖｂ ｖｂ）」を含む。

加えて、本発明の１つまたは複数の実施形態では、システムが、質問４１２内のすべての実体（例えば、単語）をマークアップする。

本発明の１つまたは複数の実施形態では、質問パターンの一部でない、ＮＥＲによってタグ付けされた実体に、優先度が与えられる。しかし、そのような実体が発見されない場合、システムは、より良いカバレッジを保証するために、名詞を調べ、次に動詞を調べるのが好ましい。

したがって、図４に示されている例では、「what vb （何がｖｂ）」が、「What is the oldest cafe in Paris?（パリで最も古いカフェは何ですか？）」において発見されたパターンである。

ブロック４０４に示されているように、本発明の１つまたは複数の実施形態では、ステップ２が質問４１２をステートメント４１４に変換する。

本発明の１つまたは複数の実施形態では、一般的な質問単語｛「who（誰が）」、「what（何が）」、「when（いつ）」、「why（なぜ）」、「which（どれが）」、「where（どこで）」、「how（どのように）」｝および質問単語を含んでいない任意のパターン（これらは通常、「Mr. Smith’s grandmother’s name was?」などの、文法的に正しくない質問またはミススペルに起因する）のためのキャッチオールに基づいて複数のルールから選択するために、ステップ１で発見されたパターンが使用される。このルールは、質問４１２（「What is the oldest cafe in Paris?（パリで最も古いカフェは何ですか？）」）を、タグ付けされた質問実体４２６（「Paris（パリ）」）を含んでおり、ルート用語「what is（何が）」（要素４４６）の代わりにプレースホルダ４２４（<ANSWER>（＜ＡＮＳＷＥＲ＞））を追加する、ステートメント４１４（「<ANSWER> is the oldest cafe in Paris（＜ＡＮＳＷＥＲ＞は、パリで最も古いカフェです）」）に変換する。

パターン内で発見された最初の質問単語が「what（何が）」である場合、ステートメント４１４に示されている「<ANSWER> is the oldest cafe in Paris（＜ＡＮＳＷＥＲ＞は、パリで最も古いカフェです）」などのように、ルール「what vb（何がｖｂ）」が、「what（何が）」を「<ANSWER>（＜ＡＮＳＷＥＲ＞）」に置き換える。回答は、ステートメントの末尾に追加されることがある。「when vb vb（いつｖｂ ｖｂ）」パターンは、「when（いつ）」に関するルールをトリガーし、このルールは、「When did Rock Band ABC release their second album?（ロック・バンドＡＢＣは、２番目のアルバムをいつリリースしましたか？）」を「Rock Band ABC released their second album in <ANSWER>（ロック・バンドＡＢＣは、２番目のアルバムを＜ＡＮＳＷＥＲ＞にリリースしました）」に変換する。

ブロック４０６に示されているように、本発明の１つまたは複数の実施形態では、ステップ３が、異なる戦略に基づいて１つまたは複数の敵対的ステートメントを生成する。図４に示されている例示的な実施形態では、質問４１２およびステートメント４１４が与えられると、例示的な攻撃ステートメントＲＡＲＱ４０７（図３に示されている敵対的ステートメント３０７に類似する）、攻撃ステートメントＲＡＯＱ４１１（図３に示されている敵対的ステートメント３１１に類似する）、攻撃ステートメントＮＡＲＱ４１５（図３に示されている敵対的ステートメント３１５に類似する）、および攻撃ステートメントＮＡＯＱ４１９（図３に示されている敵対的ステートメント３１９に類似する）が生成される。

図４に示されているように、攻撃に基づいて＜ＡＮＳＷＥＲ＞または質問実体あるいはその両方を置き換えるようにＲＡＲＱ４０７、ＲＡＯＱ４１１、ＮＡＲＱ４１５、およびＮＡＯＱ４１９が生成される。本発明の１つまたは複数の実施形態では、質問回答データセットのトレーニング・データにおいて発見された実体から、実体の種類に基づいて、候補実体がランダムに選択される。回答実体の種類は、非敵対的設定において開発／テスト用の質問に対してシステムが予測する実体に基づいて選択される。

本発明の１つまたは複数の実施形態では、日付および数値の実体は、質問回答データセットのトレーニング・データから選択されず、単にランダムに生成される。

以下の最も複雑な変換から最も単純な変換までを使用して敵対的ステートメントを作成するために、候補実体が適用される。

ランダムな回答ランダムな質問敵対的／攻撃ステートメントであるＲＡＲＱ４０７は、プレースホルダ４２４（＜ＡＮＳＷＥＲ＞）を置き換えるランダムな回答実体４２８（「Corporation A（会社Ａ）」）を含んでおり、質問実体４３０（「Arctic Ocean（北極海）」）は、ステートメント４１４において発見されたタグ付けされた質問実体４２６（「Paris（パリ）」）からランダムに変更される。ＲＡＲＱ４０７が、ＲＡＲＱ攻撃／敵対的ステートメントを認識する方法に関してＱＡシステムをトレーニングするために使用されるため、「Corporation A（会社Ａ）」が質問４１２に対する正しくない回答であり、これが意図的であるということに注意する。

ランダムな回答オリジナルの質問攻撃／敵対的ステートメントであるＲＡＯＱ４１１は、ランダムな回答実体４３２（「Alaskan Statehood（アラスカ州）」）を含んでいるが、質問実体４２６（「Paris（パリ）」）は、ステートメント４１４において発見された同じ質問実体４２６である。ＲＡＯＱ４１１も、ＲＡＲＱ攻撃／敵対的ステートメントを認識する方法に関してＱＡシステムをトレーニングするために使用される正しくないステートメントであるということに注意する。

回答なしランダムな質問攻撃／敵対的ステートメントであるＮＡＲＱ４１５は、回答実体をセクション４３６に含んでおらず、ランダムに生成された質問実体４３８（「Brooklyn（ブルックリン）」）を含んでいる。ＮＡＲＱ４１５も、ＲＡＲＱ攻撃／敵対的ステートメントを認識する方法に関してＱＡシステムをトレーニングするために使用される正しくないステートメントであるということに注意する。

回答なしオリジナルの質問攻撃／敵対的ステートメントであるＮＡＯＱ４１９は、回答実体をセクション４４０に含んでいないが、ステートメント４１４において発見された質問実体４２６（「Paris（パリ）」）を含んでいる。ＮＡＯＱ４１９も、ＮＡＯＱ攻撃／敵対的ステートメントを認識する方法に関してＱＡシステムをトレーニングするために使用される正しくないステートメントであるということに注意する。

ブロック４０８に示されているように、ステップ４が、ステップ３で作成された攻撃／敵対的ステートメントのうちの１つまたは複数を別の言語に翻訳する。すなわち、本発明の１つまたは複数の実施形態では、ステップ３で作成される攻撃／敵対的ステートメントは、質問によって使用される言語と同じ言語（例えば、英語）を使用して最初は生成される。ＱＡシステムが多言語のデータセットおよびモデルを評価するため、次に、これらの攻撃／敵対的ステートメントは、図１に示されたテキスト・ドキュメント・サーバ１５２から送信されたときにまだ別の言語でない場合、ＱＡシステムによって複数の他の言語に翻訳される。

例えば、（図３に示されたドイツ語の敵対的ステートメント３２３に類似する）ＲＡＲＱ４２３を作成するために、ＲＡＲＱ４０７攻撃／敵対的ステートメントがドイツ語に翻訳される。

ブロック４１０に示されているように、次にステップ５が、ステップ３またはステップ４あるいはその両方で作成された攻撃／敵対的ステートメントをコンテキスト（例えば、図３のブロック３０３に示されたオリジナルの／正しいパッセージ／コンテキスト）にランダムに挿入し、図３に示されている敵対的パッセージＡ、Ｂ、Ｃ、Ｄ、およびＡ’を作成する。すなわち、生成された敵対的ステートメント（例えば、ＲＡＲＱ４０７、ＲＡＯＱ４１１、ＮＡＲＱ４１５、ＮＡＯＱ４１９、ＲＡＲＱ４２３など）は、図３のブロック３０３に示されたオリジナルの／正しいパッセージなどの、コンテキスト内のランダムな位置に挿入され、これが、図４では敵対的パッセージ４２５として示されている。これによって、新しいインスタンス（Ｑｘ、Ｃｙ、Ａｙ、Ｓｚ）を生成し、ここで、ｘ、ｙ、ｚ∈Ｌは、それぞれ質問、コンテキスト、およびステートメントの言語であり、図３のブロック３０５、３０９、３１３、３１７、および３２１に示されているように、同じである必要はない。

前述の攻撃／敵対的ステートメントは、質問、コンテキスト、および敵対的ステートメントがすべて同じ言語または異なる言語になることができるように、１つの言語だけでなく複数の言語で、間違った回答を予測することをＱＡシステムに強制することによって、ＱＡシステムがＭＬＱＡデータセットおよびＭＢＥＲＴの脆弱性を調査できるようにする。

したがって、ここで図５を参照すると、本発明の１つまたは複数の実施形態に従って、質問回答対話システムにおいてトレーニング済みモデルを使用して敵対的攻撃／ステートメントに対して防御するための例示的なプロセスが示されている。

ブロック５０１に示されているように、プロセスが、既知の質問およびそれらの既知の正しい回答（例えば、図３のブロック３０１に示されている質問と回答の対などの質問と回答の対）の質問／回答（ＱＡ）データセットを取り出すことから開始する。

図５のブロック５０３に示されているように、複数の種類（例えば、ＲＡＲＱ、ＲＡＯＱ、ＮＡＲＱ、またはＮＡＯＱ、あるいはその組合せ）または複数の言語あるいはその両方の攻撃／敵対的ステートメントが、図４で説明されているように、（質問と回答の対の）トレーニング・データセット全体のコンテキスト／パッセージに追加される。

図４を説明する際に前述したように、質問４１２をステートメント４１４に変換し、次に、質問４１２をステートメント４１４と関連付けることによって、ＱＡモデルが作成されている。図５のブロック５０５で説明されているように、次に、多言語ＱＡ（ＭＬＱＡ）モデルを作成するように、このＱＡモデルが変更される。本発明の１つまたは複数の実施形態では、２つのステップでＭＬＱＡモデルが作成される。

第１のステップは、ＭＬＱＡモデルのための追加の学習データを作成するために、図４で説明されたように、複数の言語での攻撃／敵対的ステートメントのうちの１つまたは複数を使用して、意図的にパッセージ３０３を汚染する／パッセージ３０３にデータを入力することである。

さらに、ＭＬＱＡモデルのための追加の学習データとして新しいパッセージを作成するために、同じ攻撃または異なる攻撃を使用して、パッセージに、１つまたは複数の敵対的ステートメントが複数回、入力され得る。

図５で説明されているように、オリジナルのＭＬＱＡモデルを再トレーニングするために、オリジナルの質問／回答／パッセージおよび図４で作成された新しい質問／回答／パッセージが使用される。

第２のステップは、敵対的ポリシーを、攻撃を使用して再トレーニングされたバージョンのＭＬＱＡモデルにブートストラップして（すなわち、異なる言語でのさまざまな攻撃／敵対的ステートメントを処理する方法に関するポリシーを追記して）、再トレーニングされたＭＬＱＡモデルを改善することである。この再トレーニングされたＭＬＱＡモデルは、矢印ブロック５０６に示されているように、人工知能（ＡＩ）システムによって強化学習を使用して再帰的にトレーニングされる。

ブロック５０７に示されているように、各反復中に、新たに再トレーニングされたＭＬＱＡモデルが堅牢である（すなわち、攻撃に影響されない）かどうかを評価するために、敵対的攻撃を含む質問／回答／パッセージが、複数の言語を含んでいる再トレーニングされたＭＬＱＡによって実行される。

本発明の１つまたは複数の実施形態では、図５に示されているブロック５０３またはブロック５０５あるいはその両方に示されたプロセスは、図１に示された人工知能１２４などの人工知能を使用する。そのような人工知能１２４は、本発明の１つまたは複数の実施形態に従って、さまざまな形態である。そのような形態は、多言語トランスフォーマ双方向エンコーダ表現（ＭＢＥＲＴ：multilanguage bidirectional encoder representation from transformers）を利用するトランスフォーマに基づく強化学習システム、深層ニューラル・ネットワーク（ＤＮＮ：deep neural network）、再帰的ニューラル・ネットワーク（ＲＮＮ：recursive neural network）、畳み込みニューラル・ネットワーク（ＣＮＮ：convolutional neural network）などを含むが、これらに限定されない。

したがって、本発明の１つまたは複数の実施形態では、図７において下記で説明されるＭＢＥＲＴシステムは、図５に示されているように強化された学習と共に使用される、トランスフォーマに基づくシステムである。すなわち、トランスフォーマおよび強化された学習の組合せは、システムが、（１）図３および図４において説明されたＲＡＯＱ敵対的ステートメント、ＮＡＯＱ敵対的ステートメントなどを、図３のブロック３０３に示された例示的なパッセージなどのコンテキストから作成すること、（２）図４に示された例示的な質問４１２などの質問を別の言語に翻訳すること、または（３）図４に示された例示的なステートメント４１４などの回答を別の言語に翻訳すること、あるいはその組合せを実行することを決定することにおいて、どのブートストラップされた敵対的ポリシーを使用するかを決定できるようにする。

すなわち、本発明の１つまたは複数の実施形態における強化学習の設定では、システム（例えば、図１に示されたＱＡ対話システム１５６）は、（下記で説明される）ＲＥＩＮＦＯＲＣＥアルゴリズムなどのポリシー勾配アルゴリズムによって、１つまたは複数の敵対的ポリシーの最良の組合せを見つけ、次に、それらのポリシーを、各反復中に新たに作成され得る、システムの防御をトレーニングするために使用される敵対的ステートメント、翻訳などの大きいプールに適用する。

本明細書に記載されているように、本発明の１つまたは複数の実施形態では、候補コンテキスト（例えば、図３のブロック３０３、３０５、３０９、３１３、３１７、３２１に示されているコンテキスト／パッセージのうちの１つまたは複数）が、それらが場合によっては敵対的状態（例えば、図３に示されている要素３０７、３１１、３１５、３１９、３２３）を伴って破損していたとしても、そのようなコンテキスト／パッセージ内の正しい回答の位置を決定するために、評価される。

ここで図６を参照すると、本発明の１つまたは複数の実施形態の高レベルの概要が示されている。

図１に示されたＡＩ１２４に類似するトランスフォーマ・モデル・システム６２４（すなわち、本明細書において説明されるように、トランスフォーマを使用することによってコンテキストをモデル化するシステム）が、（図３に示された質問３０４に類似する）質問６０４および（図３のブロック３０３、３０５、３０９、３１３、３１７、３２１に示されたコンテキストの一部またはすべてに類似する）候補コンテキスト６００を、入力として受信する。候補コンテキスト６００は、候補コンテキスト６００が質問６０４に対する正しい回答を保持すると予測される候補コンテキスト６００内の位置を示す、候補回答位置６０２も含む。トランスフォーマ・モデル・システム６２４は、これらの異なる回答位置６０２を使用して、候補回答位置６０２から正しい回答位置を正確に識別する方法に関してトランスフォーマ・モデル・システム６２４をトレーニングする。ブロック６０４に示されているように、本発明の１つまたは複数の実施形態では、質問６０４、候補コンテキスト６００、および候補回答位置６０２が、単一のグループに結合される。質問６０４、候補コンテキスト６００、および候補回答位置６０２が単一のグループに結合されるかどうかにかかわらず、本発明の１つまたは複数の実施形態では、コントローラ６０１（例えば、図１に示されたコンピュータ１０１）が、トランスフォーマ・モデル・システム６２４をトレーニングするため、またはさまざまな質問、候補コンテキスト、もしくは候補回答位置、またはその組合せを評価するため、あるいはその両方のために、さまざまな質問、候補コンテキスト、または候補回答位置、あるいはその組合せをトランスフォーマ・モデル・システム６２４に送信する。

ここで図７を参照すると、本発明の１つまたは複数の実施形態において使用されているような例示的な多言語トランスフォーマ双方向エンコーダ表現（multilanguage bidirectional encoder representation from transformers，ＭＢＥＲＴ）システム７２４が示されている。

ＭＢＥＲＴシステム７２４（すなわち、人工知能を使用して、図３および図４に示されているような敵対的ステートメントによって破損されているコンテキスト／パッセージを含むコンテキスト／パッセージ内の正しい回答の用語の位置を識別するトレーニング・システム）は、図６で説明された候補コンテキスト６００、候補回答位置６０２、および質問６０４を入力として使用する。これらの入力は、埋め込み（ベクトル）に変換される。候補回答位置６０２についての埋め込みＥａｐ（要素７０２）は、候補コンテキスト６００内の正しい回答の候補位置を表している。埋め込みＥｑ１～Ｅｑｎ（要素７０３～７０５）は、質問６０４内の用語を表す異なるベクトルである。埋め込みＥｃｃ１～Ｅｃｃｍ（要素７０７～７０９）は、候補コンテキスト６００内の用語を表す異なるベクトルである。

次に、ノード７１１（すなわち、人工知能計算ノード）が、（図９において下記で示される深層ニューラル・ネットワーク９２４に関してブロック９１１で説明される重み、アルゴリズム、バイアスなどに類似する）重み、アルゴリズム、バイアスなどを使用して、候補回答位置６０２を、正しい回答を質問６０４に提供するための候補コンテキスト６００内の正しい位置であるとして評価する。

ノード７１１は、開始位置７１５から始まって終了位置７１７で終わる、候補コンテキスト６００内の位置が正確であるということの信頼度７１３を出力する。この信頼度７１３は、開始／終了位置予測７２１に示されているように、回答可能性予測（answerability prediction）７１９（すなわち、特定の開始／終了位置が質問６０４に対する回答を含んでいるということの信頼度）として出力される。次に、回答可能性予測７１９および開始／終了位置予測７２１がコントローラ７０１に送信される。

線７２３は、ブロック６０４に行く線７２３によって示されているように、その後、コントローラ７０１が、ＭＢＥＲＴシステム７２４によってトレーニングされる候補コンテキスト／質問／回答位置からの異なる候補コンテキスト／質問／回答位置を使用することを示している。図６におけるように、本発明の１つまたは複数の実施形態に従って、これらの異なる候補回答位置、質問、または候補コンテキスト、あるいはその組合せが、集合的に、または個別に、あるいはその両方で、ＭＢＥＲＴシステム７２４に入力され得る。

ここで図８を参照すると、トランスフォーマに基づくシステムを利用して、候補コンテキスト８０１（例えば、図３に示されたパッセージのうちの１つまたは複数）からの正しい回答８１６を使用して質問に回答するＱＡ対話システム８００が示されている。

本発明の１つまたは複数の実施形態では、（本明細書において説明されたＭＢＥＲＴによって使用されるトランスフォーマなどの）トランスフォーマは、トークン（例えば、文内の単語）を、文内のトークンの位置の位置識別子および文の文識別子と結合して、埋め込みを作成する。これらの埋め込みは、特定のコンテキスト内で質問に回答するために使用され、ここで、所与のコンテキストは、敵対的ステートメントを含むこともあれば、含まないこともある。

次に、強化システム（例えば、モンテカルロ・ポリシー勾配などの勾配を使用するＲＥＩＮＦＯＲＣＥ）は、ステートメントが敵対的攻撃である場合に、ＭＬＱＡモデルがそれを理解することにおいて、どのポリシーが有効であるかをシステムが学習することを可能にする。

敵対的ステートメント（例えば、図４において上で示された例示的な敵対的ステートメント）を理解するためにトランスフォーマに基づく強化学習システム８０２に使用できる複数のブートストラップされた敵対的ポリシー８０４が存在すると仮定する。次に、トランスフォーマに基づく強化システム（例えば、ＱＡ対話システム８００）は、ＲＥＩＮＦＯＲＣＥアルゴリズムなどの勾配に基づくアルゴリズムを使用し、勾配に基づくアルゴリズムは、図１に示されたＱＡ対話システム１５６を攻撃する現実世界の種類の敵対的ステートメントとの比較によって決定された適切な敵対的ステートメント（例えば、ＲＡＲＱ敵対的ステートメント８０６またはそれに対応する翻訳された敵対的ステートメント８１４あるいはその両方）が最適なトレーニング・ステートメントであると見なされなくなるまで、ブートストラップされた敵対的ポリシー８０４からのさまざまな敵対的ポリシーおよび回答位置３０２を適用する。例えば、質問ステートメント「Cafe X is the oldest cafe in Paris（カフェＸは、パリで最も古いカフェです）」が敵対的ステートメント（例えば、ＲＡＲＱ敵対的ステートメント「Corporation A is the oldest cafe in the Arctic Ocean（会社Ａは、北極海で最も古いカフェです）」）またはその翻訳された敵対的ステートメント（「Corporation A ist das alteste Cafe im Arktischen Ozean」）あるいはその両方に変換される場合、これらの敵対的ステートメントのうちの１つまたは両方が、ＱＡ対話システム１５６を実際に攻撃する（または攻撃すると予測された）敵対的ステートメントの種類と一致するということが示され、次に、これらの敵対的ステートメントまたは翻訳された敵対的ステートメントあるいはその両方が、ＭＬＱＡモデルを再トレーニングして（図５のブロック５０５）攻撃パイプラインを実行する（図５のブロック５０７）ために、コントローラ（例えば、図１に示されたコンピュータ１０１）に送信される。

本発明の１つまたは複数の実施形態では、トランスフォーマに基づく学習システム（例えば、図６に示されたトランスフォーマ・モデル・システム６２４）は、図４で説明されたステップを実行することにおいて使用するために、正しいステートメントを別の言語（翻訳された正しいステートメントまたはオリジナルの質問あるいはその両方）にも翻訳し、このようにして、ＱＡ対話システム１５６が、複数の言語で質問／ステートメントを処理できるようにする。

本発明の１つまたは複数の実施形態では、人工知能１２４は、深層ニューラル・ネットワーク（ＤＮＮ）、畳み込みニューラル・ネットワーク（ＣＮＮ）、または再帰的ニューラル・ネットワーク（ＲＮＮ）において見られる電子ニューラル・ネットワーク・アーキテクチャなどの、トランスフォーマに基づくシステム（例えば、トランスフォーマ・モデル・システム６２４）以外の電子ニューラル・ネットワーク・アーキテクチャを、強化された学習システムと共に利用する。

好ましい実施形態では、図１に示されたテキスト・ドキュメント・サーバ１５２から受信されたテキスト・コーパスからのドキュメント内のテキスト／数値データを評価するために、深層ニューラル・ネットワーク（ＤＮＮ）が使用され、一方、音声または画像コーパスからの（例えば、それぞれ、図１に示された音声ファイル・サーバ１５４またはビデオ・ファイル・サーバ１６０からの）画像を評価するために、ＣＮＮが使用される。

ＣＮＮは、相互接続され電子ニューロンを両方とも利用するという点において、ＤＮＮに類似している。しかし、ＣＮＮは、（１）ＣＮＮが、フィルタ・サイズ、ストライド値、パディング値などに基づくサイズを有するニューラル層を含むという点、および（２）ＣＮＮが、畳み込み方式を利用して画像データを分析するという点において、ＤＮＮと異なっている。ＣＮＮは、予測された出力を生成する（結果を取得する）ために、ピクセル・データのフィルタリングおよびプーリング（２つの関数に対する数学演算）の畳み込み（すなわち、結果を取得するための２つの関数に対する数学演算）に基づいて、その「畳み込み」という名称を得る。

ＲＮＮも、相互接続され電子ニューロンを両方とも利用するという点において、ＤＮＮに類似している。しかし、ＲＮＮは、親ノードが望ましいベクトルを生成するまで調整される重み行列および非線形性（三角関数など）を使用して子ノードが親ノードにフィードする、非常に単純なアーキテクチャである。

電子ニューラル・ネットワーク（ＤＮＮまたはＣＮＮまたはＲＮＮ）内の論理ユニットは、「ニューロン」または「ノード」と呼ばれる。電子ニューラル・ネットワークがソフトウェアにおいて全体に実装される場合、各ニューロン／ノードは、個別の１つのコード（すなわち、特定の動作を実行する命令）である。電子ニューラル・ネットワークがハードウェアにおいて全体に実装される場合、各ニューロン／ノードは、個別の１つのハードウェア論理（例えば、プロセッサ、ゲート・アレイなど）である。電子ニューラル・ネットワークがハードウェアおよびソフトウェアの組合せとして実装される場合、各ニューロン／ノードは、命令のセットまたは１つのハードウェア論理あるいはその両方である。

ニューラル・ネットワークは、名前が暗に示しているように、大まかに言えば、生物学的ニューラル・ネットワーク（例えば、人間の脳）をモデルにしている。生物学的ニューラル・ネットワークは、互いに影響を与える一連の相互接続されたニューロンで構成されている。例えば、シナプスによって、（第１のニューロンからの）第２のニューロンによって受け取られる神経伝達物質の放出を介して、第１のニューロンが第２のニューロンに電気的に接続されることができる。これらの神経伝達物質は、第２のニューロンが興奮されるか、または抑制されることを引き起こすことができる。興奮／抑制されて相互接続されたニューロンのパターンが、最終的に、思考、筋肉の動き、記憶回復などを含む生物学的結果につながる。生物学的ニューラル・ネットワークのこの説明は非常に簡略化されているが、高レベルの概要は、１つまたは複数の生物学的ニューロンが、１つまたは複数の他の生体電気的に接続された生物学的ニューロンの動作に影響を与えるということである。

電子ニューラル・ネットワークは、同様に電子ニューロンで構成されている。しかし、生物学的ニューロンとは異なり、電子ニューロンは、技術的に「抑制性」になることはなく、多くの場合、さまざまな程度に「興奮性」になるのみである。

電子ニューラル・ネットワークでは、ニューロンが、入力層、隠れ層、および出力層として知られている層に配置される。入力層は、入力データを受け取ってそれをニューロンの一連の隠れ層に送信するニューロン／ノードを含み、隠れ層のうちの１つの層からのすべてのニューロンが、隠れ層のうちの次の層内のすべてのニューロンと相互接続される。次に、隠れ層のうちの最終的な層が、計算結果を出力層に出力し、出力層は多くの場合、ベクトル情報を保持するための１つまたは複数のノードである。

本発明の１つまたは複数の実施形態では、質問回答対話システムのためのＭＬＱＡモデルを作成するために、深層ニューラル・ネットワークが使用される。

次に図７を参照すると、例示的な深層ニューラル・ネットワーク（ＤＮＮ）の形態であり、本発明の１つまたは複数の実施形態に従って質問に回答する場合に、ＭＬＱＡモデルを作成して利用するために使用される、トランスフォーマ（すなわち、ＭＢＥＲＴシステム７２４の一部）が、示されている。

例示の目的で、トランスフォーマ／ＤＮＮへの入力が、オリジナルの質問４１２（例えば、「What is the oldest cafe in Paris?（パリで最も古いカフェは何ですか？）」）および正しい回答位置（例えば、候補コンテキストのうちの１つまたは複数内の「（Cafe X）カフェＸ」の位置）を含んでいると仮定する。そのようなＤＮＮは、これらの入力を使用して、回答実体（例えば、図４に示された要素４４６および要素４２４）および質問実体（例えば、図４に示された要素４２６）を整合させる（aligning）ことによって、初期ＱＡモデルを作成することができる。

図８に示されているように、このＤＮＮ（ＱＡ対話システム８００として示されている）は、ブートストラップされた敵対的ポリシー（例えば、パッセージ内のさまざまな種類の攻撃／敵対的ステートメントを認識する方法を決定するポリシー）、ＲＡＲＱ敵対的ステートメント８０６（その例が、図３および図４で説明されている）、ＲＡＯＱ敵対的ステートメント８０８（その例が、図３および図４で説明されている）、ＮＡＲＱ敵対的ステートメント８１０（その例が、図３および図４で説明されている）、ＮＡＯＱ敵対的ステートメント８１２（その例が、図３および図４で説明されている）に加えて、コンテキスト８０１に入力される翻訳された敵対的ステートメント８１４として示されている、これらの敵対的ステートメントの翻訳（例えば、図４に示された４２３）を使用するアルゴリズム、ルールなども含む。すなわち、ＲＡＲＱ敵対的ステートメント８０６、ＲＡＯＱ敵対的ステートメント８０８、ＮＡＲＱ敵対的ステートメント８１０、ＮＡＯＱ敵対的ステートメント８１２、または翻訳された敵対的ステートメント８１４、あるいはその組合せは、コンテキスト８０１の一部である（コンテキスト８０１に組み込まれる）ということが理解されるべきであるが、これらは単に明確にする目的で、図８の異なるボックスに示されている。

ＤＮＮ／ＱＡ対話システム８００において使用されるアルゴリズム、ルールなどは、トレーニング済みＭＬＱＡモデルを再帰的に定義し、改善することができる。

図９は、新しい質問９０１に応答する場合に、提案された回答コンテキスト／パッセージ９０２内の正しい回答位置９１５を提供するために使用され得る、例示的なトレーニング済み深層ニューラル・ネットワーク（ＤＮＮ）９２４の高レベルの概要を示している。

自動的に調整される場合、「後方伝搬」を使用して、数学関数、出力値、重み、またはバイアス、あるいはその組合せが調整され、後方伝搬では、正確な出力９１７を提供するために各数学関数、出力値、重み、またはバイアス、あるいはその組合せがどのように調整されるべきかを「勾配降下」法が決定する。すなわち、トレーニング済みＭＬＱＡモデル９１５の期待されるベクトル値に達するまで、例示的なノード９０９のブロック９１１に示されている数学関数、出力値、重み、またはバイアス、あるいはその組合せが再帰的調整される。

新しい質問９０１（例えば、「What is the oldest cafe in Madrid?（マドリードで最も古いカフェは何ですか？）」）も、（例えば、前述の質問／回答データベースなどの質問／回答データベースによって提供された）提案された回答コンテキスト／パッセージ９０２と共に、入力層９０３に入力され、入力層９０３は、そのような情報を中間層９０５に渡す前に処理する。すなわち、図３～図５において上で説明された類似するプロセスを使用して、類似する種類の回答をコンテキスト／パッセージから取り出すために使用されるＱＡデータセットから（ステートメント４１４によって記述された回答に類似する）回答を取り出すために、新しい質問９０１内の１つまたは複数の回答実体および１つまたは複数の質問実体が使用される。新しい質問１００１に正しく回答するために、ＤＮＮ９２４によって、これらのコンテキスト／パッセージのうちの１つまたは複数が決定され、一方、敵対的ステートメントは無視される。

そのため、ブロック９１１に示されており、ＤＮＮ９２４内のニューロンのうちの１つもしくは複数またはすべてにおいて見られる要素の数学関数、出力値、重み、バイアス値は、出力層９０７に出力９１７を作成させ、出力９１７は、新しい質問９０１に関する敵対的ステートメントを含んでいるパッセージ内に見られる回答を含む、新しい質問９０１に対する正しい回答の正しい回答位置９１５を含んでいる。

本発明の１つまたは複数の実施形態では、次に、正しい回答位置９１５が質問者に返される。

そのため、本発明の１つまたは複数の実施形態では、本発明は、コンテキスト／パッセージ内で特定の種類の質問（「What is the oldest cafe in Paris?（パリで最も古いカフェは何ですか？）」）に対する特定の既知の正しい回答（「Cafe X（カフェＸ）」）を探すだけでなく、特定の種類の質問に対する正しい回答の正しい回答位置を探し、このようにして、単なる単語検索プログラムよりはるかに堅牢なシステムを提供する。

ここで図１０を参照すると、本発明の１つまたは複数の実施形態に従って実行される１つまたは複数のステップの高レベルのフローチャートが示されている。

開始ブロック１００２の後に、ブロック１００４に示されているように、コンピューティング・デバイス（例えば、図７に示されたＭＢＥＲＴシステム７２４またはＤＮＮあるいはその両方として実装される、図１に示されたコンピュータ１０１、または人工知能１２４、またはＱＡ質問回答対話システム１５６、あるいはその組合せ）が、質問回答対話システムに対して敵対的攻撃を行うことができる複数の敵対的ステートメント（例えば、図３に示された要素３０７、３１１、３１５、３１９）にアクセスする。図１に示された質問回答対話システム（例えば、人工知能１２４またはＱＡ質問回答対話システム１５６あるいはその両方）は、「What is the oldest cafe in a certain city?（特定の都市で最も古いカフェは何ですか？）」などの特定の種類の質問に対する正しい回答を提供するように設計／トレーニングされたＱＡシステムである。

ブロック１００６に示されているように、機械学習モデル（例えば、図９に示されたトレーニング済みＭＬＱＡモデル９１５）をトレーニングすることにおいて、複数の敵対的ステートメントが利用される。

ブロック１００８に示されているように、コンピューティング・デバイスが、複数の種類の敵対的ステートメントを識別する敵対的ポリシーをトレーニング済み機械学習モデルにブートストラップすること（例えば、図８に示されたブートストラップされた敵対的ポリシー８０４）によって、トレーニング済み機械学習モデルを強化する。

ブロック１０１０に示されているように、コンピューティング・デバイスが、図８に示された質問回答対話システム８００（例えば、図７に示されたＭＢＥＲＴシステム７２４）に提出された質問に応答するときに、トレーニング済みのブートストラップされた機械学習モデル（例えば、更新されてブートストラップされたトレーニング済みＭＬＱＡモデル）を利用して、敵対的攻撃を防ぐ。

線１０１４によって示されているように、プロセスは、ＱＡ対話システムが適切にトレーニングされたということが（例えば、敵対的ステートメントを識別して克服するための正しいパーセンテージの既定のレベルを超えることによって）決定されるまで、ブロック１００４に戻ることによって、再帰的方法で動作する。

フローチャートは、終了ブロック１０１２で終了する。

本発明の１つまたは複数の実施形態では、質問回答対話システムに対する質問を、回答のためのプレースホルダを含むステートメントに変換することと、回答から回答実体をランダムに選別し、ランダムに選別された回答実体をプレースホルダの代わりに追加して、敵対的ステートメントを生成することと、敵対的ステートメントを含んでいる質問およびコンテキスト／パッセージを使用して、トレーニング済みのブートストラップされた機械学習モデルに対する攻撃を生成することと、生成された攻撃に対するトレーニング済みのブートストラップされた機械学習モデルからの応答を測定することと、生成された攻撃に対する応答の応答レベルを向上させるために、トレーニング済みのブートストラップされた機械学習モデルを変更することとを実行するコンピューティング・デバイスによって、トレーニング済みのブートストラップされた機械学習モデルがテストされる。

すなわち、図３～図１０に示されているように、コンピューティング・デバイスは、質問回答対話システムに対する質問を、回答のためのプレースホルダを含むステートメントに変換する（例えば、図４のステップ１およびステップ２を参照）。次に、コンピューティング・デバイスは、回答から回答実体をランダムに選別し、ランダムに選別された回答実体をプレースホルダの代わりに追加して、敵対的ステートメントを生成する（例えば、図４のステップ３を参照）。本明細書に記載されているように、プロセスは、敵対的ステートメントをパッセージ（例えば、コンテキスト／パッセージ）にランダムに入力して、敵対的パッセージを作成する。その後、コンピューティング・デバイスは、敵対的パッセージを含んでいる質問およびコンテキスト／パッセージを使用して、トレーニング済みのブートストラップされた機械学習モデルに対する攻撃を生成し（例えば、図２のブロック２０６または図５のブロック５０７あるいはその両方を参照）、生成された攻撃に対するトレーニング済みのブートストラップされた機械学習モデルからの応答を（例えば、図９に示されたトレーニング済みＤＮＮ９２４内のニューロンによって）測定する。コンピューティング・デバイスは、最後に、生成された攻撃に対する応答の応答レベルを向上させる（すなわち、攻撃が存在することをより明確に示す）ために、トレーニング済みのブートストラップされた機械学習モデルを（例えば、図９に示されたＤＮＮ９２４内の後方伝搬によって）変更する。

本発明の１つまたは複数の実施形態では、複数の敵対的ステートメントは、第１の言語である第１の敵対的ステートメント、および異なる第２の言語である第２の敵対的ステートメントを含むが、第１の敵対的ステートメントおよび第２の敵対的ステートメントは、両方とも質問に対する同じ正しくない回答を提供する。例えば、第１の敵対的ステートメント（例えば、図３に示されたＲＡＲＱ３０７－「Corporation A is the oldest cafe in the Arctic Ocean（会社Ａは、北極海で最も古いカフェです）」）が、第１の言語（英語）であり、第２の敵対的ステートメント（例えば、図３に示されたＲＡＲＱ３２３－「Corporation A ist das alteste Cafe in Arktischen Ozean」）が、異なる第２の言語（ドイツ語）のものであるが、これらの敵対的ステートメントは、両方とも質問「What is the oldest cafe in Paris?（パリで最も古いカフェは何ですか？）」に対する同じ正しくない回答を提供する。そのため、本明細書に記載されているように、ＱＡトレーニング・システム（例えば、ＤＮＮ９２４）は、異なる言語で敵対的ステートメントに対応することができる。

本発明の１つまたは複数の実施形態では、コンピューティング・デバイスは、ＲＡＲＱ敵対的ステートメント、ＲＡＯＱ敵対的ステートメント、ＮＡＲＱ敵対的ステートメント、またはＮＡＯＱ敵対的ステートメント、あるいはその組合せを（例えば、これらの敵対的ステートメントのうちの１つまたは複数を実際に生成することによって）生成する。

本発明の１つまたは複数の実施形態では、コンピューティング・デバイスは、ＲＡＲＱ敵対的ステートメント、ＲＡＯＱ敵対的ステートメント、ＮＡＲＱ敵対的ステートメント、またはＮＡＯＱ敵対的ステートメント、あるいはその組合せを（例えば、すでに作成されているデータセットから）取り出す。

本発明の１つまたは複数の実施形態では、コンピューティング・デバイスは、生成されたか、または取り出されたＲＡＲＱ敵対的ステートメント、ＲＡＯＱ敵対的ステートメント、ＮＡＲＱ敵対的ステートメント、またはＮＡＯＱ敵対的ステートメント、あるいはその組合せを入力として利用して、敵対的ステートメントを認識するように質問回答対話システムのための機械学習モデルをさらにトレーニングする（本特許出願の図６を参照）。

本発明の１つまたは複数の実施形態では、複数の敵対的ステートメントが単一のコンテキスト／パッセージに一度にランダムに配置される。

本発明の１つまたは複数の実施形態では、複数の敵対的ステートメントが、単一のコンテキスト／パッセージに個別にランダムに配置され、新しい敵対的ステートメントを含む各オリジナルのコンテキスト／パッセージが、新しいコンテキスト／パッセージになる。

したがって、本明細書では、質問、コンテキスト、および敵対的ステートメントが同じ言語であるか、または異なる言語であることができる、新しい多言語ＱＡシステムが説明される。敵対的／攻撃ステートメントは、１つの言語で生成された後に、他の言語に翻訳されることが可能であり、または敵対的／攻撃ステートメントは、異なる言語で受信され得る。いずれにしても、本明細書に記載されたＱＡシステムは、モデルがゼロショットである（質問、コンテキスト、および敵対的ステートメントがテスト・データと異なる言語であるデータに対してトレーニングする）か、または多言語である（質問、コンテキスト、および敵対的ステートメントが２つ以上の異なる言語であるデータに対してトレーニングする）か、あるいはその両方であるかにかかわらず、攻撃に対するＱＡシステムの防御が効果的になるように、複数の言語を処理することができる単一のトレーニング済みＭＬＱＡモデルを利用する。

１つまたは複数の実施形態では、本発明は、クラウド・コンピューティングを使用して実装される。それにもかかわらず、本開示にはクラウド・コンピューティングの詳細な説明が含まれているが、本明細書において示された内容の実装は、クラウド・コンピューティング環境に限定されないということが、あらかじめ理解される。本発明の実施形態は、現在既知であるか、または今後開発される任意の他の種類のコンピューティング環境と組み合わせて実装できる。

クラウド・コンピューティングは、構成可能な計算リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの便利なオンデマンドのネットワーク・アクセスを可能にするためのサービス提供モデルであり、管理上の手間またはサービス・プロバイダとのやりとりを最小限に抑えて、これらのリソースを迅速にプロビジョニングおよび解放することができる。このクラウド・モデルは、少なくとも５つの特徴、少なくとも３つのサービス・モデル、および少なくとも４つのデプロイメント・モデルを含む。

特徴は、次の通りである。

オンデマンドのセルフ・サービス：クラウドの利用者は、サーバの時間およびネットワーク・ストレージなどの計算能力を、サービス・プロバイダとの人間的なやりとりを必要とせず、必要に応じて自動的に、一方的にプロビジョニングすることができる。

幅広いネットワーク・アクセス：クラウドの能力は、ネットワークを通じて利用可能であり、異種のシン・クライアントまたはシック・クライアント・プラットフォーム（例えば、携帯電話、ラップトップ、およびＰＤＡ）による利用を促進する標準的なメカニズムを使用してアクセスされる。

リソース・プール：プロバイダの計算リソースは、プールされ、マルチテナント・モデルを使用して、さまざまな物理的および仮想的リソースが、要求に従って動的に割り当ておよび再割り当てされて、複数の利用者に提供される。利用者は通常、提供されるリソースの正確な場所に関して制御することも知ることもないという点において、場所に依存しないという感覚があるが、それでも、さらに高い抽象化レベルでは場所（例えば、国、州、またはデータセンター）を指定できる。

迅速な柔軟性：クラウドの能力は、迅速かつ柔軟に、場合によっては自動的にプロビジョニングされ、素早くスケールアウトし、迅速に解放されて素早くスケールインすることができる。プロビジョニングに使用できるこれらの能力は、利用者には、多くの場合、無制限であるように見え、任意の量をいつでも購入できる。

測定されるサービス：クラウド・システムは、サービスの種類（例えば、ストレージ、処理、帯域幅、およびアクティブなユーザのアカウント）に適した何らかの抽象化レベルで、計測機能を活用することによって、リソースの使用を自動的に制御および最適化する。リソースの使用量は監視、制御、および報告され、利用されるサービスのプロバイダと利用者の両方に透明性を提供することができる。

ＳａａＳ（Software as a Service）：利用者に提供される能力は、クラウド・インフラストラクチャ上で稼働しているプロバイダのアプリケーションの利用である。それらのアプリケーションは、Ｗｅｂブラウザ（例えば、Ｗｅｂベースの電子メール）などのシン・クライアント・インターフェイスを介して、さまざまなクライアント・デバイスからアクセスできる。利用者は、ネットワーク、サーバ、オペレーティング・システム、ストレージ、または個々のアプリケーション機能を含む基盤になるクラウド・インフラストラクチャを、限定的なユーザ固有のアプリケーション構成設定を行う可能性を除き、管理することも制御することもない。

ＰａａＳ（Platform as a Service）：利用者に提供される能力は、プロバイダによってサポートされるプログラミング言語およびツールを使用して作成された、利用者が作成または取得したアプリケーションをクラウド・インフラストラクチャにデプロイすることである。利用者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む、基盤になるクラウド・インフラストラクチャを管理することも制御することもないが、デプロイされたアプリケーション、および場合によってはアプリケーション・ホスティング環境の構成を制御することができる。

ＩａａＳ（Infrastructure as a Service）：利用者に提供される能力は、処理、ストレージ、ネットワーク、および他の基本的な計算リソースのプロビジョニングであり、利用者は、オペレーティング・システムおよびアプリケーションを含むことができる任意のソフトウェアをデプロイして実行できる。利用者は、基盤になるクラウド・インフラストラクチャを管理することも制御することもないが、オペレーティング・システム、ストレージ、デプロイされたアプリケーションを制御することができ、場合によっては、選択されたネットワーク・コンポーネント（例えば、ホスト・ファイアウォール）を限定的に制御できる。

デプロイメント・モデルは、次の通りである。

プライベート・クラウド：このクラウド・インフラストラクチャは、組織のためにのみ運用される。１つまたは複数の実施形態では、このクラウド・インフラストラクチャは、これらの組織またはサード・パーティによって管理されるか、またはオンプレミスもしくはオフプレミスに存在するか、あるいはその両方である。

コミュニティ・クラウド：このクラウド・インフラストラクチャは、複数の組織によって共有され、関心事（例えば、任務、セキュリティ要件、ポリシー、およびコンプライアンスに関する考慮事項）を共有している特定のコミュニティをサポートする。１つまたは複数の実施形態では、このクラウド・インフラストラクチャは、これらの組織またはサード・パーティによって管理されるか、またはオンプレミスもしくはオフプレミスに存在するか、あるいはその両方である。

パブリック・クラウド：このクラウド・インフラストラクチャは、一般の人々または大規模な業界団体が使用できるようになっており、クラウド・サービスを販売する組織によって所有される。

ハイブリッド・クラウド：このクラウド・インフラストラクチャは、データとアプリケーションの移植を可能にする標準化された技術または独自の技術（例えば、クラウド間の負荷分散のためのクラウド・バースト）によって固有の実体を維持したまま互いに結合された２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の複合である。

クラウド・コンピューティング環境は、ステートレス性、疎結合性、モジュール性、および意味的相互運用性に重点を置いたサービス指向の環境である。クラウド・コンピューティングの中心になるのは、相互接続されたノードのネットワークを備えるインフラストラクチャである。

ここで図１１を参照すると、例示的なクラウド・コンピューティング環境５０が示されている。図示されているように、クラウド・コンピューティング環境５０は、クラウドの利用者によって使用されるローカル・コンピューティング・デバイス（例えば、パーソナル・デジタル・アシスタント（ＰＤＡ：personal digital assistant）または携帯電話５４Ａ、デスクトップ・コンピュータ５４Ｂ、ラップトップ・コンピュータ５４Ｃ、または自動車コンピュータ・システム５４Ｎ、あるいはその組合せなど）と互いに通信する、１つまたは複数のクラウド・コンピューティング・ノード１０を含んでいる。さらに、ノード１０は、互いに通信する。一実施形態では、これらのノードは、前述したプライベート・クラウド、コミュニティ・クラウド、パブリック・クラウド、またはハイブリッド・クラウド、あるいはそれらの組合せなどの１つまたは複数のネットワーク内で、物理的または仮想的にグループ化される（図示されていない）。これによって、クラウド・コンピューティング環境５０は、クラウドの利用者がローカル・コンピューティング・デバイス上でリソースを維持する必要のないインフラストラクチャ、プラットフォーム、またはＳａａＳ、あるいはその組合せを提供できる。図１１に示されたコンピューティング・デバイス５４Ａ～５４Ｎの種類は、例示のみが意図されており、コンピューティング・ノード１０およびクラウド・コンピューティング環境５０は、任意の種類のネットワークまたはネットワーク・アドレス可能な接続（例えば、Ｗｅｂブラウザを使用した接続）あるいはその両方を通じて任意の種類のコンピュータ制御デバイスと通信することができると理解される。

ここで図１２を参照すると、クラウド・コンピューティング環境５０（図１１）によって提供される機能的抽象化層のセットが示されている。図１２に示されたコンポーネント、層、および機能は、例示のみが意図されており、本発明の実施形態がこれらに限定されないということが、あらかじめ理解されるべきである。図示されているように、次の層および対応する機能が提供される。

ハードウェアおよびソフトウェア層６０は、ハードウェア・コンポーネントおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例としては、メインフレーム６１、ＲＩＳＣ（Reduced Instruction Set Computer）アーキテクチャに基づくサーバ６２、サーバ６３、ブレード・サーバ６４、ストレージ・デバイス６５、ならびにネットワークおよびネットワーク・コンポーネント６６が挙げられる。一部の実施形態では、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア６７およびデータベース・ソフトウェア６８を含む。

仮想化層７０は、１つまたは複数の実施形態において、仮想サーバ７１、仮想ストレージ７２、仮想プライベート・ネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティング・システム７４、ならびに仮想クライアント７５などの仮想的実体の例が提供される、抽象化層を備える。

一例を挙げると、管理層８０は、以下で説明する機能を提供する。リソース・プロビジョニング８１は、クラウド・コンピューティング環境内でタスクを実行するために利用される計算リソースおよび他のリソースの動的調達を行う。計測および価格設定８２は、クラウド・コンピューティング環境内でリソースが利用される際のコスト追跡、およびそれらのリソースの利用に対する課金または請求書の送付を行う。一例を挙げると、それらのリソースは、アプリケーション・ソフトウェア・ライセンスを含む。セキュリティは、クラウドの利用者およびタスクの識別情報の検証を行うと共に、データおよび他のリソースの保護を行う。ユーザ・ポータル８３は、クラウド・コンピューティング環境へのアクセスを利用者およびシステム管理者に提供する。サービス・レベル管理８４は、必要なサービス・レベルを満たすように、クラウドの計算リソースの割り当てと管理を行う。サービス水準合意（ＳＬＡ：Service Level Agreement）計画および実行８５は、今後の要求が予想されるクラウドの計算リソースの事前準備および調達を、ＳＬＡに従って行う。

ワークロード層９０は、１つまたは複数の実施形態においてクラウド・コンピューティング環境が利用される機能の例を示している。この層から提供されるワークロードおよび機能の例としては、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想クラスルーム教育の配信９３、データ分析処理９４、トランザクション処理９５、および本明細書に記載された本発明の機能のうちの１つまたは複数を実行するＱＡ対話システム保護処理９６が挙げられる。

本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、本発明を制限することを意図していない。本明細書において使用されるとき、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、特に明示的に示されない限り、複数形も含むことが意図されている。「備える」または「備えている」あるいはその両方の用語は、本明細書で使用される場合、記載された機能、整数、ステップ、動作、要素、またはコンポーネント、あるいはその組合せの存在を示すが、１つまたは複数の他の機能、整数、ステップ、動作、要素、コンポーネント、またはこれらのグループ、あるいはその組合せの存在または追加を除外していないということが、さらに理解されるであろう。

下の特許請求の範囲内のすべての手段またはステップおよび機能要素の対応する構造、材料、動作、および等価なものは、具体的に請求される他の請求された要素と組み合わせて機能を実行するための任意の構造、材料、または動作を含むことが意図されている。本発明のさまざまな実施形態の説明は、例示および説明の目的で提示されているが、網羅的であることは意図されておらず、または、開示された形態での本発明に制限されない。本発明の範囲および思想から逸脱することなく、多くの変更および変形が当業者にとって明らかになるであろう。本発明の原理および実際的な適用を最も適切に説明するため、および当業者が、企図された特定の用途に適するようなさまざまな変更を伴う多様な実施形態に関して、本発明を理解できるようにするために、実施形態が選択されて説明された。

本発明の１つまたは複数の実施形態では、本開示において説明された任意の方法が、ＶＨＤＬ（VHSIC Hardware Description Language：ＶＨＳＩＣハードウェア記述言語）プログラムおよびＶＨＤＬチップを使用することによって実装される。ＶＨＤＬは、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuits）、および他の類似の電子デバイス用の設計入力言語の一例である。したがって、本発明の１つまたは複数の実施形態では、本明細書に記載された任意のソフトウェアによって実装される方法が、ハードウェアベースのＶＨＤＬプログラムによってエミュレートされ、その後、ＦＰＧＡなどのＶＨＤＬチップに適用される。

したがって、本出願の本発明の実施形態を詳細に説明したことにより、およびその実施形態例を参照することにより、変更および変形が、添付された特許請求の範囲で定義された本発明の範囲から逸脱することなく可能であるということは明らかであろう。

Claims (20)

1. コンピューティング・デバイスによって、質問回答対話システムに対して敵対的攻撃を行うことができる複数の敵対的ステートメントにアクセスすることであって、前記質問回答対話システムが、特定の種類の質問に対する正しい回答を提供するようにトレーニングされる、前記アクセスすることと、
   前記コンピューティング・デバイスによって、前記複数の敵対的ステートメントを利用して、前記質問回答対話システムのための機械学習モデルをトレーニングすることと、
   前記コンピューティング・デバイスによって、複数の種類の敵対的ステートメントを処理することに関する敵対的ポリシーを前記トレーニングされた機械学習モデルに追記することによって、前記トレーニングされた機械学習モデルを強化することと、
   前記コンピューティング・デバイスによって、前記質問回答対話システムに提出された質問に応答するときに、前記トレーニングされ、強化された機械学習モデルを利用して、敵対的攻撃を防ぐことと
   を含む、方法。
2. 前記コンピューティング・デバイスによって、前記質問回答対話システムに対する質問を、回答のためのプレースホルダを含むステートメントに変換することと、
   前記コンピューティング・デバイスによって、前記回答から回答実体をランダムに選別し、前記ランダムに選別された回答実体を前記プレースホルダの代わりに追加して、敵対的ステートメントを生成することと、
   前記コンピューティング・デバイスによって、前記敵対的ステートメントを含む、前記トレーニングされ、強化された機械学習モデルに対する攻撃を生成することと、
   前記コンピューティング・デバイスによって、前記生成された攻撃に対する前記トレーニングされ、強化された機械学習モデルによる応答を測定することと、
   前記コンピューティング・デバイスによって、前記生成された攻撃に対する前記応答の応答レベルを向上させるために、前記トレーニングされ、強化された機械学習モデルを変更することと
   によって、前記トレーニングされ、強化された機械学習モデルをテストすることをさらに含む、請求項１に記載の方法。
3. 前記複数の敵対的ステートメントが、第１の言語である第１の敵対的ステートメント、および異なる第２の言語である第２の敵対的ステートメントを含み、前記第１の敵対的ステートメントおよび前記第２の敵対的ステートメントが、両方とも前記質問に対する同じ正しくない回答を提供する、請求項１または２に記載の方法。
4. 前記正しい回答が正しい回答実体を含み、正しい質問実体に関連付けられ、前記方法が、
   前記コンピューティング・デバイスによって、ランダムな回答ランダムな質問（ＲＡＲＱ）敵対的ステートメントを生成することであって、前記ＲＡＲＱ敵対的ステートメントが第１の種類の攻撃ステートメントであり、前記ＲＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を置き換えるランダムな回答実体を含み、前記ＲＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい質問実体を置き換えるランダムな質問実体を含む、前記生成することと、
   前記コンピューティング・デバイスによって、ランダムな回答オリジナルの質問（ＲＡＯＱ）敵対的ステートメントを生成することであって、前記ＲＡＯＱ敵対的ステートメントが第２の種類の攻撃ステートメントであり、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を置き換えるランダムな回答実体を含み、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記生成することと、
   前記コンピューティング・デバイスによって、回答なしランダムな質問（ＮＡＲＱ）敵対的ステートメントを生成することであって、前記ＮＡＲＱ敵対的ステートメントが第３の種類の攻撃ステートメントであり、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい質問実体を置き換えるランダムな質問実体を含む、前記生成することと、
   前記コンピューティング・デバイスによって、回答なしオリジナルの質問（ＮＡＯＱ）敵対的ステートメントを生成することであって、前記ＮＡＯＱ敵対的ステートメントが第４の種類の攻撃ステートメントであり、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記生成することと、
   前記ＲＡＲＱ敵対的ステートメント、前記ＲＡＯＱ敵対的ステートメント、前記ＮＡＲＱ敵対的ステートメント、および前記ＮＡＯＱ敵対的ステートメントを、前記コンピューティング・デバイスによって、コンテキスト・パッセージ内で、敵対的ステートメントを認識するように前記質問回答対話システムのための前記機械学習モデルをさらにトレーニングするための入力として利用することと
   をさらに含む、請求項１～３のいずれか１項に記載の方法。
5. 前記正しい回答が正しい回答実体を含み、正しい質問実体に関連付けられ、前記方法が、
   ランダムな回答ランダムな質問（ＲＡＲＱ）敵対的ステートメントを取り出すことであって、前記ＲＡＲＱ敵対的ステートメントが第１の種類の攻撃ステートメントであり、前記ＲＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を置き換えるランダムな回答実体を含み、前記ＲＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい質問実体を置き換えるランダムな質問実体を含む、前記取り出すことと、
   ランダムな回答オリジナルの質問（ＲＡＯＱ）敵対的ステートメントを取り出すことであって、前記ＲＡＯＱ敵対的ステートメントが第２の種類の攻撃ステートメントであり、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を置き換えるランダムな回答実体を含み、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記取り出すことと、
   回答なしランダムな質問（ＮＡＲＱ）敵対的ステートメントを取り出すことであって、前記ＮＡＲＱ敵対的ステートメントが第３の種類の攻撃ステートメントであり、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい質問実体を置き換えるランダムな質問実体を含む、前記取り出すことと、
   回答なしオリジナルの質問（ＮＡＯＱ）敵対的ステートメントを取り出すことであって、前記ＮＡＯＱ敵対的ステートメントが第４の種類の攻撃ステートメントであり、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記取り出すことと、
   前記ＲＡＲＱ敵対的ステートメント、前記ＲＡＯＱ敵対的ステートメント、前記ＮＡＲＱ敵対的ステートメント、および前記ＮＡＯＱ敵対的ステートメントを、前記コンピューティング・デバイスによって、コンテキスト・パッセージ内で、敵対的ステートメントを認識して無視するように前記質問回答対話システムのための前記機械学習モデルをさらにトレーニングするための入力として利用することと
   をさらに含む、請求項１～３のいずれか１項に記載の方法。
6. 前記正しい回答が正しい回答実体および正しい質問実体を含み、前記方法が、
   ランダムな回答オリジナルの質問（ＲＡＯＱ）敵対的ステートメントを取り出すことであって、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を置き換えるランダムな回答実体を含み、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記取り出すことと、
   前記コンピューティング・デバイスによって、前記ＲＡＯＱ敵対的ステートメントを、敵対的ステートメントを認識して無視するように前記質問回答対話システムのための前記機械学習モデルをさらにトレーニングするための入力として利用することと
   をさらに含む、請求項１～３のいずれか１項に記載の方法。
7. 前記正しい回答が正しい回答実体および正しい質問実体を含み、前記方法が、
   回答なしランダムな質問（ＮＡＲＱ）敵対的ステートメントを取り出すことであって、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい質問実体を置き換えるランダムな質問実体を含む、前記取り出すことと、
   前記コンピューティング・デバイスによって、前記ＮＡＲＱ敵対的ステートメントを、敵対的ステートメントを認識して無視するように前記質問回答対話システムのための前記機械学習モデルをさらにトレーニングするための入力として利用することと
   をさらに含む、請求項１～３のいずれか１項に記載の方法。
8. 前記正しい回答が正しい回答実体および正しい質問実体を含み、前記方法が、
   回答なしオリジナルの質問（ＮＡＯＱ）敵対的ステートメントを取り出すことであって、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記取り出すことと、
   前記コンピューティング・デバイスによって、前記ＮＡＯＱ敵対的ステートメントを、敵対的ステートメントを認識して無視するように前記質問回答対話システムのための前記機械学習モデルをさらにトレーニングするための入力として利用することと
   をさらに含む、請求項１～３のいずれか１項に記載の方法。
9. コンピュータ・プログラムであって、プロセッサに、
   質問回答対話システムに対して敵対的攻撃を行うことができる複数の敵対的ステートメントにアクセスすることであって、前記質問回答対話システムが、特定の種類の質問に対する正しい回答を提供するようにトレーニングされる、前記アクセスすることと、
   前記複数の敵対的ステートメントを利用して、前記質問回答対話システムのための機械学習モデルをトレーニングすることと、
   複数の種類の敵対的ステートメントを処理する方法に関する敵対的ポリシーを前記トレーニングされた機械学習モデルに追記することによって、前記トレーニングされた機械学習モデルを強化することと、
   前記質問回答対話システムに提出された質問に応答するときに、前記トレーニングされ、強化された機械学習モデルを利用して、敵対的攻撃を防ぐことと
   を実行させるためのコンピュータ・プログラム。
10. 前記プロセッサに、
    前記質問回答対話システムに対する質問を、回答のためのプレースホルダを含むステートメントに変換することと、
    前記回答から回答実体をランダムに選別し、前記ランダムに選別された回答実体を前記プレースホルダの代わりに追加して、敵対的ステートメントを生成することと、
    前記敵対的ステートメントをパッセージにランダムに入力して、敵対的パッセージを作成することと、
    前記敵対的パッセージを含む、前記トレーニングされ、強化された機械学習モデルに対する攻撃を生成することと、
    前記生成された攻撃に対する前記トレーニングされ、強化された機械学習モデルによる応答を測定することと、
    コンピュータ・デバイスによって、前記生成された攻撃に対する前記応答の応答レベルを向上させるために、前記トレーニングされ、強化された機械学習モデルを変更することと
    をさらに実行させる、請求項９に記載のコンピュータ・プログラム。
11. 前記複数の敵対的ステートメントが、第１の言語である第１の敵対的ステートメント、および異なる第２の言語である第２の敵対的ステートメントを含み、前記第１の敵対的ステートメントおよび前記第２の敵対的ステートメントが、両方とも前記質問に対する同じ正しくない回答を提供する、請求項９または１０に記載のコンピュータ・プログラム。
12. 前記正しい回答が正しい回答実体を含み、正しい質問実体に関連付けられ、前記プロセッサに、
    ランダムな回答ランダムな質問（ＲＡＲＱ）敵対的ステートメントを生成することであって、前記ＲＡＲＱ敵対的ステートメントが第１の種類の攻撃ステートメントであり、前記ＲＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を置き換えるランダムな回答実体を含み、前記ＲＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい質問実体を置き換えるランダムな質問実体を含む、前記生成することと、
    ランダムな回答オリジナルの質問（ＲＡＯＱ）敵対的ステートメントを生成することであって、前記ＲＡＯＱ敵対的ステートメントが第２の種類の攻撃ステートメントであり、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を置き換えるランダムな回答実体を含み、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記生成することと、
    回答なしランダムな質問（ＮＡＲＱ）敵対的ステートメントを生成することであって、前記ＮＡＲＱ敵対的ステートメントが第３の種類の攻撃ステートメントであり、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい質問実体を置き換えるランダムな質問実体を含む、前記生成することと、
    回答なしオリジナルの質問（ＮＡＯＱ）敵対的ステートメントを生成することであって、前記ＮＡＯＱ敵対的ステートメントが第４の種類の攻撃ステートメントであり、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記生成することと、
    前記ＲＡＲＱ敵対的ステートメント、前記ＲＡＯＱ敵対的ステートメント、前記ＮＡＲＱ敵対的ステートメント、および前記ＮＡＯＱ敵対的ステートメントを、コンテキスト・パッセージ内で、敵対的ステートメントを認識して無視するように前記質問回答対話システムのための前記機械学習モデルをさらにトレーニングするための入力として利用することと
    をさらに実行させる、請求項９～１１のいずれか１項に記載のコンピュータ・プログラム。
13. 前記正しい回答が正しい回答実体を含み、正しい質問実体に関連付けられ、前記プロセッサに、
    ランダムな回答ランダムな質問（ＲＡＲＱ）敵対的ステートメントを取り出すことであって、前記ＲＡＲＱ敵対的ステートメントが第１の種類の攻撃ステートメントであり、前記ＲＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を置き換えるランダムな回答実体を含み、前記ＲＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい質問実体を置き換えるランダムな質問実体を含む、前記取り出すことと、
    ランダムな回答オリジナルの質問（ＲＡＯＱ）敵対的ステートメントを取り出すことであって、前記ＲＡＯＱ敵対的ステートメントが第２の種類の攻撃ステートメントであり、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を置き換えるランダムな回答実体を含み、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記取り出すことと、
    回答なしランダムな質問（ＮＡＲＱ）敵対的ステートメントを取り出すことであって、前記ＮＡＲＱ敵対的ステートメントが第３の種類の攻撃ステートメントであり、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい質問実体を置き換えるランダムな質問実体を含む、前記取り出すことと、
    回答なしオリジナルの質問（ＮＡＯＱ）敵対的ステートメントを取り出すことであって、前記ＮＡＯＱ敵対的ステートメントが第４の種類の攻撃ステートメントであり、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記取り出すことと、
    前記ＲＡＲＱ敵対的ステートメント、前記ＲＡＯＱ敵対的ステートメント、前記ＮＡＲＱ敵対的ステートメント、および前記ＮＡＯＱ敵対的ステートメントを、コンテキスト・パッセージ内で、敵対的ステートメントを認識して無視するように前記質問回答対話システムのための前記機械学習モデルをさらにトレーニングするための入力として利用することと
    をさらに実行させる、請求項９～１１のいずれか１項に記載のコンピュータ・プログラム。
14. 前記正しい回答が正しい回答実体および正しい質問実体を含み、前記プロセッサに、
    ランダムな回答オリジナルの質問（ＲＡＯＱ）敵対的ステートメントを取り出すことであって、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を置き換えるランダムな回答実体を含み、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記取り出すことと、
    前記ＲＡＯＱ敵対的ステートメントを、敵対的ステートメントを認識して無視するように前記質問回答対話システムのための前記機械学習モデルをさらにトレーニングするための入力として利用することと
    をさらに実行させる、請求項９～１１のいずれか１項に記載のコンピュータ・プログラム。
15. 前記正しい回答が正しい回答実体および正しい質問実体を含み、前記プロセッサに、
    回答なしランダムな質問（ＮＡＲＱ）敵対的ステートメントを取り出すことであって、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい質問実体を置き換えるランダムな質問実体を含む、前記取り出すことと、
    前記ＮＡＲＱ敵対的ステートメントを、敵対的ステートメントを認識して無視するように前記質問回答対話システムのための前記機械学習モデルをさらにトレーニングするための入力として利用することと
    をさらに実行させる、請求項９～１１のいずれか１項に記載のコンピュータ・プログラム。
16. 前記正しい回答が正しい回答実体および正しい質問実体を含み、前記プロセッサに、
    回答なしオリジナルの質問（ＮＡＯＱ）敵対的ステートメントを取り出すことであって、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記取り出すことと、
    前記ＮＡＯＱ敵対的ステートメントを、敵対的ステートメントを認識して無視するように前記質問回答対話システムのための前記機械学習モデルをさらにトレーニングするための入力として利用することと
    をさらに含む、請求項９～１１のいずれか１項に記載のコンピュータ・プログラム。
17. 前記プログラム・プログラムがクラウド環境内のサービスとして提供される、請求項９～１６のいずれか１項に記載のコンピュータ・プログラム。
18. １つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読メモリと、１つまたは複数のコンピュータ可読非一過性ストレージ媒体とを備えているコンピュータ・システムであって、プログラム命令が、前記１つまたは複数のコンピュータ可読メモリのうちの少なくとも１つを介して、前記１つまたは複数のプロセッサのうちの少なくとも１つによって実行するために、前記１つまたは複数のコンピュータ可読非一過性ストレージ媒体のうちの少なくとも１つに格納され、前記格納されたプログラム命令が、
    質問回答対話システムに対して敵対的攻撃を行うことができる複数の敵対的ステートメントにアクセスすることであって、前記質問回答対話システムが、特定の種類の質問に対する正しい回答を提供するようにトレーニングされる、前記アクセスすることと、
    前記複数の敵対的ステートメントを利用して、前記質問回答対話システムのための機械学習モデルをトレーニングすることと、
    複数の種類の敵対的ステートメントを処理する方法に関する敵対的ポリシーを前記トレーニングされた機械学習モデルに追記することによって、前記トレーニングされた機械学習モデルを強化することと、
    前記質問回答対話システムに提出された質問に応答するときに、前記トレーニングされ、強化された機械学習モデルを利用して、敵対的攻撃を防ぐことと
    を含む方法を実行するために実行される、コンピュータ・システム。
19. 前記正しい回答が正しい回答実体を含み、正しい質問実体に関連付けられ、前記方法が、
    ランダムな回答ランダムな質問（ＲＡＲＱ）敵対的ステートメントを取り出すことであって、前記ＲＡＲＱ敵対的ステートメントが第１の種類の攻撃ステートメントであり、前記ＲＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を置き換えるランダムな回答実体を含み、前記ＲＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい質問実体を置き換えるランダムな質問実体を含む、前記取り出すことと、
    ランダムな回答オリジナルの質問（ＲＡＯＱ）敵対的ステートメントを取り出すことであって、前記ＲＡＯＱ敵対的ステートメントが第２の種類の攻撃ステートメントであり、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を置き換えるランダムな回答実体を含み、前記ＲＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記取り出すことと、
    回答なしランダムな質問（ＮＡＲＱ）敵対的ステートメントを取り出すことであって、前記ＮＡＲＱ敵対的ステートメントが第３の種類の攻撃ステートメントであり、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＲＱ敵対的ステートメントが、前記正しい回答内の前記正しい質問実体を置き換えるランダムな質問実体を含む、前記取り出すことと、
    回答なしオリジナルの質問（ＮＡＯＱ）敵対的ステートメントを取り出すことであって、前記ＮＡＯＱ敵対的ステートメントが第４の種類の攻撃ステートメントであり、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答内の前記正しい回答実体を回答なしに置き換え、前記ＮＡＯＱ敵対的ステートメントが、前記正しい回答からの前記正しい質問実体を含む、前記取り出すことと、
    前記ＲＡＲＱ敵対的ステートメント、前記ＲＡＯＱ敵対的ステートメント、前記ＮＡＲＱ敵対的ステートメント、および前記ＮＡＯＱ敵対的ステートメントを、コンテキスト・パッセージ内で、敵対的ステートメントを認識して無視するように前記質問回答対話システムのための前記機械学習モデルをさらにトレーニングするための入力として利用することと
    をさらに含む、請求項１８に記載のコンピュータ・システム。
20. 前記格納されたプログラム命令がクラウド環境内のサービスとして提供される、請求項１８または１９に記載のコンピュータ・システム。