JP6501874B2

JP6501874B2 - 多言語画像質問応答

Info

Publication number: JP6501874B2
Application number: JP2017514532A
Authority: JP
Inventors: ハオユアンガオ; ジュンフアマオ; ヂュウジエ; チーヘンフアン; レイワン; ウェイシュー
Original assignee: Baidu USA LLC
Current assignee: Baidu USA LLC
Priority date: 2015-05-21
Filing date: 2016-05-19
Publication date: 2019-04-17
Anticipated expiration: 2036-05-19
Also published as: KR20170043582A; EP3298353A1; JP2017534956A; US20160342895A1; US10909329B2; WO2016187472A1; CN107076567A; EP3298353A4; CN107076567B; KR101982220B1

Description

優先権主張

本願は、３５ＵＳＣ § １１９（ｅ）に基づいて、２０１５年５月２１日に提出された「ＤａｔａｓｅｔａｎｄＭｅｔｈｏｄｓｆｏｒＭｕｌｔｉｌｉｎｇｕａｌＩｍａｇｅＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇと題し、ＨａｏｙｕａｎＧａｏ、ＪｕｎｈｕａＭａｏ、ＪｉｅＺｈｏｕ、ＺｈｉｈｅｎｇＨｕａｎｇ、ＬｅｉＷａｎｇ及びＷｅｉＸｕを発明者とした同一出願人による同時係属中の米国仮特許出願第６２／１６４、９８４（整理番号２８８８８−１９４８Ｐ）号の優先権を主張する。上記特許文献の全文を引用により本願に組み込む。

本発明は概して、ヒューマンコンピュータインタラクションのインターフェイシングを改善することに関する。より具体的には、本開示は、画像入力及び質問入力からの質問応答の自動化を改善するためのシステム及び方法に関する。

質問応答（ＱＡ）は情報検索及び自然言語処理（ＮＬＰ）分野におけるコンピュータ科学学科であり、人間が自然言語設定で提示する質問に自動的に応答するシステムの構築に関連する。情報検索において、オープンドメイン質問応答システムは、ユーザの質問に応じて解答を返すためのものである。当該システムは、計算言語学、情報検索、及び知識表現からの技術の組み合わせによって解答を求める。

画像キャプションタスクについて、多くの研究がなされている。これらの研究のほとんどは、ディープニューラルネットワーク（例えば、ディープ畳み込みニューラルネットワーク、リカレントニューラルネットワーク（ＲＮＮ）又は長短期記憶（ＬＳＴＭ））に基づいて構築されている。文の注釈を含む大規模な画像データセットは、この発展において重要な役割を果たしている。これらの方法が成功したけれども、検討や解決すべき問題が残っている。特に、画像キャプションタスクは、画像の総称文（ｇｅｎｅｒｉｃｓｅｎｔｅｎｃｅ）の記述のみを必要とする。しかし、多くの場合、画像の特定の部分又はオブジェクトだけに関心を持っている。ユーザは自分の好みや興味を入力できないため、画像キャプションタスクはコンピュータとユーザとの対話が欠けている。

従って、画像及び入力質問が与えられる場合、改善された質問応答システム及び方法を提供することが望まれている。

一つの様態において、画像入力に関連する質問入力の解答を生成することによりコンピュータ−ユーザインタラクションを改善するコンピュータ実施方法を提供し、この方法は、自然言語形式の質問入力を受信するステップと、前記質問入力に関連する画像入力を受信するステップと、前記質問入力と前記画像入力をマルチモーダル質問応答（ｍＱＡ）モデルに入力して、順に生成される複数のワードを含む解答を生成するステップと、を含み、前記ｍＱＡモデルは、前記質問入力を高密度ベクトル表現に符号化する第１部品と、前記画像入力の視覚表現を抽出する第２部品と、前記解答における現在のワードの表現及び前記現在のワードの言語的文脈を抽出する第３部品と、前記高密度ベクトル表現、前記視覚表現及び前記現在のワードの表現を含む融合によって、前記解答における現在のワードの後に次のワードを生成する第４部品と、を備える。

もう一つの様態において、画像入力に関連する質問入力の解答を生成することにより、コンピュータ−ユーザインタラクションを改善するコンピュータ実施方法を提供し、この方法は、第１ワード埋め込み層及び第１長短期記憶（ＬＳＴＭ）層を備える第１ＬＳＴＭ部品を使用して、質問入力のセマンティック意味を抽出するステップと、ディープ畳み込みニューラルネットワーク（ＣＮＮ）部品を使用して、前記質問入力に関連する画像入力の表現を生成するステップと、第２ワード埋め込み層及び第２ＬＳＴＭ層を備える第２ＬＳＴＭ部品を使用して、前記解答における現在のワードの表現を抽出するステップと、前記セマンティック意味、前記画像入力の表現及び前記解答における現在のワードの表現を融合して前記解答における次のワードを予測するステップと、を含む。

さらに、もう一つの様態において、非一時的コンピュータ可読媒体を提供し、この非一時的コンピュータ可読媒体は、１つ又は複数の命令シーケンスを含み、前記命令シーケンスは１つ又は複数のプロセッサにより実行される時に、ユーザから質問入力を受信したことに応答し、前記質問入力のセマンティック意味を抽出するステップと、前記質問入力に関連する画像入力を受信したことに応答し、前記画像入力の表現を生成し、前記画像入力に基づいて、始まり記号から開始し、前記セマンティック意味、前記画像入力の表現及び前記現在のワードの表現の融合に基づいて次のワードを生成し、前記次のワードを前記解答に追加するステップと、前記解答の終わり記号を生成するまで、次のワードを生成するステップを繰り返すステップと、前記終わり記号を取得したことに応答し、前記解答を出力するするステップと、を実行させており、ここで、前記始まり記号を前記質問入力の解答における現在のワードとする。

本発明の実施形態を参考とし、実施形態の例は図面に示される。これらの図は、例示的なものであり、限定するものではない。本発明は、これらの実施形態の内容において説明するが、本出願の範囲はこれらの特定実施形態に制限されないことを理解すべきである。

本開示の実施形態に係る画像質問応答モデルのブロック図を示す。本開示の実施形態に係るマルチモーダル質問応答（ｍＱＡ）システムの実施形態によって生成される視覚的質問に対するサンプル解答を示す。本開示の実施形態に係るマルチモーダル質問応答（ｍＱＡ）モデルの部品図を示す。本開示の実施形態に係るマルチモーダル質問応答（ｍＱＡ）モデルアーキテクチャを示す。本開示の実施形態に係る第１ＬＳＴＭ部品と第２ＬＳＴＭ部品の構成図を示す。本開示の実施形態に係る画像質問応答の例示的なフローチャートを示す。本開示の実施形態に係るｍＱＡシステムの融合部品（ｆｕｓｉｏｎｃｏｍｐｏｎｅｎｔ）を使用して最終解答を生成する方法を示す。本開示の実施形態に係る畳み込みニューラルネットワーク部品をトレーニングする方法を示す。本開示の実施形態に係る第１ＬＳＴＭ部品、第２ＬＳＴＭ部品及び融合部品を共同トレーニングする方法を示す。本開示の実施形態に係る入力質問及び入力画像に基づいて解答を生成する例を示す。本開示の実施形態に係るマルチモーダル質問応答を実施するためのコンピューティングシステムの簡略ブロック図を示す。

以下の説明では、解釈のために、細部を説明して本発明の理解を与える。なお、当業者にとっては、これらの細部がない場合でも本発明を実施できることが明らかである。また、本発明の下記実施形態を、プロセス、装置、システム、機器又は手段のような様々な方式で、又は有形コンピュータ可読媒体における方法で実施できることを当業者は理解すべきである。

図面に示す構成要素又はモジュールは本出願の例示的な実施形態の説明であり、本出願の混乱を避けるためものである。理解すべきであることは、明細書全体において、構成要素が単独な機能ユニット（サブユニットを含んでもよい）と記述されてもよいが、当業者は、各構成要素又はその一部が分離した構成要素に区分されてもよく、又は統合されてもよい（単一のシステム又は構成要素の内部に集積されることを含む）ことを認識すべきである。本文に議論された機能又は操作が構成要素として実現されることができることを理解すべきである。なお、本明細書で論述される機能又は操作は構成要素として実施されてもよい。構成要素はソフトウェア、ハードウェア、又はそれらの組み合わせで実施されてもよい。

なお、図面内の構成要素又はシステムの間の接続は直接接続に限定される意図がない。逆に、これらの構成要素の間のデータは中間構成要素で変更され、再フォーマットされ、又は他の方式で改変されてもよい。また、付加的接続又はより少ない接続を利用してもよい。また、用語「連結」、「接続」又は「通信連結」が直接接続、１つ又は複数の中間設備で実現される非直接接続及び無線接続を含むことを理解すべきである。

明細書において、「１つの実施形態」、「好ましい実施形態」、「実施形態」又は「各実施形態」とは、実施形態を合わせて説明した特定の特徴、構造、特性又は機能が本発明の少なくとも１つの実施形態に含まれ、且つ１つの以上の実施形態に存在してもよいことを意味する。明細書における各箇所において、ある用語の使用は例示するためであり、限定と解釈されるべきではない。本明細書で用いられている見出しは全て構成上の目的だけであり、明細書又は特許請求の範囲を限定するものではない。

これらの実験と結果が説明の態様として提供され、特定の条件で一つ又は複数の特定の実施形態によって実施されるため、これらの実験と結果の何れも本願の開示範囲を限定するものではない。更に、（１）一部のステップが選択的に実施されてもよい、（２）ステップは本明細書で説明される特定の順番に制限されなくてもよい、（３）一部のステップは異なる順番で実行されてもよい、及び（４）一部のステップは同時に実行されてもよいことを、当業者が理解すべきである。

Ａ．はじめに
近年、マルチモーダル学習の分野において、自然言語と視覚の両方への注目が高まってきた。特に、画像キャプションタスクに関連する多くの研究が急速に発展している。これらの研究のほとんどはディープニューラルネットワーク、リカレントニューラルネットワーク又は長短期記憶に基づいて構築されるものである。文の注釈を含む大規模な画像データセットはこの発展において重要な役割を果たしている。これらの方法が成功したけれども、解決すべき問題が残っている。特に、画像キャプションタスクは、画像の総称文の記述のみを必要とする。しかし、多くの場合、画像の特定の部分又はオブジェクトが注目の対象となる。現在、画像キャプション方法は、コンピュータとユーザとの対話が欠けている（これらの方法はユーザの好みや興味を考慮に入れていないからである）。

改善されたユーザ−コンピュータインターフェースを有する視覚的質問応答タスクは本明細書に開示される実施形態の焦点である。このタスクでは、実施形態は画像の内容に関連する自由式質問（ｆｒｅｅｓｔｙｌｅｑｕｅｓｔｉｏｎ）の解答を提供し、従来の方法に比べて、コンピュータとユーザとの対話を大幅に高める。このタスクを解決するために、マルチモーダル質問応答（ｍＱＡ）モデルの実施形態が開発されている。図１Ａは本開示の実施形態に係る画像質問応答モデルのブロック図を示す。ｍＱＡモデル１３０は画像入力１１０及び画像入力に関連する質問入力１２０を受信し、及び複数のワードを含む解答１４０を生成する。従来の方法は簡単な単一ワードの解答を提供する。複数ワードの解答（完全な文を含む）を提供することにより、コンピュータ−ユーザ対話と有用性を向上させる一方、複雑性が著しく増加してしまう。実施形態では、ｍＱＡモデル１３０は同一又は異なる入力インターフェースによって質問入力と画像入力を受信する。図１Ｂは本開示の実施形態に係るｍＱＡシステムの実施形態によって生成される視覚的質問に対するサンプル解答を示す。画像、質問及び解答は図１Ｂに示されているが、例えば、質問、解答又はその両方がテキスト形式、オーディオ形式又はそれらの組合せのような異なる形態で配置されてもよい。

実施形態では、図２に示すように、ｍＱＡモデル１３０は４つの部品を備える。実施形態では、第１部品２１０は第１長短期記憶（ＬＳＴＭ）部品であり、質問入力１２０を受信して質問入力の自然言語文を高密度ベクトル表現に符号化する。実施形態では、第２部品２２０はディープ畳み込みニューラルネットワーク（ＣＮＮ）部品であり、画像入力を受信して画像表現を抽出する。実施形態では、ディープＣＮＮ部品は、事前にトレーニング可能であり、且つトレーニング中に修復可能である。実施形態では、第３部品２３０は第２ＬＳＴＭ部品であり、解答における現在のワードと前のワードの情報を高密度表現に符号化する。実施形態では、第４部品２４０は融合部品であり、前の部品からの情報を融合して解答における次のワードを予測する。実施形態では、融合部品２４０は融合層２４２、中間層２４４及びＳｏｆｔｍａｘ層２４６を備える。実施形態では、融合層２４２は前の３つの部品に通信可能に結合され、これらの部品からの情報を融合して、解答における次のワードの予測に資するための高密度マルチモーダル表現を生成する。なお、ｍＱＡシステムは異なる形態で配置されてもよく、融合層はより少ない又はより多い部品からの情報を融合してもよい。例えば、第１部品は情報を第３部品に送信し、融合層は第２部品及び第３部品からの出力だけを受信するようにしてもよい。実施形態では、中間層２４４は融合層における高密度マルチモーダル表現を高密度ワード表現にマッピングする。実施形態では、Ｓｏｆｔｍａｘ層２４６は解答における次のワードの確率分布を予測する。

実施形態では、対数尤度損失関数を用いて、トレーニングセット中のグラウンドトルス解答（ｇｒｏｕｎｄｔｒｕｔｈａｎｓｗｅｒ）の確率を最大化することにより、第１部品、第３部品及び第４部品を共同でトレーニングする。オーバーフィッティングのリスクを低減するために、第１部品及び第３部品内のＬＳＴＭ間のワード埋め込み層の重み共有（ｗｅｉｇｈｔｓｈａｒｉｎｇ）を使用するようにしてもよい。転置（ｔｒａｎｓｐｏｓｅ）重み共有手段によって、ワード埋め込み層と完全に接続されたＳｏｆｔｍａｘ層の間で重み共有を可能にするようにしてもよい。

実施形態では、ｍＱＡモデルをトレーニングするために、Ｍｉｃｒｏｓｏｆｔコモン・オブジェクツ・イン・コンテクスト（ＭＳＣＯＣＯ）データセットに基づいて、大規模な自由回答式多言語画像質問応答データセット（ＦＭ−ＩＱＡ、セクションＤを参照）を構築する。現在のバージョンのデータセットは１５８３９２個の画像及び３１６１９３個の中国語の質問応答ペア及び中国語の質問応答ペアに対応した英訳を含む。注釈を多様化するために、注釈者が画像の内容に関連する任意の質問を提出することが許可される。本明細書で提案される策略は注釈の品質を監視する。このデータセットは、行動認識（例えば、「あの男は野菜を買おうとしていますか？」）、オブジェクト認識（例えば、「黄色いものは何ですか？」）、画像においてオブジェクト間の位置及び相互作用（例えば、「猫はどこでいますか？」）及び常識及び視覚内容に基づく推理（例えば、「自動車はなぜここに止まっていますか？」）のような人工知能（ＡＩ）に関連する広範囲の質問を含む。

自由式質問応答ペアの可変性のため、自動計量（ａｕｔｏｍａｔｉｃｍｅｔｒｉｃｓ）を用いて正確に評価することは困難である。人間の判定者によって視覚的チューリングテストを行う。具体的には、ｍＱＡシステムの実施形態によって生成される質問応答ペアと注釈者によりラベリングされた同一質問応答ペアセットを混合する。人間の判定者は解答がモデルにより出されるか人間により出されるかを決定することに参与する。また、判定者は０（すなわち、間違っている）、１（すなわち、部分的に正しい）又は２（例えば、正解）のスコアを出すことが要求される。結果からわかるように、ｍＱＡシステムのテスト対象となる実施形態はこのテストの６４．７％（人間からの解答としてみなされる）をパスし且つ平均スコアが１．４５４である。本明細書の検討部分では、ｍ−ＲＮＮモデルを備えたりｍ−ＲＮＮモデルと組み合わせたりするｍＱＡシステムは画像に関連する質問を自動的に提出して当該質問に回答することができる。

Ｂ．関連作業
コンピュータビジョンと自然言語の２つの分野では、近業はディープニューラルネットワークモデルを使用して重要な進歩を遂げた。コンピュータビジョンについて、畳み込みニューラルネットワークに基づく方法は多くのタスク（例えば、オブジェクト分類、検出やセグメンテーション）において最先端の性能を実現する。自然言語について、リカレントニューラルネットワーク（ＲＮＮ）と長短期記憶ネットワーク（ＬＳＴＭ）も機械翻訳や音声認識に幅広く使用されている。

ｍＱＡシステムの実施形態は、ｍ−ＲＮＮモデルによって部分的に示唆され、画像キャプションタスクと画像−文検索タスクに使用される。視覚に対してディープＣＮＮを使用しており、言語に対してＲＮＮを使用している。モデルの実施形態は、質問−画像ペアの入力を処理し、解答を生成するように拡張されてもよい。実験中において、ｍＱＡシステムがｍ−ＲＮＮモデルを使用して、如何に画像に関連する、ｍＱＡシステムの実施形態によって回答できる良い質問を提出するかを学習できることが分かる。

近年、視覚的質問応答タスクに努力してきた。しかし、それらのほとんどは、所定の質問セットと制限された質問セットを使用している。これらの質問セットにおけるいくつかの質問はテンプレートによって生成される。また、ＦＭ−ＩＱＡデータセットは従来技術のデータセットよりも遥かに大きい。

この課題について、並行した研究と独立した研究がなされている。ＭＳＣＯＣＯに基づく大規模なデータセットも提案されている。このデータセットにおいていくつかの簡単なベースライン方法をさらに提供している。彼らの方法に比べて、このタスクに対して、本明細書に開示されている教示に基づく実施形態はより良好な効果を示し、人間の判定者によって少なくとも一部の評価を行う。データセットはさらに２種類の異なる言語を含み、ほかのタスク（例えば、機械翻訳）のために有益である。異なるセットの注釈者と注釈への異なる要求によって、提案したデータセットと上記ＭＳＣＯＣＯに基づく大規模なデータセットは互いに補完し合い、面白いトピック（例えば、視覚的質問応答用のデータ伝送）を生成することができる。

いくつかのほかの研究は、単一ＬＳＴＭ及びＣＮＮを含むモデルを使用する。これらの研究は質問と解答（単一ワードであり又は単一ワードが好ましい）を連結してＬＳＴＭに送信する。これらの研究との相違点は、質問と解答の異なる性質（例えば、文法）を考慮し、本開示の実施形態は２つの単独なＬＳＴＭをそれぞれ質問と解答に使用するとともに、ワード埋め込みの共有を可能にする。データセットに対して、いくつかの従来方法はＦＭ−ＩＱＡデータセットよりも遥かに小さいデータセットを使用する。いくつかのほかの従来方法はＭＳＣＯＣＯにおける注釈を用いて、４つの事前定義されたタイプの質問（すなわち、オブジェクト、数、色及び位置）を有するデータセットを合成する。単一ワードを有する解答をさらに合成する。これらのデータセットはＦＭ−ＩＱＡデータセットを補完することができる。

Ｃ．マルチモーダルＱＡ（ｍＱＡ）システムの実施形態
本開示の実施形態に係るｍＱＡモデルの例示的なアーキテクチャは図２及び図３に示される。実施形態では、モデルは、（Ｉ）質問のセマンティック表現を抽出する第１長短期記憶（ＬＳＴＭ）部品２１０と、（ＩＩ）画像表現を抽出するディープ畳み込みニューラルネットワーク（ＣＮＮ）部品２２０と、（ＩＩＩ）解答における現在のワードの表現及びその言語的文脈を抽出する第２ＬＳＴＭ部品２３０と、（ＩＶ）前の３つの部品からの情報を結合して解答における次のワードを生成する融合部品２４０と、の４つの部品を含む。いくつかの実施形態では、これら４つの部品を共同でトレーニングする。後述するサブセクション１に４つのモデル部品の詳細を説明する。セクションＥ、サブセクション３に重要な部品と策略の有効性を分析する。図３では、第１ＬＳＴＭ部品は充填されていないブロックを含み、第２ＬＳＴＭ部品は垂直線で充填されたブロックを含み、融合部品は点で充填されたブロックを含む。

図４は本開示の実施形態に係る第１ＬＳＴＭ部品と第２ＬＳＴＭ部品の例示的な構成図を示す。第１ＬＳＴＭ部品２１０は第１ワード埋め込み層２１２及び第１ＬＳＴＭ層２１４を備える。第２ＬＳＴＭ部品２３０は第２ワード埋め込み層２３２及び第２ＬＳＴＭ層２３４を備える。実施形態では、２つのＬＳＴＭ部品（一方のＬＳＴＭ部品は質問用、他方のＬＳＴＭ部品は解答用のものである）のワード埋め込み層における重み行列は共有される。また、実施形態では、ワード埋め込み層で共有された重み行列はＳｏｆｔｍａｘ層２４６における重み行列と転置方式で共有されてもよい（同様に図３に示される）。実施形態では、第２ＬＳＴＭ層における重み行列は第１部品中の第１ＬＳＴＭ層における重み行列と共有しない。

従来技術に比べて、質問及び解答のそれぞれに２つの単独な部品（ＬＳＴＭ）を使用するとともに、これら２つの部品の間（ワード埋め込み層において）に重みの共有を可能にすることにより、ユニークな利点を提供する。一方では、質問と解答の異なる性質（例えば、文法）を考慮して、単独で異なるＬＳＴＭを使用することにより解答がより「頼りになり」、それによりユーザが画像−質問−解答モデルを使用することにより自然で魅力的なインターフェースを提供する。他方では、これら２つの部品間で重み行列を共有することにより、解答生成の全過程を合理化し、簡素化することができ、それにより生成される解答の「頼りになる」品質を損なうことなく計算時間を短縮できる。また、複数ワードの解答により、ｍＱＡモデルは自由式質問を含むより複雑な質問に回答できるようになる。解答は複雑な文であってもよい。従って、ｍＱＡモデルの有用性も大幅に向上させる。

実施形態では、モデルに入力されるのは、画像入力１１０及び画像に関連する質問入力１２０である。実施形態では、モデルをトレーニングして質問の解答を生成する。実施形態では、質問と解答におけるワードはワンホット（ｏｎｅ−ｈｏｔ）ベクトル（すなわち、長さが辞書サイズＮで且つ１つの非ゼロベクトルのみを有するバイナリーベクトルであり、非ゼロベクトルはそのワード辞書におけるインデックスを指示する）によって表現される。それぞれトレーニング解答の始まりと終わりに＜ＢＯＡ＞（解答の始まり）記号と＜ＥＯＡ＞（解答の終わり）記号を追加してワード辞書における２つの空間ワードとする。それらはテスト／使用段階で質問の解答を生成することに用いられる。

テスト／使用段階では、画像及び画像に関連する質問をモデルに入力する。実施形態では、解答生成過程は、始まり記号＜ＢＯＡ＞で開始し、モデルを使用して次のワードの確率分布を計算する。次に、ビーム探索法を用いて、Ｓｏｆｔｍａｘ層に基づいて、最大確率を有する最適なＫ個の候補を保持する。モデルが解答の終わり記号＜ＥＯＡ＞を生成するまで、上記過程を繰り返す。

図５は本開示の実施形態に係る画像質問応答の例示的なフローチャートを示す。実施形態では、ｍＱＡモデルは、ステップ５０５で画像入力を受信し、ステップ５１０で画像入力の視覚表現を抽出する。ｍＱＡモデルは、ステップ５１５で画像入力に関連する自然言語文形式の質問入力をさらに受信し、ステップ５２０で自然言語文を高密度ベクトル表現に符号化する。なお、ｍＱＡモデルは、画像入力を先に受信する代わりに、画像入力と質問入力を上記と異なる順序で受信してもよく、同時に受信してもよい。ステップ５２５では、ｍＱＡモデルは解答における現在のワードの表現及びその言語的文脈を抽出する。ステップ５３０では、高密度ベクトル表現、視覚表現及び現在のワードの表現を含む融合を用いて解答における次のワードを生成する。解答＜ＥＯＡ＞の終わりになるまで、ステップ５２５及びステップ５３０を繰り返す。最後に、モデルはステップ５４０で最終の複数ワード解答を出力する。

１．ｍＱＡモデルの部品の実施形態
ａ）部品（Ｉ）実施形態では、モデルの第１部品２１０は質問のセマンティック意味を抽出する。実施形態では、第１部品は５１２次元の第１ワード埋め込み層２１２及び４００個のメモリセルを有する第１ＬＳＴＭ層２１４を備える。ワード埋め込み層の機能はワードのワンホットベクトルを高密度セマンティック空間にマッピングすることである。この高密度ワード表現はＬＳＴＭ層に送信される。

実施形態では、ＬＳＴＭ層は、勾配爆発又は消失勾配の問題（ｇｒａｄｉｅｎｔｅｘｐｌｏｓｉｏｎｏｒｖａｎｉｓｈｉｎｇｐｒｏｂｌｅｍ）を解決するためのリカレントニューラルネットワーク（ＲＮＮ）として設計される。ＬＳＴＭ層は文脈情報をそのメモリセルに記憶し、シーケンス（例えば、質問）におけるワードの間のブリッジとしての機能を果たす。実施形態では、データの長期依存関係をより効率的にモデル化するために、ＬＳＴＭ層は３つのゲートノードを従来のＲＮＮ構造：入力ゲート、出力ゲート及び忘却ゲートに追加する。入力ゲートと出力ゲートはＬＳＴＭメモリセルに対する読み取り及び書き込みアクセスを調節する。忘却ゲートはメモリセルの内容の期限が切れた時にメモリセルをリセットする。従来方法と異なり、実施形態では、質問はモデルのもう１つの入力源に過ぎないため、画像表現はこの部品におけるＬＳＴＭ層に送信されない。この方法は合理的であり、質問はモデルのもう１つの入力源としてみなされるため、それらの監督として画像を追加すべきではないからである。質問における最後のワード（すなわち、疑問符）の、ＬＳＴＭメモリセルに記憶される情報は文の表現としてみなされる。

ｂ）部品（ＩＩ）実施形態では、第２部品２２０は画像の表現を生成するディープ畳み込みニューラルネットワーク（ＣＮＮ）である。いくつかの実施形態では、ＧｏｏｇｌｅＮｅｔを使用する。なお、ほかのＣＮＮモデル（例えば、ＡｌｅｘＮｅｔやＶｇｇＮｅｔ）を使用してもよい。実施形態では、ディープＣＮＮの最後のＳｏｆｔｍａｘ層が削除され、残った最上層が本明細書に開示されたモデルの実施形態に接続される。

ｃ）部品（ＩＩＩ）実施形態では、第３部品は第２ＬＳＴＭ部品２３０であり、第２ワード埋め込み層２３２及び第２ＬＳＴＭ層２３４を備える。第３部品の構造は第１部品と類似する。解答におけるワードのメモリセルの活性化（ａｃｔｉｖａｔｉｏｎ）と、ワード埋め込みとを、融合部品に送信して解答における次のワードを生成することができる。

いくつかの従来方法では、トレーニング質問と解答を連結し、単一ＬＳＴＭを使用する。質問と解答が異なる性質（すなわち、文法）を有するため、本明細書に記載の実施形態では、２つの単独なＬＳＴＭをそれぞれ質問と解答に用いる。本明細書では、質問と解答に用いられるＬＳＴＭ層はそれぞれＬＳＴＭ（Ｑ）とＬＳＴＭ（Ａ）で示される。実施形態では、ＬＳＴＭ（Ｑ）における重み行列は第１部品おけるＬＳＴＭ（Ａ）の重み行列と共有しない。なお、第１部品と第３部品のワード埋め込み層におけるパラメータを共有できるように、質問と解答に対して単一ワードのセマンティック意味を同じにするべきである。

ｄ）部品（ＩＶ）最終的に、実施形態では、第４部品２４０は最初の３つの層からの情報を融合する。実施形態では、第４部品２４０は融合層２４２、中間層２４４及びＳｏｆｔｍａｘ層２４６を備える。図６は本開示の実施形態に係るｍＱＡシステムの融合部品を使用して最終解答を生成する方法を示す。

実施形態では、融合層２４２は、ステップ６１０で解答における現在のワードの融合層活性化（ａｃｔｉｖａｔｉｏｎ）ｆ（ｔ）に対して、高密度ベクトル表現、視覚表現及び現在のワード表現を融合する。具体的には、解答における第ｔ個のワード（又は現在処理している解答ワード）に対する融合層活性化ｆ（ｔ）は以下の式により計算される。

実施形態では、合層２４２の後に、中間層２４４はステップ６２０で融合層における高密度マルチモーダル表現を高密度ワード表現にマッピングする。実施形態では、完全に接続されたＳｏｆｔｍａｘ層２４６はステップ６３０で解答における次のワードの確率分布を予測する。この策略は、ワード埋め込み層と、完全に接続されたＳｏｆｔｍａｘ層との間で重みを共有することを可能にする（サブセクション２を参照）。

ステップ６４０では、ステップ６３０で予測した次のワードが解答の終わり（例えば、＜ＥＯＡ＞）であるか否かを検証する。解答の終わりではない場合、ステップ６４５に戻り、ステップ６４５では、次のワードを解答に追加して現在のワードとして設定し、現在のワードの融合層活性化、次の解答ワードの予測及び生成プロセス（ステップ６１０〜６３０）を繰り返す。解答の終わり（成分「ＹＥＳ」）である場合、システムはステップ６５０で最終解答を出力する。

２．重み共有策略セクションＢに言及したように、質問と解答について、文法の性質が異なるため、ｍＱＡシステムは質問と解答に対して異なるＬＳＴＭを使用する。しかし、単一ワードの意味は質問と解答の両方では同じであるべきである。従って、第１部品と第３部品のワード埋め込み層の間で重み行列を共有できる。

また、図２及び図３に示すように、ワード埋め込み層の重み行列は、完全に接続されたＳｏｆｔｍａｘ層における重み行列と転置方式で共有してもよい。直感的には、ワード埋め込み層における重み行列の機能はワンホットワード表現を高密度ワード表現に符号化することである。Ｓｏｆｔｍａｘ層における重み行列の機能は高密度ワード表現を偽の単一ワード表現に復号化することで、ワード埋め込み層の逆の操作である。この策略によって、モデルのパラメータのほぼ半分を減少させ、画像キャプション及び新たな視覚概念の学習タスクについては優れた性能を提供する。

３．トレーニングの詳細実施形態では、ＣＮＮをプレトレーニングする。例えば、図７Ａのブロック７１０に示すように、ＩｍａｇｅＮｅｔ分類タスクでＣＮＮをプレトレーニングしてもよい。ＱＡトレーニング中においてこの部品を修復してもよい。解答のワードシーケンスで定義した対数尤度損失を使用する。この損失関数を最小化することは、モデルがトレーニングセットにおいてグラウンドトルス解答を生成する確率を最大化することに相当する。実施形態では、図７Ｂのブロック７２０に示すように、確率的勾配降下方法によって第１部品、第３部品及び第４部品を共同でトレーニングする。実施形態では、初期学習率は１であり、データの各エポック（ｅｐｏｃｈ）を１０倍減少させる。実施形態では、検証セットでの損失が３つのエポック内に減少しない（又は閾値量を減少しない）時に、トレーニングを停止する。実施形態では、交差検証によりモデルのハイパーパラメータを選択する。なお、これらのトレーニング例は、実例として示され、特定の条件では１つ又は複数の特定の実施形態により実行され、従って、本特許文献の開示範囲を限定するものではない。

中国語の質問応答タスクについて、文をいくつかのワードを含むフレーズに分割する。これらのフレーズが英語のワードに等価するものとしてみなされてもよい。

Ｄ．自由式多言語画像質問応答（ＦＭ−ＩＱＡ）データセット
いくつかの実施形態は大規模な多言語視覚的質問応答データセットでトレーニングされ評価される。サブセクション１（後述）では、データ収集過程が説明されるとともに、注釈の品質を監視するための方法が説明される。以下、サブセクション２でデータセットのいくつかの統計と例が与えられる。

１．データ収集初期画像セットは新たに発表されたＭＳＣＯＣＯトレーニング、検証及びテストセットからの１５８３９２個の画像から開始する。百度のオンラインクラウドソーシングサーバ（ｏｎｌｉｎｅｃｒｏｗｄｓｏｕｒｃｉｎｇｓｅｒｖｅｒ）を用いて注釈を収集する。ラベリングされた質問応答ペアを多様化するために、注釈者は画像の内容に関連する任意のタイプの質問を自由に提出する。質問は視覚内容と常識によって回答されるべきである（例えば「画像中の人物の名前は何ですか？」のような質問が好ましくない）。注釈者は質問自身の解答を与える必要がある。

一方では、注釈者に自由を与えることにより、自由式の、面白く、多様な質問セットを取得することを容易にする。他方では、より詳細な命令に比べて、注釈の品質管理が難しくなる。注釈の品質を監視するために、初期品質フィルタリング段階を実施する。具体的には、注釈者（テストであることが分らない）の初期セットとしてのＭＳＣＯＣＯデータセットから１０００個の画像をランダムにサンプリングして品質監視データセットとする。次に、いくつかの注釈がサンプリングされ、各注釈者がこの品質監視データセットにおいてラベリングを完了した（注釈者あたり約２０個の質問応答ペア）後に、これらの注釈の品質を評価する。注釈が満足できる（すなわち、質問が画像の内容に関連し且つ解答が正解である）注釈者のうちの少数（１９５名）のみを選択する。さらに、解答を与えるには高レベルの推論を必要とする面白い質問を提出する注釈者を優先的に考慮する。残りの画像をラベリングすることについては、選択した注釈者だけが許可される。品質監視データセットから注釈付きの質問応答ペアの１組の良い例と悪い例を選択し、選択した注釈者に参考としてこれらの例を表示する。これらの例を選択する理由をさらに提供する。すべての画像の注釈を完成した後に、データセットをさらに改善し、悪い質問及び解答とラベリングされた少数の画像を削除する。

２．データセットの統計現在、３１６１９３個の中国語の質問応答ペア及びその英訳を有する１５８３９２個の画像が存在する。各画像は注釈としての少なくとも２つの質問応答ペアを有する。中国語のワードで計られる質問と解答の平均長さはそれぞれ７．３８と３．８２である。１０００個の質問応答ペア及びそれに対応した画像をテストセットとしてランダムにサンプリングする。

このデータセットにおける質問は多様であり、これらの質問を回答するため、大量の人工知能（ＡＩ）機能が必要である。いくつかの比較的簡単な画像理解に関する質問、例えば、オブジェクトの動き（例えば、「緑の帽子をかぶっている男の子は何をしていますか？」）、オブジェクトの種類（例えば、「画像に人がいますか？」）、オブジェクト間の相対位置や相互作用（例えば、「コンピュータは男性の右側にあるか左側にありますか？」）及びオブジェクトの属性（例えば、「フリスビーの色は何ですか？」）を含む。また、データセットは、視覚、言語及び常識からの手がかりを用いた高レベルの推論を必要とするいくつかの質問を含む。例えば、質問「自動車はなぜここに止まっていますか？」に回答するために、この質問は画像中に止まっている自動車に関わり、画像中の２人が後ろでツールを持っていることを理解すべきである。常識に基づいて、自動車に何らかの故障が発生する可能性があり、画像中の２人は自動車を修理しようとする。これらの質問に対する回答が難いけれども、データセットの質問のうち最も興味深い部分である。質問は８個のタイプに分類され、それらの統計も項目ページに示されている。

解答も多様である。注釈者は単一フレーズ又は単一ワード（例えば、「黄色い」）を解答として与えてもよく、完全な文（例えば、「フリスビーは黄色いである」）を解答として与えてもよい。

Ｅ．実験
なお、これらの実験と結果は実例として示され、特定の条件で１つ又は複数の特定の実施形態によって実行される。従って、これらの実験及びそれらの結果は本特許文献の開示範囲を限定するものではないことを注意すべきである。視覚的質問応答のいくつかの近業について、これらの方法は質問の解答が単一ワード又は非常に短いフレーズのデータセットにおいてテストされる。この設定で、単一ワードの類似性を測定する自動評価計量（例えば、Ｗｕ−Ｐａｌｍｅｒ類似性測度（ＷＵＰＳ））を使用することは合理的である。しかし、本明細書に記載の新たに提案されたデータセットについて、データセットにおける解答は自由式であり、且つ完全な文であってもよい。ほとんどの場合は、解答の選択が複数であり、且ついずれも正解である。可能な選択肢として、ＢＬＥＵスコア、ＭＥＴＥＯＲ、ＣＩＤＥｒ又は画像キャプションタスクに幅広く使用されるほかの評価指標が挙げられる。これらの計量の問題は、解答にセマンティック的に重要な少数のワードのみが含まれることである。これらの計量は文におけるワードの用語頻度−逆文書頻度（ｔｆ−ｉｄｆ）項目（例えば、ＣＩＤＥｒ）に基づいて、等しい重み（例えば、ＢＬＥＵやＭＥＴＥＯＲ）又は異なる重みを与えるため、キーワードの重要性を十分に示すことができない。画像キャプションタスクの評価には同じ問題がある（一般的な説明のみが必要なので質問応答よりは厳しくない）。

これらの問題を回避するために、表現されるモデルに対して、人間の判定者を使用して実際の視覚的チューリングテストを実施する（後述するサブセクション１で説明される）。また、スコア（大きければ大きいほどよい）を持つ各生成した文を評価し、後述するサブセクション２で説明されるように、より細かい評価を与える。サブセクション３では、ｍＱＡモデルの異なる変形の検証セットでの性能を比較する。

１．視覚的チューリングテストこの視覚的チューリングテストでは、人間の判定者に画像、質問及びテストモデル又は人間の注釈者によって生成された質問の解答を表示する。解答に基づいて、人間によって出されるか（すなわち、テストに合格）機械によって出されるか（すなわち、テストに合格しない）を決定する。

実際には、表現されるＦＭ−ＩＱＡデータセットのテストセットからの画像及び質問を使用する。ｍＱＡシステムの実施形態は、各質問の解答を生成することに用いられる。さらに視覚情報無しの質問応答基準モデルを実施する。ＣＮＮによって抽出された画像情報を融合層に送信する以外、この基準モデルの構造はｍＱＡシステムの実施形態と類似する。ブラインドＱＡと示される。表現されるｍＱＡモデル、ブラインドＱＡモデルによって生成される解答とグラウンドトルス解答を混合する。このようにして、対応した画像を用いて３０００個の質問応答ペアが生成され、これらの質問応答ペアがランダムに１２個の人間の判定者に割り当てられた。

結果は表１に示される。例示的なｍＱＡモデルによって生成される解答の６４．７％は人間によって提供される解答と見なされることがわかる。ブラインドＱＡはこのタスクでは非常に悪い結果を出した。しかし、生成した解答のうちいくつかはテストに合格した。いくつかの質問は実際に多肢選択式質問であり、従って純粋な言語手がかりに基づいてランダムな推測によって正しい解答を得ることは可能である。

（表１）ＦＭ−ＩＱＡデータセットに対するｍＱＡモデルの実施形態の結果

異なるセットの人間の判定者のうちＶＴＴ評価の分散を研究するために、同一設定で、異なる判定者グループを用いて追加評価を２回行う。人間、ブラインドｍＱＡモデル及びｍＱＡモデルの実施形態は、合格率の標準偏差がそれぞれ０．０１３、０．０１９及び０．０２４である。このタスクについてＶＴＴは安定で確実な評価計量であることがわかる。

２．生成された解答のスコア視覚的チューリングテストは、生成された解答への粗い評価を与える。「０」、「１」又は「２」のスコアを使用して細かい評価を行う。「０」と「２」はそれぞれ解答が完全に間違っていることと完全に正しいことを示す。「１」は解答が部分的に正しく（例えば、一般的なカテゴリが正しいが、サブカテゴリが間違っている）且つ人間の判定者に対して有意義であることを示す。このタスクの人間の判定者は視覚的チューリングテストの人間の判定者と異なってもよい。結果を収集した後に、質問の回答が極めて難しく、人間であっても画像を真面目に見ないと間違う可能性がある場合、いくつかの人間の判定者は依然として「１」を用いて解答を評価することがわかる。

結果は表１に示される。結果からわかるように、完全に正しいとはいえない（すなわち、スコアは２ではない）解答のうち、半分以上の解答は部分的に正しい。ＶＴＴ評価過程と同様に、このスコア評価によって２つの追加のグループが実施された。人間と表現されるｍＱＡモデルの標準偏差はそれぞれ０．０２０と０．０４１である。また、８８．３％と８３．９％の場合、３つのグループはそれぞれ人間とテスト対象のｍＱＡシステムの実施形態に同じスコアを与えた。

３．異なるｍＱＡ変形の性能比較ｍＱＡモデルの異なる部品と策略の有効性を示すために、ｍＱＡの３つの変形を実施する。第１変形（すなわち、「ｍＱＡ−平均−質問」）について、ｗｏｒｄ２ｖｅｃを用いて、質問におけるワードの平均埋め込みでモデルの第１ＬＳＴＭ部品２１０（すなわち、質問埋め込みを抽出するためのＬＳＴＭ）を代替する。ＬＳＴＭの有効性を質問埋め込み学習者及び抽出者として示すことに用いられる。第２変形（すなわち、「ｍＱＡ−同一−ＬＳＴＭ」）について、２つの重みが共有されたＬＳＴＭを用いて質問と解答をモデル化する。モデルの実施形態におけるＬＳＴＭ（Ｑ）とＬＳＴＭ（Ａ）の重みのデカップリング策略の有効性を示すことに用いられる。第３変形（すなわち、「ｍＱＡ−ノンＴＷＳ」）について、転置重み共有（ＴＷＳ）策略を採用しない。ＴＷＳの有効性を示すことに用いられる。

３つの変形と完全なｍＱＡモデル（すなわち、ｍＱＡ完全）のワード誤り率と損失は表２に示される。３つの変形のすべては表現されるｍＱＡモデルよりも悪い結果を示す。

（表２）異なるｍＱＡ変形の性能比較

Ｆ．討論
本開示では、表現されるｍＱＡモデルの実施形態は文又はフレーズを画像の自由式質問の解答として与える。有効性を検証するために、３１００００個を超える質問応答ペアを含む自由式多言語画像質問応答（ＦＭ−ＩＱＡ）データベースを構築する。人間の判定者を用いて、実際のチューリングテストによって実施形態を評価する。ｍＱＡモデルの実施形態により出される解答の６４．７％は人間によって提供される解答と見なされることを示す。ＦＭ−ＩＱＡデータセットはほかのタスク、例えば、視覚機械翻訳に用いられてもよく、視覚情報は文中のワードの曖昧性を除去することに役に立つ文脈情報として機能してもよい。実施形態では、第１部品中のＬＳＴＭもマルチモーダルＬＳＴＭに変更する。この変更は、画像の内容に関連する自由式質問を生成してこの質問の解答を提供することを可能にする。その結果は図８に示される。

本特許文献の様々様態は計算システムに関する。本開示の目的として、計算システムは、商業、科学、制御又は他の目的のために、任意様態の情報、インテリジェンス又はデータを、計算、算出、決定、分類、処理、送信、受信、検索、開始、ルーティング、記憶、表示、伝送、出現、検出、記録、再現、処理、又は利用するように操作可能な任意の手段又は手段の集合を含んでもよい。例えば、計算システムはパーソナルコンピュータ（例えば、デスクトップ又はラップトップコンピュータ）、タブレットコンピュータ、モバイル機器（例えば、パーソナルディジタルアシスタント（ＰＤＡ）又はスマートフォン）、サーバー（例えば、ブレードサーバー又はラックマウント型サーバー）、ネットワーク設備又は任意の他の適切な設備であってもよく、更に大きさ、形状、性能、機能及び価格が変化してもよい。計算システムはランダムアクセスメモリ（ＲＡＭ）、１つ又は複数の処理リソース（例えば、中央処理装置（ＣＰＵ）又はハードウェア又はソフトウェア制御ロジック）、ＲＯＭ及び/又は他のタイプのメモリを含んでもよい。計算システムの付加的構成要素は１つ又は複数のディスクドライブ、外部設備と通信するための１つ又は複数のネットワークポート、及び各種の入力及び出力（Ｉ/Ｏ）設備（例えばキーボード、マウス、タッチスクリーン及び/又はビデオディスプレー）を含んでもよい。計算システムは更に各ハードウェア構成要素の間で通信を行うように操作される可能な１つ又は複数のバスを含んでもよい。

図９は、本開示の実施形態に係る計算システム９００のブロック図を示す。計算システム９００について、示される機能は計算システムをサポートする各種の実施形態として操作されてもよいが、計算システムが異なって配置されてもよく、異なる部品を含んでもよいことを理解すべきである。図９に示すように、計算システム９００は、計算リソースを提供するとともにコンピュータを制御する１つ又は複数の中央処理装置（ＣＰＵ）９０１を含む。ＣＰＵ９０１はマイクロプロセッサ等を利用して実現されてもよく、且つ計算システム９００は１つ又は複数のグラフ処理ユニット（ＧＰＵ）９１７及び/又は数学計算に用いられる浮動小数点コプロセッサを更に含んでもよい。計算システム９００はシステムメモリ９０２を更に含んでもよく、システムメモリ９０２はランダムアクセスメモリ（ＲＡＭ）又は読み取り専用メモリ（ＲＯＭ）の様態であってもよく、又はＲＡＭとＲＯＭ両者の様態であってもよい。

図９に示すように、計算システム９００は複数のコントローラ及び周辺設備をさらに提供してもよい。入力コントローラ９０３は例えば各種の入力設備９０４（例えばキーボード、マウス又はライトペン）のインターフェースを示す。スキャナー９０６と通信するスキャナーコントローラ９０５を更に有してもよい。計算システム９００は、１つ又は複数の記憶設備９０８と結合するためのメモリコントローラ９０７を更に含んでもよく、各記憶設備９０８はシステムを操作する指令のプログラム、ユーティリティプログラム及びアプリケーションを記録することに用いられる記憶媒体（例えば磁気テープ、ディスク又は光学媒体）を含み、ここで、これらは本発明の各様態のプログラムを実現する実施形態を含んでもよい。本出願によれば、記憶設備９０８は更に既に処理されたデータ又は処理しようとするデータを記憶することに用いられてもよい。計算システム９００は表示設備９１１にインターフェースを提供するためのディスプレーコントローラ９０９を更に含んでもよく、表示設備９１１は陰極線管（ＣＲＴ）ディスプレー、薄膜トランジスタ（ＴＦＴ）ディスプレー又は他のタイプのディスプレーであってもよい。計算システム９００は更にプリンター９１３と通信するためのプリンターコントローラ９１２を含んでもよい。通信コントローラ９１４は１つ又は複数の通信設備９１５に結合することができ、これにより、計算システム９００はインターネット、イーサネットクラウド、イーサネット上のファイバチャネル（ＦＣｏＥ）/データセンターブリッジング（ＤＣＢ）クラウド、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、記憶領域ネットワーク（ＳＡＮ）のような多種のネットワークのいずれかにより、又は任意の適切な電磁キャリア信号（赤外線信号を含む）によりリモート設備に接続される。

示されるシステムにおいて、すべての主なシステム部品はバス９１６に接続されてもよく、バス９１６は１つ以上の物理バスを示すことができる。しかし、各種のシステム部品は互いに物理的に隣接してもよく、互いに物理的に隣接しなくてもよい。例えば、入力データ及び/又は出力データは１つの物理位置から他の物理位置にリモート伝送されることができる。なお、本出願の各様態を実現するプログラムはネットワークでリモート（例えば、サーバー）からアクセスすることができる。当該データ及び/又はプログラムは多種の機械読み取り可能な媒体における任意の媒体により伝送されてもよく、機械読み取り可能な媒体は、例えばハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、例えばＣＤ-ＲＯＭ及びホログラフィー設備のような光学媒体、光磁気媒体、及び例えば特定用途向け集積回路（ＡＳＩＣ）、プログラム可能なロジック設備（ＰＬＤ）、フラッシュメモリデバイス及びＲＯＭとＲＡＭ設備のような特別にプログラムコードを記憶したり、記憶して実行したりするように構成されるハードウェア設備を含むが、これらに限定されない。

１つ又は複数のプロセッサ又は処理ユニットにステップを実行させる指令によって、本発明の実施形態を１つ又は複数の非一時的コンピュータ可読媒体でコーディングすることができる。１つ又は複数の非一時的コンピュータ可読媒体は揮発性及び不揮発性メモリを含むべきであることを注意すべきである。ハードウェア実現方式又はソフトウェア/ハードウェア実現方式を含む代替の実施態様でも可能であることを注意すべきである。ハードウェアが実現する機能はＡＳＩＣ、プログラマブルアレイ、デジタル信号処理回路等によって実現されることができる。このため、任意の請求項における用語「装置」はソフトウェア実現方式とハードウェア実現方式の両方ともカバーすることを意図する。類似するように、本文に使用された用語「コンピュータ可読媒体」はその上で実行される指令プログラムを有するソフトウェア及び/又はハードウェア、又はソフトウェア及びハードウェアの組み合せを含む。これらの代替の実施態様を考えて、各図面及び係る説明が当業者に必要な処理を実行するために必要とされる機能情報を提供することを理解すべきであり、当該機能情報はプログラムコード（即ち、ソフトウェア）をプログラミングすること及び/又は回路（即ち、ハードウェア）を製造することに用いられる。

本出願の実施形態は更に非一時的有形のコンピュータ可読媒体を有するコンピュータ製品に関してもよく、当該コンピュータ可読媒体には各種のコンピュータで実現される操作を実行するためのコンピュータコードを有することを注意すべきである。媒体及びコンピュータコードは本出願の目的に従って専門に設計して構造する媒体及びコンピュータコードであってもよく、又は関連分野の当業者が公知する又は利用可能なタイプであってもよい。有形のコンピュータ可読媒体の例示は、例えばハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、例えばＣＤ-ＲＯＭ及びホログラフィー設備のような光学媒体、光磁気媒体、及びプログラムコードを記憶又は記憶して実行するように専門に配置されたハードウェア設備、例えば特定用途向け集積回路（ＡＳＩＣ）、プログラム可能なロジック設備（ＰＬＤ）、フラッシュメモリデバイス及びＲＯＭとＲＡＭ設備を含むが、これらに限定されない。コンピュータコードの例示は、例えばコンパイラで生成されたマシンコード、及びコンピュータがインタプリタを利用して実行する上級コード（ｈｉｇｈｅｒｌｅｖｅｌｃｏｄｅ）のファイルを含む。本出願の実施形態はマシン実行可能な指令として全体的又は部分的に実施されることができ、マシン実行可能な指令が処理設備で実行されるプログラムモジュールにあってもよい。プログラムモジュールの例示は、ベース、プログラム、ルーチン、オブジェクト、部品及びデータ構造を含む。分散式計算環境において、プログラムモジュールは物理的にローカル、リモート又は両者の環境に設置されてもよい。

当業者は、計算システム又はプログラミング言語が本出願の実施に対して非常に重要なものではないことを理解すべきである。当業者は、多くの上記素子が物理的及び/又は機能的にサブモジュールに分けられるか又は統合されるかを認識すべきである。

なお、添付される請求項における要素は異なって設置されてもよく、複数の依存、配置及び組み合わせを含む。例えば、実施形態において、各請求項のサブジェクトをほかの請求項と組み合わせてもよい。

当業者は、本明細書の例および実施形態が例示的なものであり、本発明の範囲を限定するものではないと理解すべきである。本明細書と図面に基づき当業者が容易に想到できる本発明へのすべての置換、強化、均等物、組合せまたは改良は、本発明の趣旨および範囲内に属する。

Claims

画像入力に関連する質問入力の解答を生成することによりコンピュータ−ユーザインタラクションを改善するコンピュータ実施方法であって、
自然言語形式の質問入力を受信するステップと、
前記質問入力に関連する画像入力を受信するステップと、
前記質問入力と前記画像入力をマルチモーダル質問応答（ｍＱＡ）モデルに入力して、順に生成される複数のワードを含む解答を生成するステップと、を含み、
前記ｍＱＡモデルは、
前記質問入力を高密度ベクトル表現に符号化する第１部品と、
前記画像入力の視覚表現を抽出する第２部品と、
前記解答における現在のワードの表現を抽出する第３部品と、
前記高密度ベクトル表現、前記視覚表現及び前記現在のワードの表現を含む融合によって、前記解答における現在のワードの後に次のワードを生成する第４部品と、を備える
ことを特徴とするコンピュータ実施方法。
前記第１部品は第１ワード埋め込み層及び第１長短期記憶（ＬＳＴＭ）層を備える第１ＬＳＴＭネットワークである
ことを特徴とする請求項１に記載のコンピュータ実施方法。
前記第３部品は第２ワード埋め込み層及び第２ＬＳＴＭ層を備える第２ＬＳＴＭネットワークである
ことを特徴とする請求項２に記載のコンピュータ実施方法。
前記第１ワード埋め込み層は前記第２ワード埋め込み層と重み行列を共有する
ことを特徴とする請求項３に記載のコンピュータ実施方法。
前記第１ＬＳＴＭ層は前記第２ＬＳＴＭ層と重み行列を共有しない
ことを特徴とする請求項３に記載のコンピュータ実施方法。
前記第２部品はディープ畳み込みニューラルネットワーク（ＣＮＮ）である
ことを特徴とする請求項１に記載のコンピュータ実施方法。
前記ディープＣＮＮは事前にトレーニングされ、質問応答のトレーニング期間に修復される
ことを特徴とする請求項６に記載のコンピュータ実施方法。
前記第１部品、前記第２部品、前記第３部品及び前記第４部品は共同でトレーニングされる
ことを特徴とする請求項１に記載のコンピュータ実施方法。
前記第４部品は融合部品であり、
前記第１ＬＳＴＭ層、前記第２ＬＳＴＭ層及び前記第２部品からの情報を融合し、前記解答における現在のワードに対して高密度マルチモーダル表現を生成する融合層と、
前記融合層における高密度マルチモーダル表現を高密度ワード表現にマッピングする中間層と、
前記解答における前記次のワードの確率分布を予測するＳｏｆｔｍａｘ層と、を備える
ことを特徴とする請求項３に記載のコンピュータ実施方法。
前記方法は、以下の式（１）
に基づいて、融合層活性化を高密度マルチモーダル表現として計算し、当該高密度マルチモーダル表現を高密度ワード表現にマッピングして前記次のワードの確率を予測し、
ここで、「＋」は要素ごとの加算を示し、ｒ _Ｑは高密度ベクトル表現を示し、Ｉは視覚表現を示し、ｒ _Ａ（ｔ）とｗ（ｔ）はそれぞれ現在のワードの表現とワード埋め込みを示し、Ｖ _ｒＱ、Ｖ _Ｉ、Ｖ _ｒＡ及びＶ _Ｗは学習の重み行列であり、ｇ（・）は要素ごとの非線形関数である
ことを特徴とする請求項１に記載のコンピュータ実施方法。
画像入力に関連する質問入力の解答を生成することにより、コンピュータ−ユーザインタラクションを改善するコンピュータ実施方法であって、
第１ワード埋め込み層及び第１長短期記憶（ＬＳＴＭ）層を備える第１ＬＳＴＭ部品を使用して、質問入力のセマンティック意味を抽出するステップと、
ディープ畳み込みニューラルネットワーク（ＣＮＮ）部品を使用して、前記質問入力に関連する画像入力の表現を生成するステップと、
第２ワード埋め込み層及び第２ＬＳＴＭ層を備える第２ＬＳＴＭ部品を使用して、前記解答における現在のワードの表現を抽出するステップと、
前記セマンティック意味、前記画像入力の表現及び前記解答における現在のワードの表現を融合して前記解答における次のワードを予測するステップと、を含む
ことを特徴とするコンピュータ実施方法。
前記第１ワード埋め込み層は前記第２ワード埋め込み層と重み行列を共有する
ことを特徴とする請求項１１に記載のコンピュータ実施方法。
前記第１ＬＳＴＭ層は前記第２ＬＳＴＭ層と重み行列を共有しない
ことを特徴とする請求項１１に記載のコンピュータ実施方法。
前記ディープＣＮＮ部品は事前にトレーニングされ、質問応答のトレーニング期間に修復される
ことを特徴とする請求項１１に記載のコンピュータ実施方法。
前記解答における次のワードを予測するステップにおいては、
融合層において前記第１ＬＳＴＭ層、前記第２ＬＳＴＭ層及び前記ディープＣＮＮ部品からの情報を融合して、前記現在のワードに対して高密度マルチモーダル表現を生成するステップと、
中間層において前記高密度マルチモーダル表現を高密度ワード表現にマッピングするステップと、
Ｓｏｆｔｍａｘ層において前記解答における前記次のワードの確率分布を予測するステップと、を含む
ことを特徴とする請求項１２に記載のコンピュータ実施方法。
前記融合層における高密度マルチモーダル表現は非線形活性化関数である
ことを特徴とする請求項１５に記載のコンピュータ実施方法。
前記非線形活性化関数は拡張された双曲線正接関数である
ことを特徴とする請求項１６に記載のコンピュータ実施方法。
前記第１ワード埋め込み層、前記第２ワード埋め込み層及び前記Ｓｏｆｔｍａｘ層は重み行列を共有する
ことを特徴とする請求項１６に記載のコンピュータ実施方法。
前記方法は、以下の式（１）
に基づいて、融合層活性化を高密度マルチモーダル表現として計算し、当該高密度マルチモーダル表現を高密度ワード表現にマッピングして前記次のワードの確率を予測し、
ここで、「＋」は要素ごとの加算を示し、ｒ _Ｑは高密度ベクトル表現を示し、Ｉは視覚表現を示し、ｒ _Ａ（ｔ）とｗ（ｔ）はそれぞれ現在のワードの表現とワード埋め込みを示し、Ｖ _ｒＱ、Ｖ _Ｉ、Ｖ _ｒＡ及びＶ _Ｗは学習の重み行列であり、ｇ（・）は要素ごとの非線形関数である
ことを特徴とする請求項１１に記載のコンピュータ実施方法。
１つ又は複数の命令シーケンスを含み、前記命令シーケンスは１つ又は複数のプロセッサにより実行される時に、
ユーザから質問入力を受信したことに応答し、前記質問入力のセマンティック意味を抽出するステップと、
前記質問入力に関連する画像入力を受信したことに応答し、前記画像入力の表現を生成し、
前記画像入力に基づいて、始まり記号から開始し、前記セマンティック意味、前記画像入力の表現及び前記現在のワードの表現の融合に基づいて次のワードを生成し、前記次のワードを前記解答に追加するステップと、
前記解答の終わり記号を生成するまで、次の解答ワードを生成するステップを繰り返すステップと、
前記終わり記号を取得したことに応答し、前記解答を出力するステップと、を実行させており、
ここで、前記始まり記号を前記質問入力の解答における現在のワードとする
ことを特徴とする非一時的コンピュータ可読媒体。
次のワードを生成するステップにおいては、
融合層において第１長短期記憶（ＬＳＴＭ）層、第２ＬＳＴＭ層及びディープ畳み込みニューラルネットワーク（ＣＮＮ）からの情報を融合して、前記現在のワードの高密度マルチモーダル表現を生成するステップと、
中間層において前記高密度マルチモーダル表現を高密度ワード表現にマッピングするステップと、
Ｓｏｆｔｍａｘ層において前記解答における次のワードの確率分布を予測するステップと、を含む
ことを特徴とする請求項２０に記載の非一時的コンピュータ可読媒体。
前記Ｓｏｆｔｍａｘ層は重み行列を有し、前記高密度ワード表現を偽の単一ワード表現に復号化する
ことを特徴とする請求項２１に記載の非一時的コンピュータ可読媒体。
前記非一時的コンピュータ可読媒体において、
以下の式（１）
に基づいて、融合層活性化を高密度マルチモーダル表現として計算し、当該高密度マルチモーダル表現を高密度ワード表現にマッピングして前記次のワードの確率を予測し、
ここで、「＋」は要素ごとの加算を示し、ｒ _Ｑは高密度ベクトル表現を示し、Ｉは視覚表現を示し、ｒ _Ａ（ｔ）とｗ（ｔ）はそれぞれ現在のワードの表現とワード埋め込みを示し、Ｖ _ｒＱ、Ｖ _Ｉ、Ｖ _ｒＡ及びＶ _Ｗは学習の重み行列であり、ｇ（・）は要素ごとの非線形関数である
ことを特徴とする請求項２０に記載の非一時的コンピュータ可読媒体。