JP7553202B2 - テキストシーケンス生成方法、装置、機器及び媒体 - Google Patents

Description

関連出願の相互参照
本出願は、２０２０年６月２４日に中国国家知的産権局に提出された、出願番号が２０２０１０５９１９７０．９であり、発明の名称が「テキストシーケンス生成方法、装置、機器及び媒体」である中国特許出願の優先権を主張しており、その内容の全ては、本明細書に参照によって取り込まれる。

技術分野
本開示の実施例は、人工知能分野に関し、特にテキストシーケンス生成方法、装置、機器及び媒体に関する。

情報アプリケーションソフトウェアの流行に伴い、大量の情報データを処理してユーザに提供する必要がある。情報データは、テキスト、画像、及びビデオなどの様々な形式で表示することができる。テキストに基づいて形成された記事は、情報表示の重要な形式である。

処理する記事の数が多いため、現在、元のテキスト素材を、現在のニーズを満たすテキスト記事に変換するために、様々な自動化テキスト変換技術を採用して記事を生成又は変換する。このような技術は、異なる言語の言語間又は異なるテキスト形式間の変換に使用される場合は、機械翻訳であり、記事と要約との間の変換に使用される場合は、記事を要約に自動的に変換することである。

しかし、従来のテキスト変換技術には、事実上の誤り又は漏れがある可能性があり、そして変換後に得られたテキスト記事は、一般に比較的硬く、流暢ではない。

本開示の実施例は、テキストシーケンス生成方法、装置、機器及び媒体を提供しており、テキストシーケンスとしてのテキスト記事の生成方法の最適化を実現させ、テキスト記事の正確性と流暢度を向上させる。

第１の態様によれば、本開示の実施例は、テキストシーケンスの生成方法を提供する。当該方法は、
初期テキストシーケンスを取得し、前記初期テキストシーケンスから初期テキスト特徴を抽出するステップと、
前記初期テキストシーケンスにおける事実に関連付けられる構造化テキストシーケンスを取得し、前記構造化テキストシーケンスから構造化特徴を抽出するステップと、
前記初期テキスト特徴と前記構造化特徴に基づいて、融合してターゲットテキストシーケンスを生成するステップと、を含む。

第２の態様によれば、本開示の実施例は、テキストシーケンスの生成装置をさらに提供する。この装置は、
初期テキストシーケンスの初期テキスト特徴を抽出するための初期テキスト特徴抽出モジュールと、
構造化テキストシーケンスの構造化特徴を抽出するための構造化特徴抽出モジュールと、
前記初期テキスト特徴と前記構造化特徴に基づいて、融合してターゲットテキストシーケンスを生成するための融合モジュールとを含む。

第３の態様によれば、本開示の実施例は、電子機器をさらに提供する。当該電子機器は、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するためのメモリとを含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される場合、前記１つ又は複数のプロセッサに本開示の任意の実施例によるテキストシーケンスの生成方法を実現させる。

第４の態様によれば、本開示の実施例は、コンピュータ可読記憶媒体をさらに提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、このコンピュータプログラムがプロセッサによって実行されるとき、本開示の任意の実施例によるテキストシーケンスの生成方法が実現される。

第５の態様によれば、本開示の実施例は、コンピュータプログラム製品をさらに提供する。当該コンピュータプログラム製品は、コンピュータプログラムを含み、このコンピュータプログラムがプロセッサによって実行されるとき、本開示の任意の実施例によるテキストシーケンスの生成方法が実現される。

第６の態様によれば、本開示の実施例は、コンピュータプログラムをさらに提供する。このコンピュータプログラムがプロセッサによって実行されるとき、本開示の任意の実施例によるテキストシーケンスの生成方法が実現される。

本開示の実施例は、テキストシーケンスの生成方法によって、テキストシーケンスと構造化テキストシーケンスとを組み合わせて、テキストシーケンスで生成されるターゲットテキストシーケンスの流暢度を向上させ、構造化テキストシーケンスでターゲットテキストシーケンスの事実正確性を向上させ、テキスト変換技術に事実の誤り又は漏れが存在する状況、変換後に得られたテキスト記事が硬く、流暢でないなどの技術課題を解決しており、テキスト編集の正確性と流暢性を向上させる。

添付図面を組み合わせて、以下の具体的な実施の形態を参照し、本開示の各実施例の上記と他の特徴、利点及び態様は、より明らかになる。添付図面を通して、同じ又は類似した添付図面マークは、同じ又は類似したエレメントを示す。添付図面が例示的であり、原本とエレメントが必ずしも比例に応じて描かれていないことを理解すべできる。
本開示の実施例１によるテキストシーケンス生成方法のフローチャートである。 本開示の実施例２によるテキストシーケンス生成方法のフローチャートである。 本開示の実施例２によるテキストシーケンス生成方法の構造概略図である。 本開示の実施例２によるテキストシーケンス生成方法の構造概略図である。 本開示の実施例３によるテキストシーケンス生成方法のフローチャートである。 本開示の実施例５によるテキストシーケンス生成方法の概略図である。 本開示の実施例５によるテキストシーケンス生成方法の概略図である。 本開示の実施例５によるテキストシーケンス生成方法の概略図である。 本開示の実施例６によるテキストシーケンス生成装置の構造概略図である。 本開示の実施例による電子機器の構造概略図である。

以下は、添付図面を参照しながら本開示の実施例をより詳細に説明する。添付図面において、本開示のなんらかの実施例が示されているが、理解すべきことは、本開示は、様々な形式で実現されることができ、且つここに説明される実施例として限定されると解釈されるべきでなく、逆に、これらの実施例の提供は、本開示をより透過的かつ完全に理解するためであることである。理解すべきことは、本開示の添付図面及び実施例は、本開示の保護範囲を制限するために使用されず、例示的な作用のためだけに使用されることである。

理解すべきことは、本開示の方法の実施の形態に記載の各ステップは、異なる順序で実行され、及び／又は並列に実行されてもよいことである。なお、方法の実施の形態は、追加のステップを含み、及び／又は示されるステップの実行を省略してもよい。本開示の範囲は、この点において制限されない。

本明細書において使用される用語である「含む」及びその変形は、開放的な含み、即ち「含むが、それらに限らない」である。用語である「に基づく」は、「少なくとも部分的に基づく」である。用語である「一実施例」は、「少なくとも一実施例」を示し、用語である「別の実施例」は、「少なくとも１つの別の実施例」を示し、用語である「いくつかの実施例」は、「少なくともいくつかの実施例」を示している。他の用語の関連定義は、以下の説明において与えられる。

なお、本開示で言及される「第１の」、「第２の」などの概念は、異なる装置、モジュール又はユニットを区別するためだけに使用され、これらの装置、モジュール又はユニットによって実行される機能の順序又は相互依存関係を限定するために使用されるものではない。

なお、本開示で言及される「１つ」、「複数」の修飾は、限定ではなく例示的であり、コンテキストに特に明確に指摘されない限り、当業者が、「１つ又は複数」と理解できることを理解すべきである。

本開示の実施の形態における複数の装置間で相互作用するメッセージ又は情報の名称は、説明的な目的のみに使用され、これらのメッセージ又は情報の範囲を制限するために使用されるものではない。

関連技術では、一般にテキスト自動変換技術又は表からテキストへの変換技術を採用し、ここで、
テキスト自動変換技術は、一般的には、異なる言語の言語間の変換を行ったり特定のテキストフォーマットを変換したりし、例えば、中国語のテキストを英語のテキストに変換し、記事を要約に変換し、ここで、表からテキストへの変換技術は、構造化データの情報表に基づいて、各行、列及び表枠間の関連関係を設定することにより、必要な場所に特定の句読点を設定し、表枠を削除した後、句読点付きの表枠のコンテンツを取得し、これは、表枠のコンテンツを一覧表示して記号を挿入することに相当する。上記の２つの技術的解決手段は、テキストコンテンツに対してテキストを編集できず、テキストコンテンツの正確性と流暢性を修正できないため、ユーザが変換後のテキストを使用すると、事実上の誤りと語順の乱れが発生する。

本開示の実施例の技術的解決手段は、様々な情報編集システムに適用できるテキストシーケンスの生成方法を提供する。このテキストシーケンスの生成方法は、テキスト編集システムに適用でき、このテキスト編集システムは、１つ又は複数の記憶領域を含む。ここで、１つ又は複数の記憶領域は、アルゴリズムによってシーケンスを融合する。事実が関連付けられることを有する異なるタイプのシーケンスを整合した後にフィルタリングすることにより、フィルタリングされたシーケンスを融合して新しいシーケンスを生成する。ここで、テキスト編集システムの１つ又は複数の記憶領域は、様々なパーソナルコンピュータ、ノートパソコン、知能携帯電話、タブレットパソコンと携帯型ウェアラブルデバイス、サーバ及び／又は複数のサーバで構成されるサーバクラスタに実現されてもよい。

実施例１
図１は、本開示の実施例１によるテキストシーケンスの生成方法のフローチャートであり、この方法は、様々なテキスト編集シーンに適用でき、既存のテキストシーケンスに基づいて新しいテキストシーケンスを生成する。この方法は、テキストシーケンスの生成装置によって実行され、この装置は、ソフトウェア及び／又はハードウェアの方式で実現されてもよく、具体的には、記憶と計算能力を備えたテキスト処理用の電子機器に継承され得る。

図１に示すように、テキストシーケンスの生成方法を提供し、以下のステップを含む。

ステップ１１０、初期テキストシーケンスを取得し、前記初期テキストシーケンスから初期テキスト特徴を抽出する。

初期テキストシーケンスは、既存のテキストシーケンスであり、ソーステキストシーケンスに相当し、新しいターゲットテキストシーケンスを生成するために使用される素材である。初期テキストシーケンスは、数個又は数十個の語彙を含む独立した語句であってもよいし、複数の独立した語句を含む記事全体であってもよい。シーケンスの各エレメントは、１つの語彙に対応している。

前記初期テキストシーケンスから抽出された初期テキスト特徴は、各語彙の特徴を特徴づけることができる特徴シーケンスであり、初期テキスト特徴は、語彙シーケンスであってもよいし、語彙に対応するコーディング値のベクトルであってもよい。初期テキスト特徴を抽出するための方法は、様々であり、例えば、前記初期テキストシーケンスを双方向の長短期記憶リカレントニューラルネットワークに入力して、前記初期テキスト特徴を抽出することができる。

ここで、前記初期テキストシーケンスは、少なくとも１つの初期テキストの語彙コーディング値のベクトルであり、双方向の長短期記憶リカレントニューラルネットワークに入力することで、前記初期テキスト特徴を抽出することができる。双方向の長短期記憶リカレントニューラルネットワークは、前記初期テキスト特徴を抽出するための方法である。例として、前記初期テキストシーケンスを双方向の長短期記憶リカレントニューラルネットワークに入力することは、双方向の長短期記憶リカレントニューラルネットワークを利用して前記初期テキストシーケンスを分類し、各カテゴリの関連する特徴パラメータを生成して初期テキスト特徴を取得することであってもよい。

ステップ１２０、前記初期テキストシーケンスにおける事実に関連付けられる構造化テキストシーケンスを取得し、前記構造化テキストシーケンスから構造化特徴を抽出する。

構造化テキストシーケンスは、既存の事実テキストシーケンスであり、事実ソーステキストシーケンスに相当し、前記初期テキストシーケンスの対照と是正に使用される。構造化テキストシーケンスは、構造化データであり、数個又は数十個の語彙を含む１つのセルであってもよいし、複数のセルを含む完全なテーブルであってもよい。シーケンスの各エレメントは、１つの語彙に対応している。

前記構造化テキストシーケンスから抽出された構造化特徴は、事実を特徴づけることができる特徴シーケンスであり、構造化特徴は、語彙シーケンスであってもよいし、語彙に対応するコーディング値のベクトルであってもよい。

ここで、前記構造化テキストシーケンスは、前記初期テキストシーケンスにおける事実に関連付けられ、即ち、前記構造化テキストシーケンスは、前記初期テキストシーケンスの事実コンテンツに関連付けられ、例えば、前記初期テキストシーケンス内の語彙から検索された全ての事実構造化語彙であってもよく、検索された全ての事実構造化語彙は、実質的に前記初期テキストシーケンスに関連付けられる。

具体的には、構造化特徴を抽出するための方法は、様々であり、例えば、前記構造化テキストシーケンスから少なくとも１つの事実三重項を決定し、次に意味的にスティッチングされた複数の前記事実三重項を、完全に接続されたニューラルネットワークに入力し、この構造化テキストシーケンスの構造化特徴として抽出することができる。本質的に、複数の前記事実三重項をスティッチングして、前記構造化テキストシーケンスの全体的な事実三重項シーケンスを得、完全に接続されたニューラルネットワークを利用して分類と階層的関連付けを実行して、前記構造化特徴を取得する。

構造化テキストシーケンスを取得し、前記構造化テキストシーケンスから構造化特徴を抽出する操作は、具体的に、前記構造化テキストシーケンスに基づいて主語と、述語と、目的語とを含む少なくとも１つの事実三重項を決定し、前記事実三重項を完全に接続されたニューラルネットワークに入力して、事実三重項シーケンスをスティッチングして形成し、前記構造化特徴とすることであってもよい。

前記構造化テキストシーケンスに基づいて少なくとも１つの事実三重項を決定し、例えば、前記構造化テキストシーケンスがテーブルである場合は、このテーブルの事実三重項を決定し、１番目のエレメントとしてテーブルの重要な語彙を決定し、２番目のエレメントとしてテーブルの列を決定し、３番目のエレメントとしてテーブルの列に対応するコンテンツを決定し、この方法でこのテーブルの複数の事実三重項を決定し、事実三重項の主語、述語及び目的語をスティッチングし、且つ完全に接続されたニューラルネットワークに入力して、前記構造化特徴として事実三重項シーケンスを形成する。

例えば、構造化テキストシーケンスは、次の表に示すとおりである。

そこから抽出された事実三重項は、例えば、＜姚明、出身地、上海＞である。複数の事実三重項を同様に抽出して、スティッチングしてこの情報表の構造化特徴を形成することができる。

ステップ１３０、前記初期テキスト特徴と前記構造化特徴に基づいて、融合してターゲットテキストシーケンスを生成する。

ここで、前記初期テキスト特徴と前記構造化特徴に基づいて、融合してターゲットテキストシーケンスを生成することは、前記初期テキスト特徴と前記構造化特徴を利用し、前記初期テキストシーケンスと前記構造化テキストシーケンスを融合してターゲットテキストシーケンスを生成することであってもよい。

ここで、前記初期テキスト特徴と前記構造化特徴を利用し、前記初期テキストシーケンスと前記構造化テキストシーケンスを融合してターゲットテキストシーケンスを生成することは、前記構造化特徴と前記初期テキスト特徴に基づいて、ターゲットテキスト特徴を確認し、それにより前記ターゲットテキスト特徴に基づいて前記ターゲットテキストシーケンスを生成することであってもよい。

上記テキストシーケンスの生成方法において、前記初期テキストシーケンスと前記構造化テキストシーケンス融合技術を利用し、事実が関連付けられる異なるタイプのテキストシーケンス融合を実現しており、テキストからテキストへの変換技術に事実の誤り又は漏れが存在する状況と、表からテキストへの変換技術で得られたテキストが硬く、流暢でないなどの技術課題を解決しており、テキスト編集の正確性と流暢性を向上させる。

実施例２
図２Ａは、本開示の実施例２によるテキストシーケンスの生成方法のフローチャートである。本実施例の技術的解決手段は、上記技術的解決手段に基づいてさらに細分化され、具体的に、主に以下のステップを含む。

ステップ２１０、初期テキストシーケンスを取得し、前記初期テキストシーケンスから初期テキスト特徴を抽出する。

ステップ２２０、前記初期テキストシーケンスにおける事実に関連付けられる構造化テキストシーケンスを取得し、前記構造化テキストシーケンスから構造化特徴を抽出する。

ステップ２３０、前記構造化特徴に基づいて前記初期テキスト特徴をフィルタリングし、且つ前記構造化特徴に基づいて前記初期テキスト特徴のテキストコンテンツを是正して、融合して前記ターゲットテキストシーケンスを生成する。

構造化テキストシーケンスに反映される事実は、一般に精度が高く、且つ洗練されているが、初期テキストシーケンスの事実表現は、不正確な可能性があり、且つ様々な冗長の情報があるため、構造化特徴を利用して初期テキスト特徴をフィルタリングしてテキストコンテンツを是正することができ、これにより２つのコンテンツを融合して、ターゲットテキストシーケンスを生成することができる。

融合してターゲットテキストシーケンスを生成するプロセスは、複数の方式で実現されてもよく、具体的に、
図２Ｂに示すように、記事の最初のドラフトを初期テキストシーケンスとして使用し、初期テキスト特徴を抽出できるモジュールＡに入力して処理して、初期テキスト特徴を生成することができる。これは、記事の最初のドラフトの表現として使用され、情報表を構造化テキストシーケンスとしてモジュールＢに入力して処理して、構造化特徴を生成することができる。これは、情報表の表現として使用でき、次に、初期テキスト特徴と構造化特徴をモジュールＣでスティッチングして、結合されたベクトル化特徴を形成することができる。これは、記事の識別として使用できる。これは、前記初期テキスト特徴と前記構造化特徴に基づいて、融合してターゲットテキストシーケンスを生成する前に、前記初期テキスト特徴と前記構造化特徴を完全に接続されたニューラルネットワークに入力して、特徴スティッチングを実行してターゲットテキスト特徴を生成することと、次に、スティッチングされたターゲットテキスト特徴をモジュールＤに入力して、ターゲットテキストシーケンスをターゲット記事として生成することと、をさらに含むことに相当する。上記各モジュールは、深度学習モデルとしてのニューラルネットワークによって実現されてもよく、それにより全体的な初期テキストシーケンス＋構造化テキストシーケンスをターゲットテキストシーケンスに変換するテキスト変換モデルを構築でき、大量の『記事の最初のドラフト、記事、情報表』などの三重項のデータサンプルを利用してテキスト変換モデルをトレーニングできる。テキスト変換モデルを確率的勾配降下法とバックプロパゲーションで学習更新する。

あるいは、図２Ｃに示すように、記事の最初のドラフトを初期テキストシーケンスとして使用し、初期テキスト特徴を抽出できるモジュールＡに入力して処理して、初期テキスト特徴を生成することができる。これは、記事の最初のドラフトの表現として使用でき、情報表を構造化テキストシーケンスとしてモジュールＢに入力して処理して、構造化特徴を生成することができる。これは、情報表の表現として使用でき、次に、初期テキスト特徴と構造化特徴をモジュールＤにそれぞれ入力して、ターゲットテキストシーケンスを生成することができ、これは、ターゲット記事として使用できる。上記各モジュールは、深度学習モデルとしてのニューラルネットワークによって実現されてもよく、それにより全体的な初期テキストシーケンス＋構造化テキストシーケンスをターゲットテキストシーケンスに変換するテキスト変換モデルを構築でき、大量の『記事の最初のドラフト、記事、情報表』などの三重項のデータサンプルを利用してテキスト変換モデルをトレーニングすることができる。

本開示の実施例の技術的解決手段は、既存のテキストシーケンスを編集でき、構造化の情報表からターゲット記事を直接生成する必要はなく、少量のデータサンプルだけでテキスト変換モデルをトレーニング及び構築することができるため、実現しやすくなり、且つ変換されたターゲット記事の事実表現がより正確になり、テキストがより流暢で自然になる。

実施例３
図３は、本開示の実施例３によるテキストシーケンス生成方法のフローチャートである。本実施例は、前述実施例に基づいて、初期テキスト特徴と構造化特徴に基づいて融合してターゲットテキストシーケンスを生成する実現の形態をさらに紹介する。この方法は、以下のステップを含む。

ステップ３１０、初期テキストシーケンスを取得し、前記初期テキストシーケンスから初期テキスト特徴を抽出する。

ステップ３２０、前記初期テキストシーケンスにおける事実に関連付けられる構造化テキストシーケンスを取得し、前記構造化テキストシーケンスから構造化特徴を抽出する。

ステップ３３０、それぞれ各初期テキスト特徴を現在の初期テキスト特徴とする。

本実施例は、シーケンス化された初期テキスト特徴を１つずつ処理することができ、例えば、既存の記事は、実際には複数の初期テキストシーケンスを順番に含み、各初期テキストシーケンスの初期テキスト特徴は、現在の初期テキスト特徴として１つずつ処理することができる。

ステップ３４０、前記現在の初期テキスト特徴と前記構造化特徴とを事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定する。

記事を例にとると、記事には、事実の説明や他の補助の説明が含まれる可能性があり、本実施例で変換されたターゲットテキストシーケンスは、主に事実説明テキストを含む必要があるため、非事実説明のテキストをフィルタリングすることができる。フィルタリングの具体的な方法は、現在の初期テキスト特徴と各構造化特徴との間の事実整合を実行し、構造化特徴における事実を使用して非事実説明の初期テキスト特徴をフィルタリングすることであってもよい。異なる実行動作を決定することによってフィルタリング操作を完了する。

ステップ３４０における事実整合の操作は、具体的には、前記現在の初期テキスト特徴と前記構造化特徴とを長短期記憶リカレントニューラルネットワークに入力して事実整合を実行し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定することであってもよい。この操作は、現在の初期テキスト特徴を各構造化特徴でトラバースして整合することに相当する。

ステップ３５０、前記実行動作に基づいて、前記現在の初期テキスト特徴を処理して、前記ターゲットテキストシーケンスを生成する。

具体的な実行動作は、非事実説明のテキスト特徴のフィルタリングとリアルタイムテキスト特徴の是正を実現するために用いられることができ、好ましくは、実行動作は、廃棄、保留及び生成を含んでもよい。

本開示の実施例では、以下の操作は、任意選択で実行されて、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作及び対応する実行方法を決定する。
現在の初期テキスト特徴と整合する構造化特徴が存在し、且つ前記現在の初期テキスト特徴が整合される構造化特徴のテキストコンテンツと整合する場合、実行動作は、保留である。
現在の初期テキスト特徴と整合する構造化特徴が存在し、且つ前記現在の初期テキスト特徴が整合される構造化特徴のテキストコンテンツと整合しない場合、実行動作は、スティッチング生成である。
現在の初期テキスト特徴と整合する構造化特徴が存在しない場合、実行動作は、廃棄である。

それに応じて、前記実行動作に基づいて、前記現在の初期テキスト特徴を処理して、前記ターゲットテキストシーケンスを生成するステップは、
実行動作が保留である場合、前記現在の初期テキスト特徴を前記ターゲットテキスト特徴として保留するステップと、
実行動作がスティッチング生成である場合、前記現在の初期テキスト特徴と整合される構造化特徴に基づいて、前記ターゲットテキスト特徴としてスティッチングして生成するステップと、
実行動作が廃棄である場合、現在の初期テキスト特徴をフィルタリングして廃棄するステップと、
前記ターゲットテキスト特徴に基づいて前記ターゲットテキストシーケンスを生成するステップと、を含む。

初期テキスト特徴に対して対応する動作を実行することにより非リアルタイム説明テキストを廃棄するか、又は事実説明テキストを保留するか、又は初期テキスト特徴と整合された構造化特徴に基づいてより流暢なターゲットテキストシーケンスを生成することができる。そして、最初に動作を実行することによりターゲットテキスト特徴を生成し、次にターゲットテキスト特徴の回復によってターゲットテキストシーケンスを生成することができる。

本開示の実施例の技術的解決手段は、各初期テキストシーケンスに対して、異なる実行動作を採用して構造化テキストシーケンスに基づいて初期テキストシーケンスをスクリーニング、是正及び融合することにより、事実の説明が正確で、表現が自然で流暢なターゲットテキストシーケンスを生成することができる。

実施例４
本開示の実施例４はテキストシーケンス生成方法を提供し、本実施例は、上記実施例１から３に基づいて、テキストシーケンス生成方法の具体的な実現の形態をさらに紹介する。この方法は、
初期テキストシーケンスを取得し、前記初期テキストシーケンスから初期テキスト特徴を抽出するステップと、
前記初期テキストシーケンスにおける事実に関連付けられる構造化テキストシーケンスを取得し、前記構造化テキストシーケンスから構造化特徴を抽出するステップと、
それぞれ各初期テキスト特徴を現在の初期テキスト特徴とするステップと、
前記現在の初期テキスト特徴と前記構造化特徴とを事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定するステップと、を含み、
ここで、前記現在の初期テキスト特徴と前記構造化特徴とを事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定し、その事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定するアルゴリズムの具体的な実現は、以下のとおりである。

以下の数式に基づいて現在の事実ベクトル
（外１）

（以下、「ｔ^～ _ｔ」等と記載することがある。）
を計算し、

ここで、α_ｔ，ｊは、以下の数式に従って決定され、

ここで、前記Ｗ_αと前記
（外２）

（以下、「ｖ^Ｔ _α」等と記載することがある。）
は、トレーニング待ちのパラメータであり、モデルのトレーニング待ちのパラメータは、前述したテキスト変換モデルのトレーニングプロセスにおける学習によって決定されてもよく、ｂ_ｔは、現在の初期テキスト特徴であり、ｓ_ｔは、現在のターゲットテキスト特徴であり、下付き文字ｔは、テキスト特徴の順番であり、ｔ_ｊは、構造化特徴であり、１≦ｊ≦Ｍであり、Ｍは、構造化特徴の数であり、ｅｘｐ（ ）は、指数関数であり、ｔａｎｈ（ ）は、双曲線正接関数であり、
ここで、ｔ_ｊは、以下の数式に従って決定されてもよく、

ここで、Ｗ_ｔとａ_ｔは、トレーニング待ちのパラメータであり、
（外３）

（以下、各々「ｅ^ｒａｂｊ _ｊ」、「ｅ^ｐｒｅｄ _ｊ」、「ｅ^ａｂｊ _ｊ」等と記載することがある。）
は、前記構造化特徴の主語、述語と目的語のセマンティック語ベクトルであり、ここで［；］は、ベクトルの接続を示し、
ｂ_ｔ、ｓ_ｔ及びｔ^～ _ｔを完全に接続されたネットワークに入力して、以下の数式に従って動作選択判断ベクトルｚ_ｔを得て、

ここで、Ｗ_ｚとａ_ｚは、トレーニング待ちのパラメータである。

上記数式（１）は、具体的に、現在時刻の、現在の初期テキスト特徴ｂ_ｔであり、及び現在のターゲットテキスト特徴ｓ_ｔを照会（ｑｕｅｒｙ）として、全ての構造化特徴ｔ_ｊをキー値（ｋｅｙ）として、注意力メカニズムを使用して現在時刻の事実ベクトルｔ^～ _ｔを計算する。

前記動作選択判断ベクトルｚ_ｔと動作選択パラメータＷ_ａの乗算結果に基づいて、現在の初期テキスト特徴によって実行される動作に対する動作決定確率ｐ（ａｃｔｉｏｎ｜ｚ_ｔ）を決定し、
ここで、Ｗ_ａは、トレーニング待ちのパラメータであり、動作（ａｃｔｉｏｎ）は、予め設定される３種類である廃棄と、保留と、生成とを含む。

動作決定確率に基づいて、前記現在の初期テキストシーケンスの実行動作を決定する。

前記実行動作に基づいて、前記現在の初期テキスト特徴を処理して、前記ターゲットテキストシーケンスを生成する。

即ち、テキスト変換モデルは、時系列の長短期記憶リカレントニューラルネットワークを介して構造化特徴のトラバース操作を完了し、各時点で、モデルは、保留、廃棄及び生成の３つの実行動作のうちの１つを実行することができる。

廃棄、保留及び生成の実行動作の場合、廃棄は、現在の初期テキスト特徴を廃棄でき、それをターゲットテキスト特徴に組み込まなくなることであり、保留は、現在の初期テキスト特徴を保留し、それをターゲットテキスト特徴として直接使用することであってもよく、生成の操作は、もっと複雑であり、構造化特徴に基づいて現在の初期テキスト特徴を是正する必要がある。生成動作の詳細は、次のとおりである。
選択的に、前記現在の初期テキスト特徴と整合される構造化特徴に基づいて、前記ターゲットテキスト特徴としてスティッチングして生成するステップは、
語彙ライブラリにおける語彙と前記構造化テキストシーケンスにおける語彙を候補語彙として、各候補語彙の新しい語彙としての生成確率を計算し、前記生成確率に基づいて新しい語彙を決定するステップと、
前記新しい語彙をマッピングしてシーケンスベクトルを生成し、現在の事実ベクトルｔ^～ _ｔとスティッチングして、ターゲットテキスト特徴を生成するステップと、を含む。

上記技術的解決手段は、具体的には、元の構造化テキストシーケンスの語彙と追加された語彙ライブラリの他の語彙に基づいて、ターゲットテキストシーケンスを生成するためにどの新しい語彙を生成するかを共同で選択する。語彙ライブラリには、構造化テキストシーケンスと初期テキストシーケンスにおける語彙に限らず、大量の利用可能な語彙が含まれている。

新しい語彙を表すベクトルは、射影行列Ｗ_ｐのマッピングによって、新しい語彙を表すテキスト特徴として、シーケンスベクトルを生成することができる。この射影行列Ｗ_ｐは、同様にモデルのトレーニング待ちのパラメータとして使用される。

上記プロセスにおいて、選択的に、語彙ライブラリにおける語彙と前記構造化テキストシーケンスにおける語彙を候補語彙として、各候補語彙の新しい語彙としての生成確率を計算し、前記生成確率に基づいて新しい語彙を決定するステップは、
以下の数式に従って新しい語彙のソースが語彙ライブラリ又は構造化テキストシーケンスであるソース確率Ｐ_ｇａｔｅを計算するステップと、

（ここで、
（外４）

（以下、「ω^Ｔ _ｇ」等と記載することがある。）
とａ_ｇは、トレーニング待ちのパラメータであり、ｓｉｇｍｏｉｄ（ ）は、アクティブ化関数である）、
以下の数式に従って前記語彙ライブラリの候補語彙の発生確率ｐ_ｇｅｎ（ｙ_ｔ｜ｚ_ｔ）を計算するステップと、
ｐ_ｇｅｎ（ｙ_ｔ｜ｚ_ｔ）＝ｓｏｆｔｍａｘ（Ｗ_ｙ・ｚ_ｔ） 数式（６）
（ここで、Ｗ_ｙは、トレーニング待ちのパラメータであり、ｙ_ｔは、生成待ちの新しい語彙であり、ｓｏｆｔｍａｘ（ ）は、回帰アルゴリズムのコスト関数である）、
以下の数式に従って前記構造化テキストシーケンスにおける候補語彙のコピー確率ｐ_ｃｏｐｙを
ｐ_ｃｏｐｙ＝（ｏ_ｊ｜ｚ_ｔ）∝ｅｘｐ（ｖ_ｃ・ｔａｎｈ（Ｗ_ｃ・［ｚ_ｔ；ｔ_ｊ］）） 数式（７）として計算するステップと、
（ここで、ｖ_ｃとＷ_ｃは、トレーニング待ちのパラメータであり、ｏ_ｊは、候補語彙の事実三重項である）
前記ソース確率、発生確率及びコピー確率に基づいて新しい語彙の生成確率を

として計算するステップと、
前記生成確率に基づいて各候補語彙から新しい語彙を決定するステップと、を含む。

上記確率計算プロセスにおいて、まず、ソース確率を計算し、即ち、完全に新しい語彙が語彙ライブラリから生成されるべきである確率、又は語彙が構造化テキストシーケンスからコピーされるべきである確率を計算する。発生確率は、語彙ライブラリから候補語彙が選択される確率を表し、コピー確率は、構造化テキストシーケンスから候補語彙が選択される確率を表す。最後に、総生成確率を計算する。

実施例５
本開示の実施例５は、テキストシーケンス生成方法を提供する。この実施例は、前述実施例に基づいて、キャッシュエリアの設置によってテキスト語彙の処理プロセスを順次に実行することを具体的に紹介する。

選択的に、複数のキャッシュエリアを設置することによって初期テキストシーケンス、初期テキスト特徴、構造化テキストシーケンス、構造化特徴、ターゲットテキスト特徴とターゲットテキストシーケンスなどのベクトル化データに対して記憶と順序処理を行うことができる。即ち、この方法は、選択的に、
抽出される前記初期テキスト特徴を初期キャッシュエリアに記憶するステップと、
抽出される前記構造化特徴を事実キャッシュエリアに記憶するステップと、をさらに含み、
それに応じて、前記初期テキスト特徴と前記構造化特徴に基づいて、融合してターゲットテキストシーケンスを生成するステップは、
前記初期キャッシュエリアから現在処理待ちの初期テキスト特徴を順に抽出し、前記事実キャッシュエリアの構造化特徴と、融合してターゲットテキストシーケンスを生成するステップを含む。

具体的には、図２Ｂ又は図２Ｃに対応して、３つのキャッシュエリアを設置することができる。

初期キャッシュエリア：初期テキストシーケンスと初期テキスト特徴ｂ_ｔを保存するために使用され、初期キャッシュエリアでは、初期テキストシーケンスは、双方向の長短期記憶リカレントニューラルネットワークを介して計算して初期テキスト特徴を得る、
事実キャッシュエリア：事実を表す三重項〈主語、述語、目的語〉、即ち構造化テキストシーケンス、及び対応する構造化特徴ｔ_ｊを保存するために使用され、１≦ｊ≦Ｍであり、事実キャッシュエリアでは、事実三重項のベクトル表現は、主語、述語及び目的語のベクトル表現によってスティッチングされた後、完全に接続されたニューラルネットワークを介して構造化特徴を得る、
編集キャッシュエリア：編集データストリームを記憶するために用いられ、即ちターゲットテキストシーケンス及びターゲットテキスト特徴ｓ_ｔを保存するために用いられる。編集キャッシュエリアでは、初期のターゲットテキスト特徴は、初期キャッシュエリアにおける全てのベクトルを平均し、事実キャッシュエリアにおける全てのベクトルを平均した後、別の完全に接続されたニューラルネットワークを介して取得され得る。次に、各時刻のテキスト特徴は、長短期記憶リカレントニューラルネットワークによって計算されて得られる。

モデル計算のプロセスで、初期キャッシュエリアから現在の初期テキスト特徴を順次抽出し、前記事実キャッシュエリアから現在の事実ベクトルｔ^～ _ｔを抽出し、前記現在の初期テキスト特徴ベクトルｂ_ｔを前記現在の事実ベクトルｔ^～ _ｔと整合させ、即ち、前記現在の初期テキスト特徴ベクトルｂ_ｔと前記現在の事実ベクトルｔ^～ _ｔとの実質的な特徴コンテンツを比較することができる。実質的なコンテンツを比較した結果に基づいて、前記実行動作を得、実行動作に基づいてテキスト処理を行った後のターゲットテキスト特徴を、さらに編集キャッシュエリアに記憶する。

以下では、添付図面を組み合わせて、３つの実行動作のキャッシュエリアに基づく処理プロセスを説明する。

１）保留（コピーとも呼ばれる）：初期キャッシュエリアの現在の初期テキスト特徴ｂ_ｔと現在の事実ベクトルｔ^～ _ｔを編集データストリームに対応する長短期記憶リカレントニューラルネットワークに送信し、新しい現在のターゲットテキスト特徴ｓ_ｔを計算し、且つ次の初期テキスト特徴の処理を開始する準備を実行するように、初期キャッシュエリアのスキャンポインタを一回後ろに移動させる。

図４Ａに示すように、初期キャッシュエリア（Ｂｕｆｆｅｒ）には、前記初期テキスト特徴がキャッシュされ、前記初期テキスト特徴から前記現在の初期テキスト特徴ベクトルｂ_ｔを抽出し、且つ前記構造化特徴から前記現在の事実ベクトルｔ^～ _ｔを抽出し、前記現在の初期テキスト特徴ベクトルｂ_ｔと前記現在の事実ベクトルｔ^～ _ｔとの実質的な特徴コンテンツを比較し、且つ前記現在の初期テキスト特徴ベクトルｂ_ｔと前記現在の事実ベクトルｔ^～ _ｔとの実質的な特徴コンテンツが整合しており、前記実行動作の実質的な実行情報である保留を得て、前記現在の初期テキスト特徴ベクトルｂ_ｔを現在のターゲットテキスト特徴ｓ_ｔにコピーする。

２）廃棄（削除とも呼ばれる）：図４Ｂに示すように、初期キャッシュエリア（Ｂｕｆｆｅｒ）には、前記初期テキスト特徴がキャッシュされ、前記初期テキスト特徴から前記現在の初期テキスト特徴ベクトルｂ_ｔを抽出し、且つ前記構造化特徴から前記現在の事実ベクトルｔ^～ _ｔを抽出し、前記現在の事実ベクトルｔ^～ _ｔが存在していないことが発見され、即ち、前記初期テキスト特徴に関連付けられた前記構造化特徴がなく、ペアの結果が存在しておらず、前記実行動作の実質的な実行情報である廃棄を得る場合、前記現在の初期テキスト特徴ベクトルｂ_ｔをスキップして次の時刻に進み、前記初期テキスト特徴から前記現在の初期テキスト特徴ベクトルｂ_ｔ＋１を抽出し、且つ上記の操作を繰り返す。編集データストリームの現在のターゲットテキスト特徴は変更されていない。

３）生成：図４Ｃに示すように、キャッシュエリア（Ｂｕｆｆｅｒ）には、前記初期テキスト特徴がキャッシュされ、前記初期テキスト特徴から前記現在の初期テキスト特徴ベクトルｂ_ｔを抽出し、且つ前記構造化特徴から前記現在の事実ベクトルｔ^～ _ｔを抽出し、前記現在の初期テキスト特徴ベクトルｂ_ｔと前記現在の事実ベクトルｔ^～ _ｔとの実質的な特徴コンテンツを比較し、且つ前記現在の初期テキスト特徴ベクトルｂ_ｔと前記現在の事実ベクトルｔ^～ _ｔとの実質的な特徴コンテンツが整合しておらず、前記実行動作の実質的な実行情報であるスティッチング生成を得て、計算する必要があり、新しく生成された語彙を現在の事実ベクトルｔ^～ _ｔとスティッチングし、次に、それを現在のターゲットテキスト特徴ｓ_ｔに割り当てる。

上記テキストシーケンスの生成方法において、複数のニューラルネットワークに基づいて前記初期テキストシーケンスと前記構造化テキストシーケンスに対して、それぞれ前記初期テキスト特徴と前記構造化特徴を抽出し、前記初期テキスト特徴を前記構造化特徴と整合し、実行動作を取得し、実行動作に基づいてターゲットテキストシーケンスを生成し、テキストからテキストへの変換技術に事実の誤り又は漏れが存在する状況と、表からテキストへの変換技術で得られたテキストが硬く、流暢でないなどの技術課題を解決しており、テキスト編集の正確性と流暢性を向上させる。

実施例６
図５は、本開示の実施例６によるテキストシーケンス生成装置の構造概略図である。この装置は、初期テキスト特徴抽出モジュール５１０と、構造化特徴抽出モジュール５２０と、融合モジュール５３０とを含む。

ここで、初期テキスト特徴抽出モジュール５１０は、初期テキストシーケンスの初期テキスト特徴を抽出するために用いられ、構造化特徴抽出モジュール５２０は、構造化テキストシーケンスの構造化特徴を抽出するために用いられ、融合モジュール５３０は、前記初期テキスト特徴と前記構造化特徴に基づいて、融合してターゲットテキストシーケンスを生成するために用いられる。

本開示の実施例は、テキストシーケンスの生成方法によって、テキストシーケンス及び構造化テキストシーケンスと組み合わせて、テキストシーケンスで生成されるターゲットテキストシーケンスの流暢度を向上させ、構造化テキストシーケンスでターゲットテキストシーケンスの事実正確性を向上させ、テキストからテキストへの変換技術に事実の誤り又は漏れが存在する状況と、構造化データからテキストへの変換技術で得られたテキストが硬く、流暢でないなどの技術課題を解決しており、テキスト編集の正確性と流暢性を向上させる。

選択的に、前記初期テキスト特徴抽出モジュール５１０は、特徴抽出ユニットを含み、
特徴抽出ユニットは、初期テキストシーケンスを取得し、双方向の長短期記憶リカレントニューラルネットワークに入力して、前記初期テキスト特徴を抽出するために用いられる。

さらに、前記構造化特徴抽出モジュール５２０は、事実三重項決定ユニットを含み、
事実三重項決定ユニットは、前記構造化テキストシーケンスに基づいて主語と、述語と、目的語とを含む少なくとも１つの事実三重項を決定し、前記事実三重項を完全に接続されたニューラルネットワークに入力して、事実三重項シーケンスをスティッチングして形成し、前記構造化特徴とするために用いられる。

さらに、融合モジュール５３０は、フィルタリングユニットと、是正ユニットとを含み、
フィルタリングユニットは、前記構造化特徴に基づいて前記初期テキスト特徴をフィルタリングして、融合してターゲットテキストシーケンスを生成するために用いられ、
是正ユニットは、前記構造化特徴に基づいて前記初期テキスト特徴のテキストコンテンツを是正して、融合してターゲットテキストシーケンスを生成するために用いられる。

さらに、前記フィルタリングユニットと是正ユニットは、現在サブユニットと、実行動作決定ユニットと、ターゲットシーケンス生成ユニットとを含み、
現在サブユニットは、それぞれ各初期テキスト特徴を現在の初期テキスト特徴とするために用いられ、
実行動作決定ユニットは、前記現在の初期テキスト特徴と前記構造化特徴とを事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定するために用いられ、
ターゲットシーケンス生成ユニットは、前記実行動作に基づいて、前記現在の初期テキスト特徴を処理して、前記ターゲットテキストシーケンスを生成するために用いられる。

さらに、前記実行動作決定ユニットは、具体的に現在の初期テキスト特徴と整合する構造化特徴が存在し、且つ前記現在の初期テキスト特徴が整合される構造化特徴のテキストコンテンツと整合する場合、実行動作は、保留であると決定すること、
現在の初期テキスト特徴と整合する構造化特徴が存在し、且つ前記現在の初期テキスト特徴が整合される構造化特徴のテキストコンテンツと整合しない場合、実行動作は、スティッチング生成であると決定すること、
現在の初期テキスト特徴と整合する構造化特徴が存在しない場合、実行動作は、廃棄であると決定すること、又は、
前記現在の初期テキスト特徴と前記構造化特徴とを長短期記憶リカレントニューラルネットワークに入力して事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定することに用いられる。

さらに、前記ターゲットシーケンス生成ユニットは、具体的に、実行動作が保留である場合、前記現在の初期テキスト特徴を前記ターゲットテキスト特徴として保留し、実行動作がスティッチング生成である場合、前記現在の初期テキスト特徴と整合される構造化特徴に基づいて、前記ターゲットテキスト特徴としてスティッチングして生成し、実行動作が廃棄である場合、現在の初期テキスト特徴をフィルタリングして廃棄し、前記ターゲットテキスト特徴に基づいて前記ターゲットテキストシーケンスを生成するために用いられる。

選択的に、前記実行動作決定ユニットは、具体的に、以下の数式に基づいて現在の事実ベクトルｔ^～ _ｔを計算し、

ここで、α_ｔ，ｊは、以下の数式に従って決定され、
α_ｔ，ｊ∝ｅｘｐ（ｖ^Ｔ _α・ｔａｎｈ（Ｗ_α・［ｓ_ｔ；ｂ_ｔ；ｔ_ｊ］））
ここで、Ｗ_αとｖ^Ｔ _αは、トレーニング待ちのパラメータであり、ｂ_ｔは、現在の初期テキスト特徴であり、ｓ_ｔは、現在のターゲットテキスト特徴であり、下付き文字ｔは、テキスト特徴の順番であり、ｔ_ｊは、構造化特徴であり、１≦ｊ≦Ｍであり、Ｍは、構造化特徴の数であり、ｅｘｐ（ ）は、指数関数であり、ｔａｎｈ（ ）は、双曲線正接関数であり、
ここで、ｔ_ｊは、以下の数式に従って決定され、
ｔ_ｊ＝ｔａｎｈ（Ｗ_ｔ・［ｅ^ｒａｂｊ _ｊ；ｅ^ｐｒｅｄ _ｊ；ｅ^ａｂｊ _ｊ］＋ａ_ｔ）
ここで、Ｗ_ｔとａ_ｔは、トレーニング待ちのパラメータであり、ｅ^ｒａｂｊ _ｊ、ｅ^ｐｒｅｄ _ｊ、ｅ^ａｂｊ _ｊは、前記構造化特徴の主語、述語と目的語のセマンティック語ベクトルであり、ここで［；］は、ベクトルの接続を示し、
ｂ_ｔ、ｓ_ｔ及びｔ^～ _ｔを完全に接続されたネットワークに入力して、以下の数式に従って動作選択判断ベクトルｚ_ｔを得て、
ｚ_ｔ＝ｔａｎｈ（Ｗ_ｚ・［ｓ_ｔ；ｂ_ｔ；ｔ^～ _ｔ］＋ａ_ｚ）
ここで、Ｗ_ｚとａ_ｚは、トレーニング待ちのパラメータであり、
前記動作選択判断ベクトルｚ_ｔと動作選択パラメータＷ_ａの乗算結果に基づいて、現在の初期テキスト特徴によって実行される動作に対する動作決定確率ｐ（ａｃｔｉｏｎ｜ｚ_ｔ）を決定し、
動作決定確率に基づいて、前記現在の初期テキストシーケンスの実行動作を決定するために用いられる。

さらに、前記ターゲットシーケンス生成ユニットは、スティッチング生成サブユニットを含み、
スティッチング生成サブユニットは、語彙ライブラリにおける語彙と前記構造化テキストシーケンスにおける語彙を候補語彙として、各候補語彙の新しい語彙としての生成確率を計算し、前記生成確率に基づいて新しい語彙を決定し、前記新しい語彙をマッピングしてシーケンスベクトルを生成し、現在の事実ベクトルｔ^～ _ｔとスティッチングして、ターゲットテキスト特徴を生成するために用いられる。

さらに、前記スティッチング生成サブユニット、具体的に、以下の数式に従って新しい語彙のソースが語彙ライブラリ又は構造化テキストシーケンスであるソース確率Ｐ_ｇａｔｅを計算し、
Ｐ_ｇａｔｅ＝ｓｉｇｍｏｉｄ（ω^Ｔ _ｇ・ｚ_ｔ＋ａ_ｇ）
ここで、ω^Ｔ _ｇとａ_ｇは、トレーニング待ちのパラメータであり、ｓｉｇｍｏｉｄ（ ）は、アクティブ化関数であり、
以下の数式に従って前記語彙ライブラリの候補語彙の発生確率ｐ_ｇｅｎ（ｙ_ｔ｜ｚ_ｔ）を計算し、
ｐ_ｇｅｎ（ｙ_ｔ｜ｚ_ｔ）＝ｓｏｆｔｍａｘ（Ｗ_ｙ・ｚ_ｔ）
ここで、Ｗ_ｙは、トレーニング待ちのパラメータであり、ｙ_ｔは、生成待ちの新しい語彙であり、ｓｏｆｔｍａｘ（ ）は、回帰アルゴリズムのコスト関数であり、
以下の数式に従って前記構造化テキストシーケンスにおける候補語彙のコピー確率ｐ_ｃｏｐｙを
ｐ_ｃｏｐｙ＝（ｏ_ｊ｜ｚ_ｔ）∝ｅｘｐ（ｖ_ｃ・ｔａｎｈ（Ｗ_ｃ・［ｚ_ｔ；ｔ_ｊ］））として計算し、
ここで、ｖ_ｃとＷ_ｃは、トレーニング待ちのパラメータであり、ｏ_ｊは、候補語彙の事実三重項であり、
前記ソース確率、発生確率とコピー確率に基づいて新しい語彙の生成確率を

として計算し、
前記生成確率に基づいて各候補語彙から新しい語彙を決定するために用いられる。

さらに、前記装置は、少なくとも１つのキャッシュエリアをさらに含み、抽出される前記初期テキスト特徴を初期キャッシュエリアに記憶し、抽出される前記構造化特徴を事実キャッシュエリアに記憶するために用いられる。それに応じて、前記初期テキスト特徴と前記構造化特徴に基づいて、融合してターゲットテキストシーケンスを生成することは、前記初期キャッシュエリアから現在処理待ちの初期テキスト特徴を順に抽出し、前記事実キャッシュエリアの構造化特徴と、融合してターゲットテキストシーケンスを生成することを含む。

さらに、前記装置は、特徴スティッチングモジュールをさらに含み、
特徴スティッチングモジュールは、前記初期テキスト特徴と前記構造化特徴を完全に接続されたニューラルネットワークに入力して、特徴スティッチングを行うために用いられる。

上記実施例では提供されるテキストシーケンス生成装置は、本出願の任意の実施例によるテキストシーケンス生成方法を実行することができ、この方法の実行に該当する機能モジュールと有益な効果を備える。

以下、図６を参照すると、それは、本開示の実施例を実現するのに適する電子機器６００の構造概略図を示す。

図６に示すように、電子機器６００は、処理装置（例えば中央プロセッサ、グラフィックスプロセッサなど）６０１を含んでもよく、それは、リードオンリーメモリ（ＲＯＭ）６０２に記憶されるプログラム又は、記憶装置６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードしたプログラムに基づいて、様々な適切な動作と処理を実行することができる。ＲＡＭ６０３において、電子機器６００の操作に必要な様々なプログラムとデータが記憶されている。処理装置６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４によって互いに繋がる。入力／出力（Ｉ／Ｏ）インタフェース６０５もバス６０４に接続されている。

通常、例えばタッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロなどを含む入力装置６０６、例えば液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータなどを含む出力装置６０７、例えば磁気テープ、ハードディスクなどを含む記憶装置６０８、及び通信装置６０９という装置は、Ｉ／Ｏインタフェース６０５に接続されることができる。通信装置６０９は、電子機器６００が他の機器と無線又は有線通信を行ってデータを交換するように許可することができる。図６において、様々な装置を有する電子機器６００が示されているが、理解すべきことは、全ての示される装置を実施し、又は備えるように要求されない。よりも多く又は少ない装置を代替的に実施し、又は備えることができる。

特に、本開示の実施例に基づいて、上述した、フローチャートを参照して説明されるプロセスは、コンピュータソフトウェアプログラムとして実現されることができる。例えば、本開示の実施例は、コンピュータプログラム製品を含み、それは、非一時的コンピュータ可読媒体に載せられるコンピュータプログラムを含み、このコンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例において、このコンピュータプログラムは、通信装置６０９によってネットワークからダウンロードされ、インストールされ、又は記憶装置６０８からインストールされ、又はＲＯＭ６０２からインストールされることができる。このコンピュータプログラムが処理装置６０１によって実行される場合、本開示の実施例の方法におけるステップを実行し、その限定される上記機能を実現する。

本開示の実施例は、コンピュータプログラム製品をさらに提供する。このコンピュータプログラム製品は、コンピュータプログラムを含み、このコンピュータプログラムは、可読記憶媒体に記憶され、電子機器の１つ又は複数のプロセッサは、前記可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記１つ又は複数のプロセッサは、前記コンピュータプログラムを実行し、前記電子機器に上記いずれか１つ実施例による方案を実行させる。

本開示の実施例は、コンピュータプログラムをさらに提供する。このコンピュータプログラムは、可読記憶媒体に記憶され、電子機器の１つ又は複数のプロセッサは、前記可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記１つ又は複数のプロセッサは、前記コンピュータプログラムを実行し、前記電子機器に上記いずれか１つの実施例による技術案を実行させる。

なお、本開示の上記コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は上記両方の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置又はデバイス、又は任意の以上の組み合わせであってもよいが、それらに限らない。コンピュータ可読記憶媒体のより具体的な例は、１つ又は複数の導線を有する電気接続、携帯型コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクト磁気ディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含んでもよいが、それらに限らない。本開示において、コンピュータ可読記憶媒体は、プログラムを含み、又は記憶する任意の有形媒体であってもよく、このプログラムは、命令実行システム、装置又はデバイスによって使用され、又はそれに結び付けて使用されてもよい。しかし、本開示において、コンピュータ可読信号媒体は、ベースバンドに含まれてもよく、又はキャリアの一部が伝播されるデータ信号としてもよく、ここで、コンピュータ可読なプログラムコードを載せる。このような伝播するデータ信号は、複数の形式を採用してもよく、電磁信号、光信号又は上記の任意の適切な組み合わせを含むが、それらに限らない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、このコンピュータ可読信号媒体は、命令実行システム、装置又はデバイスによって使用され、又はそれに結び付けて使用されるためのプログラムを送信、伝播又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、任意の適当な媒体で伝送されてもよく、電線、光ケーブル、ＲＦ（無線周波数）など、又は上記の任意の適切な組み合わせを含むが、それらに限らない。

いくつかの実施の形態では、クライアント、サーバは、例えばＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ハイパーテキスト伝送プロトコル）のような任意の現在知られているか、又は将来研究開発されるネットワークプロトコルを利用して通信することができ、かつ任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、インターネット（例えば、インターネット）及びエンドツーエンドネットワーク（例えば、ａｄ ｈｏｃエンドツーエンドネットワーク）、及び任意の現在知られているか、又は将来研究開発されるネットワークを含む。

上記コンピュータ可読媒体は、上記電子機器に含まれるものであってもよく、この電子機器に組み込まれずに個別な存在であってもよい。

上記コンピュータ可読媒体には、１つ又は複数のプログラムが記憶されており、上記１つ又は複数のプログラムがこの電子機器によって実行されるとき、この電子機器は、少なくとも２つのインターネットプロトコルアドレスを取得し、ノード評価機器に前記少なくとも２つのインターネットプロトコルアドレスを含むノード評価要求を送信し、ここで、前記ノード評価機器は、前記少なくとも２つのインターネットプロトコルアドレスから、インターネットプロトコルアドレスを選択して戻り、前記ノード評価機器が返信したインターネットプロトコルアドレスを受信し、ここで、取得されたインターネットプロトコルアドレスは、コンテンツ配信ネットワークにおけるエッジノードを示す。

あるいは、上記コンピュータ可読媒体には、１つ又は複数のプログラムが記憶されており、上記１つ又は複数のプログラムがこの電子機器によって実行されるとき、この電子機器は、少なくとも２つのインターネットプロトコルアドレスを含むノード評価要求を受信し、前記少なくとも２つのインターネットプロトコルアドレスから、インターネットプロトコルアドレスを選択し、選択されたインターネットプロトコルアドレスを返信し、ここで、受信されたインターネットプロトコルアドレスは、コンテンツ配信ネットワークにおけるエッジノードを示す。

１つ又は複数のプログラミング言語又はそれらの組み合わせで本開示の操作を実行するためのコンピュータプログラムコードを作成することができ、上記プログラミング言語は、オブジェクト指向のプログラミング言語、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋を含むが、それらに限らず、一般的なプロシージャプログラミング言語、例えば「Ｃ」言語又は類似しているプログラミング言語をさらに含む。プログラムコードは、完全にユーザコンピュータで実行され、部分的にユーザコンピュータで実行され、１つの独立したソフトウェアパッケージとして実行され、部分的にユーザコンピュータで部分的にリモートコンピュータで実行され、又は完全にリモートコンピュータ又はサーバで実行されることができる。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークによってユーザコンピュータに接続されることができ、又は、外部コンピュータに接続されることができる（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続されることができる）。

添付図面におけるフローチャートとブロック図は、本開示の様々な実施例のシステム、方法とコンピュータプログラム製品に従って実現可能な体系アーキテクチャ、機能と操作を示す。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント、又はコードの一部を表すことができ、このモジュール、プログラムセグメント、又はコードの一部は、定める論理機能を実現するための１つ又は複数の実行可能命令を含む。置き換えとするいくつかの実現において、ブロックに注記される機能が添付図面に注記される順序と異なる順で発生されることができることに留意すべきである。例えば、２つの連続して表示されるブロックは、実際には基本的に並列に実行されることができ、それらは、関する機能に応じて逆の順序で実行されることもある。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせが、定める機能又は操作を実行する専用のハードウェアのシステムに基づいて実現されてもよく、又は専用のハードウェアとコンピュータ命令との組み合わせで実現されてもよいことに留意すべきである。

本開示の実施例に説明され、関わるユニットは、ソフトウェアの方式で実現されてもよく、ハードウェアの方式で実現されてもよい。ここで、ユニットの名称は、ある場合に、このユニット自体に対する限定を構成せず、例えば、第１の取得ユニットは、さらに「２つのインターネットプロトコルアドレスを取得するユニット」として説明されてもよい。

本明細書において上述した機能は、少なくとも部分的に１つ又は複数のハードウェア論理部品によって実行されることができる。例えば、非限定的に使用可能な例示的なタイプのハードウェア論理部品は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑プログラマブル論理デバイス（ＣＰＬＤ）などを含む。

本開示のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、それは、命令実行システム、装置又は機器が使用し、又は命令実行システム、装置又は機器と結び付けて使用されるためのプログラムを含み、又は記憶することができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線的、又は半導体システム、装置又は機器、又は上記コンテンツの任意の適切な組み合わせを含んでもよいが、それらに限らない。機械可読記憶媒体のより具体的な例は、１つ又は複数の線に基づく電気接続、携帯型コンピュータデスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶機器、磁気記憶機器、又は上記コンテンツの任意の適切な組み合わせを含む。

本開示の１つ又は複数の実施例に基づいてテキストシーケンスの生成方法を提供する。この方法は、
初期テキストシーケンスを取得し、前記初期テキストシーケンスから初期テキスト特徴を抽出するステップと、
前記初期テキストシーケンスにおける事実に関連付けられる構造化テキストシーケンスを取得し、前記構造化テキストシーケンスから構造化特徴を抽出するステップと、
前記初期テキスト特徴と前記構造化特徴に基づいて、融合してターゲットテキストシーケンスを生成するステップと、を含む。

本開示の１つ又は複数の実施例に基づいて、上記方法において、前記初期テキスト特徴と前記構造化特徴に基づいて、融合してターゲットテキストシーケンスを生成するステップは、
前記構造化特徴に基づいて前記初期テキスト特徴をフィルタリングし、且つ前記構造化特徴に基づいて前記初期テキスト特徴のテキストコンテンツを是正して、融合して前記ターゲットテキストシーケンスを生成するステップを含む。

本開示の１つ又は複数の実施例に基づいて、上記方法において、前記構造化特徴に基づいて前記初期テキスト特徴をフィルタリングし、且つ前記構造化特徴に基づいて前記初期テキスト特徴のテキストコンテンツを是正して、融合して前記ターゲットテキストシーケンスを生成するステップは、
それぞれ各初期テキスト特徴を現在の初期テキスト特徴とするステップと、
前記現在の初期テキスト特徴と前記構造化特徴とを事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定するステップと、
前記実行動作に基づいて、前記現在の初期テキスト特徴を処理して、前記ターゲットテキストシーケンスを生成するステップと、を含む。

本開示の１つ又は複数の実施例に基づいて、上記方法において、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定するステップは、
現在の初期テキスト特徴と整合する構造化特徴が存在し、且つ前記現在の初期テキスト特徴が整合される構造化特徴のテキストコンテンツと整合する場合、実行動作は、保留であると決定するステップと、
現在の初期テキスト特徴と整合する構造化特徴が存在し、且つ前記現在の初期テキスト特徴が整合される構造化特徴のテキストコンテンツと整合しない場合、実行動作は、スティッチング生成であると決定するステップと、
現在の初期テキスト特徴と整合する構造化特徴が存在しない場合、実行動作は、廃棄であると決定するステップと、を含み、
それに応じて、前記実行動作に基づいて、前記現在の初期テキスト特徴を処理して、前記ターゲットテキストシーケンスを生成するステップは、
実行動作が保留である場合、前記現在の初期テキスト特徴を前記ターゲットテキスト特徴として保留するステップと、
実行動作がスティッチング生成である場合、前記現在の初期テキスト特徴と整合される構造化特徴に基づいて、前記ターゲットテキスト特徴としてスティッチングして生成するステップと、
実行動作が廃棄である場合、現在の初期テキスト特徴をフィルタリングして廃棄するステップと、
前記ターゲットテキスト特徴に基づいて前記ターゲットテキストシーケンスを生成するステップと、を含む。

本開示の１つ又は複数の実施例に基づいて、上記方法において、前記現在の初期テキスト特徴と前記構造化特徴とを事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定するステップは、
前記現在の初期テキスト特徴と前記構造化特徴とを長短期記憶リカレントニューラルネットワークに入力して事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定するステップを含む。

本開示の１つ又は複数の実施例に基づいて、上記方法において、初期テキストシーケンスを取得し、前記初期テキストシーケンスから初期テキスト特徴を抽出するステップは、
初期テキストシーケンスを取得し、双方向の長短期記憶リカレントニューラルネットワークに入力して、前記初期テキスト特徴を抽出するステップを含む。

本開示の１つ又は複数の実施例に基づいて、上記方法において、構造化テキストシーケンスを取得し、前記構造化テキストシーケンスから構造化特徴を抽出するステップは、
前記構造化テキストシーケンスに基づいて主語と、述語と、目的語とを含む少なくとも１つの事実三重項を決定するステップと、
前記事実三重項を完全に接続されたニューラルネットワークに入力して、事実三重項シーケンスをスティッチングして形成し、前記構造化特徴とするステップと、を含む。

本開示の１つ又は複数の実施例に基づいて、上記方法において、前記現在の初期テキスト特徴と前記構造化特徴とを事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定するステップは、
以下の数式に基づいて現在の事実ベクトルｔ^～ _ｔを計算するステップと、

（ここで、α_ｔ，ｊは、以下の数式に従って決定され、
α_ｔ，ｊ∝ｅｘｐ（ｖ^Ｔ _α・ｔａｎｈ（Ｗ_α・［ｓ_ｔ；ｂ_ｔ；ｔ_ｊ］））
ここで、Ｗ_αとｖ^Ｔ _αは、トレーニング待ちのパラメータであり、ｂ_ｔは、現在の初期テキスト特徴であり、ｓ_ｔは、現在のターゲットテキスト特徴であり、下付き文字ｔは、テキスト特徴の順番であり、ｔ_ｊは、構造化特徴であり、１≦ｊ≦Ｍであり、Ｍは、構造化特徴の数であり、ｅｘｐ（ ）は、指数関数であり、ｔａｎｈ（ ）は、双曲線正接関数であり、
ここで、ｔ_ｊは、以下の数式に従って決定され、
ｔ_ｊ＝ｔａｎｈ（Ｗ_ｔ・［ｅ^ｒａｂｊ _ｊ；ｅ^ｐｒｅｄ _ｊ；ｅ^ａｂｊ _ｊ］＋ａ_ｔ）
ここで、Ｗ_ｔとａ_ｔは、トレーニング待ちのパラメータであり、ｅ^ｒａｂｊ _ｊ、ｅ^ｐｒｅｄ _ｊ、ｅ^ａｂｊ _ｊは、前記構造化特徴の主語、述語と目的語のセマンティック語ベクトルであり、ここで［；］は、ベクトルの接続を示す）
ｂ_ｔ、ｓ_ｔ及びｔ^～ _ｔを完全に接続されたネットワークに入力して、以下の数式に従って動作選択判断ベクトルｚ_ｔを得るステップと、
ｚ_ｔ＝ｔａｎｈ（Ｗ_ｚ・［ｓ_ｔ；ｂ_ｔ；ｔ^～ _ｔ］＋ａ_ｚ）
（ここで、Ｗ_ｚとａ_ｚは、トレーニング待ちのパラメータである）
前記動作選択判断ベクトルｚ_ｔと動作選択パラメータＷ_ａの乗算結果に基づいて、現在の初期テキスト特徴によって実行される動作に対する動作決定確率ｐ（ａｃｔｉｏｎ｜ｚ_ｔ）を決定するステップと、
動作決定確率に基づいて、前記現在の初期テキストシーケンスの実行動作を決定するステップと、を含む。

本開示の１つ又は複数の実施例に基づいて、上記方法において、前記現在の初期テキスト特徴と整合される構造化特徴に基づいて、前記ターゲットテキスト特徴としてスティッチングして生成するステップは、
語彙ライブラリにおける語彙と前記構造化テキストシーケンスにおける語彙を候補語彙として、各候補語彙の新しい語彙としての生成確率を計算し、前記生成確率に基づいて新しい語彙を決定するステップと、
前記新しい語彙をマッピングしてシーケンスベクトルを生成し、現在の事実ベクトルｔ^～ _ｔとスティッチングして、ターゲットテキスト特徴を生成するステップと、を含む。

本開示の１つ又は複数の実施例に基づいて、上記方法において、語彙ライブラリにおける語彙と前記構造化テキストシーケンスにおける語彙を候補語彙として、各候補語彙の新しい語彙としての生成確率を計算し、前記生成確率に基づいて新しい語彙を決定するステップは、以下の数式に従って新しい語彙のソースが語彙ライブラリ又は構造化テキストシーケンスであるソース確率Ｐ_ｇａｔｅを計算するステップと、
Ｐ_ｇａｔｅ＝ｓｉｇｍｏｉｄ（ω^Ｔ _ｇ・ｚ_ｔ＋ａ_ｇ）
（ここで、ω^Ｔ _ｇとａ_ｇは、トレーニング待ちのパラメータであり、ｓｉｇｍｏｉｄ（ ）は、アクティブ化関数である）
以下の数式に従って前記語彙ライブラリの候補語彙の発生確率ｐ_ｇｅｎ（ｙ_ｔ｜ｚ_ｔ）を計算するステップと、
ｐ_ｇｅｎ（ｙ_ｔ｜ｚ_ｔ）＝ｓｏｆｔｍａｘ（Ｗ_ｙ・ｚ_ｔ）
（ここで、Ｗ_ｙは、トレーニング待ちのパラメータであり、ｙ_ｔは、生成待ちの新しい語彙であり、ｓｏｆｔｍａｘ（ ）は、回帰アルゴリズムのコスト関数である）
以下の数式に従って前記構造化テキストシーケンスにおける候補語彙のコピー確率ｐ_ｃｏｐｙを
ｐ_ｃｏｐｙ＝（ｏ_ｊ｜ｚ_ｔ）∝ｅｘｐ（ｖ_ｃ・ｔａｎｈ（Ｗ_ｃ・［ｚ_ｔ；ｔ_ｊ］））
として計算するステップと、
（ここで、ｖ_ｃとＷ_ｃは、トレーニング待ちのパラメータであり、ｏ_ｊは、候補語彙の事実三重項である）
前記ソース確率、発生確率とコピー確率に基づいて新しい語彙の生成確率を

として計算するステップと、
前記生成確率に基づいて各候補語彙から新しい語彙を決定するステップと、を含む。

本開示の１つ又は複数の実施例に基づいて、
抽出される前記初期テキスト特徴を初期キャッシュエリアに記憶するステップと、
抽出される前記構造化特徴を事実キャッシュエリアに記憶するステップと、をさらに含み、
それに応じて、前記初期テキスト特徴と前記構造化特徴に基づいて、融合してターゲットテキストシーケンスを生成するステップは、
前記初期キャッシュエリアから現在処理待ちの初期テキスト特徴を順に抽出し、前記事実キャッシュエリアの構造化特徴と、融合してターゲットテキストシーケンスを生成するステップを含む。

本開示の１つ又は複数の実施例に基づいて、上記方法において、前記初期テキスト特徴と前記構造化特徴に基づいて、融合してターゲットテキストシーケンスを生成するステップの前に、
前記初期テキスト特徴と前記構造化特徴を完全に接続されたニューラルネットワークに入力して、特徴スティッチングを行うステップをさらに含む。

本開示の１つ又は複数の実施例に基づいて、テキストシーケンスの生成装置を提供する、この装置は、
初期テキストシーケンスの初期テキスト特徴を抽出するための初期テキスト特徴抽出モジュールと、
構造化テキストシーケンスの構造化特徴を抽出するための構造化特徴抽出モジュールと、
前記初期テキスト特徴と前記構造化特徴に基づいて、融合してターゲットテキストシーケンスを生成するための融合モジュールとを含む。

本開示の１つ又は複数の実施例に基づいて、上記方法における電子機器は、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するためのメモリとを含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される場合、前記１つ又は複数のプロセッサに開示のいずれか１つ実施例に記載のテキストシーケンスの生成方法を実行させる。

本開示の１つ又は複数の実施例に基づいて、上記方法におけるコンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、このプログラムがプロセッサによって実行されるとき、開示のいずれか１つ実施例に記載のテキストシーケンスの生成方法を実現させる。

以上の説明は、本開示の好ましい実施例及び運用される技術原理に対する説明に過ぎない。当業者が、本開示に関する開示範囲が、上記技術特徴の特定の組み合わせによる技術的解決手段に限らず、同時に、上記に開示される構想から逸脱することなく、上記技術特徴又はそれらの同等の特徴から任意の組み合わせにより形成された他の技術的解決手段を含むべきであると理解すべきである。例えば、上記特徴と本開示に開示される（ただし、限らない）類似している機能を有する技術特徴とが互いに置き換えられて形成される技術的解決手段である。

なお、特定の手順で各操作が描かれているが、示される特定の手順又は順序の手順で実行されるようにこれらの操作が要求されると理解すべきではない。特定の環境で、マルチタスクと並行処理が有利である可能性がある。同様に、上記論述に若干の具体的な実現の詳細が含まれるが、これらは、本開示の範囲に対する制限として解釈されるべきではない。個別の実施例のコンテキストに説明されているなんらかの特徴は、単一の実施例に組み合わせて実現されてもよい。逆に、単一の実施例のコンテキストに説明されている様々な特徴は、単独で、又は任意の適切なサブ組み合わせの方式で複数の実施例に実現されてもよい。

構造的特徴及び／又は方法論理動作に固有の言語を採用して本主題を説明しているが、理解すべきことは、添付される請求項に限定される主題は、必ずしも上述した特定特徴又は動作に限定されるものではないことである。逆に、上述した特定特徴と動作は、特許請求の範囲を実現する例示的な形式に過ぎない。

Claims (12)

1. テキストシーケンスの生成装置によって実行されるテキストシーケンスの生成方法であって、
   複数の独立した語句を含む記事全体である初期テキストシーケンスを取得し、前記初期テキストシーケンスから、前記初期テキストシーケンス内の各語彙に対応するコーディング値のベクトルである初期テキスト特徴を抽出するステップと、
   前記初期テキストシーケンスにおける事実に関連付けられる、前記初期テキストシーケンス内の前記各語彙から検索された全ての事実構造化語彙である構造化テキストシーケンスを取得し、前記構造化テキストシーケンスから、前記構造化テキストシーケンス内の各語彙に対応するコーディング値のベクトルである構造化特徴を抽出するステップと、
   前記初期テキスト特徴と前記構造化特徴に基づいて、ターゲットテキストシーケンスを生成するステップと、を含み、
   前記初期テキスト特徴と前記構造化特徴に基づいて、ターゲットテキストシーケンスを生成する前記ステップは、
   前記構造化特徴に基づいて前記初期テキスト特徴をフィルタリングし、且つ前記構造化特徴に基づいてフィルタリングされた前記初期テキスト特徴のテキストコンテンツを是正して、前記ターゲットテキストシーケンスを生成するステップを含み、
   前記構造化特徴に基づいて前記初期テキスト特徴をフィルタリングし、且つ前記構造化特徴に基づいてフィルタリングされた前記初期テキスト特徴のテキストコンテンツを是正して、前記ターゲットテキストシーケンスを生成する前記ステップは、
   前記初期テキストシーケンスから抽出された前記初期テキスト特徴における各初期テキスト特徴をそれぞれ現在の初期テキスト特徴とするステップと、
   前記現在の初期テキスト特徴と前記構造化特徴とを事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定するステップと、
   前記実行動作に基づいて、前記現在の初期テキスト特徴を処理して、前記ターゲットテキストシーケンスを生成するステップと、を含み、
   事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定する前記ステップは、
   現在の初期テキスト特徴と整合する構造化特徴が存在し、且つ前記現在の初期テキスト特徴が、整合される前記構造化特徴のテキストコンテンツと整合する場合、実行動作は、保留であると決定するステップと、
   現在の初期テキスト特徴と整合する構造化特徴が存在し、且つ前記現在の初期テキスト特徴が、整合される前記構造化特徴のテキストコンテンツと整合しない場合、実行動作は、結合生成であると決定するステップと、
   現在の初期テキスト特徴と整合する構造化特徴が存在しない場合、実行動作は、廃棄であると決定するステップと、を含み、
   それに応じて、前記実行動作に基づいて、前記現在の初期テキスト特徴を処理して、前記ターゲットテキストシーケンスを生成するステップは、
   実行動作が保留である場合、前記現在の初期テキスト特徴をターゲットテキスト特徴として保留するステップと、
   実行動作が結合生成である場合、前記現在の初期テキスト特徴と整合される前記構造化特徴とを、前記ターゲットテキスト特徴として結合して生成するステップと、
   実行動作が廃棄である場合、現在の初期テキスト特徴をフィルタリングして廃棄するステップと、
   前記ターゲットテキスト特徴に基づいて前記ターゲットテキストシーケンスを生成するステップと、を含む
   ことを特徴とするテキストシーケンスの生成方法。
2. 前記現在の初期テキスト特徴と前記構造化特徴とを事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定する前記ステップは、
   前記現在の初期テキスト特徴と前記構造化特徴とを長短期記憶リカレントニューラルネットワークに入力して事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定するステップを含む、
   ことを特徴とする請求項１に記載の方法。
3. 初期テキストシーケンスを取得し、前記初期テキストシーケンスから初期テキスト特徴を抽出する前記ステップは、
   初期テキストシーケンスを取得し、双方向の長短期記憶リカレントニューラルネットワークに入力して、前記初期テキスト特徴を抽出するステップを含む、
   ことを特徴とする請求項１に記載の方法。
4. 構造化テキストシーケンスを取得し、前記構造化テキストシーケンスから構造化特徴を抽出する前記ステップは、
   前記構造化テキストシーケンスに基づいて主語と、述語と、目的語とを含む少なくとも１つの事実三重項を決定するステップと、
   前記事実三重項を完全に接続されたニューラルネットワークに入力して、事実三重項シーケンスをスティッチングして形成し、前記構造化特徴とするステップと、を含む、
   ことを特徴とする請求項１に記載の方法。
5. 前記現在の初期テキスト特徴と前記構造化特徴とを事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定する前記ステップは、
   以下の数式に基づいて現在の事実ベクトル
   （外１）
   

   

   を計算するステップと、
   

   

   ここで、α_ｔ，ｊは、以下の数式に従って決定され、
   

   

   ここで、Ｗ_αと
   （外２）
   

   

   は、トレーニング待ちのパラメータであり、ｂ_ｔは、現在の初期テキスト特徴であり、ｓ_ｔは、現在のターゲットテキスト特徴であり、下付き文字ｔは、テキスト特徴の順番であり、ｔ_ｊは、構造化特徴であり、１≦ｊ≦Ｍであり、Ｍは、構造化特徴の数であり、ｅｘｐ（ ）は、指数関数であり、ｔａｎｈ（ ）は、双曲線正接関数であり、
   ここで、ｔ_ｊは、以下の数式に従って決定され、
   

   

   ここで、Ｗ_ｔとａ_ｔは、トレーニング待ちのパラメータであり、
   （外３）
   

   

   は、前記構造化特徴の主語、述語及び目的語のセマンティック語ベクトルであり、ここで、［；］はベクトルの接続を示し、
   ｂ_ｔ、ｓ_ｔ及び
   （外４）
   

   

   を完全に接続されたネットワークに入力して、以下の数式に従って動作選択判断ベクトルｚ_ｔを得るステップと、
   

   

   ここで、Ｗ_ｚとａ_ｚは、トレーニング待ちのパラメータであり、
   前記動作選択判断ベクトルｚ_ｔと動作選択パラメータＷ_ａの乗算結果に基づいて、現在の初期テキスト特徴によって実行される動作に対する動作決定確率ｐ（ａｃｔｉｏｎ｜ｚ_ｔ）を決定するステップと、
   動作決定確率に基づいて、前記現在の初期テキストシーケンスの実行動作を決定するステップと、を含む、
   ことを特徴とする請求項１に記載の方法。
6. 前記現在の初期テキスト特徴と整合される前記構造化特徴とを、前記ターゲットテキスト特徴として結合して生成する前記ステップは、
   語彙ライブラリにおける語彙と前記構造化テキストシーケンスにおける語彙を候補語彙として、各候補語彙の新しい語彙としての生成確率を計算し、前記生成確率に基づいて新しい語彙を決定するステップと、
   前記新しい語彙をマッピングしてシーケンスベクトルを生成し、現在の事実ベクトル
   （外５）
   

   

   と結合して、ターゲットテキスト特徴を生成するステップと、を含む、
   ことを特徴とする請求項１に記載の方法。
7. 語彙ライブラリにおける語彙と前記構造化テキストシーケンスにおける語彙を候補語彙として、各候補語彙の新しい語彙としての生成確率を計算し、前記生成確率に基づいて新しい語彙を決定する前記ステップは、
   以下の数式に従って、新しい語彙のソースが語彙ライブラリ又は構造化テキストシーケンスであるソース確率Ｐ_ｇａｔｅを計算するステップと、
   

   

   ここで、
   （外６）
   

   

   とａ_ｇは、トレーニング待ちのパラメータであり、ｓｉｇｍｏｉｄ（ ）は、アクティブ化関数であり、
   以下の数式に従って前記語彙ライブラリの候補語彙の発生確率ｐ_ｇｅｎ（ｙ_ｔ｜ｚ_ｔ）を計算するステップと、
   ｐ_ｇｅｎ（ｙ_ｔ｜ｚ_ｔ）＝ｓｏｆｔｍａｘ（Ｗ_ｙ・ｚ_ｔ）
   ここで、Ｗ_ｙは、トレーニング待ちのパラメータであり、ｙ_ｔは、生成待ちの新しい語彙であり、ｓｏｆｔｍａｘ（ ）は、回帰アルゴリズムのコスト関数であり、
   以下の数式に従って、前記構造化テキストシーケンスにおける候補語彙のコピー確率ｐ_ｃｏｐｙを
   ｐ_ｃｏｐｙ＝（ｏ_ｊ｜ｚ_ｔ）∝ｅｘｐ（ｖ_ｃ・ｔａｎｈ（Ｗ_ｃ・［ｚ_ｔ；ｔ_ｊ］））
   として計算するステップと、
   ここで、ｖ_ｃとＷ_ｃは、トレーニング待ちのパラメータであり、ｏ_ｊは、候補語彙の事実三重項であり、
   前記ソース確率、発生確率及びコピー確率に基づいて新しい語彙の生成確率を
   

   

   として計算するステップと、
   前記生成確率に基づいて各候補語彙から新しい語彙を決定するステップと、を含む、
   ことを特徴とする請求項６に記載の方法。
8. 抽出される前記初期テキスト特徴を初期キャッシュエリアに記憶するステップと、
   抽出される前記構造化特徴を事実キャッシュエリアに記憶するステップと、をさらに含み、
   それに応じて、前記初期テキスト特徴と前記構造化特徴に基づいて、ターゲットテキストシーケンスを生成するステップは、
   前記初期キャッシュエリアから現在処理待ちの初期テキスト特徴を順に抽出し、前記事実キャッシュエリアの構造化特徴と、ターゲットテキストシーケンスを生成するステップを含む、
   ことを特徴とする請求項１から７のいずれか一項に記載の方法。
9. 前記初期テキスト特徴と前記構造化特徴に基づいて、ターゲットテキストシーケンスを生成する前記ステップの前に、
   前記初期テキスト特徴と前記構造化特徴を完全に接続されたニューラルネットワークに入力して、特徴結合を行うステップをさらに含む、
   ことを特徴とする請求項８に記載の方法。
10. テキストシーケンスの生成装置であって、
    １つ又は複数のプロセッサと、
    １つ又は複数のプログラムを記憶するためのメモリとを含み、
    前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、
    複数の独立した語句を含む記事全体である初期テキストシーケンスの、前記初期テキストシーケンス内の各語彙に対応するコーディング値のベクトルである初期テキスト特徴を抽出するステップと、
    前記初期テキストシーケンス内の前記各語彙から検索された全ての事実構造化語彙である構造化テキストシーケンスの、前記構造化テキストシーケンス内の各語彙に対応するコーディング値のベクトルである構造化特徴を抽出するステップと、
    前記初期テキスト特徴と前記構造化特徴に基づいて、ターゲットテキストシーケンスを生成するステップとを実行させ、
    前記１つ又は複数のプロセッサに、さらに、
    前記構造化特徴に基づいて前記初期テキスト特徴をフィルタリングし、且つ前記構造化特徴に基づいてフィルタリングされた前記初期テキスト特徴のテキストコンテンツを是正して、前記ターゲットテキストシーケンスを生成するステップを実行させ、
    前記構造化特徴に基づいて前記初期テキスト特徴をフィルタリングし、且つ前記構造化特徴に基づいてフィルタリングされた前記初期テキスト特徴のテキストコンテンツを是正して、前記ターゲットテキストシーケンスを生成する前記ステップは、
    前記初期テキストシーケンスから抽出された前記初期テキスト特徴における各初期テキスト特徴をそれぞれ現在の初期テキスト特徴とするステップと、
    前記現在の初期テキスト特徴と前記構造化特徴とを事実整合し、事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定するステップと、
    前記実行動作に基づいて、前記現在の初期テキスト特徴を処理して、前記ターゲットテキストシーケンスを生成するステップと、を含み、
    事実整合結果に基づいて前記現在の初期テキスト特徴に対する実行動作を決定する前記ステップは、
    現在の初期テキスト特徴と整合する構造化特徴が存在し、且つ前記現在の初期テキスト特徴が、整合される前記構造化特徴のテキストコンテンツと整合する場合、実行動作は、保留であると決定するステップと、
    現在の初期テキスト特徴と整合する構造化特徴が存在し、且つ前記現在の初期テキスト特徴が、整合される前記構造化特徴のテキストコンテンツと整合しない場合、実行動作は、結合生成であると決定するステップと、
    現在の初期テキスト特徴と整合する構造化特徴が存在しない場合、実行動作は、廃棄であると決定するステップと、を含み、
    それに応じて、前記実行動作に基づいて、前記現在の初期テキスト特徴を処理して、前記ターゲットテキストシーケンスを生成するステップは、
    実行動作が保留である場合、前記現在の初期テキスト特徴をターゲットテキスト特徴として保留するステップと、
    実行動作が結合生成である場合、前記現在の初期テキスト特徴と整合される前記構造化特徴とを、前記ターゲットテキスト特徴として結合して生成するステップと、
    実行動作が廃棄である場合、現在の初期テキスト特徴をフィルタリングして廃棄するステップと、
    前記ターゲットテキスト特徴に基づいて前記ターゲットテキストシーケンスを生成するステップと、を含む、テキストシーケンスの生成装置。
11. コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されるとき、請求項１から９のいずれか一項に記載のテキストシーケンスの生成方法が実現されることを特徴とするコンピュータ可読記憶媒体。
12. プロセッサによって実行されるとき、請求項１から９のいずれか一項に記載のテキストシーケンスの生成方法が実現される、コンピュータプログラム。

Images