JP7324838B2 - 符号化方法並びにその、装置、機器及びコンピュータプログラム - Google Patents

Description

本願は、２０１９年１月２４日に中国国家知識産権局に提出された、出願番号が２０１９１００６９７５１．１で、出願の名称が「符号化方法、装置、機器及び記憶媒体」のである中国特許出願の優先権を主張し、その全内容は本出願に参照援用されている。

本願は自然言語の処理分野に関し、特に符号化方法、装置、機器及びコンピュータプログラムに関する。

符号化は、文字を符号化値に変換し、それにより、該テキストの意味を正確に記述可能なベクトルを得る過程である。符号化することで、文字を演算処理しやすいベクトル形式に変換し、語句選択、語句生成などの複数の分野に広く使用されている。

現在、複数の語句を含むターゲット段落を符号化しようとするとき、ターゲット段落における各語句内の各単語の単語ベクトルを取得する。ターゲット段落における各語句に対して、単語階層に基づく第１の符号化モデルを用いて、該語句内の各単語の単語ベクトルを１つのベクトルに符号化し、該語句の語句ベクトルを得、さらにターゲット段落における複数の語句の語句ベクトルを得る。さらに語句階層に基づく第２の符号化モデルを用いて、該複数の語句の語句ベクトルを１つのベクトルに符号化し、ターゲット段落の段落ベクトルを得る。

上記階層化符号化の技術案は、シリアルの形態を用い、順にターゲット段落における各語句の単語ベクトルをそれぞれ符号化し、さらにシリアルの形態を用いて、複数の語句ベクトルを符号化し、符号化速度が遅く、確率が低い。

符号化方法であって、
ターゲット段落及び予め設定されたデータベースを取得し、前記ターゲット段落及び前記予め設定されたデータベースを記憶符号化モデルに入力するステップであって、前記ターゲット段落が少なくとも１つの語句を含み、前記記憶符号化モデルが入力層、第１の記憶層及び出力層を少なくとも含むステップと、
前記入力層において前記ターゲット段落のオリジナルベクトル集合及び前記予め設定されたデータベースの知識ベクトル集合を取得するステップであって、前記オリジナルベクトル集合が前記ターゲット段落における各語句の語句ベクトルを含み、前記知識ベクトル集合が前記予め設定されたデータベースにおける複数の知識データの知識ベクトルを含むステップと、
前記第１の記憶層において前記オリジナルベクトル集合及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得するステップであって、前記第１のターゲット語句行列は、前記オリジナルベクトル集合と前記知識ベクトル集合との相関関係に基づいて、前記ターゲット段落を記述するために用いられるステップと、
前記出力層において前記第１のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得するステップと、
前記段落ベクトルに基づいて処理するステップとを含む。

符号化装置であって、
ターゲット段落及び予め設定されたデータベースを取得し、前記ターゲット段落及び前記予め設定されたデータベースを記憶符号化モデルに入力するための取得モジュールであって、前記ターゲット段落が少なくとも１つの語句を含む取得モジュールと、
前記ターゲット段落のオリジナルベクトル集合及び前記予め設定されたデータベースの知識ベクトル集合を取得するための入力層モジュールであって、前記オリジナルベクトル集合が前記ターゲット段落における各語句の語句ベクトルを含み、前記知識ベクトル集合が前記予め設定されたデータベースにおける複数の知識データの知識ベクトルを含む入力層モジュールと、
前記オリジナルベクトル集合及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得する第１の記憶層モジュールであって、前記第１のターゲット語句行列は、前記オリジナルベクトル集合と前記知識ベクトル集合との相関関係に基づいて、前記ターゲット段落を記述するために用いられる第１の記憶層モジュールと、
前記第１のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得するための出力層モジュールと、
前記段落ベクトルに基づいて処理するための処理モジュールとを備える。

符号化機器であって、メモリ及び１つ又は複数のプロセッサを備え、メモリにはコンピュータ可読命令を記憶し、コンピュータ可読命令がプロセッサにより実行されるときには、
ターゲット段落及び予め設定されたデータベースを取得し、前記ターゲット段落及び前記予め設定されたデータベースを記憶符号化モデルに入力するステップであって、前記ターゲット段落が少なくとも１つの語句を含み、前記記憶符号化モデルが入力層、第１の記憶層及び出力層を少なくとも含むステップと、
前記入力層において前記ターゲット段落のオリジナルベクトル集合及び前記予め設定されたデータベースの知識ベクトル集合を取得するステップであって、前記オリジナルベクトル集合が前記ターゲット段落における各語句の語句ベクトルを含み、前記知識ベクトル集合が前記予め設定されたデータベースにおける複数の知識データの知識ベクトルを含むステップと、
前記第１の記憶層において前記オリジナルベクトル集合及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得するステップであって、前記第１のターゲット語句行列は、前記オリジナルベクトル集合と前記知識ベクトル集合との相関関係に基づいて、前記ターゲット段落を記述するために用いられるステップと、
前記出力層において前記第１のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得するステップと、
前記段落ベクトルに基づいて処理するステップと、を１つ又は複数のプロセッサに実行させる。

コンピュータプログラムであって、コンピュータに前記符号化方法を実現させる。

本願の実施例の技術案をより明確に記述するために、以下、実施例の記述において必要な図面について簡単に説明するが、当然ながら、以下に記載する図面は単に、本願のいくつかの実施例にすぎず、当業者にとって、創造的な労力を要することなく、これらの図面に基づいて他の図面に想到しうる。
本願の実施例に係る記憶符号化モデルの構成模式図である。 本願の実施例に係る他の記憶符号化モデルの構成模式図である。 本願の実施例に係る他の記憶符号化モデルの構成模式図である。 本願の実施例に係る他の記憶符号化モデルの構成模式図である。 本願の実施例に係るまた他の記憶符号化モデルの構成模式図である。 本願の実施例に係るまた他の記憶符号化モデルの構成模式図である。 本願の実施例に係る符号化方法の模式的なフローチャートである。 本願の実施例に係る、入力層においてターゲット段落のオリジナルベクトル集合、記憶ベクトル集合及び知識ベクトル集合を取得する模式的なフローチャートである。 本願の実施例に係る、第２の記憶層においてオリジナルベクトル集合の第３のターゲット語句行列を取得する模式的なフローチャートである。 本願の実施例に係る、第２のゲート層において第４のターゲット語句行列を取得する模式的なフローチャートである。 本願の実施例に係る、第１の記憶層においてオリジナルベクトル集合の第１のターゲット語句行列を取得する模式的なフローチャートである。 本願の実施例に係る、第１のゲート層において第２のターゲット語句行列を取得する模式的なフローチャートである。 本願の実施例に係る語句符号化モデルの構成模式図である。 本願の実施例に係る語句符号化モデルの模式的なフローチャートである。 本願の実施例に係る記憶符号化モデルの構成模式図である。 本願の実施例に係る取得知識ベクトルの模式的なフローチャートである。 本願の実施例に係る記憶層の構成模式図である。 本願の実施例に係るゲート層の構成模式図である。 本願の実施例に係る記憶符号化モデルの構成模式図である。 本願の実施例に係る記憶符号化モデルの構成模式図である。 本願の実施例に係る記憶符号化モデルの構成模式図である。 本願の実施例に係る符号化装置の構成模式図である。 本願の実施例に係る端末の構成ブロック図である。 本願の実施例に係るサーバの構成模式図である。

本願の目的、技術案及び利点をさらに明瞭にするために、以下、図面を参照しながら本願の実施形態についてさらに詳細に記述する。

本願の実施例は、記憶符号化モデルを提供し、ターゲット段落及び予め設定されたデータベースを取得し、記憶符号化モデルに入力し、該記憶符号化モデルを用いて該ターゲット段落を符号化し、該ターゲット段落の段落ベクトルを得ることができ、それにより、段落ベクトルに基づいて処理することができる。符号化過程において、ターゲット段落を単位として、該記憶符号化モデルを１回限り用いてターゲット段落を符号化し、シリアルの形態を用いてターゲット段落における各語句をそれぞれ符号化する必要がない。また、ターゲット段落における各語句の意味を考慮するだけではなく、さらに予め設定されたデータベースにおける知識データを考慮し、それにより、取得された段落ベクトルは、ターゲット段落の意味を表現できるだけではなく、さらに、外部知識データから関連する知識データを抽出することができ、取得された段落ベクトルがよりターゲット段落の意味を正確に表現することができ、段落ベクトルに基づいて処理するとき、精確度を向上させることができる。

図１を参照し、該記憶符号化モデルは、入力層１０１、第１の記憶層１０２及び出力層１０３を含み、入力層１０１が第１の記憶層１０２に接続され、第１の記憶層１０２が出力層１０３に接続される。

入力層１０１は、ターゲット段落における各語句に基づいて、語句意味を代表する語句ベクトルを抽出し、該ターゲット段落のオリジナルベクトル集合を得、オリジナルベクトル集合を記憶層１０２に入力する。入力層１０１は、さらに、予め設定されたデータベースにおける各知識データに基づいて、各知識データの知識ベクトルを取得し、取得された複数の知識ベクトルを知識ベクトル集合として構成し、第１の記憶層１０２に入力する。第１の記憶層１０２は、入力されたオリジナルベクトル集合及び知識ベクトル集合に基づいて、第１のターゲット語句行列を取得し、第１のターゲット語句行列を出力層１０３に入力し、出力層１０３は、第１のターゲット語句行列に基づいて、該ターゲット段落の段落ベクトルを取得する。

第１の記憶層１０２が注意力学習メカニズムを用いるため、知識ベクトル集合からオリジナルベクトル集合に関連する知識データを抽出することができ、従って、より正確な段落ベクトルを取得することができる。

１つの可能な実現態様では、該記憶符号化モデルは、第１の記憶層１０２を繰り返して実行し、第１の記憶層１０２から出力された第１のターゲット語句行列を第１の記憶層１０２のオリジナルベクトル集合とし、知識ベクトル集合を不変に維持するか、知識ベクトル集合を更新し、更新後の知識ベクトル集合を得、第１の記憶層１０２に改めて入力し、繰り返し回数が予め設定された回数に達するまで、第１の記憶層１０２を繰り返して実行し、現在のターゲット語句行列を出力層１０３に入力し、ターゲット段落の段落ベクトルを得てもよい。予め設定された回数は、２回又は３回であってもよいし、又は、他の数値であってもよい。

１つの可能な実現態様では、図１に示す記憶符号化モデルに基づき、図２を参照し、該記憶符号化モデルは、第１のゲート層１０４をさらに含み、入力層１０１が第１の記憶層１０２及び第１のゲート層１０４に接続され、第１の記憶層１０２が第１のゲート層１０４に接続され、第１のゲート層１０４が出力層１０３に接続される。すなわち、本願の実施例は、ＧＳＭＮ（Ｇａｔｅｄ Ｓｅｌｆ―ａｔｔｅｎｔｉｖｅ Ｍｅｍｏｒｙ Ｎｅｔｗｏｒｋ、ゲート付き自己注意力メモリネットワーク）モデルを提供する。

第１の記憶層１０２は、第１のターゲット語句行列を得た後に、第１のゲート層１０４に入力し、第１のゲート層１０４は、オリジナルベクトル集合と第１のターゲット語句行列に対して重み加算を行い、第２のターゲット語句行列を得、第２のターゲット語句行列を出力層１０３に入力し、出力層１０３は、第２のターゲット語句行列に基づいて、該ターゲット段落の段落ベクトルを取得する。

１つの可能な実現態様では、該記憶符号化モデルは、第１の記憶層１０２及び第１のゲート層１０４を繰り返して実行し、第１のゲート層１０４から出力された第２のターゲット語句行列を第１の記憶層１０２のオリジナルベクトル集合及び知識ベクトル集合とし、第１の記憶層１０２に改めて入力し、繰り返し回数が予め設定された回数に達するまで、第１の記憶層１０２及び第１のゲート層１０４を繰り返して実行し、現在のターゲット語句行列を出力層１０３に入力し、ターゲット段落の段落ベクトルを得る。

１つの可能な実現態様では、図３を参照し、該記憶符号化モデルは、第２の記憶層１０５をさらに含み、第２の記憶層１０５が第１の記憶層１０２の前に位置し、入力層１０１が第１の記憶層１０２及び第２の記憶層１０５に接続され、第２の記憶層１０５が第１の記憶層１０２に接続され、第１の記憶層１０２が出力層１０３に接続される。

入力層１０１は、ターゲット段落のコンテキスト語句内の各単語に基づいて、各単語の単語ベクトルを取得し、取得された複数の単語ベクトルを記憶ベクトル集合として構成し、オリジナルベクトル集合及び記憶ベクトル集合を第２の記憶層１０５に入力する。第２の記憶層１０５は、入力されたオリジナルベクトル集合及び記憶ベクトル集合に基づいて、第３のターゲット語句行列を取得し、第３のターゲット語句行列を第１の記憶層１０２に入力する。第１の記憶層１０２は、入力された第３のターゲット語句行列及び知識ベクトル集合に基づいて、第１のターゲット語句行列を取得し、第１のターゲット語句行列を出力層１０３に入力し、出力層１０３は、第１のターゲット語句行列に基づいて、該ターゲット段落の段落ベクトルを取得する。

１つの可能な実現態様では、該記憶符号化モデルは、第２の記憶層１０５及び第１の記憶層１０２を繰り返して実行し、第１の記憶層１０２から出力された第１のターゲット語句行列を第２の記憶層１０５のオリジナルベクトル集合及び記憶ベクトル集合とし、第２の記憶層１０５に改めて入力し、繰り返し回数が予め設定された回数に達するまで、第２の記憶層１０５及び第１の記憶層１０２を繰り返して実行し、現在のターゲット語句行列を出力層１０３に入力し、ターゲット段落の段落ベクトルを得る。

１つの可能な実現態様では、図４を参照し、該記憶符号化モデルは、第２のゲート層１０６をさらに含み、第２のゲート層１０６は、第１の記憶層１０２の前に位置し且つ第２の記憶層１０５の後に位置する。入力層１０１が第２の記憶層１０５、第２のゲート層１０６及び第１の記憶層１０２に接続され、第２の記憶層１０５が第２のゲート層１０６に接続され、第２のゲート層１０６が第１の記憶層１０２に接続され、第１の記憶層１０２が出力層１０３に接続される。

第２の記憶層１０５は、第３のターゲット語句行列を得た後に、第２のゲート層１０６に入力する。第２のゲート層１０６は、オリジナルベクトル集合と第３のターゲット語句行列に対して重み加算を行い、第４のターゲット語句行列を得、第４のターゲット語句行列を第１の記憶層１０２に入力する。第１の記憶層１０２は、第４のターゲット語句行列及び知識ベクトル集合に基づいて、第１のターゲット語句行列を取得し、第１のターゲット語句行列を出力層１０３に入力し、出力層１０３は、第１のターゲット語句行列に基づいて、該ターゲット段落の段落ベクトルを取得する。

１つの可能な実現態様では、該記憶符号化モデルは、第２の記憶層１０５、第２のゲート層１０６及び第１の記憶層１０２を繰り返して実行する。第１の記憶層１０２から出力された第１のターゲット語句行列を第２の記憶層１０５のオリジナルベクトル集合及び記憶ベクトル集合とし、第２の記憶層１０５に改めて入力し、繰り返し回数が予め設定された回数に達するまで、第２の記憶層１０５、第２のゲート層１０６及び第１の記憶層１０２を繰り返して実行し、現在のターゲット語句行列を出力層１０３に入力し、ターゲット段落の段落ベクトルを得る。

なお、上記図３又は図４に示す記憶符号化モデルは上記図２に示す記憶符号化モデルと組み合わせられてもよく、得られる記憶符号化モデルは、入力層、第２の記憶層、第１の記憶層、第１のゲート層及び出力層を含むか、又は、入力層、第２の記憶層、第２のゲート層、第１の記憶層、第１のゲート層及び出力層を含む。

この場合での処理形態は、上記記憶符号化モデルの処理形態と同様であり、ここで繰り返し記述しない。

他の可能な実現態様では、図１に示す記憶符号化モデルに基づき、図５を参照し、該記憶符号化モデルは、第３の記憶層１０７をさらに含み、第３の記憶層１０７が第１の記憶層１０２の後に位置し、入力層１０１が第１の記憶層１０２及び第３の記憶層１０７に接続され、第１の記憶層１０２が第３の記憶層１０７に接続される。第１の記憶層１０２は、第１のターゲット語句行列を得た後に、第３の記憶層１０７に入力し、第３の記憶層１０７は、記憶ベクトル集合及び第１のターゲット語句行列に基づいて、第５のターゲット語句行列を取得し、第５のターゲット語句行列を出力層１０３に入力し、出力層１０３は、第５のターゲット語句行列に基づいて、該ターゲット段落の段落ベクトルを取得する。

１つの可能な実現態様では、該記憶符号化モデルは、第３の記憶層１０７を繰り返して実行する。第３の記憶層１０７は、第５のターゲット語句行列を取得した後に、第５のターゲット語句行列を更新後の第１のターゲット語句行列及び記憶ベクトル集合とし、第３の記憶層１０７は、繰り返し回数が予め設定された回数に達するまで、更新後の第５のターゲット語句行列及び記憶ベクトル集合に基づいてターゲット語句行列を取得するステップを繰り返して実行し、現在のターゲット語句行列を出力層１０３に入力する。出力層１０３は、現在のターゲット語句行列に基づいて、ターゲット段落の段落ベクトルを取得する。

１つの可能な実現態様では、図６を参照し、該記憶符号化モデルは、第３のゲート層１０８をさらに含み、第３のゲート層１０８が第３の記憶層１０７の後に位置し、入力層１０１が第１の記憶層１０２及び第３の記憶層１０７に接続され、第１の記憶層１０２が第３の記憶層１０７及び第３のゲート層１０８に接続され、第３の記憶層１０７が第３のゲート層１０８に接続される。

第３の記憶層１０７は、第５のターゲット語句行列を得た後に、第５のターゲット語句行列を第３のゲート層１０８に入力し、第３のゲート層１０８は、第５のターゲット語句行列と第１のターゲット語句行列に対して重み加算を行い、第６のターゲット語句行列を得、第６のターゲット語句行列を出力層１０３に入力し、出力層１０３は、第６のターゲット語句行列に基づいて、該ターゲット段落の段落ベクトルを取得する。

１つの可能な実現態様では、該記憶符号化モデルは、第３の記憶層１０７及び第３のゲート層１０８を繰り返して実行する。第３のゲート層１０８は、第６のターゲット語句行列を取得した後に、第６のターゲット語句行列を更新後の第１のターゲット語句行列及び記憶ベクトル集合とし、第３の記憶層１０７及び第３のゲート層１０８は、繰り返し回数が予め設定された回数に達するまで、更新後の第１のターゲット語句行列及び記憶ベクトル集合に基づいてターゲット語句行列を取得するステップを繰り返して実行し、現在のターゲット語句行列を出力層１０３に入力する。出力層１０３は、現在のターゲット語句行列に基づいて、ターゲット段落の段落ベクトルを取得する。

なお、上記図５又は図６に示す記憶符号化モデルは上記図２に示す記憶符号化モデルと組み合わせられてもよく、得られる記憶符号化モデルは、入力層、第１の記憶層、第１のゲート層、第３の記憶層及び出力層を含むか、又は、入力層、第１の記憶層、第１のゲート層、第３の記憶層、第３のゲート層及び出力層を含む。

この場合での処理形態は、上記記憶符号化モデルの処理形態と同様であり、ここで繰り返し記述しない。

なお、上記複数の異なるモデルアーキテクチャは、いずれも複数の繰り返して実行する形態を用いることができ、すなわち、該記憶符号化モデルにおけるいずれか又は複数の記憶層、又は、いずれか又は複数のゲート層は、いずれも繰り返して実行することができ、複数層の場合は、各層を繰り返して実行した後に、次の層を繰り返して実行してもよいし、又は、複数層を一体として、数回繰り返して実行してもよい。

本願の実施例は、任意の段落を符号化するシーンに適用することができる。

たとえば、インテリジェント対話のシーンで、ユーザがチャットロボットと対話を行い、チャットロボットは、ユーザから入力されたテキストメッセージを取得し、ターゲット段落とすることができ、本願の実施例に係る方法を用いて、ターゲット段落を符号化して段落ベクトルを得、該段落ベクトルとコーパスデータベースにおける複数の回答メッセージのベクトルとをマッチングし、ベクトルが該段落ベクトルとマッチングする回答メッセージを得、ユーザに表示し、ユーザとチャットロボットとが対話するという効果を実現する。

符号化過程において、ユーザから入力されたテキストメッセージ及び予め設定されたデータベースにおける知識データを考慮し、従って、生成された段落ベクトルがより正確であり、チャットロボットは、ユーザが表現したい意味をよく理解することができ、該段落ベクトルに基づいて、マッチング度がより高い回答メッセージを取得することができ、ユーザから入力されたテキストメッセージに対して、ユーザのニーズに相応しい回答を与え、対話効果を向上させることができる。

またたとえば、テキスト分類のシーンで、分類すべきターゲット段落を取得し、本願の実施例に係る方法を用いて、ターゲット段落を符号化して段落ベクトルを得、該段落ベクトルに基づいて分類することで、該ターゲット段落が属するタイプを決定することができる。

符号化過程において、予め設定されたデータベースにおける知識データを考慮し、従って、生成された段落ベクトルがより正確であり、ターゲット段落の意味をよく理解することができ、該段落ベクトルに基づいて分類することで、分類正確性を向上させることができる。

またたとえば、段落選択のシーンで、選択すべき複数のターゲット段落を取得し、本願の実施例に係る方法を用いて、各ターゲット段落を符号化して段落ベクトルを得、複数のターゲット段落の段落ベクトルに基づいて、要求を満たすターゲット段落を複数のターゲット段落から選択する。

符号化過程において、データベースにおける知識データを予め設定し、従って、生成された段落ベクトルがより正確であり、ターゲット段落の意味をよく理解することができ、段落ベクトルに基づいて選択することで、要求を満たすターゲット段落を選択し、誤って選択するという問題を回避することができる。

上記シーンのほか、本願の実施例に係る方法は、さらに、閲覧理解などの他のシーンに適用することができ、本願の実施例は、これについて限定しない。

図７は、本願の実施例に係る符号化方法のフローチャートであり、本願の実施例は、記憶符号化モデルを用いてターゲット段落を符号化する過程について説明し、該記憶符号化モデルは、入力層、第２の記憶層、第２のゲート層、第１の記憶層、第１のゲート層及び出力層を含む。本願の実施例の実行本体は、符号化機器であり、該符号化機器は、サーバであってもよいし、又は、携帯電話、コンピュータなどの端末であってもよい。図７を参照し、該方法は、以下のＳ７００～Ｓ７０７を含む
７００では、ターゲット段落、ターゲット段落のコンテキスト語句及び予め設定されたデータベースを取得し、ターゲット段落、ターゲット段落のコンテキスト語句及び予め設定されたデータベースを記憶符号化モデルに入力する。

該ターゲット段落が少なくとも１つの語句を含み、各語句が少なくとも１つの単語を含む。ターゲット段落のコンテキスト語句は、ターゲット段落の前の１つ又は複数の段落における語句、ターゲット段落の後の１つ又は複数の段落における語句を含んでもよく、又は、ターゲット段落のうちの１つ又は複数の語句を含んでもよい。たとえば、ターゲット段落のコンテキスト語句は、ターゲット段落の原文であってもよい。

１つの可能な実現態様では、該ターゲット段落がある文章内の１つの段落であると、コンテキスト語句は、該文章内の該段落の前又は後に位置する語句を含んでもよく、又は、該段落における語句を含んでもよい。又は、該ターゲット段落がインテリジェント対話シーンでユーザから入力されたあるテキストであると、コンテキスト語句は、該ターゲット段落の前に位置する、ユーザから入力されたテキスト、又は、該ターゲット段落におけるテキストを含んでもよく、又は、該ターゲット段落の前に位置する、チャットロボットからユーザにフィードバックされたテキストなどを含んでもよい。

また、予め設定されたデータベースは、少なくとも１つの知識データを含み、該少なくとも１つの知識データは、ニュース類、娯楽類、専門知識類など、複数のタイプを含んでもよい。予め設定されたデータベースにおける知識データは、メンテナンス員からアップロードされてもよく、又は、複数のネットワークユーザからアップロードされ、符号化機器により収集されてもよく、又は、他の形態で設定されてもよい。使用過程において、予め設定されたデータベースにおける知識データは、不変であってもよく、ニーズに応じて更新されてもよい。

１つの可能な実現態様では、各知識データは、少なくとも１つの単語をそれぞれ含む少なくとも１つの語句を含んでもよいし、又は、各知識データは、キー（Ｋｅｙ）及び値（Ｖａｌｕｅ）を含む１組のキー値ペアを少なくとも含む。

たとえば、予め設定されたデータベースにおける１つの知識データは、以下の表１に示されてもよい。

ターゲット段落を符号化するとき、該ターゲット段落、ターゲット段落のコンテキスト語句及び予め設定されたデータベースを取得し、ターゲット段落、ターゲット段落のコンテキスト語句及び予め設定されたデータベースを記憶符号化モデルに入力する。

７０１、入力層においてターゲット段落のオリジナルベクトル集合、記憶ベクトル集合及び知識ベクトル集合を取得する。

入力層は、記憶符号化モデルにおける第１層においてあり、ターゲット段落を符号化しようとするとき、ターゲット段落、ターゲット段落のコンテキスト語句及び予め設定されたデータベースを入力層に入力し、入力層においてターゲット段落、ターゲット段落のコンテキスト語句及び予め設定されたデータベースをそれぞれ処理し、ターゲット段落のオリジナルベクトル集合、記憶ベクトル集合及び知識ベクトル集合を取得する。

該オリジナルベクトル集合がターゲット段落における各語句の語句ベクトルを含み、記憶ベクトル集合がターゲット段落のコンテキスト語句内の各単語の単語ベクトルを含み、知識ベクトル集合が予め設定されたデータベースにおける複数の知識データの知識ベクトルを含む。

本願の実施例では、ターゲット段落を符号化するとき、ターゲット段落自体を考慮する必要があるだけではなく、さらに、ターゲット段落のコンテキスト語句及び予め設定されたデータベースにおける知識データを考慮する必要もあり、従って、オリジナルベクトル集合を取得する必要があるだけではなく、さらに記憶ベクトル集合及び知識ベクトル集合を取得する必要もあり、この後、オリジナルベクトル集合、記憶ベクトル集合及び知識ベクトル集合に基づいて処理する。

１つの可能な実現態様では、図７Ａに示すように、ステップ７０１は、以下のステップ７０１１～７０１３を含んでもよい。

７０１１、ターゲット段落における各語句内の各単語の単語ベクトルに基づいて、語句符号化モデルを用いて、各語句の語句ベクトルを取得し、オリジナルベクトル集合を得る。

まず、該ターゲット段落を前処理し、該前処理過程は、ターゲット段落に対して語句分割を行い、ターゲット段落における各語句を得、各語句に対して単語分割を行い、各語句内の各単語を得、各単語の単語ベクトルを取得することを含む。

語句分割過程では、句点、疑問符、感嘆符など、対応する語句が終わったことを代表可能なターゲット段落における句読点を取得し、取得された句読点に基づいて、ターゲット段落を分割し、ターゲット段落における語句を得ることができる。

単語分割過程では、単語分割アルゴリズムを用いて各語句に対して単語分割を行ってもよく、該単語分割アルゴリズムは、双方向の最大マッチングアルゴリズム、最小分割アルゴリズムなどの複数種のアルゴリズムを含んでもよい。又は、他の方法を用いて単語分割を行う。

単語ベクトルの取得過程では、各単語に対して、単語ベクトル辞典に基づいて該単語に対応する単語ベクトルを検索してもよく、該単語ベクトル辞典は、単語と単語ベクトルとの対応関係を含んでもよく、又は、回帰型ニューラルネットワークモデル、深層学習ネットワークモデル、畳み込みニューラルネットワークモデルなどの単語ベクトル取得モデルであってもよく、該単語ベクトル取得モデルを用いて単語の単語ベクトルを取得することができる。

ターゲット段落を前処理した後に、各語句に対して、語句符号化モデルを用いて、該語句内の各単語の単語ベクトルを処理し、該語句の語句ベクトルを取得し、それにより、ターゲット段落における各語句の語句ベクトルを得、各語句の語句ベクトルに基づいて、オリジナルベクトル集合として構成することができる。

語句符号化モデルは、任意の語句内の複数の単語の単語ベクトルを該語句意味を代表する１つの語句ベクトルに圧縮するために用いられ、回帰型ニューラルネットワークモデル、深層学習ネットワークモデル、畳み込みニューラルネットワークモデル、変換ニューラルネットワークモデル、単語階層に基づくＧＳＭＮモデルなどの複数のタイプのモデルであってもよい。

１つの可能な実現態様では、語句符号化モデルは、第１の語句符号化サブモデル及び第２の語句符号化サブモデルを含み、語句の語句ベクトルを取得する過程は、ターゲット段落における各語句に対して、該語句内の各単語の単語ベクトルを取得し、複数の単語ベクトルを得ることと、第１の語句符号化サブモデルを用いて、複数の単語ベクトルに対して正順序符号化を行い、第１のベクトルを得、第２の語句符号化サブモデルを用いて、複数の単語ベクトルに対して逆順序符号化を行い、第２のベクトルを得ることと、第１のベクトル及び第２のベクトルに基づいて、語句の語句ベクトルを取得することとを含んでもよい。上記ステップを繰り返して実行し、ターゲット段落における各語句の語句ベクトルを取得することができる。

該第１の語句符号化サブモデルが正順序符号化モデルであり、該第２の語句符号化サブモデルが逆順序符号化モデルである。該語句内の複数の単語の単語ベクトルが順序に従って配列されると、第１の語句符号化サブモデルを用い、複数の単語ベクトルの配列順序に従って複数の単語ベクトルに対して正順序符号化を行い、第１のベクトルを得る。第２の語句符号化サブモデルを用い、複数の単語ベクトルに対して逆順序処理を行い、さらに逆順序処理済みの配列順序に従って複数の単語ベクトルに対して逆順序符号化を行い、第２のベクトルを得る。

さらに、第１のベクトル及び第２のベクトルを取得した後に、第１のベクトルと第２のベクトルとを直列接続し、語句ベクトルを得てもよく、又は、第１のベクトルと第２のベクトルとを加算し、語句ベクトルを得てもよく、又は、さらに、他の形態を用いて語句ベクトルを得てもよい。

語句符号化モデルが双方向の回帰型ニューラルネットワークモデルであることを例として説明し、図８及び図９に示すように、双方向の回帰型ニューラルネットワークモデルは、フォワード回帰型ニューラルネットワークモデル及びバックワード回帰型ニューラルネットワークモデルを含み、フォワード回帰型ニューラルネットワークモデルによって語句の複数の単語ベクトルに対して正順序符号化を行い、第１のベクトルを取得し、バックワード回帰型ニューラルネットワークモデルによって、語句の複数の単語ベクトルに対して逆順序符号化を行い、第２のベクトルを取得し、第１のベクトルと第２のベクトルとを直列接続し、該語句の語句ベクトルを得る。

７０１２、コンテキスト語句内の各単語の単語ベクトルに基づいて、記憶ベクトル集合を取得する。

コンテキスト語句に対して単語分割を行い、コンテキスト語句内の各単語を得、この後、各単語の単語ベクトルを取得し、取得された単語ベクトルに基づいて記憶ベクトル集合として構成する。単語分割を行い及び単語の単語ベクトルを取得する過程は、上記ステップ７０１１と同様でありここで繰り返し記述しない。

なお、ターゲット段落がコンテキスト語句と同じであると、ターゲット段落における語句のみを処理すれば、オリジナルベクトル集合及び記憶ベクトル集合を得ることができ、他の語句を処理する必要がない。図１０に示すように、ターゲット段落を前処理した後に得られる単語ベクトルに基づいて、記憶ベクトル集合を取得する。

本願の実施例では、記憶符号化モデルは、ターゲット段落を単位として符号化し、従って、入力層は、取得されたオリジナルベクトル集合及び記憶ベクトル集合をいずれも記憶層に入力して処理する。

７０１３、予め設定されたデータベースにおける各知識データの知識ベクトルに基づいて、知識ベクトル集合を取得する。

予め設定されたデータベースにおける各知識データの知識ベクトルを取得し、少なくとも１つの知識データの知識ベクトルを知識ベクトル集合として構成する。

各知識データの知識ベクトルは、予め設定されたデータベースを予め前処理して得られてもよく、知識ベクトルを取得する形態は、複数種を含んでもよい。１つの可能な実現態様では、予め設定されたデータベースにおける各知識データを取得し、該知識データのそれぞれに対して単語分割を行い、知識データにおける少なくとも１つの単語を得、少なくとも１つの単語の単語ベクトルを取得し、少なくとも１つの単語の単語ベクトルに基づいて、該知識データの知識ベクトルを取得し、該知識ベクトルと該知識データとを予め設定されたデータベースに対応して記憶する。

単語分割過程では、単語分割アルゴリズムを用いて各知識データに対して単語分割を行ってもよく、該単語分割アルゴリズムは、双方向の最大マッチングアルゴリズム、最小分割アルゴリズムなどの複数種のアルゴリズムを含んでもよい。又は、他の形態で単語分割を行う。１つの可能な実現態様では、各知識データは、少なくとも１組のキー値ペアを含み、単語分割アルゴリズムを用いて各知識データのキー値ペアにおけるキー及び値のそれぞれに対して単語分割を行ってもよい。

単語ベクトルを取得する過程においては、各単語に対して、単語ベクトル辞典に基づいて該単語に対応する単語ベクトルを検索してもよく、該単語ベクトル辞典は、単語と単語ベクトルとの対応関係を含んでもよいし、又は、該単語ベクトル辞典は、回帰型ニューラルネットワークモデル、深層学習ネットワークモデル、畳み込みニューラルネットワークモデルなどの単語ベクトル取得モデルであってもよく、該単語ベクトル取得モデルを用いて単語の単語ベクトルを取得することができる。

知識ベクトルを取得する過程においては、知識データにおける少なくとも１つの単語の単語ベクトルを直列接続し、知識データの知識ベクトルを得る。１つの可能な実現態様では、知識データが複数組のキー値ペアを含む場合、各組のキー値ペアに対して、キー値ペアにおける少なくとも１つの単語の単語ベクトルを該キー値ペアのベクトルである１つのベクトルとして構成し、同様の形態を用いれば、複数組のキー値ペアのベクトルを得ることができる。この後に、複数組のキー値ペアのベクトルに対して圧縮処理を行い、該知識データの知識ベクトルを得、同様の形態を用いれば、予め設定されたデータベースにおける各知識データの知識ベクトルを得ることができる。

圧縮処理を行うとき、複数種の形態を用いることができ、たとえば、複数組のキー値ペアのベクトルを１つの行列として構成し、該行列に対して列ベクトルの加算を行い、すなわち、該行列を複数の列ベクトルに分割し、各列ベクトルにおける数値の和を計算し、各列ベクトルのトータル値を得、該複数の列ベクトルのトータル値を１つのベクトルとして構成し、知識ベクトルを得てもよい。又は、符号化モデルを用いて複数組のキー値ペアのベクトルに対して圧縮処理を行ってもよい。該符号化モデルは、複数のベクトルを１つのベクトルに圧縮するために用いられ、回帰型ニューラルネットワークモデル、深層学習ネットワークモデル、畳み込みニューラルネットワークモデル、変換ニューラルネットワークモデル、単語階層に基づくＧＳＭＮモデルなどの複数種のタイプのモデルであってもよい。

上記表１に示す知識データに基づいて、該知識データの知識ベクトルを取得するフローは、図１１に示され、各知識データのキー値ペアにおけるキー及び値のそれぞれに対して単語分割を行い、各単語に対して、該単語の単語ベクトルを取得し、ここで、Φは単語ベクトルを表し、直列接続の形態で各組のキー値ペアにおける単語の単語ベクトルを１つのベクトルとして構成し、この後に、この３組のキー値ペアのベクトルに対して圧縮処理を行い、該知識データの知識ベクトルを得る。

７０２、第２の記憶層においてオリジナルベクトル集合及び記憶ベクトル集合に基づいて、オリジナルベクトル集合の第３のターゲット語句行列を取得する。

入力層は、オリジナルベクトル集合及び記憶ベクトル集合を第２の記憶層に入力し、第２の記憶層において第３のターゲット語句行列を取得し、該第３のターゲット語句行列は、オリジナルベクトル集合と記憶ベクトル集合との相関関係に基づいて、ターゲット段落を記述するために用いられ、コンテキスト語句との類似度が高い語句に対して記憶強化を行い、後続の処理過程において該語句に対してもっと注意し、注意力メカニズムを用いて第３のターゲット語句行列を得、第３のターゲット語句行列が該ターゲット段落をより正確に記述するようにする。

１つの可能な実現態様では、図７Ｂに示すように、ステップ７０２は、以下のステップ７０２１～７０２４を含んでもよい。

７０２１、第２の記憶層において記憶モデルを用いて、記憶ベクトル集合に対応する第１の記憶行列及び第２の記憶行列を取得する。

第２の記憶層は、記憶モデルを含み、該記憶モデルを用いて、該記憶ベクトル集合に対応する第１の記憶行列及び第２の記憶行列を取得することができ、第１の記憶行列及び第２の記憶行列は、該記憶ベクトル集合を記述するために用いられ、第１の記憶行列と第２の記憶行列とは同じであってもよく、異なってもよい。

第１の記憶行列の取得形態では、記憶ベクトル集合に基づいてコンテキスト語句内の各単語の単語ベクトルを取得し、語句符号化モデルを用いて、各語句の語句ベクトルを取得し、各語句の語句ベクトルに基づいて第１の記憶行列を取得してもよい。

１つの可能な実現態様では、該語句符号化モデルは、第３の語句符号化サブモデル及び第４の語句符号化サブモデルを含み、語句の語句ベクトルを取得する過程は、コンテキスト語句内の各語句に対して、該語句内の各単語の単語ベクトルを取得し、複数の単語ベクトルを得ることと、第３の語句符号化サブモデルを用いて、複数の単語ベクトルに対して正順序符号化を行い、第３のベクトルを得、第４の語句符号化サブモデルを用いて、複数の単語ベクトルに対して逆順序符号化を行い、第４のベクトルを得ることと、第３のベクトル及び第４のベクトルに基づいて、語句の語句ベクトルを取得することとを含んでもよい。

語句ベクトルを取得する具体的な過程は上記ステップ７０１１と同様でありここで繰り返し記述しない。

コンテキスト語句内の各語句の語句ベクトルを取得した後に、これらの語句の語句ベクトルを組合せ、第１の記憶行列を得る。

さらに、第２の記憶行列の取得形態と第１の記憶行列の取得形態とは、同様であり、相違点は、用いられる語句符号化モデルが第１の記憶行列を取得するときに用いられる語句符号化モデルと同じであってもよく、又は、異なってもよいことだけである。

図１２を参照し、第１の記憶行列及び第２の記憶行列を取得するときに用いられる語句符号化モデルは、すべて双方向の回帰型ニューラルネットワークモデルであり、この２つの双方向の回帰型ニューラルネットワークモデルを用いて記憶ベクトル集合をそれぞれ処理し、第１の記憶行列及び第２の記憶行列を得ることができる。この２つの双方向の回帰型ニューラルネットワークモデルのパラメータは、同じであってもよく、異なってもよく、従って、得られる第１の記憶行列と第２の記憶行列とは、同じであってもよく、異なってもよい。

第１の記憶行列及び第２の記憶行列が記憶ベクトル集合を記述することができ、従って、第１の記憶行列、第２の記憶行列及びオリジナルベクトル集合に基づいて処理し、コンテキスト語句とターゲット段落との相関関係を考慮することができ、それにより、該ターゲット段落をより正確に記述可能な段落ベクトルを得る。

本願の実施例は、ターゲット段落とコンテキスト語句とが同じであることを例とするため、オリジナルベクトル集合と記憶ベクトル集合とが同じである。この場合、以下のステップ７０２２～７０２４を実行して、ターゲット段落を記述するための第３のターゲット語句行列を取得してもよい。当然ながら、ターゲット段落とコンテキスト語句とが異なる場合、複数種の形態を用いて第３のターゲット語句行列を取得してもよい。

７０２２、オリジナルベクトル集合と第１の記憶行列との類似度行列を取得する。

類似度行列を取得する形態は、行列乗算法、行列減算法など、複数種ある。１つの可能な実現態様では、該オリジナルベクトル集合における語句ベクトルに基づいて組合せ、ターゲット段落のオリジナル語句行列を得、該オリジナル語句行列と第１の記憶行列とを乗算し、得られる行列を類似度行列とする。又は、該オリジナル語句行列と第１の記憶行列とを転置して乗算し、得られる行列を類似度行列としてもよい。

類似度行列における各数値は、オリジナルベクトル集合における語句とコンテキスト語句内の対応する語句との類似度を表し、類似度が高ければ、２つの語句の関連度が高いことが表され、後続の処理過程において該語句に対してもっと注意すべきである。

７０２３、類似度行列に対して確率分布計算を行い、確率行列を得る。

類似度行列に複数の類似度が含まれ、類似度行列に対して確率分布計算を行い、確率行列を得ることができ、確率行列に各類似度に対応する確率が含まれ、すべての類似度の確率の和がｌである。

確率分布の計算形態は、複数種があり得、１つの可能な実現態様では、Ｓｏｆｔｍａｘ（正規化指数）関数を用いて類似度行列を計算し、類似度行列に対応する確率行列を得る。又は、類似度行列における各位置に対して、該位置における類似度と類似度行列におけるすべての類似度の和との比を取得し、該位置における類似度に対応する確率を得、それにより、各位置における類似度に対応する確率を取得し、取得された確率を確率行列として構成する。

７０２４、第２の記憶行列及び確率行列に基づいて、第３のターゲット語句行列を取得する。

第２の記憶行列及び確率行列に基づいて、第３のターゲット語句行列を取得する形態は、複数種あり、１つの可能な実現態様では、確率行列と第２の記憶行列とを乗算し、ターゲット段落の語句行列のサイズと同一の第３のターゲット語句行列を得る。

ターゲット段落における語句とコンテキスト語句との類似度が高ければ、確率が大きくなり、従って、確率行列と第２の記憶行列とを乗算することで、コンテキスト語句との類似度が高い語句に対して記憶強化を行うことができる。

例を挙げれば、オリジナルベクトル集合にターゲット段落のＪ個の語句の語句ベクトルが含まれ、記憶ベクトル集合にコンテキスト語句のＫ個の語句の単語ベクトルが含まれ、Ｊ及びＫが正の整数であり、オリジナルベクトル集合に対応する行列ＸがＪ＊Ｄの行列であり、記憶ベクトル集合に対応する行列ＭがＫ＊Ｄの行列であり、Ｄが語句ベクトルの次元の数である。この２つの行列を記憶層に入力し、上記ステップ７０２１～７０２３を実行することで、得られる第３のターゲット語句行列は、Ｏ＝Ｓｏｆｔｍａｘ（ＸΦ_１（Ｍ）^Ｔ）Φ_２（Ｍ）であり、ここで、Φ_１（Ｍ）は第１の記憶行列であり、Φ_２（Ｍ）は第２の記憶行列である。

７０３、第２のゲート層においてオリジナルベクトル集合と第３のターゲット語句行列に対して重み加算を行い、第４のターゲット語句行列を得、第４のターゲット語句行列における各数値が予め設定された数値範囲に属するようにする。

入力層は、オリジナルベクトル集合を第２のゲート層に入力し、第２の記憶層は、第３のターゲット語句行列を第２のゲート層に入力し、第２のゲート層においてオリジナルベクトル集合及び第３のターゲット語句行列に基づいて処理し、記憶強化された第３のターゲット語句行列及びオリジナルのオリジナルベクトル集合が占める比重を調整し、それにより、ターゲット段落におけるコンテキスト語句との類似度が高い語句が占める比重を調整する。

１つの可能な実現態様では、図７Ｃに示すように、ステップ７０３は以下ステップ７０３１～７０３３を含んでもよい。

７０３１、線形ネットワークモデルを用いて、オリジナルベクトル集合に対応する線形数値を取得し、予め設定された関数を用いて線形数値を処理し、オリジナルベクトル集合の第１の重みを得、それにより、第１の重みが予め設定された数値範囲に属するようにする。

図１３を参照し、線形ネットワークモデルは、線形ニューラルネットワークモデルであってもよく、又は、他の線形ネットワークモデルであってもよく、オリジナルベクトル集合に対して線形処理を行った後に、得られる該線形数値がオリジナルベクトル集合を記述することができる。

線形数値を取得した後に、予め設定された関数を用いて線形数値を処理し、オリジナルベクトル集合の第１の重みを得る。該予め設定された関数は、線形数値を予め設定された数値範囲に圧縮し、得られる第１の重みが該予め設定された数値範囲に属するようにするために用いられる。該予め設定された関数は、ｓｉｇｍｏｉｄ（ニューロンの非線形作用）関数、又は、他の関数であってもよく、該予め設定された数値範囲は、０～１の数値範囲であってもよく、第１の重みが０より大きくかつ１より小さい。

７０３２、１と第１の重みとの差値を計算し、第１のターゲット語句行列の第２の重みを得る。

ここで、第１の重みは、オリジナルベクトル集合が占める重みであり、第２の重みは、第３のターゲット語句行列が占める重みであり、第１の重みと第２の重みとの和が１であり、第１の重みを得た後に、１と第１の重みとの差値を計算することで、第２の重みを得る。

７０３３、第１の重み及び第２の重みに応じて、オリジナルベクトル集合と第３のターゲット語句行列に対して重み加算を行い、第４のターゲット語句行列を得る。

図１４を参照し、該オリジナルベクトル集合における語句ベクトルに基づいて組合せ、ターゲット段落のオリジナル語句行列を得、第１の重みは該オリジナル語句行列の重みであり、第２の重みは第３のターゲット語句行列の重みであり、第１の重み及び第２の重みに応じて、該オリジナル語句行列と該第３のターゲット語句行列に対して重み加算を行い、第４のターゲット語句行列を得、第４のターゲット語句行列における各数値が予め設定された数値範囲に属するようにする。

１つの可能な実現態様では、以下の式を用いて重み加算を行う。

Ｏ’＝Ｇ＊Ｘ＋（１―Ｇ）＊Ｏ
ここで、Ｏ’は第４のターゲット語句行列であり、Ｇは第１の重みであり、Ｘはターゲット段落のオリジナル語句行列であり、Ｏは第３のターゲット語句行列である。

第２のゲート層によって、記憶強化後に学習された情報をスクリーニングし、ターゲット段落とコンテキスト語句との比重を調整し、情報のフローを制御し、ターゲット段落と関係ない多くの情報の追加を回避することができる。

７０４、第１の記憶層において第４のターゲット語句行列及び知識ベクトル集合に基づいて、オリジナルベクトル集合の第１のターゲット語句行列を取得する。

入力層は、知識ベクトル集合を第１の記憶層に入力し、第２のゲート層は、第４のターゲット語句行列を第１の記憶層に入力する。第１の記憶層において第４のターゲット語句行列及び知識ベクトル集合に基づいて、オリジナルベクトル集合の第１のターゲット語句行列を取得する。

第１のターゲット語句行列は、第４のターゲット語句行列に基づいて知識ベクトル集合と組合せ、ターゲット段落を記述するために用いられ、外部の知識データを導入し、外部の知識データから関連する知識データを抽出し、抽出された関連する知識データに基づいてターゲット段落を強化し、第１のターゲット語句行列が該ターゲット段落をより正確に記述することができる。

１つの可能な実現態様では、図７Ｄに示すように、ステップ７０４は、以下のステップ７０４１～７０４４を含んでもよい。

７０４１、第１の記憶層において記憶モデルを用いて、知識ベクトル集合に対応する第１の知識行列及び第２の知識行列を取得する。

第１の記憶層は、記憶モデルを含み、該記憶モデルを用いて、該知識ベクトル集合に対応する第１の知識行列及び第２の知識行列を取得することができ、第１の知識行列及び第２の知識行列は、該知識ベクトル集合を記述するために用いられ、第１の知識行列及び第２の知識行列は、同じであってもよく、異なってもよい。

第１の知識行列の取得形態では、知識ベクトル集合に基づいて、予め設定されたデータベースにおける各知識データの知識ベクトルを取得し、語句符号化モデルを用いて、各知識データの第１の知識ベクトルを取得し、各知識データの第１の知識ベクトルに基づいて、第１の知識行列を取得してもよい。

１つの可能な実現態様では、該語句符号化モデルは、第５の語句符号化サブモデル及び第６の語句符号化サブモデルを含み、知識データの知識ベクトルを取得する過程は、予め設定されたデータベースにおける各知識データに対して、各知識データの知識ベクトルを取得し、少なくとも１つの知識ベクトルを得ることと、第５の語句符号化サブモデルを用いて、少なくとも１つの知識ベクトルに対して正順序符号化を行い、各知識ベクトルの第５のベクトルを得、第６の語句符号化サブモデルを用いて、少なくとも１つの知識ベクトルに対して逆順序符号化を行い、各知識ベクトルの第６のベクトルを得ることと、第５のベクトル及び第６のベクトルに基づいて、知識データの第１の知識ベクトルを取得することとを含んでもよい。知識データの第１の知識ベクトルを取得した後に、これらの知識データの第１の知識ベクトルを組合せ、第１の知識行列を得る。

また、第２の知識行列の取得形態は、第１の知識行列の取得形態と同様であり、相違点は、用いられる語句符号化モデルが第１の知識行列を取得するときに用いられる語句符号化モデルと同じであってもよく、又は、異なってもよいことだけである。

１つの可能な実現態様では、第１の知識行列及び第２の知識行列を取得するときに用いられる語句符号化モデルは、すべて、双方向の回帰型ニューラルネットワークモデルであり、この２つの双方向の回帰型ニューラルネットワークモデルを用いて知識ベクトル集合のそれぞれを処理し、第１の知識行列及び第２の知識行列を得ることができる。この２つの双方向の回帰型ニューラルネットワークモデルのパラメータは、同じであってもよく、異なってもよく、従って、得られる第１の知識行列と第２の知識行列とは、同じであってもよく、異なってもよい。

第１の知識行列及び第２の知識行列が知識ベクトル集合を記述することができ、従って、第１の知識行列、第２の知識行列及び第４のターゲット語句に基づいて行列を処理し、外部の知識データを導入し、外部の知識データから関連する知識データを抽出し、抽出された関連する知識データに基づいてターゲット段落を強化することができ、それにより、該ターゲット段落をより正確に記述可能な段落ベクトルを得ることができる。

７０４２、第４のターゲット語句行列と第１の知識行列との類似度行列を取得する。

類似度行列を取得する形態は、行列乗算法、行列減算法など、複数種ある。１つの可能な実現態様では、第４のターゲット語句行列と第１の知識行列とを乗算し、得られる行列を類似度行列とする。又は、該第４のターゲット語句行列と第１の知識行列とを転置して乗算し、得られる行列を類似度行列としてもよい。

類似度行列における数値のそれぞれは、オリジナルベクトル集合における語句と予め設定されたデータベースにおける知識データとの類似度を表し、類似度が高ければ、関連度が高いことが表され、後続の処理過程において、知識データにおける関連する知識データを導入し、ターゲット段落における語句を強化すべきである。

７０４３、類似度行列に対して確率分布計算を行い、確率行列を得る。

類似度行列に複数の類似度が含まれ、類似度行列に対して確率分布計算を行い、確率行列を得ることができ、確率行列に各類似度に対応する確率が含まれ、すべての類似度の確率の和が１である。

確率分布の計算形態は、複数種あってもよく、１つの可能な実現態様では、Ｓｏｆｔｍａｘ（正規化指数）関数を用いて類似度行列を計算し、類似度行列に対応する確率行列を得る。又は、類似度行列における各位置に対して、該位置における類似度と類似度行列におけるすべての類似度の和との比を取得し、該位置における類似度に対応する確率を得、それにより、各位置における類似度に対応する確率を取得し、取得された確率を確率行列として構成する。

７０４４、第２の知識行列及び確率行列に基づいて、第１のターゲット語句行列を取得する。

第２の知識行列及び確率行列に基づいて、第１のターゲット語句行列を取得する形態は、複数種あり、１つの可能な実現態様では、確率行列と第２の知識行列とを乗算し、第４のターゲット語句行列のサイズと同一の第１のターゲット語句行列を得る。

第４のターゲット語句行列に比べて、第１のターゲット語句行列は、知識ベクトル集合からオリジナルベクトル集合に関連する知識データを抽出し、ターゲット段落をより正確に記述する。第４のターゲット語句行列におけるベクトルと第１の知識行列におけるベクトルとの類似度が高ければ、確率が大きくなり、従って、確率行列と第２の知識行列とを乗算することで、知識データにおける関連する知識データを導入し、ターゲット段落における語句を強化し、第１のターゲット語句行列が該ターゲット段落をより正確に記述することができる。

７０５、第１のゲート層において第４のターゲット語句行列と第１のターゲット語句行列に対して重み加算を行い、第２のターゲット語句行列を得、第２のターゲット語句行列における各数値が予め設定された数値範囲に属するようにする。

第２のゲート層は、第４のターゲット語句行列を第１のゲート層に入力し、第１の記憶層は、第１のターゲット語句行列を第１のゲート層に入力し、第１のゲート層において第４のターゲット語句行列及び第１のターゲット語句行列が占める比重を調整し、それにより、記憶強化されたターゲット段落及び知識データが占める比重を調整する。

１つの可能な実現態様では、図７Ｅに示すように、ステップ７０５は、以下のステップ７０５１～７０５３を含んでもよい。

７０５１、第１のゲート層において線形ネットワークモデルを用いて、第４のターゲット語句行列に対応する線形数値を取得し、予め設定された関数を用いて線形数値を処理し、第４のターゲット語句行列の第３の重みを得、第３の重みが予め設定された数値範囲に属するようにする。

第１のゲート層において線形ネットワークモデルを用いて、第４のターゲット語句行列に対応する線形数値を取得し、線形ネットワークモデルは、線形ニューラルネットワークモデルであってもよく、又は、他の線形ネットワークモデルであってもよく、第４のターゲット語句行列に対して線形処理を行った後に、得られる該線形数値が第４のターゲット語句行列を記述することができる。

線形数値を取得した後に、予め設定された関数を用いて線形数値を処理し、第４のターゲット語句行列の第３の重みを得る。該予め設定された関数は、線形数値を予め設定された数値範囲に圧縮し、得られる第３の重みが該予め設定された数値範囲に属するようにするために用いられる。該予め設定された関数は、ｓｉｇｍｏｉｄ（ニューロンの非線形作用）関数、又は、他の関数であってもよく、該予め設定された数値範囲は、０～１の数値範囲であってもよく、第３の重みが０より大きくかつ１より小さい。

７０５２、１と第３の重みとの差値を計算し、第１のターゲット語句行列の第４の重みを得る。

第３の重みは、第４のターゲット語句行列が占める重みであり、第４の重みは、第１のターゲット語句行列が占める重みであり、第３の重みと第４の重みとの和が１であり、第３の重みを得た後に、１と第３の重みとの差値を計算することで、第４の重みを得る。

７０５３、第３の重み及び第４の重みに応じて、第４のターゲット語句行列と第１のターゲット語句行列に対して重み加算を行い、第２のターゲット語句行列を得る。

第３の重みは、該第４のターゲット語句行列の重みであり、第４の重みは、第１のターゲット語句行列の重みであり、第３の重み及び第４の重みに応じて、該第４のターゲット語句行列及び該第１のターゲット語句行列に対して重み加算を行い、第２のターゲット語句行列を得、第２のターゲット語句行列における各数値が予め設定された数値範囲に属するようにする。

１つの可能な実現態様では、以下の式を用いて重み加算を行う。

Ｏ’＝Ｇ＊Ｘ＋（１―Ｇ）＊Ｏ
ここで、Ｏ’は第２のターゲット語句行列であり、Ｇは第３の重みであり、Ｘは第４のターゲット語句行列であり、Ｏは第１のターゲット語句行列である。

第１のゲート層によって、関連する知識データを導入した後に学習して得られる情報をスクリーニングし、記憶強化されたターゲット段落と導入された関連する知識データのターゲット段落との比重を調整し、情報のフローを制御し、ターゲット段落と関係ない多くの情報の追加を回避する。

７０６、出力層において第２のターゲット語句行列に基づいて、ターゲット段落の段落ベクトルを取得する。

出力層において第２のターゲット語句行列をターゲット段落の段落ベクトルとして１つのベクトルに変換する。段落ベクトルを取得する形態は、複数種あってもよく、１つの可能な実現態様では、第２のターゲット語句行列に対して列向加算を行い、すなわち、第２のターゲット語句行列を複数の列ベクトルに分割し、各列ベクトルにおける数値の和を計算し、各列ベクトルのトータル値を得、該複数の列ベクトルのトータル値を１つのベクトルとして構成し、段落ベクトルを得る。

なお、本願の実施例は、第２の記憶層、第２のゲート層、第１の記憶層及び第１のゲート層を１回実行することのみを例として説明するが、他の実施例では、図１５に示すように、第２の記憶層、第２のゲート層、第１の記憶層及び第１のゲート層を繰り返して実行してもよい。すなわち、第１のゲート層において第２のターゲット語句行列を取得した後に、第２のターゲット語句行列を更新後のオリジナルベクトル集合及び記憶ベクトル集合とし、知識ベクトル集合を不変に維持し、又は、知識ベクトル集合を更新してもよく、更新後の知識ベクトル集合を得、第２の記憶層、第２のゲート層、第１の記憶層及び第１のゲート層は、繰り返し回数が予め設定された回数に達するまで、更新後のオリジナルベクトル集合、記憶ベクトル集合及び知識ベクトル集合に基づいてターゲット語句行列を取得するステップを繰り返して実行し、現在のターゲット語句行列を出力層に入力し、出力層において現在のターゲット語句行列に基づいて、ターゲット段落の段落ベクトルを取得する。該予め設定された回数は、ニーズに応じて決定されてもよく、又は、実験により決定された好適値であってもよく、該予め設定された回数は、２又は３などであってもよい。

１つの可能な実現態様では、第２の記憶層及び第２のゲート層を繰り返して実行してもよく、すなわち、第２のゲート層において第４のターゲット語句行列を取得した後に、第４のターゲット語句行列を更新後のオリジナルベクトル集合及び記憶ベクトル集合とし、第２の記憶層及び第２のゲート層は、繰り返し回数が予め設定された回数に達するまで、更新後のオリジナルベクトル集合及び記憶ベクトル集合に基づいてターゲット語句行列を取得するステップを繰り返して実行し、現在のターゲット語句行列を第１の記憶層に入力する。後続過程において、第１の記憶層及び第１のゲート層において続いて処理する。

１つの可能な実現態様では、第１の記憶層及び第１のゲート層を繰り返して実行し、第１のゲート層が第２のターゲット語句行列を取得した後に、第２のターゲット語句行列を更新後の第４のターゲット語句行列とし、知識ベクトル集合を不変に維持してもよく、又は、知識ベクトル集合を更新し、更新後の知識ベクトル集合を得てもよく、第１の記憶層及び第１のゲート層は、繰り返し回数が予め設定された回数に達するまで、更新後の第４のターゲット語句行列及び知識ベクトル集合に基づいてターゲット語句行列を取得するステップを繰り返して実行し、現在のターゲット語句行列を出力層に入力する。出力層は、現在のターゲット語句行列に基づいて、ターゲット段落の段落ベクトルを取得する。

７０７、段落ベクトルに基づいて処理する。

ターゲット段落の段落ベクトルを取得した後に、段落ベクトルを処理する。用いるシーンが異なり、段落ベクトルの処理形態も異なり、具体的にどの処理形態を用いるかは、ニーズに応じて決定されてもよい。たとえば、インテリジェント対話のシーンで、ターゲット段落は、ユーザから入力されたテキストメッセージであり、ターゲット段落の段落ベクトルを取得した後に、該段落ベクトルに基づいてマッチングする回答メッセージを取得し、ユーザから入力されたテキストメッセージに対してユーザのニーズに相応しい回答を与えることができる。

本願の実施形態に係る符号化方法は、記憶符号化モデルを提供し、記憶符号化モデルは、入力層、第１の記憶層及び出力層を含み、ターゲット段落及び予め設定されたデータベースを取得し、ターゲット段落及び予め設定されたデータベースを記憶符号化モデルに入力し、入力層ターゲット段落のオリジナルベクトル集合及び予め設定されたデータベースの知識ベクトル集合を取得し、第１の記憶層は、オリジナルベクトル集合及び知識ベクトル集合に基づいて、オリジナルベクトル集合の第１のターゲット語句行列を取得し、出力層は、第１のターゲット語句行列に基づいて、ターゲット段落の段落ベクトルを取得し、段落ベクトルに基づいて処理する。本願の実施例は、シリアルの形態で各語句のそれぞれを符号化する必要がなく、ターゲット段落を単位として、記憶符号化モデルを用いてターゲット段落を符号化し、従って、符号化速度を向上させる。また、符号化過程において、ターゲット段落自体を考慮するだけではなく、さらに予め設定されたデータベースにおける知識データを考慮し、それにより、取得された段落ベクトルは、ターゲット段落の意味を表現できるだけではなく、さらに外部知識データから関連する知識データを抽出することもでき、符号化確率を向上させる。

本願の実施例に係る記憶符号化モデルは、自己注意力の特性を有し、自己注意力メカニズムを段落の語句階層に適用し、ターゲット段落、コンテキスト語句及び予め設定されたデータベースにおける知識データに基づいて統合処理を行うことで、ターゲット段落の段落ベクトルの表現がより豊かであり、ターゲット段落の意味をより正確に記述できることを確保することができる。本願の実施例は、複数種のシーンに適用することができ、適用範囲が広い。

なお、本願の実施例は、記憶符号化モデルが第２の記憶層、第２のゲート層、第１の記憶層及び第１のゲート層を含むことのみを例として説明する。１つの可能な実現態様では、該記憶符号化モデルは、さらに、他のネットワークアーキテクチャを用いてもよい。

１つの可能な実現態様では、該記憶符号化モデルは、入力層、第１の記憶層及び出力層を含む。

入力層は、オリジナルベクトル集合及び知識ベクトル集合を第１の記憶層に入力し、第１の記憶層は、オリジナルベクトル集合及び知識ベクトル集合に基づいて、第１のターゲット語句行列を取得し、第１のターゲット語句行列を出力層に入力する。出力層は、第１のターゲット語句行列に基づいて、ターゲット段落の段落ベクトルを取得する。

１つの可能な実現態様では、該記憶符号化モデルは、入力層、第１の記憶層、第１のゲート層及び出力層を含む。

入力層は、オリジナルベクトル集合及び知識ベクトル集合を第１の記憶層に入力し、第１の記憶層は、オリジナルベクトル集合及び知識ベクトル集合に基づいて、第１のターゲット語句行列を取得し、第１のターゲット語句行列を第１のゲート層に入力する。第１のゲート層は、オリジナルベクトル集合及び第１のターゲット語句行列に基づいて、第２のターゲット語句行列を取得し、第２のターゲット語句行列を出力層に入力する。出力層は、第２のターゲット語句行列に基づいて、ターゲット段落の段落ベクトルを取得する。

１つの可能な実現態様では、該記憶符号化モデルは、入力層、第２の記憶層、第１の記憶層及び出力層を含む。

入力層は、オリジナルベクトル集合及び記憶ベクトル集合を第２の記憶層に入力する。第２の記憶層は、入力されたオリジナルベクトル集合及び記憶ベクトル集合に基づいて、第３のターゲット語句行列を取得し、第３のターゲット語句行列を第１の記憶層に入力し、入力層は、知識ベクトル集合を第１の記憶層に入力する。第１の記憶層は、入力された第３のターゲット語句行列及び知識ベクトル集合に基づいて、第１のターゲット語句行列を取得し、第１のターゲット語句行列を出力層に入力し、出力層は、第１のターゲット語句行列に基づいて、該ターゲット段落の段落ベクトルを取得する。

１つの可能な実現態様では、該記憶符号化モデルは、入力層、第２の記憶層、第２のゲート層、第１の記憶層及び出力層を含む。

入力層は、オリジナルベクトル集合及び記憶ベクトル集合を第２の記憶層に入力し、さらに知識ベクトル集合を第１の記憶層に入力する。第２の記憶層は、入力されたオリジナルベクトル集合及び記憶ベクトル集合に基づいて、第３のターゲット語句行列を取得し、第２のゲート層に入力する。第２のゲート層は、オリジナルベクトル集合と第３のターゲット語句行列に対して重み加算を行い、第４のターゲット語句行列を得、第４のターゲット語句行列を第１の記憶層に入力する。第１の記憶層は、第４のターゲット語句行列及び知識ベクトル集合に基づいて、第１のターゲット語句行列を取得し、第１のターゲット語句行列を出力層に入力し、出力層は、第１のターゲット語句行列に基づいて、該ターゲット段落の段落ベクトルを取得する。

１つの可能な実現態様では、該記憶符号化モデルは、入力層、第１の記憶層、第３の記憶層及び出力層を含む。

入力層は、オリジナルベクトル集合及び知識ベクトル集合を第１の記憶層に入力し、記憶ベクトル集合を第３の記憶層に入力する。第１の記憶層は、オリジナルベクトル集合及び知識ベクトル集合に基づいて、第１のターゲット語句行列を取得し、第３の記憶層に入力し、第３の記憶層は、記憶ベクトル集合及び第１のターゲット語句行列に基づいて、第５のターゲット語句行列を取得し、第５のターゲット語句行列を出力層に入力し、出力層は、第５のターゲット語句行列に基づいて、該ターゲット段落の段落ベクトルを取得する。

１つの可能な実現態様では、該記憶符号化モデルは、入力層、第１の記憶層、第３の記憶層、第３のゲート層及び出力層を含む。

図１６に示すように、入力層は、オリジナルベクトル集合及び知識ベクトル集合を第１の記憶層に入力し、記憶ベクトル集合を第３の記憶層に入力する。第１の記憶層は、オリジナルベクトル集合及び知識ベクトル集合に基づいて、第１のターゲット語句行列を取得し、第３の記憶層に入力し、第３の記憶層は、記憶ベクトル集合及び第１のターゲット語句行列に基づいて、第５のターゲット語句行列を取得し、第５のターゲット語句行列を第３のゲート層に入力し、第３のゲート層は、第５のターゲット語句行列と第１のターゲット語句行列に対して重み加算を行い、第６のターゲット語句行列を得、第６のターゲット語句行列を出力層に入力し、出力層は、第６のターゲット語句行列に基づいて、該ターゲット段落の段落ベクトルを取得する。

本願の実施例は、記憶符号化モデルのネットワークアーキテクチャを提供し、該記憶符号化モデルを用いてターゲット段落を符号化する。上記実施例に係る符号化方法は、符号化過程に適用することもでき、記憶符号化モデルを訓練する過程に適用することもできる。

つまり、１つの可能な実現態様では、記憶符号化モデルを訓練する過程において、初期化された記憶符号化モデルを取得するか、又は、１回又は数回訓練されたが、確率が要求を満たしていない記憶符号化モデルを取得する。１つ又は複数のサンプル段落をターゲット段落として取得する。現在の記憶符号化モデルを用いてターゲット段落を処理し、処理過程において上記実施例に係る符号化方法を実行すれば、ターゲット段落の段落ベクトルを得ることができる。

この後に、ターゲット段落の段落ベクトルを復号し、該段落ベクトルに対応するテスト段落を得、ターゲット段落とテスト段落との誤差に基づいて、記憶符号化モデルにおけるモデルパラメータを修正する。復号形態は、複数種あってもよく、例えば、復号アルゴリズムを用いて段落ベクトルを復号してもよく、又は、復号モデルを用いて段落ベクトルを復号してもよく、該復号モデルは、回帰型ニューラルネットワークモデル、深層学習ネットワークモデル、畳み込みニューラルネットワークモデルなどであってもよい。

上記形態を用いて１回又は数回訓練した後に、記憶符号化モデルにおけるモデルパラメータを決定し、確率が要求を満たす記憶符号化モデルを得ることができる。

他の可能な実現態様では、記憶符号化モデルは、訓練されたが、確率が要求を満たしていない。該記憶符号化モデルを取得し、あるターゲット段落を符号化しようとするとき、該記憶符号化モデルを用いてターゲット段落を処理し、処理過程において上記実施例に係る符号化方法を実行すれば、ターゲット段落の段落ベクトルを得ることができる。該記憶符号化モデルは、符号化機器により訓練されてもよいし、又は、訓練機器で訓練された後に符号化機器に送信されてもよく、該訓練機器は、端末、又は、サーバなどであってもよい。

図１７は、本願の実施例に係る符号化装置の構成模式図である。図１７を参照し、該装置は、取得モジュール１７００、入力層モジュール１７０１、第１の記憶層モジュール１７０２、出力層モジュール１７０３及び処理モジュール１７０４を備え、
取得モジュール１７００は、ターゲット段落及び予め設定されたデータベースを取得し、ターゲット段落及び予め設定されたデータベースを記憶符号化モデルに入力するために用いられ、ターゲット段落が少なくとも１つの語句を含み、
入力層モジュール１７０１は、ターゲット段落のオリジナルベクトル集合及び予め設定されたデータベースの知識ベクトル集合を取得するために用いられ、オリジナルベクトル集合がターゲット段落における各語句の語句ベクトルを含み、知識ベクトル集合が予め設定されたデータベースにおける複数の知識データの知識ベクトルを含み、
第１の記憶層モジュール１７０２は、オリジナルベクトル集合及び知識ベクトル集合に基づいて、オリジナルベクトル集合の第１のターゲット語句行列を取得するために用いられ、第１のターゲット語句行列は、オリジナルベクトル集合と知識ベクトル集合との相関関係に基づいて、ターゲット段落を記述するために用いられ、
出力層モジュール１７０３は、第１のターゲット語句行列に基づいて、ターゲット段落の段落ベクトルを取得するために用いられ、
処理モジュール１７０４は、段落ベクトルに基づいて処理するために用いられる。

本願の実施形態に係る符号化装置であって、取得モジュールは、ターゲット段落及び予め設定されたデータベースを取得し、ターゲット段落及び予め設定されたデータベースを記憶符号化モデルに入力し、入力層モジュールは、ターゲット段落のオリジナルベクトル集合及びターゲット段落のコンテキスト語句内の記憶ベクトル集合を取得し、記憶層モジュールは、オリジナルベクトル集合及び記憶ベクトル集合に基づいて、オリジナルベクトル集合の第１のターゲット語句行列を取得し、出力層モジュールは、第１のターゲット語句行列に基づいてターゲット段落の段落ベクトルを取得し、処理モジュールは、段落ベクトルに基づいて処理する。本願の実施例は、シリアルの形態を用いて各語句をそれぞれ符号化することなく、ターゲット段落を単位として、記憶符号化モデルを用いてターゲット段落を符号化し、従って、符号化速度を向上させる。また、符号化過程において、ターゲット段落自体を考慮するだけではなく、予め設定されたデータベースにおける知識データ及びターゲット段落のコンテキスト語句も考慮し、それにより、取得された段落ベクトルがターゲット段落の意味を表現できるだけではなく、外部知識データから関連する知識データを抽出することができ、符号化確率を向上させる。

本願の実施例に係る記憶符号化モデルは、自己注意力の特性を有し、自己注意力メカニズムを段落の語句階層に適用し、ターゲット段落及びコンテキスト語句に基づいて統合処理を行うことで、ターゲット段落の段落ベクトルの表現がより豊かであり、ターゲット段落の意味をより正確に記述できることを確保することができる。本願の実施例は、複数種のシーンに適用することができ、適用範囲が広い。

１つの可能な実現態様では、入力層モジュール１７０１は、
ターゲット段落における各語句内の各単語の単語ベクトルに基づいて、語句符号化モデルを用いて、各語句の語句ベクトルを取得し、オリジナルベクトル集合を得るためのオリジナル取得ユニットと、
予め設定されたデータベースにおける各知識データの知識ベクトルに基づいて、知識ベクトル集合を取得するための知識取得ユニットとを備える。

１つの可能な実現態様では、該装置は、
予め設定されたデータベースにおける各知識データを取得するための知識データ取得モジュールと、
知識データのそれぞれに対して単語分割を行い、少なくとも１つの単語を得、少なくとも１つの単語の単語ベクトルを取得し、少なくとも１つの単語の単語ベクトルに基づいて、知識データの知識ベクトルを取得するための知識ベクトル取得モジュールと、
知識ベクトルと知識データとを予め設定されたデータベースに対応して記憶するための記憶層モジュールとをさらに備える。

１つの可能な実現態様では、第１の記憶層モジュール１７０２は、
第１の記憶モデルを用いて、知識ベクトル集合に対応する第１の知識行列及び第２の知識行列を取得するための知識行列取得ユニットと、
オリジナルベクトル集合、第１の知識行列及び第２の知識行列に基づいて、オリジナルベクトル集合の第１のターゲット語句行列を取得するための第１のターゲット取得ユニットとを備える。

１つの可能な実現態様では、装置は、第１のゲート層モジュールをさらに備え、
第１のゲート層モジュールは、オリジナルベクトル集合と第１のターゲット語句行列に対して重み加算を行い、第２のターゲット語句行列を得、第２のターゲット語句行列における各数値が予め設定された数値範囲に属するようにするために用いられ、
出力層モジュール１７０３は、第２のターゲット語句行列に基づいて、ターゲット段落の段落ベクトルを取得するために用いられる。

１つの可能な実現態様では、第１のゲート層モジュールは、
線形ネットワークモデルを用いて、オリジナルベクトル集合に対応する線形数値を取得し、予め設定された関数を用いて線形数値を処理し、オリジナルベクトル集合の第１の重みを得、それにより、第１の重みが予め設定された数値範囲に属するようにするための第１の重み取得ユニットと、
１と第１の重みとの差値を計算し、第１のターゲット語句行列の第２の重みを得るための第２の重み取得ユニットと、
第１の重み及び第２の重みに応じて、オリジナルベクトル集合と第１のターゲット語句行列に対して重み加算を行い、第２のターゲット語句行列を得るための加重ユニットとを備える。

１つの可能な実現態様では、出力層モジュール１７０３は、
第１のターゲット語句行列に対して列向加算を行い、段落ベクトルを得るための列向加算ユニットを備える。

１つの可能な実現態様では、第１の記憶層モジュール１７０２は、さらに、第１のターゲット語句行列を更新後のオリジナルベクトル集合及び知識ベクトル集合とし、繰り返し回数が予め設定された回数に達するまで、更新後のオリジナルベクトル集合及び知識ベクトル集合に基づいて、ターゲット語句行列を取得するステップを繰り返して実行し、出力層モジュール１７０３をトリガーするために用いられる、
出力層モジュール１７０３は、さらに、現在のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得するために用いられる。

１つの可能な実現態様では、装置は、第２の記憶層モジュールをさらに備え、
入力層モジュール１７０１は、さらに、ターゲット段落の記憶ベクトル集合を取得するために用いられ、記憶ベクトル集合がターゲット段落のコンテキスト語句内の各単語の単語ベクトルを含み、
第２の記憶層モジュールは、オリジナルベクトル集合及び記憶ベクトル集合に基づいて、オリジナルベクトル集合の第３のターゲット語句行列を取得するために用いられ、第３のターゲット語句行列は、オリジナルベクトル集合と記憶ベクトル集合との相関関係に基づいて、ターゲット段落を記述するために用いられ、
第１の記憶層モジュール１７０２は、さらに、第３のターゲット語句行列及び知識ベクトル集合に基づいて、オリジナルベクトル集合の第１のターゲット語句行列を取得するために用いられる。

１つの可能な実現態様では、装置は、第２のゲート層モジュールをさらに備え、
第２のゲート層モジュールは、オリジナルベクトル集合と第３のターゲット語句行列に対して重み加算を行い、第４のターゲット語句行列を得、第４のターゲット語句行列における各数値が予め設定された数値範囲に属するようにするために用いられる、
第１の記憶層モジュールは、さらに、第４のターゲット語句行列及び知識ベクトル集合に基づいて、オリジナルベクトル集合の第１のターゲット語句行列を取得するために用いられる。

１つの可能な実現態様では、装置は、第３の記憶層モジュールをさらに備え、
入力層モジュール１７０１は、さらに、ターゲット段落の記憶ベクトル集合を取得するために用いられ、記憶ベクトル集合がターゲット段落のコンテキスト語句内の各単語の単語ベクトルを含み、
第３の記憶層モジュールは、第１のターゲット語句行列及び記憶ベクトル集合に基づいて、オリジナルベクトル集合の第５のターゲット語句行列を取得するために用いられ、第５のターゲット語句行列は、オリジナルベクトル集合と、知識ベクトル集合と、記憶ベクトル集合との相関関係に基づいて、ターゲット段落を記述するために用いられる、
出力層モジュール１７０３は、さらに、第５のターゲット語句行列に基づいて、ターゲット段落の段落ベクトルを取得するために用いられる。

１つの可能な実現態様では、装置は、第３のゲート層モジュールをさらに備え、
第３のゲート層モジュールは、第１のターゲット語句行列及び第５のターゲット語句行列に対して重み加算を行い、第６のターゲット語句行列を得、第６のターゲット語句行列における各数値が予め設定された数値範囲に属するようにするために用いられ、
出力層モジュール１７０３は、さらに、第６のターゲット語句行列に基づいて、ターゲット段落の段落ベクトルを取得するために用いられる。

なお、上記実施例に係る符号化装置は、段落を符号化するとき、上記各機能モジュールの分割のみを例として説明し、実際に使用するとき、ニーズに応じて、上記機能を異なる機能モジュールに割り当てて完了させ、すなわち、符号化機器の内部構成を異なる機能モジュールに分割し、以上に説明した全部又は一部の機能を完了させてもよい。また、上記実施例に係る符号化装置と符号化方法の実施例は、同じ発想に属し、具体的な実現過程は方法の実施例を参照してください。ここで、繰り返し説明しない。

図１８は、本願の実施例に係る端末の構成ブロック図を示す。該端末１８００は、上記実施例の符号化機器により実行されるステップを実行するために用いられ、スマートフォン、タブレットＰＣ、ＭＰ３プレーヤ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ ＬａｙｅｒＩＩＩ、動画専門家集団オーディオレイヤ３）、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、動画専門家集団オーディオレイヤ４）プレーヤ、ノートパソコン又はデスクトップパソコンなどのポータブル移動端末であってもよい。端末１８００は、さらに、ユーザ機器、ポータブル端末、ラップトップ端末、デスクトップ端末などのその他の名称と呼ばれる可能性がある。

通常、端末１８００は、プロセッサ１８０１とメモリ１８０２とを備える。

プロセッサ１８０１は、１つ又は複数のプロセスコアを含んでもよく、例えば、４コアプロセッサ、８コアプロセッサなどである。プロセッサ１８０１は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、デジタルシグナルプロセッサ）、ＦＰＧＡ（Ｆｉｅｌｄ―Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、フィールドプログラマブルゲートアレイ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ、プログラマブル・ロジック・アレイ）のうちの少なくとも１つのハードウェア形態で実現されてもよい。プロセッサ１８０１は、メインプロセッサ及びコプロセッサを備えてもよく、メインプロセッサは、覚醒状態でのデータを処理するためのプロセッサであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）とも呼ばれ、コプロセッサは、待ち受け状態でのデータを処理するための低消費電力プロセッサである。いくつかの実施形態では、プロセッサ１８０１には、ディスプレイスクリーンに表示する必要があるコンテンツのレンダリング及び作成用のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、画像プロセッサ）が集積されてもよい。いくつかの実施形態では、プロセッサ１８０１は、機械学習に関する演算操作を処理するためのＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）プロセッサを備えてもよい。

メモリ１８０２は、非一時的なものであり得る１つ又は複数のコンピュータ可読記憶媒体を備えてもよい。メモリ１８０２は、１つ又は複数のフロッピーディスクストレージデバイス、フラッシュメモリストレージデバイスなど、高速ランダムアクセスメモリ、及び不揮発性メモリをさらに備えてもよい。いくつかの例では、メモリ１８０２における非一時的なコンピュータ可読記憶媒体は、少なくとも１つの命令を記憶するために用いられ、該少なくとも１つの命令は、プロセッサ１８０１により実行され、本願の方法の実施形態に係る符号化方法を実現するために用いられる。

いくつかの実施形態では、端末１８００は、さらに、任意選択的で、周辺機器インタフェース１８０３及び少なくとも１つの周辺機器を備えてもよい。プロセッサ１８０１、メモリ１８０２及び周辺機器インタフェース１８０３は、バス又は信号線を介して接続されてもよい。各周辺機器は、バス、信号線又は回路基板を介して周辺機器インタフェース１８０３に接続されてもよい。具体的には、周辺機器は、ＲＦ回路１８０４、タッチディスプレイスクリーン１８０５、カメラ１８０６、音声回路１８０７、測位コンポーネント１８０８及び電源１８０９のうちの少なくとも１つを備える。

周辺機器インタフェース１８０３は、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、入力／出力）に関連する少なくとも１つの周辺機器をプロセッサ１８０１及びメモリ１８０２に接続するために用いられてもよい。いくつかの実施形態では、プロセッサ１８０１、メモリ１８０２及び周辺機器インタフェース１８０３は、同じチップ又は回路基板に集積され、いくつかの他の実施形態では、プロセッサ１８０１、メモリ１８０２及び周辺機器インタフェース１８０３のうちのいずれか１つ又は２つは、独立したチップ又は回路基板に実現されてもよく、本実施形態は、これについて限定しない。

ＲＦ回路１８０４は、電磁信号とも呼ばれる無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）信号を受送信するために用いられる。ＲＦ回路１８０４は、電磁信号を介して通信ネットワーク及び他の通信装置と通信する。ＲＦ回路１８０４は、電気信号を電磁信号に変換して送信するか、又は、受信した電磁信号を電気信号に変換する。任意選択で、ＲＦ回路１８０４は、アンテナシステム、ＲＦ送受信機、１つ又は複数のアンプ、チューナー、発振器、デジタル信号プロセッサ、コーデックチップセット、ユーザＩＤモジュールカードなどを備える。ＲＦ回路１８０４は、少なくとも１つの無線通信プロトコルを介して他の端末と通信してもよい。該ワイヤレス通信プロトコルは、ワールドワイドウェッブ、メトロポリタンエリアネットワーク、イントラネット、各世代のモバイル通信ネットワーク（２Ｇ、３Ｇ、４Ｇ及び５Ｇ）、ワイヤレスＬＡＮ及び／又はＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、ワイヤレスフィデリテ）ネットワークを含むがこれらに限られない。いくつかの実施形態では、ＲＦ回路１８０４は、さらに、ＮＦＣ（Ｎｅａ ｒＦｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ、近距離ワイヤレス通信）に関する回路を含むがこれらに限られず、本願はこれについて限定しない。

ディスプレイスクリーン１８０５は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ユーザインタフェース）を表示するために用いられる。該ＵＩは、グラフィックス、テキスト、アイコン、ビデオ及びそれらの任意の組合せを含んでもよい。ディスプレイスクリーン１８０５は、タッチディスプレイスクリーンである場合、ディスプレイスクリーン１８０５の表面又は表面の上方のタッチ信号を収集する能力を有する。該タッチ信号は、制御信号としてプロセッサ１８０１に入力して処理することができる。この場合、ディスプレイスクリーン１８０５は、さらに、ソフトキー及び／又はソフトキーボードとも呼ばれる仮想キー及び／又は仮想キーボードを提供するために用いられてもよい。いくつかの実施形態では、ディスプレイスクリーン１８０５は、端末１８００のフロントパネルに設けられる１つであってもよく、他のいくつかの実施形態では、ディスプレイスクリーン１８０５は、それぞれ端末１８００の異なる表面に設けられるか、又は折り畳まれるように設計される少なくとも２つであってもよく、また他のいくつかの実施形態では、ディスプレイスクリーン１８０５は、端末１８００の曲がり面又は折り畳み面に設けられる柔軟性ディスプレイスクリーンであってもよい。又は、ディスプレイスクリーン１８０５は、長方形ではない不規則形状、すなわち、異形スクリーンとして設けられてもよい。ディスプレイスクリーン１８０５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイスクリーン）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ―Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、有機発光ダイオード）などの材質で製造されてもよい。

カメラコンポーネント１８０６は、画像又はビデオを収集するために用いられる。任意選択で、カメラコンポーネント１８０６は、フロントカメラ及びリアカメラを備える。通常、フロントカメラが端末のフロントパネルに設けられ、リアカメラが端末の裏面に設けられる。いくつかの実施形態では、リアカメラは、少なくとも２つであり、それぞれメインカメラ、ＤｏＦカメラ、広角カメラ、テレフォトカメラのうちのいずれかであり、メインカメラとＤｏＦカメラの組合せで、背景ぼかし機能を実現し、メインカメラと広角カメラの組合せで、パノラマ撮影及びＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、バーチャルリアリティー）撮影機能又は他の組合せ撮影機能を実現する。いくつかの実施形態では、カメラコンポーネント１８０６は、フラッシュランプをさらに備えてもよい。フラッシュランプは、単一色温度フラッシュランプであってもよく、二重色温度フラッシュランプであってもよい。二重色温度フラッシュランプは、ウォームラッシュランプ及びコールドフラッシュの組合せであり、異なる色温度での光補償に用いられる。

音声回路１８０７は、マイクロホン及びスピーカを含んでもよい。マイクロホンは、ユーザ及び環境の音波を収集し、音波を電気信号に変換してプロセッサ１８０１に入力して処理するか、又は、ＲＦ回路１８０４に入力して音声通信を実現するために用いられる。ステレオ収集又はノイズ低減の目的のために、マイクロホンは、それぞれ端末１８００の異なる箇所に設けられる複数であってもよい。マイクロホンは、さらに、アレイマイクロホン又は全指向性マイクロホンであってもよい。スピーカは、プロセッサ１８０１又はＲＦ回路１８０４からの電気信号を音波に変換するために用いられる。スピーカは、従来の薄膜スピーカであってもよいし、圧電セラミックスピーカであってもよい。スピーカが圧電セラミックスピーカである場合、電気信号を人間が聞こえる音波に変換してもよいし、距離測定などの用途のために、電気信号を人間が聞こえない音波に変換してもよい。いくつかの実施形態では、音声回路１８０７は、さらに、イヤホンジャックを含んでもよい。

測位コンポーネント１８０８は、ナビゲーション又はＬＢＳ（Ｌｏｃａｔｉｏｎ ＢａｓｅｄＳ ｅｒｖｉｃｅ、位置情報サービス）を実現するように、測位端末１８００の現在の地理的位置を測位するために用いられる。測位コンポーネント１８０８は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、アメリカの全地球測位システム）、中国の北斗システム又はロシアのグロナスシステム又は欧州連合のガリレオシステムベースの測位コンポーネントであってもよい。

電源１８０９は、端末１８００における各コンポーネントに給電するために用いられる。電源１８０９は、交流電気、直流電流、使い捨て電池又は充電式電池であってもよい。電源１８０９が充電式電池を含む場合、該充電式電池は、有線充電電池又はワイヤレス充電電池をサポートすることができる。該充電式電池は、さらに、急速充電技術をサポートするために用いられてもよい。

いくつかの実施形態では、端末１８００は、１つ又は複数のセンサ１８１０をさらに備える。該１つ又は複数のセンサ１８１０は、加速度センサ１８１１、ジャイロスコープセンサ１８１２、圧力センサ１８１３、指紋センサ１８１４、光学センサ１８１５及び近接センサ１８１６を含むがこれらに限られない。

加速度センサ１８１１は、端末１８００で作成される座標系の３つの座標軸での加速度大きさを検出してもよい。例えば、加速度センサ１８１１は、３つの座標軸での重力加速度の成分を検出するために用いられてもよい。プロセッサ１８０１は、加速度センサ１８１１により収集された重力加速度信号に基づいて、横方向ビュー又は縦方向ビューでユーザインタフェースをタッチディスプレイスクリーン１８０５に表示するように制御してもよい。加速度センサ１８１１は、さらに、ゲーム又はユーザの運動データを収集するために用いられてもよい。

ジャイロスコープセンサ１８１２は、端末１８００の本体方向及び回転角度を検出することができ、加速度センサ１８１１とともに端末１８００に対するユーザの３Ｄ動作を収集することができる。プロセッサ１８０１は、ジャイロスコープセンサ１８１２により収集されたデータに基づいて、動作センシング（例えば、ユーザの傾斜操作に基づいてＵＩを変更する）、撮影際の画像安定化、ゲーム制御及び慣性航法という機能を実現することができる。

圧力センサ１８１３が端末１８００のサイドフレーム及び／又はタッチディスプレイスクリーン１８０５の下層に設けられてもよい。圧力センサ１８１３が端末１８００のサイドフレームに設けられる場合、端末１８００に対するユーザによる把持信号を検出し、プロセッサ１８０１が圧力センサ１８１３により収集された把持信号に基づいて左右手の認識又はクイック操作を行ってもよい。圧力センサ１８１３がタッチディスプレイスクリーン１８０５の下層に設けられる場合、プロセッサ１８０１がタッチディスプレイスクリーン１８０５に対するユーザの圧力操作に基づいて、ＵＩインタフェースにおける操作可能なコントロールを制御することができる。操作可能なコントロールは、キーコントロール、スクロールバーコントロール、アイコンコントロール、メニューコントロールのうちの少なくとも１つを含む。

指紋センサ１８１４がユーザの指紋を収集するために用いられ、プロセッサ１８０１が指紋センサ１８１４により収集された指紋に基づいてユーザの身元を認識するか、又は、指紋センサ１８１４が収集された指紋に基づいてユーザの身元を認識する。ユーザの身元が信頼できる身元であると認識すると、プロセッサ１８０１は、関連する機密操作を実行することを該ユーザに許可し、該機密操作は、画面アンロック、暗号化情報の確認、ソフトウェアダウンロード、支払いや設定変更などを含む。指紋センサ１８１４が端末１８００の正面、裏面又は側面に設けられてもよい。端末１８００に物理ボタン又はメーカーＬｏｇｏが設けられると、指紋センサ１８１４が物理ボタン又はメーカーＬｏｇｏに集積されてもよい。

光学センサ１８１５は、環境光量を収集するために用いられる。１つの実施形態では、プロセッサ１８０１は、光学センサ１８１５により収集された環境光量に基づいて、タッチディスプレイスクリーン１８０５の表示明るさを制御してもよい。具体的には、環境光量が高いと、タッチディスプレイスクリーン１８０５の表示明るさを高くし、環境光量が低いと、タッチディスプレイスクリーン１８０５の表示明るさを低くする。他の実施形態では、プロセッサ１８０１は、さらに、光学センサ１８１５により収集された環境光量に基づいて、カメラコンポーネント１８０６の撮影パラメータを動的に調整してもよい。

近接センサ１８１６は、距離センサとも呼ばれ、通常、端末１８００のフロントパネルに設けられる。近接センサ１８１６は、ユーザと端末１８００の正面との間の距離を収集するために用いられる。１つの実施形態では、プロセッサ１８０１は、ユーザと端末１８００の正面との間の距離が徐々に小さくなることを近接センサ１８１６が検出すると、タッチディスプレイスクリーン１８０５が点灯状態から消灯状態に切り替えるように制御し、ユーザと端末１８００の正面との間の距離が徐々に大きくなることを近接センサ１８１６が検出する場合、タッチディスプレイスクリーン１８０５が消灯状態から点灯状態に切り替えるように制御する。

当業者であれば理解できるように、図１８に示す構造は、端末１８００に対する限定を構成するものではなく、図に示されているものより多く又は少ないコンポーネントを含むか、又はあるコンポーネントを組合せるか、又は異なるコンポーネントで構成されてもよい。

図１９は、本願の実施例に係るサーバの構成模式図であり、該サーバ１９００は、設定又は性能が異なるため、大きな違いが生じる可能性があり、１つ又は１つ以上のプロセッサ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ、ＣＰＵ）１９０１及び１つ又は１つ以上のメモリ１９０２を備えてもよく、メモリ１９０２には少なくとも１つの命令を記憶し、少なくとも１つの命令がプロセッサ１９０１によりロードされて実行されて、上記各方法の実施例に係る方法を実現する。当然ながら、該サーバは、容易に入出力するために、有線又は無線ネットワークインタフェース、キーボード及び入出力インタフェースなどの部材を有してもよく、該サーバは、機器機能を実現するための他の部材を備えてもよく、ここで詳しく説明しない。

サーバ１９００は、上記符号化方法で符号化機器により実行されるステップを実行するために用いられる。

本願の実施例は、符号化機器をさらに提供し、該符号化機器は、１つ又は複数のプロセッサ及び１つ又は複数のメモリを備え、１つ又は複数のメモリには少なくとも１つのコンピュータ可読命令、コードセット又は命令セットを記憶し、該コンピュータ可読命令、該コードセット又は該命令セットが該１つ又は複数のプロセッサによりロードされて実行されて、上記実施例の符号化方法で実行される操作を実現する。

本願の実施例は、コンピュータ可読記憶媒体をさらに提供し、該コンピュータ可読記憶媒体には少なくとも１つのコンピュータ可読命令、コードセット又は命令セットを記憶し、該コンピュータ可読命令、該コードセット又は該命令セットが１つ又は複数のプロセッサによりロードされて実行されて、上記実施例の符号化方法で実行される操作を実現する。

当業者であれば理解できるように、上記実施形態の全部又は一部のステップがハードウェアで実行されてもよいし、プログラムにより関連ハードウェアを命令して実行されてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、上記の記憶媒体が読み出し専用メモリ、フロッピーディスク又はディスクなどであってもよい。

以上は、本願の好ましい実施形態にすぎず、本願を制限するためのものではなく、本願の要旨及び原則内に行われたいかなる修正、等価置換や改良などは、すべて本願の請求範囲に含まれるべきである。

Claims (18)

1. 符号化機器が実行する符号化方法であって、
   ターゲット段落及び予め設定されたデータベースを取得し、前記ターゲット段落及び前記予め設定されたデータベースを記憶符号化モデルに入力するステップであって、前記ターゲット段落が少なくとも１つの語句を含み、前記記憶符号化モデルが入力層、第１の記憶層及び出力層を少なくとも含むステップと、
   前記入力層において前記ターゲット段落のオリジナルベクトル集合及び前記予め設定されたデータベースの知識ベクトル集合を取得するステップであって、前記オリジナルベクトル集合が前記ターゲット段落における各語句の語句ベクトルを含み、前記知識ベクトル集合が前記予め設定されたデータベースにおける複数の知識データの知識ベクトルを含むステップであって、各知識データはキー及び値を含み、知識ベクトルは各知識データに基づく単語ベクトルを連結して圧縮したものである、ステップと、
   前記第１の記憶層において前記オリジナルベクトル集合及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得するステップと、
   前記出力層において前記第１のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得するステップと、
   前記段落ベクトルに基づいて処理するステップとを含み、
   前記第１の記憶層は、第１の記憶モデルを含み、
   前記第１の記憶層において前記オリジナルベクトル集合及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得する前記ステップは、
   前記第１の記憶層において前記第１の記憶モデルを用いて、前記知識ベクトル集合に対応する第１の知識行列及び第２の知識行列を取得するステップと、
   第４のターゲット語句行列と第１の知識行列との類似度行列を取得するステップと、
   前記類似度行列に対して確率分布計算を行い、確率行列を得るステップと、
   前記オリジナルベクトル集合、前記第２の知識行列及び前記確率行列に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得するステップとを含み、
   前記記憶符号化モデルは、前記第１の記憶層の前に位置する第２の記憶層をさらに含み、
   前記方法は、
   前記入力層においてターゲット段落の記憶ベクトル集合を取得するステップであって、前記記憶ベクトル集合が前記ターゲット段落のコンテキスト語句内の各単語の単語ベクトルを含むステップと、
   前記オリジナルベクトル集合及び前記記憶ベクトル集合を前記第２の記憶層に入力し、前記第２の記憶層において前記オリジナルベクトル集合及び前記記憶ベクトル集合に基づいて、前記オリジナルベクトル集合の第３のターゲット語句行列を取得するステップであって、前記第３のターゲット語句行列は、前記オリジナルベクトル集合の要素と前記記憶ベクトル集合の要素との相関関係に基づいて、前記ターゲット段落を記述するために用いられるステップとをさらに含み、
   前記第１の記憶層において前記オリジナルベクトル集合及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得する前記ステップは、
   前記第３のターゲット語句行列を前記第１の記憶層に入力し、前記第１の記憶層において前記第３のターゲット語句行列及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得するステップを含み、
   第４のターゲット語句行列は、線形ネットワークモデルを用いて、オリジナルベクトル集合に対応する線形数値を取得し、予め設定された関数を用いて線形数値を処理し、オリジナルベクトル集合の第１の重みを得て、１と第１の重みとの差値を計算し、第１のターゲット語句行列の第２の重みを得て、第１の重み及び第２の重みに応じて前記オリジナルベクトル集合と第３のターゲット語句行列に対して重み加算を行ったものであり、
   前記第１の記憶モデルは、知識ベクトル集合に基づいて、予め設定されたデータベースにおける各知識データの知識ベクトルを取得し、語句符号化モデルを用いて、各知識データの第１の知識ベクトルを取得し、各知識データの第１の知識ベクトルに基づいて、第１の知識行列及び第２の知識行列を取得するものである、
   符号化方法。
2. 前記入力層は、語句符号化モデルを含み、
   前記入力層において前記ターゲット段落のオリジナルベクトル集合及び前記予め設定されたデータベースの知識ベクトル集合を取得する前記ステップは、
   前記ターゲット段落における各語句内の各単語の単語ベクトルに基づいて、前記語句符号化モデルを用いて、前記各語句の語句ベクトルを取得し、前記オリジナルベクトル集合を得るステップと、
   前記予め設定されたデータベースにおける各知識データの知識ベクトルに基づいて、前記知識ベクトル集合を取得するステップとを含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記語句符号化モデルは、第１の語句符号化サブモデル及び第２の語句符号化サブモデルを含み、
   前記ターゲット段落における各語句内の各単語の単語ベクトルに基づいて、前記語句符号化モデルを用いて、前記各語句の語句ベクトルを取得する前記ステップは、
   前記ターゲット段落における各語句内の各単語の単語ベクトルに基づいて、複数の単語ベクトルを得るステップと、
   前記第１の語句符号化サブモデルを用いて、前記複数の単語ベクトルに対して正順序符号化を行い、第１のベクトルを得るステップと、
   前記第２の語句符号化サブモデルを用いて、前記複数の単語ベクトルに対して逆順序符号化を行い、第２のベクトルを得るステップと、
   前記第１のベクトル及び前記第２のベクトルに基づいて、前記各語句の語句ベクトルを取得するステップとを含む、
   ことを特徴とする請求項２に記載の方法。
4. 前記予め設定されたデータベースにおける各知識データを取得するステップと、
   前記知識データのそれぞれに対して単語分割を行い、少なくとも１つの単語を得、前記少なくとも１つの単語の単語ベクトルを取得し、前記少なくとも１つの単語の単語ベクトルに基づいて、前記知識データの知識ベクトルを取得するステップとをさらに含む、
   ことを特徴とする請求項１～３のいずれかに記載の方法。
5. 前記記憶符号化モデルは、第１のゲート層をさらに含み、
   前記出力層において前記第１のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得する前記ステップは、
   前記第１のターゲット語句行列を前記第１のゲート層に入力し、前記第１のゲート層において前記オリジナルベクトル集合と前記第１のターゲット語句行列に対して重み加算を行い、第２のターゲット語句行列を得、前記第２のターゲット語句行列における各数値が予め設定された数値範囲に属するようにするステップと、
   前記出力層において前記第２のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得するステップとを含む、
   ことを特徴とする請求項１～４のいずれかに記載の方法。
6. 前記第１のゲート層は、線形ネットワークモデルを含み、
   前記第１のゲート層において前記オリジナルベクトル集合と前記第１のターゲット語句行列に対して重み加算を行い、第２のターゲット語句行列を得る前記ステップは、
   前記線形ネットワークモデルを用いて、前記オリジナルベクトル集合に対応する線形数値を取得し、予め設定された関数を用いて前記線形数値を処理し、前記オリジナルベクトル集合の第１の重みを得、前記第１の重みが前記予め設定された数値範囲に属するようにするステップと、
   １と前記第１の重みとの差値を計算し、前記第１のターゲット語句行列の第２の重みを得るステップと、
   前記第１の重み及び前記第２の重みに応じて、前記オリジナルベクトル集合と前記第１のターゲット語句行列に対して重み加算を行い、前記第２のターゲット語句行列を得るステップとを含む、
   ことを特徴とする請求項５に記載の方法。
7. 前記出力層において前記第１のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得する前記ステップは、
   前記第１のターゲット語句行列に対して列ベクトルの加算を行い、前記段落ベクトルを得るステップを含む、
   ことを特徴とする請求項１～６のいずれかに記載の方法。
8. 前記第１のターゲット語句行列を更新後のオリジナルベクトル集合及び知識ベクトル集合とし、前記第１の記憶層において、繰り返し回数が予め設定された回数に達するまで、更新後のオリジナルベクトル集合及び知識ベクトル集合に基づいてターゲット語句行列を取得するステップを繰り返して実行し、前記出力層において現在のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得するステップをさらに含む、
   ことを特徴とする請求項１～７のいずれかに記載の方法。
9. 前記記憶符号化モデルは、前記第１の記憶層の前に位置し且つ前記第２の記憶層の後に位置する第２のゲート層をさらに含み、
   前記方法は、
   前記第３のターゲット語句行列を前記第２のゲート層に入力し、前記第２のゲート層において前記オリジナルベクトル集合と前記第３のターゲット語句行列に対して重み加算を行い、第４のターゲット語句行列を得、前記第４のターゲット語句行列における各数値が予め設定された数値範囲に属するようにするステップをさらに含み、
   前記第１の記憶層において前記第３のターゲット語句行列及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得する前記ステップは、前記第４のターゲット語句行列を前記第１の記憶層に入力し、前記第１の記憶層において前記第４のターゲット語句行列及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得するステップを含む、
   ことを特徴とする請求項１に記載の方法。
10. 前記記憶符号化モデルは、前記第１の記憶層の後に位置する第３の記憶層をさらに含み、
    前記方法は、
    前記入力層においてターゲット段落の記憶ベクトル集合を取得するステップであって、前記記憶ベクトル集合が前記ターゲット段落のコンテキスト語句内の各単語の単語ベクトルを含むステップをさらに含み、
    前記出力層において前記第１のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得する前記ステップは、
    前記記憶ベクトル集合を前記第３の記憶層に入力し、前記第３の記憶層において前記第１のターゲット語句行列及び前記記憶ベクトル集合に基づいて、前記オリジナルベクトル集合の第５のターゲット語句行列を取得するステップであって、前記第５のターゲット語句行列は、前記オリジナルベクトル集合と、前記知識ベクトル集合の要素と、前記記憶ベクトル集合の要素との相関関係に基づいて、前記ターゲット段落を記述するために用いられるステップと、
    前記出力層において前記第５のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得するステップとを含む、
    ことを特徴とする請求項１～７のいずれかに記載の方法。
11. 前記記憶符号化モデルは、前記第３の記憶層の後に位置する第３のゲート層をさらに含み、
    前記出力層において前記第５のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得する前記ステップは、
    前記第５のターゲット語句行列を前記第３のゲート層に入力し、前記第３のゲート層において前記第１のターゲット語句行列及び前記第５のターゲット語句行列に対して重み加算を行い、第６のターゲット語句行列を得、使前記第６のターゲット語句行列における各数値が予め設定された数値範囲に属するようにするステップと、
    前記出力層において前記第６のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得するステップとを含む、
    ことを特徴とする請求項１０に記載の方法。
12. ターゲット段落及び予め設定されたデータベースを取得し、前記ターゲット段落及び前記予め設定されたデータベースを記憶符号化モデルに入力するための取得モジュールであって、前記ターゲット段落が少なくとも１つの語句を含む取得モジュールと、
    前記ターゲット段落のオリジナルベクトル集合及び前記予め設定されたデータベースの知識ベクトル集合を取得するための入力層モジュールであって、前記オリジナルベクトル集合が前記ターゲット段落における各語句の語句ベクトルを含み、前記知識ベクトル集合が前記予め設定されたデータベースにおける複数の知識データの知識ベクトルを含む入力層モジュールであって、各知識データはキー及び値を含み、知識ベクトルは各知識データに基づく単語ベクトルを連結して圧縮したものである、入力モジュールと、
    前記オリジナルベクトル集合及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得するための第１の記憶層モジュールと、
    前記第１のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得するための出力層モジュールと、
    前記段落ベクトルに基づいて処理するための処理モジュールとを備え、
    前記第１の記憶層モジュールは、第１の記憶モデルを含み、
    前記第１の記憶層モジュールにおいて前記オリジナルベクトル集合及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得することは、
    前記第１の記憶層モジュールにおいて前記第１の記憶モデルを用いて、前記知識ベクトル集合に対応する第１の知識行列及び第２の知識行列を取得することと、
    第４のターゲット語句行列と第１の知識行列との類似度行列を取得することと、
    前記類似度行列に対して確率分布計算を行い、確率行列を得ることと、
    前記オリジナルベクトル集合、前記第１の知識行列及び前記第２の知識行列及び前記確率行列に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得することとを含み、
    前記記憶符号化モデルは、前記第１の記憶層の前に位置する第２の記憶層モジュールをさらに含み、
    前記入力モジュールにおいてターゲット段落の記憶ベクトル集合を取得するステップであって、前記記憶ベクトル集合が前記ターゲット段落のコンテキスト語句内の各単語の単語ベクトルを含み、
    前記オリジナルベクトル集合及び前記記憶ベクトル集合を前記第２の記憶層モジュールに入力し、前記第２の記憶層モジュールにおいて前記オリジナルベクトル集合及び前記記憶ベクトル集合に基づいて、前記オリジナルベクトル集合の第３のターゲット語句行列を取得し、前記第３のターゲット語句行列は、前記オリジナルベクトル集合の要素と前記記憶ベクトル集合の要素との相関関係に基づいて、前記ターゲット段落を記述するために用いられ、
    前記第１の記憶層モジュールにおいて前記オリジナルベクトル集合及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得することは、
    前記第３のターゲット語句行列を前記第１の記憶層モジュールに入力し、前記第１の記憶層モジュールにおいて前記第３のターゲット語句行列及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得することを含み、
    第４のターゲット語句行列は、線形ネットワークモデルを用いて、オリジナルベクトル集合に対応する線形数値を取得し、予め設定された関数を用いて線形数値を処理し、オリジナルベクトル集合の第１の重みを得て、１と第１の重みとの差値を計算し、第１のターゲット語句行列の第２の重みを得て、第１の重み及び第２の重みに応じて前記オリジナルベクトル集合と第３のターゲット語句行列に対して重み加算を行ったものであり、
    前記第１の記憶モデルは、知識ベクトル集合に基づいて、予め設定されたデータベースにおける各知識データの知識ベクトルを取得し、語句符号化モデルを用いて、各知識データの第１の知識ベクトルを取得し、各知識データの第１の知識ベクトルに基づいて、第１の知識行列及び第２の知識行列を取得するものである、
    符号化装置。
13. 前記入力層モジュールは、
    ターゲット段落における各語句内の各単語の単語ベクトルに基づいて、語句符号化モデルを用いて、各語句の語句ベクトルを取得し、オリジナルベクトル集合を得るためのオリジナル取得ユニットと、
    予め設定されたデータベースにおける各知識データの知識ベクトルに基づいて、知識ベクトル集合を取得するための知識取得ユニットとを備える、
    ことを特徴とする請求項１２に記載の装置。
14. 前記オリジナルベクトル集合と前記第１のターゲット語句行列に対して重み加算を行い、第２のターゲット語句行列を得、前記第２のターゲット語句行列における各数値が予め設定された数値範囲に属するようにするための第１のゲート層モジュールと、
    前記第２のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得するための前記出力層モジュールとをさらに備える、
    ことを特徴とする請求項１２に記載の装置。
15. 第２の記憶層モジュールをさらに備え、
    前記入力層モジュールは、さらに、ターゲット段落の記憶ベクトル集合を取得するために用いられ、前記記憶ベクトル集合が前記ターゲット段落のコンテキスト語句内の各単語の単語ベクトルを含み、
    前記第２の記憶層モジュールは、前記オリジナルベクトル集合及び前記記憶ベクトル集合に基づいて、前記オリジナルベクトル集合の第３のターゲット語句行列を取得するために用いられ、前記第３のターゲット語句行列は、前記オリジナルベクトル集合の要素と前記記憶ベクトル集合の要素との相関関係に基づいて、前記ターゲット段落を記述するために用いられ、
    前記第１の記憶層モジュールは、さらに、前記第３のターゲット語句行列及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得するために用いられる、
    ことを特徴とする請求項１２～１４のいずれかに記載の装置。
16. 前記オリジナルベクトル集合と前記第３のターゲット語句行列に対して重み加算を行い、第４のターゲット語句行列を得、前記第４のターゲット語句行列における各数値が予め設定された数値範囲に属するようにするための第２のゲート層モジュールと、
    前記第４のターゲット語句行列及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得するための前記第１の記憶層モジュールとをさらに備える、
    ことを特徴とする請求項１５に記載の装置。
17. メモリ及び１つ又は複数のプロセッサを備え、メモリにはコンピュータ可読命令を記憶し、コンピュータ可読命令がプロセッサにより実行されるときには、
    ターゲット段落及び予め設定されたデータベースを取得し、前記ターゲット段落及び前記予め設定されたデータベースを記憶符号化モデルに入力するステップであって、前記ターゲット段落が少なくとも１つの語句を含み、前記記憶符号化モデルが入力層、第１の記憶層及び出力層を少なくとも含むステップと、
    前記入力層において前記ターゲット段落のオリジナルベクトル集合及び前記予め設定されたデータベースの知識ベクトル集合を取得するステップであって、前記オリジナルベクトル集合が前記ターゲット段落における各語句の語句ベクトルを含み、前記知識ベクトル集合が前記予め設定されたデータベースにおける複数の知識データの知識ベクトルを含むステップであって、各知識データはキー及び値を含み、知識ベクトルは各知識データに基づく単語ベクトルを連結して圧縮したものである、ステップと、
    前記第１の記憶層において前記オリジナルベクトル集合及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得するステップと、
    前記出力層において前記第１のターゲット語句行列に基づいて、前記ターゲット段落の段落ベクトルを取得するステップと、
    前記段落ベクトルに基づいて処理するステップと、を１つ又は複数のプロセッサに実行させ、
    前記第１の記憶層は、第１の記憶モデルを含み、
    前記第１の記憶層において前記オリジナルベクトル集合及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得する前記ステップは、
    前記第１の記憶層において前記第１の記憶モデルを用いて、前記知識ベクトル集合に対応する第１の知識行列及び第２の知識行列を取得するステップと、
    第４のターゲット語句行列と第１の知識行列との類似度行列を取得するステップと、
    前記類似度行列に対して確率分布計算を行い、確率行列を得るステップと、
    前記オリジナルベクトル集合、前記第２の知識行列及び前記確率行列に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得するステップとを含み
    前記記憶符号化モデルは、前記第１の記憶層の前に位置する第２の記憶層をさらに含み、
    前記入力層においてターゲット段落の記憶ベクトル集合を取得するステップであって、前記記憶ベクトル集合が前記ターゲット段落のコンテキスト語句内の各単語の単語ベクトルを含むステップと、
    前記オリジナルベクトル集合及び前記記憶ベクトル集合を前記第２の記憶層に入力し、前記第２の記憶層において前記オリジナルベクトル集合及び前記記憶ベクトル集合に基づいて、前記オリジナルベクトル集合の第３のターゲット語句行列を取得するステップであって、前記第３のターゲット語句行列は、前記オリジナルベクトル集合の要素と前記記憶ベクトル集合の要素との相関関係に基づいて、前記ターゲット段落を記述するために用いられるステップとをさらに含み、
    前記第１の記憶層において前記オリジナルベクトル集合及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得する前記ステップは、
    前記第３のターゲット語句行列を前記第１の記憶層に入力し、前記第１の記憶層において前記第３のターゲット語句行列及び前記知識ベクトル集合に基づいて、前記オリジナルベクトル集合の第１のターゲット語句行列を取得するステップを含み、
    第４のターゲット語句行列は、線形ネットワークモデルを用いて、オリジナルベクトル集合に対応する線形数値を取得し、予め設定された関数を用いて線形数値を処理し、オリジナルベクトル集合の第１の重みを得て、１と第１の重みとの差値を計算し、第１のターゲット語句行列の第２の重みを得て、第１の重み及び第２の重みに応じて前記オリジナルベクトル集合と第３のターゲット語句行列に対して重み加算を行ったものであり、
    前記第１の記憶モデルは、知識ベクトル集合に基づいて、予め設定されたデータベースにおける各知識データの知識ベクトルを取得し、語句符号化モデルを用いて、各知識データの第１の知識ベクトルを取得し、各知識データの第１の知識ベクトルに基づいて、第１の知識行列及び第２の知識行列を取得するものである、
    符号化機器。
18. コンピュータに請求項１～１１のいずれか一項に記載の方法を実現させるコンピュータプログラム。