JP6947233B2

JP6947233B2 - 意図識別方法、装置、及びコンピュータ読み取り可能な記憶媒体

Info

Publication number: JP6947233B2
Application number: JP2020004904A
Authority: JP
Inventors: リアンリアン; ディンレイ; ドォンビヌ; ジアンシャヌシャヌ; トォンイシュアヌ
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2019-01-29
Filing date: 2020-01-16
Publication date: 2021-10-13
Anticipated expiration: 2040-01-16
Also published as: CN111563209B; US20200242486A1; CN111563209A; JP2020123331A; US11507854B2

Description

本発明は自然言語処理分野に関し、具体的には、意図識別方法、装置、及びコンピュータ読み取り可能な記憶媒体に関する。

インターネットの規模が拡大し続けており、ユーザにネットワークサービスを知的に提供することが、人気の傾向になっている。このような傾向の下で、ユーザの意図をよりよく理解し、ユーザが望むものを真に理解するにより、更に親密なサービスをユーザに提供し、ユーザの体験度を向上させ、製品の市場競争力を向上させることができる。よって、ユーザの操作意図の識別が特に重要である。

従来の意図識別方法は主に、ナビゲーションクラス、情報クラス、トランザクションクラス、の３種類に分けられる。ナビゲーションクラスは、某Webサイトのホームページを見つけることをユーザが期待していることを指す。情報クラスは、ニーズを満たすWebページ見つけ出すことをユーザが期待していることを指し、これらWebページは往々にして、例えばニュースや百科事典などのWEBページといったコンテンツ型である。これらのページを読むことによって、ユーザは満足する情報を得ることができる。トランザクションクラスは、某Webページが某トランザクションを完成することができることをユーザが期待していることを指す。例えば、銀行振込、商品の購入、航空券の確認などである。

しかし、情報収集技術の発展に伴い、意図を簡単に分類するだけでは、ユーザにサービスを提供する際にユーザの意図に対する知識要求を満たすことができない。ユーザが入力する情報は往々にして短いが内容は複雑であり、従来の意図識別方法が識別する結果は往々にしてユーザが本当に表現したいことでは無く、更に知的化された意図識別方法によりユーザの複雑な情報を識別する必要がある。

中国特許出願CN107748757Aには、知識マップに基づく質疑応答方法が開示されており、知識ベースのエンティティと関係に基づくマッチング技術がユーザの意図を識別し、質疑応答プロセスの完了は、実体の識別マッチ度と関係の識別マッチ度のスコアに基づく。この方法のモデル訓練は大量のラベルデータが必要であり、また、多種の意味的マッチング技術を採用するので、時間の複雑度が大きい。

従来技術で現在流の意図識別方法には一般的に、モデルの識別精度が低いという問題が存在する。関係技術におけるユーザの意図を識別する際の識別精度が低いという問題に対し、今は有効な解決方法が存在しない。

本発明の実施例が解決しようとする課題は、意図識別モデルの識別精度を向上させるための、意図識別方法、装置、及びコンピュータ読み取り可能な記憶媒体を提供することである。

上記課題を解決するために、本発明の実施例は、コーパスサンプルにおける知識ベース要素のベクトルを学習し、前記コーパスサンプルを知識ベース要素のベクトルにより構成された行ベクトルに変換するステップであって、前記知識ベース要素は所定の知識ベースにおける要素である、ステップと、階層的なプーリング処理により、前記コーパスサンプルにおける各プーリングウインドウから特徴ベクトルを抽出し、前記プーリングウインドウにおけるテキストと前記コーパスサンプルとの類似度に基づき、前記類似度と正の相関関係を有する重みを決定し、抽出された特徴ベクトルに対して重み付けを行い、前記プーリングウインドウの特徴ベクトルを取得し、各プーリングウインドウの特徴ベクトルにより構成された前記コーパスサンプルの特徴ベクトルを取得するステップと、前記コーパスサンプルの特徴ベクトルに基づき、ベクトルに基づく意図識別分類器を訓練するステップと、訓練された前記意図識別分類器を利用して、コーパス照会の意図を識別するステップと、を含むことを特徴とする意図識別方法を提供する。

好ましくは、前記コーパスサンプルにおける知識ベース要素のベクトルを学習し、前記コーパスサンプルを知識ベース要素のベクトルにより構成された行ベクトルに変換するステップは、コーパスサンプルにおける知識ベース要素を、前記知識ベース要素に対応する符号に置換することと、単語ベクトル訓練により、前記コーパスサンプルにおける各符号のベクトルを取得し、前記コーパスサンプルを前記コーパスサンプルにおける各符号のベクトルにより構成された行ベクトルに変換することと、を含む。

好ましくは、前記プーリングウインドウは所定行のベクトルを含み、前記コーパスサンプルにおける各プーリングウインドウから特徴ベクトルを抽出するステップは、前記プーリングウインドウにおけるベクトルに対して最大プーリング処理を行い、第一特徴ベクトルを取得することと、前記プーリングウインドウにおけるベクトルに対して平均プーリング処理を行い、第二特徴ベクトル取得することと、を含む。

好ましくは、前記コーパスサンプルは、意図がラベル付けされたラベルコーパスと、意図がラベル付けされていない未ラベルコーパスとを含み、前記コーパスサンプルの特徴ベクトルに基づき、ベクトルに基づく意図識別分類器を訓練するステップは、ラベルコーパスの特徴ベクトルを利用して、前記意図識別分類器を訓練し、訓練が終了した後で、所定の訓練終了条件を満たしているか否かを判断するステップと、前記訓練終了条件を満たしている場合、訓練プロセスを終了するステップと、前記訓練終了条件を満たさない場合、訓練された前記意図識別分類器を利用して、前記未ラベルコーパスの意図及び予測信頼度を予測するステップと、前記未ラベルコーパスの予測信頼度、及び知識ベース要素とのマッチング度に基づき、前記未ラベルコーパスから目標コーパスを選択し、予測された意図及び予測信頼度に基づき、前記目標コーパスに対してラベル付けを行うステップと、前記未ラベルコーパスから前記目標コーパスを削除し、前記ラベルコーパスに前記目標コーパスを追加し、該ラベルコーパスの特徴ベクトルを用いて前記意図識別分類器の訓練を行うステップと、を含む。

好ましくは、前記未ラベルコーパスの予測信頼度、及び知識ベース要素とのマッチング度に基づき、前記未ラベルコーパスから目標コーパスを選択するステップは、前記未ラベルコーパスから、予測信頼度が所定の閾値より大きい第一類コーパスを選択することと、未ラベルコーパスに含まれる知識ベース要素の数の高い順に、前記第一類コーパスから目標コーパスを選択することと、を含む。

好ましくは、前記知識ベース要素は、知識ベースにおけるエンティティ、属性及び関係を含む。

好ましくは、前記意図識別分類器はベクトル入力をサポートする分類器であり、前記ベクトル入力をサポートする分類器は、サポートベクターマシン（ＳＶＭ）分類器及び多層パーセプトロン（ＭＬＰ）を含む。

本発明の実施例は、コーパスサンプルにおける知識ベース要素のベクトルを学習し、前記コーパスサンプルを知識ベース要素のベクトルにより構成された行ベクトルに変換するベクトル学習ユニットであって、前記知識ベース要素は所定の知識ベースにおける要素である、ベクトル学習ユニットと、階層的なプーリング処理により、前記コーパスサンプルにおける各プーリングウインドウから特徴ベクトルを抽出し、前記プーリングウインドウにおけるテキストと前記コーパスサンプルとの類似度に基づき、前記類似度と正の相関関係を有する重みを決定し、抽出された特徴ベクトルに対して重み付けを行い、前記プーリングウインドウの特徴ベクトルを取得し、各プーリングウインドウの特徴ベクトルにより構成された前記コーパスサンプルの特徴ベクトルを取得するプーリング処理ユニットと、前記コーパスサンプルの特徴ベクトルに基づき、ベクトルに基づく意図識別分類器を訓練するモデル訓練ユニットと、訓練された前記意図識別分類器を利用して、コーパス照会の意図を識別する意図識別ユニットと、を含むことを特徴とする意図識別装置をさらに提供する。

好ましくは、前記ベクトル学習ユニットは、コーパスサンプルにおける知識ベース要素を、前記知識ベース要素に対応する符号に置換し、単語ベクトル訓練により、前記コーパスサンプルにおける各符号のベクトルを取得し、前記コーパスサンプルを前記コーパスサンプルにおける各符号のベクトルにより構成された行ベクトルに変換する。

好ましくは、前記コーパスサンプルは、意図がラベル付けされたラベルコーパスと、意図がラベル付けされていない未ラベルコーパスとを含み、前記モデル訓練ユニットは、ラベルコーパスの特徴ベクトルを利用して、前記意図識別分類器を訓練する第一訓練ユニットと、所定の訓練終了条件を満たしているか否かを判断し、前記訓練終了条件を満たしている場合、訓練プロセスを終了し、前記訓練終了条件を満たさない場合、第二訓練ユニットをトリガする判断ユニットと、訓練された前記意図識別分類器を利用して、前記未ラベルコーパスの意図及び予測信頼度を予測する第二訓練ユニットと、前記未ラベルコーパスの予測信頼度、及び知識ベース要素とのマッチング度に基づき、前記未ラベルコーパスから目標コーパスを選択し、予測された意図及び予測信頼度に基づき、前記目標コーパスに対してラベル付けを行い、前記未ラベルコーパスから前記目標コーパスを削除し、前記ラベルコーパスに前記目標コーパスを追加し、前記第一訓練ユニットをトリガして前記意図識別分類器の訓練を継続するコーパス更新ユニットと、を含む。

好ましくは、前記コーパス更新ユニットは、前記未ラベルコーパスから、予測信頼度が所定の閾値より大きい第一類コーパスを選択し、未ラベルコーパスに含まれる知識ベース要素の数の高い順に、前記第一類コーパスから目標コーパスを選択する。

本発明の実施例は、メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで実行可能なコンピュータプログラムと、を含み、前記コンピュータプログラムが前記プロセッサにより実行される際に、上記の意図識別方法のステップを実現することを特徴とする意図識別装置をさらに提供する。

本発明の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行される際に、上記の意図識別方法のステップを実現することを特徴とする記憶媒体をさらに提供する。

従来技術に比べ、本発明の実施例が提供する意図識別方法、装置及びコンピュータが読み取り可能な記憶媒体は、コーパスサンプルのプーリング処理時に、プーリングウインドウ内のテキストと前記コーパスサンプルの類似度を考慮することにより、関係語義特徴の更に良好な抽出を可能にし、意図識別分類器の学習訓練プロセスを改善し、訓練で得られる意図識別分類器の性能を向上させる。また、本発明の実施例はコーパスサンプルのベクトル学習プロセスにおいて、知識ベース要素等の情報と組み合わせてベクトル学習を行い、元の単語ベクトルを直接学習するのに比べて、ある程度以上にノイズを低減可能であり、これを基礎にしてより効率的で正確な意図の認識が可能である。また、本発明の実施例は未ラベルコーパスと知識ベース情報のマッチング度に基づき、未ラベルコーパスの選択を行ってラベルコーパスを拡張し、サンプル選択プロセス中での偽陽性サンプルを除去するのに有利であり、それによって意図識別分類器の性能を向上させる。

本発明の実施例の技術方案をより明確に説明するために、以下、本発明の実施例の説明に必要とされる添付図を簡単に紹介するが、明らかに、下記の図は本発明のいくつかの実施例のみであり、当業者にとって、高度な技術を必要としない前提において、これらの添付図によって他の添付図を得ることができる。
本発明の実施例の意図識別方法の使用場面を示す図である。本発明の実施例の意図識別方法のフローチャートである。本発明の実施例が提供するコーパスサンプルの単語ベクトル訓練の例を示す図である。本発明の実施例におけるテキスト間の類似度の例を示す図である。本発明の実施例が提供するプーリング処理の例を示す図である。本発明の実施例の意図識別分類器の訓練プロセスの例を示す図である。本発明の実施例が提供する未ラベルコーパスと知識ベースのマッチング度の例を示す図である。本発明の実施例の意図識別装置の構造図である。本発明の実施例の意図識別装置の別の構造図である。本発明の意図識別装置のさらなる別の構造図である。

本発明が解決する技術問題、技術方案及び優れた点をより明確にするため、以下に図面と具体的な実施例を組み合わせて詳しく説明する。以下の説明において、具体的な配置とコンポーネントの特定の細部を提供することは、本発明の実施例を全面的に理解するのを助けるためだけのものである。したがって、本発明の範囲と主旨から逸脱することなく、ここで述べた実施例に対して様々な変更と改良が可能であることは、当業者にとって自明である。また、明瞭且つ簡潔にするため、既知の機能と構造の記述は省略する。

本明細書で言及した「一つの実施例」または「実施例」は、実施例に関連する特定の特徴、構造または特性が本発明の少なくとも一つの実施例に含まれることを意味する。したがって、本明細書のいたるところに出現する「一つの実施例で」または「実施例で」とは必ずしも同じ実施例を指すとは限らない。なお、これら特定の特徴、構造若しくは特性は任意に適当な方式で一つ或は複数の実施例に結合することができる。

本発明の種々の実施例において、以下の各プロセスの番号の大きさは実行順序の前後を意味するものではない。各プロセスの実行順序は、その機能と内在的論理に依存し、本発明実施例の実施過程に対していかなる限定も行われない。

本発明の実施例は、意図識別モデルのラベルデータに対する依存度を低減し、意図識別モデルの識別精度を向上させることができる、意図識別方法及び意図識別装置を提供した。該方法は、自然言語の意図識別に関する様々な場面で使用可能であり、例えば、対話ロボットや検索エンジンに使用される。図1は、本発明の意図識別方法の実施例を使用可能な例示的なシステムアーキテクチャ100を示している。図１に示すように、システムアーキテクチャ100は、端末装置101、102、103と、ネットワーク104と、サーバ105を含むことが可能である。ネットワーク104は、端末装置101、102、103とサーバ105との間に通信リンク媒体を提供する。ネットワーク104は、例えば、有線、無線通信リンクまたは光ファイバーケーブルなどの、各種の接続タイプを含むことが可能である。

ユーザは、端末装置101、102、103を用いて、ネットワーク104とサーバ105の相互作用により、コーパス照会などの情報を送信する。端末装置101、102、103には、例えば、テキスト編集アプリケーション、情報検索アプリケーション、情報送信アプリケーションなどの、各種通信ユーザアプリケーションをインストール可能である。端末装置101、102、103はディスプレイを備え且つ情報やファイルを送信可能な各種電子機器であって良く、スマートフォン、タブレット、ラップトップコンピュータ、デスクトップコンピュータを含むがこれらに限らない。サーバ105は意図識別処理を実行可能である。具体的に、サーバ105は端末装置からコーパス照会を受け取り、予め訓練した意図識別分類器にコーパス照会を入力し、それによってコーパス照会の意図を予測し、その後、前記意図の予測結果を端末へ返す。

説明すべきは、本願の実施例が提供する前記意図識別方法は、サーバ105によって実行可能であり、相応に、前記意図識別装置をサーバ105中に設置することが可能である、ということである。当然、本願の実施例が提供する前記意図識別方法は端末装置によって実行することも可能であり、相応に、前記意図識別装置を端末に設置することも可能である。

図１の端末装置、ネットワーク、サーバの数は、模式的なものに過ぎないと理解すべきである。実現のニーズに基づき、任意の数量の端末装置、ネットワーク、サーバを備えることが可能である。

図２は、本発明の実施例が提供する意図識別方法のフローチャートであり、該意図識別方法は、意図識別分類器の識別精度を向上させることができる。図２に示すように、該意図識別方法は以下のステップを含むことができる。

ステップ２０１：コーパスサンプル中の知識ベース要素のベクトルを学習し、前記コーパスサンプルを知識ベース要素のベクトルにより構成される行ベクトルに変換し、前記知識ベース要素は所定の知識ベース中の要素である。

上記ステップ２０１のコーパスサンプルのベクトル学習プロセスにおいて、本発明の実施例は、知識ベース要素等の情報と組み合わせてベクトル学習を行っており、元の単語ベクトルを直接学習するのに比べて、ある程度以上にノイズを低減可能である。具体的に、本発明の実施例は、コーパスサンプルに存在する知識ベース要素を、前記知識別ベース要素が対応する符号に置換する。なお、前記知識ベース要素は具体的に、知識ベース中のエンティティと、属性と、関係と、を含むことが可能である。その後、単語ベクトル訓練により、前記コーパスサンプル中の各符号のベクトルを取得するための訓練をして、それによって、前記コーパスサンプルを前記コーパスサンプル中の各符号のベクトルが構成する行ベクトルに変換することができる。なお、前記行ベクトルの各行ベクトルは、それぞれ前記コーパスサンプル中の一つの知識ベース要素が対応するベクトルである。

前記ベクトル学習を行う前に、本発明の実施例は、コーパスサンプルに対して文字列前処理を行い、前処理後のコーパスサンプルを得ることが可能である。前記前処理は、データのクリーニング、ストップワード、エラー訂正処理、ステミング処理、単語分割処理等であるが、これらに限らない。その後ステップ２０１のベクトル学習を行い、対応するベクトル表示を得る。

図３は、コーパスサンプルの単語ベクトルに対する学習の一例である。ここで、コーパスサンプルは「Is iPhone(登録商標) 8 cheaper than iPhone X？」であり、文字列前処理により、前記コーパスサンプルに対して単語分割等の処理を行い、前記コーパスサンプルを構成する複数の単語、例えば「Is」、「iPhone 8」、「cheaper」、「than」、「iPhone X」を得る。その後、上記コーパスサンプル中に存在する知識ベース要素を探し出す。該知識ベースがＥコマース分野であると仮定すると、それは様々な携帯電話（例えば、Phone 8やiPhone X）などのエンティティを含んでおり、さらにcheaper等のエンティティの価格属性も含んでいる。よって、上記コーパスサンプル中の「iPhone
8」、「iPhone X」と「cheaper」を、それと対応する特定符号、例えば図3に示す「[mobile_phone]_1」、「[mobile_phone]_2」、「[price_attribute]_adj」にそれぞれ置換することが可能である。コーパスの上記処理が完了した後、従来技術の単語ベクトル学習訓練方法により、各符号のベクトルを訓練し、各特定符号が対応するベクトル表示を得て、上記コーパスサンプルを一つの行ベクトルに変換可能であり、該行ベクトルの各行要素は、それぞれ前記コーパスサンプル中の一つの知識ベース要素が対応するベクトルである。

ここで、単語ベクトル訓練の具体的な方法は、従来技術の様々な既存の単語ベクトル訓練算方法を参照して実現可能であり、本発明の実施例では榑に対して具体的に限定しない。

ステップ２０２：階層プーリング処理により、前記コーパスサンプル中の各プーリングウインドウから特徴ベクトルを抽出し、前記プーリングウインドウ内のテキストと前記コーパスサンプルの類似度に基づき、前記類似度と正の相関関係を有する重みを決定し、抽出した特徴ベクトルに対して重み付けし、前記プーリングウインドウの特徴ベクトルを得て、各プーリングウインドウの特徴ベクトルによって構成される前記コーパスサンプルの特徴ベクトルを得る。

階層プーリングは、各プーリングウインドウに対するプーリング処理により、出力する特徴ベクトルの次元を低減すると共に効果を改善することが可能である。プーリングウインドウは通常、予めサイズが指定されており、予め指定されたストライドで移動する。図４を参照すると、仮定した語句「The phone’s color is ……？」は、プーリングウインドウのサイズが３、ストライドが３であることに基づき、２つのプーリングウインドウを含むことが可能である。その内の１つめのプーリングウインドウのテキストは「The phone’s color」であり、２つ目のプーリングウインドウのテキストは「is ……？」である。テキスト間の類似度から見て、１つ目のプーリングウインドウ内のテキストは該語句との類似度Ｓ_１が比較的高く、２つ目のプーリングウインドウ内のテキストは該語句との類似度Ｓ_２が比較的低い。本発明の実施例は階層プーリング処理において、テキスト間の類似度に基づく重みを導入しており、プーリング処理で抽出した特徴ベクトルに対して重み付けし、関係語義特徴の更に良好な抽出を可能にし、後続の意図識別分類器の学習訓練プロセスを改善し、訓練で得られる意図識別分類器の性能を向上させる。

ここで、前記プーリングウインドウは所定行数のベクトル（例えば前記コーパスサンプルが対応する行ベクトル中のｎ行ベクトル）を含むことが可能である。階層プーリング処理は、最大プーリング処理（max pooling）と平均プーリング処理（average pooling）を含むことが可能である。前記ステップ２０２において、各プーリングウインドウで特徴ベクトルを抽出する際、前記プーリングウインドウ内のベクトルに対して最大プーリング操作を実行して第一特徴ベクトルを得て、また、前記プーリングウインドウ内のベクトルに対して平均プーリング操作を行い、第二特徴ベクトルを得る。その後、前記重みを用いて、階層プーリング処理プロセスで得たベクトルに対して重み付けし、最終的に各プーリングウインドウの特徴ベクトルを得るとともに、各プーリングウインドウの特徴ベクトルを組み合わせることにより、前記コーパスサンプルの特徴ベクトルを得て、前記コーパスサンプルの特徴の抽出を完成させる。

具体的に、前記重みは前記類似度の値を直接採用しており、処理を単純化することが可能である。当然、本発明の実施例は、前記重みが前記類似度の関数であっても良く、前記重みと前記類似度とは正の相関関係にあり、即ち類似度が高いほど重みは大きくなり、反対に、類似度が低いほど重みは小さくなる。ここで、類似度の計算方法は、従来技術の様々な既存の類似度の計算方法を参照して実現可能であり、本発明の実施例では榑に対して具体的に限定しない。

階層プーリング処理中は通常少なくとも２層のプーリング処理に関し、本発明の実施例の上記重み付け処理は、その中の一層又は多層で行うことが可能である。好ましくは、階層プーリング処理の最後の一層で最大プーリング処理を用いてダウンサンプリングを行う際に、本発明の実施例は該最後の一層プーリング処理中においてのみ、前記重みを用いて、最後の一層の最大プーリング処理で得たベクトルに対して重み付けし（該重みと該ベクトルの乗積を計算する）、重み付け後のベクトルを得る。

図５は、プーリング処理の例を示す図である。ここで、プーリングウインドウは３行のベクトルを含み、且つ、プーリングウインドウの移動ストライドは３であり、第一層プーリング処理がコーパスサンプル中の行ベクトルに対して平均プーリング処理と最大プーリング処理を行い、第二層プーリング処理は最大プーリング処理である。図５の１１〜１９はそれぞれ、コーパスサンプルが対応する行ベクトル中の各一行のベクトルを示している。ベクトル１１〜１９に対して第一層プーリング処理を行うことにより、ベクトル２１１〜２１６を得て、ベクトル２１１〜２１６に対して第二層プーリング処理を行うことにより、ベクトル３１１〜３１６を得て、それによって、ベクトル３１１〜３１６が表示する前記コーパスサンプルの特徴ベクトルを得る。

図５において、第一層プーリング処理の際に、プーリングウインドウ内のベクトル１１〜１３に対して平均プーリング処理を行い、該プーリングウインドウの特徴ベクトル２１１を抽出し、プーリングウインドウ内のベクトル１１〜１３に対して最大プーリング処理を行い、該プーリングウインドウの特徴ベクトル２１２を抽出する。プーリングウインドウ内のベクトル１４〜１６に対して平均プーリング処理を行い、該プーリングウインドウの特徴ベクトル２１３を抽出し、プーリングウインドウ内のベクトル１４〜１６に対して最大プーリング処理を行い、該プーリングウインドウの特徴ベクトル２１４を抽出する。プーリングウインドウ内のベクトル１７〜１９に対して平均プーリング処理を行い、該プーリングウインドウの特徴ベクトル２１５を抽出し、プーリングウインドウ内のベクトル１７〜１９に対して最大プーリング処理を行い、該プーリングウインドウの特徴ベクトル２１６を抽出する。

図５において、第二層プーリング処理の際に、各プーリングウインドウが抽出した特徴ベクトル２１１〜２１６に対してそれぞれ最大プーリング処理を行うとともに、各プーリングウインドウの重みを用いて重み付けし、それによってベクトル３１１〜３１６を得る。例えば、ベクトル２１１が含む要素がａ_１、ａ_２、ａ_３、・・・ａ_ｎであり、その中の最大の要素がａ_ｉであるとするならば、最大プーリング処理により、その中の最大要素ａ_ｉを抽出するとともに、プーリングウインドウの重み（仮にＳ_ｉとする）を用いて最大要素ａ_ｉに対して重み付けし、それによってＳ_ｉ*ａ_ｉを得ることが可能である。

ステップ２０３：前記コーパスサンプルの特徴ベクトルに基づき、ベクトルに基づく意図識別分類器を訓練する。

ここで、本発明の実施例は、ベクトルに基づく分類器を配置可能であり、分類器は、サポートベクターマシン（ＳＶＭ，Support Vector Machine）分類器や多層パーセプトロン（ＭＬＰ，Multi-Layer
Perceptron）分類器などを含むが、これらに限らない。その後、ステップ２０２で取得した各コーパスサンプルの特徴ベクトルを用いて、意図識別分類器に対して訓練を行う。具体的な訓練方法は従来技術を参照可能であり、ここでは贅言しない。また、所定の訓練終了条件を満たす場合、訓練を終了させることが可能であり、この時訓練終了後の意図識別分類器を得ることができる。前記訓練終了条件は、訓練が所定回数に達したか、訓練時間が所定時間に達したか、意図識別モデルの収束度が所定要求に足したか、等であって良い。

ステップ２０４：訓練した前記意図識別分類器を利用して、コーパス照会の意図を識別する。

ステップ２０３で意図識別分類器を得た後、本発明の実施例は、該意図識別モデルを利用して、受け取ったコーパス照会に対して意図識別を行い、前記コーパス照会の意図を予測するとともに、予測結果を出力する。

上記ステップから分かるように、本発明の実施例が提供する意図識別方法は、コーパスサンプルに対してプーリング処理を行う際、プーリングウインドウ内のテキストと前記コーパスサンプルの類似度を考慮することにより、関係語義特徴の更に良好な抽出を可能にし、意図識別分類器の学習訓練プロセスを改善し、訓練で得られる意図識別分類器の性能を向上させる。また、本発明の実施例はコーパスサンプルのベクトル学習プロセスにおいて、知識ベース要素等の情報と組み合わせてベクトル学習を行い、元の単語ベクトルを直接学習するのに比べて、ある程度以上にノイズを低減可能であり、これを基礎にしてより効率的で正確な意図の認識が可能である。

従来の意図識別方法は、分類器の訓練は大量のラベルデータに頼っており、ラベルデータが比較的少ない場合、比較的高い性能に達するのが難しい。本発明の実施例は半監督の分類器訓練プロセスも実現可能である。コーパスサンプルは、意図が既にラベル付けされたラベルコーパスと意図がまだラベル付けされていない未ラベルコーパスとを含む。また、未ラベルコーパスと知識ベース情報のマッチング度に基づき、未ラベルコーパスの選択を行ってラベルコーパスを拡張し、サンプル選択プロセス中での偽陽性サンプルを除去するのに有利であり、分類器訓練のラベルデータへの依存度を低減し、意図識別分類器の性能を向上させることができる。この場合、図６に示すように、上記ステップ２０３は以下のステップを含んでも良い。

ステップ２０３ａ：ラベルコーパスの特徴ベクトルを用いて前記意図分類器を訓練するとともに、訓練終了後に、所定の訓練終了条件を満たしているかどうかを判断し、満たしていれば訓練プロセスを終了し、満たしていなければステップ２０３ｂへ移る。

ここで、現在のラベルコーパスに基づいて、一回の訓練プロセスを実行する。具体的には、ラベルコーパスを意図識別分類器へ入力するとともに、ラベルコーパスのラベルデータを用いて意図識別分類器の訓練を行い、今回の訓練が終了した後、所定の訓練終了条件を満たしているかどうかを判断し、満たしていれば訓練して得た意図識別モデルを出力可能であり、満たしていなければ後続のステップ２０３ｂへ移ってラベルコーパスのサンプルデータを更新可能である。前記訓練終了条件は、訓練が所定回数に達したか、訓練時間が所定時間に達したか、意図識別モデルの収束度が所定要求に足したか、等であって良い。

ステップ２０３ｂ：前記訓練終了条件を満たさない場合、訓練した前記意図識別分類器を利用して、前記未ラベルコーパスの意図と予測信頼度を予測する。

前記ステップ２０３ｂにおいて、ステップ２０３ａで訓練した意図識別分類器を利用して、各未ラベルコーパスの意図を予測し、意図の予測結果及びその予測信頼度を得る。ここで、予測結果が所定条件を満たす未ラベルコーパスを、候補集合中に追加することが可能である。具体的に、前記所定条件は、前記意図識別分類器の予測結果の予測信頼度が所定の閾値より高いことであって良い。

ステップ２０３ｃ：前記未ラベルコーパスの予測信頼度及び知識ベース要素のマッチング度に基づき、前記未ラベルコーパス中から目標コーパスを選択するとともに、予測した意図と予測信頼度に基づき、前記目標コーパスに対してラベル付を行う。

ここで、前記未ラベルコーパス中から、予測信頼度が所定の閾値より大きい第一類コーパスを選択し、その後、未ラベルコーパス中に含まれる知識ベース要素の数量の高い順に、前記第一類コーパスから目標コーパスを選択することが可能である。つまり、本発明の実施例は、より多くの知識ベース要素を含む未ラベルコーパスを優先的に選択して、目標コーパスとしている。例えば、選択した目標コーパス中に含まれる知識ベース要素の数量が、ある数量閾値より大きい。また例えば、追加された目標コーパスの予想数量に基づき、含まれる知識ベース要素の数量の高い順に、第一類コーパスから前記予想数量の未ラベルコーパスを選択し、前記目標コーパスとする。

ステップ２０３ｄ：前記未ラベルコーパスから前記目標コーパスを削除するとともに、前記ラベルコーパス中に前記目標コーパスを追加し、ラベルコーパスに対する補充と更新を実現し、その後、ステップｓ２０３ａに戻って次の訓練プロセスを継続する。

図７は、目標コーパスの例を示している。ここでは、左側コーパス「Is iPhone 8 cheaper than iPhone X」と右側コーパス「Is
he elder than me」を含む二つの未ラベルコーパスを示しており、この二つの未ラベルコーパスは語義及び語法構造が十分に相似している。しかし、左側コーパスは、幾つかの予め設定された携帯電話知識ベースとマッチする二つのエンティティ（「iPhone 8」と「iPhone X」）及び一つの属性情報（「cheaper」）であるが、右側コーパスはマッチングしていないので、ステップ２０３ｃの処理方法に照らして、左側コーパスを目標コーパスとして優先的に選択する。それによって、偽陽性サンプルのフィルタリングを実現し、ラベルサンプルを最適化し、後続の意図識別分類器の訓練を改善し、訓練で得られる意図識別分類器の性能を向上させることが出来る。

以上の方法に基づき、本発明の実施例は上記方法を実施する装置も提供した。図８を参照し、本発明の実施例が提供する意図識別装置８００は、以下のユニットを含む。

ベクトル学習ユニット８０１は、コーパスサンプル中の知識ベース要素のベクトルを学習し、前記コーパスサンプルを知識ベース要素のベクトルにより構成される行ベクトルに変換する。ここで、前記知識ベース要素は所定の知識ベース中の要素である。

プーリング処理ユニット８０２は、階層プーリング処理により、前記コーパスサンプル中の各プーリングウインドウから特徴ベクトルを抽出し、前記プーリングウインドウ内のテキストと前記コーパスサンプルの類似度に基づき、前記類似度と正の相関関係を有する重みを決定し、抽出した特徴ベクトルに対して重み付けし、前記プーリングウインドウの特徴ベクトルを得て、各プーリングウインドウの特徴ベクトルによって構成される前記コーパスサンプルの特徴ベクトルを得る。

モデル訓練ユニット８０３は、前記コーパスサンプルの特徴ベクトルに基づき、ベクトルに基づく意図識別分類器を訓練する。

意図識別ユニット８０４は、訓練した前記意図識別分類器を利用して、コーパス照会の意図を識別する。

好ましくは、前記ベクトル学習ユニット８０１が、具体的に、コーパスサンプル中の知識ベース要素を、前記知識ベース要素が対応する符号に置換することと、単語ベクトル訓練により、前記コーパスサンプル中の各符号のベクトルを取得するための訓練をして、前記コーパスサンプルを前記コーパスサンプル中の各符号のベクトルが構成する行ベクトルに変換すること、に用いられる。

好ましくは、前記プーリングウインドウが、所定行数のベクトルを含む。前記プーリング処理ユニット８０２は具体的に、前記特徴ベクトルを抽出する際、前記プーリングウインドウ内のベクトルに対して最大プーリングの操作を行って第一特徴ベクトルを得ること、及び、前記プーリングウインドウ内のベクトルに対して平均プーリングの操作を行って第二特徴ベクトルを得ることに用いられる。

好ましくは、図９に示すように、前記モデル訓練ユニット８０３は、以下のユニットを含む。

第一訓練ユニット８０３１は、ラベルコーパスの特徴ベクトルを利用して、前記意図識別分類器を訓練する。

判断ユニット８０３２は、所定の訓練終了条件を満たしているかどうかを判断し、前記訓練終了条件を満たす場合、訓練プロセスを終了し、前記訓練終了条件を満たさない場合、第二訓練ユニットをトリガする。

第二訓練ユニット８０３３は、訓練した前記意図識別分類器を利用して、前記未ラベルコーパスの意図と予測信頼度を予測する。

コーパス更新ユニット８０３４は、前記未ラベルコーパスの予測信頼度及び知識ベース要素のマッチング度に基づき、前記未ラベルコーパス中から目標コーパスを選択するとともに、予測した意図と予測信頼度に基づき、前記目標コーパスに対してラベル付を行い、前記未ラベルコーパスから前記目標コーパスを削除するとともに、前記ラベルコーパス中に前記目標コーパスを追加するとともに、前記第一訓練ユニットをトリガして前記意図識別分類器の訓練を継続する。

好ましくは、前記コーパス更新ユニット８０３４が、具体的に、前記未ラベルコーパス中から、予測信頼度が所定の閾値より大きい第一類コーパスを選択することと、未ラベルコーパス中に含まれる知識ベース要素の数量の高い順に、前記第一類コーパスから目標コーパスを選択すること、に用いられる。

以上のユニットにより、本発明の実施例の意図識別装置８００は、コーパスサンプルに対してプーリング処理を行う際、プーリングウインドウ内のテキストと前記コーパスサンプルの類似度を導入することにより、関係語義特徴の更に良好な抽出を可能にし、意図識別分類器の学習訓練プロセスを改善し、訓練で得られる意図識別分類器の性能を向上させる。また、本発明の実施例は、ある程度以上にノイズを低減可能であり、これを基礎にしてより効率的で正確な意図の認識が可能である。また、本発明の実施例は、未ラベルコーパスと知識ベース情報のマッチング度に基づき、未ラベルコーパスの選択を行ってラベルコーパスを拡張し、サンプル選択プロセス中での偽陽性サンプルを除去するのに有利であり、それによって意図識別分類器の性能を向上させる。

図１０を参照し、本発明の実施例は、意図識別装置のハードウェア構造ブロック図も提供した。図１０に示すように、該意図識別装置１０００は、プロセッサ１００２と、コンピュータプログラムコマンドが記憶されているメモリ１００４と、を含み、
前記コンピュータプログラムコマンドが前記プロセッサによって実行される際、前記プロセッサ１００２が、コーパスサンプル中の知識ベース要素のベクトルを学習し、前記コーパスサンプルを知識ベース要素のベクトルにより構成される行ベクトルに変換し、前記知識ベース要素は所定の知識ベース中の要素であるするステップと、階層プーリング処理により、前記コーパスサンプル中の各プーリングウインドウから特徴ベクトルを抽出し、前記プーリングウインドウ内のテキストと前記コーパスサンプルの類似度に基づき、前記類似度と正の相関関係を有する重みを決定し、抽出した特徴ベクトルに対して重み付けし、前記プーリングウインドウの特徴ベクトルを得て、各プーリングウインドウの特徴ベクトルによって構成される前記コーパスサンプルの特徴ベクトルを得るステップと、前記コーパスサンプルの特徴ベクトルに基づき、ベクトルに基づく意図識別分類器を訓練するステップと、訓練した前記意図識別分類器を利用して、コーパス照会の意図を識別するステップと、を実行する。

更に、図１０に示すように、該意図識別装置１０００は、ネットワークインターフェース１００１と、入力装置１００３と、ハードディスク１００５と、表示装置１００６を含むことも可能である。

上記各インターフェースと装置との間は、バスアーキテクチャによって互いに接続する。バスアーキテクチャは、任意の数量の相互接続するバス及びブリッジを含むことが可能である。具体的には、プロセッサ１００２に代表される一つ又は複数のセントラルプロセッサ（ＣＰＵ）、及びメモリ１００４に代表される一つ又は複数のメモリの各種回路が、一つに接続される。バスアーキテクチャは、周辺機器や電圧レギュレータや電力管理回路のようなさまざまなその他の回路と一緒に接続することも可能である。バスアーキテクチャは、これらの構成要素の間の接続通信を実現するためのものであると理解可能である。バスアーキテクチャは、データバスの他、電力バス、制御バス、およびステータス信号バスも含むが、これらは全て本分野で公知のものであるので、本明細書ではこれらについて詳細に記載しない。

前記ネットワークインターフェース１００１は、ネットワーク（例えばインターネット、ローカルエリアネットワーク等）と接続可能で、ネットワークから情報を受信するとともに、受信した内容をハードディスク１００５中に保存することができる。例えば、収集したコーパスサンプルを、ハードディスク１００５中に保存する。

前記入力装置１００３は、オペレータが入力する様々なコマンドを受信できるとともに、実行のためにプロセッサ００２に送信することができる。前記入力装置１００３は、キーボードやクリックデバイス（例えばマウス、トラックボール(trackball)、タッチパッド、タッチスクリーンなど）を含むことが可能である。

前記表示装置１００６は、プロセッサ１００２がコマンドを実行して得た結果を表示することができる。例えば、コーパスの意図予測結果及びその信頼度等を表示する。

前記メモリ１００４は、オペレーティングシステムが稼働するのに必須のプログラムとデータや、プロセッサ１００２の演算プロセス中の中間結果などのデータを保存するのに用いられる。

本発明の実施例のメモリ１００４は、揮発性メモリまたは不揮発性メモリであっても良いし、揮発性メモリと不揮発性メモリの両方を含んでも良い、と理解できる。なお、不揮発性メモリは、読み出し専用メモリ（ROM）であっても、プログラマブル読み出し専用メモリ（PROM）であっても、消去可能なプログラマブル読み出し専用メモリ（EPROM）であっても、電気的に消去可能なプログラマブル読み出し専用メモリ（EEPROM）であっても、フラッシュメモリであってもよい。揮発性メモリは、ランダムアクセスメモリ（RAM）であってもよく、外部キャッシュとして用いられる。本明細書に記載の装置と方法のメモリ１００４は、これらと任意のその他の適合類型のメモリを含むが、これらに限らない。

いくつかの実施形態において、メモリ１００４は、実行可能なモジュールまたはデータ構造、それらのサブ集合または拡張集合、オペレーティングシステム１００４１、アプリケーションプログラム１００４２、の要素を記憶している。

なお、オペレーティングシステム１００４１は各種の基礎業務およびハードウェアに基づくタスクを実現するように、例えば枠組層、コアー層、駆動層など各種のシステムプログラムを含む。アプリケーションプログラム１００４２は各種のアプリケーション業務を実現するように、例えばブラウザー（Browser）などの各種アプリケーションプログラムを含む。本発明の実施例の方法を実現するプログラムはアプリケーションプログラム１００４２に含まれることが可能である。

本発明の上記実施例による方法はプロセッサ１００２に応用でき、あるいはプロセッサ１００２によって実現できる。プロセッサ１００２は信号の処理能力を有する集積回路チップであってもよい。実現過程では、上記方法の各ステップはプロセッサ１００２内のハードウェアの集積ロジック回路またはソフトウェア形式のコマンドによって完成できる。上記プロセッサ１００２は汎用プロセッサであっても、デジタル信号処理器（DSP）であっても、特定用途向け集積回路（ASIC）であっても、現場で構成可能な回路アレイ（FPGA）又はその他のプログラマブルロジックデバイスであっても、個別ゲートまたはトランジスタロジックデバイスであっても、個別ハードウェアユニットであってもよく、本発明の実施例に公開された各方法、ステップおよびロジックブロック図を実現または実行できる。汎用プロセッサは、マイクロプロセッサ又はいかなる常用的なプロセッサであっても良い。本発明の実施例より公開された方法のステップと組み合わせて直接的にできることは、ハードウェアデコーダプロセッサにより実行して完成すること、或いは、デコーダプロセッサ内のハードウェアおよびソフトウェアモジュールの組み合わせによって実行して完成すること、である。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリまたは電気的に消去可能なプログラマブルメモリ、レジスタなどの当分野において成熟された記録媒体に位置することが可能である。当該記録媒体はメモリ１００４にあり、プロセッサ１００２はメモリ１００４内の情報を読み取って、そのハードウェアと組み合わせて上記方法のステップを完成する。

本明細書に記載されたこれらの実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはその組み合わせによって実現できる、と理解可能である。ハードウェアの実現について、プロセスユニットは一つ又は複数の特定用途向け集積回路（ASIC）、デジタル信号処理器（DSP）、デジタル信号処理デバイス（DSPD）、プログラマブルロジックデバイス（PLD）、フィールドプログラマブル
ゲートアレイ（FPGA）、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本願の前記機能を実現するためのほかの電子モジュール、または組み合わせで実現可能である。

ソフトウェアの実現について、本明細書に記載された前記機能を実行するモジュール（例えばプロセス、関数など）によって本明細書の前記技術を実現できる。ソフトウェアコードはメモリに記憶され、かつプロセッサによって実行することが可能である。メモリはプロセッサ内またはプロセッサ外部において実現できる。

具体的に、前記コンピュータプログラムがプロセッサ１００２に実行される際は、コーパスサンプル中の知識ベース要素を、前記知識ベース要素が対応する符号に置換するステップと、単語ベクトル訓練により、前記コーパスサンプル中の各符号のベクトルを取得するための訓練をして、前記コーパスサンプルを前記コーパスサンプル中の各符号のベクトルが構成する行ベクトルに変換するステップと、を実現することもできる。

具体的に、前記コンピュータプログラムがプロセッサ１００２に実行される際は、前記プーリングウインドウ内のベクトルに対して最大プーリングの操作を行って第一特徴ベクトルを得るステップ、及び、前記プーリングウインドウ内のベクトルに対して平均プーリングの操作を行って第二特徴ベクトルを得るステップを実現することもできる。

具体的に、前記コンピュータプログラムがプロセッサ１００２に実行される際は、ラベルコーパスの特徴ベクトルを利用して、前記意図識別分類器を訓練するとともに、訓練が終了した後で、所定の訓練終了条件を満たしているかどうかを判断するステップと、前記訓練終了条件を満たす場合、訓練プロセスを終了するステップと、前記訓練終了条件を満たさない場合、訓練した前記意図識別分類器を利用して、前記未ラベルコーパスの意図と予測信頼度を予測するステップと、前記未ラベルコーパスの予測信頼度及び知識ベース要素のマッチング度に基づき、前記未ラベルコーパス中から目標コーパスを選択するとともに、予測した意図と予測信頼度に基づき、前記目標コーパスに対してラベル付を行うステップと、前記未ラベルコーパスから前記目標コーパスを削除するとともに、前記ラベルコーパス中に前記目標コーパスを追加し、ラベルコーパスの特徴ベクトルの利用に戻り、前記意図識別分類器の訓練を行うステップと、を実現することもできる。

具体的に、前記コンピュータプログラムがプロセッサ１００２に実行される際は、前記未ラベルコーパス中から、予測信頼度が所定の閾値より大きい第一類コーパスを選択するステップと、未ラベルコーパス中に含まれる知識ベース要素の数量の高い順に、前記第一類コーパスから目標コーパスを選択するステップと、を実現することもできる。

好ましくは、前記知識ベース要素が、知識ベース中のエンティティと、属性と、関係と、を含む。前記意図識別分類器がサポートベクトル入力用の分類器であり、前記サポートベクトル入力用の分類器は、サポートベクターマシンＳＶＭ分類器と、多層パーセプトロンＭＬＰを含むが、これらに限らない。

当業者は、本明細書に開示された実施例に記載された様々な例のユニットおよびアルゴリズムステップを組み合わせて、電子ハードウェアまたはコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実現させることができる、と理解することができる。これらの機能がハードウェアで実行されるかソフトウェアで実行させるかは、技術方案の特定用途や設計上の制約条件によって決められる。当業者は、特定の用途ごとに異なる方法を用いて前記の機能を実現できるが、このような実現は本発明の範囲を超えるものと見なすべきではない。

当業者は、説明の便宜及び簡潔さのために、上記のシステム、装置とユニットの具体的な作業プロセスについて、前記方法の実施例における対応プロセスを参照できることを明確に理解できるので、ここでは贅言しない。

本発明が提供する実施例において開示された方法及び装置は別の形態でも実現可能であると理解すべきである。例えば、上記記載された装置は模式的なものに過ぎない。例えば、前記ユニットの分割は論理的な機能分割に過ぎず、実際に実現する際に別の分割方式を採用しても良い。例えば、複数のユニットまたはモジュールを組み合わせるか、別のシステムに集約し手も良いし、或いは一部の機能を省略しても良いし、若しくは実行しなくてもよい。さらに、上記表示または開示された相互的な接続または直接な接続若しくは通信可能な接続は、インターフェースを介した接続であっても良いし、装置やユニット同士の間接的な接続または通信可能な接続は、電気的または機械的もしくは他の形態の接続であっても良い。

前記分離部材として説明したユニットは物理的に分離してもしなくてもよい。ユニットとして表示した部材は物理的なユニットであってもでなくてもよい。即ち、同一の場所に位置しても良いし、複数のネットワークユニット上に分散しても良い。実際のニーズに応じてその中の一部または全部のユニットを選択して本発明の実施例の目的を実現することができる。

また、本発明の各実施例における各機能的なユニットをひとつのプロセスユニットに集成しても良いし、各ユニットが物理的に単独で存在させても良いし、二つあるいは二つ以上のユニットを一つのユニットに集成させても良い。

前記機能はソフトウェア機能ユニットの形式で実現し、且つ、独立製品として販売または使用される場合、コンピュータが読み取り可能記憶媒体に記憶することができる。このような理解に基づき、本発明の技術方案の本質、あるいは従来技術に対して貢献する部分、または当該技術方案の一部は、ソフトウェア製品の形式で実現することができる。当該コンピュータソフトウェア製品は記録媒体に記憶されて、コンピュータ装置（パーソナルコンピュータ、サーバ或いはネットワーク設備などでも良い）に本願の各実施例に記載した前記方法の全部または一部のステップを実行させる若干のコマンドを含んでいる。前記の記録媒体は、ＵＳＢメモリ、リムーバブルディスク、ＲＯＭ、ＲＡＭ、磁気ディスク、あるいは光ディスクなど、プログラムコードを格納できる様々な媒体を含む。

以上の記載は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲はこれに限らない。本発明に開示される技術範囲内で、本技術分野に属する当業者が容易に想到される変化または置換は、本発明の保護範囲内に含めるべきである。したがって、本発明の保護範囲は権利要求の保護範囲に準じるべきである。

Claims

意図識別装置により実行される意図識別方法であって、
コーパスサンプルにおける知識ベース要素のベクトルを学習し、前記コーパスサンプルを知識ベース要素のベクトルにより構成された行ベクトルに変換するステップであって、前記知識ベース要素は所定の知識ベースにおける要素である、ステップと、
前記コーパスサンプルにおける各プーリングウインドウに含まれる行ベクトルに対して最大プーリング処理を行って第一特徴ベクトルを抽出し、前記行ベクトルに対して平均プーリング処理を行って第二特徴ベクトルを抽出し、前記プーリングウインドウにおけるテキストと前記コーパスサンプルとの類似度に基づき、前記類似度と正の相関関係を有する重みを決定し、抽出された前記プーリングウインドウの前記第一特徴ベクトル及び前記第二特徴ベクトルに対して最大プーリング処理を行って得たベクトルに前記重みを用いて重み付けを行い、前記コーパスサンプルの特徴ベクトルを取得するステップと、
前記コーパスサンプルの特徴ベクトルに基づき、ベクトルに基づく意図識別分類器を訓練するステップと、
訓練された前記意図識別分類器を利用して、コーパス照会の意図を識別するステップと、を含むことを特徴とする意図識別方法。
前記コーパスサンプルにおける知識ベース要素のベクトルを学習し、前記コーパスサンプルを知識ベース要素のベクトルにより構成された行ベクトルに変換するステップは、
コーパスサンプルにおける知識ベース要素を、前記知識ベース要素に対応する符号に置換することと、
単語ベクトル訓練により、前記コーパスサンプルにおける各符号のベクトルを取得し、前記コーパスサンプルを前記コーパスサンプルにおける各符号のベクトルにより構成された行ベクトルに変換することと、を含むことを特徴とする請求項１に記載の意図識別方法。
前記コーパスサンプルは、意図がラベル付けされたラベルコーパスと、意図がラベル付けされていない未ラベルコーパスとを含み、
前記コーパスサンプルの特徴ベクトルに基づき、ベクトルに基づく意図識別分類器を訓練するステップは、
ラベルコーパスの特徴ベクトルを利用して、前記意図識別分類器を訓練し、訓練が終了した後で、所定の訓練終了条件を満たしているか否かを判断するステップと、
前記訓練終了条件を満たしている場合、訓練プロセスを終了するステップと、
前記訓練終了条件を満たさない場合、訓練された前記意図識別分類器を利用して、前記未ラベルコーパスの意図及び予測信頼度を予測するステップと、
前記未ラベルコーパスの予測信頼度、及び知識ベース要素とのマッチング度に基づき、前記未ラベルコーパスから目標コーパスを選択し、予測された意図及び予測信頼度に基づき、前記目標コーパスに対してラベル付けを行うステップと、
前記未ラベルコーパスから前記目標コーパスを削除し、前記ラベルコーパスに前記目標コーパスを追加し、該ラベルコーパスの特徴ベクトルを用いて前記意図識別分類器の訓練を行うステップと、を含むことを特徴とする請求項１に記載の意図識別方法。
前記未ラベルコーパスの予測信頼度、及び知識ベース要素とのマッチング度に基づき、前記未ラベルコーパスから目標コーパスを選択するステップは、
前記未ラベルコーパスから、予測信頼度が所定の閾値より大きい第一類コーパスを選択することと、
未ラベルコーパスに含まれる知識ベース要素の数の高い順に、前記第一類コーパスから目標コーパスを選択することと、を含むことを特徴とする請求項３に記載の意図識別方法。
前記知識ベース要素は、知識ベースにおけるエンティティ、属性及び関係を含むことを特徴とする請求項１に記載の意図識別方法。
前記意図識別分類器はベクトル入力をサポートする分類器であり、前記ベクトル入力をサポートする分類器は、サポートベクターマシン（ＳＶＭ）分類器及び多層パーセプトロン（ＭＬＰ）を含むことを特徴とする請求項１に記載の意図識別方法。
コーパスサンプルにおける知識ベース要素のベクトルを学習し、前記コーパスサンプルを知識ベース要素のベクトルにより構成された行ベクトルに変換するベクトル学習ユニットであって、前記知識ベース要素は所定の知識ベースにおける要素である、ベクトル学習ユニットと、
前記コーパスサンプルにおける各プーリングウインドウに含まれる行ベクトルに対して最大プーリング処理を行って第一特徴ベクトルを抽出し、前記行ベクトルに対して平均プーリング処理を行って第二特徴ベクトルを抽出し、前記プーリングウインドウにおけるテキストと前記コーパスサンプルとの類似度に基づき、前記類似度と正の相関関係を有する重みを決定し、抽出された前記プーリングウインドウの前記第一特徴ベクトル及び前記第二特徴ベクトルに対して最大プーリング処理を行って得たベクトルに前記重みを用いて重み付けを行い、前記コーパスサンプルの特徴ベクトルを取得するプーリング処理ユニットと、
前記コーパスサンプルの特徴ベクトルに基づき、ベクトルに基づく意図識別分類器を訓練するモデル訓練ユニットと、
訓練された前記意図識別分類器を利用して、コーパス照会の意図を識別する意図識別ユニットと、を含むことを特徴とする意図識別装置。
前記ベクトル学習ユニットは、
コーパスサンプルにおける知識ベース要素を、前記知識ベース要素に対応する符号に置換し、
単語ベクトル訓練により、前記コーパスサンプルにおける各符号のベクトルを取得し、前記コーパスサンプルを前記コーパスサンプルにおける各符号のベクトルにより構成された行ベクトルに変換することを特徴とする請求項７に記載の意図識別装置。
前記コーパスサンプルは、意図がラベル付けされたラベルコーパスと、意図がラベル付けされていない未ラベルコーパスとを含み、
前記モデル訓練ユニットは、
ラベルコーパスの特徴ベクトルを利用して、前記意図識別分類器を訓練する第一訓練ユニットと、
所定の訓練終了条件を満たしているか否かを判断し、前記訓練終了条件を満たしている場合、訓練プロセスを終了し、前記訓練終了条件を満たさない場合、第二訓練ユニットをトリガする判断ユニットと、
訓練された前記意図識別分類器を利用して、前記未ラベルコーパスの意図及び予測信頼度を予測する第二訓練ユニットと、
前記未ラベルコーパスの予測信頼度、及び知識ベース要素とのマッチング度に基づき、前記未ラベルコーパスから目標コーパスを選択し、予測された意図及び予測信頼度に基づき、前記目標コーパスに対してラベル付けを行い、前記未ラベルコーパスから前記目標コーパスを削除し、前記ラベルコーパスに前記目標コーパスを追加し、前記第一訓練ユニットをトリガして前記意図識別分類器の訓練を継続するコーパス更新ユニットと、を含むことを特徴とする請求項７に記載の意図識別装置。
前記コーパス更新ユニットは、
前記未ラベルコーパスから、予測信頼度が所定の閾値より大きい第一類コーパスを選択し、
未ラベルコーパスに含まれる知識ベース要素の数の高い順に、前記第一類コーパスから目標コーパスを選択することを特徴とする請求項９に記載の意図識別装置。
メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで実行可能なコンピュータプログラムと、を含み、
前記コンピュータプログラムが前記プロセッサにより実行される際に、請求項１乃至６のいずれか一項に記載の意図識別方法のステップを実現することを特徴とする意図識別装置。
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサにより実行される際に、請求項１乃至６のいずれか一項に記載の意図識別方法のステップを実現することを特徴とする記憶媒体。