JP6720764B2 - テキスト解析装置及びプログラム - Google Patents
テキスト解析装置及びプログラム Download PDFInfo
- Publication number
- JP6720764B2 JP6720764B2 JP2016155722A JP2016155722A JP6720764B2 JP 6720764 B2 JP6720764 B2 JP 6720764B2 JP 2016155722 A JP2016155722 A JP 2016155722A JP 2016155722 A JP2016155722 A JP 2016155722A JP 6720764 B2 JP6720764 B2 JP 6720764B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- text
- learning
- words
- classification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004458 analytical method Methods 0.000 title claims description 24
- 230000014509 gene expression Effects 0.000 claims description 70
- 238000013528 artificial neural network Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 11
- 230000007935 neutral effect Effects 0.000 claims description 7
- 230000008451 emotion Effects 0.000 claims description 6
- 230000002996 emotional effect Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 12
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000004836 empirical method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、テキスト解析装置及びプログラムに関する。
従来から、テキストを解析する種々の手法が開発されている。
特許文献１には、日本語文に対して形態素解析、構文解析を行い、結果に対して感情要素が登録された単語辞書と感情情報変換規則を用いて感情情報の抽出を行うことが記載されている。
非特許文献１には、機械学習手法の１種である畳み込みニューラルネットワークを用いて、テキストに対して品詞付与、チャンク同定、固有名抽出、意味役割付与を行うことが記載されている。
非特許文献２には、機械学習手法の１種である再帰ニューラルネットワークを用いて、構文木の部分枝単位の評判分類を行うことが記載されている。
Ronan Collobert, Jason Weston, Leon Bottou, Michael Karlen, Koray Kavukcuoglu, and Pavel Kuksa. 2011. Natural Language Processing (Almost) from Scratch. Journal of Machine Learning Research 12, pp. 2461-2505.
Richard Socher, Alex Perelygin, Jean Y. Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng, and Christopher Potts. 2013. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank. In Proceedings of 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1632- 1642
テキスト解析を行う際に、単語単位の分類情報を機械学習モデルに取り込んでいないと、テキスト解析の精度が十分でない。また、単語単位の分類情報を用いるのに、分類情報が付与された構文木コーパスを用いる場合には、当該コーパス構築分だけコストが増大してしまう。
本発明の目的は、効率的に単語単位の分類情報を用いてテキスト解析を行うことができる装置及びプログラムを提供することにある。
請求項１に記載の発明は、ラベルなしのテキストから、肯定的、否定的、中立的のいずれか、または喜怒哀楽のいずれかのラベルを含む分類情報付きの見出し語周辺の１つ又は複数の単語をスニペットとして抽出するスニペット抽出手段と、抽出したスニペット中の単語を用いて第１ニューラルネットワークで事前学習して単語単位の分類情報を取得する取得手段であり、前記スニペット中の単語を単語分散表現に変換し、前記単語分散表現の列に対して畳み込み演算を行い、誤差逆伝播法により前記単語分散表現及び単語畳み込み層の重みを更新し、前記単語単位の分類情報として取得する、取得手段と、前記取得手段での事前学習により取得された前記単語単位の分類情報を用いて第２ニューラルネットワークの重みを初期化し、ラベル付きのテキストを教師データとして用いて第２ニューラルネットワークで学習し、任意のテキストが入力された場合に当該テキストの分類を出力すべく学習する学習手段であり、前記単語単位の分類情報を用いて単語分散表現と単語畳み込み層の重みを初期化し、前記ラベル付きのテキストから単語をスニペットとして抽出し、抽出したスニペット中の単語を単語分散表現に変換し、前記単語分散表現の列に対して畳み込み演算を行い、誤差逆伝播法により、初期化された前記単語分散表現及び単語畳み込み層の重みを更新する、学習手段と、を備えるテキスト解析装置である。
請求項２に記載の発明は、コンピュータを、ラベルなしのテキストから、肯定的、否定的、中立的のいずれか、または喜怒哀楽のいずれかのラベルを含む分類情報付きの見出し語周辺の１つ又は複数の単語をスニペットとして抽出するスニペット抽出手段と、抽出したスニペット中の単語を用いて第１ニューラルネットワークで事前学習して単語単位の分類情報を取得する取得手段であり、前記スニペット中の単語を単語分散表現に変換し、前記単語分散表現の列に対して畳み込み演算を行い、誤差逆伝播法により前記単語分散表現及び単語畳み込み層の重みを更新し、前記単語単位の分類情報として取得する、取得手段と、前記取得手段での事前学習により取得された前記単語単位の分類情報を用いて第２ニューラルネットワークの重みを初期化し、ラベル付きのテキストを教師データとして用いて第２ニューラルネットワークで学習し、任意のテキストが入力された場合に当該テキストの分類を出力すべく学習する学習手段であり、前記単語単位の分類情報を用いて単語分散表現と単語畳み込み層の重みを初期化し、前記ラベル付きのテキストから単語をスニペットとして抽出し、抽出したスニペット中の単語を単語分散表現に変換し、前記単語分散表現の列に対して畳み込み演算を行い、誤差逆伝播法により、初期化された前記単語分散表現及び単語畳み込み層の重みを更新する、学習手段として機能させるプログラムである。
請求項１，２に記載の発明によれば、単語単位の分類情報を事前に取得することができる。また、分類情報が付与された構文木コーパスを用いる必要がない。さらに、単語単位の分類情報を用いない場合と比べて高精度のテキスト解析が可能となる。
以下、図面に基づき本発明の実施形態について説明する。
図１は、本実施形態におけるテキスト解析装置の機能ブロック図を示す。テキスト解析装置は、単語分類学習部１０と、文／文書分類学習部１２から構成される。
単語分類学習部１０は、単語単位の分類を事前に機械学習するモジュールである。単語分類学習部１０は、単語抽出手段１０３、スニペット抽出手段１０４、単語分散表現変換手段１０５、単語畳み込み手段１０６、最大特徴抽出手段１０７、辞書分類対応付け手段１０８を備える。
単語抽出手段１０３は、テキスト（ラベルなし）データベース１０１からテキストを読み出し、当該テキストから単語を抽出する。ここで、「ラベル」とは、肯定的（ポジティブ）、否定的（ネガティブ）、中立的（ニュートラル）等、何らかの分類に基づく情報である。従って、テキスト（ラベルなし）とは、このような分類がなされていないテキストである。
スニペット抽出手段１０４は、単語抽出手段１０３で抽出されたテキストを対象として、見出し語を含むテキスト集合を抽出し、見出し語の周辺Ｌ語（Ｌは例えば２，３，４，・・・）のスニペットを抽出する。ここで、「スニペット」とは、テキスト中で辞書の見出し語とその周辺Ｌ語から構成されるテキスト断片である。見出し語は、分類情報付き辞書データベース１０２から読み出す。例えば、テキストが「彼にとても悲しいことを言われた」であり、見出し語が「悲しい」であり、Ｌ＝２である場合には、テキストのうち見出し語である「悲しい」の前後の２語をスニペットとして抽出し、
「に／とても／悲しい／こと／を」
となる。
「に／とても／悲しい／こと／を」
となる。
単語分散表現変換手段１０５は、抽出したスニペット中の単語を単語分散表現に変換する。ここで、「単語分散表現」とは、単語の意味をｎ次元の実数で表すことである。単語ベクトルということもできる。
単語畳み込み手段１０６は、単語分散表現の列に対して、フィルタ幅ｈ１、特徴マップ数ｋ１の畳み込み演算（コンボリューション）を行う。
最大特徴抽出手段１０７は、単語畳み込み手段１０６で演算して得られたｋ１個の特徴マップについて最大の値を抽出する。
辞書分類対応付け手段１０８は、ｋ１個の最大特徴と辞書分類との間の損失関数を算出し、損失を単語畳み込み層に逆伝播させて単語畳み込み層の重みを更新する。また、損失を単語分散表現に逆伝播させて単語分散表現を更新する。そして、更新した単語分散表現と単語畳み込み層の重みを単語単位の分類情報として保存する。辞書分類対応付け手段１０８は、実施形態において単語単位の分類情報を取得する取得手段として機能する。
他方、文／文書分類学習部１２は、単語分類学習部１０で事前に機械学習した結果を用いて文／文書を機械学習により分類するモジュールである。文／文書分類学習部１２は、単語抽出手段１２２、単語分散表現変換手段１２３、単語畳み込み手段１２４、文／文書畳み込み手段１２５、最大特徴抽出手段１２６、文／文書ラベル対応付け手段１２７を備える。
単語抽出手段１２２は、文／文書ラベル付きテキストデータベース１２１からラベル付テキストを選択し、選択したテキストから単語を抽出する。
単語分散表現変換手段１２３は、スニペット中の単語を単語分散表現に変換する。
単語畳み込み手段１２４は、単語分散表現の列に対してフィルタ幅ｈ１、特徴マップ数ｋ１の畳み込み演算を行う。
文／文書畳み込み手段１２５は、単語畳み込み結果に対してフィルタ幅ｈ２、特徴マップ数ｋ２の畳み込み演算を行う。
最大特徴抽出手段１２６は、ｋ２個の特徴マップについて最大の値を抽出する。
文／文書ラベル対応付け手段１２７は、ｋ２個の最大特徴とラベルとの間の損失関数を算出し、損失を文／文書畳み込み層に逆伝播させて文／文書畳み込み層の重みを更新する。また、損失を単語畳み込み層に逆伝播させて単語畳み込み層の重みを更新する。さらに、損失を単語分散表現に逆伝播させて単語分散表現を更新する。文／文書ラベル対応付け手段１２７は、実施形態において更新手段として機能する。
なお、本実施形態において、「モジュール」とは、論理的に分離可能なソフトウェア、ハードウェア等の部品を意味する。従って、本実施形態におけるモジュールはコンピュータプログラムにおけるモジュールのみならず、ハードウェア構成におけるモジュールも意味する。モジュールは機能に対して１：１に対応してもよいが、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよい。また、複数モジュールは１つのプロセッサないしコンピュータによって実行されてもよいし、分散又は並列環境における複数のプロセッサないしコンピュータによって実行されてもよい。各モジュールによる処理では、対象となる情報を記憶装置から読み込み、ＣＰＵ等のプロセッサで処理を行った後に、処理結果を記憶装置に出力して書き込む。記憶装置には、ＨＤＤ、ＲＡＭ、ＣＰＵ内のレジスタ等が含まれる。
図２は、本実施形態におけるテキスト解析装置の構成ブロック図を示す。テキスト解析装置は、コンピュータで実現され、具体的には、ＣＰＵ２０、ＲＯＭ２２、ＲＡＭ２４、入出力インターフェイス（Ｉ／Ｆ）２６、通信インターフェイス（Ｉ／Ｆ）２８、記憶装置３０を備える。
ＣＰＵ２０は、ＲＯＭ２２あるいはＨＤＤ、ＳＳＤ等に記憶された処理プログラムを読み込み、ＲＡＭ２４をワーキングメモリとして用いて各種処理を実行する。入出力Ｉ／Ｆ２６は、キーボードやマウス、ディスプレイ、タッチパネル等である。通信Ｉ／Ｆ２８は、インターネット等のネットワークに接続する。ＣＰＵ２０は、図１における単語抽出手段１０３、スニペット抽出手段１０４、単語分散表現変換手段１０５、単語畳み込み手段１０６、最大特徴抽出手段１０７、辞書分類対応付け手段１０８として機能するとともに、単語抽出手段１２２、単語分散表現変換手段１２３、単語畳み込み手段１２４、文／文書畳み込み手段１２５、最大特徴抽出手段１２６、文／文書ラベル対応付け手段１２７として機能する。記憶装置３０は、ハードディスク等で構成され各種データを記憶してテキスト（ラベルなし）データベース１０１、分類情報付き辞書データベース１０２、文／文書ラベル付きテキストデータベース１２１として機能する。
なお、記憶装置３０は、ネットワーク上のサーバコンピュータあるいはクラウドコンピュータ内に設けられていてもよい。すなわち、テキスト（ラベルなし）データベース１０１、分類情報付き辞書データベース１０２、文／文書ラベル付きテキストデータベース１２１は、テキスト解析装置とは別のコンピュータで構成されていて通信Ｉ／Ｆ２８を介してデータ送受可能に構成されていてもよい。
図３は、分類情報付き辞書データベース１０２に記憶されるデータの一例を示す。ＩＤ、ラベル及び見出し語が関連付けて記憶される。例えば、
ＩＤ＝１のラベルは「喜」で見出し語は「嬉しい」
ＩＤ＝２のラベルは「怒」で見出し語は「腹立たしい」
ＩＤ＝３のラベルは「哀」で見出し語は「悲しい」
等である。
ＩＤ＝１のラベルは「喜」で見出し語は「嬉しい」
ＩＤ＝２のラベルは「怒」で見出し語は「腹立たしい」
ＩＤ＝３のラベルは「哀」で見出し語は「悲しい」
等である。
図４は、テキスト（ラベルなし）データベース１０１に記憶されるデータの一例を示す。ＩＤ及びテキストが関連付けて記憶される。例えば、
ＩＤ＝１のテキストは「彼にとても悲しいことを言われた」
ＩＤ＝２のテキストは「思いがけずプレゼントを貰えて嬉しい」
ＩＤ＝３のテキストは「嬉しいことがとても多い」
等である。
ＩＤ＝１のテキストは「彼にとても悲しいことを言われた」
ＩＤ＝２のテキストは「思いがけずプレゼントを貰えて嬉しい」
ＩＤ＝３のテキストは「嬉しいことがとても多い」
等である。
図５は、文／文書ラベル付きテキストデータベース１２１に記憶されるデータの一例を示す。ＩＤ、ラベル及びテキストが関連付けて記憶される。例えば、
ＩＤ＝１のラベルは「ポジティブ」でテキストは「新しいスマホが買えてとても嬉しいです！！」
ＩＤ＝２のラベルは「ネガティブ」でテキストは「今日は仕事で失敗して悲しい」
ＩＤ＝３のラベルは「ニュートラル」でテキストは「今電車で移動しています」
等である。
ＩＤ＝１のラベルは「ポジティブ」でテキストは「新しいスマホが買えてとても嬉しいです！！」
ＩＤ＝２のラベルは「ネガティブ」でテキストは「今日は仕事で失敗して悲しい」
ＩＤ＝３のラベルは「ニュートラル」でテキストは「今電車で移動しています」
等である。
図６、図７及び図８は、本実施形態の処理フローチャートを示す。図６及び図７は、単語分類学習部１０における単語単位の分類を事前に機械学習する処理であり、図８は、文／文書分類学習部１２における文／文書の分類を機械学習する処理である。なお、機械学習にはニューラルネットワークを用い、誤差逆伝播法を用いて重みを最適化する。単語単位の分類を事前に機械学習する際のニューラルネットワークを第１ニューラルネットワークとし、文／文書単位の分類を機械学習する際のニューラルネットワークを第２ニューラルネットワークとする。
図６において、テキスト（ラベルなし）データベース１０１に記憶されているテキスト群から最初のテキストを抽出する（Ｓ１０１）。図４に示すデータの例では、最初のテキストはＩＤ＝１の「彼にとても悲しいことを言われた。」である。
次に、テキストから単語を抽出する（Ｓ１０２）。単語の抽出には公知の形態素解析方法を用いることができる。
次に、テキスト（ラベルなし）データベース１０１内の全テキストを処理したか否かを判定し（Ｓ１０３）、全テキストを処理していなければ（Ｓ１０３でＮＯ）、次のテキストを選択して同様の処理を繰り返す（Ｓ１０４）。
全テキストを処理した場合（Ｓ１０３でＹＥＳ）、次に、分類情報付き辞書データベース１０２から最初の見出し語を選択する（Ｓ１０５）。図３に示すデータの例では、最初の見出し語はＩＤ＝１の「嬉しい」である。
次に、見出し語を含むテキストを抽出する（Ｓ１０６）。見出し語が「嬉しい」であれば、これを含むテキストは「思いがけずプレゼントを貰えて嬉しい。」、及び「嬉しいことがとても多い。」である。
次に、見出し語の周辺Ｌ語のスニペットを抽出する。例えばＬ＝２とすると、テキスト「思いがけずプレゼントを貰えて嬉しい」では、「貰え／て／嬉しい／。」がスニペットとして抽出され、テキスト「嬉しいことがとても多い。」では、「嬉しい／こと／が」がスニペットとして抽出される。
次に、スニペット中の見出し語を未知語に置換する。例えば、未知語をＸＸとすると、
「貰え／て／嬉しい／。」→「貰え／て／ＸＸ／。」
「嬉しい／こと／が」→「ＸＸ／こと／が」
と置換する。
「貰え／て／嬉しい／。」→「貰え／て／ＸＸ／。」
「嬉しい／こと／が」→「ＸＸ／こと／が」
と置換する。
次に、分類情報付き辞書データベース１０２内の全見出し語を処理したか否かを判定し（Ｓ１０９）、全見出し語を処理していなければ（Ｓ１０９でＮＯ）、次の見出し語を選択して同様の処理を繰り返す（Ｓ１１０）。例えば、見出し語「悲しい」では、テキストとして「彼にとても悲しいことを言われた。」が抽出され、周辺Ｌ語のスニペットとして、「に／とても／悲しい／こと／を」が抽出される。そして、スニペット中の見出し語を未知語に置換し、
「に／とても／悲しい／こと／を」→「に／とても／ＸＸ／こと／を」
と置換する。
「に／とても／悲しい／こと／を」→「に／とても／ＸＸ／こと／を」
と置換する。
全見出し語を処理した場合（Ｓ１０９でＹＥＳ）、図７の処理に移行する。図７において、抽出したスニペット群からスニペットを選択する（Ｓ２０１）。
次に、スニペット中の単語を単語分散表現に変換する（Ｓ２０２）。初期化処理として、各単語についてランダムに一様分布で初期化したｎ次元の単語分散表現を構築する。
次に、単語分散表現の列に対してフィルタ幅ｈ１、特徴マップ数ｋ１の畳み込み演算を行う（Ｓ２０３）。
次に、ｋ１個の特徴マップについて最大の値を抽出する（Ｓ２０４）。
次に、ｋ１個の最大特徴と辞書分類との間の損失関数を算出する（Ｓ２０５）。
次に、Ｓ２０５で算出された損失を単語畳み込み層に逆伝播させ、第１ニューラルネットワークの単語畳み込み層の重みを更新する（Ｓ２０６）。
次に、Ｓ２０５で算出された損失を単語分散表現に逆伝播させ、第１ニューラルネットワークの単語分散表現を更新する（Ｓ２０７）。
次に、抽出した全スニペットを処理したか否かを判定し（Ｓ２０８）、全スニペットを処理していなければ（Ｓ２０８でＮＯ）、次のスニペットを選択して同様の処理を繰り返す（Ｓ２０９）。
全スニペットを処理した場合（Ｓ２０８でＹＥＳ）、更新後の第１ニューラルネットワークの単語分散表現と単語畳み込み層の重みをＲＡＭ２４あるいは記憶装置３０に保存し、事前学習が終了する（Ｓ２１０）。
例えば、単語分散表現が３次元として
「嬉しい」＝［１．１，０．１，−０．２］
「悲しい」＝［０．２，０．３，１．５］
「貰う」＝［０．７，０．２，−０．１］
であると仮定する。
「嬉しい」＝［１．１，０．１，−０．２］
「悲しい」＝［０．２，０．３，１．５］
「貰う」＝［０．７，０．２，−０．１］
であると仮定する。
畳み込み層の計算では、ｉ番目の結果ｃｉは、ｘを単語列として以下の式で表現される。
ｃｉ＝ｆ（ｗ・ｘｉ：ｉ＋ｈ−１）
ｗ∈Ｒｈｋ
ｃｉ＝ｆ（ｗ・ｘｉ：ｉ＋ｈ−１）
ｗ∈Ｒｈｋ
ここで、ｈは畳み込みのウィンドウ幅、ｋは特徴マップ数、ｗは重み（重み行列）、ｘｉ：ｉ＋ｈ−１はｉ番目からｉ＋ｈ−１番目までの部分単語列である。
ウィンドウ幅ｈ＝１の単語畳み込み処理の重み行列ｗは、ランダムに初期化される。例えば、
ｗ＝［０．１，−０．１，−０．２］
に初期化される。なお、ｈ＞１であれば、２単語以上について単語分散表現の次元の組合せに対する処理となる。
ｗ＝［０．１，−０．１，−０．２］
に初期化される。なお、ｈ＞１であれば、２単語以上について単語分散表現の次元の組合せに対する処理となる。
単語学習処理を行い、単語分散表現の第１次元がポジティブに相間があり第３次元がネガティブに相間があるとすると、重み行列ｗの第１次元と第３次元の重みが学習により更新される。例えば、上記の初期値に対し、
ｗ＝［２．０，−０．１，−１．８］
に更新される。
ｗ＝［２．０，−０．１，−１．８］
に更新される。
以上のようにして更新された重み行列ｗには単語分散表現の各次元とポジティブ・ネガティブの関係が学習されているので、文／文書分類学習部１２で別途、ランダムに初期化する場合と比べて性能向上及び学習時間の短縮が得られる。
事前学習が終了した後、事前学習で得られた重み行列ｗを用いて図８の処理を実行する。言い換えれば、第１ニューラルネットワークで事前学習して得られた重み行列ｗを、第２ニューラルネットワークの重み行列ｗの初期値として与える。
図８において、まず重みを初期化する（Ｓ３０１）。ＲＡＭ２４あるいは記憶装置３０に保存された重みを用いて、単語分散表現と単語畳み込み層の重みを初期化する。
次に、文／文書ラベル付きテキストデータベース１２１からラベル付きテキストを選択する（Ｓ３０２）。
次に、ラベル付きテキストから単語を抽出し（Ｓ３０３）、スニペット中の単語を単語分散表現に変換する（Ｓ３０４）。
次に、単語分散表現の列に対してフィルタ幅ｈ１、特徴マップ数ｋ１の畳み込み演算を行い（Ｓ３０５）、単語畳み込み結果に対してさらにフィルタ幅ｈ２、特徴マップ数ｋ２の畳み込み演算を行う（Ｓ３０６）。フィルタ幅ｈ２、特徴マップ数ｋ２の畳み込み演算が文／文書の畳み込みに相当する。
次に、ｋ２個の特徴マップについて最大の値を抽出し（Ｓ３０７）、ｋ２個の最大特徴とラベルとの間の損失関数を算出する（Ｓ３０８）。
次に、算出された損失を文／文書畳み込み層に逆伝播させ、第２ニューラルネットワークの文／文書畳み込み層の重みを更新する（Ｓ３０９）。
次に、算出された損失を単語畳み込み層に逆伝播させ、第２ニューラルネットワークの単語畳み込み層の重みを更新する（Ｓ３１０）。
次に、算出された損失を単語分散表現に逆伝播させ、第２ニューラルネットワークの単語分散表現を更新する（Ｓ３１１）。
次に、全ラベル付きテキストについて処理したか否かを判定し（Ｓ３１２）、全ラベル付きテキストを処理していなければ（Ｓ３１２でＮＯ）、次のラベル付きテキストを選択して同様の処理を繰り返す（Ｓ３１３）。
以上の処理により、ラベル付きテキストデータベース１２１を教師データとして用いて単語分散表現、単語畳み込み層の重み、及び文／文書畳み込み層の重みが更新される。
図９は、学習済みのテキスト解析装置の入出力の一例を示す。学習済みのテキスト解析装置に対して、任意のテキスト、例えば「新しいスマホを買えてとても嬉しいです！！」等のテキストを入力すると、「ポジティブ」のラベルが出力され分類される。この場合、テキスト解析装置は、文／文書の評判分類器として機能し得る。
このように、本実施形態では、テキスト（ラベルなし）データベース１０１と分類情報付き辞書データベース１０２を用いて単語単位の分類情報を第１ニューラルネットワークで事前に学習し、この事前学習により得られた単語単位の分類情報を部分構造として用いて文／文書単位で第２ニューラルネットワークで処理しているので、単語単位の分類情報を用いない場合と比べて文／文書単位の処理の精度を向上させることができる。
また、本実施形態では、単語単位の分類情報を第１ニューラルネットワークで事前に学習して取得するので、単語単位の分類情報が付与された構文木コーパスが不要であり、当該コーパスを構築するためのコストが不要化される。
以上、本発明の実施形態について説明したが、本発明はこれに限定されず種々の変形が可能である。以下にこれらの変形例について説明する。
＜変形例１＞
実施形態では、テキスト（ラベルなし）データベース１０１、分類情報付き辞書データベース１０２、及び文／文書ラベル付きテキストデータベース１２１は記憶装置３０に記憶されているが、それぞれ別の記憶装置に記憶されていてもよく、ネットワーク上のそれぞれ別のサーバコンピュータに記憶されていてもよい。
実施形態では、テキスト（ラベルなし）データベース１０１、分類情報付き辞書データベース１０２、及び文／文書ラベル付きテキストデータベース１２１は記憶装置３０に記憶されているが、それぞれ別の記憶装置に記憶されていてもよく、ネットワーク上のそれぞれ別のサーバコンピュータに記憶されていてもよい。
また、本実施形態において、ＣＰＵ２０が図１における単語抽出手段１０３、スニペット抽出手段１０４、単語分散表現変換手段１０５、単語畳み込み手段１０６、最大特徴抽出手段１０７、辞書分類対応付け手段１０８として機能するとともに、単語抽出手段１２２、単語分散表現変換手段１２３、単語畳み込み手段１２４、文／文書畳み込み手段１２５、最大特徴抽出手段１２６、文／文書ラベル対応付け手段１２７として機能するとして説明したが、これら複数のモジュールを複数のＣＰＵで分担して実現してもよい。
さらに、単語抽出手段１０３と単語抽出手段１２２、単語分散表現変換手段１０５と単語分散表現変換手段１２３、単語畳み込み手段１０６と単語畳み込み手段１２４、最大特徴抽出手段１０７と最大特徴抽出手段１２６はそれぞれ同一又は類似する機能を有しているので、これらをそれぞれ共通化してもよい。
＜変形例２＞
実施形態では、スニペットとして見出し語の周辺Ｌ語を抽出するものとし、Ｌ＝２としているが、Ｌ＝１、あるいはＬ＝３、Ｌ＝４等としてもよい。要するに、分類情報付き辞書データベース１０２に記憶されている見出し語の前後の１つ又は複数の単語を抽出してスニペットを抽出すればよい。一般に、Ｌは１よりも２，３，４・・・の方が解析精度は向上すると考えられるが、スニペットの数が増大するとその分だけ処理が複雑化して時間を要することになる。従って、見出し語の前後２語程度が適当と考えられるが、必ずしもこれに限定されない。種々のＬについて学習し、精度及び処理時間の観点からＬを最適化してもよい。
実施形態では、スニペットとして見出し語の周辺Ｌ語を抽出するものとし、Ｌ＝２としているが、Ｌ＝１、あるいはＬ＝３、Ｌ＝４等としてもよい。要するに、分類情報付き辞書データベース１０２に記憶されている見出し語の前後の１つ又は複数の単語を抽出してスニペットを抽出すればよい。一般に、Ｌは１よりも２，３，４・・・の方が解析精度は向上すると考えられるが、スニペットの数が増大するとその分だけ処理が複雑化して時間を要することになる。従って、見出し語の前後２語程度が適当と考えられるが、必ずしもこれに限定されない。種々のＬについて学習し、精度及び処理時間の観点からＬを最適化してもよい。
＜変形例３＞
実施形態の解析対象は文／文書のテキストであるが、音声を入力してテキスト化し、当該テキストを解析対象としてもよい。この場合、テキスト解析装置は、テキスト化音声解析装置として機能し得る。
実施形態の解析対象は文／文書のテキストであるが、音声を入力してテキスト化し、当該テキストを解析対象としてもよい。この場合、テキスト解析装置は、テキスト化音声解析装置として機能し得る。
＜変形例４＞
実施形態では、一つのコンピュータに単語分類学習部１０及び文／文書分類学習部１２がともに実装されているが、これらをそれぞれ別のコンピュータに実装してもよい。
実施形態では、一つのコンピュータに単語分類学習部１０及び文／文書分類学習部１２がともに実装されているが、これらをそれぞれ別のコンピュータに実装してもよい。
図１０は、この場合のシステム構成を示す。単語分類学習部１０を実装するコンピュータ、及び文／文書分類学習部１２を実装するコンピュータがネットワーク１００に接続される。また、テキスト（ラベルなし）データベース１０１、分類情報付き辞書データベース１０２、及び文／文書ラベル付きテキストデータベース１２１もネットワーク１００に接続される。単語分類学習部１０は、単語抽出手段１０３、スニペット抽出手段１０４、単語分散表現変換手段１０５、単語畳み込み手段１０６、最大特徴抽出手段１０７、辞書分類対応付け手段１０８を備える。文／文書分類学習部１２は、単語抽出手段１２２、単語分散表現変換手段１２３、単語畳み込み手段１２４、文／文書畳み込み手段１２５、最大特徴抽出手段１２６、文／文書ラベル対応付け手段１２７を備える。
単語分類学習部１０は、事前学習して得られた更新後の単語分散表現と単語畳み込み層の重みをネットワーク１００を介して文／文書分類学習部１２に供給する。文／文書分類学習部１２は、供給された単語分散表現と単語畳み込み層の重みを用いて初期化し、文／文書ラベル付きテキストデータベース１２１を用いて学習する。
単語分類学習部１０は、事前学習して得られた更新後の単語分散表現と単語畳み込み層の重みを自己の記憶装置に記憶してもよく、あるいはネットワーク上の記憶装置、例えば文／文書ラベル付きテキストデータベース１２１に記憶してもよい。この場合、文／文書分類学習部１２は、ネットワーク１００を介して文／文書ラベル付きテキストデータベース１２１からテキストとともに事前学習された更新後の単語分散表現と単語畳み込み層の重みを読み込む。
単語分類学習部１０が実装されたコンピュータは、文／文書分類学習部１２にて実行される文／文書分類学習処理及び学習終了後のテキスト解析処理用の事前処理を実行するものであり、この意味で当該コンピュータもテキスト解析処理として機能し得る。
＜変形例５＞
実施形態では、ＣＰＵ２０及び処理プログラムによりニューラルネットワーク（第１ニューラルネットワーク及び第２ニューラルネットワーク）を実装しているが、これに代えて、専用ハードウェア（ＡＳＩＣ）によりニューラルネットワークを実装してもよく、あるいはＦＰＧＡを用いて実装してもよい。ＦＰＧＡを用いる場合でも、その一部をソフトウェアで実装してもよく、ハードウェアとソフトウェアの複合体として実装してもよい。
実施形態では、ＣＰＵ２０及び処理プログラムによりニューラルネットワーク（第１ニューラルネットワーク及び第２ニューラルネットワーク）を実装しているが、これに代えて、専用ハードウェア（ＡＳＩＣ）によりニューラルネットワークを実装してもよく、あるいはＦＰＧＡを用いて実装してもよい。ＦＰＧＡを用いる場合でも、その一部をソフトウェアで実装してもよく、ハードウェアとソフトウェアの複合体として実装してもよい。
１０ 単語分類学習部、１２ 文／文書分類学習部、１０１ テキスト（ラベルなし）データベース、１０２ 分類情報付きデータベース、１０３ 単語抽出手段、１０４ スニペット抽出手段、１０５ 単語分散表現変換手段、１０６ 単語畳み込み手段、１０７ 最大特徴抽出手段、１０８ 辞書分類対応付け手段、１２１ 文／文書ラベル付きテキストデータベース、１２２ 単語抽出手段、１２３ 単語分散表現変換手段、１２４ 単語畳み込み手段、１２５ 文／文書畳み込み手段、１２６ 最大特徴抽出手段、１２７ 文／文書ラベル対応付け手段。
Claims (2)
- ラベルなしのテキストから、肯定的、否定的、中立的のいずれか、または喜怒哀楽のいずれかのラベルを含む分類情報付きの見出し語周辺の１つ又は複数の単語をスニペットとして抽出するスニペット抽出手段と、
抽出したスニペット中の単語を用いて第１ニューラルネットワークで事前学習して単語単位の分類情報を取得する取得手段であり、
前記スニペット中の単語を単語分散表現に変換し、
前記単語分散表現の列に対して畳み込み演算を行い、
誤差逆伝播法により前記単語分散表現及び単語畳み込み層の重みを更新し、前記単語単位の分類情報として取得する、取得手段と、
前記取得手段での事前学習により取得された前記単語単位の分類情報を用いて第２ニューラルネットワークの重みを初期化し、ラベル付きのテキストを教師データとして用いて第２ニューラルネットワークで学習し、任意のテキストが入力された場合に当該テキストの分類を出力すべく学習する学習手段であり、
前記単語単位の分類情報を用いて単語分散表現と単語畳み込み層の重みを初期化し、
前記ラベル付きのテキストから単語をスニペットとして抽出し、
抽出したスニペット中の単語を単語分散表現に変換し、
前記単語分散表現の列に対して畳み込み演算を行い、
誤差逆伝播法により、初期化された前記単語分散表現及び単語畳み込み層の重みを更新する、学習手段と、
を備えるテキスト解析装置。 - コンピュータを、
ラベルなしのテキストから、肯定的、否定的、中立的のいずれか、または喜怒哀楽のいずれかのラベルを含む分類情報付きの見出し語周辺の１つ又は複数の単語をスニペットとして抽出するスニペット抽出手段と、
抽出したスニペット中の単語を用いて第１ニューラルネットワークで事前学習して単語単位の分類情報を取得する取得手段であり、
前記スニペット中の単語を単語分散表現に変換し、
前記単語分散表現の列に対して畳み込み演算を行い、
誤差逆伝播法により前記単語分散表現及び単語畳み込み層の重みを更新し、前記単語単位の分類情報として取得する、取得手段と、
前記取得手段での事前学習により取得された前記単語単位の分類情報を用いて第２ニューラルネットワークの重みを初期化し、ラベル付きのテキストを教師データとして用いて第２ニューラルネットワークで学習し、任意のテキストが入力された場合に当該テキストの分類を出力すべく学習する学習手段であり、
前記単語単位の分類情報を用いて単語分散表現と単語畳み込み層の重みを初期化し、
前記ラベル付きのテキストから単語をスニペットとして抽出し、
抽出したスニペット中の単語を単語分散表現に変換し、
前記単語分散表現の列に対して畳み込み演算を行い、
誤差逆伝播法により、初期化された前記単語分散表現及び単語畳み込み層の重みを更新する、学習手段、
として機能させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016155722A JP6720764B2 (ja) | 2016-08-08 | 2016-08-08 | テキスト解析装置及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016155722A JP6720764B2 (ja) | 2016-08-08 | 2016-08-08 | テキスト解析装置及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018025874A JP2018025874A (ja) | 2018-02-15 |
| JP6720764B2 true JP6720764B2 (ja) | 2020-07-08 |
Family
ID=61193789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016155722A Expired - Fee Related JP6720764B2 (ja) | 2016-08-08 | 2016-08-08 | テキスト解析装置及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6720764B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11386354B2 (en) | 2017-06-16 | 2022-07-12 | Ns Solutions Corporation | Information processing apparatus, information processing method, and program |
| JP6980616B2 (ja) * | 2018-08-09 | 2021-12-15 | 株式会社日立製作所 | 計算機システム及び学習方法 |
| JP7186591B2 (ja) * | 2018-12-03 | 2022-12-09 | 日本放送協会 | テキスト分類装置、学習装置、およびプログラム |
| JP7757023B2 (ja) * | 2019-01-11 | 2025-10-21 | 株式会社東芝 | 分類支援システム、分類支援装置、分類支援方法、及びプログラム |
| CN110472040B (zh) * | 2019-06-26 | 2024-08-20 | 平安科技（深圳）有限公司 | 评价信息的提取方法及装置、存储介质、计算机设备 |
| CN111222344B (zh) * | 2020-01-03 | 2023-07-18 | 支付宝(杭州)信息技术有限公司 | 训练神经网络的方法、装置及电子设备 |
| KR102536775B1 (ko) * | 2020-10-21 | 2023-05-31 | 네이버 주식회사 | 검색 질의의 의도를 반영한 검색 결과 제공 방법 및 시스템 |
| JP7665390B2 (ja) * | 2021-04-13 | 2025-04-21 | 日産自動車株式会社 | 情報処理装置及び情報処理方法 |
| KR102557088B1 (ko) * | 2021-05-07 | 2023-07-18 | 김상진 | 독해와 작문 능력의 향상을 가이드하는 방법 및 그 장치 |
| CN114020917A (zh) * | 2021-11-05 | 2022-02-08 | 南京理工大学 | 基于自注意力机制与卷积神经网络的新闻文本分类方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2764343B2 (ja) * | 1990-09-07 | 1998-06-11 | 富士通株式会社 | 節／句境界抽出方式 |
| JP5146979B2 (ja) * | 2006-06-02 | 2013-02-20 | 株式会社国際電気通信基礎技術研究所 | 自然言語における多義解消装置及びコンピュータプログラム |
| JP2010152561A (ja) * | 2008-12-24 | 2010-07-08 | Toshiba Corp | 類似表現抽出装置、サーバ装置及びプログラム |
-
2016
- 2016-08-08 JP JP2016155722A patent/JP6720764B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018025874A (ja) | 2018-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6720764B2 (ja) | テキスト解析装置及びプログラム | |
| Arora et al. | Character level embedding with deep convolutional neural network for text normalization of unstructured data for Twitter sentiment analysis | |
| Khan et al. | A survey on the state-of-the-art machine learning models in the context of NLP | |
| Yang et al. | A joint sequential and relational model for frame-semantic parsing | |
| CN109325229B (zh) | 一种利用语义信息计算文本相似度的方法 | |
| Zhao et al. | ZYJ123@ DravidianLangTech-EACL2021: Offensive language identification based on XLM-RoBERTa with DPCNN | |
| CN108733653A (zh) | 一种基于融合词性和语义信息的Skip-gram模型的情感分析方法 | |
| WO2018028077A1 (zh) | 一种基于深度学习的中文语义分析的方法及装置 | |
| CN109598387A (zh) | 基于双向跨模态注意力网络模型的股价预测方法及系统 | |
| Shikali et al. | Enhancing African low-resource languages: Swahili data for language modelling | |
| CN110969023B (zh) | 文本相似度的确定方法及装置 | |
| Banik et al. | Gru based named entity recognition system for bangla online newspapers | |
| Xu et al. | Sentence segmentation for classical Chinese based on LSTM with radical embedding | |
| Wan et al. | A deep neural network model for coreference resolution in geological domain | |
| Svärd et al. | Semantic domains in Akkadian texts | |
| CN110287326A (zh) | 一种带背景描述的企业情感分析方法 | |
| CN114742034A (zh) | 基于句法依存的交易信息识别方法、装置、系统及介质 | |
| Elsherif et al. | Perspectives of arabic machine translation | |
| CN114417824B (zh) | 基于依存句法预训练模型的篇章级关系抽取方法及系统 | |
| Bach et al. | Exploiting discourse information to identify paraphrases | |
| Tran et al. | Inducing grammars with and for neural machine translation | |
| CN116741141A (zh) | 语音合成方法、语音合成装置、电子设备及存储介质 | |
| Agrawal et al. | Neural machine translation for english-Manipuri and English-Assamese | |
| Salman et al. | Breaking language barriers with image detection and natural language processing model for English to Spanish translation | |
| Hossain et al. | Bert-based text simplification approach to reduce linguistic complexity of bangla language |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190610 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200601 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6720764 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |