Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5223671B2 - テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム - Google Patents
[go: Go Back, main page]

JP5223671B2 - テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム - Google Patents

テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム Download PDF

Info

Publication number
JP5223671B2
JP5223671B2 JP2008517833A JP2008517833A JP5223671B2 JP 5223671 B2 JP5223671 B2 JP 5223671B2 JP 2008517833 A JP2008517833 A JP 2008517833A JP 2008517833 A JP2008517833 A JP 2008517833A JP 5223671 B2 JP5223671 B2 JP 5223671B2
Authority
JP
Japan
Prior art keywords
text
feature
source
category
texts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008517833A
Other languages
English (en)
Other versions
JPWO2007138872A1 (ja
Inventor
崇博 池田
聡 中澤
要祐 坂尾
研治 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008517833A priority Critical patent/JP5223671B2/ja
Publication of JPWO2007138872A1 publication Critical patent/JPWO2007138872A1/ja
Application granted granted Critical
Publication of JP5223671B2 publication Critical patent/JP5223671B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34Browsing; Visualisation therefor
    • G06F16/345Summarisation for human users
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、テキスト集合から特徴を抽出するテキストマイニング装置に関し、特に複数の異なる種類のテキストから構成されるテキスト集合から特徴を抽出するテキストマイニング装置に関する。
テキストマイニングとは、ある分類軸に従って複数のカテゴリに分類されたテキストの集合を入力とし、分析対象として利用者が指定する特定のカテゴリに属するテキストに特有の特徴を発見する処理である。これにより、利用者は、指定したカテゴリがどのような特徴を持っているのかを知ることができる。
関連するテキストマイニング装置は、各テキストから単語を抽出し、分析対象のカテゴリに属するテキストと関連性が高い単語、もしくは、単語の組み合わせを、そのカテゴリの特徴として抽出するように構成される。
この種のテキストマイニング装置の一例が、特許文献1に記載されている。この特許文献1に記載されたテキストマイニング装置は、マイニング対象のテキストを特徴付ける語句を抽出する特徴語抽出処理部と、分析の対象とする分類軸を設定する分析軸設定処理部と、分類軸の各カテゴリと関連する度合いが高い語句を抽出する関連語句取得処理部とを有し、分析の対象として利用者が設定した分類軸の各カテゴリと深く関連する語句を抽出する。
特開2003−141134号公報
テキストマイニングにおいて、マイニング対象のテキストの集合が、出典が異なる複数の種類のテキストからなる場合、抽出された特徴は、必ずしも各出典のテキストが共通に持つ特徴であるとは限らない。
このような場合、利用者に対して、抽出されたそれぞれの特徴が、出典によらず、あらゆるテキストに共通のものであるのか、あるいは、特定の出典のテキストに偏って見られるものであるのかということを示すことができれば、利用者がより多くの知見を得られる可能性がある。
例えば、ある商品に関するアンケートを実施し、回答者がその商品に関心があるかどうかによって「商品への関心あり」「商品への関心なし」の2つにカテゴリ分けされた、回答のテキストが多数得られたとする。このとき、このテキストの集合を対象としてテキストマイニングを行い、例えば、「商品への関心あり」のカテゴリの回答と関連性が高い単語を、そのカテゴリの特徴として抽出することができる。ここでは、「商品への関心あり」というカテゴリの特徴として、「デザイン」「価格」「機能」等の単語が抽出されたものとする。
一方、アンケートが複数の地区で実施された場合、マイニング対象のテキストは、第1の地区で得られた回答を出典とするテキストと、第2の地区で得られた回答を出典とするテキスト等のように、アンケートを実施した地区が異なる複数の種類のテキストからなることがある。この場合、「商品への関心あり」というカテゴリの特徴として抽出された「デザイン」「価格」「機能」等の単語は、必ずしも各地区の回答に共通に出現する単語であるとは限らず、第1の地区の回答にしか出現しない単語や、第2の地区の回答にしか出現しない単語である可能性がある。
このとき、例えば、「デザイン」という単語は、第1の地区の回答に偏って出現しており、「価格」という単語は、第2の地区の回答に偏って出現しているという状況があったとすると、そのことを利用者に示すことができれば、利用者は、第1の地区では、特に「デザイン」が重視され、第2の地区では、特に「価格」が重視されている可能性があることに気付くことができる。
次に、別の例として、例えば、コンタクトセンタにおいて、受付内容によって「苦情」「要望」等のカテゴリに分類された、顧客からの問い合わせ内容を記述したテキストが蓄積されていたとする。このとき、このテキストの集合を対象としてテキストマイニングを行い、例えば、「苦情」というカテゴリのテキストと関連性が高い単語を、そのカテゴリの特徴として抽出することができる。
一方、コンタクトセンタが、メールによる問い合わせと電話による問い合わせの双方を受け付ける場合には、マイニング対象のテキストが顧客からのメールを出典とするテキスト、および、顧客からの電話を出典とする、その通話内容を音声認識した認識結果のテキストの2種類のテキストからなることがある。この場合、「苦情」というカテゴリの特徴として抽出された単語は、必ずしも電話による問い合わせとメールによる問い合わせの双方に共通に出現する単語であるとは限らず、電話による問い合わせにしか出現しない単語や、メールによる問い合わせにしか出現しない単語である可能性がある。
一般に、音声認識によって音声データをテキスト化する場合、発話された単語をすべて正しく認識できるとは限らず、発話された単語と異なる単語に誤認識してしまうことがある。このため、例えば、音声認識によって「故障」という単語が「呼称」と誤認識され、通話内容を音声認識した認識結果にのみ「呼称」という単語が含まれることがある。このため、例えば、「苦情」というカテゴリの特徴として抽出された単語が、「故障」「呼称」「動作音」等であったときに、「呼称」という単語が通話内容を音声認識した認識結果のみに偏って出現するという状況であれば、そのことを利用者に示すことによって、利用者は、「呼称」という単語が「故障」という単語を誤認識したものである可能性があることに気付くことができる。
しかしながら、関連するテキストマイニング装置は、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合を考慮しておらず、抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるのか、あるいは、特定の出典のテキストに偏って見られるものであるのかということを利用者に示すことができなかった。
一方、マイニング対象のテキストが複数の分類軸に従って分類されている場合には、テキストマイニングによって抽出された特徴(利用者が分析対象として指定したカテゴリの特徴)が、ある分類軸のどのカテゴリのテキストにも共通して出現するものであるのか、あるいは、ある分類軸の特定のカテゴリのテキストに偏って出現するものであるのかということを示すことができれば、利用者がより多くの知見を得られる可能性がある。
例えば、ある商品に関するアンケートに対する回答のテキストが多数得られているとする。また、回答のテキストは、回答者がその商品に関心があるかどうかという分類軸に従って、「商品への関心あり」「商品への関心なし」の2つにカテゴリに分類されており、回答者の性別という分類軸に従って、「男性」「女性」という2つのカテゴリに分類されているものとする。このとき、このテキストの集合を対象としてテキストマイニングを行い、例えば、「商品への関心あり」のカテゴリの回答と関連性が高い単語を、そのカテゴリの特徴として抽出することができる。例えば、「商品への関心あり」というカテゴリの特徴として、「デザイン」「価格」「機能」等の単語が抽出されたものとする。
これらの単語は、回答者がその商品に関心があるかどうかという分類軸に関しては、「商品への関心あり」というカテゴリと強く関連することが自明だが、他の分類軸(例えば、回答者の性別)に関しては、その分類軸の各カテゴリとどのような関連性を持つのかを一概に言うことはできない。回答者の性別とは無関係に、すべてのテキストに一様に出現する単語である可能性もあれば、回答者が「女性」である回答にしか出現しない単語や、回答者が「男性」である回答にしか出現しない単語である場合もある。
このとき、例えば、「デザイン」という単語は、回答者が「女性」である回答に偏って出現しており、「価格」という単語は、回答者が「男性」である回答に偏って出現しているという状況があったとすると、そのことを利用者に示すことができれば、利用者は、女性が「デザイン」を重視し、男性が「価格」を重視している可能性があることに気付くことができる。
しかしながら、関連するテキストマイニング装置は、抽出された特徴がテキスト中に出現するかどうかということに関して、ある分類軸の各カテゴリ間で差異があるかどうかを考慮しておらず、それぞれの特徴が、あらゆるテキストに一様に見られるものであるのか、あるいは、特定のカテゴリのテキストに偏って見られるものであるのかということを利用者に示すことができなかった。
以上のように、関連するテキストマイニング装置の第1の問題点は、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるのか、あるいは、特定の出典のテキストに偏って見られるものであるのかということを利用者に示すことができなかったことにある。
その理由は、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合を考慮していないためである。
第2の問題点は、マイニング対象のテキストが複数の分類軸に従って分類されている場合に、テキストマイニングによって抽出された特徴が、あらゆるテキストに一様に見られるものであるのか、あるいは、特定のカテゴリのテキストに偏って見られるものであるのかということを利用者に示すことができなかったことにある。
その理由は、テキストマイニングによって抽出された各特徴がテキスト中に出現するかどうかという点に関して、テキストが属するカテゴリによる差異を何ら考慮していないためである。
本発明の目的は、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるのか、あるいは、特定の出典のテキストに偏って見られるものであるのかということを利用者に示すことができるテキストマイニング装置等を提供することにある。
本発明の他の目的は、マイニング対象のテキストが複数の分類軸に従って分類されているときに、抽出された特徴のそれぞれがあらゆるテキストに一様に見られるものであるのか、あるいは、ある分類軸の特定のカテゴリのテキストに偏って見られるものであるのかということを利用者に示すことができるテキストマイニング装置等を提供することにある。
本発明の、テキストマイニング装置は、複数の出典から集められたテキストの集合から抽出した特徴の各々に対して、該特徴を含むテキストの出典情報を生成する出典情報生成手段と、該特徴と該出典情報とを対応付けて出力するマイニング結果出力手段とを有する。
ここで、「出典情報」とは、特徴を含むテキストの出典がどのような傾向にあるかを示す情報である。
上記テキストマイニング装置によれば、テキスト集合から抽出された各特徴とその特徴を含むテキストの出典に関する情報を対応付けて利用者に提示することができる。
そのため、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるのか、あるいは、特定の出典のテキストに偏って見られるものであるのかということを利用者に示すことができる。
本発明のテキストマイニング装置は、複数の分類軸で分類されたテキストの集合から抽出した特徴の各々に対して、分類軸の1つであって、テキストが該特徴を含むかどうかと、該分類軸においてテキストが属するカテゴリとが強く連関する分類軸を判別する連関分類軸判別手段と、該分類軸のカテゴリであって、該特徴を含むテキストの集合において、該カテゴリに属するテキストの件数が、テキスト集合の全体における該分類軸のカテゴリ別のテキストの件数に鑑みて妥当な値と大きく乖離しているカテゴリを判別する特異カテゴリ判別手段と、該特徴と該カテゴリとを対応付けて出力する特異カテゴリ付抽出結果出力手段とを有する。
上記テキストマイニング装置によれば、テキストマイニングによって抽出されたそれぞれの特徴に対して、テキストがその特徴を含むかどうかと強く連関する分類軸を判別し、さらに、その分類軸のカテゴリのうち、その特徴を含むテキストの集合において、そのカテゴリに属するテキストの実際の件数が、期待値と大きく乖離しているものを判別して、それぞれの特徴にそのカテゴリを付けて出力することができる。
そのため、マイニング対象のテキストが複数の分類軸に従って分類されているときに、抽出された特徴のそれぞれがあらゆるテキストに一様に見られるものであるのか、あるいは、ある分類軸の特定のカテゴリのテキストに偏って見られるものであるのかということを利用者に示すことができる。
本発明の、テキストマイニング方法は、複数の出典から集められたテキストの集合から特徴を抽出し、特徴の各々に対して、該特徴を含むテキストの出典情報を生成し、該特徴と該出典情報とを対応付けて出力する。
上記テキストマイニング方法によれば、テキスト集合から抽出された各特徴とその特徴を含むテキストの出典に関する情報を対応付けて利用者に提示することができる。
そのため、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるのか、あるいは、特定の出典のテキストに偏って見られるものであるのかということを利用者に示すことができる。
本発明のテキストマイニング方法は、複数の分類軸で分類されたテキストの集合から特徴を抽出し、特徴の各々に対して、分類軸の1つであって、テキストが該特徴を含むかどうかと、該分類軸においてテキストが属するカテゴリとが強く連関する分類軸を判別し、該分類軸のカテゴリであって、該特徴を含むテキストの集合において、該カテゴリに属するテキストの件数が、テキストの集合全体における該分類軸のカテゴリ別のテキストの件数に鑑みて妥当な値と大きく乖離しているカテゴリを判別し、該特徴と該カテゴリとを対応付けて出力する(。
上記テキストマイニング方法によれば、テキストマイニングによって抽出されたそれぞれの特徴に対して、テキストがその特徴を含むかどうかと強く連関する分類軸を判別し、さらに、その分類軸のカテゴリのうち、その特徴を含むテキストの集合において、そのカテゴリに属するテキストの実際の件数が、期待値と大きく乖離しているものを判別して、それぞれの特徴にそのカテゴリを付けて出力することができる。
そのため、マイニング対象のテキストが複数の分類軸に従って分類されているときに、抽出された特徴のそれぞれがあらゆるテキストに一様に見られるものであるのか、あるいは、ある分類軸の特定のカテゴリのテキストに偏って見られるものであるのかということを利用者に示すことができる。
本発明のテキストマイニングプログラムは、コンピュータに、複数の出典から集められたテキストの集合から特徴を抽出し、特徴の各々に対して、該特徴を含むテキストの出典情報を生成する処理と、該特徴と該出典情報とを対応付けて出力させる処理とを実行させる。
上記テキストマイニングプログラムによれば、テキスト集合から抽出された各特徴とその特徴を含むテキストの出典に関する情報を対応付けて利用者に提示することができる。
そのため、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるのか、あるいは、特定の出典のテキストに偏って見られるものであるのかということを利用者に示すことができる。
本発明のテキストマイニングプログラムは、複数の分類軸で分類されたテキストの集合から特徴を抽出して出力する出力処理をコンピュータに実行させる。また、コンピュータに、特徴の各々に対して、分類軸の1つであって、テキストが該特徴を含むかどうかと、該分類軸においてテキストが属するカテゴリとが強く連関する分類軸を判別する処理と、該分類軸のカテゴリであって、該特徴を含むテキストの集合において、該カテゴリに属するテキストの件数が、テキストの集合全体における該分類軸のカテゴリ別のテキストの件数に鑑みて妥当な値と大きく乖離しているカテゴリを判別する処理とを実行させ、出力処理において、該特徴と該カテゴリとを対応付けて出力させる。
上記テキストマイニングプログラムによれば、テキストマイニングによって抽出されたそれぞれの特徴に対して、テキストがその特徴を含むかどうかと強く連関する分類軸を判別し、さらに、その分類軸のカテゴリのうち、その特徴を含むテキストの集合において、そのカテゴリに属するテキストの実際の件数が、期待値と大きく乖離しているものを判別して、それぞれの特徴にそのカテゴリを付けて出力することができる。
そのため、マイニング対象のテキストが複数の分類軸に従って分類されているときに、抽出された特徴のそれぞれがあらゆるテキストに一様に見られるものであるのか、あるいは、ある分類軸の特定のカテゴリのテキストに偏って見られるものであるのかということを利用者に示すことができる。
本発明によれば、テキスト集合から抽出された各特徴とその特徴を含むテキストの出典に関する情報を対応付けて利用者に提示することができる。
そのため、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるのか、あるいは、特定の出典のテキストに偏って見られるものであるのかということを利用者に示すことができる。
また、テキストマイニングによって抽出されたそれぞれの特徴に対して、テキストがその特徴を含むかどうかと強く連関する分類軸を判別し、さらに、その分類軸のカテゴリのうち、その特徴を含むテキストの集合において、そのカテゴリに属するテキストの実際の件数が、期待値と大きく乖離しているものを判別して、それぞれの特徴にそのカテゴリを付けて出力することができる。
そのため、マイニング対象のテキストが複数の分類軸に従って分類されているときに、抽出された特徴のそれぞれがあらゆるテキストに一様に見られるものであるのか、あるいは、ある分類軸の特定のカテゴリのテキストに偏って見られるものであるのかということを利用者に示すことができる。
次に、図を参照しながら本発明の第1の実施形態であるテキストマイニング装置11の構成と動作について説明する。
図1を参照すると、テキストマイニング装置11は、キーボード、マウス等の入力装置1と、情報を記憶するハードディスク装置等の記憶装置21と、プログラム制御により動作するデータ処理装置31と、ディスプレイ装置等の出力装置4とから構成される。
記憶装置21は、テキスト集合記憶部201と、カテゴリ情報記憶部202と、抽出結果記憶部203とを含む。
テキスト集合記憶部201は、マイニング対象のテキストを、それぞれのテキストの出典が分かるような形態で記憶する。このとき、例えば、図1に示すように、テキストをその出典別に第1出典テキスト集合記憶部から第N出典テキスト集合記憶部に分けて記憶してもよいし、各テキストに対応付けてそのテキストの出典を記憶するようにしてもよい。
カテゴリ情報記憶部202は、テキスト集合記憶部201に記憶される各テキストに対応付けて、そのテキストが属するカテゴリを表す情報を記憶する。
抽出結果記憶部203は、テキストマイニングの結果として、利用者が指定するカテゴリの特徴と、その特徴を含むテキストとを対応付けて記憶する。なお、テキストマイニングの結果として抽出される特徴とは、例えば、単独の単語、複数の単語の組合せ、フレーズ、文、段落等のようなテキストの一部分である。
データ処理装置31は、特徴表現抽出手段301と、主要出典判別手段302と、主要出典付抽出結果出力手段303とを含む。
特徴表現抽出手段301は、テキスト集合記憶部201に記憶されているテキスト集合に対してテキストマイニングを行い、入力装置1を通して利用者が指定するカテゴリの特徴を抽出する。また、その結果を抽出結果記憶部203に格納する。
テキストマイニングは、例えば、各テキストから単語を抽出し、分析対象のカテゴリに属するテキストと関連性が高い単語を、そのカテゴリの特徴として抽出するように構成することができる。なお、単語の代わりに、複数の単語の組合せ、フレーズ、文、段落等のようなテキストの一部分を特徴として抽出するようにしてもよい。
主要出典判別手段302(出典情報生成手段の一例)は、抽出結果記憶部203に格納されたそれぞれの特徴に対して、テキスト集合記憶部201を参照して、その特徴を含むテキストの主要な出典を判別し、出典情報としてその特徴に対応づける。例えば、抽出結果記憶部203に格納されたそれぞれの特徴に対して、その特徴を含むテキストの出典のうち、もっとも多いものを主要な出典として、その特徴に対応づけることができる。
なお、それぞれの特徴について、主要な出典を1つのみ対応づけるのではなく、複数の主要な出典を対応づけるようにしてもよい。また、主要な出典として適当なものがない場合には、何も対応づけないようにしてもよい。
例えば、抽出結果記憶部203に格納されたそれぞれの特徴に対して、その特徴を含むテキストの件数を出典別に計数し、その件数が予め定める閾値を超える出典すべてを、主要な出典としてその特徴に対応づけるようにしてもよい。また、抽出結果記憶部203に格納されたそれぞれの特徴に対して、その特徴を含むテキストの出典別の構成比率を求め、その比率が予め定める閾値を超える出典すべてを、主要な出典としてその特徴に対応づけるようにしてもよい。
また、複数の主要な出典を対応づけるようにする場合、主要な出典として判別されるものが数多くあるときは、そのすべてが主要であるとは考えにくいため、主要な出典として適当なものがないと判別し直すようにしてもよい。
主要出典付抽出結果出力手段303(マイニング結果出力手段の一例)は、抽出結果記憶部203に格納されたそれぞれの特徴について、その特徴を含むテキストの主要な出典を添えて、出力装置4を通して出力する。
次に、図1および図2を参照してテキストマイニング装置11の動作について詳細に説明する。
まず、特徴表現抽出手段301が、入力装置1を通して利用者が指定するマイニング対象のカテゴリを読み取る(ステップA1)。特徴表現抽出手段301は、カテゴリ情報記憶部202も参照して、テキストマイニングを実行し、テキスト集合記憶部201に格納されているテキストのうち、ステップA1において利用者が指定したカテゴリに属するものに特有な特徴と、その特徴を含むテキストの集合を得る(ステップA2)。特徴表現抽出手段301は、得られた特徴、および、その特徴を含むテキストの集合を対応付けて、抽出結果として抽出結果記憶部203に格納する(ステップA3)。
続いて、主要出典判別手段302が、抽出結果記憶部203に格納された抽出結果から、特徴表現抽出手段301によって抽出された特徴を1つ選択し(ステップA4)、その特徴を含むテキストの集合を読み出す(ステップA5)。さらに、テキスト集合記憶部201を参照して、その集合におけるテキストの主要な出典を判別する(ステップA6)。主要出典判別手段302は、抽出結果記憶部203に格納されたすべての特徴に対してこれらの処理を繰り返す(ステップA7)。
最後に、主要出典付抽出結果出力手段303が、抽出結果記憶部203に格納されたそれぞれの特徴について、ステップA4ないしA6の処理によって判別された、その特徴を含むテキストの主要な出典を付けて出力し(ステップA8)、処理を終了する。
なお、本実施の形態の説明では、主要出典判別手段302が、抽出結果記憶部203に格納されたすべての特徴に対して、その特徴を含むテキストの主要な出典を判別した後に、主要出典付抽出結果出力手段303が出力を行うように説明したが、主要出典判別手段302が、抽出結果記憶部203に格納された一部の特徴に対して、その特徴を含むテキストの主要な出典を判別し、主要出典付抽出結果出力手段303がその分の出力を行うことを繰り返すように構成してもよい。
次に、本実施の形態の効果について説明する。
本実施の形態では、テキストマイニングによって抽出されたそれぞれの特徴に対して、その特徴を含むテキストの主要な出典を判別し、特徴とともに出力する。これにより、利用者は、テキストマイニングによって抽出された特徴が、主としてどの出典のテキストに見られる特徴であるのかということを知ることができる。また、特に、主要な出典として適当なものがない場合には、出典を出力しないように構成することにより、利用者は、テキストマイニングによって抽出された特徴がいずれかの出典のテキストに偏って出現している場合に、そのことを知ることができる。
次に、図を参照しながら本発明の第2の実施形態であるテキストマイニング装置12の構成と動作について説明する。
図3を参照すると、テキストマイニング装置12は、データ処理装置32が、図1に示されたテキストマイニング装置11のデータ処理装置31の構成における主要出典判別手段302と主要出典付抽出結果出力手段303にかわり、構成比率計算手段304と、構成比率付抽出結果出力手段305を有する点で異なる。
構成比率計算手段304(出典情報生成手段の一例)は、抽出結果記憶部203に格納されたそれぞれの特徴に対して、テキスト集合記憶部201を参照し、出典情報としてその特徴を含むテキストの出典別の構成比率を求める。
構成比率付抽出結果出力手段305(マイニング結果出力手段の一例)は、抽出結果記憶部203に格納されたそれぞれの特徴について、その特徴を含むテキストの出典別の構成比率を添えて、出力装置4を通して出力する。このとき、構成比率は、それぞれの比率を数字で出力してもよいし、比率を示すグラフを用いて出力してもよい。また、比率の値そのものを示すかわりに、その大きさがどの程度かを示すアイコン等を出力するようにしてもよい。
次に、図3および図4を参照してテキストマイニング装置12の動作について詳細に説明する。
図4のステップA1ないしA3で示される、本実施の形態における特徴表現抽出手段301の動作は、第1の実施の形態における特徴表現抽出手段301の動作と同一のため、説明は省略する。
本実施の形態では、特徴表現抽出手段301が動作した後、構成比率計算手段304が、抽出結果記憶部203に格納された抽出結果から、特徴表現抽出手段301によって抽出された特徴を1つ選択し(ステップB1)、その特徴を含むテキストの集合を読み出す(ステップB2)。さらに、テキスト集合記憶部201を参照して、その集合におけるテキストの出典別の構成比率を計算する(ステップB3)。構成比率計算手段304は、抽出結果記憶部203に格納されたすべての特徴に対してこれらの処理を繰り返す(ステップB4)。
最後に、構成比率付抽出結果出力手段305が、抽出結果記憶部203に格納されたそれぞれの特徴について、ステップB1ないしステップB4の処理によって計算された、その特徴を含むテキストの出典別の構成比率を付けて出力し(ステップB5)、処理を終了する。
なお、本実施の形態の説明では、構成比率計算手段304が、抽出結果記憶部203に格納されたすべての特徴に対して、その特徴を含むテキストの出典別の構成比率を計算した後に、構成比率付抽出結果出力手段305が出力を行うように説明したが、構成比率計算手段304が、抽出結果記憶部203に格納された一部の特徴に対して、その特徴を含むテキストの出典別の構成比率を計算し、構成比率付抽出結果出力手段305がその分の出力を行うことを繰り返すように構成してもよい。
次に、テキストマイニング装置12の効果について説明する。
テキストマイニング装置12では、テキストマイニングによって抽出されたそれぞれの特徴に対して、その特徴を含むテキストの出典別の構成比率を計算し、特徴とともに出力する。これにより、利用者は、テキストマイニングによって抽出された特徴が、主としてどの出典のテキストに見られる特徴であるのかということを知ることができる。また、テキストマイニングによって抽出された特徴がいずれかの出典のテキストに偏って出現している場合に、利用者がその偏りの程度を知ることができる。
次に、図を参照しながら本発明の第3の実施形態であるテキストマイニング装置13の構成と動作について説明する。
図5を参照すると、テキストマイニング装置13は、データ処理装置33が、図1に示されたテキストマイニング装置11のデータ処理装置31の構成における主要出典判別手段302と主要出典付抽出結果出力手段303にかわり、特異出典判別手段306と、特異出典付抽出結果出力手段307を有する点で異なる。
特異出典判別手段306(出典情報生成手段の一例)は、抽出結果記憶部203に格納されたそれぞれの特徴に対して、テキスト集合記憶部201を参照し、出典情報として、その特徴を含むテキストの集合において特異な出典を判別して、その特徴に対応づける。ここで、特異な出典とは、その出典のテキストの件数が期待値と大きく乖離している出典のことを指すものとする。
例えば、テキスト集合記憶部201に、出典が「メール」のテキスト1500件と出典が「ワールドワイドウェブ(World Wide Web、以下「ウェブ」という)」のテキスト500件が格納されている場合、テキスト100件中で、出典が「メール」のテキストの件数の期待値は75で、出典が「ウェブ」のテキストの件数の期待値は25である。このテキスト100件中で、出典が「ウェブ」のテキストの実際の件数が期待値25と大きく乖離している場合、「ウェブ」は、この100件のテキストにおいて特異な出典ということになる。
実際の件数が期待値と大きく乖離しているかどうかは、例えば、実際の件数と期待値との差の絶対値が予め定める閾値を超えているかどうかによって判別することができる。また、期待値に対する実際の件数と期待値との差の絶対値の割合が予め定める閾値を超えているかどうかによって判別することもできる。また、これ以外の方法によって判別してもよい。
なお、特異出典判別手段306は、それぞれの特徴に対して、複数の特異な出典を判別するようにしてもよいし、実際の件数と期待値とがもっとも乖離しているもの1つを特異な出典とするようにしてもよい。
特異出典付抽出結果出力手段307(マイニング結果出力手段の一例)は、抽出結果記憶部203に格納されたそれぞれの特徴について、その特徴を含むテキストの集合において特異な出典を添えて、出力装置4を通して出力する。
なお、ある特徴を含むテキストの集合において特異な出典としては、その出典のテキストの件数が期待値を大きく上回るものと、期待値を大きく下回るものの2種類が存在する。本実施の形態では、特異出典判別手段306がその両者を区別して扱い、特異出典付抽出結果出力手段307が両者の違いが分かるように出力するように構成することができる。また、特異出典判別手段306がその片方のみを特異な出典として判別するようにしてもよい。
次に、図5および図6を参照してテキストマイニング装置13の動作について詳細に説明する。
図6のステップA1ないしA3で示される、本実施の形態における特徴表現抽出手段301の動作は、第1の実施の形態における特徴表現抽出手段301の動作と同一のため、説明は省略する。
本実施の形態では、特徴表現抽出手段301が動作した後、特異出典判別手段306が、抽出結果記憶部203に格納された抽出結果から、特徴表現抽出手段301によって抽出された特徴を1つ選択し(ステップC1)、その特徴を含むテキストの集合を読み出す(ステップC2)。さらに、その集合において特異な出典を判別する(ステップC3)。特異出典判別手段306は、抽出結果記憶部203に格納されたすべての特徴に対してこれらの処理を繰り返す(ステップC4)。
最後に、特異出典付抽出結果出力手段307が、抽出結果記憶部203に格納されたそれぞれの特徴について、ステップC1ないしC4の処理によって判別された、その特徴を含むテキストの集合において特異な出典を付けて出力し(ステップC5)、処理を終了する。
なお、本実施の形態の説明では、特異出典判別手段306が、抽出結果記憶部203に格納されたすべての特徴に対して、その特徴を含むテキストの集合において特異な出典を判別した後に、特異出典付抽出結果出力手段307が出力を行うように説明したが、特異出典判別手段306が、抽出結果記憶部203に格納された一部の特徴に対して、その特徴を含むテキストの集合において特異な出典を判別し、特異出典付抽出結果出力手段307がその分の出力を行うことを繰り返すように構成してもよい。
次に、本実施の形態の効果について説明する。
本実施の形態では、テキストマイニングによって抽出されたそれぞれの特徴に対して、その特徴を含むテキストにおいて特異な出典を判別し、特徴とともに出力する。これにより、テキストマイニングによって抽出された特徴がある出典のテキストに通常より極度に多く出現している場合、または、通常より極度に少なくしか出現していない場合に、利用者がそのことを知ることができる。
また、本発明の第1の実施の形態では、特に、テキスト集合記憶部201に格納されているテキストの出典が特定のものに偏っている場合、その出典がテキストの主要な出典として出力され、ある特徴を含むテキストの出典に、元のテキスト集合とは異なる偏りがあっても利用者に分からない可能性があったが、本実施の形態によれば、出典の偏りが元のテキスト集合と異なっている場合に、その出典が特異な出典として出力されるため、そのようなことがない。
次に、図を参照しながら本発明の第4の実施形態であるテキストマイニング装置14の構成と動作について説明する。
図7を参照すると、テキストマイニング装置14は、データ処理装置34が、図1に示されたテキストマイニング装置11のデータ処理装置31の構成における主要出典判別手段302と主要出典付抽出結果出力手段303にかわり、乖離度計算手段308と、乖離度付抽出結果出力手段309を有する点で異なる。
乖離度計算手段308(出典情報生成手段の一例)は、抽出結果記憶部203に格納されたそれぞれの特徴について、その特徴を含むテキストの集合を取得し、テキスト集合記憶部201を参照して、出典情報として、その集合における各出典のテキストの件数に関する乖離度を計算する。ここで、乖離度とは、件数の期待値と実際の件数がどの程度乖離しているかを表す値である。
乖離度としては、実際の件数と期待値との差や、期待値に対する実際の件数と期待値との差の割合等を採用することができる。また、これ以外の方法で乖離度を定義してもよい。
例えば、テキスト集合記憶部201に、全2000件のテキストが格納されており、そのうちの1500件の出典が「メール」であり、500件の出典が「ウェブ」であったとすると、テキスト100件中で、出典が「メール」のテキストの件数の期待値は100×1500/2000=75であり、出典が「ウェブ」のテキストの件数の期待値は100×500/2000=25である。このテキスト100件中で、実際には、出典が「メール」のテキストの件数が60件、出典が「ウェブ」のテキストの件数が40件であったとすると、乖離度として期待値に対する実際の件数と期待値との差の割合を採用する場合、出典が「メール」のテキストの件数に関する乖離度は、(60−75)÷75=−0.2、出典が「ウェブ」のテキストの件数に関する乖離率は、(40−25)÷25=0.6となる。
乖離度付抽出結果出力手段309(マイニング結果出力手段の一例)は、抽出結果記憶部203に格納されたそれぞれの特徴について、その特徴を含むテキストの件数の出典別の乖離度を添えて、出力装置4を通して出力する。このとき、それぞれの乖離度を数字で出力してもよいし、グラフを用いて出力してもよい。また、乖離度の値そのものを示すかわりに、その大きさがどの程度かを示すアイコン等を出力するようにしてもよい。
次に、図7および図8を参照してテキストマイニング装置14の動作について詳細に説明する。
図8のステップA1ないしA3で示される、本実施の形態における特徴表現抽出手段301の動作は、第1の実施の形態における特徴表現抽出手段301の動作と同一のため、説明は省略する。
本実施の形態では、特徴表現抽出手段301が動作した後、乖離度計算手段308が、抽出結果記憶部203に格納された抽出結果から、特徴表現抽出手段301によって抽出された特徴を1つ選択し(ステップD1)、その特徴を含むテキストの集合を読み出す(ステップD2)。さらに、その集合における各出典のテキストの件数に関する乖離度を計算する(ステップD3)。乖離度計算手段308は、抽出結果記憶部203に格納されたすべての特徴に対してこれらの処理を繰り返す(ステップD4)。
最後に、乖離度付抽出結果出力手段309が、抽出結果記憶部203に格納されたそれぞれの特徴について、ステップD1ないしD4の処理によって出典別ごとに計算されたテキストの件数に関する乖離度を付けて出力し(ステップD5)、処理を終了する。
なお、本実施の形態の説明では、乖離度計算手段308が、抽出結果記憶部203に格納されたすべての特徴に対して、その特徴を含むテキストの件数の出典別の乖離度を計算した後に、乖離度付抽出結果出力手段309が出力を行うように説明したが、乖離度計算手段308が、抽出結果記憶部203に格納された一部の特徴に対して、その特徴を含むテキストの件数の出典別の乖離度を計算し、乖離度付抽出結果出力手段309がその分の出力を行うことを繰り返すように構成してもよい。
次に、本実施の形態の効果について説明する。
本実施の形態では、テキストマイニングによって抽出されたそれぞれの特徴に対して、その特徴を含むテキストの件数の出典別の乖離度を計算し、特徴とともに出力する。テキストマイニングによって抽出された特徴がある出典のテキストに通常より極度に多く出現している場合、または、通常より極度に少なくしか出現していない場合、その出典のテキストの件数の乖離度の絶対値が大きくなり、利用者がそのことを知ることができる。また、そのとき、通常とどの程度乖離しているのかを知ることができる。
本発明の第1ないし第4の実施の形態の説明においては、特徴表現抽出手段301が、テキスト集合記憶部201に記憶されているテキスト集合に対して、入力装置1を通して利用者が指定するカテゴリの特徴を抽出するように説明したが、特定のカテゴリの特徴ではなく、テキスト集合全体の特徴を抽出するようにしてもよい。そのような構成をとる場合、カテゴリ情報記憶部202はなくてもかまわない。
この場合、特徴表現抽出手段301は、例えば、各テキストから単語を抽出し、多くのテキストに出現する単語を、テキスト集合全体の特徴として抽出するように構成することができる。なお、単語の代わりに、複数の単語の組合せ、フレーズ、文、段落等のようなテキストの一部分を特徴として抽出するようにしてもよい。
次に、図を参照しながら本発明の第5の実施形態であるテキストマイニング装置15の構成と動作について説明する。
図9を参照すると、テキストマイニング装置15は、データ処理装置35が、図1に示されるテキストマイニング装置11のデータ処理装置31の構成における主要出典判別手段302と主要出典付抽出結果出力手段303にかわり、連関分類軸判別手段310と、特異カテゴリ判別手段311と、特異カテゴリ付抽出結果出力手段312とを有する点で異なる。
なお、テキスト集合記憶部204は、図1に示されるテキストマイニング装置11におけるテキスト集合記憶部201と異なり、マイニング対象のテキストを、それぞれのテキストの出典が分かるような形態で記憶する必要はない。
また、カテゴリ情報記憶部205は、図1に示されるテキストマイニング装置11におけるカテゴリ情報記憶部202と異なり、複数の分類軸について、テキスト集合記憶部204に記憶される各テキストが属する、その分類軸におけるカテゴリを表す情報を記憶する。
このとき、例えば、図9に示すように、分類軸ごとに、第1分類軸カテゴリ情報記憶部から第N分類軸カテゴリ情報記憶部に、その分類軸の各カテゴリに属するテキストを記憶するようにしてもよいし、各テキストに対して、各分類軸におけるそのテキストのカテゴリを記憶するようにしてもよい。
連関分類軸判別手段310は、抽出結果記憶部203に格納された各特徴に対して、テキストがその特徴を含むかどうかが、テキストが属するカテゴリに応じて異なるかどうかを、カテゴリ情報記憶部205に記憶されている各分類軸について判定し、テキストがその特徴を含むかどうかと連関する分類軸を判別する。テキストが特徴を含むかどうかと、テキストが属するカテゴリとが連関するかどうかは、例えば、カイ(χ)2乗検定等を用いて判定することができる。
特異カテゴリ判別手段311は、抽出結果記憶部203に格納されたそれぞれの特徴について、連関分類軸判別手段310によって連関すると判別された分類軸のカテゴリのうち、その特徴を含むテキストの集合において特異なカテゴリを判別し、その特徴に対応づける。ここで、特異なカテゴリとは、そのカテゴリに属するテキストの件数が期待値と大きく乖離しているカテゴリのことを指す。
実際の件数が期待値と大きく乖離しているかどうかは、例えば、実際の件数と期待値の差の絶対値が予め定める閾値を超えているかどうかによって判別することができる。また、期待値に対する実際の件数と期待値の差の絶対値の割合が予め定める閾値を超えているかどうかによって判別することもできる。また、これ以外の方法によって判別してもよい。
なお、特異カテゴリ判別手段311は、それぞれの特徴に対して、複数の特異なカテゴリを判別するようにしてもよいし、実際の件数と期待値とがもっとも乖離しているもの1つを特異なカテゴリとするようにしてもよい。
特異カテゴリ付抽出結果出力手段312は、抽出結果記憶部203に格納されたそれぞれの特徴について、特異カテゴリ判別手段311によって判別された特異なカテゴリを添えて、出力装置4を通して出力する。
なお、ある特徴を含むテキストの集合において特異なカテゴリとしては、そのカテゴリに属するテキストの件数が期待値を大きく上回るものと、期待値を大きく下回るものの2種類が存在する。本実施の形態では、特異カテゴリ判別手段311が、その両者を区別して扱い、特異カテゴリ付抽出結果出力手段312が両者の違いが分かるように出力するように構成することができる。また、特異カテゴリ判別手段311がその片方のみを特異なカテゴリとして判別するようにしてもよい。
次に、図9および図10を参照して本実施の形態の動作について詳細に説明する。
図10のステップA1ないしA3で示される、本実施の形態における特徴表現抽出手段301の動作は、第1の実施の形態における特徴表現抽出手段301の動作と同一のため、説明は省略する。
本実施の形態では、特徴表現抽出手段301が動作した後、連関分類軸判別手段310が、抽出結果記憶部203に格納された抽出結果から特徴を1つ読み出し(ステップE1)、その特徴に対して、以下のステップE2以降の処理を行う。
連関分類軸判別手段310は、まず、カテゴリ情報記憶部205から分類軸を1つ読み出し(ステップE2)、カテゴリ情報記憶部205および抽出結果記憶部203を参照して、ステップE1で読み出した特徴をテキストが含むかどうかと、ステップE2で読み出した分類軸においてそのテキストが属するカテゴリとが連関するかどうかを判定する(ステップE3)。連関分類軸判別手段310は、カテゴリ情報記憶部205中のすべての分類軸に対してこれらの処理を繰り返し(ステップE4)、ステップE3で判別された分類軸を特徴と組にして特異カテゴリ判別手段311に渡す。
特異カテゴリ判別手段311は、連関分類軸判別手段310から渡された特徴と分類軸に対して、その分類軸のカテゴリのうち、その特徴を含むテキストの集合において特異なカテゴリを判別する(ステップE5)。
続いて、連関分類軸判別手段310が、抽出結果記憶部203に格納されたすべての特徴に対してステップE2ないしE5の処理が完了したかどうかを判定し(ステップE6)、未処理の特徴があれば、ステップE1に戻って処理を続ける。
最後に、特異カテゴリ付抽出結果出力手段312が、抽出結果記憶部203に格納されたそれぞれの特徴について、ステップE5において判別された、特異なカテゴリを付けて出力し(ステップE7)、処理を終了する。
本実施の形態で、ステップA1において、利用者がマイニング対象のカテゴリを指定した分類軸については、ステップE3の処理の対象とする必要はない。その分類軸については、テキストが特徴を含むかどうかとテキストが属するカテゴリとが連関することは、マイニングの定義から明白であり、E5およびE7の処理によっても、新しい知見を利用者に与えることができないためである。
また、ステップE3において、連関分類軸判別手段310が連関すると判別する分類軸は、各特徴に対して1つであるとは限らない。連関分類軸判別手段310が複数の分類軸を判別する場合には、特異カテゴリ判別手段311は、それぞれの分類軸に対してステップE5の処理を行って、各特徴を含むテキストの集合において特異なカテゴリを判別する。また、特異カテゴリ付抽出結果出力手段312は、ステップE7において、判別された特異なカテゴリをすべて出力するようにする。
一方、連関分類軸判別手段310が連関すると判別する分類軸を、各特徴に対して1つに限定するように構成することもできる。この場合、連関分類軸判別手段310は、ステップE3において、テキストが特徴を含むかどうかとテキストが属するカテゴリとがどの程度連関するかを計算し、もっとも強く連関する分類軸のみを特異カテゴリ判別手段311に渡すようにすればよい。テキストが特徴を含むかどうかとテキストが属するカテゴリとが連関する度合いは、例えば、クラメールの連関係数等によって表すことができ、もっとも強く連関する分類軸として、この値がもっとも大きくなる分類軸を選択することができる。
また、本実施の形態の説明では、連関分類軸判別手段310、および、特異カテゴリ判別手段311が、抽出結果記憶部203に格納されたすべての特徴に対して処理を行った後に、特異カテゴリ付抽出結果出力手段312が出力を行うように説明したが、連関分類軸判別手段310、および、特異カテゴリ判別手段311が、抽出結果記憶部203に格納された一部の特徴に対して処理を行い、特異カテゴリ付抽出結果出力手段312がその分の出力を行うことを繰り返すように構成してもよい。
次に、本実施の形態の効果について説明する。
本実施の形態では、テキストがある特徴を含むかどうかと強く連関する分類軸を判別し、さらに、その分類軸のカテゴリのうち、その特徴を含むテキストの集合において特異なカテゴリを判別して、特徴とともに出力する。これにより、ある分類軸において、抽出された特徴を含むテキストが属するカテゴリが特定のものに偏っている場合に、利用者がそのことを知ることができる。また、抽出された特徴のそれぞれが、どのカテゴリに属するテキストに偏って見られるものであるのかということを知ることができる。
なお、本実施の形態においても、特徴表現抽出手段301が、テキスト集合記憶部201に記憶されているテキスト集合に対して、入力装置1を通して利用者が指定するカテゴリの特徴を抽出するのではなく、テキスト集合全体の特徴を抽出するように構成してもよい。
次に、図を参照しながら本発明の第6の実施形態であるコンピュータ16の構成と動作について説明する。
図11を参照すると、コンピュータ16は、本発明の第1ないし第5の実施の形態と同様に、入力装置1、記憶装置23、データ処理装置36、出力装置4とを備える。
テキストマイニングプログラム5は、データ処理装置36に読み込まれ、データ処理装置36の動作を制御して、記憶装置23を第1ないし第4の実施の形態における記憶装置21、もしくは、第5の実施の形態における記憶装置22と同様に構成する。データ処理装置36は、テキストマイニングプログラム5の制御により第1の実施の形態におけるデータ処理装置31、もしくは、第2の実施の形態におけるデータ処理装置32、もしくは、第3の実施の形態におけるデータ処理装置33、もしくは、第4の実施の形態におけるデータ処理装置34、もしくは、第5の実施の形態におけるデータ処理装置35の処理と同一の処理を実行する。
なお、本発明の第1ないし第6の実施の形態の説明においては、特徴表現抽出手段301が、テキストマイニングの結果を抽出結果記憶部203に記憶する構成について説明したが、テキストマイニングの結果を図示しないDRAM(Dynamic Random Access Memory)等の主記憶装置上に記憶する構成とすることもできる。
次に、具体的な実施例を用いて、本発明を実施するための最良の形態の動作を説明する。
まず、本発明の第1の実施例を図面を参照して説明する。かかる実施例は、図1および図2に示した本発明の第1の実施の形態に対応するものである。
ここでは、メールおよび電話で問い合わせを受けた内容を記録して、問い合わせの種別によって分類しておき、利用者が、その中から「故障」の問い合わせの特徴を抽出する場合を例として、本発明の実施の形態の動作を説明する。
テキスト集合記憶部201には、図12に示すように、それぞれの出典が分かるような形態で、テキストマイニングの対象となるテキストが予め記憶されている。この例では、出典は、「メール」と「電話」の2種類がある。D1、D2、D3、D4、‥‥が、出典が「メール」のテキストで、D101、D102、D103、D104、‥‥が、出典が「電話」のテキストである。この例では、出典が「電話」のテキストは、電話を通して話された内容を音声認識した認識結果であり、このため、テキスト中に認識誤りが含まれている。
なお、テキスト集合記憶部201に記憶されるテキストは、問い合わせの種別に関して、予め複数のカテゴリに分類されており、カテゴリ情報記憶部202に、テキストとカテゴリの対応関係が記憶されている。図13にその一例を示す。
このとき、特徴表現抽出手段301が、まず、入力装置1を通して、利用者から、テキストマイニングによって特徴を抽出する対象のカテゴリの指定を受ける。
利用者は、ここで、カテゴリ「故障」を指定する。
特徴表現抽出手段301は、次に、テキストマイニングを実行し、テキスト集合記憶部201に記憶されているテキスト集合のうち、カテゴリ「故障」に属するものに特有な特徴を抽出し、テキストマイニングの結果として、特徴とその特徴を含むテキストとを対応付けて抽出結果記憶部203に記録する。
ここでは、特徴表現抽出手段301が、テキスト中に出現する単語を特徴として抽出するものとし、図14に示すような特徴を抽出結果記憶部203に記録したとする。
続いて、主要出典判別手段302が、抽出結果記憶部203に格納されたそれぞれの特徴について、その特徴を含むテキストの主要な出典を判別し、その特徴に対応づける。
ここでは、ある特徴Pを含むテキストのうち、70%以上の出典がSであったときに、出典Sを特徴Pを含むテキストの主要な出典と判別するものとする。
主要出典判別手段302は、まず、特徴「電源」について、その特徴を含むテキストの主要な出典を判別する。
主要出典判別手段302は、図14に示される抽出結果記憶部203を参照し、特徴「電源」を含むテキストがD1、D4、D9、D107、D127の5件であることを得る。次に、図12に示されるテキスト集合記憶部201を参照し、このうちのD1、D4、D9の3件の出典が「メール」であり、D107、および、D127の2件の出典が「電話」であることを得る。
主要出典判別手段302は、これらの値を基に、特徴「電源」を含むテキストのうち、60%の出典が「メール」であり、40%の出典が「電話」であることを計算する。これらはいずれも70%未満であるため、主要出典判別手段302は、特徴「電源」を含むテキストについては、主要な出典がないと判別する。
主要出典判別手段302は、次に、特徴「画面」について同様の処理を行い、特徴「画面」を含むテキスト(D3、D10、D123、D126)のうち、50%(D3、および、D10)の出典が「メール」であり、50%(D123、および、D126)の出典が「電話」であることを計算する。これらはいずれも70%未満であるため、主要出典判別手段302は、特徴「画面」を含むテキストについても、主要な出典がないと判別する。
次の特徴「点検」に対しては、特徴「点検」を含むテキスト(D102、D104、D121)のうち、出典が「メール」であるものが0%、出典が「電話」であるものが100%であることが計算される。この結果、主要出典判別手段302は、特徴「点検」を含むテキストの主要な出典は「電話」であると判別する。
一方、次の特徴「リモコン」に対しては、特徴「リモコン」を含むテキスト(D7、D11、D15、D131)のうち、出典が「メール」であるものが75%(D7、D11、D15)、出典が「電話」であるものが25%(D131)であることが計算される。この結果、主要出典判別手段302は、特徴「点検」を含むテキストの主要な出典は「メール」であると判別する。
主要出典判別手段302は、このような処理をすべての特徴についてくり返す。
最後に、主要出典付抽出結果出力手段303が、抽出結果記憶部203に格納されたそれぞれの特徴について、その特徴を含むテキストの主要な出典を付けて出力する。
この場合の出力例を図15に示す。
利用者は、この出力から、特徴「点検」は、主として電話に出現する特徴であり、特徴「リモコン」は、主としてメールに出現する特徴であることを知ることができる。これにより、特に電話に偏って出現する特徴「点検」については、音声認識による認識誤りの可能性があることに気付くことができる。
次に、本発明の第2の実施例を図面を参照して説明する。かかる実施例は、図3および図4に示した本発明の第2の実施の形態に対応するものである。
ここでは、第1の実施例と同じ例を用いて第2の実施例を説明する。すなわち、図12に示されるテキスト集合記憶部201に記憶されるテキストが、図13に示されるカテゴリ情報記憶部202のように分類されているとき、利用者がカテゴリ「故障」を指定してテキストマイニングを行った場合の動作を説明する。
このとき、まず、特徴表現抽出手段301が、カテゴリ「故障」に属するものに特有な特徴を抽出し、テキストマイニングの結果として、特徴とその特徴を含むテキストとを対応付けて抽出結果記憶部203に記録する。この動作は、第1の実施例における特徴表現抽出手段301の動作と同一であり、抽出結果記憶部203には、図14に示される結果が記録される。
続いて、構成比率計算手段304が、抽出結果記憶部203に格納されたそれぞれの特徴について、その特徴を含むテキストの出典別の構成比率を計算し、その特徴に対応づける。
構成比率計算手段304は、まず、特徴「電源」について、その特徴を含むテキストの出典別の構成比率を判別する。
はじめに、図14に示される抽出結果記憶部203を参照し、特徴「電源」を含むテキストがD1、D4、D9、D107、D127の5件であることを得る。次に、図12に示されるテキスト集合記憶部201を参照し、このうちのD1、D4、D9の3件の出典が「メール」であり、D107、および、D127の2件の出典が「電話」であることを得る。
構成比率計算手段304は、これらの値を基に、特徴「電源」を含むテキストのうち、60%の出典が「メール」であり、40%の出典が「電話」であることを計算する。
構成比率計算手段304は、次に、特徴「画面」について同様の処理を行い、特徴「画面」を含むテキスト(D3、D10、D123、D126)のうち、50%(D3、および、D10)の出典が「メール」であり、50%(D123、および、D126)の出典が「電話」であることを計算する。
次の特徴「点検」に対しては、特徴「点検」を含むテキスト(D102、D104、D121)のうち、出典が「メール」であるものが0%、出典が「電話」であるものが100%であることが計算される。
また、次の特徴「リモコン」に対しては、特徴「リモコン」を含むテキスト(D7、D11、D15、D131)のうち、出典が「メール」であるものが75%(D7、D11、D15)、出典が「電話」であるものが25%(D131)であることが計算される。
構成比率計算手段304は、このような処理をすべての特徴についてくり返す。
最後に、構成比率付抽出結果出力手段305が、抽出結果記憶部203に格納されたそれぞれの特徴について、その特徴を含むテキストの出典別の構成比率を付けて出力する。
この場合の出力例を図16に示す。この例では、各特徴に対して、帯グラフによって出典別の構成比率を示している。
図15に示される第1の実施例の出力と比べ、利用者は、図16の出力から出典間にどの程度の偏りがあるのかを知ることができる。図16の例では、特に、特徴「点検」は、出典の比率が他の特徴と大きく異なり、電話にしか出現しない特徴であることを知ることができる。これにより、特徴「点検」は、他の特徴と異なる傾向を示す特徴であることが分かり、音声認識による認識誤りの可能性があることに気付くことができる。
次に、本発明の第3の実施例を図面を参照して説明する。かかる実施例は、図5および図6に示した本発明の第3の実施の形態に対応するものである。
第3の実施例も、第1の実施例と同じ例を用いて説明する。すなわち、図12に示されるテキスト集合記憶部201に記憶されるテキストが、図13に示されるカテゴリ情報記憶部202のように分類されているとき、利用者がカテゴリ「故障」を指定してテキストマイニングを行った場合の動作を説明する。
ただし、本実施例においては、テキスト集合記憶部201に記憶されるテキストの総数が125件で、そのうち100件の出典が「メール」であり、25件の出典が「電話」であったとする。
このとき、まず、特徴表現抽出手段301が、カテゴリ「故障」に属するものに特有な特徴を抽出し、テキストマイニングの結果として、特徴とその特徴を含むテキストとを対応付けて抽出結果記憶部203に記録する。この動作は、第1の実施例における特徴表現抽出手段301の動作と同一であり、抽出結果記憶部203には、図14に示される結果が記録される。
続いて、特異出典判別手段306が、抽出結果記憶部203に格納されたそれぞれの特徴について、その特徴を含むテキストの集合において特異な出典、すなわち、その出典のテキストの件数が期待値と大きく乖離している出典を判別し、その特徴に対応づける。
ここでは、期待値に対する実際の件数と期待値との差の割合が予め定める閾値を超えているかどうかによって、期待値と実際の件数とが乖離しているかどうかを判別するものとする。すなわち、ある特徴Pを含むテキストの集合において、出典がSであるテキストの件数の期待値をE、出典がSであるテキストの実際の件数をXとすると、(X−E)/Eの絶対値が、閾値1.0を超える場合に、出典Sを特徴Pを含むテキストの集合において特異な出典と判別する。
特異出典判別手段306は、まず、特徴「電源」について、その特徴を含むテキストの集合において特異な出典を判別する。
はじめに、図14に示される抽出結果記憶部203を参照し、特徴「電源」を含むテキストがD1、D4、D9、D107、D127の5件であることを得る。
次に、これらの5件のテキストのうち、出典が「メール」であるテキストの件数の期待値を計算する。テキストの総数が125件で、そのうちの100件の出典が「メール」であるため、特徴「電源」を含む5件のテキストのうち、出典が「メール」であるテキストの件数の期待値は、5×100/125=4となる。
また、図12に示されるテキスト集合記憶部201を参照し、特徴「電源」を含む5件のテキストのうち、実際には、D1、D4、D9の3件の出典が「メール」であることを得る。
特異出典判別手段306は、これらの値を基に、特徴「電源」を含む5件のテキストにおいて、出典が「メール」であるテキストの件数の期待値が実際の件数と大きく乖離しているかどうかを判定する。ここで、期待値に対する実際の件数と期待値との差の割合は、(3−4)/4=−0.25となり、絶対値が1.0を超えていない。したがって、特異出典判別手段306は、期待値と実際の件数が大きく乖離していないと判定する。
特異出典判別手段306は、続いて、特徴「電源」を含む5件のテキストのうち、出典が「電話」であるテキストの件数の期待値を計算する。テキストの総数125件のうちの25件の出典が「電話」であるため、特徴「電源」を含む5件のテキストのうち、出典が「電話」であるテキストの件数の期待値は、5×25/125=1となる。
また、図12に示されるテキスト集合記憶部201を参照し、特徴「電源」を含む5件のテキストのうち、実際には、D107、および、D127の2件の出典が「電話」であることを得る。
特異出典判別手段306は、これらの値を基に、特徴「電源」を含む5件のテキストにおいて、出典が「電話」であるテキストの件数が期待値と大きく乖離しているかどうかを判定する。ここで、期待値に対する実際の件数と期待値との差の割合は、(2−1)/1=1となり、絶対値が1.0を超えていない。したがって、特異出典判別手段306は、期待値と実際の件数が大きく乖離していないと判定する。
特異出典判別手段306は、これらの結果から、特徴「電源」を含む5件のテキストにおいては、特異な出典がないと判別する。
特異出典判別手段306は、次に、特徴「画面」について同様の処理を行う。
特徴「画面」を含む4件のテキスト(D3、D10、D123、D126)において、出典が「メール」であるテキストの件数の期待値が4×100/125=3.2であるのに対し、出典が「メール」であるテキストの実際の件数は、2件(D3、および、D10)である。このため、期待値に対する実際の件数と期待値との差の割合は、(2−3.2)/3.2=−0.375となり、その絶対値は1.0を超えない。
また、特徴「画面」を含む4件のテキストにおいて、出典が「電話」であるテキストの件数の期待値が4×25/125=0.8であるのに対し、出典が「電話」であるテキストの実際の件数は、2件(D123、および、D126)である。このため、期待値に対する実際の件数と期待値との差の割合は、(2−0.8)/0.8=1.5となり、その絶対値は1.0を超える。
この結果、特異出典判別手段306は、特徴「画面」を含む4件のテキストにおいては、出典が「電話」であるものの件数が期待値と大きく乖離しており、「電話」が特異な出典であると判別する。
次の特徴「点検」に対しては、特徴「点検」を含む3件のテキスト(D102、D104、D121)において、出典が「メール」であるテキストの件数の期待値が3×100/125=2.4であるのに対し、実際の件数は0件である。このため、期待値に対する実際の件数と期待値との差の割合は、(0−2.4)/2.4=−1となる。また、出典が「電話」であるテキストの件数の期待値が3×25/125=0.6であるのに対し、実際の件数は3件であるから、期待値に対する実際の件数と期待値との差の割合は、(3−0.6)/0.6=4となる。後者の絶対値のみが1.0を超えるため、特異出典判別手段306は、特徴「点検」を含む3件のテキストにおいては、「電話」が特異な出典であると判別する。
一方、次の特徴「リモコン」に対しては、特徴「リモコン」を含む4件のテキスト(D7、D11、D15、D131)において、出典が「メール」であるテキストの件数の期待値が4×100/125=3.2であるのに対し、実際の件数は3件(D7、D11、D15)である。このため、期待値に対する実際の件数と期待値との差の割合は、(3−3.2)/3.2=−0.0625となる。また、出典が「電話」であるテキストの件数の期待値が4×25/125=0.8であるのに対し、実際の件数は1件(D131)であるため、期待値に対する実際の件数と期待値との差の割合は、(1−0.8)/0.8=0.25となる。いずれの絶対値も1.0を超えないため、特異出典判別手段306は、特徴「リモコン」を含む4件のテキストにおいては、特異な出典がないと判別する。
特異出典判別手段306は、このような処理をすべての特徴についてくり返す。
最後に、特異出典付抽出結果出力手段307が、抽出結果記憶部203に格納されたそれぞれの特徴について、その特徴を含むテキストの集合において特異な出典を付けて出力する。
この場合の出力例を図17に示す。
特徴「画面」を含む4件のテキストにおいては、そのうちの2件のテキストの出典が「メール」、2件のテキストの出典が「電話」であり、件数だけを見ると偏りがないが、テキスト集合記憶部201に記憶されるテキストの出典が「メール」に偏っているため、「電話」が特異な出典として判別され、出力されている。また、特徴「リモコン」を含む4件のテキストにおいては、そのうちの3件のテキストの出典が「メール」、1件のテキストの出典が「電話」であり、件数だけを見ると「メール」に偏っているが、テキスト集合記憶部201に記憶されるテキストの出典が「メール」に偏っているため、特異な出典はないと判別され、何も出力されていない。
このように、本実施例によれば、ある出典のテキストが通常より極度に多く出現している場合、または、通常より極度に少なくしか出現していない場合に、その出典を特異な出典として出力することができる。
次に、本発明の第4の実施例を図面を参照して説明する。かかる実施例は、図7および図8に示した本発明の第4の実施の形態に対応するものである。
第4の実施例も、第1の実施例と同じ例を用いて説明する。すなわち、図12に示されるテキスト集合記憶部201に記憶されるテキストが、図13に示されるカテゴリ情報記憶部202のように分類されているとき、利用者がカテゴリ「故障」を指定してテキストマイニングを行った場合の動作を説明する。
また、第3の実施例と同様に、テキスト集合記憶部201に記憶されるテキストの総数が125件で、そのうち100件の出典が「メール」であり、25件の出典が「電話」であったとする。
このとき、まず、特徴表現抽出手段301が、カテゴリ「故障」に属するものに特有な特徴を抽出し、テキストマイニングの結果として、特徴とその特徴を含むテキストとを対応付けて抽出結果記憶部203に記録する。この動作は、第1の実施例における特徴表現抽出手段301の動作と同一であり、抽出結果記憶部203には、図14に示される結果が記録される。
続いて、乖離度計算手段308が、抽出結果記憶部203に格納されたそれぞれの特徴について、その特徴を含むテキストの集合を取得し、その集合における各出典のテキストの件数に関する乖離度、すなわち、各出典のテキストの実際の件数が期待値とどの程度乖離しているかを表す値を計算する。
ここでは、乖離度として、期待値に対する実際の件数と期待値との差の割合を使用するものとする。すなわち、ある特徴Pを含むテキストの集合において、出典がSであるテキストの件数の期待値をE、出典がSであるテキストの実際の件数をXとすると、特徴Pを含むテキストの集合において出典がSであるテキストの件数に関する乖離度は(X−E)/Eとなる。
乖離度計算手段308は、まず、特徴「電源」を含むテキストの集合において、各出典のテキストの件数に関する乖離度を計算する。
はじめに、図14に示される抽出結果記憶部203を参照し、特徴「電源」を含むテキストがD1、D4、D9、D107、D127の5件であることを得る。
次に、これらの5件のテキストのうち、出典が「メール」であるテキストの件数の期待値を計算する。テキストの総数が125件で、そのうちの100件の出典が「メール」であるため、特徴「電源」を含む5件のテキストのうち、出典が「メール」であるテキストの件数の期待値は、5×100/125=4となる。
また、図12に示されるテキスト集合記憶部201を参照し、特徴「電源」を含む5件のテキストのうち、実際には、D1、D4、D9の3件の出典が「メール」であることを得る。
乖離度計算手段308は、これらの値を基に、特徴「電源」を含む5件のテキストにおいて、出典が「メール」であるテキストの件数に関する乖離度を計算し、(3−4)/4=−0.25という値を得る。
乖離度計算手段308は、続いて、特徴「電源」を含む5件のテキストのうち、出典が「電話」であるテキストの件数の期待値を計算する。テキストの総数125件のうちの25件の出典が「電話」であるため、特徴「電源」を含む5件のテキストのうち、出典が「電話」であるテキストの件数の期待値は、5×25/125=1となる。
また、図12に示されるテキスト集合記憶部201を参照し、特徴「電源」を含む5件のテキストのうち、実際には、D107、および、D127の2件の出典が「電話」であることを得る。
乖離度計算手段308は、これらの値を基に、特徴「電源」を含む5件のテキストにおいて、出典が「電話」であるテキストの件数に関する乖離度を計算し、(2−1)/1=1という値を得る。
乖離度計算手段308は、次に、特徴「画面」について同様の処理を行う。
特徴「画面」を含む4件のテキスト(D3、D10、D123、D126)において、出典が「メール」であるテキストの件数の期待値が4×100/125=3.2であるのに対し、出典が「メール」であるテキストの実際の件数は、2件(D3、および、D10)である。このため、乖離度は、(2−3.2)/3.2=−0.375と計算される。
また、特徴「画面」を含む4件のテキストにおいて、出典が「電話」であるテキストの件数の期待値が4×25/125=0.8であるのに対し、出典が「電話」であるテキストの実際の件数は、2件(D123、および、D126)である。このため、乖離度は、(2−0.8)/0.8=1.5と計算される。
次の特徴「点検」に対しては、特徴「点検」を含む3件のテキスト(D102、D104、D121)において、出典が「メール」であるテキストの件数の期待値が3×100/125=2.4であるのに対し、実際の件数は0件である。このため、乖離度は、(0−2.4)/2.4=−1となる。また、出典が「電話」であるテキストの件数の期待値が3×25/125=0.6であるのに対し、実際の件数は3件であるから、乖離度は、(3−0.6)/0.6=4となる。
一方、次の特徴「リモコン」に対しては、特徴「リモコン」を含む4件のテキスト(D7、D11、D15、D131)において、出典が「メール」であるテキストの件数の期待値が4×100/125=3.2であるのに対し、実際の件数は3件(D7、D11、D15)である。このため、乖離度は、(3−3.2)/3.2=−0.0625となる。また、出典が「電話」であるテキストの件数の期待値が4×25/125=0.8であるのに対し、実際の件数は1件(D131)であるため、乖離度は、(1−0.8)/0.8=0.25となる。
乖離度計算手段308は、このような処理をすべての特徴についてくり返す。
最後に、乖離度付抽出結果出力手段309が、抽出結果記憶部203に格納されたそれぞれの特徴について、特徴ごとに出典別の乖離度を付けて出力する。
この場合の出力例を図18に示す。この例では、各特徴に対して、横軸を乖離度とする棒グラフによって、出典別の乖離度を示している。図18においては、縦の線50が乖離度0の位置を表しており、この線からグラフが左右に延びているほど、テキストの件数の期待値と実際の件数との乖離の度合いが大きい。また、本実施例で使用した乖離度の求め方から、グラフが右に延びていることは、実際の件数が期待値を上回っていることを意味し、グラフが左に延びていることは、実際の件数が期待値を下回っていることを意味する。
図17に示される第3の実施例の出力と比べ、利用者は、図18の出力から、その出典のテキストの件数がどの程度期待値から乖離しているのかを知ることができる。図18の例では、特徴「点検」を含み、出典が「電話」であるテキストの件数が、他と比べて、期待値から乖離している度合いが大きいことが分かる。これにより、特徴「点検」は、異常な結果である可能性があることが分かり、音声認識による認識誤りの可能性があることに気付くことができる。
このように、本実施例によれば、ある出典のテキストが通常より多く出現している場合、または、通常より少なくしか出現していない場合に、その度合いを利用者に示すことができる。
次に、本発明の第5の実施例を図面を参照して説明する。かかる実施例は、図9および図10に示した本発明の第5の実施の形態に対応するものである。
ここでは、1200人に対して、ある製品の印象に関するアンケートを実施し、その回答が、回答者の製品に対する興味の有無・回答者の性別・回答者の年代・回答者の職業によって分類されているときに、製品に興味がある回答者の回答の特徴を抽出する場合を例として、本発明の実施の形態の動作を説明する。
このとき、テキスト集合記憶部204には、D1ないしD800の800件のテキストが記憶されている。
これらのテキストは、「製品に対する興味」「性別」「年齢」「職業」の4つの分類軸で分類されている。なお、分類軸「製品に対する興味」は、「興味あり」「興味なし」の2つのカテゴリを有し、分類軸「性別」は、「女性」「男性」の2つのカテゴリを有し、分類軸「年齢」は、「20代」「30代」「40代」「50代」の4つのカテゴリを有し、分類軸「職業」は、「学生」「会社員」「主婦」「その他」の4つのカテゴリを有するものとする。また、各カテゴリのテキストの件数は、図19に示す通りであるものとする。
このときのカテゴリ情報記憶部205の例を図20に示す。この例では、各テキストに対して、分類軸ごとに、そのテキストが属するカテゴリが記憶されている。
このとき、特徴表現抽出手段301が、まず、入力装置1を通して、利用者から、テキストマイニングによって特徴を抽出する対象のカテゴリの指定を受ける。
利用者は、ここで、分類軸「製品に対する興味」におけるカテゴリ「興味あり」を指定する。
特徴表現抽出手段301は、次に、テキストマイニングを実行し、テキスト集合記憶部204に記憶されているテキスト集合のうち、分類軸「製品に対する興味」においてカテゴリ「興味あり」に属するものに特有な特徴を抽出し、テキストマイニングの結果として、特徴とその特徴を含むテキストとを対応付けて抽出結果記憶部203に記録する。
ここでは、特徴表現抽出手段301が、テキスト中に出現する単語を特徴として抽出するものとし、図21に示すような特徴を抽出結果記憶部203に記録したとする。図21には、それぞれの特徴を含むテキストすべてを示さないが、全800件のテキストのうち、特徴「性能」を含むものが283件、特徴「デザイン」を含むものが254件、特徴「価格」を含むものが224件、特徴「サイズ」を含むものが155件あったものとする。 また、この抽出結果において、各特徴を含むテキストの件数のカテゴリ別の内訳が、分類軸「性別」、分類軸「年齢」、分類軸「職業」に関して、それぞれ図22、図23、図24の通りであったとして以降の説明を行う。
特徴表現抽出手段301による処理に続いて、連関分類軸判別手段310が、抽出結果記憶部203に格納されたそれぞれの特徴について、テキストがその特徴を含むどうかと、テキストが属するカテゴリとが連関するかどうかを、カテゴリ情報記憶部205に記憶される分類軸ごとに判定する。
ここでは、テキストがある特徴を含むどうかと、テキストがある分類軸において属するカテゴリとが連関するかどうかを、有意水準を1%としてカイ2乗検定により検定し、判定するものとする。
連関分類軸判別手段310は、まず、特徴「性能」について、カテゴリ情報記憶部205に記憶される分類軸ごとに、テキストがその特徴を含むどうかと、テキストが属するカテゴリとが連関するかどうかを判定する。
ここでは、分類軸「性別」に関する検定について説明する。
全800件のテキストを、特徴「性能」を含むかどうか、および、分類軸「性別」において属するカテゴリによって分類すると、図22に示される、特徴「性能」を含むテキストのカテゴリ別の件数と、図19に示される、全テキストのカテゴリ別の件数とから、分類結果のそれぞれの件数は図25のようになる。
一方、全テキストのうち、特徴「性能」を含むものの割合は、283/800であり、分類軸「性別」においてカテゴリ「女性」に属するものの割合は、384/800であるから、特徴「性能」を含み、かつ、分類軸「性別」においてカテゴリ「女性」に属するテキストの件数の期待値は、800×283/800×384/800=135.84となる。同様にして、図25のそれぞれの項目の期待値を求めると、図26のようになる。
図25と図26より、この場合のカイ2乗値を求めると0.32となる。これに対する自由度1のカイ2乗分布における上側確率は57.0%で、この値は有意水準1%を上回るため、連関分類軸判別手段310は、テキストが特徴「性能」を含むかどうかと、テキストが分類軸「性別」において属するカテゴリとは連関しないと判定する。
同様にして、特徴「性能」を含むどうかと、分類軸「年齢」において属するカテゴリとの間でのカイ2乗値は2.39となる。これに対する自由度3のカイ2乗分布における上側確率は49.5%で、この値は有意水準1%を上回るため、連関分類軸判別手段310は、テキストが特徴「性能」を含むかどうかと、テキストが分類軸「年齢」において属するカテゴリとは連関しないと判定する。
また、特徴「性能」を含むどうかと、分類軸「職業」において属するカテゴリとの間でのカイ2乗値は3.06となる。これに対する自由度3のカイ2乗分布における上側確率は38.3%で、この値は有意水準1%を上回るため、連関分類軸判別手段310は、テキストが特徴「性能」を含むかどうかと、テキストが分類軸「職業」において属するカテゴリとは連関しないと判定する。
なお、分類軸「製品に対する興味」は、利用者がマイニング対象として指定したカテゴリの分類軸であるため、連関分類軸判別手段310は、この分類軸を処理の対象としない。
この結果、連関分類軸判別手段310は、テキストが特徴「性能」を含むかどうかと連関する分類軸はないと判別する。
このため、特異カテゴリ判別手段311は、特徴「性能」に対しては、何も処理を行わない。
連関分類軸判別手段310は、次に、特徴「デザイン」について、カテゴリ情報記憶部205に記憶される分類軸ごとに、テキストがその特徴を含むかどうかと、テキストが属するカテゴリとが連関するかどうかを判定する。
特徴「デザイン」を含むどうかと、分類軸「性別」において属するカテゴリとの間でのカイ2乗値は19.54となる。これに対する自由度1のカイ2乗分布における上側確率は0.0%で、この値は有意水準1%を下回る。したがって、連関分類軸判別手段310は、テキストが特徴「デザイン」を含むかどうかと、テキストが分類軸「性別」において属するカテゴリとは連関すると判定する。
一方、特徴「デザイン」を含むどうかと、分類軸「年齢」において属するカテゴリとの間でのカイ2乗値は6.95となる。これに対する自由度3のカイ2乗分布における上側確率は7.3%で、この値は有意水準1%を上回るため、連関分類軸判別手段310は、テキストが特徴「デザイン」を含むかどうかと、テキストが分類軸「年齢」において属するカテゴリとは連関しないと判定する。
また、特徴「デザイン」を含むどうかと、分類軸「職業」において属するカテゴリとの間でのカイ2乗値は3.66となる。これに対する自由度3のカイ2乗分布における上側確率は30.0%で、この値は有意水準1%を上回るため、連関分類軸判別手段310は、テキストが特徴「デザイン」を含むかどうかと、テキストが分類軸「職業」において属するカテゴリとは連関しないと判定する。
これらの結果から、連関分類軸判別手段310は、分類軸「性別」を、テキストが特徴「デザイン」を含むどうかと連関する分類軸として判別する。
これを受けて、特異カテゴリ判別手段311が、分類軸「性別」のカテゴリのうち、特徴「デザイン」を含むテキストの集合において特異なカテゴリを判別する。
なお、本実施例では、あるカテゴリに属するテキストの件数が期待値を大きく上回るカテゴリのみを特異なカテゴリと判別するものとする。また、期待値に対する実際の件数と期待値との差の絶対値の割合が予め定める閾値を超えているかどうかによって、期待値と実際の件数とが乖離しているかどうかを判別するものとする。
すなわち、ある特徴Pを含むテキストの集合において、カテゴリCに属するテキストの件数の期待値をE、カテゴリCに属するテキストの実際の件数をXとすると、(X−E)/Eの値が正であり、かつ、閾値0.2を超える場合に、カテゴリCを特徴Pを含むテキストの集合において特異なカテゴリと判別する。
図22によれば、特徴「デザイン」を含む254件のテキストのうち、カテゴリ「女性」に属するものが151件、カテゴリ「男性」に属するものが103件である。また、図19によると、全テキストのうち、カテゴリ「女性」に属するものの割合は384/800であり、カテゴリ「男性」に属するものの割合は416/800であるから、特徴「デザイン」を含む254件のテキストのうち、カテゴリ「女性」に属するテキストの件数の期待値は、254×384/800=121.92、カテゴリ「男性」に属するテキストの件数の期待値は、254×416/800=132.08となる。したがって、期待値に対する実際の件数と期待値との差の割合は、カテゴリ「女性」に関して0.24、カテゴリ「男性」に対して−0.22となる。
カテゴリ「女性」に関して、値は正となり、かつ、閾値0.2を超えているので、特異カテゴリ判別手段311は、分類軸「性別」のカテゴリのうち、カテゴリ「女性」を特異なカテゴリとして判別する。
連関分類軸判別手段310は、残っている分類軸「年齢」および分類軸「職業」についても、テキストが特徴「デザイン」を含むどうかと、テキストが属するカテゴリとが連関するかどうかを判定する。
特徴「デザイン」を含むどうかと、分類軸「年齢」において属するカテゴリとの間でのカイ2乗値は6.95となる。これに対する自由度3のカイ2乗分布における上側確率は7.3%で、この値は有意水準1%を上回るため、連関分類軸判別手段310は、テキストが特徴「デザイン」を含むかどうかと、テキストが分類軸「年齢」において属するカテゴリとは連関しないと判定する。
また、特徴「デザイン」を含むどうかと、分類軸「職業」において属するカテゴリとの間でのカイ2乗値は3.66となる。これに対する自由度3のカイ2乗分布における上側確率は30.0%で、この値は有意水準1%を上回るため、連関分類軸判別手段310は、テキストが特徴「デザイン」を含むかどうかと、テキストが分類軸「職業」において属するカテゴリとは連関しないと判定する。
連関分類軸判別手段310は、続いて、特徴「価格」および特徴「サイズ」について、カテゴリ情報記憶部205に記憶される分類軸ごとに、テキストがその特徴を含むどうかと、テキストが属するカテゴリとが連関するかどうかを判定する。
連関分類軸判別手段310は、特徴「価格」に対して、これまでと同様の処理により、分類軸「職業」を連関する分類軸として判別する。これに対して、特異カテゴリ判別手段311が、分類軸「職業別」のカテゴリのうち、カテゴリ「学生」を特異なカテゴリとして判別する。
連関分類軸判別手段310は、特徴「サイズ」に対しては連関する分類軸がないと判別する。このため、特異カテゴリ判別手段311は、特徴「価格」に対しては何も処理を行わない。
以降、連関分類軸判別手段310、および、特異カテゴリ判別手段311は、すべての特徴に対してこのような処理をくり返す。
最後に、特異カテゴリ付抽出結果出力手段312が、抽出結果記憶部203に格納されたそれぞれの特徴について、特徴ごとに特異なカテゴリを付けて出力する。
この場合の出力例を図27に示す。
テキストが特徴「デザイン」を含むかどうかは、分類軸「性別」においてテキストが属するカテゴリと強く連関し、特に、カテゴリ「女性」に属するテキストの件数が期待値を大きく上回っていたため、特徴「デザイン」に対して、特異なカテゴリとして「女性」が出力されている。また、テキストが特徴「価格」を含むかどうかは、分類軸「職業」においてテキストが属するカテゴリと強く連関し、特に、カテゴリ「学生」に属するテキストの件数が期待値を大きく上回っていたため、特徴「価格」に対して、特異なカテゴリとして「学生」が出力されている。
これにより、利用者は、抽出された特徴のうち、「デザイン」は、女性の回答者の回答に偏って出現しており、「価格」は、学生の回答者の回答に偏って出現していることを知ることができる。
次に、本発明の他の実施形態について逐次説明する。
上述したテキストマイニング装置において、出典情報を、特徴を含むテキストの主要な出典を特定する情報としてもよい。
このようにすれば、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるのか、あるいは、特定の出典のテキストに偏って見られるものであるのかということを利用者に示すことができる。
上述したテキストマイニング装置において、出典情報を、特徴を含むテキストの出典別の構成比率としてもよい。
このようにすれば、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が出現するテキストの件数に、出典間でどの程度偏りがあるかということを利用者に示すことができる。
上述したテキストマイニング装置において、出典情報を、特徴を含むテキストの集合において、該出典のテキストの件数が、テキストの集合全体における出典別のテキスト件数を鑑みて妥当である値と大きく乖離している出典を特定する情報としてもよい。
このようにすれば、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、出典ごとのテキストの件数に偏りがあっても、テキストマイニングによって抽出された特徴が、特定の出典のテキストに通常考えられるよりも大きく偏って出現しているときに、そのことを利用者に示すことができる。
上述したテキストマイニング装置において、出典情報が、特徴を含むテキストの集合において、該出典のテキストの件数が、テキストの集合全体における出典別のテキストの件数に鑑みて妥当な値と乖離している度合いを示す情報としてもよい。
このようにすれば、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が出現する実際のテキストの件数が、その特徴が出典とは無関係に各テキストに出現すると仮定したときの件数とどの程度ずれているのかを利用者に示すことができる。
また、テキストマイニング方法は、複数の出典から集められたテキストの集合から特徴を抽出し、特徴の各々に対して、該特徴を含むテキストの出典情報を生成し、該特徴と該出典情報とを対応付けて出力するようにしてもよいものである。
上記テキストマイニング方法によれば、テキスト集合から抽出された各特徴とその特徴を含むテキストの出典に関する情報を対応付けて利用者に提示することができる。
そのため、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるのか、あるいは、特定の出典のテキストに偏って見られるものであるのかということを利用者に示すことができる。
上記テキストマイニング方法において、出典情報を特徴を含むテキストの主要な出典を特定する情報としてもよい。
このようにすれば、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるのか、あるいは、特定の出典のテキストに偏って見られるものであるのかということを利用者に示すことができる。
上記テキストマイニング方法において、出典情報を特徴を含むテキストの出典別の構成比率としてもよい。
このようにすれば、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が出現するテキストの件数に、出典間でどの程度偏りがあるかということを利用者に示すことができる。
上記テキストマイニング方法において、出典情報を特徴を含むテキストの集合において、該出典のテキストの件数が、テキストの集合全体における出典別のテキストの件数に鑑みて妥当である値と大きく乖離している出典を特定する情報としてもよい。
このようにすれば、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、出典ごとのテキストの件数に偏りがあっても、テキストマイニングによって抽出された特徴が、特定の出典のテキストに通常考えられるよりも大きく偏って出現しているときに、そのことを利用者に示すことができる。
上記テキストマイニング方法において、出典情報を特徴を含むテキストの集合において、該出典のテキストの件数が、テキストの集合全体における出典別のテキストの件数に鑑みて妥当な値と乖離している度合いを示す情報としてもよい。
このようにすれば、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が出現する実際のテキストの件数が、その特徴が出典とは無関係に各テキストに出現すると仮定したときの件数とどの程度ずれているのかを利用者に示すことができる。
上記テキストマイニングプログラムにおいて、出典情報を特徴を含むテキストの主要な出典を特定する情報としてもよい。
このようにすれば、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるのか、あるいは、特定の出典のテキストに偏って見られるものであるのかということを利用者に示すことができる。
上記テキストマイニングプログラムにおいて、出典情報を特徴を含むテキストの出典別の構成比率としてもよい。
このようにすれば、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が出現するテキストの件数に、出典間でどの程度偏りがあるかということを利用者に示すことができる。
上記テキストマイニングプログラムにおいて、出典情報を特徴を含むテキストの集合において、該出典のテキストの件数が、テキストの集合全体における出典別のテキストの件数に鑑みて妥当である値と大きく乖離している出典を特定する情報としてもよい。
このようにすれば、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、出典ごとのテキストの件数に偏りがあっても、テキストマイニングによって抽出された特徴が、特定の出典のテキストに通常考えられるよりも大きく偏って出現しているときに、そのことを利用者に示すことができる。
上記テキストマイニングプログラムにおいて、出典情報を特徴を含むテキストの集合において、該出典のテキストの件数が、テキストの集合全体における出典別のテキストの件数に鑑みて妥当な値と乖離している度合いを示す情報としてもよい。
このようにすれば、マイニング対象のテキストが、出典が異なる複数の種類のテキストからなる場合に、テキストマイニングによって抽出された特徴が出現する実際のテキストの件数が、その特徴が出典とは無関係に各テキストに出現すると仮定したときの件数とどの程度ずれているのかを利用者に示すことができる。
なお、上述した各実施形態は本発明を具体化した一例に過ぎず、請求の範囲に記載された本発明の趣旨の範囲内であれば、種々変更することができるものである。
本発明によれば、コールセンタで録音した問い合わせのデータや報告書等の紙の文書データから不具合情報や問題点等の有効な知識を抽出するマイニングシステムや、マイニングシステムを実現するためのプログラムといった用途に適用できる。また、問い合わせの内容をテキストとして蓄積しておき、その中から頻出する問い合わせを抽出してQ&A集を構築するシステム等の用途にも適用可能である。
第1の実施の形態の構成を示すブロック図である。 第1の実施の形態の動作を示す流れ図である。 第2の実施の形態の構成を示すブロック図である。 第2の実施の形態の動作を示す流れ図である。 第3の実施の形態の構成を示すブロック図である。 第3の実施の形態の動作を示す流れ図である。 第4の実施の形態の構成を示すブロック図である。 第4の実施の動作を示す流れ図である。 第5の実施の形態の構成を示すブロック図である。 第5の実施の動作を示す流れ図である。 第6の実施の形態の構成を示すブロック図である。 テキスト集合記憶部の例を示す図である。 カテゴリ情報記憶部の例を示す図である。 抽出結果記憶部の例を示す図である。 主要出典付抽出結果出力手段による出力の例を示す図である。 構成比率付抽出結果出力手段による出力の例を示す図である。 特異出典付抽出結果出力手段による出力の例を示す図である。 乖離度付抽出結果出力手段による出力の例を示す図である。 カテゴリごとのテキストの件数を示す図である。 カテゴリ情報記憶部の例を示す図である。 抽出結果記憶部の例を示す図である。 各特徴を含むテキストの件数の分類軸「性別」におけるカテゴリ別の内訳を示す図である。 各特徴を含むテキストの件数の分類軸「年齢」におけるカテゴリ別の内訳を示す図である。 各特徴を含むテキストの件数の分類軸「職業」におけるカテゴリ別の内訳を示す図である。 特徴「性能」を含むかどうか、および、分類軸「性別」において属するカテゴリよって、全テキストを分類したときのそれぞれの件数を示す図である。 特徴「性能」を含むかどうか、および、分類軸「性別」において属するカテゴリよって、全テキストを分類したときのそれぞれの件数の期待値を示す図である。 特異出典付抽出結果出力手段による出力の例を示す図である。
符号の説明
1 入力装置
4 出力装置
5 テキストマイニングプログラム
11 テキストマイニング装置
12 テキストマイニング装置
13 テキストマイニング装置
14 テキストマイニング装置
15 テキストマイニング装置
16 コンピュータ
21 記憶装置
22 記憶装置
23 記憶装置
25 期待値
31 データ処理装置
32 データ処理装置
33 データ処理装置
34 データ処理装置
35 データ処理装置
36 データ処理装置
201 テキスト集合記憶部
202 カテゴリ情報記憶部
203 抽出結果記憶部
204 テキスト集合記憶部
205 カテゴリ情報記憶部
301 特徴表現抽出手段
302 主要出典判別手段
303 主要出典付抽出結果出力手段
304 構成比率計算手段
305 構成比率付抽出結果出力手段
306 特異出典判別手段
307 特異出典付抽出結果出力手段
308 乖離度計算手段
309 乖離度付抽出結果出力手段
310 連関分類軸判別手段
311 特異カテゴリ判別手段
312 特異カテゴリ付抽出結果出力手段

Claims (14)

  1. 複数の異なる出典から集められたテキストの集合をカテゴリ毎に記憶する記憶装置と、データ処理装置とを有し、前記異なる出典はテキストの異なるソースであり、
    前記データ処理装置は、特徴表現抽出手段と、出典情報生成手段と、マイニング結果出力手段とを含み、
    前記特徴表現抽出手段は、前記記憶装置から読み出した指定の対象カテゴリに属するテキストの集合から特徴を抽出するものであり、
    前記出典情報生成手段は、前記特徴表現抽出手段が抽出した前記特徴の各々に対して、該特徴を含むテキストの出典別のテキスト件数を計数し、前記計数結果から、該特徴を含むテキストの出典の統計的傾向を示す情報である出典情報を生成するものであり、
    前記マイニング結果出力手段は、前記特徴表現抽出手段が抽出した特徴と前記出典情報生成手段が作成した出典情報とを対応付けて、テキストマイニングによって抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるか、或いは特定の出典に偏って現れるものであるかを利用者に示す情報を出力するものであることを特徴とするテキストマイニング装置。
  2. 前記マイニング結果出力手段は、前記特徴を含むテキストの主要な出典を特定する情報として前記出典情報を生成するものであることを特徴とする請求項1に記載のテキストマイニング装置。
  3. 前記マイニング結果出力手段は、前記特徴を含むテキストの出典別の構成比率を示す情報として前記出典情報を生成するものであることを特徴とする請求項1に記載のテキストマイニング装置。
  4. 前記マイニング結果出力手段は、前記特徴を含むテキストの集合において、前記出典のテキストの件数が、前記テキストの集合全体における出典別のテキスト件数を鑑みて妥当である値と大きく乖離している出典を特定する情報として前記出典情報を生成するものであることを特徴とする請求項1に記載のテキストマイニング装置。
  5. 前記マイニング結果出力手段は、前記特徴を含むテキストの集合において、前記出典のテキストの件数が、前記テキストの集合全体における出典別のテキストの件数に鑑みて妥当な値と乖離している度合いを示す情報として前記出典情報を生成するものであることを特徴とする請求項1に記載のテキストマイニング装置。
  6. 複数の分類軸について各テキストが属するその分類軸におけるそのテキストのカテゴリを記憶する記憶装置と、データ処理装置とを有し、
    前記データ処理装置は、特徴表現抽出手段と、連関分類軸判別手段と、特異カテゴリ判別手段と、特異カテゴリ付抽出結果出力手段とを含むものであり、
    前記特徴表現抽出手段は、前記記憶装置から読み出した指定の分類軸におけるカテゴリに属するテキストの集合から特徴を抽出するものであり、
    前記連関分類軸判別手段は、前記特徴表現抽出手段が抽出した前記特徴の各々に対して、テキストがその特徴を含むかどうかが、テキストが属するカテゴリに応じて異なるかどうかを各分類軸について判定し、テキストがその特徴を含むかどうかと連関する分類軸を判別するものであり、
    前記特異カテゴリ判別手段は、前記連関分類軸判別手段にて判別された前記分類軸のカテゴリであって、該特徴を含むテキストの集合において、前記カテゴリに属するテキストの件数が、前記テキスト集合の全体における前記分類軸の前記カテゴリ別のテキストの件数に鑑みて妥当な値と大きく乖離している前記カテゴリを判別するものであり、
    前記特異カテゴリ付抽出結果出力手段は、前記特徴表現抽出手段が抽出した前記特徴と前記特異カテゴリ判別手段が判定した前記カテゴリとを対応付けて、前記特徴が出典によらず、あらゆるテキストに共通のものであるか、或いは特定の出典に偏って現れるものであるかを利用者に示す情報を出力するものであることを特徴とするテキストマイニング装置。
  7. 複数の異なる出典から集められたテキストの集合をカテゴリ毎に記憶装置に記憶し、前記異なる出典はソースの異なるテキストであり、
    前記記憶装置から読み出した指定の対象カテゴリに属するテキストの集合から特徴を抽出し、
    前記抽出した前記特徴の各々に対して、該特徴を含むテキストの出典別のテキスト件数を計数し、前記計数結果から、該特徴を含むテキストの出典の統計的傾向を示す情報である出典情報を生成し、
    前記抽出した特徴と前記作成した出典情報とを対応付けて、テキストマイニングによって抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるか、或いは特定の出典に偏って現れるものであるかを利用者に示す情報を出力することを特徴とするテキストマイニング方法。
  8. 前記特徴を含むテキストの主要な出典を特定する情報として前記出典情報を生成することを特徴とする請求項7に記載のテキストマイニング方法。
  9. 前記特徴を含むテキストの出典別の構成比率を示す情報として前記出典情報を生成することを特徴とする請求項7に記載のテキストマイニング方法。
  10. 前記特徴を含むテキストの集合において、前記出典のテキストの件数が、前記テキストの集合全体における出典別のテキスト件数を鑑みて妥当である値と大きく乖離している出典を特定する情報として前記出典情報を生成することを特徴とする請求項7に記載のテキストマイニング方法。
  11. 前記特徴を含むテキストの集合において、前記出典のテキストの件数が、前記テキストの集合全体における出典別のテキストの件数に鑑みて妥当な値と乖離している度合いを示す情報として前記出典情報を生成することを特徴とする請求項7に記載のテキストマイニング方法。
  12. 複数の分類軸について各テキストが属するその分類軸におけるそのテキストのカテゴリを記憶装置に記憶し、
    前記記憶装置から読み出した指定の分類軸におけるカテゴリに属するテキストの集合から特徴を抽出し、
    前記抽出した前記特徴の各々に対して、テキストがその特徴を含むかどうかが、テキストが属するカテゴリに応じて異なるかどうかを各分類軸について判定し、テキストがその特徴を含むかどうかと連関する分類軸を判別し、
    前記判別された前記分類軸のカテゴリであって、前記特徴を含むテキストの集合において、前記カテゴリに属するテキストの件数が、前記テキスト集合の全体における前記分類軸の前記カテゴリ別のテキストの件数に鑑みて妥当な値と大きく乖離している前記カテゴリを判別し、
    前記抽出した前記特徴と前記判定した前記カテゴリとを対応付けて、前記特徴が出典によらず、あらゆるテキストに共通のものであるか、或いは特定の出典に偏って現れるものであるかを利用者に示す情報を出力することを特徴とするテキストマイニング方法。
  13. 記憶装置に記憶されている複数の異なる出典から集められたテキストの集合から特徴を抽出するためのテキストマイニングプログラムであって、
    複数の異なる出典から集められたテキストの集合をカテゴリ毎に記憶装置に記憶し、前記異なる出典はソースの異なるテキストであり、
    コンピュータに、
    前記記憶装置から読み出した指定の対象カテゴリに属するテキストの集合から特徴を抽出する機能と、
    前記抽出した前記特徴の各々に対して、該特徴を含むテキストの出典別のテキスト件数を計数し、前記計数結果から、該特徴を含むテキストの出典の統計的傾向を示す情報である出典情報を生成する機能と、
    前記抽出した特徴と前記作成した出典情報とを対応付けて、テキストマイニングによって抽出された特徴が、出典によらず、あらゆるテキストに共通のものであるか、或いは特定の出典に偏って現れるものであるかを利用者に示す情報を出力する機能とを実行させることを特徴とするテキストマイニングプログラム。
  14. 記憶装置に記憶されている複数の異なる出典から集められたテキストの集合から特徴を抽出するためのテキストマイニングプログラムであって、
    複数の分類軸について各テキストが属するその分類軸におけるそのテキストのカテゴリを記憶装置に記憶し、
    コンピュータに、
    前記記憶装置から読み出した指定の分類軸におけるカテゴリに属するテキストの集合から特徴を抽出する機能と、
    前記抽出した前記特徴の各々に対して、テキストがその特徴を含むかどうかが、テキストが属するカテゴリに応じて異なるかどうかを各分類軸について判定し、テキストがその特徴を含むかどうかと連関する分類軸を判別する機能と、
    前記判別された前記分類軸のカテゴリであって、前記特徴を含むテキストの集合において、前記カテゴリに属するテキストの件数が、前記テキスト集合の全体における前記分類軸の前記カテゴリ別のテキストの件数に鑑みて妥当な値と大きく乖離している前記カテゴリを判別する機能と、
    前記抽出した前記特徴と前記判定した前記カテゴリとを対応付けて、前記特徴が出典によらず、あらゆるテキストに共通のものであるか、或いは特定の出典に偏って現れるものであるかを利用者に示す情報を出力するする機能とを実行させることを特徴とするテキストマイニングプログラム。
JP2008517833A 2006-05-26 2007-05-17 テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム Active JP5223671B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008517833A JP5223671B2 (ja) 2006-05-26 2007-05-17 テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006147038 2006-05-26
JP2006147038 2006-05-26
JP2008517833A JP5223671B2 (ja) 2006-05-26 2007-05-17 テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム
PCT/JP2007/060133 WO2007138872A1 (ja) 2006-05-26 2007-05-17 テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム

Publications (2)

Publication Number Publication Date
JPWO2007138872A1 JPWO2007138872A1 (ja) 2009-10-01
JP5223671B2 true JP5223671B2 (ja) 2013-06-26

Family

ID=38778391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008517833A Active JP5223671B2 (ja) 2006-05-26 2007-05-17 テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム

Country Status (3)

Country Link
US (1) US8595247B2 (ja)
JP (1) JP5223671B2 (ja)
WO (1) WO2007138872A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8751531B2 (en) 2008-08-29 2014-06-10 Nec Corporation Text mining apparatus, text mining method, and computer-readable recording medium
JP5472641B2 (ja) * 2008-08-29 2014-04-16 日本電気株式会社 テキストマイニング装置、テキストマイニング方法、及びプログラム
CN103678320B (zh) * 2012-09-03 2017-10-27 腾讯科技(深圳)有限公司 网络信息的挖掘方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311777A (ja) * 1994-05-19 1995-11-28 Hitachi Ltd 異種データベースのデータ検索方法
JP2001142887A (ja) * 1999-11-10 2001-05-25 Sharp Corp 文書検索方法および文書検索装置およびプログラム記録媒体
JP2002041547A (ja) * 2000-07-27 2002-02-08 Ricoh Co Ltd 情報分析支援装置、システム、方法及び情報分析支援を実行するための記録媒体
JP2004021445A (ja) * 2002-06-14 2004-01-22 Nri & Ncc Co Ltd テキストデータ分析システム、テキストデータ分析方法およびコンピュータプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020099730A1 (en) * 2000-05-12 2002-07-25 Applied Psychology Research Limited Automatic text classification system
JP3864687B2 (ja) 2000-09-13 2007-01-10 日本電気株式会社 情報分類装置
JP2003141134A (ja) 2001-11-07 2003-05-16 Hitachi Ltd テキストマイニング処理方法及びその実施装置
JP2003308417A (ja) 2002-04-16 2003-10-31 Tm System Kikaku:Kk 情報蒐集システム
US20070016580A1 (en) * 2005-07-15 2007-01-18 International Business Machines Corporation Extracting information about references to entities rom a plurality of electronic documents

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311777A (ja) * 1994-05-19 1995-11-28 Hitachi Ltd 異種データベースのデータ検索方法
JP2001142887A (ja) * 1999-11-10 2001-05-25 Sharp Corp 文書検索方法および文書検索装置およびプログラム記録媒体
JP2002041547A (ja) * 2000-07-27 2002-02-08 Ricoh Co Ltd 情報分析支援装置、システム、方法及び情報分析支援を実行するための記録媒体
JP2004021445A (ja) * 2002-06-14 2004-01-22 Nri & Ncc Co Ltd テキストデータ分析システム、テキストデータ分析方法およびコンピュータプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CSNA200601634001; '問い合わせ/帳票機能の充実' FUJITSU SymfoWARER Navigator Server新機能ご紹介 第1版, 20020331, 39-50頁, 富士通株式会社 *
CSNG200300654004; 那須川 哲哉: 'テキストマイニング' 人工知能学会誌 第16巻 第2号, 20010301, 219-225ページ, (社)人工知能学会 *
JPN6012004791; 那須川 哲哉: 'テキストマイニング' 人工知能学会誌 第16巻 第2号, 20010301, 219-225ページ, (社)人工知能学会 *
JPN6012004793; '問い合わせ/帳票機能の充実' FUJITSU SymfoWARER Navigator Server新機能ご紹介 第1版, 20020331, 39-50頁, 富士通株式会社 *

Also Published As

Publication number Publication date
WO2007138872A1 (ja) 2007-12-06
US20090307210A1 (en) 2009-12-10
JPWO2007138872A1 (ja) 2009-10-01
US8595247B2 (en) 2013-11-26

Similar Documents

Publication Publication Date Title
Kalampokis et al. Understanding the predictive power of social media
US9483730B2 (en) Hybrid review synthesis
US20200143115A1 (en) Systems and methods for improved automated conversations
US10140285B2 (en) System and method for generating phrase based categories of interactions
US11950020B2 (en) Methods and apparatus for displaying, compressing and/or indexing information relating to a meeting
Moges et al. Determining the use of data quality metadata (DQM) for decision making purposes and its impact on decision outcomes—An exploratory study
CN114514546A (zh) 用于促进产品研发的系统、方法和用户界面
JP2017102757A (ja) 探索支援方法、探索支援装置、及び、プログラム
JP2013033376A (ja) 情報処理装置、情報処理方法、および、プログラム
JP5223671B2 (ja) テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム
KR20150005795A (ko) 소셜 데이터의 분석을 통한 감성 영향 인덱스의 생성 방법 및 그 시스템
CN103635898A (zh) 喜好可视化系统和审查系统
Son et al. Topic diversity of online consumer reviews and its effect on review helpfulness
JP7300420B2 (ja) 通話録音テキスト分析システムおよび方法
JP2005190284A (ja) 情報分類装置および情報分類方法
JP2006004098A (ja) 評価情報生成装置、評価情報生成方法、及びプログラム
JP6536671B2 (ja) テキスト可視化システム、テキスト可視化方法、及び、プログラム
JP5224532B2 (ja) 評判情報分類装置及びプログラム
Ustyianovych et al. Instant messaging platforms news multi-task classification for stance, sentiment, and discrimination detection
JP2007257330A (ja) 顧客対応要員を評価させるプログラム、評価方法、および顧客対応要員の評価装置
KR101730883B1 (ko) 코멘트 데이터의 계층화된 정보를 시각화하는 장치 및 방법
JP2019096019A (ja) 情報解析システム
JP2005165754A (ja) テキストマイニング分析装置、テキストマイニング分析方法、及びテキストマイニング分析プログラム
JP7171352B2 (ja) ワークショップ支援システム及びワークショップ支援方法
Perikos et al. Opinion mining and visualization of online users reviews: a case study in Booking. com

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121220

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130225

R150 Certificate of patent or registration of utility model

Ref document number: 5223671

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3