JP6007784B2 - 文書分類装置及びプログラム - Google Patents

Description

本発明は、文書データを分類する文書分類装置及びプログラムに関する。

文書データを特定のカテゴリに分類する技術が知られている。

例えば、特許文献１には、予め特定のカテゴリに分類された学習用データがある場合、カテゴリの特徴と未分類のデータとを比較することで、未分類のデータのカテゴリを決定する方法が開示されている。

また、特許文献２には、各文書を文書の特徴量に基づいてクラスタ分けし、各クラスタの特徴語を当該クラスタに属する文書のカテゴリとして用いる方法が開示されている。

特開平１１−１６７５８１号公報 特開２００５−１８２６１１号公報

ところで、カテゴリ間の境界が曖昧で、文書データを特定のカテゴリに明確に分類できない場合がある。例えば、文書データのカテゴリが「概要」であるとともに「経歴」でもある場合や、「概要」であるとともに「構成」でもある場合がある。また、人が文書データを分類する場合、その人によって分類の仕方が異なるため、文書データに付与されるカテゴリが人によって異なる場合がある。以上のように、カテゴリの独立性の保障が困難であり、また、人に依存してカテゴリ分類にゆらぎが生じるため、予め特定のカテゴリに分類された学習用データにおいては、学習用データとカテゴリとの組み合わせが正確でない場合がある。カテゴリ分類のゆらぎが生じないようにカテゴリを細かく定義することも考えられるが、カテゴリを細かく定義するほどカテゴリの設定コストが増大し、カテゴリを付与する人に依存してカテゴリ分類にゆらぎが生じるおそれがある。また、自動でカテゴリを決定する場合、例えば特定のデータ集合に「概要」という用語が出現しない場合、そのデータ集合が「概要」について表している場合でも、「概要」というカテゴリに分類することはできない。また、自動でカテゴリを決定する場合、分類されたカテゴリの意味を人が解釈できない場合がある。

本発明の目的は、予め文書データに付与されたカテゴリの定義に曖昧性がある場合であっても、その曖昧性を表現したカテゴリを文書データに付与することが可能な文書分類装置及びプログラムを提供することである。

請求項１に記載の発明は、予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出する特徴抽出手段と、前記特徴情報に基づいて文書データを同一クラスタに分類するクラスタリング手段と、同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データのカテゴリも自己のカテゴリとして付与するカテゴリ更新手段と、を有し、前記カテゴリ更新手段は、前記同一クラスタにおける各文書データのカテゴリの出現割合を、前記同一クラスタに分類された文書データに付与する、ことを特徴とする文書分類装置である。

請求項２に記載の発明は、請求項１に記載の文書分類装置であって、前記特徴抽出手段は、前記特定のカテゴリに関連する情報を特徴情報として前記複数の文書データのそれぞれから抽出する、ことを特徴とする。

請求項３に記載の発明は、請求項１又は請求項２に記載の文書分類装置であって、検索クエリを受け、前記検索クエリにカテゴリに関する情報が含まれている場合、文書データに予め付与されたカテゴリ及び前記カテゴリ更新手段によって付与されたカテゴリも検索対象とし、前記検索クエリを用いて検索し、検索結果を出力する検索手段を更に有する、ことを特徴とする。
請求項４に記載の発明は、予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出する特徴抽出手段と、前記特徴情報に基づいて文書データを同一クラスタに分類するクラスタリング手段と、同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データのカテゴリも自己のカテゴリとして付与するカテゴリ更新手段と、検索クエリを受け、前記検索クエリにカテゴリに関する情報が含まれている場合、文書データに予め付与されたカテゴリ及び前記カテゴリ更新手段によって付与されたカテゴリも検索対象とし、前記検索クエリを用いて検索し、検索結果を出力する検索手段と、を有することを特徴とする文書分類装置である。

請求項５に記載の発明は、請求項３又は請求項４に記載の文書分類装置であって、前記検索手段は、前記同一クラスタにおける各文書データのカテゴリの出現割合に応じた検索結果を出力する、ことを特徴とする。

請求項６に記載の発明は、請求項３から請求項５のいずれか一項に記載の文書分類装置であって、前記検索クエリによって検索された文書データのカテゴリと前記検索クエリに含まれるカテゴリに関する情報とが一致しない場合、前記検索された文書データのカテゴリを、前記検索クエリに含まれるカテゴリに変更する更新手段を更に有する、ことを特徴とする。

請求項７に記載の発明は、請求項１から請求項６のいずれか一項に記載の文書分類装置であって、前記カテゴリ更新手段によってカテゴリが付与された文書データに基づいて作成された識別器を用いて未分類の文書データにカテゴリを付与するカテゴリ分類手段を更に有する、ことを特徴とする。

請求項８に記載の発明は、請求項７に記載の文書分類装置であって、前記カテゴリ分類手段は、出現割合が最大のカテゴリを前記未分類の文書データに付与する、ことを特徴とする。
請求項９に記載の発明は、予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出する特徴抽出手段と、前記特徴情報に基づいて文書データを同一クラスタに分類するクラスタリング手段と、同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データのカテゴリも自己のカテゴリとして付与するカテゴリ更新手段と、前記カテゴリ更新手段によってカテゴリが付与された文書データに基づいて作成された識別器を用いて未分類の文書データにカテゴリを付与するカテゴリ分類手段と、を有し、前記カテゴリ分類手段は、出現割合が最大のカテゴリを前記未分類の文書データに付与する、ことを特徴とする文書分類装置である。

請求項１０に記載の発明は、請求項７から請求項９のいずれか一項に記載の文書分類装置であって、前記カテゴリ分類手段によって処理された前記未分類の文書データを、前記特徴抽出手段、前記クラスタリング手段及び前記カテゴリ更新手段の処理対象の文書データに追加する手段を更に有する、ことを特徴とする。

請求項１１に記載の発明は、請求項１から請求項１０のいずれか一項に記載の文書分類装置であって、前記特徴抽出手段は、文書データにおける特徴情報の出現頻度に応じて、前記クラスタリング手段によるクラスタ分けに用いられる特徴情報を選択する、ことを特徴とする。

請求項１２に記載の発明は、請求項１から請求項１１のいずれか一項に記載の文書分類装置であって、前記カテゴリ更新手段は、前記同一クラスタにおける各文書データのカテゴリの出現割合に応じてカテゴリを選択して文書データに付与する、ことを特徴とする。
請求項１３に係る発明は、予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出する特徴抽出手段と、前記特徴情報に基づいて文書データを同一クラスタに分類するクラスタリング手段と、同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データのカテゴリも自己のカテゴリとして付与するカテゴリ更新手段と、を有し、前記カテゴリ更新手段は、前記同一クラスタにおける各文書データのカテゴリの出現割合に応じてカテゴリを選択して文書データに付与する、ことを特徴とする文書分類装置である。

請求項１４に記載の発明は、コンピュータに、予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出するステップと、前記特徴情報に基づいて文書データを同一クラスタに分類するステップと、同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データのカテゴリも自己のカテゴリとして付与するステップと、を実行させ、前記付与するステップでは、前記同一クラスタにおける各文書データのカテゴリの出現割合を、前記同一クラスタに分類された文書データに付与する、ことを特徴とするプログラムである。
請求項１５に係る発明は、予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出する特徴抽出手段と、前記特徴情報に基づいて文書データを同一クラスタに分類するクラスタリング手段と、同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データの少なくとも一部のカテゴリも自己のカテゴリとして付与するカテゴリ更新手段と、を有し、前記カテゴリ更新手段は、前記同一クラスタにおける各文書データのカテゴリの出現割合を、前記同一クラスタに分類された文書データに付与する、ことを特徴とする文書分類装置である。
請求項１６に係る発明は、コンピュータに、予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出するステップと、前記特徴情報に基づいて文書データを同一クラスタに分類するステップと、同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データの少なくとも一部のカテゴリも自己のカテゴリとして付与するステップと、を実行させ、前記付与するステップでは、前記同一クラスタにおける各文書データのカテゴリの出現割合を、前記同一クラスタに分類された文書データに付与する、ことを特徴とするプログラムである。

請求項１，１４，１５，１６に記載の発明によると、カテゴリの定義に曖昧性がある場合であっても、その曖昧性を表現したカテゴリを文書データに付与することが可能となる。また、カテゴリの特徴の割合を文書データに付与することが可能となる。

請求項２に記載の発明によると、本発明の構成を備えていない場合と比べて、文書分類の精度が向上する。

請求項３，４に記載の発明によると、カテゴリを考慮した検索結果が得られる。

請求項５に記載の発明によると、カテゴリの割合を考慮した検索結果が得られる。

請求項６に記載の発明によると、本発明の構成を備えていない場合と比べて、文書データのカテゴリをより正確に修正することが可能となる。

請求項７に記載の発明によると、カテゴリの曖昧性を表現したカテゴリを未分類の文書データに付与することが可能となる。

請求項８，９に記載の発明によると、本発明の構成を備えていない場合と比べて、より正確なカテゴリを未分類の文書データに付与することが可能となる。

請求項１０に記載の発明によると、未分類であった文書データを含めて処理を行うことで、本発明の構成を備えていない場合と比べて、文書分類の精度が向上する。

請求項１１に記載の発明によると、本発明の構成を備えていない場合と比べて、文書分類の精度が向上する。

請求項１２，１３に記載の発明によると、本発明の構成を備えていない場合と比べて、文書分類の精度が向上する。

本発明の実施形態に係る文書分類装置の一例を示すブロック図である。 動作例１を示すフローチャートである。 動作例２を示すフローチャートである。 予め特定のカテゴリに分類された学習用データの一例を示す表である。 学習用データのベクトル表現の一例を示す表である。 クラスタリングの結果を示す表である。 クラスタの分析結果を示す表である。 クラスタカテゴリが付与された学習用データの一例を示す表である。 変形例に係る文書分類装置の一例を示すブロック図である。 動作例３を示すフローチャートである。 動作例４を示すフローチャートである。

図１に、本発明の実施形態に係る文書分類装置の一例を示す。文書分類装置１は、記憶部１０、特徴抽出部１６、クラスタリング部１８、クラスタ分析部２０、クラスタカテゴリ記憶部２２及びカテゴリ更新部２４を備え、予め特定のカテゴリに分類された学習用データに、カテゴリの定義の曖昧性を考慮した新たなカテゴリを付与する。

記憶部１０は、データ記憶部１２とカテゴリ記憶部１４とを含む。データ記憶部１２には、予め特定のカテゴリに分類された学習用データが記憶されている。学習用データは、例えば、単一又は複数の文で構成された文書データである。学習用データは、予め特定のカテゴリに分類されていれば、カテゴリの種類や学習データの質にかかわらず、どのようなデータであってもよい。例えば、文書の章や段落のタイトルをカテゴリとし、章や段落内部の文書を学習用データとし、文書の構造を利用して自動で収集されるデータであってもよい。学習用データには、当該学習用データを識別するための学習用データ識別情報（例えばＩＤ番号等）が付与されており、また、当該学習用データのカテゴリを示すカテゴリ情報が関連付けられている。カテゴリ記憶部１４は、学習用データに関連付けられたカテゴリ情報を記憶する。

特徴抽出部１６は、複数の学習用データのそれぞれから特徴情報を抽出し、抽出した特徴情報を用いて各学習用データをベクトル化する。特徴抽出部１６は、形態素情報、品詞情報、構文・意味情報、文字・単語Ｎ−ｇｒａｍ、任意の単語、句読点の数、及び、過去形の単語の数等のうちの１又は複数を特徴情報として抽出する。これらの情報はベクトルの素性となる。各素性のスコアは二値（０又は１）でもよいし、出現数やＴｆ−ｉｄｆ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ−Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）値等でもよい。また、特徴抽出部１６は、辞書等を利用することで同義語を同一素性として扱ってもよいし、Ｔｆ−ｉｄｆ値に閾値を設けてノイズとなり得る素性を除去し、ベクトルの次元を圧縮してもよい。ノイズとなり得る素性を除去することで、文書分類の精度が向上する。例えば、ｉｄｆ値が下限閾値以下となる単語は一般的な単語であると判断され得るため、ベクトルの素性として使用しなくてもよい。また、ｉｄｆ値が上限閾値以上となる単語は、素性に識別器が大きく依存する可能性があるため、素性として使用しなくてもよい。以上のようにして、特徴抽出部１６は、素性のスコアに応じて、クラスタリング部１８によるクラスタ分けに用いられる特徴情報を選択してもよい。

クラスタリング部１８は、特徴抽出部１６によって抽出された特徴情報に基づき、類似した特徴情報を有する学習用データを同一のクラスタに分類する。具体的には、クラスタリング部１８は、Ｒｅｐｅａｔｅｄ Ｂｉｓｅｃｔｉｏｎ法、Ｋ−ｍｅａｎｓ法又はＬＤＡ（Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ）法等の手法を用いることで、ベクトル表現された学習用データをクラスタ分けする。例えば、クラスタリング部１８は、特徴情報の出現頻度が類似する学習用データを同一のクラスタに分類する。クラスタリング部１８は、クラスタを識別するためのクラスタ識別情報（例えばＩＤ番号等）を各クラスタに付与する。

クラスタ分析部２０は、クラスタに属する学習用データに関連付けられたカテゴリ情報に基づき、当該クラスタ内のカテゴリの構成を分析し、分析結果をクラスタカテゴリ記憶部２２に出力する。具体的には、クラスタ分析部２０は、クラスタに属する学習用データに関連付けられたカテゴリ情報に基づき、同一クラスタに属する各学習用データのカテゴリの当該クラスタ内での出現数と、当該クラスタ内における出現割合とを求める。各カテゴリの出現割合は、同一クラスタ内に属する全カテゴリの出現数に対する各カテゴリの出現数である。また、クラスタを構成するデータ数が、全体又は他のクラスタのデータ数よりも少なく、その数の差が予め決定された閾値以上となるクラスタはノイズとなり得るため、クラスタ分析部２０は、そのクラスタに属する学習用データを除去してもよい。また、同一クラスタに属するカテゴリのうち、数が他のカテゴリよりも少なく、その数の差が予め決定された閾値以上となるカテゴリはノイズとなり得るため、クラスタ分析部２０は、そのカテゴリを除去してもよい。ノイズとなり得るクラスタや学習用データを除去することで、文書分類の精度が向上する。例えば、出現割合が予め決定された閾値以下となるカテゴリを、クラスタから除去してもよい。また、クラスタ分析部２０は、１つのクラスタに含まれるカテゴリの数を制限してもよい。例えば、クラスタ分析部２０は、出現割合が大きいカテゴリから予め決定された数のカテゴリをクラスタに含ませ、それ以外のカテゴリをクラスタに含ませなくてもよい。以上のようにして、クラスタ分析部２０は、カテゴリの出現割合に応じて、クラスタカテゴリに用いるカテゴリを選択してもよい。

クラスタカテゴリ記憶部２２は、クラスタ分析部２０の分析結果としてのクラスタカテゴリ情報を記憶する。

カテゴリ更新部２４は、同一クラスタに属する各カテゴリと各カテゴリの出現割合とをクラスタカテゴリとして新たに定義し、このクラスタカテゴリを示すクラスタカテゴリ情報を用いることで、各学習用データのカテゴリを更新する。すなわち、カテゴリ更新部２４は、同一クラスタに属する学習用データに、当該同一クラスタに属する別の学習用データのカテゴリも自己のカテゴリとして付与する。例えば、カテゴリ更新部２４は、同一クラスタに属する各学習用データに、当該クラスタのクラスタ識別情報を付与し、当該クラスタのクラスタカテゴリ情報を関連付ける。このようにして、各学習用データをクラスタカテゴリに分類する。なお、各クラスタカテゴリには、クラスタ識別情報が付与される。カテゴリ記憶部１４は、学習用データに関連付けられたクラスタカテゴリ情報を記憶する。このように、各学習用データにクラスタカテゴリが付与されることになるため、各学習用データは、元々のカテゴリに分類されているとともに、クラスタカテゴリに分類されてもいる。すなわち、各学習用データには、元々のカテゴリを示すカテゴリ情報とクラスタカテゴリを示すクラスタカテゴリ情報とが関連付けられていることになる。

なお、記憶部１０及びクラスタカテゴリ記憶部２２を文書分類装置１に設けずに、文書分類装置１の外部に設けてもよい。

（動作例１）
次に、図２に示すフローチャートを参照して、文書分類装置１の動作例１を説明する。まず、特徴抽出部１６は、複数の学習用データをデータ記憶部１２から読み出し、複数の学習用データを解析することで複数の学習用データのそれぞれから特徴情報を抽出し、学各学習用データをベクトル化する（Ｓ０１）。次に、クラスタリング部１８は、ベクトル表現された複数の学習用データをクラスタに分類する（Ｓ０２）。そして、クラスタ分析部２０は、クラスタに属する学習用データに関連付けられたカテゴリ情報に基づき、当該クラスタ内のカテゴリの構成を分析する（Ｓ０３）。カテゴリ更新部２４は、同一クラスタに属する各カテゴリと各カテゴリの出現割合とをクラスタカテゴリとして定義し、同一クラスタに属する各学習用データに当該クラスタのクラスタカテゴリ情報を関連付けることで、各学習用データのカテゴリを更新する（Ｓ０４）。

（動作例２）
次に、図３に示すフローチャートを参照して、文書分類装置１の動作例２を説明する。まず、特徴抽出部１６は、複数の学習用データを解析することで複数の学習用データのそれぞれから特徴情報を抽出する（Ｓ１０）。次に、特徴抽出部１６は、抽出した特徴情報のうちノイズとなり得る特徴情報を除去し、ノイズとなり得ない特徴情報を選択して各学習用データをベクトル化する（Ｓ１１）。例えば、特徴抽出部１６は、抽出した特徴情報のうち同義語を同一素性として扱い、又は、Ｔｆ−ｉｄｆ値に基づいて不要な素性を除去し、各学習用データをベクトル化する。そして、クラスタリング部１８は、ベクトル表現された複数の学習用データをクラスタに分類し（Ｓ１２）、クラスタ分析部２０は、クラスタ内のカテゴリの構成を分析する（Ｓ１３）。また、クラスタ分析部２０は、ノイズとなり得るクラスタの学習データを除去する（Ｓ１４）。クラスタ分析部２０は、数が他のカテゴリよりも少なく、その数の差が閾値以上となるカテゴリを除去してもよい。そして、カテゴリ更新部２４は、同一クラスタに属する各学習用データにクラスタカテゴリ情報を関連付けることで、各学習用データのカテゴリを更新する（Ｓ１５）。

（具体例）
次に、文書分類装置１の動作について具体例を挙げて説明する。図４に、予め特定のカテゴリに分類された学習用データの一例を示す。例えば、学習用データ識別情報（ＩＤ＝１，２）が付された学習用データは「概要」というカテゴリに予め分類されており、ＩＤ＝３の学習用データは「経歴」というカテゴリに予め分類されており、ＩＤ＝４の学習用データは「構成」というカテゴリに予め分類されている。各学習用データは記憶部１０に記憶されており、各学習用データのカテゴリを示すカテゴリ情報は、カテゴリ記憶部１４に記憶されている。

特徴抽出部１６は、各学習用データ（ＩＤ＝１，２，３，・・・）から特徴情報を抽出し、各学習用データをベクトル化する。図５に、ＩＤ＝１の学習用データのベクトル表現の一例を示す。説明を簡略にするために、内容語（単語）をベクトルの素性として用い、出現数をスコアとして用いている。図５中のＷＩＤは、特徴抽出部１６によって各単語に付けられた識別情報である。なお、ＷＩＤはベクトルのインデクス番号を表し、出現数はインデクス番号におけるスコアを表す。特徴抽出部１６は、辞書等を利用することで、同義語に同一のＷＩＤを付与してもよい。また、スコア（出現数、出現頻度）に対して閾値を設定し、スコアが閾値以下となる素性を除去してもよい。すなわち、スコアに応じて、クラスタリング部１８によるクラスタ分けに用いられる特徴情報を選択してもよい。

クラスタリング部１８は、ベクトル表現された学習用データを、予め決定された手法によってクラスタに分類する。図６にクラスタリングの結果を示す。図６中のＣＩＤは、クラスタを識別するためのクラスタ識別情報である。図６に示す例では、ＣＩＤ＝１のクラスタには、ＩＤ＝１，３，１０，・・・の学習用データが分類されている。ＩＤ＝１の学習用データは予め「概要」カテゴリに分類され、ＩＤ＝３の学習用データは予め「経歴」カテゴリに分類されているため、「概要」カテゴリ及び「経歴」カテゴリがＣＩＤ＝１のクラスタに属することになる。また、ＣＩＤ＝２のクラスタには、ＩＤ＝２の学習用データが分類されている。ＩＤ＝２の学習用データは予め「概要」カテゴリに分類されているため、「概要」カテゴリがＣＩＤ＝２のクラスタに属することになる。他のＣＩＤのクラスタについても同様に、各クラスタに分類された学習用データのカテゴリが、対応するクラスタに属することになる。以下では、説明の便宜上、ＣＩＤ＝１のクラスタを「クラスタ１」と称し、ＣＩＤ＝２のクラスタを「クラスタ２」と称する。他のＣＩＤのクラスタについても同様である。

クラスタ分析部２０は、クラスタ１に属する各学習用データ（ＩＤ＝１，３，１０，・・・）のカテゴリのクラスタ１内での出現数と、クラスタ１内における各カテゴリの出現割合とを求める。他のクラスタ２，３，・・・についても同様に、カテゴリの出現数と出現割合とを求める。クラスタ内のカテゴリの出現数は、当該カテゴリに予め分類され、クラスタリング部１８によって当該クラスタに分類された学習用データの数を意味する。なお、クラスタ分析部２０は、ノイズとなり得るクラスタや学習用データを除去してもよい。図７にクラスタの分析結果を示す。図７に示す例では、クラスタ１には５１６個の学習用データ（カテゴリ）が分類されている（要素数＝５１６）。具体的には、クラスタ１には、１２０個の「経歴」カテゴリが含まれ、１０１個の「概要」カテゴリが含まれている。これは、「経歴」カテゴリに予め分類された１２０個の学習用データが、クラスタリング部１８によってクラスタ１に分類され、「概要」カテゴリに予め分類された１０１個の学習用データが、クラスタリング部１８によってクラスタ１に分類されたことを意味する。また、クラスタ１においては、「経歴」カテゴリの出現割合は０．２３（２３％）であり、「概要」カテゴリの出現割合は０．２０（２０％）である。すなわち、クラスタ１に分類された全カテゴリのうち２３％のカテゴリが「経歴」カテゴリであり、２０％のカテゴリが「概要」カテゴリであることを意味する。

クラスタ２には１個の学習用データ（カテゴリ）が分類されている（要素数＝１）。具体的には、１個の「概要」カテゴリがクラスタ２に分類されている。これは、「概要」カテゴリに予め分類された１個の学習用データが、クラスタリング部１８によってクラスタ２に分類されたことを意味する。従って、クラスタ２においては、「概要」カテゴリの出現割合は１．００（１００％）である。

クラスタ３には３３３個の学習用データ（カテゴリ）が分類されている（要素数＝３３３）。具体的には、クラスタ３には、９１個の「構成」カテゴリが含まれ、５２個の「概要」カテゴリが含まれている。これは、「構成」カテゴリに予め分類された９１個の学習用データが、クラスタリング部１８によってクラスタ３に分類され、「概要」カテゴリに予め分類された５２個の学習用データが、クラスタリング部１８によってカテゴリ３に分類されたことを意味する。また、クラスタ３においては、「構成」カテゴリの出現割合は０．２７（２７％）であり、「概要」カテゴリの出現割合は０．１６（１６％）である。

カテゴリ更新部２４は、クラスタ１に属する各カテゴリ（経歴、概要、・・・）と各カテゴリの出現割合（０．２３、０．２０、・・・）とを、ＣＩＤ＝１のクラスタカテゴリとして新たに定義する。同様に、カテゴリ更新部２４は、クラスタ２に属する「概要」カテゴリと出現割合（１．００）とを、ＣＩＤ＝２のクラスタカテゴリとして新たに定義し、クラスタ３に属する各カテゴリ（構成、概要、・・・）と各カテゴリの出現割合（０．２７、０．１６、・・・）とを、ＣＩＤ＝３のクラスタカテゴリとして新たに定義する。他のクラスタについても同様である。

カテゴリ更新部２４は、クラスタ１に属する学習用データに、クラスタ１のクラスタ識別情報（ＣＩＤ＝１）を付与し、ＣＩＤ＝１のクラスタカテゴリを示すクラスタカテゴリ情報を関連付ける。他のクラスタに属する学習用データについても同様に、クラスタカテゴリ情報を関連付ける。以下では、説明の便宜上、ＣＩＤ＝１のクラスタカテゴリを「クラスタカテゴリ１」と称し、ＣＩＤ＝２のクラスタカテゴリを「クラスタカテゴリ２」と称する。他のＣＩＤのクラスタカテゴリについても同様である。

図８に、クラスタカテゴリが付与された学習用データの一例を示す。ＩＤ＝１，３の学習用データはクラスタ１に属しているため、クラスタカテゴリ１を示すクラスタカテゴリ情報が関連付けられている。すなわち、「経歴」カテゴリ、「経歴」カテゴリの出現割合、「概要」カテゴリ及び「概要」カテゴリの出現割合を含むクラスタカテゴリ情報が、ＩＤ＝１，３の学習用データに関連付けられている。また、ＩＤ＝２の学習用データはクラスタ２に属しているため、クラスタカテゴリ２を示すクラスタカテゴリ情報が関連付けられている。すなわち、「概要」カテゴリ及び「概要」カテゴリの出現割合を示すクラスカテゴリ情報が、ＩＤ＝２の学習用データに関連付けられている。

ＩＤ＝１の学習用データを例にして説明すると、ＩＤ＝１の学習用データに付与されたクラスタカテゴリは、例えば、以下のように解釈され得る。
（１）ＩＤ＝１の学習用データは、２３％の確率で「経歴」カテゴリ、２０％の確率で「概要」カテゴリに分類されるデータである。
（２）ＩＤ＝１の学習用データは、２３％の「経歴」カテゴリの特徴と２０％の「概要」カテゴリの特徴とを有するデータである。
（３）ＩＤ＝１の学習用データは、「経歴」カテゴリの特徴と「概要」カテゴリの特徴とを有するデータである。
ＩＤ＝１の学習用データは「概要」カテゴリに予め分類されていたが、「経歴」カテゴリの出現割合（２３％）が「概要」カテゴリの出現割合（２０％）よりも大きいため、「概要」カテゴリよりも「経歴」カテゴリの特徴が強いと分析されている。他のクラスカテゴリについても同様に解釈され得る。

以上のように、予め特定のカテゴリに分類された学習用データの特徴情報に基づいて学習用データをクラスタに分類し、クラスタに属するカテゴリと当該カテゴリの出現割合とをクラスタカテゴリとして新たに定義して学習用データに関連付けることで、カテゴリ間の境界が曖昧でカテゴリの定義に曖昧性がある場合であっても、その曖昧性を表現したクラスタカテゴリが学習用データに付与されることになる。言葉は様々な意味や概念を持つため、各カテゴリが互いに独立していないことがあり、学習用データに予め付与されたカテゴリは、当該学習用データの特徴を正確に表していないことがある。本実施形態によると、カテゴリの曖昧性を表現したクラスタカテゴリが学習用データに付与されるため、当該学習用データの特徴をより正確に表したカテゴリが学習用データに付与されることになる。

例えば、上述したＩＤ＝１の学習用データのように、元々は「概要」カテゴリが付与されていたが、「経歴」の要素が「概要」よりも強い可能性がある。この場合に、「概要」カテゴリ又は「経歴」カテゴリのいずれか一方のみをＩＤ＝１の学習用データに付与するのではなく、出現割合も含めて両カテゴリをクラスタカテゴリとしてＩＤ＝１の学習用データに付与することで、クラスタカテゴリを付与しない場合と比べて、ＩＤ＝１の学習用データの特徴がより正確に表現されることになる。例えば、「概念」カテゴリだけがＩＤ＝１の学習用データに付与されている場合、ＩＤ＝１の学習用データが「経歴」カテゴリの特徴を有しているにもかかわらず、その特徴が表されない。これに対して、クラスタカテゴリを学習用データに付与することで、ＩＤ＝１の学習用データが「概要」及び「経歴」カテゴリの特徴を有していることが表されるため、ＩＤ＝１の学習用データの特徴がより正確に表現されることになる。

以上のように、予め特定のカテゴリに分類された学習用データを対象にして分類処理を行い、学習用データを新たなクラスタカテゴリに分類することで、学習用データを用いた文書分類の精度が向上し得る。

なお、図示しない表示装置によって、カテゴリ、クラスタカテゴリ及び学習用データの対応関係を表示してもよい。例えば図８に示す表形式で、その対応関係を表示してもよい。これにより、ユーザが学習用データの概念や意味を把握するための情報や、ユーザがカテゴリを付与し直すための情報が、ユーザに提供されることになる。

（変形例）
次に、図９を参照して、変形例に係る文書分類装置について説明する。変形例に係る文書分類装置１Ａは、上記の文書分類装置１の構成に加えて、処理部３０、入力部４２及び出力部４４を備えている。処理部３０は、識別器作成部３２、カテゴリ分類部３４、検索部３６及び学習用データ更新部３８を備えている。未分類データ記憶部４６には、特定のカテゴリに分類されていない文書データ（「未分類データ」と称する）が記憶されている。

入力部４２は例えばユーザインターフェースであり、ユーザによる情報の入力を受け付ける。出力部４４は、例えば表示装置、ネットワークインターフェース又は印刷装置等であり、処理部３０の処理結果を出力する。

識別器作成部３２は、特定のカテゴリに分類された学習用データから識別器（「カテゴリ識別器」）を作成する。例えば、学習用データの主成分ベクトルを識別器として用いる。また、識別器作成部３２は、クラスタカテゴリに分類された学習用データから識別器（「クラスタカテゴリ識別器」）を作成してもよい。

カテゴリ分類部３４は、識別器を用いて未分類データのカテゴリを求め、未分類データをカテゴリに分類する。また、カテゴリ分類部３４は、識別器を用いて未分類データのクラスタカテゴリを求め、未分類データをクラスタカテゴリに分類してもよい。

検索部３６は、クラスタカテゴリが付与された学習用データを検索対象とし、入力部４２が受け付けた検索クエリを用いてデータを検索する。検索部３６は、学習用データと検索クエリとの一致度によってスコアを算出し、スコア降順で検索結果（より高いスコアのデータをより上位とする結果）を出力する。さらに、検索クエリにカテゴリの用語が含まれている場合、検索部３６は、クラスタカテゴリも検索対象とし、クラスタカテゴリに属するカテゴリの構成に応じて、検索クエリと検索対象データとの一致度を表すスコアを調整する。例えば、検索クエリに含まれる用語と一致するカテゴリの出現割合に応じた重みをスコアに付けることで、スコアを調整する。これにより、検索クエリに含まれる用語と一致するカテゴリの出現割合が大きいほど、当該カテゴリに分類された学習用データのスコアは高くなる。

学習用データ更新部３８は、未分類データにカテゴリ又はクラスタカテゴリが付与された場合、各種データを更新する。例えば、学習用データ更新部３８は、カテゴリやクラスタカテゴリが付与された未分類データを学習用データとしてデータ記憶部１２に記憶させる。また、学習用データ更新部３８は、カテゴリ記憶部１４やクラスタカテゴリ記憶部２２に記憶されているデータを更新してもよい。また、学習用データ更新部３８は、検索部３６の検索結果に基づいて学習用データのカテゴリを更新してもよい。

（動作例３）
次に、図１０を参照して、変形例に係る文書分類装置１Ａの動作例（動作例３）を説明する。動作例３では、未分類データにカテゴリやクラスタカテゴリを付与して学習用データを更新する。

まず、カテゴリ分類部３４は、識別器作成部３２によって作成されたクラスタカテゴリ識別器を用いて未分類データのクラスタカテゴリを求め、未分類データをクラスタカテゴリに分類する（Ｓ２０）。そして、クラスタカテゴリに属するカテゴリからカテゴリを選択する（Ｓ２１）。例えば、カテゴリ分類部３４は、クラスタカテゴリに属するカテゴリのうち、出現割合が最大のカテゴリを、未分類データに付与してもよい。出現割合が最大のカテゴリは、当該未分類データの特徴をより正確に表している可能性があるため、出現割合が最大のカテゴリを未分類データに付与することで、未分類データの特徴をより正確に表すカテゴリが未分類データに付与されることになる。または、出力部４４がクラスタカテゴリに属するカテゴリの一覧を表示し、ユーザが入力部４２を用いてカテゴリを選択してもよい。この場合、カテゴリ分類部３４は、ユーザによって選択されたカテゴリを未分類データに付与する。なお、クラスタカテゴリのみを未分類データに付与してもよい。

そして、学習用データ更新部３８は、各種データを更新する（Ｓ２２）。例えば、学習用データ更新部３８は、カテゴリやクラスタカテゴリが付与された未分類データを学習用データとしてデータ記憶部１２に記憶させる。また、学習用データ更新部３８は、選択されたカテゴリの出現数を１つインクリメントし、クラスタの要素数及びカテゴリの出現割合を更新する。これにより、カテゴリ記憶部１４及びクラスタカテゴリ記憶部２２に記憶されているデータが更新される。図７を参照して説明すると、ステップＳ２１にて、クラスタカテゴリ１（ＣＩＤ＝１）に属する「経歴」カテゴリが選択された場合、学習用データ更新部３８は、クラスタカテゴリ１における「経歴」カテゴリの出現数を１つインクリメントし、クラスタカテゴリ１の要素数を１つインクリメントし、クラスタカテゴリ１における「経歴」カテゴリの出現割合を更新する。なお、未分類データにカテゴリが付与された場合、識別器作成部３２は識別器を更新してもよい。

以上のように、未分類のデータにカテゴリやクラスタカテゴリを付与して学習用データを更新することで、クラスタカテゴリの作成の基礎となる情報が更新されるため、クラスタカテゴリの分類の精度が向上する。

また、別の例として、カテゴリや段落の見出し等が付与されていない文書データに、カテゴリや見出しを付与したい場合、動作例３を適用してもよい。例えば、カテゴリ分類部３４は、識別器を用いて対象データをクラスタカテゴリに分類し、クラスタカテゴリ、クラスタカテゴリに属するカテゴリのうち出現割合が最大のカテゴリ、又は、クラスタカテゴリに属するカテゴリのうちユーザによって選択されたカテゴリを、対象データに付与する。この場合も、学習用データ更新部３８は、各種データを更新する。

なお、動作例３によって文書分類装置１Ａが動作する場合、処理部３０は検索部３６を備えていなくてもよい。

（動作例４）
次に、図１１を参照して、変形例に係る文書分類装置１Ａの別の動作例（動作例４）を説明する。動作例４では、クラスタカテゴリが付与された学習用データを検索対象として検索を行い、その検索結果に基づいて学習用データを更新する。

まず、入力部４２を介して検索クエリが入力されると、検索部３６は、クラスタカテゴリが付与された学習用データを検索対象とし、検索対象の学習用データと検索クエリとの一致度によってスコアを算出する（Ｓ３０）。

検索クエリにカテゴリの用語（例えば、「概要」や「経歴」等）が含まれていない場合（Ｓ３１，Ｎｏ）、検索部３６は、ステップＳ３０での検索結果を出力し、検索処理は終了する。例えば、出力部４４はスコア降順で検索結果を表示する。

一方、検索クエリにカテゴリの用語が含まれている場合（Ｓ３１，Ｙｅｓ）、検索部３６は、クラスタカテゴリも検索対象として検索する（Ｓ３２）。図８を参照して説明すると、例えば検索クエリが「経歴」というカテゴリの用語を含む場合、検索部３６は、クラスタカテゴリを検索対象として検索を行い、検索クエリの用語「経歴」を含むクラスタカテゴリを特定し、当該クラスタカテゴリが付与されている学習用データを抽出する。図８に示す例では、クラスタカテゴリ１が付与されているＩＤ＝１，３の学習用データが抽出される。仮にＩＤ＝１，３の学習用データのテキストに「経歴」という用語が含まれていなくても、ＩＤ＝１，３の学習用データに付与されたクラスタカテゴリ１には「経歴」カテゴリが含まれているため、ＩＤ＝１，３の学習用データが検索によって抽出されることになる。

そして、検索部３６は、検索クエリの用語と一致するカテゴリの出現割合が大きいほど、当該カテゴリに分類された学習用データのスコアを高くし、ステップＳ３０での検索結果を再ランキングする（Ｓ３３）。例えば、出力部４４は、再ランキングされた検索結果を表示する。

ユーザは再ランキングされた検索結果を参照し、入力部４２を用いて任意の学習用データを選択する（Ｓ３４）。

ユーザによって学習用データが選択されると、学習用データ更新部３８は各種データを更新する（Ｓ３５）。この更新処理について、図８を参照して説明する。例えば、検索クエリに「経歴」というカテゴリの用語が含まれ、検索結果の中から「概要」カテゴリに分類されたＩＤ＝１の学習用データがユーザによって選択された場合、学習用データ更新部３８は、ＩＤ＝１の学習用データのカテゴリを「概要」カテゴリから「経歴」カテゴリに変更する。このようにカテゴリを変更することで、ＩＤ＝１の学習用データのカテゴリが修正され、ＩＤ＝１の学習用データの特徴をより正確に表すカテゴリがＩＤ＝１の学習用データに付与されることになる。また、動作例３と同様に、学習用データ更新部３８は、カテゴリの選択に応じて、クラスタの要素数、カテゴリの出現数及び出現割合を更新する。

以上のようにクラスタカテゴリも検索対象とすることで、検索クエリが学習用データのテキストに存在せず、学習用データのみを検索対象とした場合には抽出されることのない学習用データも抽出される。これにより、検索クエリと関係があり得る学習用データが抽出される。例えば、学習用データのテキストに検索クエリが含まれておらず、検索クエリが学習用データの概念や意味を示す場合、学習用データのみを検索対象とすると、検索クエリと概念や意味が一致する学習用データは抽出されないが、クラスタカテゴリも検索対象とすることで、検索クエリと概念や意味が一致する学習用データが抽出されることになる。従って、単に学習用データのテキストを対象として検索する場合と異なり、概念や意味をも含めて学習用データを検索しているともいえる。

上記の文書分類装置１，１Ａは、一例としてハードウェア資源とソフトウェアとの協働により実現される。具体的には、文書分類装置１，１Ａは、図示しないＣＰＵ等のプロセッサを備えている。プロセッサは、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、上述した特徴抽出部１６、クラスタリング部１８、クラスタ分析部２０、カテゴリ更新部２４及び処理部３０のそれぞれの機能を実行する。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信手段を経由して、ハードディスクドライブ（ＨＤＤ）等の記憶装置に記憶される。なお、上記プログラムは、ハードディスクドライブ等の記憶装置に予め記憶されていてもよい。ハードディスクドライブ等の記憶装置に記憶されたプログラムが、ＲＡＭ等のメモリに読み出されてプロセッサによって実行されることにより、上述した各部の機能が実現される。

１，１Ａ 文書分類装置、１０ 記憶部、１２ データ記憶部、１４ カテゴリ記憶部、１６ 特徴抽出部、１８ クラスタリング部、２０ クラスタ分析部、２２ クラスタカテゴリ記憶部、２４ カテゴリ更新部、３０ 処理部、３２ 識別器作成部、３４ カテゴリ分類部、３６ 検索部、３８ 学習用データ更新部、４２ 入力部、４４ 出力部、４６ 未分類データ記憶部。

Claims (16)

1. 予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出する特徴抽出手段と、
   前記特徴情報に基づいて文書データを同一クラスタに分類するクラスタリング手段と、
   同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データのカテゴリも自己のカテゴリとして付与するカテゴリ更新手段と、
   を有し、
   前記カテゴリ更新手段は、前記同一クラスタにおける各文書データのカテゴリの出現割合を、前記同一クラスタに分類された文書データに付与する、
   ことを特徴とする文書分類装置。
2. 請求項１に記載の文書分類装置であって、
   前記特徴抽出手段は、前記特定のカテゴリに関連する情報を特徴情報として前記複数の文書データのそれぞれから抽出する、
   ことを特徴とする文書分類装置。
3. 請求項１又は請求項２に記載の文書分類装置であって、
   検索クエリを受け、前記検索クエリにカテゴリに関する情報が含まれている場合、文書データに予め付与されたカテゴリ及び前記カテゴリ更新手段によって付与されたカテゴリも検索対象とし、前記検索クエリを用いて検索し、検索結果を出力する検索手段を更に有する、
   ことを特徴とする文書分類装置。
4. 予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出する特徴抽出手段と、
   前記特徴情報に基づいて文書データを同一クラスタに分類するクラスタリング手段と、
   同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データのカテゴリも自己のカテゴリとして付与するカテゴリ更新手段と、
   検索クエリを受け、前記検索クエリにカテゴリに関する情報が含まれている場合、文書データに予め付与されたカテゴリ及び前記カテゴリ更新手段によって付与されたカテゴリも検索対象とし、前記検索クエリを用いて検索し、検索結果を出力する検索手段と、
   を有することを特徴とする文書分類装置。
5. 請求項３又は請求項４に記載の文書分類装置であって、
   前記検索手段は、前記同一クラスタにおける各文書データのカテゴリの出現割合に応じた検索結果を出力する、
   ことを特徴とする文書分類装置。
6. 請求項３から請求項５のいずれか一項に記載の文書分類装置であって、
   前記検索クエリによって検索された文書データのカテゴリと前記検索クエリに含まれるカテゴリに関する情報とが一致しない場合、前記検索された文書データのカテゴリを、前記検索クエリに含まれるカテゴリに変更する更新手段を更に有する、
   ことを特徴とする文書分類装置。
7. 請求項１から請求項６のいずれか一項に記載の文書分類装置であって、
   前記カテゴリ更新手段によってカテゴリが付与された文書データに基づいて作成された識別器を用いて未分類の文書データにカテゴリを付与するカテゴリ分類手段を更に有する、
   ことを特徴とする文書分類装置。
8. 請求項７に記載の文書分類装置であって、
   前記カテゴリ分類手段は、出現割合が最大のカテゴリを前記未分類の文書データに付与する、
   ことを特徴とする文書分類装置。
9. 予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出する特徴抽出手段と、
   前記特徴情報に基づいて文書データを同一クラスタに分類するクラスタリング手段と、
   同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データのカテゴリも自己のカテゴリとして付与するカテゴリ更新手段と、
   前記カテゴリ更新手段によってカテゴリが付与された文書データに基づいて作成された識別器を用いて未分類の文書データにカテゴリを付与するカテゴリ分類手段と、
   を有し、
   前記カテゴリ分類手段は、出現割合が最大のカテゴリを前記未分類の文書データに付与する、
   ことを特徴とする文書分類装置。
10. 請求項７から請求項９のいずれか一項に記載の文書分類装置であって、
    前記カテゴリ分類手段によって処理された前記未分類の文書データを、前記特徴抽出手段、前記クラスタリング手段及び前記カテゴリ更新手段の処理対象の文書データに追加する手段を更に有する、
    ことを特徴とする文書分類装置。
11. 請求項１から請求項１０のいずれか一項に記載の文書分類装置であって、
    前記特徴抽出手段は、文書データにおける特徴情報の出現頻度に応じて、前記クラスタリング手段によるクラスタ分けに用いられる特徴情報を選択する、
    ことを特徴とする文書分類装置。
12. 請求項１から請求項１１のいずれか一項に記載の文書分類装置であって、
    前記カテゴリ更新手段は、前記同一クラスタにおける各文書データのカテゴリの出現割合に応じてカテゴリを選択して文書データに付与する、
    ことを特徴とする文書分類装置。
13. 予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出する特徴抽出手段と、
    前記特徴情報に基づいて文書データを同一クラスタに分類するクラスタリング手段と、
    同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データのカテゴリも自己のカテゴリとして付与するカテゴリ更新手段と、
    を有し、
    前記カテゴリ更新手段は、前記同一クラスタにおける各文書データのカテゴリの出現割合に応じてカテゴリを選択して文書データに付与する、
    ことを特徴とする文書分類装置。
14. コンピュータに、
    予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出するステップと、
    前記特徴情報に基づいて文書データを同一クラスタに分類するステップと、
    同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データのカテゴリも自己のカテゴリとして付与するステップと、
    を実行させ、
    前記付与するステップでは、前記同一クラスタにおける各文書データのカテゴリの出現割合を、前記同一クラスタに分類された文書データに付与する、
    ことを特徴とするプログラム。
15. 予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出する特徴抽出手段と、
    前記特徴情報に基づいて文書データを同一クラスタに分類するクラスタリング手段と、
    同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データの少なくとも一部のカテゴリも自己のカテゴリとして付与するカテゴリ更新手段と、
    を有し、
    前記カテゴリ更新手段は、前記同一クラスタにおける各文書データのカテゴリの出現割合を、前記同一クラスタに分類された文書データに付与する、
    ことを特徴とする文書分類装置。
16. コンピュータに、
    予め特定のカテゴリに分類された複数の文書データのそれぞれから特徴情報を抽出するステップと、
    前記特徴情報に基づいて文書データを同一クラスタに分類するステップと、
    同一クラスタに分類された文書データに、前記同一クラスタに分類された他の文書データの少なくとも一部のカテゴリも自己のカテゴリとして付与するステップと、
    を実行させ、
    前記付与するステップでは、前記同一クラスタにおける各文書データのカテゴリの出現割合を、前記同一クラスタに分類された文書データに付与する、
    ことを特徴とするプログラム。

Images