JP5461344B2 - データ分類装置、データ分類方法およびデータ分類プログラム - Google Patents

Description

本発明は、データ分類装置、データ分類方法およびデータ分類プログラムに関する。

従来、例えばマーケティング分析において、ユーザが閲覧したウェブページの閲覧履歴を分類する技術がある。このような技術では、ユーザの１日の興味遷移を追跡するためには、短期間の閲覧履歴（例えば、１日分の閲覧履歴）を分類することが求められる。

例えば、ウェブページの閲覧履歴を分類する方法として、ｋ−ｍｅａｎｓ法をはじめとする非階層クラスタリングが用いられる。非階層クラスタリングは、閲覧履歴の分布則に基づいて分類を行う手法である。しかし、短期間の閲覧履歴を対象とした場合には、統計的な分布が形成されないことから、非階層クラスタリングを用いるのは難しい。これに対し、階層クラスタリングは、分布則に依存せずに分類を行うことができる。しかし、階層クラスタリングでは、複数のクラスタの中間に閲覧履歴が存在している場合に、その閲覧履歴の周辺にあるクラスタを１つのクラスタに併合するチェイニング効果が発生することが知られている。そのため、階層クラスタリングでは、閲覧履歴のような実データを対象とした場合には分類の精度が低下してしまう。

また、階層クラスタリングにおいて段階的にクラスタリングを行うことで、分類精度を向上させる方法も提案されている。この方法では、まず、複数の履歴データを、データ間の類似度が第１の閾値を越えるデータ群ごとに複数のクラスタに分類する第１処理が行われる。そして、第１処理が終了した後に、いずれのクラスタにも分類されずに残った孤立データをいずれかのクラスタに併合させる第２処理が行われる。この第２処理では、第１処理によって分類された複数のクラスタの中から、孤立データとの間の類似度が第１の閾値より小さい第２の閾値を超える履歴データを一定の割合以上含むクラスタが特定され、特定されたクラスタに孤立データが併合される。その後、第２の閾値を段階的に変えながら、孤立データがいずれかのクラスタに併合されるまで第２の処理が繰り返される。このように、第１処理で分類されたクラスタに段階的に孤立データを併合させることで、チェイニング効果の発生が抑えられ、分類の精度が向上する。

特開２０１０−７２７２７号公報

しかしながら、段階的にクラスタリングを行う従来の方法では、第１処理で用いられる第１の閾値や、第２処理において孤立データを割り振るクラスタを特定するための割合の閾値、第２処理で段階的に用いられる第２閾値など、複数の閾値が用いられる。そのため、段階的にクラスタリングを行う従来の方法では、最適な結果を得るためのチューニングが難しく、運用が困難であるという課題があった。なお、この課題はウェブページの閲覧履歴を分類する場合に限って生じるものではなく、各種の文書データを分類する場合に同様に生じるものである。

本発明は、上記に鑑みてなされたものであって、チェイニング効果を抑えて分類精度を高めつつ、運用性が高いクラスタリングを実現することが可能なデータ分類装置、データ分類方法およびデータ分類プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係るデータ分類装置は、複数の文書データをデータ間の類似度が所定の閾値を越えるデータ群ごとに分類することで複数のクラスタを形成するクラスタ形成部と、前記クラスタ形成部によって形成された各クラスタといずれのクラスタにも分類されずに残った孤立データとの間の類似度を算出し、算出した類似度が最も高いクラスタに前記孤立データを組み込む孤立データ組込部とを備えたことを特徴とする。

また、本発明に係るデータ分類方法は、複数の文書データをデータ間の類似度が所定の閾値を越えるデータ群ごとに分類することで複数のクラスタを形成するステップと、形成された各クラスタといずれのクラスタにも分類されずに残った孤立データとの間の類似度を算出し、算出した類似度が最も高いクラスタに前記孤立データを組み込むステップとを含んだことを特徴とする。

また、本発明に係るデータ分類プログラムは、複数の文書データをデータ間の類似度が所定の閾値を越えるデータ群ごとに分類することで複数のクラスタを形成し、形成したクラスタを示すクラスタ形成結果ファイルを生成して記憶部に記憶させるクラスタ手順と、前記クラスタ手順により生成されたクラスタ形成結果ファイルを前記記憶部から読み出し、読み出したクラスタ結果ファイルに含まれる各クラスタといずれのクラスタにも分類されずに残った孤立データとの間の類似度を算出し、算出した類似度が最も高いクラスタに前記孤立データを組み込む孤立データ組込手順とをコンピュータに実行させることを特徴とする。

本発明によれば、チェイニング効果を抑えて分類精度を高めつつ、運用性が高いクラスタリングを実現することが可能になるという効果を奏する。

図１は、本実施例１に係る履歴データ分類システムによるデータ分類方法の概要を示す図である。 図２は、本実施例１に係る履歴データ分類システムの構成を示す機能ブロック図である。 図３は、図２に示したＷｅｂ閲覧データ記憶部によって記憶される閲覧履歴データの一例を示す図である。 図４は、図２に示した類似度マトリクス記憶部によって記憶される類似度マトリクスファイルの一例を示す図である。 図５は、図２に示した分類結果ファイル記憶部によって記憶される分類結果ファイルの一例を示す図である。 図６は、図２に示した前処理部によって行われる処理の構成を示す図である。 図７は、図６に示したスクレイピングを説明するための図である。 図８は、図６に示した形態素解析を説明するための図である。 図９は、図６に示したＮＧワード除去を説明するための図である。 図１０は、図６に示した複合語処理を説明するための図である。 図１１は、図６に示した重要度付与を説明するための図である。 図１２は、図６に示した類似度算出を説明するための図である。 図１３は、図２に示したデータ分類部の構成を示す機能ブロック図である。 図１４は、図１３に示した設定ファイル記憶部によって記憶される設定ファイルの一例を示す図である。 図１５は、図１３に示したクラスタ形成結果ファイル記憶部によって記憶されるクラスタ形成結果ファイルの一例を示す図である。 図１６は、図１３に示したクラスタ形成部によって行われるクラスタ形成処理の処理手順を示すフローチャートである。 図１７は、図１３に示した孤立データ組込部によって行われる孤立データ組込処理の処理手順を示すフローチャートである。 図１８は、図２に示した後処理部によって行われる処理の構成を示す図である。 図１９は、図１８に示したキーワード付与を説明するための図である。 図２０は、図１８に示した可視化を説明するための図である。 図２１は、図１８に示した情報配信を説明するための図である。 図２２は、本実施例２に係る文書データ分類システムの構成を示す機能ブロック図である。 図２３は、本実施例に係るデータ分類プログラムを実行するコンピュータを示す図である。

以下に、本発明に係るデータ分類装置、データ分類方法およびデータ分類プログラムの実施例を図面に基づいて詳細に説明する。なお、以下に示す実施例によって本発明が限定されるものではない。

まず、実施例１について説明する。本実施例１では、パネルユーザがウェブページを閲覧した閲覧履歴を分類する履歴データ分類システムに本発明を適用した場合について説明する。図１は、本実施例１に係る履歴データ分類システムによるデータ分類方法の概要を示す図である。本実施例１に係る履歴データ分類システムは、図１に示すように、パネルユーザが閲覧したウェブページの閲覧履歴を表す複数の閲覧履歴データ１を分類の対象とする。この閲覧履歴データは、ウェブページに記述された文書の内容を含んだ文書データである。

具体的には、この履歴データ分類システムは、まず、複数の閲覧履歴データ１をデータ間の類似度が所定の閾値を越えるデータ群ごとに分類することで複数のクラスタを形成するクラスタ形成処理を行う。このクラスタ形成処理によってクラスタに分類された閲覧履歴データ１を以下では非孤立データと呼び、いずれのクラスタにも分類されずに残った閲覧履歴データを以下では孤立データと呼ぶ。

そして、履歴データ分類システムは、クラスタ形成処理によって形成された各クラスタ２といずれのクラスタにも分類されずに残った孤立データ３との間の類似度を算出し、算出した類似度が最も高いクラスタに孤立データを組み込む孤立データ組込処理を行う。このとき、孤立データ３どうしの融合は行われない。

このように、本実施例１では、閲覧履歴データを孤立データと非孤立データとに分け、非孤立データで形成されたクラスタのいずれかに孤立データを組み込むようにしている。これにより、非孤立データによるクラスタの形成が制限されるので、チェイニング効果を抑えることができる。また、少ない閾値でクラスタリングが行われるので、最適な結果を得るためのチューニングを容易に行うことができる。したがって、本実施例１によれば、チェイニング効果を抑えて分類精度を高めつつ、運用性が高いクラスタリングを実現することが可能になる。

次に、本実施例１に係る履歴データ分類システムの構成について説明する。図２は、本実施例１に係る履歴データ分類システム１００の構成を示す機能ブロック図である。図２に示すように、履歴データ分類システム１００は、ユーザ端末１１０と、分析用端末１２０と、処理サーバ１３０とを有する。

ユーザ端末１１０は、パネルユーザがインターネット４を介して各種のウェブページを閲覧する際に利用する端末装置である。このユーザ端末１１０は、Ｗｅｂ閲覧データ記憶部１１１と、Ｗｅｂ閲覧データ送信部１１２と、データ表示部１１３とを有する。

Ｗｅｂ閲覧データ記憶部１１１は、パネルユーザが閲覧したＷｅｂページの閲覧履歴を示す閲覧履歴データを記憶する。この閲覧履歴データは、パネルユーザがユーザ端末１１０を利用してＷｅｂページを閲覧するたびに追加される。図３は、図２に示したＷｅｂ閲覧データ記憶部１１１によって記憶される閲覧履歴データの一例を示す図である。図３に示すように、閲覧履歴データは、パネルユーザＩＤと、タイムスタンプと、ＵＲＬ（Uniform Resource Locator）と、ＨＴＭＬ（HyperText Markup Language）ソースとを含んでいる。

ここで、「パネルユーザＩＤ」には、ユーザ端末１１０を利用してＷｅｂページを閲覧したパネルユーザを一意に識別する識別情報が設定される。また、「タイムスタンプ」には、パネルユーザがユーザ端末１１０を用いてＷｅｂページにアクセスした日時が設定される。また、「ＵＲＬ」には、パネルユーザが閲覧したＷｅｂページのＵＲＬが設定される。また、「ＨＴＭＬソース」には、パネルユーザが閲覧したＷｅｂページの内容（ＨＴＭＬソース全体）が設定される。このＨＴＭＬソースには、Ｗｅｂページに記述された文書の内容が含まれている。

図２の説明にもどって、Ｗｅｂ閲覧データ送信部１１２は、Ｗｅｂ閲覧データ記憶部１１１により記憶された閲覧履歴データを処理サーバ１３０に送信する。例えば、Ｗｅｂ閲覧データ送信部１１２は、あらかじめ決められた時間間隔で、閲覧履歴データを定期的に処理サーバ１３０に送信する。または、例えば、Ｗｅｂ閲覧データ送信部１１２は、パネルユーザから指定されたタイミングで、閲覧履歴データを処理サーバ１３０に送信する。なお、Ｗｅｂ閲覧データの取得はプロキシサーバなどを通して行われてもよい。この場合には、ユーザ端末１１０にＷｅｂ閲覧データ送信部１１２は不要となる。

データ表示部１１３は、処理サーバ１３０によって生成された配信用データを取得し、取得した配信用データを液晶モニタなどの表示装置に表示させる。例えば、データ表示部１１３は、パネルユーザからの要求に応じて、処理サーバ１３０から配信用データを取得し、取得した配信用データを表示装置に表示させる。なお、配信用データについては、後に説明する。

分析用端末１２０は、マーケティング分析などに利用される端末装置である。この分析用端末１２０は、データ表示部１２１を有する。データ表示部１２１は、処理サーバ１３０によって生成される可視化データを取得し、取得した可視化データを液晶モニタなどの表示装置に表示させる。例えば、データ表示部１２１は、分析用端末１２０のユーザからの要求に応じて、処理サーバ１３０から可視化データを取得し、取得した可視化データを表示装置に表示させる。なお、可視化データについては、後に説明する。

処理サーバ１３０は、ユーザ端末１１０から送信される閲覧履歴データを分類する。この処理サーバ１３０は、類似度マトリクス記憶部１３１と、分類結果ファイル記憶部１３２と、可視化データ記憶部１３３と、配信コンテンツ記憶部１３４と、配信用データ記憶部１３５とを有する。さらに、処理サーバ１３０は、前処理部１３６と、データ分類部１３７と、後処理部１３８とを有する。

類似度マトリクス記憶部１３１は、分類対象となる閲覧履歴データの類似度が記述された類似度マトリクスファイルを記憶する。この類似度マトリクスファイルは、後述する前処理部１３６によって生成される。図４は、図２に示した類似度マトリクス記憶部１３１によって記憶される類似度マトリクスファイルの一例を示す図である。図４に示すように、例えば、類似度マトリクスファイルは、閲覧履歴データごとに設定された複数の行および列からなる行列で表される。

ここで、類似度マトリクスファイルに含まれる各行および各列には、それぞれ閲覧履歴データが対応付けられている。例えば、図４において、「０００００１」，「０００００２」，「０００００３」・・・，「Ｎ」は、それぞれ、閲覧履歴データを一意に識別するＩＤを示している。このＩＤは、例えば、数値で表される連番であり、閲覧履歴データが生成された順に各閲覧履歴データに付与される。

また、類似度マトリクスファイルにおいて、行と列とが交差する領域には、それぞれ閲覧履歴データ間の類似度が設定される。例えば、図４において、「ｎｕｍ１」，「ｎｕｍ２」，「ｎｕｍ３」・・・「ｎｕｍｒ」，「ｎｕｍｘ」，「ｎｕｍｙ」，「ｎｕｍｚ」は、閲覧履歴データ間の類似度を示している。例えば、「ｎｕｍ１」は、ＩＤが「０００００１」の閲覧履歴データとＩＤが「０００００２」の閲覧履歴データとの間の類似度を示している。また、例えば、「ｎｕｍｙ」は、ＩＤが「０００００３」の閲覧履歴データとＩＤが「Ｎ」の閲覧履歴データとの間の類似度を示している。

図２の説明にもどって、分類結果ファイル記憶部１３２は、閲覧履歴データの分類結果を示す分類結果ファイルを記憶する。この分類結果ファイルは、後述するデータ分類部１３７によって生成される。図５は、図２に示した分類結果ファイル記憶部１３２によって記憶される分類結果ファイルの一例を示す図である。図５に示すように、例えば、分類結果ファイルは、クラスタごとに、同じクラスタに分類された閲覧履歴データのＩＤを同じ行に並べて配置したファイルである。

図５に示す例では、例えば、「００００１１」，「００００１２」および「００００１３」が同じ行に並べて配置されている。これは、ＩＤが「００００１１」，「００００１２」および「００００１３」の閲覧履歴データがそれぞれ同じクラスタに分類されていることを示している。同様に、図５に示す例では、ＩＤが「０００００１」，「００００２１」，「００００２３」，「００００４０」および「００００５０」の閲覧履歴データがそれぞれ同じクラスタに分類され、ＩＤが「００００２５」，「００００２６」，「００００３８」および「００００６０」の閲覧履歴データがそれぞれ同じクラスタに分類され、ＩＤが「０００００５」，「００００５１」および「００００８７」の閲覧履歴データがそれぞれ同じクラスタに分類されている。

図２の説明にもどって、可視化データ記憶部１３３は、分類結果ファイルの内容を可視化した可視化データを記憶する。この可視化データは、後述する後処理部１３８によって生成される。なお、ここでいう可視化データは、分類結果ファイル記憶部１３２に記憶された分類結果ファイルの内容をユーザが視認しやすい形式に変換したデータである。例えば、可視化データは、クラスタごとに閲覧履歴を表示したリスト形式のデータや、タグクラウド形式のデータ、複数の閲覧履歴を要約したデータなどである。

配信コンテンツ記憶部１３４は、各種の配信コンテンツを記憶する。ここでいう配信コンテンツは、パネルユーザに提供される各種カテゴリのコンテンツである。また、この配信コンテンツには、キーワードによるマッチング用にタグが付与されていてもよい。

配信用データ記憶部１３５は、分類結果ファイルに含まれるキーワードにマッチした配信コンテンツを配信用データとして記憶する。なお、この配信コンテンツは、後述する後処理部１３８によって生成される。

前処理部１３６は、ユーザ端末１１０から送信された閲覧履歴データに対して前処理を施すことで、類似度マトリクスファイルを生成する。具体的には、前処理部１３６は、閲覧履歴データのＨＴＭＬソースに対して、スクレイピング、形態素解析、ＮＧワード除去、複合語処理、重要度付与、類似度算出を順に行うことで、類似度マトリクスファイルを生成する。なお、かかる前処理部１３６によって行われる処理については、後に詳細に説明する。

データ分類部１３７は、前処理部１３６によって生成された類似度マトリクスファイルを用いて閲覧履歴データを分類することで、分類結果ファイルを生成する。具体的には、データ分類部１３７は、まず、類似度マトリクスファイルを用いて、複数の閲覧履歴データをデータ間の類似度が所定の閾値を越えるデータ群ごとに分類することで複数のクラスタを形成するクラスタ形成処理を行う。その後、データ分類部１３７は、クラスタ形成処理によって形成された各クラスタといずれのクラスタにも分類されずに残った孤立データとの間の類似度を算出し、算出した類似度が最も高いクラスタに孤立データを組み込む孤立データ組込処理を行うことで、分類結果ファイルを生成する。なお、かかるデータ分類部１３７の詳細については、後に詳細に説明する。

後処理部１３８は、データ分類部１３７によって生成された分類結果ファイルに含まれるデータに対して後処理を施す。具体的には、後処理部１３８は、データ分類部１３７によって生成された分類結果ファイルに対してキーワード付与、可視化および情報配信を行うことで、可視化データおよび配信用データを生成する。なお、かかる後処理部１３８によって行われる処理については、後に詳細に説明する。

次に、図２に示した前処理部１３６によって行われる処理について説明する。図６は、図２に示した前処理部１３６によって行われる処理の構成を示す図である。図６に示すように、前処理部１３６は、ユーザ端末１１０から送信された閲覧履歴データのＨＴＭＬソースに対して、スクレイピング、形態素解析、ＮＧワード除去、複合語処理、重要度付与、類似度算出を順に行うことで類似度マトリクスファイルを生成し、生成した類似度マトリクスファイルを類似度マトリクス記憶部１３１に記憶させる。以下、前処理に含まれる各処理について具体的に説明する。

図７は、図６に示したスクレイピングを説明するための図である。図７に示すように、前処理部１３６は、複数の閲覧履歴データのＨＴＭＬソースに対してスクレイピングを行うことで、閲覧履歴データごとに本文データを生成する。ここで、スクレイピングとは、ＨＴＭＬファイルから不要なタグや広告メニューバーなどを除去することで、本文部分のテキストを抽出する処理である。例えば、図７に示す例のように、「アイスクリーム」や「新感覚のおいしさ。」などのテキストがＨＴＭＬソースから抽出される。

なお、かかるスクレイピングの方式としては、例えば、ＨＴＭＬ構造の本文部分のルールを指定しておく方式や、句点読点の出現を利用する方式などを用いることができる。また、前処理部１３６は、履歴データ分類システム１００の提供者から指定された特定のパネルユーザＩＤに関する閲覧履歴データのＨＴＭＬソースのみをスクレイピングの対象としてもよい。または、前処理部１３６は、提供者から指定された特定期間内の閲覧履歴データのＨＴＭＬソースのみをスクレイピングの対象としてもよい。

図８は、図６に示した形態素解析を説明するための図である。図８に示すように、前処理部１３６は、スクレイピングによって得られた複数の本文データに対して形態素解析を行うことで、閲覧履歴データごとに形態素解析済みデータを生成する。ここで、形態素解析とは、本文データに含まれるテキストを単語ごとに分割し、各単語に品詞などの情報を付加する処理である。例えば、図８に示す例のように、「新感覚のおいしさ。」が「新」、「感覚」、「の」、「おいし」、「さ」に分割され、それぞれに名詞や助詞などの品詞を示す情報が付加される。

なお、かかる形態素解析の方式としては、例えば、各種の形態素解析器を利用した方式などを用いることができる。また、前処理部１３６は、本文データが日本語で記述されている場合には、テキストを単語ごとに分割するが、本文データが英語で記述されている場合には、一般的なタグ付加アプリケーションなどを用いて単語に品詞を付加してもよい。

図９は、図６に示したＮＧワード除去を説明するための図である。図９に示すように、前処理部１３６は、形態素解析によって得られた複数の形態素解析済みデータに対してＮＧワード除去を行うことで、閲覧履歴データごとにＮＧワード除去データを生成する。ここで、ＮＧワード除去とは、形態素解析済みデータの中から、抽出したくない語、一般的すぎる語、個人情報に類する語などを除去する処理である。例えば、図９に示す例のように、「トップページ」がＮＧワードとして除去される。このようにＮＧワードとして除去される語は、あらかじめキーワードとして設定される。

なお、かかるＮＧワード除去の方式としては、例えば、あらかじめ目的に応じてＮＧワードリストを作成しておき、そのＮＧワードリストに基づいてＮＧワードをアドホックに除去する方式などを用いることができる。

図１０は、図６に示した複合語処理を説明するための図である。図１０に示すように、前処理部１３６は、ＮＧワード除去によって得られた複数のＮＧワード除去データに対して複合語処理を行うことで、閲覧履歴データごとに複合語処理データを生成する。ここで、複合語処理とは、ＮＧワード除去データに含まれる形態素を複合する処理である。例えば、図１０に示す例のように、「新」と「感覚」とが「新感覚」に複合される。

なお、かかる複合語処理の方式としては、例えば、チャンキングを使う方式や、複合語化する品詞のパターンをあらかじめ定義しておく方式などを用いることができる。

図１１は、図６に示した重要度付与を説明するための図である。図１１に示すように、前処理部１３６は、複合語処理によって得られた複数の複合語処理データに対して重要度付与を行うことで、閲覧履歴データごとにキーワード重要度データを生成する。ここで、重要度付与とは、複合語処理データに含まれる各キーワード重要度を与える処理である。例えば、図１１に示す例のように、「アイスクリーム」に対して重要度「２００．３３」が与えられ、「新感覚」に対して重要度「３０．００」が与えられる。ここで、図１１に示す例は、名詞および複合名詞のみに重要度を与えた場合を示している。

なお、かかる重要度付与の方式としては、例えば、ＴＦＩＤＦ（Term Frequency - Inverse Document Frequency）などを用いることができる。

図１２は、図６に示した類似度算出を説明するための図である。図１２に示すように、前処理部１３６は、重要度付与によって閲覧履歴データごとに生成されたキーワード重要度データを用いて閲覧履歴データ間の類似度算出を行う。そして、前処理部１３６は、算出した類似度を閲覧履歴データのペアごとに設定した類似度マトリクスファイルを生成し、生成した類似度マトリクスファイルを類似度マトリクス記憶部１３１に記憶させる。ここで、類似度算出とは、キーワード重要度データに含まれるキーワードおよび重要度に基づいて閲覧履歴データ間の類似度を算出する処理である。

なお、かかる類似度算出の方式としては、例えば、ベクトル空間法によるコサイン類似度を算出する方式などを用いることができる。なお、前処理部１３６は、キーワードだけでなく、閲覧順序を考慮した類似度算出を行ってもよい。

以上、前処理部１３６によって行われる処理について説明したが、ここで説明した各処理で生成される本文データ、形態素解析済みデータ、ＮＧワード除去データ、複合語処理データおよびキーワード重要度データは、例えば、処理サーバ１３０が有するメモリなどに記憶されて各処理間で引き継がれる。

また、ここでは、前処理部１３６が、スクレイピング、形態素解析、ＮＧワード除去、複合語処理、重要度付与、類似度算出を順に行う場合について説明した。しかし、前処理部１３６は、必ずしもこれらの全ての処理を行わなくてもよい。例えば、複合語処理は、形態素解析によってテキストが細かく分割されすぎる場合に行われればよい。また、例えば、閲覧履歴データの分類にそれほど高い精度が要求されない場合には、スクレイピング、ＮＧワード除去、複合語処理が省略されてもよい。

また、ＮＧワード除去は、必ずしも形態素解析と複合語処理との間で行われる必要はない。例えば、スクレイピングと形態素解析との間や、複合語処理と重要度付与との間で行われてもよい。なお、複合語処理と重要度付与との間でＮＧワード除去が行われる場合には、形態素が複合された複合語のキーワードがＮＧワードとして設定される。

次に、図２に示したデータ分類部１３７の詳細について説明する。図１３は、図２に示したデータ分類部１３７の構成を示す機能ブロック図である。図１３に示すように、データ分類部１３７は、設定ファイル記憶部１３７ａと、編集用類似度マトリクス記憶部１３７ｂと、クラスタ形成結果ファイル記憶部１３７ｃと、クラスタ形成部１３７ｄと、孤立データ組込部１３７ｅとを有する。

設定ファイル記憶部１３７ａは、クラスタ形成部１３７ｄおよび孤立データ組込部１３７ｅによって用いられる類似度の閾値および類似度算出用の式が記述された設定ファイルを記憶する。この設定ファイルは、履歴データ分類システム１００の提供者によってあらかじめ設定される。図１４は、図１３に示した設定ファイル記憶部１３７ａによって記憶される設定ファイルの一例を示す図である。

図１４に示すように、設定ファイルには、「ｓｉｍ１」、「ｐ１＿ｌｉｎｋ」および「ｐ２＿ｌｉｎｋ」の３つのパラメータが設定される。ここで、ｓｉｍ１には、孤立データと非孤立データとの境界を定義する類似度の閾値が設定される。例えば、ｓｉｍ１には、０〜１．０の範囲で類似度を示す数値が設定される。

また、ｐ１＿ｌｉｎｋおよびｐ２＿ｌｉｎｋには、複数の文書データで構成されるクラスタ間の類似度を算出するための計算式が設定される。例えば、ｐ１＿ｌｉｎｋおよびｐ２＿ｌｉｎｋには、「ｓｉｎｇｌｅ」や「ｃｏｍｐｌｅｔｅ」、「ａｖｅｒａｇｅ」などが設定される。ｓｉｎｇｌｅは、最短距離法による類似度を算出するための計算式を示し、ｃｏｍｐｌｅｔｅは、最遠距離法による類似度を算出するための計算式を示し、ａｖｅｒａｇｅは、群平均法による類似度を算出するための計算式を示す。

ここで、最短距離法とは、異なるクラスタに分類された閲覧履歴データ間、または、クラスタに分類された閲覧履歴データと単一の閲覧履歴データとの間における全ての組み合わせに関する類似度の最大値を、クラスタ間の類似度とする方法である。この最短距離法による類似度は、以下に示す式（１）で算出される。

また、最遠距離法とは、異なるクラスタに分類された閲覧履歴データ間、または、クラスタに分類された閲覧履歴データと単一の閲覧履歴データとの間における全ての組み合わせに関する類似度の最小値を、クラスタ間の類似度とする方法である。この最遠距離法による類似度は、以下に示す式（２）で算出される。

また、群平均法とは、異なるクラスタに分類された履歴データ間、または、クラスタに分類された閲覧履歴データと単一の閲覧履歴データとの間における全ての組み合わせに関する類似度の平均値を、クラスタ間の類似度とする方法である。この群平均法による類似度は、以下に示す式（３）で算出される。

例えば、ｌｏｇ１，ｌｏｇ２，ｌｏｇ３で構成されるクラスタＡとｌｏｇ４，ｌｏｇ５で構成されるクラスタＢとの間の類似度は、最短距離法を用いた場合には、ｓｉｍ（ｌｏｇ１．ｌｏｇ４），ｓｉｍ（ｌｏｇ１．ｌｏｇ５），ｓｉｍ（ｌｏｇ２．ｌｏｇ４），ｓｉｍ（ｌｏｇ２．ｌｏｇ５），ｓｉｍ（ｌｏｇ３．ｌｏｇ４），ｓｉｍ（ｌｏｇ３．ｌｏｇ５）という６つの類似度のうち最も大きい類似度で定義される。

なお、ここで説明したｐ１＿ｌｉｎｋは、後述するクラスタ形成部１３７ｄによって用いられ、ｐ２＿ｌｉｎｋは、後述する孤立データ組込部１３７ｅによって用いられる。また、クラス間の類似度を算出する方法としては、ここで説明した最短距離法、最遠距離法および群平均法に限られず、他の各種の類似度算出方法を用いることが可能である。

図１３の説明にもどって、編集用類似度マトリクス記憶部１３７ｂは、後述するクラスタ形成部１３７ｄによって行われるクラスタ形成処理で用いられる編集用類似度マトリクスファイルを記憶する。この編集用類似度マトリクスファイルは、後述するクラスタ形成部１３７ｄによってクラスタ形成処理が行われる際に、類似度マトリクス記憶部１３１に記憶されている類似度マトリクスがコピーされ、クラスタ形成処理によってクラスタが形成されるたびに更新される。

クラスタ形成結果ファイル記憶部１３７ｃは、後述するクラスタ形成部１３７ｄによって生成されるクラスタ形成結果ファイルを記憶する。このクラスタ形成結果ファイルは、後述するクラスタ形成部１３７ｄによって行われるクラスタ形成処理の結果として生成される。図１５は、図１３に示したクラスタ形成結果ファイル記憶部１３７ｃによって記憶されるクラスタ形成結果ファイルの一例を示す図である。図１５に示すように、クラスタ形成結果ファイルは、図５に示した分類結果ファイルと同じフォーマットのファイルである。

図１５に示す例では、「００００１１」，「００００１２」および「００００１３」の閲覧履歴データがそれぞれ同じクラスタに分類され、「００００２１」，「００００２３」，「００００４０」および「００００５０」の文書データがそれぞれ同じクラスタに分類され、「００００２５」，「００００２６」，「００００３８」および「００００６０」の閲覧履歴データがそれぞれ同じクラスタに分類され、「００００５１」および「００００８７」の閲覧履歴データがそれぞれ同じクラスタに分類されている。

また、図１５に示す例では、「０００００１」および「０００００５」は、いずれも他の文書ＩＤと並べて配置されていない。これは、「０００００１」の閲覧履歴データおよび「０００００５」の閲覧履歴データが、それぞれ、クラスタに分類されずに残った孤立データであることを示している。

図１３の説明にもどって、クラスタ形成部１３７ｄは、複数の文書データをデータ間の類似度が所定の閾値を越えるデータ群ごとに分類することで複数のクラスタを形成するクラスタ形成処理を行う。図１６は、図１３に示したクラスタ形成部１３７ｄによって行われるクラスタ形成処理の処理手順を示すフローチャートである。

図１６に示すように、クラスタ形成部１３７ｄは、まず、設定ファイル記憶部１３７ａから設定ファイルを読み込む（ステップＳ１０１）。また、クラスタ形成部１３７ｄは、類似度マトリクス記憶部１３１から類似度マトリクスファイルを読み込み、読み込んだ類似度マトリクスファイルを編集用類似度マトリクスファイルとして編集用類似度マトリクス記憶部１３７ｂに格納する（ステップＳ１０２）。

続いて、クラスタ形成部１３７ｄは、編集用類似度マトリクスファイルに設定された類似度の中に、設定ファイルのｓｉｍ１に設定されている閾値以上の類似度があるか否かを判定する（ステップＳ１０３）。

ここで、ｓｉｍ１の閾値以上の類似度があった場合には（ステップＳ１０３，Ｙｅｓ）、クラスタ形成部１３７ｄは、編集用類似度マトリクスファイルに設定されている閲覧履歴データのペアの中で、類似度が最も高い閲覧履歴データのペアを新たなクラスタとする（ステップＳ１０４）。そして、クラスタ形成部１３７ｄは、編集用類似度マトリクスファイルに対して、新たなクラスタの類似度を格納するための行列を新たに追加し、そのクラスタのもとになった閲覧履歴データの行列を削除する（ステップＳ１０５）。

その後、クラスタ形成部１３７ｄは、設定ファイルのｐ１＿ｌｉｎｋに設定されている計算式を用いて、編集用類似度マトリクスファイルに設定されている閲覧履歴データまたはクラスタと新たなクラスタとの間の類似度を全て算出する。そして、クラスタ形成部１３７ｄは、編集用類似度マトリクスファイルに追加した行列に含まれる各領域に、算出した各類似度をそれぞれ設定する（ステップＳ１０６）。

このように、クラスタ形成部１３７ｄは、編集用類似度マトリクスファイルに設定されている類似度の中にｓｉｍ１の閾値以上の類似度がある間は、上記ステップＳ１０３〜Ｓ１０６の処理を繰り返す。こうして処理を繰り返すことによって、ステップＳ１０４において、クラスタどうしの結合が行われることになる。

そして、編集用類似度マトリクスファイルに設定された類似度の中にｓｉｍ１以上の類似度がなくなった場合には（ステップＳ１０３，Ｎｏ）、クラスタ形成部１３７ｄは、その時点での編集用類似度マトリクスファイルの内容に基づいて、クラスタ形成結果ファイルを生成し、生成したクラスタ形成結果ファイルをクラスタ形成結果ファイル記憶部１３７ｃに出力する（ステップＳ１０７）。

図１３の説明にもどって、孤立データ組込部１３７ｅは、クラスタ形成部１３７ｄによって形成された各クラスタといずれのクラスタにも分類されずに残った孤立データとの間の類似度を算出し、算出した類似度が最も高いクラスタに孤立データを組み込む孤立データ組込処理を行う。図１７は、図１３に示した孤立データ組込部１３７ｅによって行われる孤立データ組込処理の処理手順を示すフローチャートである。

図１７に示すように、孤立データ組込部１３７ｅは、まず、設定ファイル記憶部１３７ａから設定ファイルを読み込む（ステップＳ２０１）。また、孤立データ組込部１３７ｅは、クラスタ形成結果ファイル記憶部１３７ｃからクラスタ形成結果ファイルを読み込み、類似度マトリクス記憶部１３１から類似度マトリクスファイルを読み込む（ステップＳ２０２）。

続いて、孤立データ組込部１３７ｅは、クラスタ形成結果ファイルにクラスタが含まれているか否かを判定する（ステップＳ２０３）。ここで、クラスタ形成結果ファイルにクラスタが含まれていなかった場合には（ステップＳ２０３，Ｎｏ）、孤立データ組込部１３７ｅは、その時点でのクラスタ形成結果ファイルを分類結果ファイルとして分類結果ファイル記憶部１３２に出力する（ステップＳ２０７）。一方、クラスタ形成結果ファイルにクラスタが含まれていた場合には（ステップＳ２０３，Ｙｅｓ）、孤立データ組込部１３７ｅは、クラスタ形成結果ファイルに孤立データが含まれているか否かを判定する（ステップＳ２０４）。

ここで、クラスタ形成結果ファイルに孤立データが含まれていた場合には（ステップＳ２０４，Ｙｅｓ）、孤立データ組込部１３７ｅは、設定ファイルのｐ２＿ｌｉｎｋに設定されている計算式を用いて、類似度マトリクスファイルに含まれている孤立データのうちいずれか１つの孤立データと全てのクラスタとの類似度を算出する（ステップＳ２０５）。そして、孤立データ組込部１３７ｅは、算出した類似度が最も高いクラスタに孤立データを組み込む（ステップＳ２０６）。その後、孤立データ組込部１３７ｅは、クラスタに組み込んだ孤立データをクラスタ形成結果ファイルから削除する。

このように、孤立データ組込部１３７ｅは、クラスタ形成結果ファイルに孤立データが含まれている間は、上記ステップＳ２０４〜Ｓ２０６の処理を繰り返す。そして、クラスタ形成結果ファイルから孤立データが無くなった場合には（ステップＳ２０４，Ｎｏ）、孤立データ組込部１３７ｅは、その時点でのクラスタ形成結果ファイルを分類結果ファイルとして分類結果ファイル記憶部１３２に出力する（ステップＳ２０７）。

次に、図２に示した後処理部１３８によって行われる処理について説明する。図１８は、図２に示した後処理部１３８によって行われる処理の構成を示す図である。図１８に示すように、後処理部１３８は、データ分類部１３７によって生成された分類結果ファイルに対してキーワード付与、可視化および情報配信を行うことで、可視化データおよび配信用データを生成する。以下、後処理に含まれる各処理について具体的に説明する。

図１９は、図１８に示したキーワード付与を説明するための図である。図１９に示すように、後処理部１３８は、分類結果ファイルに含まれるデータに対してキーワード付与を行うことで、キーワード付与済み分類結果データを生成する。ここで、キーワード付与とは、分類結果ファイルに含まれる各クラスタに代表的なキーワードを与える処理である。例えば、図１９に示す例のように、「クラスタ１」に「アイスクリーム」および「アイス」がキーワードとして与えられる。

なお、かかるキーワード付与の方式としては、例えば、ＴＦＩＤＦなどを用いることができる。

図２０は、図１８に示した可視化を説明するための図である。図２０に示すように、後処理部１３８は、キーワード付与によって得られたキーワード付与済み分類結果データに対して可視化を行うことで、可視化データを生成する。ここで、可視化とは、キーワード付与済み分類結果データを表示用の形式に変換する処理である。例えば、図２０に示す例のように、クラスタごとに、キーワード（「アイスクリーム」、「アイス」など）とそのキーワードに関連するフレーズ（「アイスのおいしい店」など）が可視化データとして生成される。

なお、かかる可視化の方式としては、例えば、単にクラスタごとに閲覧履歴を表示する方式や、タグクラウド、閲覧履歴の要約を生成する方式などを用いることができる。

図２１は、図１８に示した情報配信を説明するための図である。図２１に示すように、後処理部１３８は、キーワード付与によって得られたキーワード付与済み分類結果データを用いて情報配信を行うことで、配信用データを生成する。ここで、情報配信とは、キーワード付与済み分類結果データに含まれているキーワードとマッチする配信コンテンツを配信コンテンツ記憶部１３４から取得し、取得した配信コンテンツをもとに配信用データを生成する処理である。例えば、図２１に示す例のように、広告に関するコンテンツが配信用データとして生成される。

なお、かかる情報配信の方式としては、例えば、各種マッチング方式やレコメンド方式などを用いることができる。

以上、後処理部１３８によって行われる処理について説明したが、ここで説明した各処理は、必ずしも全ての処理が行われなくてもよい。例えば、ここでは、可視化の方式や情報配信の方式によっては、キーワード付与を行う必要がない場合もあり得る。例えば、情報配信の方式が、キーワードが付与されていなくても分類結果ファイルのデータと配信コンテンツとをマッチング可能な方式であった場合には、キーワード付与は行われなくてもよい。

上述したように、本実施例１では、クラスタ形成部１３７ｄが、複数の閲覧履歴データをデータ間の類似度が所定の閾値を越えるデータ群ごとに分類することで複数のクラスタを形成する。また、孤立データ組込部１３７ｅが、クラスタ形成部１３７ｄにより形成された各クラスタといずれのクラスタにも分類されずに残った孤立データとの間の類似度を算出し、算出した類似度が最も高いクラスタに孤立データを組み込む。したがって、本実施例１によれば、チェイニング効果を抑えて分類精度を高めつつ、運用性が高いクラスタリングを実現することが可能になる。

また、本実施例１では、クラスタ形成部１３７ｄが、異なるクラスタに分類された閲覧履歴データ間、または、クラスタに分類された閲覧履歴データと単一の閲覧履歴データとの間における類似度に基づいて、複数の閲覧履歴データを分類する。したがって、本実施例１によれば、クラスタとクラスタまたはクラスタと閲覧履歴データとを効率よく結合することができる。

また、本実施例１では、クラスタ形成部１３７ｄが、パネルユーザが閲覧したウェブページの閲覧履歴を表す閲覧履歴データを分類する。したがって、本実施例１によれば、閲覧履歴データの分類結果に基づいて、パネルユーザの嗜好を精度よく分析することが可能になる。

次に、実施例２について説明する。本実施例２では、論文集や図書情報などの文書群データを分類する文書データ分類システムに本発明を適用した場合について説明する。図２２は、本実施例２に係る文書データ分類システム２００の構成を示す機能ブロック図である。この文書データ分類システム２００は、例えば、図書館などの書庫に設置され、書庫の利用者が所望の文書を探す際に利用される。

具体的には、文書データ分類システム２００は、論文集や図書情報などの文書群データを分類するとともに、ユーザから検索キーワードを受け付ける。そして、文書データ分類システム２００は、受け付けた検索キーワードを含んだ文書データを文書群データの分類結果から検索してユーザに提供する。図２２に示すように、文書データ分類システム２００は、ユーザ端末２１０と、分析用端末２２０と、処理サーバ２３０とを有する。

ユーザ端末２１０は、ユーザが所望の文書を探す際に利用する端末装置である。このユーザ端末２１０は、検索キーデータ送信部２１１と、データ表示部２１２とを有する。検索キーデータ送信部２１１は、ユーザから検索キーワードの入力を受け付け、受け付けた検索キーワードを処理サーバ２３０に送信する。データ表示部２１２は、処理サーバ２３０によって生成された検索結果データを取得し、取得した検索結果データを液晶モニタなどの表示装置に表示させる。

分析用端末２２０は、書庫に置かれた文書の利用傾向を分析する際などに利用される端末装置である。この分析用端末２２０は、データ表示部２２１を有する。データ表示部２２１は、処理サーバ２３０によって生成された検索結果データを取得し、取得した検索結果データを液晶モニタなどの表示装置に表示させる。

処理サーバ２３０は、論文集や図書情報などの文書群データを分類するとともに、ユーザ端末２１０から送信される検索キーワードを含んだ文書データを文書群データの分類結果から検索してユーザに提供する。この処理サーバ２３０は、文書群データ記憶部２３３と、類似度マトリクス記憶部２３１と、分類結果ファイル記憶部２３２と、検索結果データ記憶部２３４とを有する。さらに、処理サーバ２３０は、前処理部２３６と、データ分類部２３７と、後処理部２３８とを有する。

文書群データ記憶部２３３は、論文集や図書情報などの文書に関する文書情報を記憶する。ここでいう文書情報とは、例えば、文書のタイトルや著者、分野などを示す情報である。

類似度マトリクス記憶部２３１は、分類対象となる文書データの類似度が記述された類似度マトリクスファイルを記憶する。この類似度マトリクスファイルは、後述する前処理部２３６によって生成される。また、この類似度マトリクスファイルは、図４に示した類似度マトリクスファイルと同じフォーマットのファイルであり、文書データごとに設定された複数の行および列からなる行列で表される。

分類結果ファイル記憶部２３２は、文書データの分類結果を示す分類結果ファイルを記憶する。この分類結果ファイルは、後述するデータ分類部２３７によって生成される。また、この分類結果ファイルは、図５に示した分類結果ファイルと同じフォーマットのファイルであり、クラスタごとに、同じクラスタに分類された文書データのＩＤを同じ行に並べて配置したファイルである。

検索結果データ記憶部２３４は、ユーザ端末２１０から送信された検索キーワードを含んだ文書データを文書群データの分類結果から検索した結果を示す検索結果データを記憶する。

前処理部２３６は、文書群データ記憶部２３３に記憶された文書データに対して前処理を施す。この前処理部２３６は、文書群データ記憶部２３３に記憶された文書データを処理対象として、図６に示した前処理部１３６と同様に、スクレイピング、形態素解析、ＮＧワード除去、複合語処理、重要度付与、類似度算出を順に行うことで、類似度マトリクスファイルを生成する。

データ分類部２３７は、前処理部２３６によって生成された類似度マトリクスを用いて文書データを分類する。このデータ分類部２３７は、前処理部２３６によって生成された類似度マトリクスを用いて、図１３に示したデータ分類部１３７と同様に、文書データを分類して分類結果ファイルを生成し、生成した分類結果ファイルを分類結果ファイル記憶部２３２に出力する。

後処理部２３８は、データ分類部２３７によって生成された分類結果ファイルに含まれるデータに対して後処理を施す。この後処理部２３８は、データ分類部２３７によって生成された分類結果ファイルを処理対象として、図１８に示した後処理部１３８と同様に、キーワード付与を行ってキーワード付与済み分類結果データを生成する。

ここで、本実施例２では、後処理部２３８は、ユーザ端末２１０から送信された検索キーワードを受け付ける。そして、後処理部２３８は、受け付けた検索キーワードを含んだ文書データをキーワード付与済み分類結果データから検索し、検索した結果を示す検索結果データを検索結果データ記憶部２３４に記憶させる。例えば、ユーザから指定された検索キーワードをタイトルに含んだ文書や、その文書に関連する文書などのリストが検索結果データとして生成される。

上述したように、本実施例２では、データ分類部２３７が、複数の文書データをデータ間の類似度が所定の閾値を越えるデータ群ごとに分類することで複数のクラスタを形成する。また、データ分類部２３７は、形成した各クラスタといずれのクラスタにも分類されずに残った孤立データとの間の類似度を算出し、算出した類似度が最も高いクラスタに孤立データを組み込む。したがって、本実施例２によれば、チェイニング効果を抑えて分類精度を高めつつ、運用性が高いクラスタリングを実現することが可能になる。また、書庫において文書を探すユーザに対して、目的の文書だけでなく、その文書に関連する文書の情報も提示されるので、より有益な情報をユーザに提供することができる。

なお、上記実施例で説明したデータ分類方法は、あらかじめ用意されたプログラムをコンピュータで実行することで実現することもできる。そこで、以下では、上記実施例で説明したデータ分類方法を実現するデータ分類プログラムを実行するコンピュータの一例を説明する。

図２３は、本実施例に係るデータ分類プログラムを実行するコンピュータ３３０を示す図である。図２３に示すように、コンピュータ３３０は、例えば、メモリ３３１と、ＣＰＵ（Central Processing Unit）３３２と、ハードディスクドライブインタフェース３３３と、ディスクドライブインタフェース３３４と、シリアルポートインタフェース３３５と、ビデオアダプタ３３６と、ネットワークインタフェース３３７とを有する。これらの各部は、バス３３８によって接続される。

メモリ３３１は、ＲＯＭ（Read Only Memory）３３１ａおよびＲＡＭ（Random Access Memory）３３１ｂを含む。ＲＯＭ３３１ａは、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース３３３は、ハードディスクドライブ３３９に接続される。ディスクドライブインタフェース３３４は、ディスクドライブ３３４ａに接続される。ディスクドライブ３３４ａには、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース３３５には、例えば、マウス３３５ａおよびキーボード３３５ｂが接続される。ビデオアダプタ３３６には、例えば、ディスプレイ３３６ａが接続される。

ここで、図２３に示すように、ハードディスクドライブ３３９は、例えば、ＯＳ（Operating System）３３９ａ、アプリケーションプログラム３３９ｂ、プログラムモジュール３３９ｃおよびプログラムデータ３３９ｄを記憶する。本実施例に係るデータ分類プログラムは、例えば、コンピュータ３３０によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ３３９に記憶される。具体的には、上記実施例で説明したクラスタ形成部と同様の情報処理を実行するクラスタ分類手順、および、孤立データ組込部と同様の情報処理を実行する孤立データ組込手順が記述されたプログラムモジュールが、ハードディスクドライブ３３９に記憶される。

また、上記実施例で説明した設定ファイル記憶部や類似度マトリクス記憶部などに記憶されるデータのように、データ分類プログラムによる情報処理に用いられるデータは、プログラムデータとして、例えば、ハードディスクドライブ３３９に記憶される。そして、ＣＰＵ３３２が、ハードディスクドライブ３３９に記憶されたプログラムモジュールやプログラムデータを必要に応じてＲＡＭ３３１ｂに読み出して、情報収集手順およびサービス決定手順を実行する。

なお、サービス制御プログラムに係るプログラムモジュールやプログラムデータは、ハードディスクドライブ３３９に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ３３４ａ等を介してＣＰＵ３３２によって読み出されてもよい。あるいは、サービス制御プログラムに係るプログラムモジュールやプログラムデータは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース３３７を介してＣＰＵ３３２によって読み出されてもよい。

１００ 履歴データ分類システム
１１０ ユーザ端末
１１１ Ｗｅｂ閲覧データ記憶部
１１２ Ｗｅｂ閲覧データ送信部
１１３ データ表示部
１２０ 分析用端末
１２１ データ表示部
１３０ 処理サーバ
１３１ 類似度マトリクス記憶部
１３２ 分類結果ファイル記憶部
１３３ 可視化データ記憶部
１３４ 配信コンテンツ記憶部
１３５ 配信用データ記憶部
１３６ 前処理部
１３７ データ分類部
１３７ａ 設定ファイル記憶部
１３７ｂ 編集用類似度マトリクス記憶部
１３７ｃ クラスタ形成結果ファイル記憶部
１３７ｄ クラスタ形成部
１３７ｅ 孤立データ組込部
１３８ 後処理部

Claims (4)

1. 複数の文書データを、文書データ間、異なるクラスタに分類された文書データ間、または、クラスタに分類された複数の文書データと単一の文書データとの間における第１の類似度を算出し、第１の類似度が所定の閾値以上の前記文書データ群ごとに分類することで複数のクラスタを形成するクラスタ形成部と、
   前記クラスタ形成部により形成された各クラスタといずれのクラスタにも分類されずに残った孤立データとの間の第２の類似度を算出し、算出した類似度が最も高いクラスタに前記孤立データを組み込む孤立データ組込部とを備え、
   前記第１の類似度は、前記文書データ間のコサイン類似度の最短距離法、最遠距離法、または群平均法に基づく算出値であり、
   前記第２の類似度は、前記クラスタに分類された複数の文書データと前記孤立データとの間のコサイン類似度の最遠距離法に基づく算出値である
   ことを特徴とするデータ分類装置。
2. 前記クラスタ形成部は、ユーザが閲覧したウェブページの閲覧履歴を表す閲覧履歴データを前記文書データとして分類することを特徴とする請求項１に記載のデータ分類装置。
3. 複数の文書データを、文書データ間、異なるクラスタに分類された文書データ間、または、クラスタに分類された複数の文書データと単一の文書データとの間における第１の類似度を算出し、第１の類似度が所定の閾値以上の前記文書データ群ごとに分類することで複数のクラスタを形成するステップと、
   形成された各クラスタといずれのクラスタにも分類されずに残った孤立データとの間の第２の類似度を算出し、算出した類似度が最も高いクラスタに前記孤立データを組み込むステップと
   を含み、
   前記第１の類似度は、前記文書データ間のコサイン類似度の最短距離法、最遠距離法、または群平均法に基づく算出値であり、
   前記第２の類似度は、前記クラスタに分類された複数の文書データと前記孤立データとの間のコサイン類似度の最遠距離法に基づく算出値である
   ことを特徴とするデータ分類方法。
4. 複数の文書データを、文書データ間、異なるクラスタに分類された文書データ間、または、クラスタに分類された複数の文書データと単一の文書データとの間における第１の類似度を算出し、第１の類似度が所定の閾値以上の前記文書データ群ごとに分類することで複数のクラスタを形成し、形成したクラスタを示すクラスタ形成結果ファイルを生成して記憶部に記憶させるクラスタ手順と、
   前記クラスタ手順により生成されたクラスタ形成結果ファイルを前記記憶部から読み出し、読み出したクラスタ結果ファイルに含まれる各クラスタといずれのクラスタにも分類されずに残った孤立データとの間の第２の類似度を算出し、算出した類似度が最も高いクラスタに前記孤立データを組み込む孤立データ組込手順と
   をコンピュータに実行させ、
   前記第１の類似度は、前記文書データ間のコサイン類似度の最短距離法、最遠距離法、または群平均法に基づく算出値であり、
   前記第２の類似度は、前記クラスタに分類された複数の文書データと前記孤立データとの間のコサイン類似度の最遠距離法に基づく算出値である
   ことを特徴とするデータ分類プログラム。

Images