JP4772378B2 - Ｗｅｂページから時系列データを生成する方法及び装置 - Google Patents

Description

本発明は、利用者の指定した検索条件に適合するＷｅｂページを収集して当該Ｗｅｂページからクラスタ分けされた時系列データを生成するのに好適なＷｅｂページから時系列データを生成する方法及び装置に関する。

パーソナルコンピュータのような情報処理装置は、Ｗｅｂブラウザを有しているのが一般的である。Ｗｅｂブラウザは、Ｗｅｂサーバによってインターネット上に公開されているＷｅｂページを閲覧するのに用いられる。また近年の情報処理装置は、利用者の操作によりＷｅｂブラウザから検索エンジンを起動することができる。検索エンジンは、利用者が指定したキーワード（検索条件）を受け取ると、当該キーワードに関連（適合）するＷｅｂページの集合を収集する。ここでは、検索エンジンは利用者により指定されたキーワードとの関連度に基づいてＷｅｂページを収集しているだけである。つまり検索エンジンは、Ｗｅｂページ間の時間的な関連性を考慮してページを収集し、関連するＷｅｂページを整理することはできない。

一方、特許文献１には、ネットワークを介して業務の関係者間で取り交わされる業務に関する会話ストリームを蓄積する知識情報管理装置が記載されている。この知識情報管理装置は、課題の発生から結論に至るまでの過程で業務の遂行上必要なオブジェクトも蓄積する。この知識情報管理装置は、蓄積された会話ストリーム中の任意のストリームと任意のオブジェクトとの関連付けを行う。この関連付けにより、知識情報管理装置は、関連付けられた会話ストリームとオブジェクトとに関する情報を出力することができる。しかしながら、特許文献１に記載された知識情報管理装置は特定の会話ストリームを収集している。この特定の会話ストリームを知識情報管理装置が収集するには、当該会話ストリームが発信される場所を予め特定しておく必要がある。このため、特許文献１に記載された知識情報管理装置では、会話ストリームが明示的に与えられていない場合には、当該会話ストリームを収集することはできない。

特許文献２には、口コミサイトを監視することにより、当該口コミサイトにおいて特定の単語（口コミ）が利用される頻度を解析する技術が記載されている。ここでは、注目するイベントの特定期間における増減が解析される。しかし特許文献２に記載された技術では、複数の注目するイベントの時間的な推移を考慮した関連性を把握することはできない。

特許文献３には、収集された文章からユーザ情報、時間情報及び文章情報を記事毎に抽出する口コミ情報解析装置が記載されている。この口コミ情報解析装置は、単語単位に分割された文書情報とユーザ情報及び時間情報とを組み合わせたデータを生成することができる。しかし、この口コミ情報解析装置では、時間情報は記事を特徴付ける１つの値として利用されるだけである。このため、特許文献３に記載された技術では、各記事の時間的な推移を考慮した関連性を把握することはできない。

特許文献４には、通信サービス分野等における顧客データの時系列的な推移を考慮して、顧客特性の有効な時系列パターンを取得する潜在ターゲット抽出装置が記載されている。この抽出装置は、複数の定量的な属性からなる時系列データ（顧客データ）について、当該複数の属性を予め幾つかの属性集合に分割する。抽出装置は、この属性集合（つまり時系列データを構成する各要素の値である属性値）に対してクラスタリングを実施する。これにより、定量的な時系列データがクラスタによって特徴付けられる定性的な時系列データに変換される。抽出装置は、定性的な時系列データを特定サービスへの加入者のデータ（加入者データ）と非加入者のデータ（非加入者データ）とに分類する。抽出装置は、加入者データから、特定の属性集合について時系列的な特徴推移のパターンを抽出する。抽出装置は、この抽出されたパターンに類似する非加入者の時系列データを非加入者データから抽出して、その非加入者（顧客）を潜在顧客として抽出する。
特開２００２−２９７８８３号公報 特開２００４−１３９３７６号公報 特開２００４−１８５５７２号公報 特開２００３−２４２１６５号公報

インターネット環境の普及に伴って、例えばＷｅｂ上の掲示板サイトでは多数の議論が日々展開されている。これらの議論の大多数は、取りとめも無い議論である。このため、掲示板サイトでの議論の存在に気づかなかったとしても特定の個人や組織にとって大きな問題になることはない。しかしながら、数は多くないとしても、個人や組織に不利益をもたらしたり、利益を逸したりする議論が展開されることもある。このような議論の発生は、必ずしも関連する個人や組織に通知される訳ではなく、その発生場所が特定の掲示板上に固定されている訳でもない。また、特定の個人や組織の利益に影響を与える議論は、特定の個人や組織ごとに異なっている。一方、非常に多くの議論が多数の掲示板サイトで展開されているため、すべての議論をチェックし、当該議論が特定の個人や組織に利益を与えるかどうかを判定することは極めて困難である。

そこで、Ｗｅｂ上に散らばる複数のサイトから利用者が注目する議論を含むデータを収集し、関連するデータをその時間的な推移を考慮して整理することが要求される。

ところが上述した従来技術、例えば特許文献１乃至３に記載された技術においては、複数の注目する議論（イベント）の時間的な推移を考慮した関連性を把握することはできない。

一方、特許文献４には、通信サービス分野等における顧客データ、つまり複数の定量的な属性からなる時系列データに対するクラスタリング結果から、特定の属性集合について時系列的な特徴推移のパターンを抽出する技術が記載されている。この特許文献４に記載の技術では、時系列データを構成する属性値に対してクラスタリングを実施することで、クラスタが生成される。

しかし、Ｗｅｂ上に散らばる複数のサイト（Ｗｅｂサイト）から収集されるＷｅｂデータでは、顧客データと異なって、属性の種類及び数並びに属性の位置は一定していない。このため、Ｗｅｂデータに含まれている属性値に対して、特許文献４に記載の技術のようにクラスタリングを実施することは困難である。また、特許文献４に記載の技術では、１つの定量的な時系列データから１つの定性的な時系列データが生成される。しかしこのような時系列データの生成では、複数のＷｅｂサイトから収集される利用者が注目する議論（トピック）を含むデータについて、関連するデータ（議論）をその時間的な推移を考慮して整理することは困難である。

本発明は上記事情を考慮してなされたものでその目的は、利用者が注目する議論を含むＷｅｂページをＷｅｂ上から自動的に収集するだけでなく、収集されたＷｅｂページに含まれている議論を関連付けて整理した時系列データを生成することができる、Ｗｅｂページから時系列データを生成する方法及び装置を提供することにある。

本発明の１つの観点によれば、Ｗｅｂページから時系列データを生成する方法が提供される。この方法は、利用者によって指定された収集条件に適合するＷｅｂページを複数のＷｅｂサイトから収集してストレージ装置に格納するステップと、前記ストレージ装置に格納されているＷｅｂページの集合を当該ＷｅｂページのＵＲＬ情報に基づいて複数のクラスタに分割するステップと、前記クラスタごとに、当該クラスタに含まれているＷｅｂページから日時表現を抽出するステップと、前記抽出された日時表現に基づいて、前記クラスタごとに、当該クラスタを代表する日時表現形式を決定するステップと、前記クラスタごとに決定された日時表現形式に基づいて、当該クラスタに含まれているＷｅｂページを当該日時表現形式の日時表現が出現する箇所を基準として複数のアイテムに分割するステップと、前記分割されたアイテムを、当該アイテムに対応する日時表現に基づいて時間の順序に従って前記クラスタごとに並べ替えることにより、前記クラスタごとに時系列データを生成するステップとを具備する。

本発明によれば、利用者が注目する議論を含むＷｅｂページをＷｅｂ上から自動的に収集して、当該収集されたＷｅｂページに含まれている議論を関連付けて整理した時系列データを生成することができる。

以下、本発明の実施の形態につき図面を参照して説明する。
図１は本発明の一実施形態に係る時系列データ生成装置の構成を示すブロック図である。この時系列データ生成装置は、主として、時系列データ生成処理部１と、入力装置２と、表示装置３と、ストレージ装置４と、メモリ装置５とから構成される。

時系列データ生成処理部１は、ユーザインタフェース１１、データ収集部１２、データ分割部１３、日時表現決定部１４、アイテム分割部１５及び時系列データ生成部１６を含む。

ユーザインタフェース１１は、収集条件設定インタフェース１１１及び表示インタフェース１１２を含む。収集条件設定インタフェース１１１は、利用者によって指定された当該利用者にとって興味のあるトピックを表す例えばキーワードを収集条件としてメモリ装置５の所定領域に設定する。利用者によって指定されるトピックは、利用者が入力デバイス２を操作することにより当該入力装置２からユーザインタフェース１１に入力される。表示インタフェース１１２は、収集条件としてのトピックの入力を利用者に促すための収集条件設定画面、時系列データ生成部１６によって生成された時系列データ等を表示装置３に表示する
データ収集部１２は、収集条件設定インタフェース１１１によってメモリ装置５内に設定された収集条件に適合するＷｅｂページを例えば複数のＷｅｂサイトから収集する。収集されたＷｅｂページはストレージ装置４内の後述するデータ格納部４１に格納される。

データ分割部１３は、データ格納部４１に格納されているＷｅｂページの集合について、当該ＷｅｂページのＵＲＬ（Uniform Resource Locator）情報（つまりＷｅｂページの所在を表す情報）及び当該Ｗｅｂページに記述されている表現に関する情報に基づいて、当該Ｗｅｂページの集合を複数のクラスタに分割する。

日時表現決定部１４は、データ分割部１３による分割によって生成されたクラスタごとに、そのクラスタに含まれているＷｅｂページの各々から、予め定められた複数の形式の日時表現（日時表現形式）のいずれかに合致する日時表現を抽出する。この複数の日時表現形式を表す情報（日時表現形式情報）は、ストレージ装置４内の後述する日時表現格納部４２に予め格納されている。時表現決定部１４は、クラスタごとの日時表現の抽出結果に基づいて当該クラスタごとに最も妥当な日時表現形式を判別し、その判別された日時表現形式を当該クラスタにおける代表日時表現形式として決定する。本実施形態における「日時表現」とは、「日付」だけでなく「年」も含む表現であるものとする。

アイテム分割部１５は、日時表現決定部１４によってクラスタごとに決定された代表日時表現形式に基づき、当該クラスタに含まれているＷｅｂページの各々を複数のアイテムに分割する。

時系列データ生成部１６は、アイテム分割部１５によって分割されたアイテムを、クラスタごとに時間の順序に従って並べ替えることにより時系列データを生成する。

入力装置２は、利用者の操作により各種データ、指示等を入力するのに用いられる。入力装置２は、例えばキーボード及びマウスを含む。表示装置３は、収集条件設定画面及び時系列データ等を表示するのに用いられる、例えば液晶ディスプレイである。

ストレージ装置４は、Ｗｅｂページ及び日時表現形式情報等を格納するのに用いられる、例えば磁気ディスクドライブである。ストレージ装置４の記憶領域内には、データ格納部４１及び日時表現格納部４２が確保される。データ格納部４１は、データ収集部１２によって収集されたＷｅｂページを格納するのに用いられる。日時表現格納部４２は、日時表現形式情報を予め格納するのに用いられる。メモリ装置５は例えばＲＡＭによって構成される。メモリ装置５は、時系列データ生成処理部１の処理のためのワーク領域として用いられる。

本実施形態において、図１の時系列データ生成装置はパーソナルコンピュータのような情報処理装置を用いて実現されるものとする。ここでは、時系列データ生成処理部１を構成するユーザインタフェース１１、データ収集部１２、データ分割部１３、日時表現決定部１４及びアイテム分割部１５は、ストレージ装置４に格納されている、Ｗｅｂページから時系列データを生成するための特別のプログラムを、図示せぬＣＰＵが実行することにより実現される。

次に、図１に示す時系列データ生成装置の動作について、図２乃至図４のフローチャートを参照して説明する。
今、利用者が、自身にとって興味のあるトピックに関連するＷｅｂページから生成される時系列データを必要とするものとする。この場合、利用者は、時系列データ生成装置の入力装置２を操作して、ユーザインタフェース１１の表示インタフェース１１２により表示装置３に収集条件設定画面を表示させる。この収集条件設定画面は、Ｗｅｂページの収集条件としてのキーワードが入力可能な入力フィールドを含む。そこで利用者は、自身にとって興味のあるトピック（話題、議論）を表す例えば複数のキーワードを、収集条件設定画面上の入力フィールドに入力装置２を用いて入力するための操作を行う。

ユーザインタフェース１１の収集条件設定インタフェース１１１は、入力装置２によって入力された利用者指定のキーワードをＷｅｂページの収集条件としてメモリ装置５の所定領域に設定する（ステップＳ１）。収集条件設定インタフェース１１１はまた、収集条件が設定されたことをデータ収集部１２に通知する。

するとデータ収集部１２は、メモリ装置５の所定領域に設定された収集条件（ここでは複数のキーワード）をネットワーク上の検索エンジン（検索サーバ）に通知する。これを受けて検索エンジンは、データ収集部１２によって通知されたキーワードに関連するＷｅｂページを例えば複数のＷｅｂサイトの掲示板から収集して、データ収集部１２に返す。つまりデータ収集部１２は、設定されたキーワードに関連するＷｅｂページを、検索エンジンを利用して収集する（ステップＳ２）。このステップＳ２において、データ収集部１２は収集されたすべてのＷｅｂページをデータ格納部４１に格納する。このデータ格納部４１に格納されるＷｅｂページには、データ収集部１２によって識別情報（ＩＤ情報）が付されるものとする。

なお、設定されたキーワードに関連するＷｅｂページの収集に複数の検索エンジンを利用することも可能である。そのためには、収集条件設定インタフェース１１１が検索エンジンごとに収集条件設定画面を入力装置２に表示して、利用者に対して当該検索エンジンごとにキーワードの設定を促せばよい。この場合、データ収集部１２は、検索エンジンごとに設定されたキーワードを当該検索エンジンに通知することにより、検索エンジンごとにＷｅｂページを収集することができる。ここでデータ収集部１２は、収集されたＷｅｂページのＵＲＬ情報を参照することによりＵＲＬ情報が同一の重複するＷｅｂページを検出して、当該重複するＷｅｂページを削除するとよい。

データ分割部１３は、データ収集部１２によって複数のＷｅｂサイトから収集されたＷｅｂページがデータ格納部４１に格納されると、当該データ格納部４１から未処理のＷｅｂページを１つメモリ装置５に読み込む（ステップＳ３ａ，Ｓ３ｂ）。データ分割部１３は、データ格納部４１からメモリ装置５に読み込まれたＷｅｂページに付随するＵＲＬ情報を参照し、当該ＵＲＬ情報に基づいて当該Ｗｅｂページへの特徴付け（以下、ＵＲＬ特徴付けと称する）を行う（ステップＳ４）。

以下、ステップＳ４の処理（ＵＲＬ特徴付け）の詳細について、図２のフローチャートを参照して説明する。図５は、ステップＳ３ｂでデータ格納部４１から読み込まれたＷｅｂページｔ１の一例を示す。この図５に示すＷｅｂページｔ１には、以下に示すＵＲＬ情報
http://www.xxx.xx.com/forums/message?start=860&cid=24&tid=317264
が割り当てられているとする。

データ分割部１３は、図５に示すＷｅｂページｔ１を読み込むと、当該Ｗｅｂページｔ１に割り当てられている上記ＵＲＬ情報を、予め定められた区切り記号（第１の区切り記号）「/」、「?」、「&」に基づいて分割（分解）する（ステップＳ４１）。これによりデータ分割部１３は、上記ＵＲＬ情報から区切り記号で区切られた文字列（分割文字列）を抽出する。図６は、この抽出（分割）された文字列を示す。

またデータ分割部１３は、分割された文字列の中に「=」（等記号）を含む文字列が有る場合には（ステップＳ４２）、当該「=」を区切り記号（第２の区切り記号）として、当該文字列を「=」に基づいて再度分割する（ステップＳ４３）。ここでは、文字列「start=860」から「start」及び「860」の２つの文字列が抽出される。同様に、文字列「cid=24」からは「cid」及び「24」が、文字列「tid=317264」からは「tid」及び「317264」が、それぞれ抽出される。

次にデータ分割部１３は、最初（１段階目）の分割で抽出された文字列（但し、「=」を含まない文字列）に関しては、当該文字列をそのまま属性とし、当該文字列が存在するかどうか(「有り」、「無し」）を属性値とする（ステップＳ４４）。一方、２度目（２段階目）の分割で抽出された文字列に関しては、データ分割部１３は、「=」に先行する部分（文字列）を属性とし、後続する部分（文字列）を属性値とする（ステップＳ４５）。これにより、図６に示す文字列から、属性と属性値との集合から構成される図７に示すＵＲＬ特徴が抽出される。このＵＲＬ情報から抽出されたＵＲＬ特徴は、当該ＵＲＬ情報が割り当てられているＷｅｂページｔ１の特徴を反映しているといえる。このため、Ｗｅｂページに割り当てられているＵＲＬ情報からＵＲＬ特徴を抽出することは、この抽出されたＵＲＬ特徴を当該Ｗｅｂページに付与することと等価である。このＷｅｂページに付与されるＵＲＬ特徴を、ＷｅｂページのＵＲＬ特徴と呼ぶ。

データ分割部１３は、上述のＵＲＬ特徴付け（ステップＳ４）を、データ格納部４１内に未処理のＷｅｂページがなくなるまで実行する（ステップＳ３ａ）。即ちデータ分割部１３は、ＵＲＬ特徴付けを、データ格納部４１に格納されているすべてのＷｅｂページについて実行する。

さて、データ格納部４１に格納されているすべてのＷｅｂページの各々に対するＵＲＬ特徴付けの結果であるＵＲＬ特徴に含まれる属性は、各ＵＲＬ特徴の間で必ずしも一致しない。そこで本実施形態では、ＷｅｂページごとのＵＲＬ特徴を、各Ｗｅｂページに共通の属性を用いて表現するために、各Ｗｅｂページに共通の属性を要素とするＵＲＬ特徴ベクトルと呼ぶ特徴ベクトルを適用する。各Ｗｅｂページに共通の属性とは、その属性の有効な属性値を当該ＷｅｂページのＵＲＬ情報が有していることを必ずしも意味しない。

データ分割部１３はデータ格納部４１に格納されているすべてのＷｅｂページについてＵＲＬ特徴付け（ステップＳ４）を実行すると（ステップＳ３ａ）、ステップＳ５の処理に進む。このステップＳ５において、データ分割部１３は、データ格納部４１に格納されているすべてのＷｅｂページの各々に対するＵＲＬ特徴付けの結果（ＵＲＬ特徴）から、ＷｅｂページごとのＵＲＬ特徴ベクトルの要素とすべき各Ｗｅｂページに共通の属性を抽出する。このデータ分割部１３による、ＵＲＬ特徴ベクトルを構成する属性の抽出は次のように行われる。まずデータ分割部１３は、データ格納部４１に格納されている各Ｗｅｂページに対するＵＲＬ特徴付けの結果（ＵＲＬ特徴）に含まれている属性及び属性値を統合（マージ）する。データ分割部１３は、この統合の結果から、すべての属性を重複なく取り出す。この取り出された属性は、各ＷｅｂページのＵＲＬ特徴ベクトルの要素を構成する。

データ分割部１３は、ＵＲＬ特徴ベクトルを構成する属性をすべて抽出すると（ステップＳ５）、上記各ＷｅｂページのＵＲＬ特徴ベクトルを生成する（ステップＳ６）。この各ＷｅｂページのＵＲＬ特徴ベクトルの生成は、上記抽出されたすべての属性と、当該Ｗｅｂページに対するＵＲＬ特徴付けの結果（ＵＲＬ特徴）に含まれている属性及び属性値とに基づき次のように行われる。

まず、対象となるＷｅｂページのＵＲＬ特徴がＵＲＬ特徴ベクトルを構成する属性を持っている場合、データ分割部１３は、当該属性の属性値をそのままＵＲＬ特徴ベクトルを構成する属性の属性値とする。一方、対象となるＷｅｂページのＵＲＬ特徴がＵＲＬ特徴ベクトルを構成する属性を持っていない場合には、データ分割部１３は、当該属性の種類に従って当該属性の属性値を決定する。即ちデータ分割部１３は、他のＷｅｂページに対応して抽出された属性（特徴）に関しては、「有り」といった１つの属性値だけが与えられている場合に、当該属性を持っていないＷｅｂページのＵＲＬ特徴ベクトルの当該属性の属性値を「無し」とする。またデータ分割部１３は、他のＷｅｂページに対応して抽出された属性に関して複数の属性値が与えられている場合、当該属性を持っていないＷｅｂページのＵＲＬ特徴ベクトルの当該属性の属性値を「-」とする。ここで、「-」はデータが無いことを示す特殊な文字列を表す。

これにより、例えば図７、図８及び図９に示すＵＲＬ特徴がＷｅｂページｔ１、ｔ２及びｔ３に与えられている場合、図１０のｔ１、ｔ２及びｔ３の行に示す特徴ベクトル８１、８２及び８３が、それぞれ当該Ｗｅｂページｔ１、ｔ２及びｔ３に与えられることになる。

データ分割部１３は、収集されたＷｅｂページの各々に対して与えられるＵＲＬ特徴ベクトルを生成するとステップＳ７の処理に進む。このステップＳ７において、データ分割部１３は、Ｗｅｂページに与えられるＵＲＬ特徴ベクトルを利用することにより、当該Ｗｅｂページの集合を例えば指定の個数（Ｋ個）のクラスタに分割するデータ分割（クラスタリング）を実行する（ステップＳ７）。ここでは、類似のＵＲＬ特徴ベクトルが付与されているＷｅｂページが同一クラスタに分類される。本実施形態では、ステップＳ７のデータ分割（クラスタリング）に、例えば文献「ファジィとソフトコンピューティングハンドブック（日本ファジィ学会編集、2000年、共立出版）」pp.161-162 に記載のＫ−平均法が利用される。但し本実施形態では、属性値が文字列の場合、あるいは属性が無いことを示す特殊な属性値「-」の場合を考慮して、各属性値間に予め距離を定義しておくことにする。例えば、属性値「有り」と「無し」の属性の場合、２つのデータ（ＵＲＬ特徴ベクトル）の当該属性が共に「有り」であるか「無し」であるならば、当該属性におけるデータ間の距離を０と定義する。また、一方が「有り」で他方が「無し」であるならば、その距離を１と定義する。また、属性が無いことを示す特殊な属性値「-」と他の属性値との間の距離を∞、２つの「-」間の距離を０と定義する。ステップＳ６でのデータ分割結果（つまりＫ個のクラスタ）は、メモリ装置５に格納される。

データ分割部１３は、ステップＳ７を実行すると、メモリ装置５に格納されているデータ分割結果（Ｋ個のクラスタ）から、未処理のクラスタを１つ取り出す（ステップＳ８ａ，Ｓ８ｂ）。データ分割部１３によって取り出されたクラスタは、メモリ装置５を介して日時表現決定部１４及びアイテム分割部１５に渡される。日時表現決定部１４は、データ分割部１３から渡されたクラスタに含まれているＷｅｂページのテキスト情報を解析することにより、日時表現格納部４２に格納されている日時表現形式情報の示す複数の日時表現形式のいずれかに一致する表現を抽出する（ステップＳ９）。以降は、説明の簡略化のために、日時表現格納部４２に複数の日時表現形式が格納されていると表現する。

例えば、日時表現格納部４２には、図１１に示す３通りの日時表現形式ｄ１乃至ｄ３を表す日時表現形式情報が格納されているとする。図１１において、日時表現形式ｄ１は、年を４桁の数字を用いた西暦で、月を２桁の数字で、そして日を２桁の数字で、年（西暦）／月／日の順に表現することを表す。日時表現形式ｄ２は、月を３桁の英語略字で、日を２桁の数字で、そして年を４桁の数字を用いた西暦で、月／日／年（西暦）の順に表現することを表す。日時表現形式ｄ３は、月を２桁の数字で、日を２桁の数字で、そして年を４桁の数字を用いた西暦で、月／日／年（西暦）の順に表現することを表す。

ここで、日時表現決定部１４による日時表現抽出の対象となるクラスタに図５のＷｅｂページｔ１が含まれているものとする。この場合、日時表現決定部１４は、Ｗｅｂページｔ１から「Jun/02/2004」、「Jun/03/2004」、「Jun/03/2004」、「Jun/03/2004」、「Jun/03/2004」といった日時表現形式ｄ２に対応する５つの表現を抽出する。一方、日時表現形式ｄ１及びｄ３に対応する表現は抽出されない。

日時表現決定部１４は、上述したような、日時表現格納部４２に格納されている複数の日時表現形式のいずれかに一致する表現をＷｅｂページから抽出する処理（ステップＳ９）を、データ分割部１３から渡されたクラスタに含まれているすべてのＷｅｂページに対して実施する。このステップＳ９において、日時表現決定部１４は、上記日時表現形式ごとの抽出された表現の個数を計算する。即ち日時表現決定部１４は、１つのクラスタについて、当該クラスタに含まれているすべてのＷｅｂページから抽出された日時表現形式ごとの表現の個数を取得する。

日時表現決定部１４は、ステップＳ９で１つのクラスタから取得した日時表現形式ごとの個数を比較することにより、最大の個数を与える日時表現形式を当該クラスタを代表する日時表現形式として決定する（ステップＳ１０）。これにより、Ｗｅｂページの記事中に含まれている日時表現の形式が日時表現形式として決定されるのを防止できる。ここで、図５のＷｅｂページｔ１を含むクラスタから取得した日時表現形式ごとの個数の中で、日時表現形式ｄ２の個数が最も多いものとする。この場合、日時表現決定部１４はＷｅｂページｔ１を含むクラスタを代表する日時表現形式として、日時表現形式ｄ２を決定する。

日時表現決定部１４による日時表現形式の決定結果はアイテム分割部１５に通知される。アイテム分割部１５は、日時表現決定部１４によって決定された日時表現形式の表現が出現する箇所を基準として、データ分割部１３から渡されたクラスタに含まれているＷｅｂページを複数のアイテム（記事）に分割する（ステップＳ１１）。このとき、分割された各アイテムには、日時表現決定部１４によって決定された日時表現形式の表現に対応する日時が割り当てられる。図５のＷｅｂページｔ１の場合、日時表現形式ｄ２によって５つの表現「Jun/02/2004」、「Jun/03/2004」、「Jun/03/2004」、「Jun/03/2004」及び「Jun/03/2004」が抽出される。よって、図５のＷｅｂページｔ１は、この５つの表現を基準として図１２に示すように５つのアイテムｉ１乃至ｉ５に分割される。アイテム分割部１５によるアイテム分割結果はメモリ装置５に格納される。

以上のステップＳ９，Ｓ１０及びＳ１１が、すべてのデータ分割結果であるＫ個のクラスタについて実行されると、即ち未処理のクラスタが無くなると（ステップＳ８ａ）、データ分割部１３はステップＳ１２の処理に進む。このステップＳ１２において、データ分割部１３は、メモリ装置５に格納されている、アイテム分割部１５によるアイテム分割結果に基づき、クラスタごとに、当該クラスタに含まれるＷｅｂページのテキスト情報の特徴を表すテキスト特徴ベクトルを生成する。

以下、ステップＳ１２のテキスト特徴ベクトル生成処理の詳細について、図４のフローチャートを参照して説明する。まずデータ分割部１３は、アイテム分割部１５によって分割された各アイテムに含まれる単語の頻度（出現率）を取得する処理を、クラスタごとに実行する（ステップＳ１２１）。各アイテムに含まれる単語の頻度は、当該アイテムに含まれるテキストを解析することにより取得される。次にデータ分割部１３は、取得された単語の頻度と、各アイテムに含まれる単語の個数とを利用することにより、文献Shigeaki Sakurai and Yoshimi Saito: “Text Classification Method using a Named Entity Extractor”, Proceedings of the SCIS&ISIS 2004, TUE-3-4 (2004) に記載のtf-idf値を、各クラスタについて単語ごとに算出する（ステップＳ１２２）。tf-idf値は、着目する単語が着目するクラスタ（上記文献ではドキュメント）に現れる程度を表す評価値である。このtf-idf値は、着目するクラスタ（ドキュメント）のみに現れる頻度が低い単語ほど小さな値となる。このためf-idf値は、全クラスタにわたってまんべんなくtf値（単語の頻度）が高い、例えば英文における“the”のような重要でない単語の評価値が高くなるのを防止できる。

次にデータ分割部１３は、各クラスタについて単語ごとに算出されたtf-idf値に基づき、当該tf-idf値が予め定められたしきい値以上の単語（表現）を、当該クラスタを特徴付ける属性として抽出する（ステップＳ１２３）。データ分割部１３は、クラスタごとに抽出された単語の頻度（出現率）を属性値とする、クラスタごとのテキスト特徴ベクトルを生成する（ステップＳ１２４）。例えば、図１３に示すような単語のtf-idf値が算出されているとし、tf -idf値のしきい値を０．１とする。また、クラスタｃ１に含まれるアイテムから図１４に示す出現率（頻度）で各単語が抽出されているとする。このとき、データ分割部１３は、クラスタｃ１に関し、各アイテムから抽出された各単語のtf-idf値をしきい値と比較することにより、「glad」より上位にある単語を当該クラスタｃ１を特徴付ける単語として抽出する。その結果、クラスタｃ１に対して、図１５のｃ１の行に示すテキスト特徴ベクトルが生成される。

データ分割部１３は、各クラスタのテキスト特徴ベクトルを生成すると、当該テキスト特徴ベクトルを利用して、各クラスタ（データ分割部１３によりステップＳ７で分割されたデータ）を統合する処理（分割データ統合処理）を実行する（ステップＳ１３）。

以下、ステップＳ１３の分割データ統合処理の詳細について説明する。まずデータ分割部１３は、各クラスタのテキスト特徴ベクトルに基づいて、クラスタ間の類似度を計算する（ステップＳ１３ａ）。ここで、クラスタ間の類似度が予め定められたしきい値よりも大きい場合（ステップＳ１３ｂ）、データ分割部１３は該当するクラスタは類似しており、統合可能であると判断する。データ分割部１３は、この類似している統合可能なクラスタ（分割データ）を統合して、メモリ装置５内に新たなクラスタ（分割データ）を生成する（ステップＳ１３ｃ）。

データ分割部１３は、統合された新たなクラスタを生成すると（ステップＳ１３）、その新たなクラスタに関しテキスト特徴ベクトル生成処理を実行する（ステップＳ１２）。即ちデータ分割部１３は、新たなクラスタに関し当該クラスタの特徴として利用する各単語の出現率（頻度）を再計算して、その出現率に基づいて当該クラスタのテキスト特徴ベクトルを生成する。データ分割部１３は、ステップＳ１２及びＳ１３の処理（クラスタの統合処理）を、クラスタ間の類似度の中に予め定められたしきい値以上の類似度がなくなるまで、つまり統合可能なクラスタが無くなるまで繰り返す（ステップＳ１３ｂ）。これにより、メモリ装置５内には、クラスタ間の類似性の少ない最終的なクラスタが生成される。

例えば、図１５のｃ１乃至ｃ３の行に示すテキスト特徴ベクトルを、それぞれクラスタｃ１乃至ｃ３が持つものとする。また、クラスタ間の類似度が（１−テキスト特徴ベクトル間の距離）によって定義され、クラスタｃ１及びｃ３の間の類似度がしきい値よりも高いとする。このとき、データ分割部１３は、クラスタｃ１及びｃ３を統合した新たなクラスタｃ４を生成し、当該クラスタｃ４のテキスト特徴ベクトルを生成する。これにより、図１６のｃ４の行に示すテキスト特徴ベクトルがクラスタｃ４に対して与えられる。このクラスタｃ４のテキスト特徴ベクトルとクラスタｃ２のテキスト特徴ベクトルの類似度がしきい値よりも小さいとするならば、これ以上の統合は行われず、クラスタの統合は終了する。

データ分割部１３は、クラスタの統合（分割データの統合）を終了すると、時系列データ生成部１６に対して時系列データの生成を要求する。すると時系列データ生成部１６は、メモリ装置５内に生成されている最終的なクラスタに基づき、当該クラスタごとにアイテムを時間順に並べ替えることにより、当該クラスタに対応した時系列データを生成する（ステップＳ１４）。

上述のようにして生成された、クラスタごとの時系列データは、それぞれ利用者の興味のある類似性の高いトピックを含む。つまり本実施形態においては、検索エンジンを利用して複数のＷｅｂサイトから収集された利用者の興味のあるトピック（議論）に関連するＷｅｂページを、そのトピックの時間的な流れ及び内容の関連性に基づいて時系列データに集約することで、当該Ｗｅｂページを時間的な推移を考慮して整理することができる。このため、Ｗｅｂ上に存在する例えば不特定多数の掲示板に記載されているページの中から利用者にとって興味のある議論を取り出して、その議論の流れを追ったり、関連する議論をまとめたりすることができる。つまり、利用者が議論の重要性を確認することを支援できる。また、このようにして生成された時系列データを文献Shigeaki Sakurai and Ken Ueno: “Analysis of Daily Business Reports Based on Sequential Text Mining Method”, Proceedings of the SMC2004 , 3279-3284 (2004) に記載の特徴的な時系列パターンを発見する手法の入力として利用することにより、特徴的な時系列パターンを発見することもできる。さらには、新たに収集されたＷｅｂページから生成された時系列データを発見された時系列パターンに適用することにより、議論の進む方向を予測したり、議論が望まない方向に進まないようにするための対策の立案を支援することもできる。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば上記実施形態では、データ分割部１３は、予め定められた区切り記号として、「/」、「?」、「&」及び「=」を利用している。しかしＵＲＬの分割に、他の区切り記号、例えば「.」及び「,」などを利用してもよい。また、２段階の区切り記号の利用方法についても、例えば「/」及び「&」を１段階目（第１の区切り記号）として、「?」及び「=」を２段階目（第２の区切り記号）として利用してもよい。また、日時表現決定部１４は、日時表現として、年、月、日の表現に加えて、時、分、秒を加えた表現を利用してＷｅｂページから日時（時間）に関する表現を抽出してもよい。また上記実施形態では、データ分割部１３は、テキストによるクラスタの特徴付けをすべてのアイテムを利用して行っている。しかし、サンプリングを行ってクラスタの中からアイテムを抽出することにより、テキスト特徴ベクトルを計算することもできる。

また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

本発明の一実施形態に係る時系列データ生成装置の構成を示すブロック図。 同実施形態における時系列データ生成処理の手順を示すフローチャート。 図２のフローチャートにおけるステップＳ４の処理（ＵＲＬ特徴付け）の手順を示すフローチャート。 図２のフローチャートにおけるステップＳ１２の処理（テキスト特徴ベクトル生成処理）の手順を示すフローチャート。 同実施形態において収集されるＷｅｂページの一例を示す図。 分割されたＵＲＬ情報の一例を示す図。 ＵＲＬ特徴の一例を示す図。 ＵＲＬ特徴の他の一例を示す図。 ＵＲＬ特徴の更に他の一例を示す図。 図７乃至図９に示すＵＲＬ特徴から生成されるＵＲＬ特徴ベクトルの一例を示す図。 日時表現格納部４２に予め格納されている日時表現形式の一例を示す図。 図５のＷｅｂページをアイテムに分割した様子を示す図。 tf-idf値の分布の一例を示す図。 クラスタに含まれる単語の出現率の一例を示す図。 クラスタに対して生成されるテキスト特徴ベクトルの一例を示す図。 図１５の特徴ベクトルを持つクラスタｃ１及びｃ３を統合した後のクラスタのテキスト特徴ベクトルの一例を示す図。

符号の説明

１…時系列データ生成処理部、２…入力装置、３…表示装置、４…ストレージ装置、５…メモリ装置、１１…ユーザインタフェース、１２…データ収集部、１３…データ分割部、１４…日時表現決定部、１５…アイテム分割部、１６…時系列データ生成部、４１…データ格納部、４２…日時表現格納部、１１１…収集条件設定インタフェース、１１２…表示インタフェース。

Claims (13)

1. Ｗｅｂページから時系列データを生成する、時系列データ生成装置が実行する方法において、
   利用者によって指定された収集条件に適合するＷｅｂページを複数のＷｅｂサイトから収集してストレージ装置に格納するステップと、
   前記ストレージ装置に格納されているＷｅｂページの集合を当該ＷｅｂページのＵＲＬ情報に基づいて複数のクラスタに分割するステップと、
   前記クラスタごとに、当該クラスタに含まれているＷｅｂページから日時表現を抽出するステップと、
   前記抽出された日時表現に基づいて、前記クラスタごとに、当該クラスタを代表する日時表現形式を決定するステップと、
   前記クラスタごとに決定された日時表現形式に基づいて、当該クラスタに含まれているＷｅｂページを当該日時表現形式の日時表現が出現する箇所を基準として複数のアイテムに分割するステップと、
   前記分割されたアイテムを、当該アイテムに対応する日時表現に基づいて時間の順序に従って前記クラスタごとに並べ替えることにより、前記クラスタごとに時系列データを生成するステップと
   を具備することを特徴とするＷｅｂページから時系列データを生成する方法。
2. 前記複数のアイテムに分割されたクラスタの各々の間の類似度を当該複数のアイテムに分割されたクラスタに含まれるＷｅｂページのテキスト情報に基づいて計算するステップと、
   前記計算された類似度が予め定められたしきい値以上のクラスタ同士を新たなクラスタに統合するステップと、
   前記計算するステップと前記統合するステップとを、前記しきい値以上の類似度のクラスタが存在しなくなるまで繰り返させるステップとをさらに具備し、
   前記時系列データを生成するステップでは、前記クラスタごとの時系列データの生成が前記統合されたクラスタを対象に行われる
   ことを特徴とする請求項１記載のＷｅｂページから時系列データを生成する方法。
3. 前記複数のアイテムに分割されたクラスタの各々に含まれるＷｅｂページのテキスト情報から当該複数のアイテムに分割されたクラスタを特徴付ける表現を抽出するステップと、
   前記複数のアイテムに分割されたクラスタを特徴付ける前記抽出された表現に基づいて、当該複数のアイテムに分割されたクラスタの各々の特徴を表すテキスト特徴ベクトルを生成するステップとをさらに具備し、
   前記計算するステップでは、前記複数のアイテムに分割されたクラスタの各々のテキスト特徴ベクトルに基づいて、前記複数のアイテムに分割されたクラスタの各々の間の前記類似度が計算される
   ことを特徴とする請求項２記載のＷｅｂページから時系列データを生成する方法。
4. 前記複数のアイテムに分割されたクラスタごとに前記複数のアイテムに含まれる表現の頻度を取得するステップをさらに具備し、
   前記テキスト特徴ベクトルを生成するステップでは、前記複数のアイテムに分割されたクラスタごとに、前記複数のアイテムに分割されたクラスタを特徴付ける前記抽出された表現を属性とし、当該表現の前記取得された頻度を属性値とするテキスト特徴ベクトルが生成される
   ことを特徴とする請求項３記載のＷｅｂページから時系列データを生成する方法。
5. 前記ストレージ装置に格納されているＷｅｂページの各々のＵＲＬ情報を分解することにより当該ＵＲＬ情報の特徴を表すＵＲＬ特徴を抽出して、当該抽出されたＵＲＬ特徴を当該Ｗｅｂページの特徴として当該Ｗｅｂページに付与する特徴付けを行うステップと、
   前記Ｗｅｂページの各々に付与される前記ＵＲＬ特徴に基づき、当該ＵＲＬ特徴を表す特徴ベクトルを、当該Ｗｅｂページの特徴ベクトルであるＵＲＬ特徴ベクトルとして生成するステップとをさらに具備し、
   前記クラスタに分割するステップでは、前記Ｗｅｂページの各々の前記ＵＲＬ特徴ベクトルに基づいて、当該ＵＲＬ特徴ベクトルに対応する前記Ｗｅｂページの集合が複数のクラスタに分割される
   ことを特徴とする請求項１記載のＷｅｂページから時系列データを生成する方法。
6. 前記Ｗｅｂページの各々に付与される前記ＵＲＬ特徴は、当該ＵＲＬ情報が抽出されたＵＲＬ情報から分解された一部の情報を属性として含み、
   前記Ｗｅｂページの各々の前記ＵＲＬ特徴ベクトルは、前記Ｗｅｂページの各々に付与される前記ＵＲＬ特徴のすべての属性を重複なく共通に含む
   ことを特徴とする請求項５記載のＷｅｂページから時系列データを生成する方法。
7. 前記特徴付けを行うステップは、
   前記ＵＲＬ情報を予め定められた複数の区切り記号により複数の分割文字列に分解するステップと、
   前記ＵＲＬ情報から分解された前記複数の分割文字列の各々を、当該ＵＲＬ情報の特徴を表すＵＲＬ特徴の属性または属性値として設定するステップであって、文字列の有無を属性値とする属性、区切り記号を挟んで後続する分割文字列を属性値とする属性、及び区切り記号を挟んで先行する分割文字列を属性とする属性値のいずれかに、当該分割文字列への分解に用いられた区切り記号の種類に応じて設定するステップと
   を含むことを特徴とする請求項６記載のＷｅｂページから時系列データを生成する方法。
8. 前記複数の区切り記号は第１の区切り記号と第２の区切り記号との２種に分類され、
   前記分解するステップは、前記ＵＲＬ情報を前記第１の区切り記号により複数の分割文字列に分解するステップと、前記複数の分割文字列のうち前記第２の区切り記号を含む分割文字列を、当該分割文字列によって１対の分割文字列に分解するステップとを含み、
   前記設定するステップは、前記第１の区切り記号によって分解された分割文字列であって、前記第２の区切り記号を含まない分割文字列を属性とし、当該文字列の有無を当該属性の属性値とするステップと、前記第２の区切り記号によって分解された１対の分割文字列のうち、当該第２の区切り記号に先行する分割文字列を属性とし、当該第２の区切り記号に後続する分割文字列を属性値とするステップとを含む
   ことを特徴とする請求項７記載のＷｅｂページから時系列データを生成する方法。
9. 前記日時表現を抽出するステップでは、前記クラスタごとに、当該クラスタに含まれているＷｅｂページから、予め定められた複数の日時表現形式のいずれかに合致する日時表現が抽出されることを特徴とする請求項１記載のＷｅｂページから時系列データを生成する方法。
10. Ｗｅｂページから時系列データを生成するためのプログラムであって、
    コンピュータに、
    利用者によって指定された収集条件に適合するＷｅｂページを複数のＷｅｂサイトから収集してストレージ装置に格納するステップと、
    前記ストレージ装置に格納されているＷｅｂページの集合を当該ＷｅｂページのＵＲＬ情報に基づいて複数のクラスタに分割するステップと、
    前記クラスタごとに、当該クラスタに含まれているＷｅｂページから日時表現を抽出するステップと、
    前記抽出された日時表現に基づいて、前記クラスタごとに、当該クラスタを代表する日時表現形式を決定するステップと、
    前記クラスタごとに決定された日時表現形式に基づいて、当該クラスタに含まれているＷｅｂページを当該日時表現形式の日時表現が出現する箇所を基準として複数のアイテムに分割するステップと、
    前記分割されたアイテムを、当該アイテムに対応する日時表現に基づいて時間の順序に従って前記クラスタごとに並べ替えることにより、前記クラスタごとに時系列データを生成するステップと
    を実行させるためのプログラム。
11. Ｗｅｂページから時系列データを生成する時系列データ生成装置において、
    利用者からの収集条件の入力を受け付けるユーザインタフェースと、
    前記ユーザインタフェースによって受け付けられた収集条件に適合するＷｅｂページを複数のＷｅｂサイトから収集するデータ収集手段と、
    前記データ収集手段によって収集されたＷｅｂページの集合を格納するデータ格納手段と、
    前記データ格納手段に格納されているＷｅｂページの集合を当該ＷｅｂページのＵＲＬ情報に基づいて複数のクラスタに分割するデータ分割手段と、
    前記クラスタごとに、当該クラスタに含まれているＷｅｂページから日時表現を抽出し、抽出された日時表現に基づいて、前記クラスタごとに、当該クラスタを代表する日時表現形式を決定する日時表現決定手段と、
    前記日時表現決定手段によって前記クラスタごとに決定された日時表現形式に基づいて、当該クラスタに含まれているＷｅｂページを当該日時表現形式の日時表現が出現する箇所を基準として複数のアイテムに分割するアイテム分割手段と、
    前記アイテム分割手段によって分割されたアイテムを、当該アイテムに対応する日時表現に基づいて時間の順序に従って前記クラスタごとに並べ替えることにより、前記クラスタごとに時系列データを生成する時系列データ生成手段と
    を具備することを特徴とする時系列データ生成装置。
12. 前記データ分割手段は、前記複数のアイテムに分割されたクラスタの各々の間の類似度を当該複数のアイテムに分割されたクラスタに含まれるＷｅｂページのテキスト情報に基づいて計算し、計算された類似度が予め定められたしきい値以上のクラスタ同士を新たなクラスタに統合する処理を、前記しきい値以上の類似度のクラスタが存在しなくなるまで繰り返す統合手段を含み、
    前記時系列データ生成手段は、前記クラスタごとの時系列データの生成を前記統合されたクラスタを対象に行う
    ことを特徴とする請求項１１記載の時系列データ生成装置。
13. 複数の日時表現形式を表す日時表現形式情報を予め格納する日時表現格納手段を更に具備し、
    前記日時表現決定手段は、前記クラスタごとに、当該クラスタに含まれているＷｅｂページから、前記日時表現格納手段に格納されている前記日時表現形式情報によって表される前記複数の日時表現形式のいずれかに合致する日時表現を抽出する
    ことを特徴とする請求項１１記載の時系列データ生成装置。

Images