JP4592566B2 - 話題抽出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、話題抽出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、一つまたは複数の情報発信源から新しい情報を含む文書を次々と入手し得る状況において、各文書において話題として扱われている特徴的な語句を抽出するための話題抽出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。

インターネットをはじめとした情報メディアの発達により、誰であっても容易に情報発信を行えるようになり、様々な発信者から日々文書が発信されるようになってきている。そのような中、現在までに作成された文書情報を分析することによって、各文書において話題となっている事項を抽出することが可能になると考えられる。

インターネット上にアップロードされている文書集合等の大量かつ多様な文書集合に対し、文書中の語句の分野的及び時間的な出現頻度を考慮して、文書中で話題として扱われている特徴語句を抽出する技術は複数提案されている。

従来技術として、ネットワークシステム上にアップロードされている文書をその作成時刻情報と共に取得し、当該文書の内容に応じて予め設定された複数の分野に自動的に分類し、各分野毎に時間に沿って出現頻度が特徴的に増加しており、なおかつ他分野で出現していないような語句に対して、話題を表す特徴語句として話題度合いを示す話題度の値を高く算出する技術がある（例えば、特許文献１参照）。
特開２００５−１３５３１１号公報

しかしながら、上記の従来の技術においては、予め人手で分類する分野の項目を設定するため、時間と共にネットワークにアップロードされる文書の傾向が変化し、新たな分野が発生する度に分野の項目を再度設定しなおす必要があった。

また、設定された分野の項目に含まれない内容の文書については、正確な分野の分類がされず他分野の文書と共に処理されてしまうため、当該文書中で扱われている話題を表す語句が当該文書が分類された分野内で特徴的な出現頻度を示さず、高い話題度が算出されないという問題があった。

本発明は、上記の点に鑑みなされたもので、処理対象となる文書で扱われている内容の分野の候補を人手で設定することなしに、文書の扱っている分野において話題となっている事柄を表す語句に対して高い話題度を算出することが可能な話題抽出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、多数の情報発信源によって作成された文書の集合を解析し、処理対象文書中に含まれる語句に対して話題性の強度を算出する話題度算出方法であって、
語句抽出手段が、文書を作成した発信源の情報を有する文書の集合が入力されると、該文書の集合を解析して、話題性評価の対象となる語句を当該文書中から切り出し、発信源情報を付与して語句データベースに記録する語句抽出ステップ（ステップ１）と、
発信源関連度算出手段が、発信源を単位として、発信源の文書から切り出した語句の出現回数を特徴量とする発信源特徴量リストを発信源特徴量バッファに蓄積し、１組の発信源ｉと発信源ｊとの類似度合いを示す関連度Ｒijを当該発信源の発信源特徴リストから算出し、関連度データベースに記録する発信源関連度算出ステップ（ステップ２）と、
話題度算出手段が、処理対象文書を入力として受け付け、当該処理対象文書の発信源ｉに基づく基準関連度分布と、処理対象文書に含まれる語句ｋそれぞれに対して得られる語句関連度分布とから、当該語句ｋの話題となっている度合いを算出する話題度算出ステップと、
を行い、
話題度算出ステップにおいて、
処理対象文書の発信源ｉとそれ以外の発信源ｊとの関連度Ｒijを関連度データベースから取得し、決められた数Ｎ個に分割された関連度の刻みごとに当該関連度の刻みに該当する関連度Ｒijを有する発信源ｊの数を集計した情報である基準関連度分布を求め、
語句データベースを参照して語句ｋを持つ発信源ｌを取得し、発信源ｉと当該発信源ｌとの関連度Ｒilを関連度データベースから取得し、関連度の刻みごとに当該関連度の刻みに該当する関連度Ｒilを有する発信源ｌの数を集計した情報である語句関連度分布を求め、
基準関連度分布と語句関連度分布とから、基準関連度分布と語句関連度分布を比較して、当該語句ｋの語句関連度分布が基準関連度分布よりも関連度の高い範囲に偏っている場合に、当該処理対象文書の発信源ｉに関連の高い文書で多く扱われる話題語であるとみなし、決められた関連度の刻みそれぞれにおいて、当該刻みにおける関連度ｎから基準関連度分布の重心における関連度の値ｎ０を引いた値と、当該刻みにおける語句関連度分布の値から基準関連度分布の値を引いた値とを掛け合わせた値を求め、それらを足し合わせた値を当該語句ｋの話題となっている度合いとする。

また、本発明（請求項２）は、語句関連度分布の関連度の刻みごとの数を、当該刻みに該当する発信源ｌでの前記語句ｋの使用回数の合計とする。

また、本発明（請求項３）は、基準関連度分布と語句関連度分布とをそれぞれに正規化し、正規化された基準関連度分布と語句関連度分布とを用いて、語句ｋの話題となっている度合いを求める。

図２は、本発明の原理構成図である。

本発明（請求項４）は、多数の情報発信源によって作成された文書の集合を解析し、処理対象文書中に含まれる語句に対して話題性の強度を算出する話題度算出装置であって、
語句抽出手段が、文書を作成した発信源の情報を有する文書の集合が入力されると、該文書の集合を解析して、話題性評価の対象となる語句を当該文書中から切り出し、発信源情報を付与して語句データベース２２０に記録する語句抽出手段２１０と、
発信源を単位として、発信源の文書から切り出した語句の出現回数を特徴量とする発信源特徴量リストを発信源特徴量バッファに蓄積し、１組の発信源ｉと発信源ｊとの類似度合いを示す関連度Ｒijを当該発信源の発信源特徴リストから算出し、関連度データベース２４０に記録する発信源関連度算出手段と、
処理対象文書を入力として受け付け、当該処理対象文書の発信源ｉに基づく基準関連度分布と、処理対象文書に含まれる語句ｋそれぞれに対して得られる語句関連度分布とから、当該語句ｋの話題となっている度合いを算出する話題度算出手段２５０と、を有し、
話題度算出手段２５０は、
処理対象文書の発信源ｉとそれ以外の発信源ｊとの関連度Ｒijを関連度データベース２４０から取得し、決められた数Ｎ個に分割された関連度の刻みごとに当該関連度の刻みに該当する関連度Ｒijを有する発信源ｊの数を集計した情報である基準関連度分布を求め、
語句データベース２２０を参照して語句ｋを持つ発信源ｌを取得し、発信源ｉと当該発信源ｌとの関連度Ｒilを関連度データベース２４０から取得し、関連度の刻みごとに当該関連度の刻みに該当する関連度Ｒilを有する発信源ｌの数を集計した情報である語句関連度分布を求め、
基準関連度分布と語句関連度分布とから、基準関連度分布と語句関連度分布を比較して、当該語句ｋの語句関連度分布が基準関連度分布よりも関連度の高い範囲に偏っている場合に、当該処理対象文書の発信源ｉに関連の高い文書で多く扱われる話題語であるとみなし、決められた関連度の刻みそれぞれにおいて、当該刻みにおける関連度ｎから基準関連度分布の重心における関連度の値ｎ０を引いた値と、当該刻みにおける語句関連度分布の値から基準関連度分布の値を引いた値とを掛け合わせた値を求め、それらを足し合わせた値を当該語句ｋの話題となっている度合いとする手段を含む。

また、本発明（請求項５）は、話題度算出手段２５０において、
語句関連度分布の関連度の刻みごとの数を、当該刻みに該当する発信源ｌでの前記語句ｋの使用回数の合計とする手段を含む。

また、本発明（請求項６）は、話題度算出手段２５０において、
基準関連度分布と語句関連度分布とをそれぞれに正規化し、正規化された基準関連度分布と語句関連度分布とを用いて、語句ｋの話題となっている度合いを求める手段を含む。

本発明（請求項７）は、請求項４乃至６のいずれか１項に記載の話題度算出装置を構成する各手段としてコンピュータを機能させるための話題度算出プログラムである。

本発明（請求項８）は、請求項７に記載のプログラムを格納したことを特徴とする話題度算出プログラムを格納したコンピュータ読み取り可能な記録媒体である。

上記のように本発明によれば、Ｗｅｂ上での日記などの様々な発信源が作成した多種多様な分野について扱っている文書群に対し、各発信源と処理対象文書の発信源の関連度を求め、当該関連度の分布と処理対象文書中に含まれる各語句を扱ったことのある発信源のみに絞った場合の関連度の分布と比較し、関連の強い発信源でより多く使われている語句に高い重みを設定することにより、分野の項目を予め設定することなしに処理対象文書の所属する分野で特徴的な語句に対して高い話題の度合いを求めることができる。

また、本発明によれば、処理対象文書の作成時刻と同じ時期において特徴的に多く取り扱われている語句に時間重みを付け、話題度と時間重みとの両方を考慮した話題度を新しく算出することにより、処理対象文書の作成された時期においてある分野で特徴的に用いられた語句にのみ高い話題度を設定することができる。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
図３は、本発明の第１の実施の形態における話題度算出装置の構成を示す。

同図に示す話題度算出装置には、本装置の入力となる文書データを蓄積する文書データベース２００と本装置が出力する語句の話題度を記録する語句話題度記録装置２９０とが接続されている。

本実施の形態における話題度算出装置は、文書内語句抽出部２１０、種話題情報データベース２２０、発信源関連度算出部２３０、関連度データベース２４０、話題度算出部２５０、及び話題度出力部２６０から構成される。

図４は、本発明の第１の実施の形態における概要動作のフローチャートである。

ステップ１０１） 文書内語句抽出部２１０において、予め収集され文書データベース２００に格納されている文書群を読み出して、形態素解析等の既存の技術を用いて解析することにより、当該文書中に含まれる全ての語句を抽出し、抽出された語句それぞれについて当該語句が含まれていた文書の発信源と作成時刻とを組み合わせて、種話題情報データベース（特許請求の範囲の「語句データベース」に相当）２２０に格納する。

ステップ１０２） 次に、発信源関連度算出部２３０において、ステップ１０１で作成された種話題情報データベース２２０を参照して、各発信源毎に当該発信源が過去に作成した文書中に含まれる語句群と当該語句群の各語句の使用回数とを取得し、当該発信源の使用語句群ベクトルを作成し、２つの発信源の使用語句群ベクトルについてコサイン類似度等の既存のベクトル比較技術を用いて、当該使用語句ベクトル間の類似度を発信源間の関連度として算出する処理を、あり得る全ての発信源の組み合わせについて行い、得られた関連度を関連度データベース２４０に出力する。

ステップ１０３） 話題度算出部２５０において、外部から処理対象とする文書（以下、処理対象文書と呼ぶ）に含まれる各語句について、当該語句と同一の語句を発信したことのある発信源群と処理対象文書の発信源との関連度の分布を、全発信源もしくは、処理対象文書を作成した発信源以外の発信源と処理対象文書を作成した発信源との関連度の分布を比較して、当該語句を発信したことのある発信源群の関連度の分布が、より関連度の高い範囲に偏っている場合に、当該語句を処理対象文書と関連する分野で高頻度に出現する特徴語句として高い話題度を設定する。

ステップ１０４） ステップ１０３で求められた話題度を話題度出力部２６０から語句話題度記録装置２９０に出力する。

次に、話題度算出装置の詳細な動作を図３の構成図に基づいて説明する。

文書データベース２００には、文書毎に作成時刻と発信源情報が付加された複数の文書が蓄積されている。例えば、Ｗｅｂ上に公開されている文書に「2004 4/25 13:55」といったような作成時刻と、公開されているＷｅｂサイトのドメイン名や執筆者の名称といったような発信源情報とを付加し、次々と入力として記録することにより、文書データベース２００を構築することができる。特にインターネット上の日記サイトなど、新しい文書が逐次作成され、発信者が判別可能な情報源からの文書を入力するのが望ましい。また、サイト内の文書が更新された場合にも、新たな文書が作成されたと見做して収集してもよい。

文書内語句抽出部２１０は、文書データベース２００に蓄積されている文書を１文書ずつ取得し、形態素解析を行い、品詞毎に分解する。例えば、「おいしいチョコドーナツ」という文章を、「おいしい」「チョコ」「ドーナツ」と分解する。分解された品詞群から名詞のみを選んで抽出する。このとき、必要に応じて「チョコ」「ドーナツ」という連続する名詞を連結して「チョコドーナツ」という複合名詞とし、複合名詞を１個の名詞として扱ってもよい。

また、「秋の新番組」というような名詞的に扱われるフレーズについても名詞として抽出してもよい。以下の説明では、抽出して得られた名詞と複合名詞と名詞的に扱われるフレーズとを総称して語句と呼ぶ。このようにして得られた語句それぞれについて、解析前に当該語句が含まれていた文書の作成時刻と発信源情報とを付加し、例えば、「チョコドーナツ 2005/01/06 11:36 blog.temporary.ex.xx」といった形式の情報として、種話題情報データベース２２０に蓄積する。以下の説明では、上記の語句と作成時刻と発信源情報との組の情報を種話題情報と表記することとする。

種話題情報データベース２２０に蓄積される種話題情報の例を図５に示す。同じ語句が処理文書中で複数回使用されている場合には、内容が同一の種話題情報が複数蓄積されてしまうため、処理の効率化のため、そのうちの一つの種話題情報を蓄積することとしてもよい。

発信源関連度算出部２３０は、一定の処理時間毎に、種話題情報データベース２２０に蓄積されている種話題情報を参照して各発信源の使用している語句を抽出する。また、それらの語句の使用回数を計算する。抽出した語句と計算した語句の使用回数とを発信源特徴量とする。得られた発信源特徴量を異なる発信源の対毎に比較することにより、各発信源間の関連度を算出し、関連度データベース２４０に関連度をテーブルの形で出力する。

関連度データベース２４０に蓄積される関連度情報の例を図６に示す。

ここで、当該発信源関連度算出部２３０の動作を詳細に説明する。

図７は、本発明の第１の実施の形態における発信源関連度算出部の処理のフローチャートである。

ステップ５１０） 発信源関連度算出部２３０は、処理が開始されると、種話題情報データベース２２０に蓄積されている全発信源情報を取得し、重複部分を取り除くことにより、文書データバッファ（図示せず）に入力元となっている発信源のリストを作成する。

ステップ５２０） 次に、ステップ５１０で得られた発信源のリストから一つの発信源情報を取り出し、当該発信源情報を含む種話題情報内の語句を種話題情報データベース２２０から取得して語句情報バッファ（図示せず）に蓄積する。この際、処理の軽減のため、例えば、語句を取得する対象を作成時刻が処理時刻から２ヶ月前までの種話題情報とするといったように、ある一定時刻範囲の作成時刻を持つ種話題情報だけに絞ってもよい。

ステップ５３０） 語句情報バッファ（図示せず）中の各語句について語句毎の出現回数を求め、語句ｗ_ｋと当該語句の出現回数Ｖ_ｉ（ｗ_ｋ）とからなる、処理対象の発信源Ｓ_ｉの語句特徴量Ｃ_ｉを作成する。例えば、ステップ５２０で蓄積された語句情報バッファ（図示せず）中の語句が「野球」「W杯」「野球」「野球」「決勝」「W杯」「野球」の場合には、発信源ｉの語句特徴量Ｃ_ｉは、「野球 ４，W杯 ２，決勝 １」といった語句ｗ_ｋと当該語句の出現回数Ｖ_ｉ(Ｗ_ｋ)との組の集合となる。得られた語句特徴量Ｃ_ｉは、発信源特徴量リストとして発信源特徴量バッファ（図示せず）に蓄積される。

ステップ５４０） 上記のステップ５１０で作成した発信源のリストの中で全ての発信源に対して、ステップ５２０、ステップ５３０の処理を行ったかを判定し、未処理の発信源情報が存在する場合には、ステップ５２０に戻る。存在しない場合には、ステップ５５０に移行する。

ステップ５５０） 発信源特徴量バッファ（図示せず）の発信源特徴量リストから１組の発信源Ｓ_ｉ，Ｓ_ｉの語句特徴量Ｃ_ｉ，Ｃ_ｊを取り出し、そのＣ_ｉとＣ_ｊの関連度を発信源ｉと発信源ｊの関連度Ｒ_ｉｊとして算出する。

例えば、発信源ｉと発信源ｊとの関連度Ｒ_ｉｊを下記の式（１）を用いて算出する。

上記の式（１）において、Ｗは語句特徴量Ｃ_ｉとＣ_ｊに含まれるすべての語句を表すとする。また、Ｖ_ｉ(w_k)，Ｖ_ｊ（w_k）は全て正の値であるため、Ｒ_ｉｊは０以上１以下となり、Ｒ_ｉｊの値が大きいほど発信源Ｓ_ｉと発信源Ｓ_ｊの関連が大きいことを表す。

得られた関連度Ｒ_ｉｊ（ｊ≠ｉ）は関連度データベース２４０のｉ行ｊ列とｊ行ｉ列の２箇所に蓄積される。

ステップ５６０） 全ての発信源の組み合わせについて、ステップ５５０の処理を行ったかどうかを判定する。未処理の発信源の組み合わせが存在する場合には、ステップ５５０に移行する。全ての発信源の組み合わせに対してステップ５５０を処理済の場合は、発信源関連度算出部２３０の処理を終了する。

話題度算出部２５０は、処理対象文書を入力として受け付け、当該文書中の語句それぞれに対して、処理対象文書の発信源と過去にその語句を扱ったことのある発信源との関連度の値の分布と、処理対象文書の発信源と他の全ての発信源との関連度の分布を比較することにより、当該処理対象文書の発信源と関連度の高い発信源で多く用いられている語句に対し、話題の度合いが高いと見做し、値の大きい話題度を算出する。

当該話題度算出部２５０の動作を詳細に説明する。

図８は、本発明の第１の実施の形態における話題度算出部の動作のフローチャートである。

ステップ６１０） 話題度算出部２５０は処理が始まると、外部から処理対象文書を入力として受け付ける。処理対象文書には発信源が付与されているとする。また、処理対象文書は、文書データベース２００に含まれる文書であることが望ましい。

ステップ６２０） 関連度データベース２４０から処理対象文書の発信源Ｓ_ｉと当該発信源以外の全ての発信源Ｓ_ｊ（ｊ≠ｉ）との関連度Ｒ_ｉｊの集まりを取得し、その値の分布を集計する。図６を用いて説明すると、処理対象文書の発信源が発信源「８」であった場合、発信源「８」とその他全ての発信源（発信源１〜７，９〜Ｎ）との関連度として、0.282，0.166，0.217，0.327，0.313，0.275…を取得する。このようにして得られた関連度の集合Ｒ_８ｊ（ｊ≠８）に対して、その値の分布を基準関連度分布Ｒ_ｓ（ｎ）として求める。例えば、0.01刻みで集計する場合、
0.01*ｎ≦Ｒ_8j＜0.01*(ｎ+1)
の式に当てはまる発信源の個数をｎ＝０〜１００までの範囲で集計し、基準関連度分布
Ｒ_ｓ（ｎ）（ｎ＝０・・・９９）
を求める。

ステップ６３０） 処理対象文書Ｄ_ｉに含まれる語句を、文書内語句抽出部２１０と同様の処理により取得し、得られた語句を話題度算出部２５０内の処理対象語句バッファ（図示せず）に蓄積する。

ステップ６４０） 処理対象語句バッファ（図示せず）から語句ｗｋを一つ取り出し、種話題情報データベース２２０を参照して当該語句を持つ種話題情報内の発信源情報を取得し、集計することにより、語句ｗ_ｋを使用したことのある発信源Ｓ_ｊとその語句を使用した回数Ｘ（Ｓ_ｊ，ｗ_ｋ）の組からなる語句使用発信源情報を作成する。

例えば、「野球」という語句について種話題情報データベース２２０から取得された発信源情報が、「発信源ｊ」「発信源ｊ」「発信源ｊ」「発信源ｋ」「発信源ｎ」「発信源ｎ」といった場合には、「発信源ｊ ３回，発信源ｋ １回，発信源ｎ ２回」という語句使用発信源情報を作成する。但し、ステップ６５０で語句使用回数を用いない場合は、語句使用発信源情報に語句使用回数を含める必要はない。

ステップ６５０） 関連度データベース２４０から、指定された文書情報の発信源Ｓｉと語句使用発信源情報に含まれる各発信源Ｓ_ｊとの関連度Ｒ_ｉｊの集合を取得し、その値をステップ６２０と同様に集計し、語句関連度分布Ｒｗｋ（ｎ）を求める。例えば、０．０１刻みで集計する場合、
0.01*n≦Ｒ_ｉｊ＜0.01+(n+1)
の式を満たす発信源の個数をｎ＝０〜１００まで集計し、その語句関連度分布R_wk（ｎ）（ｎ＝０…１００）を求める。この際、ある範囲内の関連度を持つ発信源の個数を集計する代わりに、ある範囲内の関連度を持つ発信源の語句使用回数の合計を集計してもよい。例えば、処理対象文書の発信源がＳ_８で語句ｗ_ｋについて語句関連度分布Ｒ_ｗｋ（ｎ）を求める処理を行い、
0.01*5≦Ｒ_８ｊ＜0.01*(5+1)
を満たす発信源がＳ_６，Ｓ_１０，Ｓ_２１の３つである場合に、範囲に含まれる発信源の数である“３”をＲ_ｗｋ（５）に設定するのではなく、Ｓ_６，Ｓ_１０，Ｓ_２１の語句使用回数の和である
Ｘ（Ｓ_６，ｗ_ｋ）＋Ｘ（Ｓ_１０，ｗ_ｋ）＋Ｘ（Ｓ_２１，ｗ_ｋ）
をＲ_ｗｋ（５）に設定してもよい。

ステップ６６０） 語句ｗ_ｋが処理対象文書Ｄ_ｉの発信源Ｓ_ｉとの関連度の高い発信源において多く使われている際に、分野の特徴的な語として高い値を設定するため、語句関連度分布と基準関連度分布とを全範囲における分布の値を足し合わせた値を用いて正規化し、高い関連度の範囲において上記正規化された語句関連度分布が上記正規化された基準関連度分布よりも大きくなっている場合に、話題度Score_r(w_k)を高い値に算出する。

例えば、上記のステップ６２０とステップ６５０とのように、0.01刻みの関連度の範囲で集計した場合には、式（４）によってScore_r(w_k)が求められる。

式（４）中のｎ_０は、基準関連度分布Ｒ_ｓ（ｎ）の重心を示す値であり、式（５）により求められる。

ステップ６７０） 得られた語句ｗ_ｋと話題度Score_r(w_k)の組を、話題度出力部２６０に出力する。

ステップ６８０） 処理対象語句バッファ（図示せず）中の全ての語句について、ステップ６４０からステップ６７０までの処理を行ったかを判定し、未処理の語句が存在する場合はステップ６４０に移行する。全ての語句について処理済みの場合は話題度算出部２５０の処理を終了する。

話題度出力部２６０は、話題度算出部２５０から受け取った語句と当該語句の話題度の組み合わせを語句話題度記録装置２９０に出力する。この際、出力量の軽減のため、予め設定された値以上の話題度を持つ語句のみに限って出力してもよい。語句話題度記録装置２９０に出力される語句とその話題度の例を図９に示す。

［第２の実施の形態］
図１０は、本発明の第２の実施の形態における話題度算出装置の構成を示す。

同図に示す話題度算出装置には、本装置の入力となる文書データを蓄積する文書データベース２００と本装置が出力する語句の話題度を記録する語句話題度記録装置２９０とが接続されている。

本実施の形態における話題度算出装置は、文書内語句抽出部２１０、種話題情報データベース２２０、発信源関連度算出部２３０、関連度データベース２４０、話題度算出部２５０、時間重み算出部８６０及び話題度出力部８７０から構成される。

このうち、文書内語句抽出部２１０、種話題情報データベース２２０、発信源関連度算出部２３０、関連度データベース２４０、話題度算出部２５０は、前述の第１の実施の形態と同様の動作をする。

本実施の形態では、作成時刻と発信源の情報が含まれた文書を処理対象とする。

第１の実施の形態で示した処理文書の所属する分野でよく扱われる語に対し高い話題度を算出する方法では、当該分野での専門用語のような使用される分野が特定されるが、その分野の中では一般的に用いられているような語句も高い話題度が算出されてしまう。

それに対し、処理対象文書の作成時刻と同じ時期において特徴的に多く取り扱われている語句に重みをつける時間重み算出部８６０を設け、話題度算出部２５０において話題度算出部２５０で得られた話題度と時間重み算出部８６０で得られた時間重みとの両方を考慮した話題度を新たに算出することにより、処理対象文書の作成された時期においてある分野で特徴的に用いられた語句のみに高い話題度を設定することを可能とする。

図１１は、本発明の第２の実施の形態における概要動作のフローチャートである。

前述の第１の実施の形態における図４に示すステップ１０１〜ステップ１０３については同様の動作であるので、その説明は省略する。

ステップ２０１） 時間重み算出部８６０において、処理対象文書に含まれる各語句に対して、処理対象文書の作成時期に多く使用されている度合いを、当該語句の時間重み値とする。

ステップ２０２） 話題度出力部８７０において、処理対象文書に含まれる各語句に対して、話題度算出部２５０で得られた当該語句の話題度と、時間重み算出部８６０で得られた当該語句の時間重みとを掛け合わせて得られた値を、時間による注目度の変化を考慮した当該語句の話題度とする。

ステップ２０３） 話題度出力部８７０は、上記のステップ２０２で得られた話題度を語句話題度記録装置２９０に出力する。

次に、本実施の形態における、話題度算出装置の詳細な動作を図１０の構成図に基づいて説明する。

以下では、第１の実施の形態にはない時間重み算出部８６０と第１の実施の形態とは異なる話題度算出部８７０の動作について説明する。

時間重み算出部８６０は、話題度算出部２５０と同様に、話題語句抽出処理の対象となる処理対象文書の指定を入力として受け付け、文書内語句抽出部２１０と同様の処理を行うことにより得られた処理対象文書中の全ての語句について、例えば、特開２００５−２７６１１５号公報に示されるような処理対象文書の作成時刻において、当該語句の出現頻度が増加している語句に対して高い重みを付ける手法を、種話題情報データベース２２０を参照して適用することにより、時間重みScore_t(w_k)を算出する。

話題度出力部８７０は、処理対象文書に含まれる語句ｗｋそれぞれに対し、処理対象文書の含まれる分野で特徴的に出現し、なおかつ処理対象文書の作成時刻において使用頻度が増加している語句に、文書の話題を表す語として高い話題度を算出し出力する。

話題度出力部８７０は、語句ｗ_ｋについて話題度算出部２５０からｗ_ｋの話題度Score_r(w_k)を、時間重み算出部８６０からw_kの時間重みScore_t(w_k)をそれぞれ受け取り、Score_r(w_k)とScore_t(w_k)を掛け合わせることにより、分野的な特徴度と時間的な特徴度との両方を評価した語句の話題度Score(w_k)を算出し、語句話題度記録装置２９０に出力する。この際、出力量の軽減のため、予め設定された値以上の話題度を持つ語句のみに限って出力してもよい。

本発明は、上記の第１・第２の実施の形態で示した話題度算出装置の動作をプログラムとして構築し、話題度算出装置として動作する種話題情報データベース２２０、関連度データベース２４０にアクセス可能なコンピュータにインストールする、または、ネットワークを介して流通させることも可能である。

また、構築されたプログラムをハードディスク装置や、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールして実行させる、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、文書中の語句の話題度を算出する技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の第１の実施の形態における話題度算出装置の構成図である。 本発明の第１の実施の形態における概要動作のフローチャートである。 本発明の第１の実施の形態における種話題情報データベースに蓄積される種話題情報の例である。 本発明の第１の実施の形態における関連度データベースに蓄積される関連度情報の例である。 本発明の第１の実施の形態における発信源関連度算出部の動作のフローチャートである。 本発明の第１の実施の形態における話題度算出部の処理を説明する図である。 本発明の第１の実施の形態における語句話題度記録装置への出力の例である。 本発明の第２の実施の形態における話題度算出装置の構成図である。 本発明の第２の実施の形態における概要動作のフローチャートである。

符号の説明

２００ 文書データベース
２１０ 語句抽出手段、文書内語句抽出部
２２０ 語句データベース、種話題情報データベース
２３０ 発信源関連度算出手段、発信源関連度算出部
２４０ 関連度データベース
２５０ 話題度算出手段、話題度算出部
２６０ 話題度出力手段、話題度出力部
２９０ 語句話題度記録装置
８６０ 時間重み算出部
８７０ 話題出力部

Claims (8)

1. 多数の情報発信源によって作成された文書の集合を解析し、処理対象文書中に含まれる語句に対して話題性の強度を算出する話題度算出方法であって、
   語句抽出手段が、文書を作成した発信源の情報を有する文書の集合が入力されると、該文書の集合を解析して、話題性評価の対象となる語句を当該文書中から切り出し、発信源情報を付与して語句データベースに記録する語句抽出ステップと、
   発信源関連度算出手段が、発信源を単位として、発信源の文書から切り出した前記語句の出現回数を特徴量とする発信源特徴量リストを発信源特徴量バッファに蓄積し、１組の発信源ｉと発信源ｊとの類似度合いを示す関連度Ｒijを当該発信源の前記発信源特徴リストから算出し、関連度データベースに記録する発信源関連度算出ステップと、
   話題度算出手段が、処理対象文書を入力として受け付け、当該処理対象文書の発信源ｉに基づく基準関連度分布と、前記処理対象文書に含まれる語句ｋそれぞれに対して得られる語句関連度分布とから、当該語句ｋの話題となっている度合いを算出する話題度算出ステップと、
   を行い、
   前記話題度算出ステップにおいて、
   前記処理対象文書の発信源ｉとそれ以外の発信源ｊとの関連度Ｒijを前記関連度データベースから取得し、決められた数Ｎ個に分割された関連度の刻みごとに当該関連度の刻みに該当する関連度Ｒijを有する発信源ｊの数を集計した情報である前記基準関連度分布を求め、
   前記語句データベースを参照して前記語句ｋを持つ発信源ｌを取得し、前記発信源ｉと当該発信源ｌとの関連度Ｒilを前記関連度データベースから取得し、前記関連度の刻みごとに当該関連度の刻みに該当する関連度Ｒilを有する発信源ｌの数を集計した情報である前記語句関連度分布を求め、
   前記基準関連度分布と前記語句関連度分布とから、基準関連度分布と語句関連度分布を比較して、当該語句ｋの語句関連度分布が基準関連度分布よりも関連度の高い範囲に偏っている場合に、当該処理対象文書の発信源ｉに関連の高い文書で多く扱われる話題語であるとみなし、決められた関連度の刻みそれぞれにおいて、当該刻みにおける関連度ｎから基準関連度分布の重心における関連度の値ｎ０を引いた値と、当該刻みにおける語句関連度分布の値から基準関連度分布の値を引いた値とを掛け合わせた値を求め、それらを足し合わせた値を当該語句ｋの話題となっている度合いとする、
   ことを特徴とする話題度算出方法。
2. 前記語句関連度分布の関連度の刻みごとの数を、当該刻みに該当する発信源ｌでの前記語句ｋの使用回数の合計とする
   請求項１記載の話題度算出方法。
3. 前記基準関連度分布と前記語句関連度分布とをそれぞれに正規化し、正規化された基準関連度分布と語句関連度分布とを用いて、前記語句ｋの話題となっている度合いを求める
   請求項１または２記載の話題度算出方法。
4. 多数の情報発信源によって作成された文書の集合を解析し、処理対象文書中に含まれる語句に対して話題性の強度を算出する話題度算出装置であって、
   語句抽出手段が、文書を作成した発信源の情報を有する文書の集合が入力されると、該文書の集合を解析して、話題性評価の対象となる語句を当該文書中から切り出し、発信源情報を付与して語句データベースに記録する語句抽出手段と、
   発信源を単位として、発信源の文書から切り出した前記語句の出現回数を特徴量とする発信源特徴量リストを発信源特徴量バッファに蓄積し、１組の発信源ｉと発信源ｊとの類似度合いを示す関連度Ｒijを当該発信源の前記発信源特徴リストから算出し、関連度データベースに記録する発信源関連度算出手段と、
   処理対象文書を入力として受け付け、当該処理対象文書の発信源ｉに基づく基準関連度分布と、前記処理対象文書に含まれる語句ｋそれぞれに対して得られる語句関連度分布とから、当該語句ｋの話題となっている度合いを算出する話題度算出手段と、を有し、
   前記話題度算出手段は、
   前記処理対象文書の発信源ｉとそれ以外の発信源ｊとの関連度Ｒijを前記関連度データベースから取得し、決められた数Ｎ個に分割された関連度の刻みごとに当該関連度の刻みに該当する関連度Ｒijを有する発信源ｊの数を集計した情報である前記基準関連度分布を求め、
   前記語句データベースを参照して前記語句ｋを持つ発信源ｌを取得し、前記発信源ｉと当該発信源ｌとの関連度Ｒilを前記関連度データベースから取得し、前記関連度の刻みごとに当該関連度の刻みに該当する関連度Ｒilを有する発信源ｌの数を集計した情報である前記語句関連度分布を求め、
   前記基準関連度分布と前記語句関連度分布とから、基準関連度分布と語句関連度分布を比較して、当該語句ｋの語句関連度分布が基準関連度分布よりも関連度の高い範囲に偏っている場合に、当該処理対象文書の発信源ｉに関連の高い文書で多く扱われる話題語であるとみなし、決められた関連度の刻みそれぞれにおいて、当該刻みにおける関連度ｎから基準関連度分布の重心における関連度の値ｎ０を引いた値と、当該刻みにおける語句関連度分布の値から基準関連度分布の値を引いた値とを掛け合わせた値を求め、それらを足し合わせた値を当該語句ｋの話題となっている度合いとする手段を含む、
   ことを特徴とする話題度算出装置。
5. 前記話題度算出手段は、
   前記語句関連度分布の関連度の刻みごとの数を、当該刻みに該当する発信源ｌでの前記語句ｋの使用回数の合計とする手段を含む
   請求項４記載の話題度算出装置。
6. 前記話題度算出手段は、
   前記基準関連度分布と前記語句関連度分布とをそれぞれに正規化し、正規化された基準関連度分布と語句関連度分布とを用いて、前記語句ｋの話題となっている度合いを求める手段を含む
   請求項４または５記載の話題度算出装置。
7. 請求項４乃至６のいずれか１項に記載の話題度算出装置を構成する各手段としてコンピュータを機能させるための話題度算出プログラム。
8. 請求項７に記載のプログラムを格納したことを特徴とする話題度算出プログラムを格納したコンピュータ読み取り可能な記録媒体。

Images