JP6773585B2 - 文書処理装置、文書処理方法及びプログラム - Google Patents

Description

本発明は、文書ベクトルを生成するための装置、方法及びプログラムに関する。

従来、自然言語処理の分野において、文書の内容を定量的に表す表現として文書ベクトルが知られている。例えば、非特許文献１には、文書検索技術として、検索対象となる各文書をＴＦ−ＩＤＦ法を用いて文書ベクトルとして表現し、質問文書の文書ベクトルとのコサイン類似度を算出することによって類似度の高い文書を検索するという方法が記載されている。文書ベクトルは、文書検索以外にも文書分類や質問応答等の他の自然言語処理技術においても利用されている。

梅澤香矢乃、小林一郎、「文書ベクトルの次元削減に基づく有効な類似文書判定への取り組み」、情報処理学会全国大会講演論文集、情報処理学会、2011年3月2日、第73巻、第2号、p.2,393-2,394

しかし、従来の文書ベクトルは、文書中に出現する個々の単語の頻度情報しか考慮しないことから、出現する単語が共通する文書間では、単語間の係り受け構造が異なっていたとしても同一の文書ベクトルになってしまうという問題があった。

本発明は、このような事情に鑑みてなされたものであり、文書中に出現する単語間の係り受け構造を反映した文書ベクトルを生成することを目的とする。

上記の課題を解決するため、本発明に係る文書処理装置は、文書集合を構成する各文書を解析して単語を抽出する解析部と、前記文書集合を構成する各文書について、前記解析部により抽出された各単語の係り受け関係を抽出する係り受け関係抽出部と、前記文書集合を構成する一の対象文書において、前記係り受け関係抽出部により抽出された各係り受け関係が出現する出現頻度を算出する出現頻度算出部と、前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、前記文書集合において係り受け関係が出現する文書数を算出する出現文書数算出部と、前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、前記文書集合を構成する文書数を、前記出現文書数算出部により算出された文書の数で除して逆文書頻度を算出する逆文書頻度算出部と、前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、前記出現頻度算出部により算出された頻度に、前記逆文書頻度算出部により算出された逆文書頻度を乗じて重要度を算出する重要度算出部と、前記解析部により抽出された各単語が行及び列に対応付けられた行列であって、前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、係り受け関係を構成する係り元の単語と係り先の単語のうち一方の行と他方の列に対応する成分として当該係り受け関係について前記重要度算出部により算出された重要度が割り当てられた行列を生成する重要度行列生成部と、前記重要度行列生成部により生成された行列の各成分を連結して前記対象文書の文書ベクトルを生成する文書ベクトル生成部とを備える。

好ましい態様において、上記の文書処理装置は、前記重要度行列生成部により生成された行列の次元を、所定の次元圧縮方法を用いて圧縮する次元圧縮部をさらに備え、前記文書ベクトル生成部は、前記次元圧縮部により次元を圧縮された行列の各成分を連結して前記対象文書の文書ベクトルを生成する。

さらに好ましい態様において、上記の文書処理装置は、前記文書ベクトル生成部により生成された前記対象文書の文書ベクトルと、他の文書について前記文書ベクトル生成部により生成された文書ベクトルとに基づいて、所定の類似度計算方法を用いて、前記対象文書と前記他の文書の類似度を判定する類似度判定部をさらに備える。

また、本発明に係る文書処理方法は、文書処理装置により実行される文書処理方法であって、文書集合を構成する各文書を解析して単語を抽出する解析ステップと、前記文書集合を構成する各文書について、前記解析ステップにより抽出された各単語の係り受け関係を抽出する係り受け関係抽出ステップと、前記文書集合を構成する一の対象文書において、前記係り受け関係抽出ステップにより抽出された各係り受け関係が出現する出現頻度を算出する出現頻度算出ステップと、前記対象文書について前記係り受け関係抽出ステップにより抽出された各係り受け関係について、前記文書集合において係り受け関係が出現する文書数を算出する出現文書数算出ステップと、前記対象文書について前記係り受け関係抽出ステップにより抽出された各係り受け関係について、前記文書集合を構成する文書数を、前記出現文書数算出ステップにより算出された文書の数で除して逆文書頻度を算出する逆文書頻度算出ステップと、前記対象文書について前記係り受け関係抽出ステップにより抽出された各係り受け関係について、前記出現頻度算出ステップにより算出された頻度に、前記逆文書頻度算出ステップにより算出された逆文書頻度を乗じて重要度を算出する重要度算出ステップと、前記解析ステップにより抽出された各単語が行及び列に対応付けられた行列であって、前記対象文書について前記係り受け関係抽出ステップにより抽出された各係り受け関係について、係り受け関係を構成する係り元の単語と係り先の単語のうち一方の行と他方の列に対応する成分として当該係り受け関係について前記重要度算出ステップにより算出された重要度が割り当てられた行列を生成する重要度行列生成ステップと、前記重要度行列生成ステップにより生成された行列の各成分を連結して前記対象文書の文書ベクトルを生成する文書ベクトル生成ステップとを備える。

また、本発明に係るプログラムは、コンピュータを、文書集合を構成する各文書を解析して単語を抽出する解析部と、前記文書集合を構成する各文書について、前記解析部により抽出された各単語の係り受け関係を抽出する係り受け関係抽出部と、前記文書集合を構成する一の対象文書において、前記係り受け関係抽出部により抽出された各係り受け関係が出現する出現頻度を算出する出現頻度算出部と、前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、前記文書集合において係り受け関係が出現する文書数を算出する出現文書数算出部と、前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、前記文書集合を構成する文書数を、前記出現文書数算出部により算出された文書の数で除して逆文書頻度を算出する逆文書頻度算出部と、前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、前記出現頻度算出部により算出された頻度に、前記逆文書頻度算出部により算出された逆文書頻度を乗じて重要度を算出する重要度算出部と、前記解析部により抽出された各単語が行及び列に対応付けられた行列であって、前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、係り受け関係を構成する係り元の単語と係り先の単語のうち一方の行と他方の列に対応する成分として当該係り受け関係について前記重要度算出部により算出された重要度が割り当てられた行列を生成する重要度行列生成部と、前記重要度行列生成部により生成された行列の各成分を連結して前記対象文書の文書ベクトルを生成する文書ベクトル生成部として機能させる。

本発明によれば、文書中に出現する単語間の係り受け構造を反映した文書ベクトルを生成することができる。

文書処理装置１の構成の一例を示す図である。 文書ベクトル生成処理の一例を示すフロー図である。 形態素解析部１０２による解析結果の一例を示す図である。 係り受け解析部１０３による解析結果の一例を示す図である。 係り受け関係記憶部１０５に記録されるテーブルの一例を示す図である。 文書集合Ｄを構成する単語群の一例を示す図である。 重要度行列の一例を示す図である。 重要度行列を構成する各行ベクトルの一例を示す図である。

１．実施形態
１−１．構成
図１は、本発明の一実施形態に係る文書処理装置１の構成の一例を示す図である。文書処理装置１は、ＣＰＵ等の演算処理装置と、ＨＤＤ等の記憶装置と、ＮＩＣ等の通信装置を備え、文書データベース２からインターネット等の通信回線３を介して文書を取得して、当該文書について文書ベクトルを生成するためのコンピュータである。文書処理装置１は、文書入力部１０１と、形態素解析部１０２と、係り受け解析部１０３と、係り受け関係抽出部１０４と、係り受け関係記憶部１０５と、出現頻度算出部１０６と、出現文書数算出部１０７と、重要度算出部１０８と、重要度行列生成部１０９と、文書ベクトル生成部１１０と、文書ベクトル記憶部１１１という機能を備える。これらの機能のうち、文書入力部１０１は通信装置により実現され、係り受け関係記憶部１０５と文書ベクトル記憶部１１１は記憶装置により実現され、その他の機能は、記憶装置に記憶されるプログラムを演算処理装置が実行することにより実現される。なお、文書処理装置１は、通信回線３により相互に接続される複数のサーバ装置により構成されてもよい。

文書処理装置１が備える機能のうち、文書入力部１０１は、文書データベース２に記憶される文書データを、通信回線３を介して取得する。

形態素解析部１０２は、文書入力部１０１により取得された文書データにより表される文書を形態素解析して、当該文書を構成する単語を抽出する。形態素解析には、例えば、MeCab（http://taku910.github.io/mecab/）や、KyTea（http://www.phontron.com/kytea/）等の周知の形態素解析器を使用してよい。形態素解析部１０２は、本発明に係る「解析部」の一例である。

係り受け解析部１０３は、形態素解析部１０２による解析結果に基づいて係り受け解析を行い、処理対象の文書を構成する各文節の係り受け構造（言い換えると係り受け木）を抽出する。係り受け解析には、例えば、CaboCha（https://taku910.github.io/cabocha/）や、KNP（http://nlp.ist.i.kyoto-u.ac.jp/index.php?KNP）等の周知の係り受け解析器を使用してよい。

係り受け関係抽出部１０４は、係り受け解析部１０３による解析結果を参照して、処理対象の文書について、特定の品詞の単語からなる係り受け関係を抽出する。ここで特定の品詞とは、名詞、形容詞又は動詞である。係り受け関係を抽出すると、当該係り受け関係を構成する各単語に単語ＩＤを付与する。その際、同じ単語には同じ単語ＩＤが付与される。各単語に単語ＩＤを付与すると、係り受け関係を構成する係り元と係り先の単語と、それらの単語に付与された単語ＩＤの組とを対応付けて係り受け関係記憶部１０５に記録する。

出現頻度算出部１０６は、係り受け関係記憶部１０５を参照して、処理対象の文書において特定された各係り受け関係が当該文書において出現する出現頻度（言い換えると出現回数）を算出する。係り受け関係について出願頻度を算出すると、算出した出現頻度を当該係り受け関係と対応付けて係り受け関係記憶部１０５に記録する。なお、出現頻度の算出後、係り受け関係記憶部１０５に重複して登録されている係り受け関係については、そのレコードを削除してよい。

出現文書数算出部１０７は、係り受け関係記憶部１０５を参照して、処理対象の文書において特定された各係り受け関係について、文書集合において係り受け関係が出現する文書数を算出する。係り受け関係について文書数を算出すると、算出した文書数を当該係り受け関係と対応付けて係り受け関係記憶部１０５に記録する。

重要度算出部１０８は、係り受け関係記憶部１０５を参照して、処理対象の文書において特定された各係り受け関係について、数１の式を用いて重要度を算出する。

数１の式において、Ｗは重要度を表し、ｍは、出現頻度算出部１０６により算出される出現頻度を表し、Ｎは文書集合を構成する文書数を表し、ｎは、出現文書数算出部１０７により算出される文書数を表す。なおここでｌｏｇは常用対数である。重要度算出部１０８は、数１の式に表されるように、文書集合を構成する文書数を、出現文書数算出部１０７により算出される文書数で除して逆文書頻度を算出し、この逆文書頻度に「１」を加算して対数をとって得た値に、出現頻度算出部１０６により算出される出現頻度を乗ずることで重要度を算出する。係り受け関係について重要度を算出すると、算出した重要度を当該係り受け関係と対応付けて係り受け関係記憶部１０５に記録する。重要度算出部１０８は、本発明に係る「逆文書頻度算出部」と「重要度算出部」の一例である。

重要度行列生成部１０９は、係り受け関係記憶部１０５を参照して、処理対象の文書について重要度行列を生成する。この重要度行列は、文書集合から抽出された係り受け関係を構成する各単語が行及び列に対応付けられた行列であって、処理対象の文書において特定された各係り受け関係について、係り受け関係を構成する係り元の単語の行と係り先の列に対応する成分として当該係り受け関係の重要度が割り当てられた行列である。重要度が割り当てられない要素には「０」が割り当てられる。

文書ベクトル生成部１１０は、重要度行列生成部１０９により生成された重要度行列の各行ベクトルを連結して文書ベクトルを生成する。文書ベクトルを生成すると、当該文書ベクトルが生成された文書の文書ＩＤと対応付けて文書ベクトル記憶部１１１に記録する。

１−２．動作
文書処理装置１により実行される文書処理方法について説明する。具体的には文書ベクトル生成処理について説明する。図２は、文書ベクトル生成処理の一例を示すフロー図である。なお、本動作例の説明では、２０件の文書からなる文書集合Ｄを処理する場合を想定する。

文書入力部１０１により文書集合Ｄのデータが取得されると、形態素解析部１０２は、文書集合Ｄのうち、処理対象の文書を形態素解析して、当該文書を構成する単語を抽出する（Ｓ１）。図３は、処理対象の文書が、「季節に関係なく花が咲く植物を教えて。」という一文のみにより構成される文書（以下、「文書Ａ」）であった場合に形態素解析部１０２により出力される解析結果の一例を示す図である。同図に示す解析結果の各行は、単語の表層形、品詞、品詞細分類１、品詞細分類２、品詞細分類３、活用型、活用形、原形、読み及び発音により構成される。アスタリスクは、その情報が辞書に登録されていないことを示している。

次に、係り受け解析部１０３は、ステップＳ１による解析結果に基づいて係り受け解析を行い、処理対象の文書を構成する各文節の係り受け構造を抽出する（Ｓ２）。図４は、処理対象の文書が上記の文書Ａであった場合に係り受け解析部１０３により出力される解析結果の一例を示す図である。同図に示す解析結果において、アスタリスクから始まる第１、４、６、８、１１、１３及び１６行は、文節番号と、係り先の文節番号（係り先なしの場合は「−１」）とにより構成され、その他の行は、単語の表層形、品詞、品詞細分類１、品詞細分類２、品詞細分類３、活用型、活用形、原形、読み及び発音により構成される。その他の行におけるアスタリスクは、その情報が辞書に登録されていないことを示している。同図に示す解析結果は、例えば、文節「季節に」が文節「関係」に係っていることを示している。

次に、係り受け関係抽出部１０４は、ステップＳ２の解析結果を参照して、処理対象の文書について、名詞、形容詞又は動詞の単語からなる係り受け関係を抽出する（Ｓ３）。係り受け関係を抽出すると、当該係り受け関係を構成する各単語に単語ＩＤを付与し、係り受け関係を構成する係り元と係り先の単語と、それらの単語に付与された単語ＩＤの組とを対応付けて係り受け関係記憶部１０５に記録する。図５は、処理対象の文書が上記の文書Ａであった場合に係り受け関係記憶部１０５に記録されるテーブルの一例を示す図である。係り受け関係記憶部１０５に記録されるテーブルは文書ごとに作成され、同図に示すテーブルでは、例えば、係り受け関係「季節−関係」に対応付けて単語ＩＤの組「１，３」が記録されている。なお、本動作例の説明では、文書集合Ｄを構成する各文書は、その文書に含まれる名詞、形容詞又は動詞の原形について、図６に例示する「季節」、「鉢植え」、「関係」、「ない」、「花」、「植物」、「咲く」、「花壇」、「枯れる」及び「教える」の１０単語のうちの１以上の単語により構成されているものとする。また、これら１０単語には、図６に例示するように、「１」〜「１０」のうちのいずれかの単語ＩＤが付与されるものとする。

上記のステップＳ１〜Ｓ３は、文書集合Ｄを構成するすべての文書について実行され、すべての文書について実行が完了すると（Ｓ４のＹＥＳ）、出現頻度算出部１０６は、係り受け関係記憶部１０５を参照して、文書集合Ｄのうち、処理対象の文書において特定された各係り受け関係が当該文書において出現する出現頻度を算出する（Ｓ５）。係り受け関係について出願頻度を算出すると、算出した出現頻度を当該係り受け関係と対応付けて係り受け関係記憶部１０５に記録する。仮に処理対象の文書が上記の文書Ａであったとすると、例えば、係り受け関係「季節−関係」は当該文書において１度しか出現しないため、図５に示す通り、当該係り受け関係に対応付けて出現頻度「１」が記録される。

次に、出現文書数算出部１０７は、係り受け関係記憶部１０５を参照して、処理対象の文書において特定された各係り受け関係について、文書集合Ｄにおいて係り受け関係が出現する文書数を算出する（Ｓ６）。係り受け関係について文書数を算出すると、算出した文書数を当該係り受け関係と対応付けて係り受け関係記憶部１０５に記録する。仮に処理対象の文書が上記の文書Ａであって、例えば、係り受け関係「季節−関係」が、文書集合Ｄを構成する２０件の文書のうち３件に出現する場合には、図５に示す通り、当該係り受け関係「季節−関係」に対応付けて文書数「３」が記録される。

次に、重要度算出部１０８は、係り受け関係記憶部１０５を参照して、処理対象の文書において特定された各係り受け関係について、上記の数１の式を用いて重要度を算出する（Ｓ７）。係り受け関係について重要度を算出すると、算出した重要度を当該係り受け関係と対応付けて係り受け関係記憶部１０５に記録する。仮に図５に示す係り受け関係「季節−関係」について重要度を算出したとすると、同図に示す通り、当該係り受け関係「季節−関係」に対応付けて重要度「０．８８（＝１＊ｌｏｇ（２０／３＋１））」が記録される。

次に、重要度行列生成部１０９は、係り受け関係記憶部１０５を参照して、処理対象の文書について重要度行列を生成する（Ｓ８）。図７は、図５に示す各係り受け関係の重要度に基づいて重要度行列生成部１０９により生成される重要度行列の一例を示す図である。図７に示す重要度行列は、文書集合Ｄから抽出された各係り受け関係を構成する各単語（図６参照）が行及び列に対応付けられた正方行列であって、処理対象の文書において特定された各係り受け関係について、係り受け関係を構成する係り元の単語の行と係り先の列に対応する成分として当該係り受け関係の重要度が割り当てられた行列である。本重要度行列においては、例えば、係り受け関係「季節−関係」を構成する係り元の単語「季節」の行「１」と係り先の単語「関係」の列「３」に対応する成分として当該係り受け関係の重要度「０．８８」が割り当てられている。

次に、文書ベクトル生成部１１０は、ステップＳ８において生成された重要度行列の各行ベクトルを連結して文書ベクトルを生成する（Ｓ９）。文書ベクトルを生成すると、当該文書ベクトルが生成された文書の文書ＩＤと対応付けて文書ベクトル記憶部１１１に記録する。仮に図７に示す重要度行列に基づいて文書ベクトルを生成したとすると、図８に例示するように１０本の行ベクトルにより構成される当該重要度行列は、数２の式のように表現される。

上記のステップＳ５〜Ｓ９は、文書集合Ｄを構成するすべての文書について実行され、すべての文書について実行が完了すると（Ｓ１０のＹＥＳ）、本文書ベクトル生成処理は終了する。

以上説明した文書処理装置１によれば、文書中に出現する単語間の係り受け構造を反映した文書ベクトルを生成することができる。そのため、出現する単語が共通する文書同士であっても単語間の係り受け構造が相違していれば、その相違を文書ベクトルに表現することができる。

２．変形例
上記の実施形態は以下に記載するように変形してもよい。以下に記載する１以上の変形例は互いに組み合わせてもよい。

２−１．変形例１
係り受け関係抽出部１０４は、名詞、形容詞又は動詞以外の自立語からなる係り受け関係を抽出してもよい。例えば、名詞、形容詞又は動詞の単語だけでなく副詞の単語からなる係り受け関係を抽出してもよい。

また、係り受け関係抽出部１０４は、係り元と係り先の２つの単語からなる係り受け関係に代えて、３以上の単語からなる係り受け関係を抽出するようにしてもよい。例えば、３つの単語からなる係り受け関係を抽出する場合には、係り元の第１の単語と、係り先の第２の単語と、第２の単語の係り先である第３の単語からなる係り受け関係を抽出する。３以上の単語からなる係り受け関係が抽出された場合には、重要度行列生成部１０９は、行と列からなる２次元配列である行列に代えて、３次元以上の配列を生成する。例えば、３次元配列を生成する場合には、文書集合から抽出された係り受け関係を構成する各単語が行、列及び奥行（又はページ）に対応付けられた配列であって、処理対象の文書において特定された各係り受け関係について、係り受け関係を構成する係り元の第１の単語の行と、係り先の第２の単語の列と、第２の単語の係り先である第３の単語の奥行（又はページ）に対応する成分として当該係り受け関係の重要度が割り当てられた配列を生成する。重要度が割り当てられない要素には「０」が割り当てられる。

２−２．変形例２
係り受け関係の重要度を算出するための上記の数１の式では、（Ｎ／ｎ＋１）の常用対数をとっているが、自然対数をとってもよい。または、そもそも対数をとらなくてもよい。

２−３．変形例３
重要度算出部１０８が係り受け関係の重要度を算出する際に用いる上記の数１の式において、出現頻度ｍの乗算は省略されてもよい。この変形が採用される場合には、出現頻度算出部１０６は省略されてもよい。

また、係り受け関係の重要度を算出するための式は上記の数１の式に限定されるものではなく、出現頻度算出部１０６により算出される出現頻度と、文書集合を構成する文書数を出現文書数算出部１０７により算出される文書数で除した値とを乗じているものであればよい。例えば、数３〜数６の式のうちのいずれかの式であってもよい。

数３〜数６の式において、Ｗは重要度を表し、ｍは、出現頻度算出部１０６により算出される出現頻度を表し、Ｎは文書集合を構成する文書数を表し、ｎは、出現文書数算出部１０７により算出される文書数を表し、Ｍは、処理対象の文書において最も出現頻度の高い単語の出現頻度を表す。なおここでｌｏｇは常用対数である。

また、重要度算出部１０８は、係り受け関係の重要度を算出する際に、文書の長さ（総単語数）を考慮してもよい。具体的には、より短い文書において出現頻度が高い係り受け関係の重要度がより高くなるように重要度を算出するようにしてもよい。一例として数７の式を用いて重要度を算出してもよい。

数７の式において、Ｗは重要度を表し、ｍは、出現頻度算出部１０６により算出される出現頻度を表し、ｋ及びｂは、任意に設定される定数を表し、Ｌｅｎ（ｄ）は、処理対象の文書の長さ（総単語数）を表し、ａｖｇｄＬは、文書集合を構成する文書の平均の長さ（総単語数）を表し、Ｎは文書集合を構成する文書数を表し、ｎは、出現文書数算出部１０７により算出される文書数を表す。なおここでｌｏｇは常用対数である。

２−４．変形例４
重要度行列生成部１０９は、係り元の単語の行と係り先の単語の列に対応する成分として係り受け関係の重要度を割り当てるのに代えて、係り元の単語の列と係り先の単語の行に対応する成分として係り受け関係の重要度を割り当ててもよい。すなわち、係り元を行ではなく列に対応させ、係り先を列ではなく行に対応させてもよい。

また、重要度行列生成部１０９が生成する重要度行列において、重要度が割り当てられない要素に、「０」以外の一定の値を割り当てるようにしてもよい。

また、重要度行列生成部１０９は、重要度算出部１０８により算出された重要度に代えて、出現頻度算出部１０６により係り受け関係について算出された出現頻度を、当該係り受け関係を構成する係り元の単語の行と係り先の単語の列に対応する成分として割り当てた行列を生成してもよい。すなわち、重要度算出部１０８により算出された重要度に代えて、出現頻度算出部１０６により算出された出現頻度を係り受け関係の重要度として扱ってもよい。この変形が採用される場合には、出現文書数算出部１０７と重要度算出部１０８は省略されてよい。

２−５．変形例５
文書ベクトル生成部１１０は、重要度行列の各行ベクトルを連結して文書ベクトルを生成するのに代えて、重要度行列の各列ベクトルを連結して文書ベクトルを生成してもよい。要するに文書ベクトル生成部１１０は、重要度行列の各成分を所定の規則に従って連結して文書ベクトルを生成すればよい。

２−６．変形例６
文書処理装置１は、演算処理装置がプログラムを実行することにより実現される機能として、次元圧縮部をさらに備えてもよい。この次元圧縮部は、文書ベクトル生成部１１０により生成された重要度行列の次元を、所定の次元圧縮方法を用いて圧縮（言い換えると削減）するための機能である。ここで所定の次元圧縮方法とは、例えば、二次元主成分分析（２ＤＰＣＡ）や、特異値分解（ＳＶＤ）等の方法である。次元圧縮部により重要度行列の次元が圧縮されると、文書ベクトル生成部１１０は、当該行列の各行ベクトルを連結して文書ベクトルを生成する。この変形によれば、例えば、文書ベクトルを用いて類似文書の検索をする際の計算量を削減することができる。

２−７．変形例７
文書処理装置１は、演算処理装置がプログラムを実行することにより実現される機能として、類似度判定部をさらに備えてもよい。この類似度判定部は、２件以上の文書の各々について文書ベクトル生成部１１０により生成された文書ベクトルに基づいて、所定の類似度計算方法を用いて、それらの文書の類似度を判定するための機能である。ここで所定の類似度計算方法を用いて算出される類似度としては、例えば、コサイン類似度や、ピアソンの相関係数や、偏差パターン類似度等がある。類似度判定部により判定された類似度は、図示せぬ表示装置に表示されてもよいし、通信回線３を介して送信されてもよい。または、文書ベクトル記憶部１１１に登録されている文書を、利用者により入力された質問文書に類似する順に並べて表示装置に表示させる際に参照されてもよい。

２−８．変形例８
上記の実施形態に係る文書処理装置１は、日本語の文書を処理させることを想定しているが、日本語以外の言語を処理可能としてもよい。例えば、英語の文書を処理させる場合には、形態素解析部１０２は、例えばTreeTagger（http://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/）を使用して英語の文書を解析し、単語を抽出するようにしてよい。また、係り受け解析部１０３は、例えばMaltparse（http://www.maltparser.org/）を使用して、英語の文書を構成する各単語の係り受け構造を抽出するようにしてよい。

２−９．変形例９
文書処理装置１が備える各機能を実現するためのプログラムは、コンピュータ装置が読み取り可能な記録媒体を介して提供されてもよい。ここで記録媒体とは、例えば、磁気テープや磁気ディスクなどの磁気記録媒体や、光ディスクなどの光記録媒体や、光磁気記録媒体や、半導体メモリ等である。また、このプログラムは、インターネット等のネットワークを介して提供されてもよい。

１…文書処理装置、２…文書データベース、３…通信回線、１０１…文書入力部、１０２…形態素解析部、１０３…係り受け解析部、１０４…係り受け関係抽出部、１０５…係り受け関係記憶部、１０６…出現頻度算出部、１０７…出現文書数算出部、１０８…重要度算出部、１０９…重要度行列生成部、１１０…文書ベクトル生成部、１１１…文書ベクトル記憶部

Claims (5)

1. 文書集合を構成する各文書を解析して単語を抽出する解析部と、
   前記文書集合を構成する各文書について、前記解析部により抽出された各単語の係り受け関係を抽出する係り受け関係抽出部と、
   前記文書集合を構成する一の対象文書において、前記係り受け関係抽出部により抽出された各係り受け関係が出現する出現頻度を算出する出現頻度算出部と、
   前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、前記文書集合において係り受け関係が出現する文書数を算出する出現文書数算出部と、
   前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、前記文書集合を構成する文書数を、前記出現文書数算出部により算出された文書の数で除して逆文書頻度を算出する逆文書頻度算出部と、
   前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、前記出現頻度算出部により算出された頻度に、前記逆文書頻度算出部により算出された逆文書頻度を乗じて重要度を算出する重要度算出部と、
   前記解析部により抽出された各単語が行及び列に対応付けられた行列であって、前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、係り受け関係を構成する係り元の単語と係り先の単語のうち一方の行と他方の列に対応する成分として当該係り受け関係について前記重要度算出部により算出された重要度が割り当てられた行列を生成する重要度行列生成部と、
   前記重要度行列生成部により生成された行列の各成分を連結して前記対象文書の文書ベクトルを生成する文書ベクトル生成部と
   を備える文書処理装置。
2. 前記重要度行列生成部により生成された行列の次元を、所定の次元圧縮方法を用いて圧縮する次元圧縮部をさらに備え、
   前記文書ベクトル生成部は、前記次元圧縮部により次元を圧縮された行列の各成分を連結して前記対象文書の文書ベクトルを生成する
   ことを特徴とする請求項１に記載の文書処理装置。
3. 前記文書ベクトル生成部により生成された前記対象文書の文書ベクトルと、他の文書について前記文書ベクトル生成部により生成された文書ベクトルとに基づいて、所定の類似度計算方法を用いて、前記対象文書と前記他の文書の類似度を判定する類似度判定部をさらに備えることを特徴とする請求項１又は２に記載の文書処理装置。
4. 文書処理装置により実行される文書処理方法であって、
   文書集合を構成する各文書を解析して単語を抽出する解析ステップと、
   前記文書集合を構成する各文書について、前記解析ステップにより抽出された各単語の係り受け関係を抽出する係り受け関係抽出ステップと、
   前記文書集合を構成する一の対象文書において、前記係り受け関係抽出ステップにより抽出された各係り受け関係が出現する出現頻度を算出する出現頻度算出ステップと、
   前記対象文書について前記係り受け関係抽出ステップにより抽出された各係り受け関係について、前記文書集合において係り受け関係が出現する文書数を算出する出現文書数算出ステップと、
   前記対象文書について前記係り受け関係抽出ステップにより抽出された各係り受け関係について、前記文書集合を構成する文書数を、前記出現文書数算出ステップにより算出された文書の数で除して逆文書頻度を算出する逆文書頻度算出ステップと、
   前記対象文書について前記係り受け関係抽出ステップにより抽出された各係り受け関係について、前記出現頻度算出ステップにより算出された頻度に、前記逆文書頻度算出ステップにより算出された逆文書頻度を乗じて重要度を算出する重要度算出ステップと、
   前記解析ステップにより抽出された各単語が行及び列に対応付けられた行列であって、前記対象文書について前記係り受け関係抽出ステップにより抽出された各係り受け関係について、係り受け関係を構成する係り元の単語と係り先の単語のうち一方の行と他方の列に対応する成分として当該係り受け関係について前記重要度算出ステップにより算出された重要度が割り当てられた行列を生成する重要度行列生成ステップと、
   前記重要度行列生成ステップにより生成された行列の各成分を連結して前記対象文書の文書ベクトルを生成する文書ベクトル生成ステップと
   を備える文書処理方法。
5. コンピュータを、
   文書集合を構成する各文書を解析して単語を抽出する解析部と、
   前記文書集合を構成する各文書について、前記解析部により抽出された各単語の係り受け関係を抽出する係り受け関係抽出部と、
   前記文書集合を構成する一の対象文書において、前記係り受け関係抽出部により抽出された各係り受け関係が出現する出現頻度を算出する出現頻度算出部と、
   前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、前記文書集合において係り受け関係が出現する文書数を算出する出現文書数算出部と、
   前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、前記文書集合を構成する文書数を、前記出現文書数算出部により算出された文書の数で除して逆文書頻度を算出する逆文書頻度算出部と、
   前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、前記出現頻度算出部により算出された頻度に、前記逆文書頻度算出部により算出された逆文書頻度を乗じて重要度を算出する重要度算出部と、
   前記解析部により抽出された各単語が行及び列に対応付けられた行列であって、前記対象文書について前記係り受け関係抽出部により抽出された各係り受け関係について、係り受け関係を構成する係り元の単語と係り先の単語のうち一方の行と他方の列に対応する成分として当該係り受け関係について前記重要度算出部により算出された重要度が割り当てられた行列を生成する重要度行列生成部と、
   前記重要度行列生成部により生成された行列の各成分を連結して前記対象文書の文書ベクトルを生成する文書ベクトル生成部
   として機能させるためのプログラム。

Images