JP5117560B2 - 文書データ分析プログラム及びコンピュータによる文書データ分析方法並びに文書データ分析システム - Google Patents

Description

本発明は、本発明は、入力された１以上の文書データを分析する文書データ分析プログラム、コンピュータによる文書データ分析方法、文書データ分析システムに関する。

特願平１１−３３２１１４号においては、個々の概念を抽出した後のアンド検索について記載されている。

この特願平１１−３３２１１４号の実施例１では、複数の分類軸に属する概念を抽出した後で、違う軸に属する概念のアンド検索によって複合概念を判定する方法が提案されている。

また、特願平１１−３３２１１４号の実施例２では、接続詞の情報と概念情報とその文書中の位置情報を用いて概念の接続関係を判定する方法が提案されている。

特願平１１−３３２１１４号公報

上記特願平１１−３３２１１４号の発明は、主に、アクションと結果のような因果関係にある概念の複合概念を判定する。

文章の表記が口語的で解析が困難な文書から特定の商品とその商品に関する概念を正しく組み合わせて判定を行うには、上記の実施例１では再現率（本来抽出されるべき情報が実際に抽出される割合）は高いものの適合率（抽出された情報のうち、内容の正しいものの割合）が低く、上記の実施例２では適合率は高いものの再現率が低い、という問題がある。

また、商品名のような陳腐化しやすい表現と概念のような長く使える表現を区別し、複合概念として扱うことは困難であった。

本発明は、以上のような実情に鑑みてなされたもので、口語的で解析しにくい文書データに対して、商品名とアクション又は結果を正しく結び付けるための文書データ分析プログラム、コンピュータによる文書データ分析方法、文書データ分析システムを提供することを目的とする。

本発明を実現するにあたって講じた具体的手段について以下に説明する。

第１の発明は、コンピュータに、文書を構成する文書要素のうち使用期間が所定の基準より短い文書要素とその性質を示すマスクデータとを関連付けた第１の辞書情報を参照し、分析対象の文書データに含まれている文書要素のうち第１の辞書情報に含まれている文書要素をその文書要素に関連するマスクデータに変換するマスク機能と、使用期間が所定の基準より長い文書要素とその属性データとを関連付けた第２の辞書情報を参照し、マスク機能によって変換された後の文書データに含まれておりかつ第２の辞書情報に含まれている文書要素とその属性データとを抽出する抽出機能とを実現させるための文書データ分析プログラムである。

なお、入れ替わりが激しく陳腐化する文書要素ほど使用期間が短いとされる。

この第１の発明では、入れ替わりの激しい文書要素と長く使える文書要素とを区別している。

これにより、文書要素の整理が容易となり、データベースをコンパクトに構築できる。またデータベースのメンテナンスを容易に行うことができる。

また、この第１の発明を利用すれば、自社の商品名、他社の商品名、自社の商品か他社の商品かの区別を活用した文書の抽出を有効に行うことができる。

第２の発明は、上記第１の発明において、複数の属性データの結合関係を定めた結合規則と抽出機能によって抽出された属性データとに基づいて、抽出機能によって抽出された文書要素又は属性データを組み合わせる分析機能をコンピュータに実現させる文書データ分析プログラムである。

なお、この分析機能は、下記の第６から第１３までの発明と同様の変更が可能である。

第３の発明は、上記第１又は第２の発明のマスクデータが、使用期間が所定の基準より短い文書要素の性質を階層的に特定しているという特徴を持つ。

これにより、例えばマスクデータを「商品：自社商品：商品名」とすることで、「商品」「自社商品」「商品名」の階層のうちユーザのニーズにあうデータによって置き換え可能であり、分類精度を向上させることができる。

第４の発明は、上記第１から第３の発明において、文書データのうち所定の文書要素が含まれていない部分を表示する機能をコンピュータに実現させる文書データ分析プログラムである。

例えば、ある商品の正式名称は辞書情報に登録されているが、その商品の略称が未登録の場合に、正式名称が含まれていない部分をユーザに提示することでユーザがその略称を認識できる。したがって、文書要素及び属性データの更新に利用することができる。

第５の発明は、上記第１から第４の発明において、ユーザの指定内容にしたがって辞書情報を更新する登録機能をコンピュータに実現させる文書データ分析プログラムである。

これにより、ユーザのニーズにあった分析が可能となる。

第６の発明は、コンピュータに、文書を構成する文書要素とその属性データとを関連付けた辞書情報を参照し、分析対象の文書データに含まれておりかつ辞書情報に含まれている文書要素とその属性データとを抽出する抽出機能と、複数の属性データの結合関係を定めた結合規則と抽出機能によって抽出された属性データとに基づいて、抽出機能によって抽出された文書要素又は属性データを組み合わせる分析機能とを実現させるための文書データ分析プログラムである。

例えば、組み合わせの手法には、抽出された全ての文書要素又は属性データを組み合わせるアンド検索がある。

また、組み合わせる属性データの関係を分類軸として予め定めておき、この分類軸にしたがって抽出された文書要素又は属性データを組み合わせてもよい。

また、分析機能は、抽出された文書要素を組み合わせてもよく、抽出された属性データを組み合わせてもよく、抽出された文書要素と抽出された属性データとを組み合わせてもよい。

なお、文書要素には、様々な単語、句、節、文書に含まれる表現などが含まれる。

また、属性データには、商品（製品）名、自社の商品か他社の商品かの区別、アクション、結果などのような文書要素の概念を利用可能である。

この第６の発明を利用すると、組み合わせた結果が自社商品についての文書か、他社商品についての文書か、その他の概念についての文書かを容易に区別できる。例えば「売れている」という結果の概念を含む文書を、自社商品が売れているのか、他社商品が売れているのか、特定の販売店で売れているのか、など区別して判断できる。

第７の発明は、上記第６の発明と同様の文書データ分析プログラムである。この第７の発明において、分析機能は、文書データを分割するための所定の文書分割規則にしたがって分析対象の文書データを区切り、この区切られた状態から定まる組み合わせ範囲内で抽出機能によって抽出された文書要素又は属性データを組み合わせる。これにより、組み合わせ結果の適合率を向上させることができる。

第８の発明は、上記第７の発明の文書分割規則が、句点を基準として文書データを区切る規則であるとしている。

この第８の発明を利用すると、文書データが「。」で区切られる。そして、区切られた範囲内から定まる組み合わせ範囲内で抽出された文書要素又は属性データの組み合わせが行われる。

なお、句点に限らず、「、」「．」「，」などのような他の句読点を基準として文書データを区切ってもよい。

なお、ある区切り範囲とその直前の区切り範囲とから組み合わせ範囲が構成されるとし、この組み合わせ範囲内の文書要素又は属性データを組み合わせるとしてもよい。

第９の発明は、上記第７の発明の文書分割規則が、固有名詞を示す属性データに関連付けされている文書要素の前で区切る規則であるとしている。

第１０の発明は、上記第９の発明の文書分割規則が、文書要素に比較を意味する文書要素が付されている場合に、この文書要素を区切りの基準としない規則を含むとしている。

第１１の発明は、上記第７の発明の文書分割規則が、結果を示す属性データに関連付けされている文書要素の後ろで区切る規則であるとしている。

なお、この第１１の発明の文書分割規則は、アクションを示す属性データに関連付けされている文書要素の後ろで区切るとしてもよい。

上記第９から第１１までの発明の文書分割規則を利用することにより、適合率と再現率とを向上させることができる。

第１２の発明は、上記第６から第１１までの発明において、分析機能は、抽出機能によって抽出された文書要素に比較を意味する文書要素が付されている場合に、この文書要素を組み合わせの候補から排除する文書データ分析プログラムである。

例えば、比較を意味する文書要素には「〜より」「〜と比べて」「対〜比」などがある。

これにより、例えば「自社商品は他社商品より売れています」という文書データについて分析を行った場合に、組み合わせ結果が「他社商品−売れています」となることはなく、「自社商品−売れています」となる。なお、このような分析を係り受け分析とする。

この係り受け分析を利用することにより適合率を向上させることができる。

第１３の発明は、上記第６から第１２までの発明において、分析機能は、比較関係にある文書要素を関連付けた対応情報を参照し、抽出機能によって抽出された文書要素に比較を意味する文書要素が付されているがこの文書要素の比較対象となる文書要素が抽出されていない場合、この文書要素の比較対象となる文書要素を対応情報に基づいて決定し、この決定された文書要素を含めて文書要素又は属性データの組み合わせを行う文書データ分析プログラムである。

例えば、対応情報には自社商品と他社商品とが対応付けされているとする。そして、「他社商品よりは売れています」という文書データについて分析を行ったとする。この場合、比較を意味する「より」が付されている「他社商品」が抽出されるが、この「他社商品」の比較対象がないため、対応情報から「自社商品」が決定され、「自社商品−売れています」という組み合わせ結果が得られる。これにより、適合率と再現率とを向上させることができる。

上記のようなプログラム、及びこのプログラムを記録した記録媒体を用いることによって、上述した機能を有していない計算機システム、サーバやクライアント等の計算機に対して、簡単に上述した機能を付加することができる。

なお、上記第１から第１３の発明のプログラムで実施される文書データ分析方法を発明の対象としてもよい。

また、上記第１から第１３の発明のプログラムで実現される機能を実現する手段を具備した文書データ分析システムを発明の対象としてもよい。

本発明においては、文書を構成する文書要素とその属性データとを関連付けた辞書情報を参照することで、分析対象の文書データからその文書データに含まれている内容を正しく抽出することができる。

また、本発明においては、使用期間に応じて辞書情報の登録を区別することにより、文書要素の整理を容易に行うことができる。また、辞書情報をコンパクトに構築できる。また、辞書情報のメンテナンスを容易に行うことができる。

本発明を利用すると、例えば日報、月報、営業報告などが文書データであり、大量の文書データが収集される場合であっても、この大量の文書データから所定の形式で要約した情報を抽出できる。これにより、ユーザは大量の文書データ全てを読むことなく文書データに記述されている内容を把握することができる。

本発明の第１の実施の形態に係る文書データ分析プログラムによって計算機上で実現される機能を示すブロック図。 同実施の形態における概念抽出機能による抽出結果を例示する図。 本発明の第２の実施の形態に係る文書データ分析プログラムによって計算機上で実現される機能を示すブロック図。 同実施の形態における概念抽出機能による抽出結果を例示する図。 固有名詞の直前を基準に分割する文書分割規則にしたがって文書データを区切った結果を例示する図。 本発明の第３の実施の形態に係る文書データ分析プログラムによって計算機上で実現される機能を示すブロック図。 マスク概念抽出機能による抽出内容を例示するブロック図。 マスク概念抽出機能によって変換された文書データを例示するブロック図。 マスク用語に変換された文書データに対する概念抽出機能の抽出結果を例示する図。 本発明の第５の実施の形態に係る文書データ分析プログラムによって計算機上で実現される機能を示すブロック図。 文書データ分析プログラムにより実施されるサービスをＡＳＰが提供する形態を例示するブロック図。

以下、図面を参照しながら本発明の実施の形態について説明する。なお、以下に示す各図において、同一の部分については同一の符号を付してその説明を省略し、異なる部分についてのみ詳しく説明する。

（第１の実施の形態）
本実施の形態においては、例えば「Ｂスナックは試食会で完売。Ａスナック情報。対Ｃスナック比１２０％で売れています。」のような文書データに対して、「Ａスナック」「Ｂスナック」「Ｃスナック」のような商品名の表現（文書要素）と、「試食会」「完売」「売れています」のようなアクション又は結果に関する表現を、正しく結び付ける文書データ分析プログラムについて説明する。

また、本実施の形態に係る文書データ分析プログラムは、表現を結び付けるための判定ルールを切り換え可能とする。

図１は、本実施の形態に係る文書データ分析プログラムによって計算機上で実現される機能を示すブロック図である。

本実施の形態に係る文書データ分析プログラム１は、取得機能２、概念抽出機能３、分析機能４、選択機能５、表示機能６を計算機や計算機システム上で実現する。

また、文書データ分析プログラム１は、概念定義辞書（データベース）７と対応付けテーブル８とを参照する。

取得機能２は、分析対象のデータを取得する。取得の手法は、予め登録されている文書データ群の中からユーザに指定された文書データを取得する方法、ユーザの入力した文書データを取得する方法などがある。

文書データには、例えばメーカーの営業日報等の報告データがある。具体的には「Ｂスナックは試食会で完売。Ａスナック情報。対Ｃスナック比１２０％で売れています」などの文書が文書データとして取得機能２に取得される。

概念定義辞書７は、ユーザのニーズに応じて、分析対象の文書データの特性に基づいて作成されている。

この概念定義辞書７は、自社（ＭＡ社）商品辞書９、他社（ＭＢ社〜ＭＤ社）商品辞書１０、アクション・結果辞書１１を含んでいる。

自社商品辞書９は、自社商品の表現に、概念（属性データ）と概念ＩＤとを対応付けた構造を持つ。正式名称「Ａスナック」を略称「Ａ」などと表現する場合などのように、同一の商品に異なる表現が存在する場合には、同一商品の各表現に対して、同一の概念と概念ＩＤとが付される。概念は、「商品：自社商品：商品種別：商品名」などのように、表現の所属する階層の全てを特定するように定義される。

他社商品辞書１０も同様であるが、ここでは自社の商品の代わりに、他社の商品が定義されている。

アクション・結果辞書１１では、表現に概念と概念ＩＤとを関連付けた構造を持つ。概念は、表現毎に、「アクションか結果かの指定：表現の意味内容」を特定するように定義される。

概念定義辞書７は、一つのファイルとして構成してもよく、内容ごとに複数のファイルに分けた構成としてもよい。なお、概念定義辞書７は、概念の大分類（自社商品辞書９、他社商品辞書１０、アクション・結果辞書１１）が容易に把握可能な状態であることが望ましい。

概念抽出機能３は、取得機能２によって取得された文書データを受け付け、概念定義辞書７を参照する。そして、概念抽出機能３は、概念定義辞書７の各表現と文書データとを比較し、概念定義辞書７の表現と同じ表現が文書データ中に見出された場合は、文書データ中の位置と概念ＩＤを記録する。

図２は、概念抽出機能３による抽出結果を例示する図である。文書データに含まれており概念定義辞書７に登録されている表現とその位置とその概念ＩＤとが抽出されている。

分析機能４は、表現又は商品、アクション、結果などの概念を複数の分類軸に基づいて組み合わせて複合概念を抽出する。複合概念を構成する分類軸は、「商品−アクション」「商品−結果」「商品−アクション−結果」などのように、予め定められている。

組み合わせを行うか否かを判定する判定処理には、アンド検索処理４ａ、文書区切り処理４ｂ、係り受け分析処理４ｃ、対応付け分析処理４ｄのうち選択機能５において選択された処理が利用される。

選択機能５は、ユーザが求める分析性能を考慮し、処理４ａ〜４ｄのうちユーザに設定された処理を使って分析を行うように分析機能４に対して指示を出力する。

例えば、選択機能５は、「再現率を最優先とする」「適合率と再現率とを同程度に優先する」「適合率を最優先する」などの選択肢をユーザに提示する。

そして、ユーザが再現率を優先することを望む場合、選択機能５はアンド検索処理４ａを選択する。ユーザが適合率と再現率とを同程度に優先することを望む場合、選択機能５は文書区切り処理４ｂを選択する。ユーザが適合率を優先することを望む場合、選択機能５は係り受け分析処理４ｃ又は対応付け分析処理４ｄを選択する。

他の例として、選択機能５は、ユーザに対して判定処理４ａ〜４ｄの選択用画面を提示してもよい。選択機能５は、すべての概念に対してまとめて判定処理を設定してもよく、個々の複合概念毎に判定処理を設定してもよい。また、選択機能５は、分類軸毎に判定処理を設定してもよく、すべての分類軸に同じ判定処理を設定してもよい。

選択機能５は、判定処理４ａ〜４ｄのリストをユーザに提示し、選択させてもよいし、「全てを抽出する−正解率を高くする」などのように抽象的な表示をユーザに提示し、ユーザの要求する分析性能をユーザに指定させてもよい。

なお、本実施の形態においては、選択機能５により判定処理４ａ〜４ｄを自由に選択可能としているが、ユーザにより選択されなくても所定の判定処理が利用されるとしてもよい。

表示機能６は、分析機能４で抽出された複合概念を、ランキング表形式で、複合概念ごとの文書要素を含めてユーザに提示する。

対応付けテーブル８は、対応付け分析処理４ｄに参照されるテーブルである。この対応付けテーブル８には、比較関係（例えば競合関係）にある商品名「Ａスナック」「Ｂスナック」「Ｃスナック」が関連付けて登録されている。

以下に、判別処理４ａ〜４ｄについて詳細に説明する。

アンド検索処理４ａは、抽出された全ての表現又は概念を組み合わせる。

文書区切り処理４ｂは、文書データを「。」で区切り、「。」で区切られたそれぞれの範囲内でアンド検索を行う。なお、分類軸に含まれているが区切られた範囲内にはない概念があり、直前の区切り範囲内にその概念がある場合には、その直前の区切り範囲内の概念をコピーして利用してもよい。

係り受け分析処理４ｃは、アクション又は概念の軸に対して、対応する商品を特定する場合に、「。」で区切られた範囲内又はその範囲より前において、アクション又は概念の軸に最も近い位置にあり、「〜より」「〜と比べて」「〜比」などの除外接続表現が続かない商品を探す。そして、係り受け分析処理４ｃは、探し出した商品をアクション又は概念の軸に対して、対応する商品と判断し、組み合わせを行う。

対応付け処理４ｄは、自社と他社の同種の商品（競合関係にある商品）を登録している対応付けテーブル８を参照し、係り受け分析処理４ｃを実行しても対応商品が判断できない場合、除外接続表現のついた他社商品に対応する自社商品を対応商品と判断し、組み合わせを行う。

上記の文書データ「Ｂスナックは試食会で完売。Ａスナック情報。対Ｃスナック比１２０％で売れています。」の場合、「商品」と「アクション・結果」の正しい組み合わせは、「Ｂスナック−試食会」「Ｂスナック−完売」「Ａスナック−売れています」の３つである。

上記各種判定処理４ａ〜４ｄの分析精度を適合率及び再現率で評価すると以下のようになる。なお、組み合わせに利用する分類軸は「商品−アクション」、「商品−結果」とする。

アンド検索処理４ａでは、上記図２に示すように抽出された表現又は概念を分類軸にしたがって全て組み合わせる。したがって、このアンド検索処理４ａで抽出される複合概念は「Ｂスナック−試食会」「Ｂスナック−完売」「Ｂスナック−売れています」「Ａスナック−試食会」「Ａスナック−完売」「Ａスナック−売れています」「Ｃスナック−試食会」「Ｃスナック−完売」「Ｃスナック−売れています」の９つである。この結果の適合率は約３３％、再現率は１００％である。

文書区切り処理４ｂでは、「。」で文書データを区切り、その範囲内でアンド検索を行う。したがって、この文書区切り処理４ｂで抽出される複合概念は「Ｂスナック−試食会」「Ｂスナック−完売」「Ｃスナック−売れています」の３つである。この結果の適合率は約６６％、再現率は約６６％となる。

係り受け分析処理４ｃは、アクション又は概念の軸に対し、対応する商品を特定する場合に、「。」で区切られた範囲内又はその範囲より前において、該当概念に最も近い位置にあり、除外接続表現が続かない商品表現を探し、組み合わせを行う。したがって、この係り受け分析処理４ｃで抽出される複合概念は「Ｂスナック−試食会」「Ｂスナック−完売」「Ａスナック−売れています」の３つである。この結果の適合率は適合率１００％、再現率は１００％となる。

対応付け分析処理４ｄは、係り受け分析処理４ｃで対応商品が判断できない場合に、除外接続表現の付されている他社商品に対応する自社商品を対応付けテーブル８から求め、対応商品として組み合わせを行う。したがって、この対応付け分析処理４ｄで作成される複合概念は「Ｂスナック−試食会」「Ｂスナック−完売」「Ａスナック−売れています」の３つである。この結果の適合率は１００％、再現率は１００％となる。

以上説明したように、本実施の形態に係る文書データ分析プログラム１を利用すると、例えば「売れている」という同一の結果についても、「自社商品」が売れているのか、「他社商品」が売れているのか、「試食会で」売れているのかを区別できる。したがって、文書データの分析精度を向上させることができる。

また、本実施の形態に係る文書データ分析プログラム１では、複合概念を抽出する分析機能４において複数の判定処理４ａ〜４ｄを実行可能であり、この判定処理４ａ〜４ｄの自由に選択可能である。したがって、分析対象の文書データの質やユーザのニーズに合わせた柔軟な分析性能を提供することができる。

（第２の実施の形態）
本実施の形態においては、上記第１の実施の形態に係る文書データ分析プログラム１の変形例について説明する。

図３は、本実施の形態に係る文書データ分析プログラム１によって計算機上で実現される機能を示すブロック図である。

本実施の形態における分析機能４は、固有名詞区切り処理４ｅ、固有名詞判断処理４ｆ、結果区切り処理４ｇ、結果判断処理４ｈを利用する。

本実施の形態におけるアクション・結果辞書１１には、「試食会」の概念は「アクション」、「完売」「今一つ」「好評」の概念は「結果」である旨が登録されている。アクション・結果辞書１１の内容は、分析対象の文書データに応じて、ユーザのニーズ及び文書の特性分析から定められる。

選択機能５は、ユーザが求める分析性能を考慮し、処理４ｅ〜４ｈのうちユーザに設定された処理を使って分析を行うように分析機能４に対して指示を出力する。

以下に、処理４ｅ〜４ｈについて詳細に説明する。

固有名詞区切り処理４ｅは、固有名詞を示す概念に関連付けされている表現から、この表現と同一の概念に関連付けされている次の表現の前までを一区間とする文書分割規則にしたがって分析対象の文書データを区切り、概念抽出機能３によって抽出された表現又は概念について区切られたそれぞれの範囲内でアンド検索を行う。

固有名詞判断処理４ｆは、固有名詞を示す概念に関連付けされている表現から、この表現と同一の概念に関連付けされている次の表現の前までを一区間とする規則と、固有名詞を示す概念に関連付けされている表現であっても「〜より」「〜と比べて」「〜比」などの除外接続表現が付されている場合には区切りの基準としないという規則とを含む文書分割規則にしたがって分析対象の文書データを区切る。そして、固有名詞判断処理４ｆは、概念抽出機能３によって抽出された表現又は概念から「〜より」「〜と比べて」「〜比」などの除外接続表現が付されている表現又は概念を排除し、それぞれ区切られた範囲内でアンド検索を行う。

結果区切り処理４ｇは、結果を示す概念に関連付けされている表現の後ろで区切る文書分割規則にしたがって分析対象の文書データを区切り、それぞれ区切られた範囲内でアンド検索を行う。

結果判断処理４ｈは、結果を示す概念に関連付けされている表現の後ろで区切る文書分割規則にしたがって分析対象の文書データを区切る。そして、結果判断処理４ｈは、概念抽出機能３によって抽出された表現又は概念から「〜より」「〜と比べて」「〜比」などの除外接続表現が付されている表現又は概念を排除し、それぞれ区切られた範囲内でアンド検索を行う。

上記の処理４ｅ〜４ｇの分析精度を適合率及び再現率で評価すると以下のようになる。なお、組み合わせに利用する分類軸は「商品−結果」「商品−アクション−結果」とする。

固有名詞区切り処理４ｅでは、分析対象の文書データが、分類軸に属する概念に関連付けされており商品名などの固有名詞である表現から始まり、この始まりの概念と同じ概念に関連付けされている表現が次に出現する直前で終わる区間で区切られる。そして、固有名詞区切り処理４ｅでは、概念抽出機能３によって抽出された表現又は概念について、それぞれの区切られた範囲内でアンド検索が行われる。

例えばメーカーの営業日報「Ｂスナックは試食会で完売、Ｃスナックは今一つだそうです。Ａスナックも試食会開催。好評です。」という文書データを分析するとする。

概念抽出機能３は、概念定義辞書７の各表現と文書データとを比較し、概念定義辞書７の表現と同じ表現が文書データ中に見出された場合は、文書データ中の位置と概念ＩＤを記録する。

図４は、概念抽出機能３による抽出結果を例示する図である。文書データに含まれており概念定義辞書７に登録されている表現とその位置とその概念ＩＤとが抽出されている。

「Ｂスナック」「Ｃスナック」「Ａスナック」の概念は商品、「試食会」の概念はアクション、「完売」「今一つ」「好評」の概念は結果である。

固有名詞区切り処理４ｅでは、固有名詞を示す概念に関連付けされている表現から、この表現と同一の概念に関連付けされている次の表現の前までを一区間とする文書分割規則にしたがって、分析対象の文書データが区切られる。

図５は、固有名詞の直前を基準に分割する文書分割規則にしたがって文書データを区切った結果を例示する図である。固有名詞を示す概念に関連付けされている表現には「Ｂスナック」「Ｃスナック」「Ａスナック」がある。このため、図５においては、文書データが「Ｂスナック」「Ｃスナック」「Ａスナック」の直前で区切られている。

そして、区切られた範囲内で各分類軸に属する全ての表現又は概念がアンド検索される。

「Ｂスナックは試食会で完売、Ｃスナックは今一つだそうです。Ａスナックも試食会開催。好評です。」についての正しい複合概念は、「Ｂスナック−試食会−完売」「Ｃスナック−今一つ」「Ａスナック−試食会−好評」の３つである。

固有名詞区切り処理４ｅによって得られる複合概念は、「Ｂスナック−試食会−完売」「Ｃスナック−今一つ」「Ａスナック−試食会−好評」となる。

この結果、適合率は１００％、再現率は１００％となる。

固有名詞判断処理４ｆでは、固有名詞を示す概念に関連付けされている表現であり「〜より」「〜と比べて」「〜比」などの除外接続表現の付されていない表現が分析対象の文書データから求められ、この求められた表現の直前で分析対象の文書データが区切られる。そして、固有名詞判断処理４ｆでは、概念抽出機能３によって抽出された表現又は概念のうち除外接続表現が付されていない表現又は概念について区切られた範囲内でアンド検索が行われる。

例えば、「ＡスナックはＢスナックと比べて売れています。」という文書データを分析するとする。

この文書データからは概念抽出機能３によって「Ａスナック」「Ｂスナック」「売れています」が抽出される。

ここで、この「ＡスナックはＢスナックと比べて売れています。」という文書データを単に固有名詞の前で区切る文書分割規則を用いて区切ると、「Ａスナックは」と「Ｂスナックと比べて売れています。」に区切られる。この場合、上記の固有名詞区切り処理４ｅによって得られる複合概念は「Ｂスナック−売れています」となり、適合率、再現率はともに０％となる。

これに対し、固有名詞判断処理４ｆでは、除外接続表現の付されている表現が区切りの基準とされない。したがって、上記の文書データにおいては、「Ｂスナック」に「と比べて」が付されているためこの表現「Ｂスナック」は区切りの基準とされない。また、除外接続表現の付されている表現「Ｂスナック」は、複合概念を求める際に組み合わせの対象から排除される。

この結果、固有名詞判断処理４ｆによって得られる複合要素は、「Ａスナック−売れています」となり、適合率及び再現率が１００％となる。

なお、この固有名詞判断処理４ｆを用いて「Ｂスナックは試食会で完売、Ｃスナックは今一つだそうです。Ａスナックも試食会開催。好評です。」という上記の文書データについて分析を行った場合にも、「Ｂスナック−試食会−完売」「Ｃスナック−今一つ」「Ａスナック−試食会−好評」という複合概念が得られ、適合率及び再現率が１００％となる。

結果区切り処理４ｇでは、分析対象の文書データが、文頭又は分類軸に属する概念であり結果を示す概念に関連付けされている表現の直後から始まり、次に出現した結果を示す概念に関連付けされている表現の直後で終わる区間で区切られる。そして、結果区切り処理４ｇでは、概念抽出機能３によって抽出された表現又は概念について区切られた範囲内でアンド検索が行われる。

上記固有名詞区切り処理４ｅと固有名詞判断処理４ｆとでは、例えば商品名などのような、固有名詞を示す概念に関連付けされている表現を区切りの基準としている。しかしながら、商品名は入れ替わりが激しいため、概念定義辞書７のメンテナンスが遅れた場合には一部商品名が概念抽出機能３が抽出できない場合がある。

例えば、「Ｂスナックは試食会で完売、Ｃスナックは今一つだそうです。Ａスナックも試食会開催。好評です。」という文書データから表現「Ｃスナック」が抽出されなかった場合、固有名詞区切り処理４ｅと固有名詞判断処理４ｆにより得られる複合概念は「Ｂスナック−試食会−完売」「Ｂスナック−試食会−今一つ」「Ａスナック−試食会−好評」の３つとなり、再現率及び適合率が約６６％となる。

これに対し、結果又はアクションなどを示す概念に関連付けされている表現は、入れ替わりが緩やかであり、安定して分析対象の文書データから表現を抽出可能である。

この結果区切り処理４ｇを用いて「Ｂスナックは試食会で完売、Ｃスナックは今一つだそうです。Ａスナックも試食会開催。好評です。」という文書データを結果を示す概念に関連付けされている表現で区切った結果は、「Ｂスナックは試食会で完売」「、Ｃスナックは今一つ」「だそうです。Ａスナックも試食会開催。好評です。」となる。

したがって、「Ｃスナック」が概念定義辞書１４に未登録であっても、結果区切り処理４ｇによって得られる複合概念は、「Ｂスナック−試食会−完売」「Ａスナック−試食会−好評」であり、適合率１００％、再現率は約６６％となる。

結果判断処理４ｇでは、分析対象の文書データが、文頭又は分類軸に属する概念であり結果を示す概念に関連付けされている表現の直後から始まり、次に出現した結果を示す概念に関連付けされている表現の直後で終わる区間で区切られる。そして、結果判断処理４ｇでは、概念抽出機能３によって抽出された表現又は概念のうち除外接続表現が付されていない表現又は概念について区切られた範囲内でアンド検索が行われる。

これにより、例えば分析対象の文書データが「ＡスナックはＢスナックと比べて売れています。」の場合であっても適合率及び再現率を向上させることができる。

以上説明した各種処理４ｅ〜４ｇを利用可能とすることにより、分析対象の文書データの質やユーザのニーズに合わせた分析を行うことができる。

（第３の実施の形態）
本実施の形態においては、商品名のように切り替わる表現（用語）を登録する辞書と、「試食会」「完売」「売れています」のように長い期間使うことのできる表現を登録する辞書を区別する文書データ分析プログラムについて説明する。

図６は、本実施の形態に係る文書データ分析プログラムによって計算機上で実現される機能を示すブロック図である。

この文書データ分析プログラム１３によって実行されるマスク概念抽出機能１４は、マスク用語定義辞書１５を参照する。

マスク用語定義辞書１５は、使用期間が所定の基準より短い表現に対して、長期間使用可能なマスク用語（マスクデータ）と概念と概念ＩＤとを割り当てた構造を持つ。この例では、具体的な商品名は使用期間が所定の基準より短いため（更新されやすいため）、「自社商品」又は「他社商品」というマスク用語を割り当てている。マスク用語には、更新されやすい表現に対して、その性質を示す用語が利用可能である。

マスク概念抽出機能１４は、分析対象の文書データからマスク用語定義辞書１５に登録されている表現を抽出し、その文書要素に対応するマスク用語に置き換える。

本実施の形態に係る文書データ分析プログラム１３の処理内容について以下に説明する。

例えば、分析対象の文書データ「Ｂスナックは試食会で完売。Ａスナック情報。対Ｃスナック比１２０％で売れています」には、自社商品である「Ａスナック」が他社商品である「Ｃスナック」に対して１２０％で売れているという意味が含まれている。

この意味を判定可能とするために、変更されやすい他社の商品名を含む「対Ｃスナック比」などの表現を辞書登録すると、以下のような問題が生ずる。

第１に、概念定義辞書に対して「対Ｂスナック比」「対Ｃスナック比」などのように他社商品数に応じて辞書登録を行わなければならず、辞書構築の負荷が大きくなる。

第２に、変更されやすい商品名を概念定義辞書に登録すると本来は長く使える表現を商品サイクルに合わせてメンテナンスする必要が生じる。

そこで、マスク概念抽出機能１４は、図７に示すように、マスク用語定義辞書１５に登録されており分析対象の文書データに含まれている表現を抽出し、その位置とマスク用語の概念ＩＤを抽出して記録する。

次に、マスク概念抽出機能１４は、図８に示すように、抽出された表現をマスク用語定義辞書１５で定義されたマスク用語に変換する。

そして、概念抽出機能３は、図９に示すように、マスク概念抽出機能１４によって変更された文書データから概念定義辞書１６に登録されている表現を抽出し、その概念と意味内容とを取得する。これにより、元の文書データにどのような意味が含まれているか判断可能である。この例では、元の文書データが「他社商品に勝っている」という意味を含むことを把握可能である。

なお、本実施の形態において、分析機能４及び表示機能６は、上記第１の実施の形態と同様の処理を実行する。

以上説明したように、本実施の形態に係る文書データ分析プログラム１３を利用する場合には、固有名を定義するマスク用語定義辞書１５と、長く使える概念定義辞書１６を分けている。これにより、概念定義辞書１６をコンパクトに構築することができる。また、自社商品名、他社商品名を含む表現であっても概念抽出に有効に利用できる。さらに更新されやすさに応じて辞書が分けられているので辞書のメンテナンスを容易に行うことができる。

（第４の実施の形態）
本実施の形態においては、マスク用語を階層的に設定した場合の上記第３の実施の形態に係る文書データ分析プログラムについて説明する。

例えば、マスク用語を「自社商品」又は「他社商品」などのように単一ではなく、「商品：自社製品：スナック：商品名」又は「商品：他社商品：スナック：商品名」などのように所属する複数の階層全てを特定できるように定義する。

そして、「商品」「自社製品」「スナック」などの複数階層のうち、ユーザのニーズに合う階層でマスク用語の置き換えを実行する。

これにより、分析対象の文書データの分類力を向上させることができる。

（第５の実施の形態）
本実施の形態においては、文書データからユーザの指定した表現又は概念が抽出されなかった場合に、その文書データを表示する機能を実現する文書データ分析プログラムについて説明する。

図１０は、本実施の形態に係る文書データ分析プログラムによって計算機上で実現される機能を示すブロック図である。

この文書データ分析プログラム１７により実現される表示機能１８は、ユーザに指定された自社商品名が抽出されなかった文書データ又はユーザに指定された他社商品名が抽出されなかった文書データをまとめて表示する。

この表示機能１８による表示内容の中に、ユーザが新たに辞書に登録したい商品名がある場合、ユーザは辞書登録機能１９にその表現と登録する項目（概念、マスク用語など）を入力する。登録する項目の入力手法としては、リストをユーザに提示して選択させる手法が利用可能である。

辞書登録機能１９は、ユーザから入力された内容をマスク用語定義辞書１５に登録する。なお、辞書登録機能１９は、概念定義辞書１６に対してもユーザから入力された内容を登録可能である。

以上説明した本実施の形態に係る文書データ分析プログラム１７を利用すると、メンテナンスの容易な固有名称などに関する辞書をユーザが更新可能である。したがって、ユーザも有効に辞書をメンテナンスすることができる。

例えば、自社商品の抽出されなかった文書データの中に、自社商品の略称がある場合に、この略称も自社商品として扱うことが可能となる。

なお、上記各実施の形態で説明した発明は、それぞれを自由に組み合わせることができる。また、上記各実施の形態で説明した各機能、各要素は、同様の作用・機能を実現可能であれば配置を変更させてもよく、また各機能、各要素を自由に組み合わせてもよく、分解してもよい。

上記各実施の形態で説明した文書データ分析プログラム１、１３、１７は、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体１２に書き込んでコンピュータに適用可能である。また、このプログラムは通信媒体により伝送して、コンピュータに適用可能である。

コンピュータは、記録媒体１２に記録された文書データ分析プログラム１、１３、１７を記録媒体１２から読み込み、プログラムによって動作が制御されることにより、上述した機能を実現する。

（第６の実施の形態）
本実施の形態においては、上記各実施の形態に係る文書データ分析プログラム１、１３、１７の利用態様について説明する。

例えば、企業の日報データ、月報データ、営業報告データ等の文書データの数は膨大になる。

この膨大な文書データの中からユーザの求める内容を持つ文書データを読み出して参考にしたい場合、又は文書データの要約データを求めたい場合、ユーザは計算機上で文書データ分析プログラム１、１３、１７を起動し、この文書データ分析プログラム１、１３、１７に文書データを読み込ませ、その内容を分析させる。

その結果、ユーザは、文書データに含まれている表現を所定の形式で組み合わせて要約データを作成し、出力することが可能である。

また、ユーザは、例えば「自社商品が売れている」という内容の文書データのみを出力することも可能である。

図１１は、上記各実施の形態に係る文書データ分析プログラム１、１３、１７により実施されるサービスをＡＳＰ（アプリケーション・サービス・プロバイダ）が提供する形態を例示するブロック図である。

ユーザ２０は、自己の端末２１からネットワーク２２を経由してＡＳＰ２３の管理する文書データ分析プログラム１、１３、１７を利用することで、文書データの分析を容易に実施できる。

また、ＡＳＰ２３のサービスの提供を受けることで、ユーザ２０は、自己で文書データ分析プログラム１、１３、１７を保守、運用することなく、効率的に分析サービスを利用できる。

１，１３，１７…文書データ分析プログラム，２…取得機能、３…概念抽出機能、４…分析機能、４ａ…アンド検索機能、４ｂ…文書区切り処理、４ｃ…係り受け分析処理、４ｄ…対応付け分析処理、４ｅ…固有名詞区切り処理、４ｆ…固有名詞判断処理、４ｇ…結果区切り処理、４ｈ…結果判断処理、５…選択機能、６，１８…表示機能、７，１６…概念定義辞書、８…対応付けテーブル、１４…マスク概念抽出機能、１５…マスク用語定義辞書、１９…辞書登録機能。

Claims (10)

1. コンピュータに、
   データベースに記憶されており、文書を構成する文書要素のうち使用期間が所定の基準より短い文書要素とその性質を示すマスクデータとを関連付けた第１の辞書情報を参照し、前記コンピュータによって取得された分析対象の文書データに含まれている文書要素のうち前記第１の辞書情報に含まれている文書要素をその文書要素に関連するマスクデータに変換するマスク機能と、
   前記データベースに記憶されており、使用期間が所定の基準より長い文書要素とその属性データとを関連付けた第２の辞書情報を参照し、前記マスク機能によって変換された後の文書データに含まれておりかつ前記第２の辞書情報に含まれている複数の文書要素とその属性データとを抽出する抽出機能と
   を実現させるための文書データ分析プログラム。
2. 請求項１記載の文書データ分析プログラムにおいて、
   前記コンピュータに、組み合わせを行う複数の属性データを定めた分類軸と、前記抽出機能によって抽出された複数の文書要素とその属性データとに基づいて、前記分類軸にしたがって前記抽出機能によって抽出された第１の文書要素又はその第１の属性データと、第２の文書要素又はその第２の属性データとを組み合わせた要約データを作成する分析機能をさらに実現させることを特徴とする文書データ分析プログラム。
3. 請求項２記載の文書データ分析プログラムにおいて、
   前記分析機能は、
   前記抽出機能よって抽出された複数の文書要素とその属性データの中から、前記マスク機能によって変換された後の文書データにおいて、比較を意味する除外接続表現が続く文書要素とその属性データを除き、前記分類軸にしたがって前記除外接続表現が続かない前記第１の文書要素又は前記第１の属性データと、前記除外接続表現が続かない前記第２の文書要素又は前記第２の属性データとを組み合わせる
   ことを特徴とする文書データ分析プログラム。
4. 請求項１乃至請求項３のいずれか１項に記載の文書データ分析プログラムにおいて、
   前記マスクデータは、使用期間が所定の基準より短い文書要素の性質を階層的に特定していることを特徴とする文書データ分析プログラム。
5. 請求項１乃至請求項４のいずれか１項に記載の文書データ分析プログラムにおいて、
   前記コンピュータに、前記分析対象の文書データのうち前記第２の辞書情報に含まれていない部分を表示する機能をさらに実現させることを特徴とする文書データ分析プログラム。
6. 請求項１乃至請求項５のいずれか１項に記載の文書データ分析プログラムにおいて、
   前記コンピュータに、ユーザの指定内容にしたがって前記第２の辞書情報を更新する登録機能をさらに実現させることを特徴とする文書データ分析プログラム。
7. コンピュータによる文書データ分析方法において、
   前記コンピュータが、データベースに記憶されており、文書を構成する文書要素のうち使用期間が所定の基準より短い文書要素とその性質を示すマスクデータとを関連付けた第１の辞書情報を参照し、前記コンピュータによって取得された分析対象の文書データに含まれている文書要素のうち前記第１の辞書情報に含まれている文書要素をその文書要素に関連するマスクデータに変換する変換ステップと、
   前記コンピュータが、前記データベースに記憶されており、使用期間が所定の基準より長い文書要素とその属性データとを関連付けた第２の辞書情報を参照し、前記変換ステップによって変換された後の文書データに含まれておりかつ前記第２の辞書情報に含まれている複数の文書要素とその属性データとを抽出する抽出ステップと
   を含む文書データ分析方法。
8. 請求項７記載の文書データ分析方法において、
   前記コンピュータが、組み合わせを行う複数の属性データを定めた分類軸と、前記抽出ステップによって抽出された複数の文書要素とその属性データとに基づいて、前記分類軸にしたがって前記抽出ステップによって抽出された第１の文書要素又はその第１の属性データと、第２の文書要素又はその第２の属性データとを組み合わせた要約データを作成する分析ステップをさらに含むことを特徴とする文書データ分析方法。
9. データベースに記憶されており、文書を構成する文書要素のうち使用期間が所定の基準より短い文書要素とその性質を示すマスクデータとを関連付けた第１の辞書情報を参照し、コンピュータによって取得された分析対象の文書データに含まれている文書要素のうち前記第１の辞書情報に含まれている文書要素をその文書要素に関連するマスクデータに変換するマスク手段と、
   前記データベースに記憶されており、使用期間が所定の基準より長い文書要素とその属性データとを関連付けた第２の辞書情報を参照し、前記マスク手段によって変換された後の文書データに含まれておりかつ前記第２の辞書情報に含まれている複数の文書要素とその属性データとを抽出する抽出手段と
   を具備する文書データ分析システム。
10. 請求項９記載の文書データ分析システムにおいて、
    組み合わせを行う複数の属性データを定めた分類軸と、前記抽出手段によって抽出された複数の文書要素とその属性データとに基づいて、前記分類軸にしたがって前記抽出ス手段によって抽出された第１の文書要素又はその第１の属性データと、第２の文書要素又はその第２の属性データとを組み合わせた要約データを作成する分析手段をさらに具備する文書データ分析システム。

Images