JP4600045B2

JP4600045B2 - 意見抽出用学習装置及び意見抽出用分類装置

Info

Publication number: JP4600045B2
Application number: JP2005003265A
Authority: JP
Inventors: 健二立石; 裕治松本
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2005-01-07
Filing date: 2005-01-07
Publication date: 2010-12-15
Anticipated expiration: 2025-01-07
Also published as: JP2006190229A

Description

本発明は、調査対象文書の中から、属性表現と評価表現のペアを意見として抽出するための意見抽用学習装置及び意見抽出用分類装置に関する。

ｂｌｏｇ等のＷｅｂの掲示板や、Ｅ−ｍａｉｌ、アンケート結果、企業の問い合わせ窓口への問い合わせデータ、そして報告書等の種々の文書には、数多くの対象についての多くの意見が記述されている。これら多くの意見の中には、特定の対象に対する肯定又は否定の評価を示す意見のほか、トラブルや問題を報告したクレーム情報、改善点等を指摘した要望も含まれている。

このようなさまざまな意見が記述されている文書内から、特定の対象物に関する筆者の意見が記述されている箇所を自動で抽出することが可能であれば、その対象物についての評判や批評、顧客の要望等を自動で得ることができ、商品購入前の事前調査や、その意見を反映させた改良製品の販売や新製品の開発等を行うことができるので、企業の市場調査等のマーケティングに重要な情報となるものである。

ところがこれらの一般の文書は、もともと対象物に関する意見そのものを記述することを目的とした文書ではないので、意見と無関係の情報も多く含まれる。したがって、このような文書から自動で精度良く意見に関する情報を抽出することができないので、そのまま統計に利用することができないという不具合を生じていた。

意見抽出に関する背景技術として、文書中に含まれるある特定の対象に関する属性（デザイン、価格、サポート、性能等の表現）と、その属性表現に関連のある評価（良い、広い、好き等の、前記属性の取り得る値を示す表現）のペア（属性評価ペア）を所定のルールを用いて抽出する方法が知られている（例えば非特許文献１参照。）。

非特許文献１に記載の方法では、属性表現と評価表現に正しい関係が存在するかを判断する抽出ルールと、属性表現と評価表現に正しい関係があった場合にその主観評価性を判定する意見性判定ルールの２つを用いている。

前述の属性表現とは、意見抽出を目的としたある特定の対象に関する属性表現であって、「デザイン」、「室内」、「価格」、「サポート」、「性能」等の、ある特定の対象のある側面を表す表現を示すものである。

評価表現とは、物事に対する評価を示す表現であって、「良い」、「好き」、「広い」、「安い」等の、属性表現が取り得る値に関する評価表現を示すものである。

属性評価ペアとは、下記の２つの要件を満たす属性表現と評価表現の組み合わせを示す。
（要件１）属性表現と評価表現の間に正しい関係がある
（要件２）主観評価を示す
例えば、属性表現「デザイン」評価表現「良い」を考えたとき、下記の（ａ）は要件１を満たすが、（ｂ）は満たさない。（ｂ）は「良い」がさしている対象が「デザイン」ではないからである。
（ａ）デザインが良い。
（ｂ）デザインはさておき、良いこともある。

一方、同様に属性表現「デザイン」評価表現「良い」を考えたとき下記の（ｃ）は要件２を満たすが、（ｄ）は要件２を示さない。（ｄ）は疑問、（ｅ）は条件であって記述者自身の主観的な評価を示さないからである。
（ｃ）デザインは良い。
（ｄ）デザインは良いか？
（ｅ）デザインは良いなら、買う。

意見抽出とは、文書から正例の属性評価ペア（正しい属性表現と評価表現との組み合わせ）を抽出することを示すものとする。なお、負例の属性評価ペアとは、意見として抽出するのにふさわしくない属性表現と評価表現との組み合わせを示す。

また、機械学習を用いて文脈から先行詞と照応詞の対を抽出する照応解析のモデルが知られている（例えば非特許文献２参照。）。
立石健二、福島俊一、小林のぞみ、高橋哲朗、藤田篤、乾健太郎、松本裕治：Ｗｅｂ文書集合からの意見情報抽出と着眼点に基づく要約作成、情報処理学会研究報告、ＮＬ−１６３、ｐ.１−８（２００４） Soon, W. M., Ng, H. T. and Lim, D. C. Y.:A Machine Learning Approach to Corefernce Resolution of Noun Phrases,Computational Linguistics,Vol.27,No.4,pp.521−544（2001）

非特許文献１の意見抽出方法において、下記の抽出ルール（１）及び意見性判定ルール（２）を設けて意見の抽出処理を行う場合について検討する。なお、（１）の「→」は、係り受け関係が存在することを意味している。なお、抽出ルールとは、［属性］と［評価］との間に関連のある組み合わせを正解として抽出するためのルールである。
抽出ルール（１）［属性］＋「が」→［評価］
意見性判定ルール（２）［評価］＋「なら」

属性表現が「デザイン」、評価表現が「良い」で与えられる場合に上記の抽出ルール（１）と意見性判定ルール（２）とを用いて、下記のサンプル文（ａ）〜（ｅ）ついて意見抽出処理を行ってみる。
（ａ）デザインが良い。
（ｂ）デザインの方に関しては、良い出来といえるだろう。
（ｃ）デザインが変わった、良い製品がほしい。
（ｄ）デザインが良いならほしい。
（ｅ）デザインが良いという考え方もあるが、私は…

例えば、上記のサンプル文から意見の抽出を試みると、
（ａ）の文は、抽出ルール（１）にマッチするために意見を表す属性評価ペアが存在するとして抽出される。
（ｂ）及び（ｃ）の文は、抽出ルール（１）にマッチしないために意見を表す属性評価ペアは抽出されない。
（ｄ）の文は、抽出ルール（１）にはマッチするが、意見性判定ルール（２）にもマッチしてしまうために意見を表す属性評価ペアは抽出されない。
（ｅ）の文は、抽出ルール（１）にマッチし、意見性判定ルール（２）にもマッチしないために意見を表す属性評価ペアが抽出される。

したがって非特許文献１の意見抽出方法を用いると、（ａ）と（ｅ）の文から意見を表す属性評価ペアが抽出されることになる。

ところが、上記の（ａ）〜（ｅ）の文において、意見として抽出すべき属性評価ペアを含む文は、（ａ）と（ｂ）である。すなわち、（ａ）及び（ｂ）の文には、ある特定の対象の［属性］＝「デザイン」、［評価］＝「良い」という記述者による意見が記載されているが、（ｃ）は「デザイン」が指している対象が「良い」ではなく、（ｄ）及び（ｅ）の文には、ある特定の対象について「デザインが良い」という記述者の主観的な評価や意見が記載されているとはいえないからである。

したがって、非特許文献１の意見抽出方法を用いても、記述者の意見が記載されているサンプル文（ｂ）から意見を抽出することができないという不具合を生じていた。

また、非特許文献１の意見抽出方法を用いると、記述者の意見が記載されていないサンプル文（ｅ）から、誤って本来記述者の意見でない属性評価ペアを意見として抽出してしまうという不具合を生じていた。

このように、非特許文献１に記載の所定のルールに基づいた意見抽出方法では、［属性］と［評価］の関係をルール化するとともに、主観評価性に基づくルールを網羅的に人手で記述するのはたいへん困難なこととなっている。

また、非特許文献２に記載の照応解析のモデルでは、この照応解析のモデル自体が意見抽出を目的としたものではないので、このままでは文書中から記述者の意見を抽出することができないという不具合を生じていた。また、機械学習に基づく抽出方法は、正解（先行詞と照応詞との間に関連があると判断した組み合わせ）の例に対して不正解（先行詞と照応詞との間に関連が無い組み合わせであると判断した組み合わせ）の例が多くなる傾向があり、抽出性能が低下するという問題点がある。一般的に機械学習においては、正解の例と不正解の例とのバランスが極端に異なる事例を用いて学習すると、抽出性能が低下する傾向がみられる。

本発明は上記課題を解決するためになされたもので、文書内から、［属性］と［評価］との間に何らかの関連があることを示す属性評価ペアを抽出し、抽出した属性評価ペアに対して機械学習に基づいて正例の属性評価ペアを抽出して、文書内から意見を精度良く抽出することが可能な意見抽出用学習装置及び意見抽出用分類装置を提供することを目的としている。

上記の目的を達成するために本発明の意見抽出用学習装置は、文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書を入力し、訓練文書中に存在している属性表現と評価表現の組み合わせに該当する属性評価ペア候補を訓練文書毎にグループ分けして抽出するとともに、それぞれの属性評価ペア候補に対して、属性表現及び評価表現を含む文節の表層文字列、属性表現及び評価表現を含む文節の品詞、属性表現を含む文節と評価表現を含む文節が係り受け関係にあるか否か、若しくは属性表現と評価表現との間の距離情報等の素性の情報を付与する処理を行う属性評価ペア候補抽出手段と、文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書と訓練文書毎にグループ分けした属性評価ペア候補とを入力して、正例属性評価ペアと同一の属性評価ペア候補を正例属性評価ペア候補と定めるとともに、正例属性評価ペア候補が存在するグループ内で正例属性評価ペア候補でない属性評価ペア候補を負例属性評価ペア候補と定める処理を行う訓練事例作成１手段と、正例属性評価ペア候補と負例属性評価ペア候補とを入力して、識別関数Ｚ１等の分類モデル１を作成する処理を行うモデル作成１手段と、文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書と訓練文書毎にグループ分けした属性評価ペア候補と識別関数Ｚ１等の分類モデル１とを入力して、正例属性評価ペアと同一の属性評価ペア候補を一つも含まない属性評価ペア候補から構成されるグループに属する属性評価ペア候補を未定の属性評価ペア候補として抽出し、識別関数Ｚ１等の分類モデル１を用いて未定の属性評価ペア候補を正例属性評価ペア候補又は負例属性評価ペア候補に分類する処理を行う分類１手段と、文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書と訓練文書毎にグループ分けした属性評価ペア候補と分類モデル１手段が分類した正例属性評価ペア候補とを入力して、当該正例属性評価ペア候補を負例属性評価ペア候補に置き換えるとともに、正例属性評価ペアと同一の属性評価ペア候補を正例属性評価ペア候補と定める処理を行う訓練事例作成２手段と、訓練事例作成２手段が定めた正例属性評価ペア候補並びに訓練事例作成２手段が置き換えた負例属性評価ペア候補を入力して、識別関数Ｚ２等の分類モデル２を作成して出力する処理を行うモデル作成２手段とを備えたことを特徴とする。

この発明によれば、訓練文書の中から自動的に負例を抽出し、この負例を選択的に用いて作成した分類モデル１と、主に主観評価性を学習できるように負例を選択的に用いて作成した分類モデル２とを出力するので、意見抽出に重要な属性表現と評価表現との関係を学習することが可能となる。

また上記の目的を達成するために本発明の意見抽出用分類装置は、ｂｌｏｇ等のＷｅｂの掲示板や、Ｅ−ｍａｉｌ、アンケート結果、企業の問い合わせ窓口への問い合わせデータ、報告書、その他の記述者の意見が記載されている調査対象文書を入力し、調査対象文書中に存在している属性表現と評価表現の組み合わせに該当する属性評価ペア候補を調査対象文書毎にグループ分けして抽出するとともに、それぞれの属性評価ペア候補に対して、属性表現及び評価表現を含む文節の表層文字列、属性表現及び評価表現を含む文節の品詞、属性表現を含む文節と評価表現を含む文節が係り受け関係にあるか否か、若しくは属性表現と評価表現との間の距離情報等の素性の情報を付与する処理を行う属性評価ペア候補抽出手段と、調査対象文書毎にグループ分けした属性評価ペア候補と属性評価ペア候補を正例属性評価ペアと負例属性評価ペアとに切り分ける境界面を決定する識別関数Ｚ１等の分類モデル１とを入力して、当該分類モデル１を用いて同一グループ内の属性評価ペア候補から正例属性評価ペア候補を抽出する処理を行う分類１手段と、分類１手段が抽出した正例属性評価ペア候補と正例属性評価ペア候補を正例属性評価ペアと負例属性評価ペアとに切り分ける境界面を決定する識別関数Ｚ２等の分類モデル２とを入力して、正例属性評価ペア候補から正例属性評価ペアを抽出する処理を行い当該正例属性評価ペアを真の属性評価ペアと判定する処理を行う分類２手段とを備えたことを特徴とする。

この発明によれば、訓練文書の中から自動的に抽出した負例を選択的に用いて作成した分類モデル１と、主に主観評価性を学習できるように負例を選択的に用いて作成した分類モデル２とを用いることによって、属性表現と評価表現との関係を効果的に学習した結果を用いて調査対象文書から意見を抽出することが可能となる。

また上記の目的を達成するために本発明の意見抽出用学習装置は、文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書を入力し訓練文書中に存在している属性表現と評価表現の組み合わせに該当する属性評価ペア候補を訓練文書毎にグループ分けして抽出するとともに、それぞれの属性評価ペア候補に対して属性表現及び評価表現を含む文節の表層文字列、属性表現及び評価表現を含む文節の品詞、属性表現を含む文節と評価表現を含む文節が係り受け関係にあるか否か、若しくは属性表現と評価表現との間の距離情報等の素性の情報を付与する処理を行う属性評価ペア候補抽出手段と、文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書と訓練文書毎にグループ分けした属性評価ペア候補とを入力して、正例属性評価ペアと同一の属性評価ペア候補を一つ以上含むグループ内の属性評価ペア候補を抽出するとともに、２組の属性評価ペア候補内の２つの属性表現の素性や位置関係等に基づいて属性評価比較ペア候補を生成し、訓練文書中の先頭から左側に存在する属性表現が訓練文書中の正例属性評価ペアの属性表現と一致している場合には属性評価比較ペア候補にＬｅｆｔのラベルを付与した属性評価比較ペアを生成し、訓練文書中の先頭から右側に存在する属性表現が訓練文書中の正例属性評価ペアの属性表現と一致している場合には、属性評価比較ペア候補にＲｉｇｈｔのラベルを付与した属性評価比較ペアを生成する処理を行う訓練事例作成１手段と、訓練事例作成１手段によってＬｅｆｔ又はＲｉｇｈｔのラベルが付された属性評価比較ペアを入力して、識別関数Ｚ３等の分類モデル３を作成する処理を行うモデル作成１手段と、文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書と訓練文書毎にグループ分けした属性評価ペア候補と識別関数Ｚ３等の分類モデル３とを入力して、正例属性評価ペアと同一の属性評価ペア候補を一つも含まない属性評価ペア候補から構成されるグループに属する属性評価ペア候補を未定の属性評価ペア候補として抽出し、２組の未定の属性評価ペア候補内の２つの属性表現素性に基づいて属性評価比較ペアを生成し、識別関数Ｚ３等の分類モデル３を用いて、生成した複数の属性評価比較ペアをトーナメント方式に順番に比較し、グループ毎に最終的に残った一つの属性評価ペア候補を正例属性評価ペア候補に設定し、当該正例属性評価ペア候補以外の属性評価ペア候補を負例属性評価ペア候補に設定する処理を行う分類１手段と、文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書と訓練文書毎にグループ分けした属性評価ペア候補と分類モデル１手段が分類した正例属性評価ペア候補とを入力して、当該正例属性評価ペア候補を負例属性評価ペア候補に置き換えるとともに、正例属性評価ペアと同一の属性評価ペア候補を正例属性評価ペア候補と定める処理を行う訓練事例作成２手段と、訓練事例作成２手段が定めた正例属性評価ペア候補並びに訓練事例作成２手段が置き換えた負例属性評価ペア候補を入力して、識別関数Ｚ４等の分類モデル４を作成して出力する処理を行うモデル作成２手段とを備えたことを特徴とする。

この発明によれば、訓練文書の中から自動的に負例を抽出し、この負例を選択的に用いて作成した分類モデル３と、主に主観評価性を学習できるように負例を選択的に用いて作成した分類モデル４とを出力するので、意見抽出に重要な属性表現と評価表現との関係を学習することが可能となる。

また上記の目的を達成するために本発明の意見抽出用分類装置は、ｂｌｏｇ等のＷｅｂの掲示板や、Ｅ−ｍａｉｌ、アンケート結果、企業の問い合わせ窓口への問い合わせデータ、報告書、その他の記述者の意見が記載されている調査対象文書を入力し、調査対象文書中に存在している属性表現と評価表現の組み合わせに該当する属性評価ペア候補を調査対象文書毎にグループ分けして抽出するとともに、それぞれの属性評価ペア候補に対して、属性表現及び評価表現を含む文節の表層文字列、属性表現及び評価表現を含む文節の品詞、属性表現を含む文節と評価表現を含む文節が係り受け関係にあるか否か、若しくは属性表現と評価表現との間の距離情報等の素性の情報を付与する処理を行う属性評価ペア候補抽出手段と、調査対象文書毎にグループ分けした属性評価ペア候補と属性評価ペア候補を正例属性評価ペアと負例属性評価ペアとに切り分ける境界面を決定する識別関数Ｚ３等の分類モデル３とを入力して、同一のグループ内の２組の属性評価ペア候補から属性評価比較ペアを作成し、識別関数Ｚ３等の分類モデル３を用いて、生成した複数の属性評価比較ペアをトーナメント方式に順番に比較し、グループ毎に最終的に残った一つの属性評価ペア候補を正例属性評価ペア候補に設定し、当該正例属性評価ペア候補以外の属性評価ペア候補を負例属性評価ペア候補に設定する処理を行う分類１手段と、分類１手段が設定した正例属性評価ペア候補と正例属性評価ペア候補を正例属性評価ペアと負例属性評価ペアとに切り分ける境界面を決定する識別関数Ｚ４等の分類モデル４とを入力して、分類１手段が設定した正例属性評価ペア候補から正例属性評価ペアを抽出する処理を行い、当該正例属性評価ペアを真の属性評価ペアと判定する処理を行う分類２手段とを備えたことを特徴とする。

この発明によれば、訓練文書の中から自動的に抽出した負例を選択的に用いて作成した分類モデル３と、主に主観評価性を学習できるように負例を選択的に用いて作成した分類モデル４とを用いることによって、属性表現と評価表現との関係を効果的に学習した結果を用いて調査対象文書から意見を抽出することが可能となる。

本発明の効果は、高精度の意見抽出を実現できることにある。その理由は、属性と評価の関係を学習することを目的として負例を選択的に用いて作成した分類モデル１（又は分類モデル３）と、主観評価性を学習することを目的として負例を選択的に用いて作成した分類モデル２（又は分類モデル４）を用いているからである。

分類モデル１（又は分類モデル３）を作成するモデル作成１手段に入力する負例の属性評価ペア候補は訓練文書の正例の属性評価ペアを一つ以上含むグループＩＤの負例のみである。このような負例は、属性と評価に正しい関係がない負例であると判断できるので、モデル作成１手段はを属性と評価が正しい関係にあるかを判断することを目的とした学習が可能である。一方、分類モデル２(又は分類モデル４）を作成するモデル２作成手段に入力する負例の属性評価ペア候補は、分類１手段によって誤って正例と判定される負例のみである。分類１手段によって正例と判定されるが、実は負例という場合は、属性と評価に正しい関係があるものの主観評価ではない負例と判断できるのでモデル２作成手段は主観評価性を判断することを目的とした学習が可能である。

このように、分類モデル１と分類モデル２で負例を選択的に用いることで目的が明確な学習をすることができ、抽出精度の向上が可能となる
本発明を用いることによって、ｂｌｏｇ等のＷｅｂの掲示板や、Ｅ−ｍａｉｌ、報告書類、その他の意見そのものを記述することを目的としていない文書からであっても、その対象物についての評判や批評、顧客の要望等を自動で得ることができるので、記述者の意見をより正確に自動で抽出することが可能となる。したがって、その対象物についての評判や批評、顧客の要望等を自動で得ることができ、商品購入前の事前調査や、企業の市場調査等のマーケティング活動の効率を向上させ、より利用者の希望に則した製品を早期に提供することが可能となる。

特許文献２に記載の照応解析のモデルにおいて、先行詞と照応詞の対という文脈を、属性表現と評価表現の対という文脈に置き換えることによって、属性評価ペアを抽出する処理の一部に用いることができそうである。現在では、さまざまな機械学習を用いた照応解析のモデルが知られているが、最も単純な特許文献２に記載の照応解析のモデルを適用することについて検討する。

この照応解析のモデルを用いて属性評価ペアを抽出し、属性候補集合内のそれぞれの要素が評価候補と対となるか否かの２値分類問題を解き、評価候補と属性候補の複数の対を求めることが可能であると考えられる。

また、正解として抽出した属性評価ペア（［属性］と［評価］との間に関連があると判断した組み合わせ）の中には、一つの評価候補に対して複数の対を持つ場合もあるが、この手法に対して複数の処理を追加することにより、そのような事例に対しても網羅的に属性表現と評価表現の対を、記述者の意見として抽出できる可能性がある。

図１は、オペレータが入力した正例属性評価ペアを含む訓練事例から、属性評価ペア候補分類の学習を行って識別関数等の分類モデルを作成して出力する学習装置１０の処理に関するブロック図である。

図２は、調査対象文書を入力し、オペレータが入力した正例属性評価ペアを含む訓練事例から生成した識別関数等の分類モデルを用いて意見の抽出を行う分類装置１１のブロック図である。図２に示す分類装置１１についての説明は後述する。

図１には、オペレータが正例のラベルを付与したラベル付きの正解データを含む訓練文書を記憶するハードディスク等の訓練文書記憶部１と、訓練文書に基づいた学習を行って分類モデルを作成する学習装置１０と、学習装置１０のモデル作成手段２２０が作成した分類モデルを記憶する分類モデル記憶部１２とが示されている。

図１に示す訓練文書記憶部１には、少なくとも文書内で真に属性表現と評価表現の対となる箇所にオペレータが正例のラベルを付与した（例えば、属性表現や評価表現にタグを付したものなど。）ラベル付きの正解データ（記述者の意見となる正例属性評価ペア）を含む訓練文書を記憶する。

図１に示す学習装置１０は、訓練文書記憶部１から訓練文書を読み出して属性表現記憶部１１０に記憶されている属性表現の集合と評価表現記憶部１２０に記憶されている評価表現の集合とを参照し、訓練文書中に存在している属性表現と評価表現の組み合わせに該当する属性評価ペア候補を抽出して出力する属性評価ペア候補抽出手段１００と、属性評価ペア候補を記憶する属性評価ペア候補記憶手段１３０とを備える。

また学習装置１０は、訓練文書記憶部１から訓練文書を読み出して、オペレータが訓練文書にラベルを付した正解とされる属性表現と評価表現のペアと同一の属性評価ペア候補を正例属性評価ペア候補と定めるとともに、正例属性評価ペア候補でない属性評価ペア候補を負例属性評価ペア候補と定める訓練処理を行う訓練事例作成手段２１０と、正例属性評価ペア候補と負例属性評価ペア候補とを入力して、分類モデルを作成するモデル作成手段２２０とを備える。

上述の正例とは、着目する属性評価ペア候補の属性表現と評価表現との間に関係が存在し、かつ主観評価であることを意味している。すなわち正例は、真の属性評価ペアであることを意味する。また負例とは、着目する属性評価ペア候補の属性表現と評価表現との間に関係が存在しない、もしくは、主観評価でないことを意味している。すなわち負例は、真の属性評価ペアでないことを意味する。

例えば訓練事例作成手段２１０は、図１に示す訓練文書に含まれる訓練文Ｓ１及びＳ２から８つの属性評価ペア候補を抽出して、オペレータが入力した訓練文書のラベルを参照して、１つの正例属性評価ペア（Ａ１，Ｅ１、素性１）とそれ以外の７つの負例属性評価ペアを作成する。モデル作成手段２２０は、これらを入力して分類モデルを作成して分類モデル記憶部１２に記憶する。

図２に示す分類装置１１は、学習装置１０が作成した学習モデルを用いて、文書記憶部５に記憶されている調査対象文書内から属性評価ペア候補を抽出し、この属性評価ペア候補について真の属性評価ペア（正例）であるか、又は真の属性評価ペアでないか（負例）に分類する。

分類装置１１の属性評価ペア候補抽出手段１００は、学習装置１０の属性評価ペア候補抽出手段１００が実行する処理と同様にして、調査対象文書から属性評価ペア候補を抽出して、属性評価ペア候補記憶部１３０に記憶する。分類手段２３０は、属性評価ペア候補記憶部１３０から属性評価ペア候補を読み出して、分類モデル記憶部１２に記憶されている分類モデルを用いて、正例属性評価ペア又は負例属性評価ペアに分類する処理を行う。

ここで正例属性評価ペアに分類された属性表現と評価表現のペア候補は、真の属性評価ペアと判定されるのであるが、図１に示した学習装置１０と図２に示した分類装置１１を用いて判断した場合には以下の問題点を生ずるおそれがある。

図１に示した学習装置１０と図２に示した分類装置１１を用いた、機械学習に基づく意見の抽出方法では、属性表現と評価表現に関係があるかという問題と、主観評価であるかという問題を分けずに取り扱っているため、２つの問題が混在した学習がなされてしまう可能性が高いものである。したがって、抽出した正例属性評価ペアは、記述者の意見を抽出している可能性が低く、抽出性能が向上しないという問題を生ずるおそれがある。

例えば図１に示す例では、訓練文としてＳ１とＳ２の文があり、Ｓ１から抽出されたＧＩＤ１のグループの属性評価ペアには正例属性評価ペアを含んでいるが、訓練文Ｓ２から抽出されたＧＩＤ２のグループの属性評価ペアは負例属性評価ペアのみで構成されており、正例属性評価ペアを一つも含まないものとなっている。

訓練文Ｓ１から抽出される負例属性評価ペアは、属性表現と評価表現に関係がないとオペレータが指定しているために、負例の属性評価ペアである可能性が高いものである。ところが訓練文Ｓ２では、オペレータが正例属性評価ペアを指定していないために、訓練文Ｓ２から学習装置１０が抽出する負例属性評価ペアは、それが属性表現と評価表現に関係がないために負例として判定されるのか、又は本来属性表現と評価表現に関係があるもののオペレータが主観評価としていために負例属性評価ペアとして判定さるものであるのか不明である。したがって、学習装置１０を用いて全ての事例について学習すると、上記の２つの問題が混在した学習がなされてしまうので、これによって意見の抽出性能が向上しないことが予測できる。

以下、本発明を実施するための最良の形態を、図面に基づき説明する。

（第１実施形態）
図３は、オペレータが入力した正例属性評価ペアを含む訓練事例から、属性評価ペア候補分類の学習を行って作成した識別関数Ｚ１等の分類モデル１及び識別関数Ｚ２等の分類モデル２とを生成して出力することによって、どのような文書の場合に属性表現と評価表現は正例属性評価ペアになり、逆にどのような場合に正例属性評価ペアにならないかを判別するための分類モデル１及び分類モデル２を学習させる、学習装置２の処理に関するブロック図である。

図２１は、図３に示す学習装置２が正例属性評価ペア候補を含む訓練事例から作成した識別関数Ｚ１等の分類モデル１及び識別関数Ｚ２等の分類モデル２を用いて、調査対象文書から正例意見の抽出を行う分類装置７のブロック図である。図２１に示す分類装置７についての説明は後述する。

図３には、オペレータが正例のラベルを付与したラベル付きの正解データを含む訓練文書を記憶するハードディスク等の訓練文書記憶部１と、訓練文書に基づいた学習を行って識別関数Ｚ１等を用いた分類モデル１及び識別関数Ｚ２等を用いた分類モデル２を作成する学習装置２と、学習装置２のモデル作成１手段１５０が作成した識別関数Ｚ１等の分類モデル１を記憶する分類モデル１記憶部３と、学習装置２のモデル作成２手段１９０が作成した識別関数Ｚ２等の分類モデル２を記憶する分類モデル２記憶部４とが示されている。

同図に示す学習装置２は、訓練文書記憶部１から訓練文書を読み出して属性表現記憶部１１０に記憶されている属性表現の集合と評価表現記憶部１２０に記憶されている評価表現の集合とを参照し、訓練文書中に存在している属性表現と評価表現の組み合わせに該当する属性評価ペア候補を訓練文書毎にグループ分けして抽出して出力する属性評価ペア候補抽出手段１００と、属性評価ペア候補を記憶する属性評価ペア候補記憶手段１３０とを備える。

また学習装置２は、訓練文書記憶部１から訓練文書を読み出して、オペレータが訓練文書にラベルを付した正解とされる属性表現と評価表現のペアと同一の属性評価ペア候補を正例属性評価ペア候補と定めるとともに、正例属性評価ペア候補が存在するグループ内で正例属性評価ペア候補でない属性評価ペア候補を負例属性評価ペア候補と定める処理を行う訓練事例作成１手段１４０と、正例属性評価ペア候補と負例属性評価ペア候補とを入力して、属性表現と評価表現に正しい関係が存在するか否かを主に学習する識別関数Ｚ１等の分類モデル１を作成するモデル作成１手段１５０とを備える。

また学習装置２は、分類モデル１記憶部３に記憶されている識別関数Ｚ１を用いて正例属性評価ペア候補にも負例属性評価ペア候補にも属さない同一グループＩＤ内の未定の属性評価ペア候補群を、正例属性評価ペア候補又は負例属性評価ペア候補に分類する処理を行う分類１手段１６０と、分類１手段１６０が分類した正例属性評価ペア候補又は負例属性評価ペア候補を記憶する分類１手段分類結果記憶部１７０とを備える。

また学習装置２は、訓練文書記憶部１から訓練文書を読み出して、オペレータが訓練文書にラベルを付した正解とされる属性表現と評価表現のペアと同一の属性評価ペア候補を正例属性評価ペア候補と定めて抽出するとともに、分類１手段分類結果記憶部１７０に記憶されている正例属性評価ペア候補を読み出して負例の属性評価ペア候補に置き換える訓練事例作成２手段１８０と、訓練事例作成２手段１８０によって抽出された正例属性評価ペア候補並びに置き換えた負例属性評価ペア候補を入力して、訓練文書から主に主観評価を学習するための識別関数Ｚ２を用いた分類モデル２を作成するモデル作成２手段１９０とを備える。

図３に示す訓練文書記憶部１には、少なくとも文書内で真に属性表現と評価表現の対となる箇所にオペレータが正例のラベルを付与した（例えば、属性表現や評価表現にタグを付したものなど。）ラベル付きの正解データ（記述者の意見となる正例属性評価ペア）を含む訓練文書を記憶する。

図４は、訓練文書の例を示す図である。

同図は、単純に意見として抽出することが困難な訓練文Ｓ１と訓練文Ｓ２の２種類の訓練文を入力して記憶している例を示している。同図に示すように訓練文Ｓ１は、「デザインは、価格とサポート性能は知らないが、良い。」であり、この訓練文の中には「デザインは→良い」という係り受け関係を備えた、属性表現「デザイン」と評価表現「良い」の、記述者の意見となる正例属性評価ペアを含んでいる。したがってオペレータは、属性表現「デザイン」を<属性:1>及び</属性>のタグ（ラベルの一形態）で囲むとともに、評価表現「良い」に対して属性表現と同一のidを付した<評価:1></評価>のタグ（ラベルの一形態）で囲み、この同一のidを付した属性表現と評価表現のタグの組み合わせを正例属性評価ペアとして学習装置２が判断可能なように指定して、訓練文書記憶部１に記憶させる。

一方の訓練文Ｓ２は、「居住性とデザインとエンジン音と静粛性は置いていて、良いこともある。」であり、この訓練文の中には記述者の意見として抽出すべき属性評価ペアは存在しない。したがってオペレータは、特別にラベルを付与することなく訓練文Ｓ２を訓練文書記憶部１に記憶させる。なお、訓練文を識別するＳ１とＳ２の記号は、本発明の説明のために付与しているものであり、必ずしも付与する必要はない。

図５は、訓練文書を一般的に表現した状態を示す図である。

同図に示すように、図４に示した訓練文Ｓ１及び訓練文Ｓ２における訓練文書中の属性（「デザイン」、「価格」、「サポート」等の属性表現）をＡ１、Ａ２、…、Ａｎのように置き換えて表現することができる。また同様に、訓練文中の評価（「良い」、「安い」、「よい」等の評価表現）をＥ１、…、Ｅｎのように表現することができる。

図６は、属性表現記憶部１１０が記憶している属性表現の集合を示す図であり、図７は評価表現記憶部１２０が記憶している評価表現の集合を示す図である。

図６及び図７に示すように学習装置２は、オペレータが入力した訓練文書にも存在する「デザイン」＝Ａ１、「価格」＝Ａ２、「サポート」＝Ａ３、「性能」＝Ａ４等の、ある特定の対象のある側面を表す属性表現を予め記憶している属性表現記憶部１１０と、属性表現と関連のある評価表現であって、「良い」＝Ｅ１、「安い」、「よい」、「好き」、「最悪」、「使いやすい」等の、属性表現に対応する日本語の評価表現を予め記憶している評価表現記憶部１２０とを備えている。

属性表現記憶部１１０又は評価表現記憶部１２０が記憶する属性表現又は評価表現は、訓練文書記憶部１に記憶されている訓練文書に指定されている正解データ（正例属性評価ペア）の属性表現と評価表現のペアを抽出して記憶するようにしてもよい。

学習装置２の属性評価ペア候補抽出手段１００は、訓練文書記憶部１から訓練文書を読み出して、属性表現記憶部１１０に記憶されている属性表現と、評価表現記憶部１２０に記憶されている評価表現とを参照し、訓練文書中に存在している属性表現と評価表現の組み合わせに該当する部分を抽出する処理を行う。例えば訓練文書から、属性Ａ１、…、Ａｎ、と評価Ｅ１、…、Ｅｎの組み合わせを抽出して、属性表現ペア候補として出力する処理を行う。

そして次に属性評価ペア候補抽出手段１００は、素性（図３に示す例では、素性１〜素性８と表記してある。素性の詳細については、後述する。）の値が所定の範囲内にある属性表現と評価表現のペア（図３に示す例では、（Ａ１，Ｅ１）〜（Ａ７，Ｅ１））を「属性評価ペア候補」として設定する。そして、そのそれぞれの属性評価ペア候補について、それが訓練文書のどの範囲内から抽出したかを示すグループＩＤ（ＧＩＤ）と、素性の情報とを付与する。

ここで、属性評価ペア候補が訓練文書の所定の範囲内に存在するための条件として、例えば、「評価表現を含む文と同一文内に存在する属性表現である」という条件や、「評価表現を含む文とその前方ｋ文以内（但しｋは自然数とする。）という条件が考えられる。以下図８〜図１１を用いて、グループ分けの説明を行う。

図８は、訓練文書記憶部１に記憶されている訓練文書の一例を示す図である。同図に示す例では、訓練文Ｓ３〜Ｓ５が記憶されている。

図９は、属性評価ペア候補抽出手段１００が、評価表現Ｅ１を含む文と同一文内に属性表現が存在する属性評価ペア候補のグループ（ＧＩＤ１）と、評価表現Ｅ２を含む文と同一文内に属性表現が存在する属性評価ペア候補のグループ（ＧＩＤ２）とに分類した分類例を示す図である。

図１０は、属性評価ペア候補抽出手段１００が、評価表現Ｅ１を含む文とその前方１文以内に属性表現が存在する属性評価ペア候補のグループ（ＧＩＤ１）と、評価表現Ｅ２を含む文とその前方１文以内に属性表現が存在する属性評価ペア候補のグループ（ＧＩＤ２）とに分類した分類例を示す図である。

図１１は、評価表現を含む文と同一文内に属性表現が存在するという条件と、最も評価表現に近い場所に存在する正例の属性タグ（ラベルの一形態であって、図８に示す例では<属性:1>Ａ１</属性>が該当する。）が付与されたＡ１までを、分類の範囲として限定した分類例を示す図である。

次に、素性の情報について説明する。素性の情報は、例えば配列で表すことができる情報であり、以下の素性を１つ、又は複数組み合わせて用いることができる。
素性ａ：属性表現及び評価表現を含む文節の表層文字列
素性ｂ：属性表現及び評価表現を含む文節の品詞
素性ｃ：属性表現を含む文節と評価表現を含む文節が係り受け関係にあるか否か
素性ｄ：属性表現と評価表現との間の距離情報

図１２は、訓練文書記憶部１に記憶されている訓練文Ｓ６及び訓練文Ｓ７を例示する図である。

ここでは、属性評価ペア候補抽出手段１００が、図１２に示す訓練文Ｓ６と訓練文Ｓ７に、（デザイン，良い）という属性評価ペア候補に素性の情報を付与する際の処理を例にとって説明する。まず、素性を得るために、訓練文Ｓ６と訓練文Ｓ７を形態素解析を用いて単語の区切りと文節の区切りを検出する（図１３参照）。次に、構文解析を用いて文節間の係り受け関係を検出する（図１３参照）。

図１３は、訓練文Ｓ６及び訓練文Ｓ７について形態素解析及び構文解析を実施した結果を例示する図である。

同図に示す例では、「＋」が形態素解析を行った結果得られた単語の区切りを表し、「／」が文節の区切りを表している。また、構文解析を行った結果得られた単語の品詞を「［］」の間の文字列で表し、文節間の係り受け関係を「→」を用いて表している。

図１４は、形態素解析及び構文解析を行った結果を用いて素性を抽出した結果を例示する図である。

素性ａについて、同図を用いて説明する。同図に示す例では、属性表現及び評価表現を含む文節の表層文字列は「＋」で区切られた各単語が該当し、この表層文字列を「素性ａ」として用いる。そしてこの表層文字列の全種類数の次元の配列を用意して、各単語が対象となる候補の素性として存在している場合には、各単語の素性ａのバイナリ値として１（又はフラグ）を設定する。各単語が対象となる候補の素性として存在しない場合には、各単語の素性ａのバイナリ値として０（又はフラグ）を設定する。一般に訓練文には多くの単語が含まれるので、この配列は非常に高次元な配列となる。なお、バイナリ値の代わりに単語の出現頻度を設定するようにしても、本発明の目的を達成することが可能である。

素性ｂについて、同図を用いて説明する。属性表現及び評価表現を含む文節の品詞には「［］」の間の各品詞が該当する。この品詞の種類数の次元の配列を用意して、各品詞が対象となる候補の素性として存在している場合には、素性ｂのバイナリ値として１を設定する。また、各品詞が対象となる候補の素性として存在しない場合には、素性ｂのバイナリ値として０を設定する。この場合にもバイナリ値の代わりに品詞の出現頻度を代入しても本発明の目的を達成することが可能である。

素性ｃについて、同図を用いて説明する。属性表現を含む文節と評価表現を含む文節が係り受け関係にある場合には、「→」で繋いだ文節が係り受け関係に該当する。文節間に係り受け関係があると判断した場合には、素性ｃのバイナリ値として１（又はフラグ）を設定する。また文節間に係り受け関係がないと判断した場合には、素性ｃのバイナリ値として０（又はフラグ）を設定する。

素性ｄについて、同図を用いて説明する。属性表現と評価表現との間の距離情報として、例えば属性表現の単語と評価表現の単語との間のＢｙｔｅ数を設定する。また、Ｂｙｔｅ数の代わりに文字数を代入しても、本発明の目的を達成することが可能である。なお、上記の実施形態において、素性ａ、素性ｂ、素性ｃのバイナリ値又はフラグには、正論理を用いてもよいし、負論理を用いるようにしてもよい。

図１５は、属性評価ペア候補記憶部１３０が記憶する属性評価ペア候補の組み合わせを示す図である。

図３に示す学習装置２の属性評価ペア候補記憶部１３０は、属性評価ペア候補抽出手段１００が抽出した属性評価ペア候補を記憶する。同図に示す例では、属性表現記憶部１１０に記憶されている属性表現の集合と、評価表現記憶部１２０に記憶されている評価表現の集合とを参照して、訓練文書記憶部１に記憶されている訓練文書から属性評価ペア候補を抽出した結果を記憶した例を示している。同図に示すＧＩＤ１及びＧＩＤ２は、グループＩＤを示している。素性１〜素性７は、それらの属性評価ペア候補の素性（配列を含む情報であってもよい）である。同図に示すグループ分けは、所定の範囲内を同一文内としてグループＩＤを付与している。

図１６は、属性評価ペア候補記憶部１３０が記憶する属性評価ペア候補に基づいて、訓練事例作成１手段１４０が出力する正例属性評価ペア候補と負例属性評価ペア候補（訓練事例）を示す図である。

図３に示す学習装置２の訓練事例作成１手段１４０は、訓練文書記憶部１に記憶されている訓練文書の、正例属性評価ペアが存在する箇所（オペレータが正例としてラベルを付与した正解とされる文書で、記述者の意見を含む文書。）から抽出した属性表現と評価表現のペアと同一の属性評価ペア候補を正例属性評価ペア候補と定める処理を行う。また、正例属性評価ペア候補が存在するＧＩＤ内で正例属性評価ペア候補ではない属性評価ペア候補（オペレータが正例としてラベルを付与していない属性表現と評価表現のペア）を負例属性評価ペア候補と定める処理を行う。

同図に示す例では、属性評価ペア候補記憶部１３０が記憶しているＧＩＤ２のグループ属性評価ペア候補は、訓練文書の正例属性評価ペアを一つも含まない訓練文から抽出した属性評価ペア候補であるために、訓練事例作成１手段１４０は、正例属性評価ペア候補としても、負例属性評価ペア候補としても選出しない。

図３に示す学習装置２のモデル作成１手段１５０は、訓練事例作成１手段１４０よって定められた正例属性評価ペア候補と負例属性評価ペア候補とを入力して、分類モデル１を作成する。分類モデル１には、後段の処理において正例属性評価ペア候補と負例属性評価ペア候補とに切り分ける境界面を決定する識別関数Ｚ１を用いる。識別関数Ｚ１としては、例えば以下の（式１）に示す関数を用いることができる。

Ｚ１＝a_1・x_1＋a_2・x_2 .... ＋a_n・x_n＋a_0 …（式１）

上記の（式１）で、x_1 〜 x_n には、入力された属性評価ペア候補の素性に含まれる配列要素を用いることができる。例えば前述の図１４に示した例では、表層文字列「デザイン」＝x_1、「以外」＝x_2、「が」＝x_3 …のように、素性ａのバイナリ値（又はフラグ）に応じた値を用いることができる。

また、品詞「名詞」＝ x_1、「助動詞」＝ x_2 …のように、素性ｂのバイナリ値に応じた値を用いることができる。また、素性ｃの係り受け関係の有無を表すバイナリ値（又はフラグ）や、素性ｄの距離情報を表す値を x_1 から x_n に用いることも可能である。

上記の（式１）に示す a_1 〜 a_n は定数である。a_1 〜 a_n には、統計学で用いられる線形判別法や、Support Vector Machine等を用いて決定される定数を代入することができる。例えば、線形判別法では、正例属性評価ペア候補と負例属性評価ペア候補とに分け、それぞれ識別関数Ｚ１に x_1 から x_n を代入し、判別得点Ｚ１ｘを算出する。

正例属性評価ペア候補と負例属性評価ペア候補との２群を最もよく分ける平面とは、全変動をＳｔ、級間変動をＳｂとするとき、相関比（Ｓｂ／Ｓｔ）が最大となる平面である。そこで（Ｓｂ／Ｓｔ）が最大となるように a_1 から a_n を選択する。全変動Ｓｔは、判別得点Ｚ１ｘの全平均Ｚ_all から、各データがどの程度分散しているかを示す値であり、以下の（式２）で求めることができる。

Ｓｔ＝ΣiΣj（Ｚ_ij −Ｚ_all）² …(式2)

ここで i は、群の種類（正例属性評価ペア候補、又は負例属性評価ペア候補）を表すダミーインデックスであり、ここでは１か２の値をとる。また j は、入力データを表すダミーインデックスである。また、級間変動Ｓｂは判定結果が正例の属性評価ペアと負例の属性評価ペアがそれぞれ全平均Ｚ_all からどの程度分散しているかを示す値であり、以下の（式３）で求めることができる。

Ｓｂ=Σi{n_i・（Ｚ_i −Ｚ_all）²} …（式３）

ここで i は、群の種類（正例属性評価ペア候補、又は負例属性評価ペア候補）を表すダミーインデックスであり、ここでは１か２の値をとる。また n_i は、i 番目の群のデータの個数を表す。

図３に示す分類モデル１記憶部３には、モデル作成１手段１５０が作成した識別関数Ｚ１等の分類モデル１を記憶する。

図３に示す学習装置２の分類１手段１６０では、先ず属性評価ペア候補記憶部１３０の属性評価ペア候補を入力するとともに、訓練文書記憶部１から訓練文書を読み出して、オペレータが訓練文書にラベルを付した正例属性評価ペアと同一の属性評価ペア候補を一つも含まない属性評価ペア候補から構成されるグループ（ＧＩＤ）に属する属性評価ペア候補を、未定の属性評価ペア候補として抽出する処理を行う。ここで抽出された属性評価ペア候補は、正例属性評価ペア候補にも属さず、負例属性評価ペア候補にも属さない未定の属性評価ペア候補である。未定の属性評価ペア候補の抽出例を図１７に示す。同図に示すように分類１手段１６０は、ＧＩＤ２に属する未定の属性評価ペア候補を抽出している。

図１７は、上述のようにして分類１手段が抽出した未定の属性評価ペア候補を示す図である。

次に分類１手段１６０は、分類モデル１記憶部３に記憶されている識別関数Ｚ１を用いて、正例の属性評価ペアを一つも含まないグループ（ＧＩＤ）に属する未定の属性評価ペア候補群を、正例属性評価ペア候補又は負例属性評価ペア候補に分類する処理を行う。例えば分類１手段１６０は、分類モデル１記憶部３に記録されている識別関数Ｚ１の x_1 から x_n に属性評価ペア候補の素性を代入して、判別得点Ｚ１ｘの値を算出する。識別関数Ｚ１は、未定の属性評価ペア候補を、正例属性評価ペア候補と負例属性評価ペア候補とに切り分ける境界面を表すので、判別得点Ｚ１ｘが正の値に算出されるか、又は負の値に算出されるかに応じて、正例属性評価ペア候補又は負例属性評価ペア候補に分類することが可能となっている。

図１８は、分類１手段が分類した正例属性評価ペア候補と負例属性評価ペア候補とを示す図である。

図３に示す学習装置２の分類１手段分類結果記憶部１７０は、図１８に示すような分類１手段１６０の分類結果を記憶する。

図３に示す学習装置２の訓練事例作成２手段１８０は、訓練文書記憶部１から訓練文書を読み出して、オペレータが訓練文書にラベルを付した正解とされる属性表現と評価表現のペアと同一の属性評価ペア候補を正例属性評価ペア候補と定めて抽出するとともに、分類１手段分類結果記憶部１７０に記憶されている正例属性評価ペア候補を読み出して負例の属性評価ペア候補に置き換える。

図１９は、訓練事例作成２手段１８０が抽出した正例属性評価ペア候補と、置き換えた負例属性評価ペア候補とを示す図である。同図に示すように、訓練事例作成２手段１８０が抽出した正例属性評価ペア候補はＧＩＤ１の（Ａ１，Ｅ１，素性１）であり、負例として与えられるのは、分類１手段１６０によって正例属性評価ペア候補と判定された（Ａ１，Ｅ１，素性６）である。

図３に示す学習装置２のモデル作成２手段１９０は、訓練事例作成２手段１８０によって抽出された正例属性評価ペア候補並びに置き換えた負例属性評価ペア候補を入力して、識別関数Ｚ２を用いた分類モデル２を作成する。識別関数Ｚ２を用いた分類モデル２の作成方法については、モデル作成１手段１５０と同様であるので、ここでは説明を省略する。

図３に示す学習装置２の分類モデル２記憶部４には、モデル作成２手段１９０が作成した識別関数Ｚ２の分類モデル２を記憶する。

図２０は、学習装置２を用いた識別関数Ｚ１等の分類モデル１及び識別関数Ｚ２等の分類モデル２を抽出する処理のフローチャートである。同図に示すＳ１００からＳ１９０の処理ステップは、図３の学習装置２の各手段における処理に対応している。

図２１は、学習装置２が正例属性評価ペア候補を含む訓練事例から作成した識別関数Ｚ１等の分類モデル１及び識別関数Ｚ２等の分類モデル２を用いて、調査対象文書から正例属性評価ペアを正例意見として抽出する処理を行う分類装置７のブロック図である。

図２１に示す分類装置７の属性表現記憶部１１０が記憶する属性表現の集合と、評価表現記憶部１２０が記憶する評価表現の集合は、図３に示した属性表現記憶部１１０が記憶する属性表現の情報と、評価表現記憶部１２０が記憶する情報と同様の情報を用いることができる。

同図に示す分類装置７は、文書記憶部５から調査対象文書を読み出して属性表現記憶部１１０に記憶されている属性表現の集合と、評価表現記憶部１２０に記憶されている評価表現の集合とを参照し、調査対象文書中に存在している属性表現と評価表現の組み合わせに該当する属性評価ペア候補を抽出して出力する属性評価ペア候補抽出手段２００と、属性評価ペア候補を記憶する属性評価ペア候補記憶手段２３０とを備える。

また分類装置７は、属性評価ペア候補と分類モデル１記憶部３に記憶されている識別関数Ｚ１等の分類モデル１とを入力して、同一グループＩＤ内の属性評価ペア候補を正例属性評価ペア候補又は負例属性評価ペア候補に分類する処理を行う分類１手段２６０と、分類１手段２６０が分類した正例属性評価ペア候補又は負例属性評価ペア候補を記憶する分類１手段分類結果記憶部２７０とを備える。

また分類装置７は、分類モデル２記憶部４に記憶されている識別関数Ｚ２等の分類モデル２を用いて、属性評価ペア候補を正例属性評価ペア又は負例属性評価ペアに分類する処理を行う分類２手段２９０と、分類２手段２９０が分類した正例属性評価ペア又は負例属性評価ペアを記憶する分類２手段分類結果記憶部６とを備える。

図２１に示す文書記憶部５は、調査対象文書を記憶するためのハードディスク等の記憶手段である。調査対象文書には、ｂｌｏｇ等のＷｅｂの掲示板や、Ｅ−ｍａｉｌ、アンケート結果、企業の問い合わせ窓口への問い合わせデータ、報告書、その他の文書が含まれる。これらの調査対象文書は、図３に示した訓練文書記憶部１に記憶されている訓練文書とは異なり、正例属性評価ペアを示すラベルが付されていない文書である。例えば文書記憶部５に、図２２に示すような調査対象文Ｓ１０が記憶されている場合について、以下に説明する。

また、図２１に示す属性評価ペア候補抽出手段２００が実施する処理と、属性評価ペア候補記憶部２３０が実施する処理は、図３に示した学習装置２の属性評価ペア候補抽出手段１００と、属性評価ペア候補記憶部１３０が実施する処理と同様であるので、機能の説明は省略する。例えば図２２に示す調査対象文Ｓ１０について属性評価ペア候補抽出処理を実施すると、属性評価ペア候補記憶部２３０には、図２３に示す属性評価ペア候補が抽出されて記憶される。

図２３は、属性評価ペア候補記憶部２３０が記憶する属性評価ペア候補の例を示す図である。同図に示す例では、（Ａ１，Ｅ１，素性１）の属性評価ペア候補が抽出され、記憶されている。

図２１に示す分類装置７の分類１手段２６０は、属性評価ペア候補記憶部２３０に記憶されている属性評価ペア候補と、分類モデル１記憶部３に記憶されている識別関数Ｚ１等の分類モデル１とを入力して、識別関数Ｚ１を用いて属性評価ペア候補を正例属性評価ペア候補又は負例属性評価ペア候補に分類する処理を行う。

例えば分類１手段２６０は、先ず分類モデル１記憶部３に記録されている識別関数Ｚ１の x_1 から x_n に属性評価ペア候補の素性を代入して判別得点Ｚ１ｘを算出する。識別関数Ｚ１は、正例属性評価ペア候補と負例属性評価ペア候補とを切り分ける境界面を表すため、判別得点Ｚ１ｘの値が正の値であるか、又は負の値であるかによって正例属性評価ペア候補又は負例属性評価ペア候補に分類することが可能である。分類した属性評価ペア候補は、分類１手段分類結果記憶部２７０に記憶する。

図２４は、分類１手段分類結果記憶部２７０に記憶されている属性評価ペア候補を示す図である。

図２１に示す分類装置７の分類１手段分類結果記憶部２７０は、分類１手段２６０が分類した正例属性評価ペア候補又は負例属性評価ペア候補（同図に示す例では、（Ａ１，Ｅ１，素性１）＝正例属性評価ペア候補）を記憶する。

図２１に示す分類２手段２９０は、分類１手段２６０により正例属性評価ペア候補と判定された属性評価ペア候補を、分類モデル２記憶部４に記憶されている識別関数Ｚ２等の分類モデル２を用いて正例属性評価ペア候補又は負例属性評価ペア候補に分類する処理を行う。

分類２手段２９０にて正例属性評価ペア候補に分類された属性評価ペア候補は、調査対象文書の記述者の意見と考えられるので、分類２手段２９０は真の属性評価ペアと判定する。ここで分類２手段２９０は、分類モデル２記憶部４に記録されている識別関数Ｚ２のＸ＿１からＸ＿ｎに、属性評価ペア候補の素性を代入して判別得点Ｚ２ｘを算出する。識別関数Ｚ２は正例属性評価ペア候補と負例属性評価ペア候補を切り分ける境界面を表すため、判別得点Ｚ２ｘの値の正負によって、正例属性評価ペア候補又は負例属性評価ペア候補に分類することが可能である。分類２手段２９０が分類した正例属性評価ペア候補又は負例属性評価ペア候補は、分類２手段分類結果記憶部６に記憶する。

図２５は、分類２手段分類結果記憶部６に記憶されている正例属性評価ペア候補又は負例属性評価ペア候補を示す図である。同図に示す例では、（Ａ１，Ｅ１，素性１）＝正例属性評価ペア）を記憶している。分類２手段２９０によって正例属性評価ペア候補と判定された正例属性評価ペア候補は、真の属性評価ペア、すなわち調査対象文書の記述者の意見として抽出され、記憶される。

図２６は、分類装置７を用いて調査対象文書から記述者の意見を抽出する処理のフローチャートである。同図に示すＳ２００からＳ２９０の処理ステップは、図２１の分類装置７の各手段における処理に対応している。

（第２実施形態）
図２７は、オペレータが入力した正例属性評価ペアを含む訓練事例から属性評価ペア候補分類の学習を行って作成した識別関数Ｚ３等の分類モデル３と、識別関数Ｚ４等の分類モデル４とを生成して出力することによって、どのような文書の場合に属性表現と評価表現は正例属性評価ペアになり、逆にどのような場合に正例属性評価ペアにならないかを判別するための分類モデル３及び分類モデル４を学習させる、学習装置８の処理に関するブロック図である。

図３１は、図２７に示す学習装置８が正例属性評価ペア候補を含む訓練事例から作成した識別関数Ｚ３等の分類モデル３及び識別関数Ｚ４等の分類モデル４を用いて、調査対象文書から正例意見の抽出を行う分類装置９のブロック図である。図３１に示す分類装置９についての説明は後述する。

図２７には、オペレータが正例のラベルを付与したラベル付きの正解データを含む訓練文書を記憶するハードディスク等の訓練文書記憶部１と、訓練文書に基づいた学習を行って識別関数Ｚ３等を用いた分類モデル３及び識別関数Ｚ４等を用いた分類モデル４を作成する学習装置８と、学習装置８のモデル作成１手段３５０が作成した識別関数Ｚ３等の分類モデル３を記憶する分類モデル１記憶部３と、学習装置８のモデル作成２手段１９０が作成した識別関数Ｚ４の分類モデル４を記憶する分類モデル２記憶部４とが示されている。

図２７に示す学習装置８は、訓練文書記憶部１から訓練文書を読み出して属性表現記憶部１１０に記憶されている属性表現の集合と評価表現記憶部１２０に記憶されている評価表現の集合とを参照し、訓練文書中に存在している属性表現と評価表現の組み合わせに該当する属性評価ペア候補を抽出して出力する属性評価ペア候補抽出手段１００と、属性評価ペア候補を記憶する属性評価ペア候補記憶手段１３０とを備える。

図２７に示す学習装置８の訓練文書記憶部１に記憶する訓練文書は、図３に示した訓練文書記憶部１に記憶する訓練文書と同様の訓練文書を用いることができる。また、属性表現記憶部１１０が記憶する属性表現の集合と、評価表現記憶部１２０が記憶する評価表現の集合は、図３に示した属性表現記憶部１１０が記憶する属性表現の情報と、評価表現記憶部１２０が記憶する情報と同様の情報を用いることができる。

また学習装置８は、訓練文書記憶部１から訓練文書を読み出して、オペレータが訓練文書にラベルを付した正解とされる属性表現と評価表現のペアと同一の属性評価ペア候補を一つ以上含むグループＩＤの属性評価ペア候補を抽出するとともに、２組の属性評価ペア候補内の２つの属性表現の素性や位置関係等に基づいて属性評価比較ペアを生成し、訓練文書中の先頭から左側（前方）に存在する属性表現が訓練文書中の正例属性評価ペアの属性表現と一致している場合には、属性評価比較ペア候補にＬｅｆｔのラベルを付与した属性評価比較ペアを生成し、訓練文書中の先頭から右側（後方）に存在する属性表現が訓練文書中の正例属性評価ペアの属性表現と一致している場合には、属性評価比較ペア候補にＲｉｇｈｔのラベルを付与した属性評価比較ペアを生成する処理を行う訓練事例作成１手段３４０を備える。

また学習装置８は、属性評価比較ペアを入力して属性表現と評価表現に正しい関係が存在するか否かを主に学習する識別関数Ｚ３等の分類モデル３を作成するモデル作成１手段３５０を備える。

また学習装置８は、同一グループＩＤ内の２組の未定の属性評価ペア候補群から属性評価比較ペアを作成し、分類モデル１記憶部３に記憶されている識別関数Ｚ３と未定の属性評価ペア候補とを用いてトーナメント方式に順番に比較して、同一グループＩＤ毎に正例属性評価ペア候補と負例属性評価ペア候補とに分類する分類１手段３６０と、分類１手段３６０が分類した正例属性評価ペア候補又は負例属性評価ペア候補を記憶する分類１手段分類結果記憶部１７０とを備える。

また学習装置８は、訓練文書記憶部１から訓練文書を読み出して、オペレータが訓練文書にラベルを付した正解とされる属性表現と評価表現のペアと同一の属性評価ペア候補を正例属性評価ペア候補と定めて抽出するとともに、分類１手段分類結果記憶部１７０に記憶されている正例属性評価ペア候補を読み出して負例の属性評価ペア候補に置き換える訓練事例作成２手段１８０と、訓練事例作成２手段１８０によって抽出された正例属性評価ペア候補並びに置き換えた負例属性評価ペア候補を入力して、訓練文書から主に主観評価を学習するための識別関数Ｚ４等を用いた分類モデル４を作成するモデル作成２手段１９０とを備える。

図２８は、訓練事例作成１手段３４０が、属性評価ペア候補記憶部１３０に記憶されている属性評価ペア候補を用いて作成した属性評価比較ペア（訓練事例）を示す図である。

図２７に示す学習装置８の訓練事例作成１手段３４０は、先ず訓練文書記憶部１に記憶されている訓練文書の、正例属性評価ペアが存在する箇所（オペレータが正例としてラベルを付与した正解とされる文書で、記述者の意見を含む文書。）から抽出した属性表現と評価表現のペアと同一の属性評価ペア候補を一つ以上含むグループＩＤの属性評価ペア候補を抽出する処理を行う。図２７に示す例では、ＧＩＤ１のグループに属する属性評価ペア候補が抽出される。

次に訓練事例作成１手段３４０は、抽出した属性評価ペア候補のうち、正例属性評価ペアと一致する属性表現と評価表現のペアを含む任意の２つの属性表現と、１つの評価表現のペアを組み合わせた属性評価比較ペアを生成する処理を行う。なお、図２７に示す例では、属性評価ペア候補記憶部１３０が記憶しているＧＩＤ２のグループ属性評価ペア候補は、訓練文書の正例属性評価ペアを一つも含まない訓練文から抽出した属性評価ペア候補であるために、訓練事例作成１手段３４０はＧＩＤ２のグループに属する属性評価ペア候補については属性評価比較ペアとして選出しない。

次に訓練事例作成１手段３４０は、属性評価比較ペア内の２つの属性表現の素性や位置関係等に基づいて、訓練文書中の先頭から左側（前方）に存在する属性表現が、訓練文書中の正例属性評価ペアの属性表現と一致している場合には、属性評価比較ペアにＬｅｆｔのラベルを付与した属性評価比較ペアを生成する処理を行う。このＬｅｆｔのラベルが付与されている属性評価比較ペアでは、右側の属性表現よりも左側の属性表現の方が正例属性評価ペアに近い素性を有していることを示している。例えば図２８に示す例では、属性表現「Ａ１」の方が属性表現「Ａ２」、「Ａ３」、「Ａ４」よりも正例属性評価ペアに近い素性を有している属性表現であることを示している。

また同様に訓練事例作成１手段３４０は、属性評価比較ペア内の２つの属性表現の素性や位置関係等に基づいて、訓練文書中の先頭から右側（後方）に存在する属性表現が、訓練文書中の正例属性評価ペアの属性表現と一致している場合には、属性評価比較ペアにＲｉｇｈｔのラベルを付与した属性評価比較ペアを生成する処理を行う。このＲｉｇｈｔのラベルが付与されている属性評価比較ペアでは、左側の属性表現よりも右側の属性表現の方が正例属性評価ペアに近い素性を有していることを示している。

例えば属性評価ペア候補記憶部１３０に図１５に示した属性評価ペア候補が記憶されている場合には、訓練文書記憶部１の正例属性評価ペアと一致している属性評価ペア候補を含むＧＩＤ１のグループに属する属性評価ペア候補を取り出して、正例属性評価ペアと一致する（Ａ１，Ｅ１，素性１）を含む任意の２つの属性評価ペア候補を組み合わせた属性評価比較ペア（例えば図２８の３つの属性評価比較ペア）を作成する。

図２８に示す３つの属性評価比較ペアの例では、３つとも文書の先頭から左側の属性表現「Ａ１」が、訓練文書中の正例属性評価ペアと一致しているために「Ｌｅｆｔ」のラベルが付与されている。なお、「Ｌｅｆｔ」又は「Ｒｉｇｈｔ」というラベルは、左側、右側を示す情報のラベルであればどのような種類のラベルであってもよい。

図２７に示す学習装置８のモデル作成１手段３５０は、訓練事例作成１手段３４０よって作成された属性評価比較ペアを入力して、分類モデル３を作成する。分類モデル３の作成方法は、図３に示した学習装置２の分類モデル１作成手段１５０が実行する処理と同様の、後段の処理においてＬｅｆｔとＲｉｇｈｔとに切り分ける境界面を決定する識別関数Ｚ３を用いる。識別関数Ｚ３としては、例えば前述の（式１）に示す識別関数Ｚ１を用いることができる。なお属性評価比較ペアの素性は、組み合わせ元の２つの属性評価ペア候補の素性の配列を連結したものを用いることができる。作成した識別関数Ｚ３等の分類モデル３は、分類モデル１記憶部３に記憶する。

図２７に示す学習装置８の分類１手段３６０では、先ず属性評価ペア候補記憶部１３０から属性評価ペア候補を入力するとともに、訓練文書記憶部１から訓練文書を読み出して、オペレータが訓練文書にラベルを付した正例属性評価ペアと同一の属性評価ペア候補を一つも含まない属性評価ペア候補から構成されるグループ（ＧＩＤ）に属する属性評価ペア候補を、未定の属性評価ペア候補として抽出する処理を行う。ここで抽出された属性評価ペア候補は、図１７に示すような未定の属性評価ペア候補である。なお、図１７に示した未定の属性評価ペア候補は単一のグループ（ＧＩＤ２）に属する属性評価ペア候補のみを示しているが、複数のグループが抽出される場合もある。

次に分類１手段３６０は、２組の未定の属性評価ペア候補内の２つの属性表現素性に基づいて属性評価比較ペアを生成する。次に分類１手段３６０は、分類モデル１記憶部３に記憶されている識別関数Ｚ３を用いて、生成した属性評価比較ペアとその素性を用いてトーナメント方式に順番に比較し、同一グループＩＤ毎に最終的に残った一つの属性評価ペア候補を正例属性評価ペア候補に設定し、正例属性評価ペア候補以外の属性評価ペア候補を負例属性評価ペア候補に設定する処理を行う。

例えば分類１手段３６０は、分類モデル１記憶部３に記録されている識別関数Ｚ３の x_1 から x_n に属性評価ペア候補の素性を代入して、判別得点Ｚ３ｘの値を算出する。識別関数Ｚ３は、属性評価ペア候補をＬｅｆｔとＲｉｇｈｔとに切り分ける境界面を決定する関数であるので、判別得点Ｚ３ｘが正の値に算出されるか、又は負の値に算出されるかに応じて、ＬｅｆｔとＲｉｇｈｔとに切り分けることによって、属性評価比較ペアを生成する処理を行う。

次にトーナメント方式を用いて属性評価ペア候補を順番に比較する処理について説明する。先ず分類１手段３６０は、文書の右側に最も近い属性表現を含む２つの属性評価ペア候補を比較する。すなわち、これらの２つの属性評価ペア候補組み合わせた属性評価比較ペアを作成し、それをモデル１記憶部３の分類モデル３を用いてＬｅｆｔまたはＲｉｇｈｔに分類し、Ｌｅｆｔの場合は左側の属性評価ペア候補を残し、Ｒｉｇｈｔの場合は右側の属性評価ペア候補を残す処理を行う。以降の比較では、残った属性評価ペア候補と比較が済んでいない属性評価比較ペアの中で最も右側の属性表現を含む２つの属性評価ペア候補を順番に比較する処理を繰り返す。

分類１手段３６０にて、正例属性評価ペア候補又は負例属性評価ペア候補のどちらに分類されるかは、属性評価候補ペアの素性に依存するが、図１５に示した属性評価ペア候補を用いて分類する場合には、図１７に示す属性評価ペア候補（訓練事例作成１手段で使われなかったＧＩＤ２の属性評価ペア候補）に基づいて分類することになる。その分類を行った結果、図１８のように分類されて分類１手段分類結果記憶部１７０に記憶された場合について説明する。

図２９は、分類１手段３６０がトーナメント方式を用いて分類する様子を示す図である。

先ず分類１手段３６０は、文書の右側に最も近い２つの属性評価ペア候補（Ａ７，Ｅ１，素性８），（Ａ６，Ｅ１，素性７）の２つを比較するために、属性評価比較ペア（Ａ６，Ａ７，Ｅ１，素性７，素性８）を作成する。この属性評価比較ペアを分類モデル３を用いて判別得点Ｚ３ｘを求めたところＬｅｆｔに分類されたとする。するとこの場合には（Ａ６，Ｅ１，素性７）が残る。

次に、この（Ａ６，Ｅ１，素性７）と（Ａ１，Ｅ１，素性６）を比較して、同様に分類モデル３を用いてＬｅｆｔに分類されたとする。するとこの場合には（Ａ１，Ｅ１，素性６）が残る。最後に（Ａ１，Ｅ１，素性６）と（Ａ５，Ｅ１，素性５）を比較し、分類モデル３を用いてＲｉｇｈｔに分類されたとする。するとこの場合には（Ａ１，Ｅ１，素性６）の正例属性評価ペア候補が残る。以上のようにして分類１手段３６０は、属性評価ペア候補を、正例属性評価ペア候補と負例属性評価ペア候補とに分類する処理を行う。

図２７に示す学習装置８の訓練事例作成２手段１８０と、モデル作成２手段１９０とが実行する処理は、図３に示した学習装置２が実行する処理と同様であるので、ここでは説明を省略する。

図３０は、学習装置８を用いた識別関数Ｚ３等の分類モデル３及び識別関数Ｚ４等の分類モデル４を抽出する処理のフローチャートである。同図に示すＳ１００からＳ１９０の処理ステップは、図２７の学習装置８の各手段における処理に対応している。

図３１は、学習装置８が正例属性評価ペア候補を含む訓練事例から作成した識別関数Ｚ３等の分類モデル３及び識別関数Ｚ
４等の分類モデル４を用いて、調査対象文書から正例属性評価ペアを正例意見として抽出する処理を行う分類装置９のブロック図である。

図３１に示す分類装置９の属性表現記憶部１１０が記憶する属性表現の集合と、評価表現記憶部１２０が記憶する評価表現の集合は、図３に示した属性表現記憶部１１０が記憶する属性表現の情報と、評価表現記憶部１２０が記憶する情報と同様の情報を用いることができる。

図３１に示す分類装置９は、文書記憶部５から調査対象文書を読み出して属性表現記憶部１１０に記憶されている属性表現の集合と、評価表現記憶部１２０に記憶されている評価表現の集合とを参照し、調査対象文書中に存在している属性表現と評価表現の組み合わせに該当する属性評価ペア候補を抽出して出力する属性評価ペア候補抽出手段２００と、属性評価ペア候補を記憶する属性評価ペア候補記憶手段２３０とを備える。

図３１に示す分類装置９は、属性評価ペア候補記憶部２３０が記憶している同一のグループＩＤ内の２組の属性評価ペア候補群から属性評価比較ペアを作成し、分類モデル１記憶部３に記憶されている識別関数Ｚ３等の分類モデル３と属性評価比較ペアとを用いてトーナメント方式に順番に比較して、同一グループＩＤ毎に正例属性評価ペア候補と負例属性評価ペア候補とに分類する分類１手段４６０と、分類１手段４６０が分類した正例属性評価ペア候補又は負例属性評価ペア候補を記憶する分類１手段分類結果記憶部２７０とを備える。

また分類装置９は、分類モデル２記憶部４に記憶されている識別関数Ｚ４等の分類モデル４を用いて、属性評価ペア候補を正例属性評価ペア又は負例属性評価ペアに分類する処理を行う分類２手段２９０と、分類２手段２９０が分類した正例属性評価ペア又は負例属性評価ペアを記憶する分類２手段分類結果記憶部６とを備える。

図３１に示す文書記憶部５は、調査対象文書を記憶するためのハードディスク等の記憶手段である。調査対象文書には、ｂｌｏｇ等のＷｅｂの掲示板や、Ｅ−ｍａｉｌ、アンケート結果、企業の問い合わせ窓口への問い合わせデータ、報告書、その他の文書が含まれる。これらの調査対象文書は、図２７に示した訓練文書記憶部１に記憶されている訓練文書とは異なり、正例属性評価ペアを示すラベルが付されていない文書である。

また、図３１に示す属性評価ペア候補抽出手段２００が実施する処理と、属性評価ペア候補記憶部２３０が実施する処理は、図３に示した学習装置２の属性評価ペア候補抽出手段１００と、属性評価ペア候補記憶部１３０が実施する処理と同様であるので、機能の説明は省略する。例えば図２２に示す調査対象文Ｓ１０について属性評価ペア候補抽出処理を実施すると、図２３に示す属性評価ペア候補が抽出されて、属性評価ペア候補記憶部２３０に記憶される。

図３１に示す分類装置９の分類１手段４６０は、先ず属性評価ペア候補記憶部２３０が記憶している同一のグループＩＤ内の２組の属性評価ペア候補から属性評価比較ペアを作成する。

次に分類１手段４６０は、分類モデル１記憶部３に記憶されている識別関数Ｚ３等の分類モデル３と属性評価ペア候補とを用いてトーナメント方式に順番に比較して、同一グループＩＤ毎に最終的に残った一つの属性評価ペア候補を正例属性評価ペア候補として分類する。また分類１手段４６０は、正例属性評価ペア候補とされなかった属性評価ペア候補を負例属性評価ペア候補として分類する処理を行う。トーナメント方式を用いた分類処理は、学習装置８の分類１手段３６０が実施する処理と同様の処理を用いることができる。分類１手段４６０にて、属性評価ペア候補が正例属性評価ペア候補又は負例属性評価ペア候補のどちらに分類されるかは、属性評価ペア候補の素性に依存する。例えば、図２３に示す属性評価ペア候補を入力して分類した場合には、図２４に示す正例属性評価ペア候補に分類され、分類１手段分類結果記憶部２７０に記憶される。

図３１に示す分類装置９の分類２手段２９０は、分類１手段４６０により正例属性評価ペア候補と判定された属性評価ペア候補を、分類モデル２記憶部４に記憶されている識別関数Ｚ４等の分類モデル４を用いて正例属性評価ペア又は負例属性評価ペアに分類する処理を行う。

分類２手段２９０にて正例属性評価ペアに分類された属性評価ペア候補は、調査対象文書の記述者の意見と考えられるので、分類２手段２９０は真の属性評価ペアと判定する。分類２手段２９０が実行する処理は、図２１に示した分類２手段２９０が実行する処理と同様の処理であるので、ここでは説明を省略する。分類２手段２９０が分類した正例属性評価ペア又は負例属性評価ペアは、分類２手段分類結果記憶部６に記憶する。

分類２手段分類結果記憶部６に記憶されている正例属性評価ペア又は負例属性評価ペアを、図２５に示す。分類２手段２９０によって正例属性評価ペアと判定された正例属性評価ペア候補は、真の属性評価ペア、すなわち調査対象文書の記述者の意見として抽出され、記憶される。

図３２は、分類装置９を用いて調査対象文書から記述者の意見を抽出する処理のフローチャートである。同図に示すＳ２００からＳ２９０の処理ステップは、図３１の分類装置９の各手段における処理に対応している。

本発明に係る意見抽出用の学習装置及び分類装置を用いることによって、オペレータが入力した訓練文書を有効に利用した高精度の意見抽出を実現することが可能となる。その理由は、主に属性表現と評価表現の関係を学習できるように、訓練文書の中から負例を抽出して選択的に用いて作成した分類モデル１又は分類モデル３と、主に主観評価性を学習できるように負例を選択的に用いて作成した分類モデル２又は分類モデル４とを用いるからである。

分類モデル１を作成する学習装置２のモデル作成１手段１５０（又は分類モデル３を作成する学習装置８のモデル作成１手段３５０）の負例は、正例を一つ以上含むグループＩＤの負例のみである。正例を一つ以上含むグループの負例は、主観評価であるが属性表現と評価表現に関係がない可能性が高いものである。したがって、学習装置２のモデル作成１手段１５０（又は学習装置８のモデル作成１手段３５０）は、訓練文書から属性表現と評価表現に正しい関係が存在するか否かを主に学習することは可能であるが、訓練文書から主観評価を学習することは困難である。

一方、分類モデル２を作成する学習装置２のモデル２作成手段１９０（又は分類モデル３を作成する学習装置８のモデル作成２手段１９０）の負例は、学習装置２の分類１手段１６０（又は学習装置８の分類１手段３６０）によって間違って正例と判定される負例のみである。学習装置２の分類１手段１６０（又は学習装置８の分類１手段３６０）によって正例と判定されたものの、実際には調査対象文書の記述者の意見を表していない負例であるという現象が生じている場合には、属性表現と評価表現との間に何らかの関係はあるが、記述者の主観評価ではないという可能性が高い。

本発明に係る学習装置２のモデル２作成手段１９０（又は学習装置８のモデル作成２手段１９０）は、訓練文書に基づいて主に主観評価性を学習することが可能である。このように、訓練文書から属性表現と評価表現に正しい関係が存在するか否かを主に学習することが可能な分類モデル１（又は分類モデル３）と、訓練文書から主に主観評価を学習するための分類モデル２（又は分類モデル４）とを負例を選択的に用いることによって、分類モデル１（又は分類モデル３）のみでは正しい関係が存在するとして選択される属性評価ペアについて、主観評価を学習した分類モデル２（又は分類モデル３）を用いて分類モデル１による判断を補正し、意見の抽出精度を向上させることが可能となる。

本発明によれば、ｂｌｏｇ等のＷｅｂの掲示板や、Ｅ−ｍａｉｌ、報告書類、その他の意見そのものを記述することを目的としていない文書から、記述者の意見をより正確に自動で抽出することが可能となるので、商品購入前の事前調査や、企業の市場調査等のマーケティング活動の効率を向上させ、より利用者の希望に則した製品を早期に提供することが可能となる。

訓練事例を用いて属性評価ペア候補分類の学習を行い、識別関数等の分類モデルを作成する学習装置１０の構成を示すブロック図である。調査対象文書を入力し、訓練事例から生成した識別関数等の分類モデルを用いて意見の抽出を行う分類装置１１の構成を示すブロック図である。本発明に係る第１実施形態の学習装置の構成を示すブロック図である。訓練文書の例を示す図である。訓練文書を一般的に表現した状態を示す図である。属性表現記憶部が記憶している属性表現の集合を示す図である。評価表現記憶部が記憶している評価表現の集合を示す図である。訓練文書記憶部１に記憶されている訓練文書の一例を示す図である。評価表現Ｅ１を含む文と同一文内に属性表現が存在する属性評価ペア候補のグループ（ＧＩＤ１）と、評価表現Ｅ２を含む文と同一文内に属性表現が存在する属性評価ペア候補のグループ（ＧＩＤ２）とに分類した分類例を示す図である。評価表現Ｅ１を含む文とその前方１文以内に属性表現が存在する属性評価ペア候補のグループ（ＧＩＤ１）と、評価表現Ｅ２を含む文とその前方１文以内に属性表現が存在する属性評価ペア候補のグループ（ＧＩＤ２）とに分類した分類例を示す図である。評価表現を含む文と同一文内に属性表現が存在するという条件と、最も評価表現に近い場所に存在する正例の属性タグが付与されたＡ１までを、分類の範囲として限定した分類例を示す図である。訓練文書記憶部１に記憶されている訓練文Ｓ６及びＳ７を例示する図である。訓練文Ｓ６及びＳ７について形態素解析及び構文解析を実施した結果を例示する図である。形態素解析及び構文解析を行った結果を用いて素性を抽出した結果を例示する図である。属性評価ペア候補記憶部が記憶する属性評価ペア候補の組み合わせを示す図である。訓練事例作成１手段が出力する正例属性評価ペア候補と負例属性評価ペア候補を示す図である。分類１手段が抽出した未定の属性評価ペア候補を示す図である。分類１手段が分類した正例属性評価ペア候補と負例属性評価ペア候補とを示す図である。訓練事例作成２手段が抽出した正例属性評価ペア候補と、置き換えた負例属性評価ペア候補とを示す図である。学習装置２を用いた分類モデル１及び分類モデル２を抽出する処理のフローチャートである。本発明に係る第１実施例の分類装置の構成を示すブロック図である。調査対象文Ｓ１０の内容を示す図である。属性評価ペア候補記憶部が記憶する属性評価ペア候補の例を示す図である。分類１手段分類結果記憶部に記憶されている属性評価ペア候補を示す図である。分類２手段分類結果記憶部６に記憶されている正例属性評価ペア又は負例属性評価ペアを示す図である。分類装置７を用いて調査対象文書から記述者の意見を抽出する処理のフローチャートである。本発明に係る第２実施形態の学習装置の構成を示すブロック図である。訓練事例作成１手段が作成した属性評価比較ペアを示す図である。分類１手段がトーナメント方式を用いて分類する様子を示す図である。学習装置８を用いた分類モデル３及び分類モデル４を抽出する処理のフローチャートである。本発明に係る第２実施形態の分類装置の構成を示すブロック図である。分類装置９を用いて調査対象文書から記述者の意見を抽出する処理のフローチャートである。

符号の説明

１訓練文書記憶部
２、８、１０学習装置
３分類モデル１記憶部
４分類モデル２記憶部
５文書記憶部
６分類２手段分類結果記憶部
７、９、１１分類装置
１２分類モデル記憶部
１３分類手段分類結果記憶部
１００、２００属性評価ペア候補抽出手段
１１０属性表現記憶部
１２０評価表現記憶部
１３０、２３０属性評価ペア候補記憶手段
１４０、３４０訓練事例作成１手段
１５０、３５０モデル作成１手段
１６０、２６０、３６０、４６０分類１手段
１７０、２７０分類１手段分類結果記憶部
１８０訓練事例作成２手段
１９０モデル作成２手段
２１０訓練事例作成手段
２２０モデル作成手段
２３０分類手段
２９０分類２手段

Claims

文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書を入力し、訓練文書中に存在している属性表現と評価表現の組み合わせに該当する属性評価ペア候補を訓練文書毎にグループ分けして抽出するとともに、それぞれの属性評価ペア候補に対して、素性の情報を付与する処理を行う属性評価ペア候補抽出手段と、
文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書と、訓練文書毎にグループ分けした属性評価ペア候補とを入力して、正例属性評価ペアと同一の属性評価ペア候補を正例属性評価ペア候補と定めるとともに、正例属性評価ペア候補が存在するグループ内で正例属性評価ペア候補でない属性評価ペア候補を負例属性評価ペア候補と定める処理を行う訓練事例作成１手段と、
正例属性評価ペア候補と負例属性評価ペア候補とを入力して、属性評価ペア候補を正例属性評価ペア候補と負例属性評価ペア候補とに切り分ける境界面を示す識別関数Ｚ１を分類モデル１として所定の学習方式を用いて作成する処理を行うモデル作成１手段と、
文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書と、訓練文書毎にグループ分けした属性評価ペア候補と、識別関数Ｚ１の分類モデル１とを入力して、正例属性評価ペアと同一の属性評価ペア候補を一つも含まない属性評価ペア候補から構成されるグループに属する属性評価ペア候補を未定の属性評価ペア候補として抽出し、前記分類モデル１を用いて未定の属性評価ペア候補を正例属性評価ペア候補又は負例属性評価ペア候補に分類する処理を行う分類１手段と、
文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書と、訓練文書毎にグループ分けした属性評価ペア候補と、分類モデル１手段が分類した正例属性評価ペア候補とを入力して、当該正例属性評価ペア候補を負例属性評価ペア候補に置き換えるとともに、正例属性評価ペアと同一の属性評価ペア候補を正例属性評価ペア候補と定める処理を行う訓練事例作成２手段と、
訓練事例作成２手段が定めた正例属性評価ペア候補並びに訓練事例作成２手段が置き換えた負例属性評価ペア候補を入力して、属性評価ペア候補を正例属性評価ペア候補と負例属性評価ペア候補とに切り分ける境界面を示す識別関数Ｚ２を分類モデル２として線形判別関数等の学習方式を用いて作成して出力する処理を行うモデル作成２手段と
を備え、
前記素性の情報とは、
（ａ）前記訓練文書を構成する全ての単語である各表層文字列の全種類数における出現の有無または出現頻度を組み合わせた配列に対して、該当する属性評価ペア候補の属性表現及び評価表現の表層文字列としての有無または出現頻度を数値化した配列情報、
（ｂ）前記訓練文書を構成する全ての単語の各品詞の全種類数における出現の有無または出現頻度を組み合わせた配列に対して該当する属性評価ペア候補の属性表現及び評価表現の品詞としての有無または出現頻度を数値化した配列情報、
（ｃ）該当する属性評価ペア候補における属性表現と評価表現が係り受け関係にあるか否か示す数値化情報、
（ｄ）該当する属性評価ペア候補における属性表現と評価表現間のバイト数または文字数を距離情報として数値化した数値化情報の少なくとも何れか一の、または、それらの組み合わせた予め定められた情報であり、
前記モデル作成１手段が、前記正例属性評価ペア候補と前記負例属性評価ペア候補の各ペア候補毎に、それぞれの素性の情報に含まれる配列情報の各配列要素の値または数値化情報を（式Ａ）に示す識別関数Ｚの各要素ｘ１〜ｘｎに代入し、前記正例属性評価ペア候補と前記負例属性評価ペア候補の２群を分ける定数ａ０〜ａｎを選択し、当該選択された定数ａ０〜ａｎを有する識別関数Ｚ１を前記分類モデル１として生成し、
前記モデル作成２手段が、前記訓練事例作成２手段が定めた正例属性評価ペア候補と前記訓練事例作成２手段が定めた負例属性評価ペア候補の各ペア候補毎に、それぞれの素性の情報に含まれる配列情報の各配列要素の値または数値化情報を（式Ａ）に示す識別関数Ｚの各要素ｘ１〜ｘｎに代入し、当該正例属性評価ペア候補と当該負例属性評価ペア候補の２群を分ける定数ａ０〜ａｎを決定し、当該決定された定数ａ０〜ａｎを有する識別関数Ｚ２を前記分類モデル２として生成することを特徴とする意見抽出用学習装置。
識別関数Ｚ＝ａ１×ｘ１＋・・・・＋ａｎ×ｘｎ＋ａ０
（ｎは２以上の自然数）・・・（式Ａ）
所定の調査対象文書を入力し、調査対象文書中に存在している属性表現と評価表現の組み合わせに該当する属性評価ペア候補を調査対象文書毎にグループ分けして抽出するとともに、それぞれの属性評価ペア候補に対して、素性の情報を付与する処理を行う属性評価ペア候補抽出手段と、
調査対象文書毎にグループ分けした属性評価ペア候補と、属性評価ペア候補を正例属性評価ペア候補と負例属性評価ペア候補とに切り分ける境界面を決定する識別関数Ｚである分類モデル１を入力して、前記入力された分類モデル１に基づいて前記入力された属性評価ペア候補における識別関数Ｚ１を求め、当該属性評価ペア候補を正例属性評価ペア候補または負例属性評価ペア候補に分類する処理を行う分類１手段と、
前記分類１手段が正例属性評価ペア候補と判定した属性評価ペア候補と、当該属性評価ペア候補を正例属性評価ペア候補と負例属性評価ペア候補とに切り分け、前記分類モデル１と異なる境界面を決定する識別関数Ｚである分類モデル２とを入力して、前記入力された分類モデル２に基づいて前記判定された属性評価ペア候補における識別関数Ｚ２を求め、当該属性評価ペア候補を正例属性評価ペア候補または負例属性ペア候補に分類し、分類した正例属性評価ペア候補を真の属性評価ペアと判定する処理を行う分類２手段と、
を備え、
各素性の情報とは、（ａ）前記調査対象文書を構成する全ての単語である各表層文字列の全種類数における出現の有無または出現頻度を組み合わせた配列に対して、該当する属性評価ペア候補の属性表現及び評価表現の表層文字列としての有無または出現頻度を数値化した配列情報、（ｂ）前記調査対象文書を構成する全ての単語の各品詞の全種類数における出現の有無または出現頻度を組み合わせた配列に対して該当する属性評価ペア候補の属性表現及び評価表現の品詞としての有無または出現頻度を数値化した配列情報、（ｃ）該当する属性評価ペア候補における属性表現と評価表現が係り受け関係にあるか否か示す数値化情報、（ｄ）該当する属性評価ペア候補における属性表現と評価表現間のバイト数または文字数を距離情報として数値化した数値化情報の少なくとも何れか一の、または、それらの組み合わせた予め定められた情報であり、
前記分類１手段が、前記属性評価ペア候補毎に、それぞれの素性の情報に含まれる配列情報の各配列要素の値または数値化情報を（式Ａ）に示す識別関数Ｚの各要素ｘ１〜ｘｎに代入し、前記正例属性評価ペア候補と前記負例属性評価ペア候補の２群を分ける定数ａ０〜ａｎを選択し、当該選択された定数ａ０〜ａｎを有する識別関数Ｚ１を求め、当該Ｚ１の正負に基づいて属性評価ペア候補を正例属性評価ペア候補または負例属性評価ペア候補に分類するとともに、
前記分類２手段が、前記分類１手段が正例属性評価ペア候補と判定した属性評価ペア候補毎に、それぞれの素性の情報に含まれる配列情報の各配列要素の値または数値化情報を（式Ａ）に示す識別関数Ｚの各要素ｘ１〜ｘｎに代入し、前記正例属性評価ペア候補と前記負例属性評価ペア候補の２群を分ける定数ａ０〜ａｎを選択し、当該選択された定数ａ０〜ａｎを有する識別関数Ｚ２を求め、当該Ｚ２の正負に基づいて当該属性評価ペア候補を正例属性評価ペア候補または負例属性ペア候補に分類し、分類した正例属性評価ペア候補を真の属性評価ペアと判定することを特徴とする意見抽出用分類装置。
識別関数Ｚ＝ａ１×ｘ１＋・・・・＋ａｎ×ｘｎ＋ａ０
（ｎは２以上の自然数）・・・（式Ａ）
文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書を入力し、訓練文書中に存在している属性表現と評価表現の組み合わせに該当する属性評価ペア候補を訓練文書毎にグループ分けして抽出するとともに、それぞれの属性評価ペア候補に対して、素性の情報を付与する処理を行う属性評価ペア候補抽出手段と、
文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書と、訓練文書毎にグループ分けした属性評価ペア候補とを入力して、（１）正例属性評価ペアと同一の属性評価ペア候補を一つ以上含むグループ内の属性評価ペア候補を抽出するとともに、（２）抽出した属性評価ペア候補の中で正例属性評価ペアと一致する属性表現と評価表現から構成される属性評価ペア候補と、同一の評価表現を含む同一グループ内の他の属性評価ペア候補の２つを合わせて属性評価比較ペアを作成し、（３）それぞれの属性評価比較ペアの素性の情報として属性評価比較ペア候補作成手段が付与した２つの属性評価ペア候補の素性の情報を合わせたものを付与し、（４）各属性評価比較ペア候補に関して、前記訓練文書中の前方に存在する属性表現が当該訓練文書中の正例属性評価ペアの属性表現と一致している場合には該当する属性評価比較ペアにＬｅｆｔのラベルを付与し、前記訓練文書中の後方に存在する属性表現が訓練文書中の正例属性評価ペアの属性表現と一致している場合には該当する属性評価比較ペアにＲｉｇｈｔのラベルを付与する処理を行う訓練事例作成１手段と、
訓練事例作成１手段によってＬｅｆｔ又はＲｉｇｈｔのラベルが付された属性評価比較ペアを入力して、前記属性評価比較ペアをＬｅｆｔとＲｉｇｈｔとに切り分ける境界面を示す識別関数Ｚ３を分類モデル３として所定の学習方式を用いて作成するモデル作成１手段と
訓練文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書と、訓練文書毎にグループ分けした属性評価ペア候補と、前記分類モデル３とを入力して、正例属性評価ペアと同一の属性評価ペア候補を一つも含まない属性評価ペア候補から構成されるグループに属する属性評価ペア候補を未定の属性評価ペア候補として抽出し、前記分類モデル３に基づいて、グループ毎に一の正例属性評価ペア候補を設定し、当該正例属性評価ペア候補以外の属性評価ペア候補を負例属性評価ペア候補に設定する処理を行う分類１手段と、
訓練文書中の属性表現と評価表現とを関連付けるラベルを付した正例属性評価ペアを含む訓練文書と、訓練文書毎にグループ分けした属性評価ペア候補と、分類モデル１手段が分類した正例属性評価ペア候補とを入力して、当該正例属性評価ペア候補を負例属性評価ペア候補に置き換えるとともに、正例属性評価ペアと同一の属性評価ペア候補を正例属性評価ペア候補と定める処理を行う訓練事例作成２手段と、
訓練事例作成２手段が定めた正例属性評価ペア候補並びに訓練事例作成２手段が置き換えた負例属性評価ペア候補を入力して、属性評価ペア候補を正例属性評価ペア候補と負例属性評価ペア候補とに切り分ける境界面を示す識別関数Ｚ４を分類モデル４として所定の学習方式を用いて作成して出力する処理を行うモデル作成２手段と、
を備え、
各素性の情報とは、（ａ）前記訓練文書を構成する全ての単語である各表層文字列の全種類数における出現の有無または出現頻度を組み合わせた配列に対して、該当する属性評価ペア候補の属性表現及び評価表現の表層文字列としての有無または出現頻度を数値化した配列情報、（ｂ）前記訓練文書を構成する全ての単語の各品詞の全種類数における出現の有無または出現頻度を組み合わせた配列に対して該当する属性評価ペア候補の属性表現及び評価表現の品詞としての有無または出現頻度を数値化した配列情報、（ｃ）該当する属性評価ペア候補における属性表現と評価表現が係り受け関係にあるか否か示す数値化情報、（ｄ）該当する属性評価ペア候補における属性表現と評価表現間のバイト数または文字数を距離情報として数値化した数値化情報の少なくとも何れか一の、または、それらの組み合わせた予め定められた情報であり、
前記モデル作成１手段が、前記属性評価比較ペア毎に、それぞれの素性の情報に含まれる配列情報の各配列要素の値または数値化情報を（式Ａ）に示す識別関数Ｚの各要素ｘ１〜ｘｎに代入し、ＬｅｆｔとＲｉｇｈｔの２群を分ける定数ａ０〜ａｎを選択し、当該選択された定数ａ０〜ａｎを有する識別関数Ｚ３を前記分類モデル３として生成するとともに、
前記分類１手段が、
（ｉ）同一グループ内で訓練文書中の最も後方に存在する異なる２つの属性表現と同一の評価表現を含む２つの属性評価ペア候補を合わせた属性評価比較ペアを作成し、当該属性評価比較ペアの２つの属性評価ペア候補のそれぞれの素性の情報に含まれる配列情報の各配列要素の値または数値化情報を合わせ、当該合わせられた各配列要素の値または数値化情報を（式Ａ）に示す識別関数Ｚの各要素ｘ１〜ｘｎに代入して識別関数Ｚ３を求め、当該Ｚ３の正負に基づいて当該属性評価比較ペアをＬｅｆｔまたはＲｉｇｈｔに分類し、ＬｅｆｔまたはＲｉｇｈｔに対応する属性表現を含む属性評価ペア候補を残し、
（ii）残された属性評価ペア候補と、該当するグループの中で未だ属性評価比較ペアとして用いられておらず、かつ、最も後方に存在する属性表現と同一の評価表現を含む属性評価ペア候補との２つの属性評価ペア候補を合わせた属性評価比較ペアを作成し、当該属性評価比較ペアの２つの属性評価ペア候補のそれぞれの素性の情報に含まれる配列情報の各配列要素の値または数値化情報を合わせ、当該合わせられた各配列要素の値または数値化情報を（式Ａ）に示す識別関数Ｚの各要素ｘ１〜ｘｎに代入して識別関数Ｚ３を求め、当該Ｚ３の正負に基づいて当該属性評価比較ペアをＬｅｆｔまたはＲｉｇｈｔに分類し、ＬｅｆｔまたはＲｉｇｈｔに対応する属性表現を含む属性評価ペア候補を残し、
（iii）（ii）の処理で残された属性評価ペア候補に基づいて（ii）の処理を、該当するグループ内で最も前方に存在する属性表現を含む属性評価ペア候補を含む属性評価比較ペアまで繰り返して実行し、最終的な前記識別関数Ｚ３のＬｅｆｔまたはＲｉｇｈｔに対応する属性表現を含む属性評価ペア候補を、正例属性評価ペア候補に設定し、該当するグループ内で当該正例属性評価ペア候補以外の属性評価ペア候補を負例属性評価ペア候補に設定し、
前記モデル作成２手段が、前記訓練事例作成２手段によって定められた正例属性評価ペア候補及び置き換えられた負例属性評価ペア候補のそれぞれの素性の情報に含まれる配列情報の各配列要素の値または数値化情報を（式Ａ）に示す識別関数Ｚの各要素ｘ１〜ｘｎに代入し、前記正例属性評価ペア候補と前記負例属性評価ペア候補の２群を分ける定数ａ０〜ａｎを選択し、当該選択された定数ａ０〜ａｎを有する識別関数Ｚ４を前記分類モデル４として生成することを特徴とする意見抽出用学習装置。
識別関数Ｚ＝ａ１×ｘ１＋・・・・＋ａｎ×ｘｎ＋ａ０
（ｎは２以上の自然数）・・・（式Ａ）
所定の調査対象文書を入力し、調査対象文書中に存在している属性表現と評価表現の組み合わせに該当する属性評価ペア候補を調査対象文書毎にグループ分けして抽出するとともに、それぞれの属性評価ペア候補に対して、素性の情報を付与する処理を行う属性評価ペア候補抽出手段と、
調査対象文書毎にグループ分けした属性評価ペア候補と、属性評価ペア候補を正例属性評価ペアと負例属性評価ペアとに切り分ける境界面を決定する識別関数Ｚの分類モデル３とを入力して、グループ毎に正例属性評価ペア候補を設定し、各グループ内で当該正例属性評価ペア候補以外の属性評価ペア候補を負例属性評価ペア候補に設定する処理を行う分類１手段と、
前記分類１手段が正例属性評価ペア候補と判定した属性評価ペア候補と、当該属性評価ペア候補を正例属性評価ペア候補と負例属性評価ペア候補とに切り分け、前記分類モデル３と異なる境界面を決定する識別関数Ｚである分類モデル４とを入力して、前記入力された分類モデル４に基づいて前記判定された属性評価ペア候補における識別関数Ｚ４を求め、当該属性評価ペア候補を正例属性評価ペア候補または負例属性ペア候補に分類し、分類した正例属性評価ペア候補を真の属性評価ペアと判定する処理を行う分類２手段と、
を備え、
各素性の情報とは、（ａ）前記調査対象文書を構成する全ての単語である各表層文字列の全種類数における出現の有無または出現頻度を組み合わせた配列に対して、該当する属性評価ペア候補の属性表現及び評価表現の表層文字列としての有無または出現頻度を数値化した配列情報、（ｂ）前記調査対象文書を構成する全ての単語の各品詞の全種類数における出現の有無または出現頻度を組み合わせた配列に対して該当する属性評価ペア候補の属性表現及び評価表現の品詞としての有無または出現頻度を数値化した配列情報、（ｃ）該当する属性評価ペア候補における属性表現と評価表現が係り受け関係にあるか否か示す数値化情報、（ｄ）該当する属性評価ペア候補における属性表現と評価表現間のバイト数または文字数を距離情報として数値化した数値化情報の少なくとも何れか一の、または、それらの組み合わせた予め定められた情報であり、
前記分類１手段が、グループ毎に
（ｉ）同一グループ内で調査対象文書中の最も後方に存在する異なる２つの属性表現と同一の評価表現を含む２つの属性評価ペア候補を合わせた属性評価比較ペアを作成し、当該属性評価比較ペアの２つの属性評価ペア候補のそれぞれの素性の情報に含まれる配列情報の各配列要素の値または数値化情報を合わせ、当該合わせられた各配列要素の値または数値化情報を（式Ａ）に示す識別関数Ｚの各要素ｘ１〜ｘｎに代入して識別関数Ｚ３を求め、当該Ｚ３の正負に基づいて当該属性評価比較ペアをＬｅｆｔまたはＲｉｇｈｔに分類し、ＬｅｆｔまたはＲｉｇｈｔに対応する属性表現を含む属性評価ペア候補を残し、
（ii）残された属性評価ペア候補と、該当するグループの中で未だ属性評価比較ペアとして用いられておらず、かつ、最も後方に存在する属性表現と同一の評価表現を含む属性評価ペア候補との２つの属性評価ペア候補を合わせた属性評価比較ペアを作成し、当該属性評価比較ペアの２つの属性評価ペア候補のそれぞれの素性の情報に含まれる配列情報の各配列要素の値または数値化情報を合わせ、当該合わせられた各配列要素の値または数値化情報を（式Ａ）に示す識別関数Ｚの各要素ｘ１〜ｘｎに代入して識別関数Ｚ３を求め、当該Ｚ３の正負に基づいて当該属性評価比較ペアをＬｅｆｔまたはＲｉｇｈｔに分類し、ＬｅｆｔまたはＲｉｇｈｔに対応する属性表現を含む属性評価ペア候補を残し、
（iii）（ii）の処理で残された属性評価ペア候補に基づいて（ii）の処理を、該当するグループ内で最も前方に存在する属性表現を含む属性評価ペア候補を含む属性評価比較ペアまで繰り返して実行し、最終的な前記分類モデル３における識別関数Ｚ３のＬｅｆｔまたはＲｉｇｈｔに対応する属性表現を含む属性評価ペア候補を、正例属性評価ペア候補に設定し、該当するグループ内で当該正例属性評価ペア候補以外の属性評価ペア候補を負例属性評価ペア候補に設定し、
前記分類２手段が、前記分類１手段が設定した正例属性評価ペア候補毎に、それぞれの素性の情報に含まれる配列情報の各配列要素の値または数値化情報を（式Ａ）に示す識別関数Ｚの各要素ｘ１〜ｘｎに代入し、前記正例属性評価ペア候補と前記負例属性評価ペア候補の２群を分ける定数ａ０〜ａｎを選択し、当該選択された定数ａ０〜ａｎを有する識別関数Ｚ４を前記分類モデル４として生成し、各分類モデル４における識別関数Ｚ４の値の正負に基づいて属性評価ペア候補を正例属性評価ペア候補または負例属性ペア候補に分類し、分類した正例属性評価ペア候補を真の属性評価ペアと判定することを特徴とする意見抽出用分類装置。
識別関数Ｚ＝ａ１×ｘ１＋・・・・＋ａｎ×ｘｎ＋ａ０
（ｎは２以上の自然数）・・・（式Ａ）