Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5138622B2 - Information processing apparatus, complaint extraction method, and program - Google Patents
[go: Go Back, main page]

JP5138622B2 - Information processing apparatus, complaint extraction method, and program - Google Patents

Information processing apparatus, complaint extraction method, and program Download PDF

Info

Publication number
JP5138622B2
JP5138622B2 JP2009048549A JP2009048549A JP5138622B2 JP 5138622 B2 JP5138622 B2 JP 5138622B2 JP 2009048549 A JP2009048549 A JP 2009048549A JP 2009048549 A JP2009048549 A JP 2009048549A JP 5138622 B2 JP5138622 B2 JP 5138622B2
Authority
JP
Japan
Prior art keywords
dissatisfaction
improvement
reputation
target
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009048549A
Other languages
Japanese (ja)
Other versions
JP2010204865A (en
Inventor
俊之 坂井
考 藤村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009048549A priority Critical patent/JP5138622B2/en
Publication of JP2010204865A publication Critical patent/JP2010204865A/en
Application granted granted Critical
Publication of JP5138622B2 publication Critical patent/JP5138622B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、情報処理装置及び不満抽出方法及びプログラムに係り、特に、複数の文書(多数の消費者が発信した商品やサービスに関する感想や体験談等の情報)の中から「不満」を抽出するための情報処理装置及び不満抽出方法及びプログラムに関する。   The present invention relates to an information processing apparatus, a dissatisfaction extraction method, and a program, and in particular, extracts “dissatisfaction” from a plurality of documents (information such as impressions and experiences related to products and services transmitted by a large number of consumers). The present invention relates to an information processing apparatus, a dissatisfaction extraction method, and a program.

近年、消費者がインターネット上で発信する情報の中で、商品やサービスに対する感想や、日々の体験談等が大量に発信されるようになってきた。このような中で、多数の消費者が発信した情報の中から、ユーザのある事物の評価を検索する場面を想定し、検索語に関する評判として、「画面」「きれい」のような評価属性(画面)と評価表現(きれい)の抽出を行っている(例えば、特許文献1参照)。具体的には、検索語を含む文書群から抽出した評判表現の候補同士の類似性を見ることで、検索語と関連のある評判の抽出を行っている。このようにして抽出した評判には、「画面が汚い」等の不満が含まれる。   In recent years, in the information that consumers send on the Internet, impressions about products and services, daily experiences, etc. have been sent in large quantities. Under such circumstances, assuming a situation where users search for evaluations of certain things from information sent by a large number of consumers, evaluation attributes such as “screen” and “pretty” Screen) and evaluation expression (beautiful) are extracted (see, for example, Patent Document 1). Specifically, the reputation related to the search word is extracted by looking at the similarity between the candidates for the reputation expression extracted from the document group including the search word. The reputation extracted in this way includes complaints such as “dirty screen”.

特開2008−234557号公報JP 2008-234557 A

従来の評判抽出技術を用いてユーザの不満を抽出した場合、主な用途はマーケティング等の情報収集であり、商品推薦等に応用することが困難であった。その理由として、不満には、批評を表したもの、感情を表したもの、デメリットを表したもの、不利益な出来事を表したもの等、様々な不満の種類があり、応用する場合には不必要なものが含まれていることが挙げられる。   When a user's dissatisfaction is extracted using a conventional reputation extraction technique, the main use is information collection such as marketing, and it is difficult to apply it to product recommendation. The reason for this is that there are various types of dissatisfaction, such as criticism, feelings, demerits, and detrimental events. It is mentioned that necessary things are included.

本発明は上記の点に鑑みなされたもので、様々な不満の中から、他のサービスに利用可能な不満として、デメリットや不利益な出来事に関する不満を見分けて抽出することが可能な情報処理装置及び不満抽出方法及びプログラムを提供することを目的とする。   The present invention has been made in view of the above points, and is an information processing apparatus capable of identifying and extracting dissatisfactions regarding disadvantages and disadvantageous events as dissatisfactions that can be used for other services from various dissatisfactions. It is another object of the present invention to provide a complaint extraction method and program.

図1は、本発明の原理構成図である。   FIG. 1 is a principle configuration diagram of the present invention.

本発明(請求項1)は、不満を抽出するための情報処理装置であって、
文書群を保持する文書集合データベース10から文書を取得し、改善動作を抽出し、改善動作記憶手段20に格納する改善動作抽出手段110と、
改善動作記憶手段20から改善動作を取得し、文書集合データベース10から取得した文書から該改善動作の対象を抽出し、該改善動作と該改善動作の対象の共起頻度を求める動作対象抽出手段120と、
動作対象抽出手段120から取得した改善動作と改善動作の対象の共起頻度を取得し、該改善動作の対象を否定、中立、肯定のいずれかの評価極性に分類し、該改善動作の対象と極性ラベルを出力する極性判定手段130と、
改善動作の対象と極性ラベルを取得し、否定的な極性ラベルを持つ改善動作の対象を不満として出力する不満出力手段140と、を有する。
The present invention (Claim 1) is an information processing apparatus for extracting dissatisfaction,
An improvement operation extraction unit 110 that acquires a document from the document set database 10 holding a document group, extracts an improvement operation, and stores it in the improvement operation storage unit 20;
An operation target extraction unit 120 that acquires an improvement operation from the improvement operation storage unit 20, extracts a target of the improvement operation from the document acquired from the document set database 10, and obtains a co-occurrence frequency of the improvement operation and the target of the improvement operation. When,
The improvement operation acquired from the operation target extraction unit 120 and the co-occurrence frequency of the improvement operation target are acquired, the improvement operation target is classified into one of negative, neutral, and positive evaluation polarities, and the improvement operation target Polarity determination means 130 for outputting a polarity label;
And a dissatisfaction output means 140 that obtains the object of the improvement operation and the polarity label and outputs the object of the improvement operation having a negative polarity label as dissatisfaction.

また、本発明(請求項2)は、不満出力手段140から不満を取得し、Q&Aサイトのページを推薦する対象となるユーザが記述したテキストを格納するユーザテキスト記憶手段から該不満に一致する語を抽出する解決対象不満抽出手段と、
Q&Aサイト記憶手段からユーザにより投稿された質問を取得し、該質問の中から不満に一致する語を含む質問を選択する質問探索手段と、
質問探索手段で選択された質問を取得し、Q&Aサイト記憶手段から該質問に対応する回答を取得して出力する推薦ページ出力手段と、を更に有する。
Further, the present invention (Claim 2) obtains dissatisfaction from the dissatisfaction output means 140, and a word that matches the dissatisfaction from the user text storage means for storing the text described by the user who recommends the page of the Q & A site. A solution object dissatisfaction extraction means for extracting
A question search means for obtaining a question posted by the user from the Q & A site storage means, and selecting a question including a word that is unsatisfactory from the questions;
It further includes recommendation page output means for acquiring a question selected by the question search means, and acquiring and outputting an answer corresponding to the question from the Q & A site storage means.

また、本発明(請求項3)は、文書集合データベース10から、{属性表現、評価表現、評価極性}の組を評判として抽出する評判抽出手段と、
極性判定手段130から改善動作の対象と評価極性の分類結果を取得し、評判抽出手段から評判を取得し、該評判の中から該改善動作と関連性の高い改善動作の対象を属性表現に持つ評判を抽出し、否定的な評価極性の評判を抽出する評判選定手段と、
を更に有し、
不満出力手段140は、
否定的な極性ラベルを持つ改善動作の対象と否定的な評価極性の評判に基づいて不満を出力する。
Further, the present invention (Claim 3) includes a reputation extraction means for extracting a set of {attribute expression, evaluation expression, evaluation polarity} as a reputation from the document set database 10,
The classification result of the improvement operation target and the evaluation polarity is acquired from the polarity determination unit 130, the reputation is acquired from the reputation extraction unit, and the improvement operation target highly related to the improvement operation is included in the attribute expression from the reputation. Reputation selection means to extract reputation and extract reputation of negative evaluation polarity;
Further comprising
The dissatisfied output means 140 is
Dissatisfaction is output based on the object of improvement action with negative polarity label and reputation of negative evaluation polarity.

図2は、本発明の原理を説明するための図である。   FIG. 2 is a diagram for explaining the principle of the present invention.

本発明(請求項4)は、不満を抽出するための不満抽出方法であって、
改善動作抽出手段が、文書群を保持する文書集合データベースから文書を取得し、改善動作を抽出し、改善動作記憶手段に格納する改善動作抽出ステップ(ステップ1)と、
動作対象抽出手段が、改善動作記憶手段から改善動作を取得し、文書集合データベースから取得した文書から該改善動作の対象を抽出し、該改善動作と該改善動作の対象の共起頻度を求める動作対象抽出ステップ(ステップ2)と、
極性判定手段が、改善動作と改善動作の対象の共起頻度を取得し、該改善動作の対象を否定、中立、肯定のいずれかの評価極性に分類し、該改善動作の対象と極性ラベルを出力する極性判定ステップ(ステップ3)と、
不満出力手段が、改善動作の対象と極性ラベルを取得し、否定的な極性ラベルを持つ改善動作の対象を不満として出力する不満出力ステップ(ステップ4)と、を行う。
The present invention (Claim 4) is a dissatisfaction extraction method for extracting dissatisfaction,
An improvement operation extracting step (step 1) in which the improvement operation extracting means acquires a document from a document set database holding a document group, extracts the improvement operation, and stores it in the improvement operation storage unit;
An operation in which the operation target extraction unit acquires the improvement operation from the improvement operation storage unit, extracts the target of the improvement operation from the document acquired from the document set database, and obtains the co-occurrence frequency of the improvement operation and the target of the improvement operation An object extraction step (step 2);
The polarity determining means obtains the co-occurrence frequency of the improvement operation and the target of the improvement operation, classifies the target of the improvement operation as one of negative, neutral, and positive evaluation polarities, and sets the target of the improvement operation and the polarity label. Output polarity determination step (step 3);
The dissatisfied output means performs a dissatisfied output step (step 4) of acquiring the object of improvement operation and the polarity label, and outputting the object of improvement operation having a negative polarity label as dissatisfaction.

また、本発明(請求項5)は、解決対象不満抽出手段が、不満を取得し、Q&Aサイトのページを推薦する対象となるユーザが記述したテキストを格納するユーザテキスト記憶手段から該不満に一致する語を抽出する解決対象不満抽出ステップと、
質問探索手段が、Q&Aサイト記憶手段からユーザにより投稿された質問を取得し、該質問の中から不満に一致する語を含む質問を選択する質問探索ステップと、
推薦ページ出力手段が、不満に一致する語を含む質問を取得し、Q&Aサイト記憶手段から該質問に対応する回答を取得して出力する推薦ページ出力ステップと、を更に行う。
Further, according to the present invention (claim 5), the solution object dissatisfaction extracting means acquires the dissatisfaction and matches the dissatisfaction from the user text storage means for storing the text described by the user who is to recommend the page of the Q & A site. A dissatisfaction target extraction step for extracting words to be
A question search step in which the question search means obtains a question posted by the user from the Q & A site storage means, and selects a question including a dissatisfied word from the question;
The recommended page output means further performs a recommended page output step of acquiring a question including a word that is unsatisfactory and acquiring and outputting an answer corresponding to the question from the Q & A site storage means.

また、本発明(請求項6)は、評判抽出手段が、文書集合データベースから、{属性表現、評価表現、評価極性}の組を評判として抽出する評判抽出ステップと、
改善動作の対象と評価極性の分類結果、及び、評判を取得し、該評判の中から該改善動作と関連性の高い改善動作の対象を属性表現に持つ評判を抽出し、否定的な評価極性の評判を抽出する評判選定ステップと、を更に行い、
不満出力ステップにおいて、
否定的な極性ラベルを持つ改善動作の対象と否定的な評価極性の評判に基づいて不満を出力する。
According to the present invention (claim 6), a reputation extraction step in which the reputation extraction means extracts a set of {attribute expression, evaluation expression, evaluation polarity} as a reputation from the document set database;
The classification result of the improvement action target and the evaluation polarity and the reputation are acquired, and the reputation having the object of the improvement action highly relevant to the improvement action in the attribute expression is extracted from the reputation, and the negative evaluation polarity Further performing a reputation selection step of extracting the reputation of
In the dissatisfied output step,
Dissatisfaction is output based on the object of improvement action with negative polarity label and reputation of negative evaluation polarity.

本発明(請求項7)は、請求項1乃至3のいずれか1項に記載の情報処理装置を構成する各手段としてコンピュータを機能させるための不満抽出プログラムである。   The present invention (Claim 7) is a dissatisfaction extraction program for causing a computer to function as each means constituting the information processing apparatus according to any one of Claims 1 to 3.

本発明によれば、雑多に入り混じっている不満の中から、情報収集以外のサービスにも利用可能な不満を見分け、抽出することが可能である。抽出した不満は、例えば、ユーザが抱いている不満に対して、自動的に関連するQ&Aサイト(ユーザが質問を書き込んだことに対して別のユーザが回答するサイト)に誘導するようなサービスに対して有効であり、ユーザの不満解決やQ&Aサービスの活性化等に繋がると期待される。   According to the present invention, it is possible to identify and extract dissatisfactions that can be used for services other than information collection from among dissatisfactions that are mixed and mixed. The extracted dissatisfaction is, for example, a service that automatically leads to a related Q & A site (a site where another user answers a question written by the user) in response to the dissatisfaction that the user has. It is effective against this, and is expected to lead to the resolution of user dissatisfaction and the activation of Q & A services.

本発明の原理構成図である。It is a principle block diagram of this invention. 本発明の原理を説明するための図である。It is a figure for demonstrating the principle of this invention. 本発明の一実施の形態における不満抽出手順のフローチャートである。It is a flowchart of the dissatisfaction extraction procedure in one embodiment of this invention. 本発明の第1の実施例における不満抽出装置の構成図である。It is a block diagram of the dissatisfaction extraction apparatus in 1st Example of this invention. 本発明の第1の実施例の各処理における出力例である。It is an example of an output in each processing of the 1st example of the present invention. 本発明の第1の実施例の改善動作の抽出例を示す。The extraction example of the improvement operation | movement of 1st Example of this invention is shown. 本発明の第2の実施例における不満抽出装置の構成図である。It is a block diagram of the dissatisfaction extraction apparatus in 2nd Example of this invention. 本発明の第2の実施例の各処理における出力例である。It is an example of an output in each processing of the 2nd example of the present invention.

以下、図面と共に本発明の実施の形態を説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

まず、前述の課題を解決するための処理を説明する。   First, processing for solving the above-described problem will be described.

図3は、本発明の一実施の形態における不満抽出手順のフローチャートである。   FIG. 3 is a flowchart of the dissatisfaction extraction procedure in one embodiment of the present invention.

そもそも、デメリットや不利益な出来事に関する「不満」というのは、商品が解決する対象であり、商品の効果を説明する際に記述されることが多い。例としては、「運動不足を解消します。」という記述が挙げられる。この際、説明文は「運動不足」という不満と「解消」という動作によって構成される。そこで、前述の課題を解決するために、まず、文書集合DBの文書群から「解消」や「改善」、「予防」のように、動作の受け手にとって利益性の高い動作(以降、「改善動作」と呼ぶ)を抽出する(ステップ101)。   In the first place, “dissatisfaction” regarding disadvantages and disadvantageous events is an object to be solved by the product, and is often described when explaining the effect of the product. As an example, there is a description of “I will eliminate lack of exercise”. At this time, the explanatory text is composed of dissatisfaction of “insufficient exercise” and an operation of “resolution”. Therefore, in order to solve the above-described problems, first, operations that are highly profitable for the receiver of the operation, such as “elimination”, “improvement”, and “prevention” from the document group of the document collection DB (hereinafter referred to as “improvement operation”). Is called (step 101).

次に、文書群から改善動作の対象を抽出する(ステップ102)。ここで、「改善動作の対象」とは、「運動不足を解消」の例でいえば「運動不足」にあたる。しかし、「速度を改善」という記述のように、対象自体は不満でない場合もあるため、抽出した対象の極性(肯定的/中立的/否定的)を判定し、否定的な対象を抽出する(ステップ103)。この否定的な対象がデメリットや不利益な出来事に関する「不満」となる。   Next, the target of the improvement operation is extracted from the document group (step 102). Here, the “object of improvement operation” corresponds to “insufficient exercise” in the example of “elimination of lack of exercise”. However, since the object itself may not be dissatisfied as described in the description of “improve speed”, the polarity of the extracted object (positive / neutral / negative) is determined, and a negative object is extracted ( Step 103). This negative object becomes “dissatisfaction” with regard to disadvantages and disadvantageous events.

以下、図面と共に本発明の実施例を説明する。   Embodiments of the present invention will be described below with reference to the drawings.

[第1の実施例]
本発明における実施例として、テキストに記述された不満を抽出し、抽出した不満と同じ不満に関して質問しているQ&Aサイトのページ(「教えて!goo」(登録商標)等)を推薦することを考える。これにより、テキストの書き手が自らの不満の解決方法を容易に取得できることが期待される。例えば、テキストに「最近、運動不足だ。」という表現があった場合、システムは、Q&Aサイトにおける、「何か運動不足を解決する方法はないでしょうか?」という質問に対しての回答ページをテキストの書き手に推薦する。
[First embodiment]
As an example of the present invention, it is recommended to extract a dissatisfaction described in a text and recommend a page of a Q & A site (“Tell me! Goo” (registered trademark), etc.) asking about the same dissatisfaction as the extracted dissatisfaction. Think. As a result, it is expected that a text writer can easily obtain a solution to his dissatisfaction. For example, if the text contains the phrase “Lack of exercise recently,” the system will provide an answer page to the question “Are there any ways to resolve lack of exercise?” On the Q & A site. Recommend to text writers.

図4は、本発明の第1の実施例における不満抽出装置の構成を示す。   FIG. 4 shows the configuration of the dissatisfaction extraction device in the first embodiment of the present invention.

同図に示す不満抽出装置は、文書集合データベース(DB)10、改善動作リスト記憶部20、不満リスト記憶部30、Q&Aサイトデータベース(DB)40、ユーザテキスト記憶部50、改善動作抽出部110、動作対象抽出部120、極性判定部130、不満出力部140、解決対象不満抽出部150、質問探索部160、推薦ページ出力部170から構成される。   The dissatisfaction extraction apparatus shown in the figure includes a document set database (DB) 10, an improved operation list storage unit 20, a dissatisfaction list storage unit 30, a Q & A site database (DB) 40, a user text storage unit 50, an improved operation extraction unit 110, The operation target extraction unit 120, the polarity determination unit 130, the dissatisfaction output unit 140, the solution target dissatisfaction extraction unit 150, the question search unit 160, and the recommended page output unit 170 are configured.

文書集合DB10は、電子化された複数の文書を保持する。   The document set DB 10 holds a plurality of digitized documents.

改善動作リスト記憶部20は、改善動作抽出部110によって抽出された改善動作を保持する。   The improved action list storage unit 20 holds the improved actions extracted by the improved action extractor 110.

不満リスト記憶部30は、不満出力部140から出力された不満を保持する。   The dissatisfaction list storage unit 30 holds the dissatisfaction output from the dissatisfaction output unit 140.

Q&AサイトDB40は、Q&Aサイトに投稿された質問と、その質問に紐付く回答を保持する。   The Q & A site DB 40 holds a question posted on the Q & A site and an answer associated with the question.

ユーザテキスト記憶部50は、Q&Aサイトのページを推薦する対象となるユーザが記述したテキストを保持する。   The user text storage unit 50 holds text written by a user who is a candidate for recommending a page of a Q & A site.

以下、各構成の動作を説明する。   Hereinafter, the operation of each component will be described.

図5は、本発明の第1の実施例の各処理における出力例を示す。   FIG. 5 shows an output example in each processing of the first embodiment of the present invention.

改善動作抽出部110は、図6に示す方法により改善動作を抽出する。まず、文書集合DB10が保持する文書群を受け取る。次に、受け取った文書から動作対象(「運動不足」)、動作(「解消」)、モダリティ(「解消してくれます」)の3つを抜き出し(図6(a))、動作と否定的な動作対象の共起頻度A、動作と利益を表すモダリティの共起頻度Bを算出する(図6(b))。共起頻度を算出する方法としては、例えば、全文書に対して形態素解析を行い、共起頻度を算出したい語同士が一定の形態素数内で出現する回数を数えればよい。但し、共起する範囲は任意であり、かつ、否定的な動作対象と利益を表すモダリティの種類は、動作対象、モダリティの中から全てを用いる必要はなく、少数のサンプルでよい。そのため、否定的な動作対象としては、例えば、医学辞典等から文書群中で出現頻度の高い病名等を抽出して用いればよいし、利益を表すモダリティに関しては、モダリティの参考書(参考文献1:益岡隆志著「日本モダリティ探究」、くろしお出版、2007年等)に例として記載されているモダリティを用いればよい。   The improvement operation extraction unit 110 extracts the improvement operation by the method shown in FIG. First, a document group held in the document set DB 10 is received. Next, we extract three objects (action shortage), action ("resolve"), and modality ("resolve me") from the received document (Fig. 6 (a)). The co-occurrence frequency A of the motion target and the co-occurrence frequency B of the modality representing the motion and profit are calculated (FIG. 6B). As a method for calculating the co-occurrence frequency, for example, morpheme analysis may be performed on all documents, and the number of occurrences of words whose co-occurrence frequencies are to be calculated within a certain number of morphemes may be counted. However, the co-occurring range is arbitrary, and the types of modalities representing the negative operation target and profit need not use all of the operation targets and modalities, and may be a small number of samples. Therefore, as a negative operation target, for example, a disease name or the like having a high appearance frequency in a document group may be extracted from a medical dictionary or the like, and a modality reference book (reference document 1) may be used for a modality representing profit. : The modality described as an example in Takashi Masuoka's “Exploration of Japanese Modality”, Kuroshio Publishing, 2007, etc.) may be used.

最後に、改善動作抽出部110は、同じ動作を含む共起頻度A、共起頻度Bの積を算出し(図6(c))、積の値が高い動作(改善動作)を降順で任意にn個抽出し、改善動作リスト記憶部20に保持する(図5(a))。   Finally, the improvement action extraction unit 110 calculates a product of the co-occurrence frequency A and the co-occurrence frequency B including the same action (FIG. 6C), and arbitrarily selects an action with a high product value (improvement action) in descending order. N are extracted and stored in the improved operation list storage unit 20 (FIG. 5A).

動作対象抽出部120は、文書集合DB10が保持する文書群、改善動作リスト記憶部20が保持する改善動作を取得し、文書から改善動作の対象を全て抽出し、更に、{改善動作、改善動作の対象}の共起頻度を算出し、{改善動作の対象、共起頻度}を極性判定部130に渡す(図5(b))。但し、共起する範囲は任意とする。また、改善動作の対象の抽出方法に関しては、既存の形態素解析や構文解析を用い、改善動作の直前の形態素パターン、係り受け等を見ることが考えられる。   The operation target extraction unit 120 acquires the document group held in the document set DB 10 and the improvement operation held by the improvement operation list storage unit 20, extracts all the targets of the improvement operation from the document, and further, {improvement operation, improvement operation The co-occurrence frequency is calculated, and {target of improvement operation, co-occurrence frequency} is passed to the polarity determination unit 130 (FIG. 5B). However, the co-occurring range is arbitrary. In addition, regarding the method of extracting the target of the improvement operation, it is possible to use the existing morpheme analysis and syntax analysis to see the morpheme pattern, dependency, etc. immediately before the improvement operation.

極性判定部130は、文書集合DB10から文書群を取得し、動作対象抽出部120から{改善動作の対象、共起頻度}を取得する。その後、受け取った改善動作の対象について、否定的、中立、肯定的の3つの評価極性に分類し、改善動作の対象と、各対象毎に付与された極性のラベル(否定、中立、肯定)を不満出力部140に渡す(図5(c))。評価極性の分類方法としては、参考文献2「東山他、「述語の選択選好性に着目した名詞評価極性の獲得」言語処理学会第14回年次大会論文集、pp.584-587, March 2008」に記載の方法で作成された分類器に対し、改善動作の対象に付随する述語パターンを文書群から抽出して入力する方法が考えられる。また、述語パターンの抽出に関しては、上記参考文献2に記載のルールを用いればよい。但し、全ての改善動作の対象を不満出力部140に渡すのではなく、任意の閾値よりも共起頻度が高い改善動作の対象のみを用いてもよい。但し、全ての改善動作の対象を不満出力部140に渡すのではなく、任意の閾値よりも共起頻度が高い改善動作の対象のみを用いてもよい。   The polarity determination unit 130 acquires a document group from the document set DB 10 and acquires {target of improvement operation, co-occurrence frequency} from the operation target extraction unit 120. After that, the received improvement action targets are classified into three evaluation polarities: negative, neutral, and positive. The improvement action targets and polarity labels (negative, neutral, and positive) assigned to each target are assigned. It passes to the dissatisfied output part 140 (FIG.5 (c)). For classification of evaluation polarity, refer to Reference 2 “Higashiyama et al.,“ Acquiring Noun Evaluation Polarity Focusing on Preferential Predicate Preference ”, Proc. For the classifier created by the method described in the above, a method of extracting and inputting a predicate pattern associated with the object of the improvement operation from the document group is conceivable. In addition, regarding the extraction of the predicate pattern, the rules described in Reference Document 2 may be used. However, instead of passing all the improvement action targets to the dissatisfied output unit 140, only the improvement action target having a co-occurrence frequency higher than an arbitrary threshold value may be used. However, instead of passing all the improvement action targets to the dissatisfied output unit 140, only the improvement action target having a co-occurrence frequency higher than an arbitrary threshold value may be used.

不満出力部140は、極性判定部130から改善動作の対象と、各対象毎に付与された極性のラベルを受け取る。次に、否定的な極性のラベルが付与された改善動作の対象を「不満」として不満リスト記憶部30に保持する(図5(d))。   The dissatisfied output unit 140 receives the target of the improvement operation and the polarity label assigned to each target from the polarity determination unit 130. Next, the object of the improvement operation to which the negative polarity label is assigned is held in the dissatisfaction list storage unit 30 as “dissatisfied” (FIG. 5D).

解決対象不満抽出部150は、不満リスト記憶部30から不満リストを取得し、ユーザテキスト記憶部50から推薦対象となるユーザが記述したテキスト(図5(e))を受け取る。そして、受け取った不満リストに記述された不満と一致する語をユーザが記述したテキストから抽出し、質問探索部160に渡す(図5(f))。   The solution target dissatisfaction extraction unit 150 acquires a dissatisfaction list from the dissatisfaction list storage unit 30, and receives text (FIG. 5 (e)) described by the user to be recommended from the user text storage unit 50. Then, words that match the dissatisfaction described in the received dissatisfaction list are extracted from the text described by the user and passed to the question search unit 160 (FIG. 5 (f)).

質問探索部160は、解決対象不満抽出部150から推薦対象となるユーザが記述した不満と、Q&AサイトDB40からQ&Aサイトに投稿された質問を受け取る。受け取った質問の中から、ユーザが記述した不満を含む質問を選択し、全て推薦ページ出力部170に渡す(図5(g))。   The question search unit 160 receives the dissatisfaction described by the user to be recommended from the solution target dissatisfaction extraction unit 150 and the question posted to the Q & A site from the Q & A site DB 40. From the received questions, questions containing dissatisfaction described by the user are selected and all are sent to the recommended page output unit 170 (FIG. 5G).

推薦ページ出力部170は、質問探索部160からユーザが記述した不満を含む質問と、Q&AサイトDB40からその質問に紐付く回答を受け取り、ユーザに提示する(図5(h))。   The recommendation page output unit 170 receives the question including the dissatisfaction described by the user from the question search unit 160 and the answer associated with the question from the Q & A site DB 40 and presents them to the user (FIG. 5H).

[第2の実施例]
図7は、本発明の第2の実施例における不満抽出装置の構成を示す。
[Second Embodiment]
FIG. 7 shows the configuration of the dissatisfaction extraction device in the second embodiment of the present invention.

同図に示す不満抽出装置は、第1の実施例の図4の構成に、評判抽出部180と評判選定部190を付加した構成である。各処理の出力の例を図8に示す。   The dissatisfaction extraction apparatus shown in the figure is configured by adding a reputation extraction unit 180 and a reputation selection unit 190 to the configuration of FIG. 4 of the first embodiment. An example of the output of each process is shown in FIG.

本実施例では、第1の実施例で抽出した「不満」に加え、特許文献1に記載されている方法で抽出した評判の中からデメリットや不利益な出来事に関する不満を抽出する。   In this embodiment, in addition to the “dissatisfaction” extracted in the first embodiment, complaints regarding disadvantages and disadvantageous events are extracted from the reputation extracted by the method described in Patent Document 1.

具体的には、改善動作と共起しやすい属性表現が含まれる評判を抽出する。   Specifically, a reputation including an attribute expression that easily co-occurs with the improvement operation is extracted.

以下に詳細を述べるが、改善動作抽出部110、動作対象抽出部120、極性判定部130、解決対象不満抽出部150、質問探索部160、推薦ページ出力部170、文書集合DB10、改善動作リスト記憶部20、不満リスト記憶部30、Q&AサイトDB40、ユーザテキスト記憶部50は、第1の実施例と同様であるので、その説明を省略する。   As will be described in detail below, the improvement action extraction unit 110, the action target extraction part 120, the polarity determination part 130, the solution target dissatisfaction extraction part 150, the question search part 160, the recommended page output part 170, the document set DB 10, and the improvement action list storage Since the unit 20, the dissatisfaction list storage unit 30, the Q & A site DB 40, and the user text storage unit 50 are the same as those in the first embodiment, the description thereof is omitted.

評判抽出部180は、文書集合DB10に保持された文書群を取得する。次に、特許文献1に記載されている方法と、参考文献3「高村大也、他、「複数語から成る評価表現のモデル化」言語処理学会年次大会発表論文集、Vol. 12th, Page. 524-527, 2006」とを用い、文書群から評判として{属性表現、評価表現、評価極性}の組を抽出し、評判選定部190に渡す。   The reputation extraction unit 180 acquires a document group held in the document set DB 10. Next, the method described in Patent Document 1 and Reference Document 3 “Daiya Takamura, et al.,“ Modeling Evaluation Expressions Consisting of Multiple Words ”, Annual Conference of the Language Processing Society of Japan, Vol. 12th, Page 524-527, 2006 ”, a set of {attribute expression, evaluation expression, evaluation polarity} is extracted as a reputation from the document group and passed to the reputation selection unit 190.

評判選定部190は、まず、極性判定部130から改善動作の対象と評価極性の分類結果、改善動作の共起頻度を受け取る。次に、評判抽出部180から評判として、{属性表現、評価表現、評価極性}の組を受け取る。改善動作の対象には、「速度(を改善)」のように、ユーザが不満を感じる対象となる属性表現が含まれやすい。そこで、評判抽出部180から受け取った評判の中から、改善動作と関連性の高い改善動作の対象を属性表現に持つ評判を抽出する。改善動作との関連性の高さについては、改善動作と改善動作の対象の共起頻度や、リフト値等の統計的指標を用いることが考えられる。最後に、抽出した評判のうち、否定的な評価極性の評判を不満出力部140に渡す。   First, the reputation selection unit 190 receives the improvement operation target, the classification result of the evaluation polarity, and the co-occurrence frequency of the improvement operation from the polarity determination unit 130. Next, a set of {attribute expression, evaluation expression, evaluation polarity} is received as a reputation from the reputation extraction unit 180. The target of the improvement operation is likely to include an attribute expression that is a target that the user feels dissatisfied like “speed (improves)”. Therefore, from the reputation received from the reputation extraction unit 180, a reputation having, as attribute expressions, an object of the improvement operation highly related to the improvement operation is extracted. Regarding the high degree of relevance to the improvement operation, it is conceivable to use a statistical index such as the co-occurrence frequency of the improvement operation and the object of the improvement operation, the lift value, or the like. Finally, among the extracted reputations, a negative evaluation polarity reputation is passed to the dissatisfaction output unit 140.

不満出力部140は、評判選定部190から否定的な評価極性の評判を受け取り、第1の実施例での不満出力部140の出力と共に不満として不満リスト記憶部30に保持する。   The dissatisfaction output unit 140 receives a reputation of negative evaluation polarity from the reputation selection unit 190, and holds it in the dissatisfaction list storage unit 30 as dissatisfaction together with the output of the dissatisfaction output unit 140 in the first embodiment.

以降の処理については、第1の実施例と同様である。   The subsequent processing is the same as in the first embodiment.

なお、上記の第1の実施例、第2の実施例に示した不満抽出装置の動作をプログラムとして構築し、不満抽出装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。   In addition, the operation of the dissatisfaction extraction device shown in the first embodiment and the second embodiment is constructed as a program and installed and executed on a computer used as the dissatisfaction extraction device, or via a network. It can be distributed.

また、構築されたプログラムをハードディスクや、フレキシブルディスク・CD−ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。   Further, the constructed program can be stored in a portable storage medium such as a hard disk, a flexible disk, or a CD-ROM, and can be installed or distributed in a computer.

なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。   The present invention is not limited to the above-described embodiments and examples, and various modifications and applications can be made within the scope of the claims.

本発明は、ユーザが抱いている不満に対して、自動的に関連するQ&Aサイトに誘導することが可能であり、ユーザの不満解決やQ&Aサービスの活性化等に繋がると期待される。   The present invention can be automatically guided to a related Q & A site for the dissatisfaction that the user has, and is expected to lead to the user's dissatisfaction resolution, activation of the Q & A service, and the like.

10 文書集合データベース
20 改善動作記憶手段、改善動作リスト記憶部
30 不満リスト記憶部
40 Q&Aサイトデータベース
50 ユーザテキスト記憶部
110 改善動作抽出手段、改善動作抽出部
120 動作対象抽出手段、動作対象抽出部
130 極性判定手段、極性判定部
140 不満出力手段、不満出力部
150 解決対象不満抽出部
160 質問探索部
170 推薦ページ出力部
180 評判抽出部
190 評判選定部
10 document set database 20 improved action storage means, improved action list storage section 30 dissatisfaction list storage section 40 Q & A site database 50 user text storage section 110 improved action extraction means, improved action extraction section 120 action target extraction means, action target extraction section 130 Polarity determination unit, polarity determination unit 140 Dissatisfaction output unit, dissatisfaction output unit 150 Resolution target dissatisfaction extraction unit 160 Question search unit 170 Recommended page output unit 180 Reputation extraction unit 190 Reputation selection unit

Claims (7)

不満を抽出するための情報処理装置であって、
文書群を保持する文書集合データベースから文書を取得し、改善動作を抽出し、改善動作記憶手段に格納する改善動作抽出手段と、
前記改善動作記憶手段から改善動作を取得し、前記文書集合データベースから取得した文書から該改善動作の対象を抽出し、該改善動作と該改善動作の対象の共起頻度を求める動作対象抽出手段と、
前記動作対象抽出手段から取得した前記改善動作と改善動作の対象の共起頻度を取得し、該改善動作の対象を否定、中立、肯定のいずれかの評価極性に分類し、該改善動作の対象と極性ラベルを出力する極性判定手段と、
前記改善動作の対象と極性ラベルを取得し、否定的な極性ラベルを持つ改善動作の対象を不満として出力する不満出力手段と、
を有することを特徴とする情報処理装置。
An information processing apparatus for extracting dissatisfaction,
Improvement operation extracting means for acquiring a document from a document set database holding a document group, extracting an improvement operation, and storing it in the improvement operation storage means;
An action target extracting means for obtaining an improvement action from the improvement action storage means, extracting a target of the improvement action from a document acquired from the document set database, and obtaining a co-occurrence frequency of the improvement action and the improvement action target; ,
Obtaining the co-occurrence frequency of the improvement action and the improvement action target acquired from the action target extracting means, classifying the improvement action target into one of negative, neutral, and affirmative evaluation polarities; And polarity determination means for outputting a polarity label;
A dissatisfaction output means for acquiring the improvement operation target and the polarity label, and outputting the improvement operation target having a negative polarity label as dissatisfaction;
An information processing apparatus comprising:
前記不満出力手段から前記不満を取得し、Q&Aサイトのページを推薦する対象となるユーザが記述したテキストを格納するユーザテキスト記憶手段から該不満に一致する語を抽出する解決対象不満抽出手段と、
Q&Aサイト記憶手段からユーザにより投稿された質問を取得し、該質問の中から前記不満に一致する語を含む質問を選択する質問探索手段と、
前記質問探索手段で選択された前記質問を取得し、前記Q&Aサイト記憶手段から該質問に対応する回答を取得して出力する推薦ページ出力手段と、
を更に有する請求項1記載の情報処理装置。
The dissatisfaction extraction means for extracting the word that matches the dissatisfaction from the user text storage means for acquiring the dissatisfaction from the dissatisfaction output means and storing the text described by the user who is the target of recommending the page of the Q & A site;
A question search means for obtaining a question posted by a user from the Q & A site storage means, and selecting a question including a word that matches the dissatisfaction from the questions;
A recommendation page output means for acquiring the question selected by the question search means, acquiring and outputting an answer corresponding to the question from the Q & A site storage means,
The information processing apparatus according to claim 1, further comprising:
前記文書集合データベースから、{属性表現、評価表現、評価極性}の組を評判として抽出する評判抽出手段と、
前記極性判定手段から前記改善動作の対象と評価極性の分類結果を取得し、前記評判抽出手段から前記評判を取得し、該評判の中から該改善動作と関連性の高い改善動作の対象を属性表現に持つ評判を抽出し、否定的な評価極性の評判を抽出する評判選定手段と、
を更に有し、
前記不満出力手段は、
前記否定的な極性ラベルを持つ改善動作の対象と前記否定的な評価極性の評判に基づいて不満を出力する請求項1または2記載の情報処理装置。
Reputation extraction means for extracting a set of {attribute expression, evaluation expression, evaluation polarity} as a reputation from the document set database;
The improvement operation target and the evaluation polarity classification result are acquired from the polarity determination unit, the reputation is acquired from the reputation extraction unit, and the improvement operation target highly relevant to the improvement operation is attributed from the reputation Reputation selection means to extract the reputation of the expression and extract the reputation of negative evaluation polarity,
Further comprising
The dissatisfied output means includes
The information processing apparatus according to claim 1, wherein the information processing apparatus outputs dissatisfaction based on an object of the improvement operation having the negative polarity label and a reputation of the negative evaluation polarity.
不満を抽出するための不満抽出方法であって、
改善動作抽出手段が、文書群を保持する文書集合データベースから文書を取得し、改善動作を抽出し、改善動作記憶手段に格納する改善動作抽出ステップと、
動作対象抽出手段が、前記改善動作記憶手段から改善動作を取得し、前記文書集合データベースから取得した文書から該改善動作の対象を抽出し、該改善動作と該改善動作の対象の共起頻度を求める動作対象抽出ステップと、
極性判定手段が、前記改善動作と改善動作の対象の共起頻度を取得し、該改善動作の対象を否定、中立、肯定のいずれかの評価極性に分類し、該改善動作の対象と極性ラベルを出力する極性判定ステップと、
不満出力手段が、前記改善動作の対象と極性ラベルを取得し、否定的な極性ラベルを持つ改善動作の対象を不満として出力する不満出力ステップと、
を行うことを特徴とする不満抽出方法。
A complaint extraction method for extracting complaints,
An improvement action extracting means for acquiring a document from a document set database holding a document group, extracting an improvement action, and storing the extracted action in an improvement action storage means;
The action target extracting means acquires the improvement action from the improvement action storage means, extracts the improvement action target from the document acquired from the document set database, and determines the co-occurrence frequency of the improvement action and the improvement action target. A desired action extraction step;
The polarity determination means obtains the co-occurrence frequency of the improvement operation and the target of the improvement operation, classifies the target of the improvement operation as one of the negative, neutral, and positive evaluation polarities. Polarity determination step for outputting
A dissatisfied output means obtains the object of the improvement operation and the polarity label, and outputs the object of the improvement operation having a negative polarity label as dissatisfaction, and
Dissatisfaction extraction method characterized by performing.
解決対象不満抽出手段が、前記不満を取得し、Q&Aサイトのページを推薦する対象となるユーザが記述したテキストを格納するユーザテキスト記憶手段から該不満に一致する語を抽出する解決対象不満抽出ステップと、
質問探索手段が、Q&Aサイト記憶手段からユーザにより投稿された質問を取得し、該質問の中から前記不満に一致する語を含む質問を選択する質問探索ステップと、
推薦ページ出力手段が、前記不満に一致する語を含む質問を取得し、前記Q&Aサイト記憶手段から該質問に対応する回答を取得して出力する推薦ページ出力ステップと、
を更に行う請求項4記載の不満抽出方法。
Solution target dissatisfaction extraction means for extracting the word that matches the dissatisfaction from the user text storage means for acquiring the dissatisfaction and storing the text described by the user who is the target of recommending the page of the Q & A site When,
A question search step in which the question search means acquires a question posted by the user from the Q & A site storage means and selects a question including a word that matches the dissatisfaction from the questions;
Recommendation page output means, to get the questions that contain the word that matches before Symbol complaints, and the recommendation page output step of outputting to get the answer corresponding to the question from the Q & A site storage means,
The dissatisfaction extraction method of Claim 4 which performs further.
評判抽出手段が、前記文書集合データベースから、{属性表現、評価表現、評価極性}の組を評判として抽出する評判抽出ステップと、
前記改善動作の対象と評価極性の分類結果、及び、前記評判を取得し、該評判の中から該改善動作と関連性の高い改善動作の対象を属性表現に持つ評判を抽出し、否定的な評価極性の評判を抽出する評判選定ステップと、を更に行い、
前記不満出力ステップにおいて、
前記否定的な極性ラベルを持つ改善動作の対象と前記否定的な評価極性の評判に基づいて不満を出力する
請求項4または記載の不満抽出方法。
A reputation extraction step in which a reputation extraction means extracts a set of {attribute expression, evaluation expression, evaluation polarity} as a reputation from the document set database;
The classification result of the improvement action target and the evaluation polarity and the reputation are acquired, and the reputation having the attribute of the improvement action highly relevant to the improvement action is extracted from the reputation, and negative Further performing a reputation selection step of extracting reputation of evaluation polarity,
In the dissatisfied output step,
The dissatisfaction extraction method according to claim 4 or 5 , wherein dissatisfaction is output based on an object of the improvement operation having the negative polarity label and a reputation of the negative evaluation polarity.
請求項1乃至3のいずれか1項に記載の情報処理装置を構成する各手段としてコンピュータを機能させるための不満抽出プログラム。
A dissatisfaction extraction program for causing a computer to function as each means constituting the information processing apparatus according to any one of claims 1 to 3.
JP2009048549A 2009-03-02 2009-03-02 Information processing apparatus, complaint extraction method, and program Expired - Fee Related JP5138622B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009048549A JP5138622B2 (en) 2009-03-02 2009-03-02 Information processing apparatus, complaint extraction method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009048549A JP5138622B2 (en) 2009-03-02 2009-03-02 Information processing apparatus, complaint extraction method, and program

Publications (2)

Publication Number Publication Date
JP2010204865A JP2010204865A (en) 2010-09-16
JP5138622B2 true JP5138622B2 (en) 2013-02-06

Family

ID=42966296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009048549A Expired - Fee Related JP5138622B2 (en) 2009-03-02 2009-03-02 Information processing apparatus, complaint extraction method, and program

Country Status (1)

Country Link
JP (1) JP5138622B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5884977B2 (en) * 2012-02-16 2016-03-15 日本電気株式会社 Dissatisfaction extraction device, dissatisfaction extraction method, and dissatisfaction extraction program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3787318B2 (en) * 2002-07-05 2006-06-21 株式会社ジャストシステム Information processing apparatus, information processing method, and information processing program
JP4148522B2 (en) * 2004-11-19 2008-09-10 インターナショナル・ビジネス・マシーンズ・コーポレーション Expression detection system, expression detection method, and program
JP2008217064A (en) * 2007-02-28 2008-09-18 Toshiba Corp Request extraction apparatus, method and program

Also Published As

Publication number Publication date
JP2010204865A (en) 2010-09-16

Similar Documents

Publication Publication Date Title
Cryan et al. Detecting gender stereotypes: Lexicon vs. supervised learning methods
Kausar et al. ProSOUL: a framework to identify propaganda from online Urdu content
US20140351228A1 (en) Dialog system, redundant message removal method and redundant message removal program
Donato et al. Investigating redundancy in emoji use: Study on a twitter based corpus
KR102126911B1 (en) Key player detection method in social media using KeyplayerRank
US9015168B2 (en) Device and method for generating opinion pairs having sentiment orientation based impact relations
CN116882414B (en) Automatic comment generation method and related device based on large-scale language model
CN109298796B (en) Word association method and device
JP2014120053A (en) Question answering device, method, and program
CN114722836B (en) Abstract generation method, apparatus, device and medium
Al-Sheikh et al. Social media mining for assessing brand popularity
Carberry et al. Access to multimodal articles for individuals with sight impairments
CN119228386A (en) Optimization method, system, device and medium of intelligent customer service system
Madani et al. A new sentiment analysis method to detect and Analyse sentiments of Covid-19 moroccan tweets using a recommender approach
JP5138621B2 (en) Information processing apparatus, dissatisfied product discovery method and program
Sikdar et al. The effects of gender signals and performance in online product reviews
KR20230169907A (en) Learning content recommendation method
Padma et al. Dynamic YouTube Comment Sentiment Analysis with Supervised Fine-Tuned BERT
KR20200064490A (en) Server and method for automatically generating profile
JP5138622B2 (en) Information processing apparatus, complaint extraction method, and program
JP7753310B2 (en) Information processing method, information processing device, and computer program
JP3955522B2 (en) Data analysis apparatus and method, and program
Yang et al. Detecting Signs of Depression for Using Chatbots–Extraction of the First Person from Japanese
Alsudais Image classification in Arabic: exploring direct English to Arabic translations
KR20190094541A (en) Advertisement recommendation apparatus and method based on comments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121114

R150 Certificate of patent or registration of utility model

Ref document number: 5138622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees