JP3603392B2 - 文書分類支援方法および装置 - Google Patents
文書分類支援方法および装置 Download PDFInfo
- Publication number
- JP3603392B2 JP3603392B2 JP17068295A JP17068295A JP3603392B2 JP 3603392 B2 JP3603392 B2 JP 3603392B2 JP 17068295 A JP17068295 A JP 17068295A JP 17068295 A JP17068295 A JP 17068295A JP 3603392 B2 JP3603392 B2 JP 3603392B2
- Authority
- JP
- Japan
- Prior art keywords
- category
- document
- keyword
- classification
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、テキスト情報を含む電子化文書を、カテゴリに分類する文書分類方法および装置に関し、特に、計算機による分類結果に対してユーザがチェックする作業を効率良く行うための文書分類支援方法および装置に関する。
【０００２】
【従来の技術】
社会の情報化、および、情報インフラの整備に伴い、大量の情報が氾濫するようになり、必要な情報を効率良く取り出すことが必要不可欠となっている。その解決方法の一つに、予め文書を適当なカテゴリに分類しておくことが挙げられ、計算機による自動分類技術の開発が要求されてきている。
【０００３】
電子化テキスト文書の自動分類技術としては、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｓｅｃｏｎｄ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｎｏｖａｔｉｖｅ（１９９０）や、情報処理学会研究報告ＮＬ−９８−１１や、Ｉｎｆｏ−Ｔｅｃｈ’９４講演論文集 ｐｐ．１３８〜ｐｐ．１４６ に記載されている技術がある。これらは、テキスト文書中のキーワードの出現傾向に基づいてカテゴリを決定するものである。
【０００４】
【発明が解決しようとする課題】
上記の技術は、計算機によってテキストを全自動で分類するものであり、ユーザと協調的に分類結果を決定する方法については、上記文献の中で言及されていない。また、上記の技術による分類精度は、人間と同等レベルに至っていない。
【０００５】
しかし、人間と同等レベルの分類精度を要求されるような状況では、計算機の分類結果をユーザがチェックする必要がある。従って、計算機とユーザが役割分担し、協調的に分類作業を行うことが、コスト削減につながる。つまり、計算機の分類結果に基づいて、いかに効率良く、少ない作業負担で、分類すべきカテゴリを確定するかが課題となる。
【０００６】
特に、分類処理の対象となる文書の数が大量である場合、１件当たりに要する作業時間をいかに少なくし、作業負担をいかに軽減するかが課題となる。また、カテゴリの数が比較的多い場合や、カテゴリが複雑でその識別が非常に困難である場合、計算機が出力した分類結果が正しいかどうかを判定する作業や、その分類結果が誤りである場合に、真のカテゴリを一から見つける作業は、大変困難となる。従って、これらの作業をいかに効率良く行うかが課題となる。
【０００７】
そこで、本発明の一つの目的は、分類結果が正しいかどうかを判定する作業や、その分類結果が誤りである場合に、真のカテゴリを見つける作業を効率良く行うことにある。
【０００８】
また、大量の文書を順次分類する場合、その順番は、文書の内容に依存していないことが多い。その場合、文書が変わる度に記述された内容が大きく変わるため、チェックするユーザは、内容が変わる毎に、その内容に頭を切り替える必要がある。このため、チェックの効率も悪く、作業負担も増大するという課題がある。
【０００９】
そこで、本発明の他の一つの目的は、分類すべき文書の内容が頻繁に大きく変わることによる作業負担を軽減し、分類作業の効率を向上させることにある。
【００１０】
【課題を解決するための手段】
本発明では、分類処理の対象となる文書が何故そのカテゴリに分類されたかに関するログデータをカテゴリの推定結果出力手段を介してユーザに提示し、提示したログデータをユーザ入力手段を介してユーザに修正させ、修正後のログデータに基づいてカテゴリを再推定し、再推定後のカテゴリを推定結果出力手段を介してユーザに提示することにより、上記課題を解決する。
【００１１】
また、本発明では、テキスト解析手段およびカテゴリ推定手段により複数の文書について分類すべきカテゴリをそれぞれ推定し、推定されたカテゴリが互いに類似しているあるいは同一である文書集合を認定する類似文書認定手段を持ち、類似文書について、推定結果出力手段を介してカテゴリ推定手段によって推定されたカテゴリをユーザに順次提示し、提示された文書についてユーザ入力手段を介してユーザに分類すべきカテゴリを確定させることにより、上記課題を解決する。
【００１２】
【作用】
推定したカテゴリに基づいて、内容の類似している文書をまとめ、ユーザに順次提示してチェックを促すので、内容の大きな変化に伴う、ユーザの頭の切り替えが少なく済み、作業負担が軽減する。また、内容の類似した文書が続くため、以前の文書をチェックしたときのコツ、ノウハウ、教訓、データなどを次回の文書のチェックに活かすことが容易となり、チェック作業時間が少なく済む。
【００１３】
【実施例】
本発明の実施例について、以下、図面を用いて詳細に説明する。
本実施例は、新聞記事をあるカテゴリに分類し、文書データベースに格納するものである。データベースにカテゴリ毎に格納された新聞記事データは、公知の検索システムを用いることにより、検索することが可能である。
【００１４】
図１は、本実施例の概要を示す図である。
まず、分類の対象となる文書を文書入力１で入力する。文書データは、ネットワークを介して外部から取得しても良いし、フロッピーなどの媒体を介して取得しても良いし、音声認識装置、画像認識装置（文字認識を含む）、ペンなどの手書き入力装置などを介して取得しても良い。また、定期的に文書データをまとめて取得しても良いし、流通している文書データを不定期的に逐次取得しても良い。取得した文書データは、文書ファイル１０に一時的に格納する。
【００１５】
次に、ユーザからの分類する文書データの指定およびカテゴリ推定の実行指示により、文書データを解析する。推定されていない文書があるか否かを判別し（１ａ）、ない場合は、ステップ３ａに進む。
【００１６】
ある場合は、まず、テキスト解析２で、テキストから自然言語処理によりその内容を特徴付けるキーワードを自動抽出する。すなわち、単語およびその品詞・活用情報を格納した単語辞書１１を参照して、テキストを単語に分割し、品詞が名詞である単語をキーワードとし、各キーワードの出現頻度とともにキーワードテーブル１２に格納する。
【００１７】
次に、カテゴリ推定３で、予め各カテゴリを特徴付けるキーワードを定義・格納した分類知識１３およびカテゴリの体系を定義したカテゴリ定義テーブル１４を参照して、テキストから抽出したキーワードテーブル１２のキーワードが、どのカテゴリに含まれているかを探索し、含まれている場合には、そのカテゴリに得点を付与する。そして、得点の高いカテゴリがそのテキストの分類すべきカテゴリであると推定する。推定結果は、推定カテゴリテーブル１５に格納する。また、カテゴリを推定する際に用いたキーワード情報や、カテゴリの得点情報などのデータは、ログデータ１７に格納する。
【００１８】
次に、ユーザに推定結果をチェックさせるために、推定結果を出力する。このとき、推定結果をその内容が類似している文書毎に表示するか否かをユーザに指定させ（３ａ）、内容が類似している文書毎に表示しない場合、文書ＩＤの順に推定結果を表示する。
【００１９】
内容が類似している文書毎に表示する場合は、類似文書認定４で、推定カテゴリテーブル１５に格納された各文書のカテゴリ推定結果から、類似している文書を認定し、その結果を類似文書テーブル１６に格納する。
【００２０】
次に、ユーザによってカテゴリが確定されていない文書があれば（４ａ）、カテゴリ推定結果を順次ユーザに提示し（５）、結果のチェックおよび分類すべきカテゴリの確定を促す（５ａ）。このときに、ログデータ１７に格納した解析データもユーザに提示する。
【００２１】
ユーザは、提示されたカテゴリが正しいかをチェックする。そして、正しいのであれば、カテゴリを確定し、文書データベース１８に文書を登録する。
正しくないのであれば、正しいカテゴリを見つけなければならない。そのとき、ユーザが分類すべきカテゴリの推定をしなおすと指示した場合、まず、提示されているログデータについて、ユーザに修正させ（６）、修正後のデータに基づいて、カテゴリを再推定し（７）、新しい推定結果を新しい解析データとともにユーザに提示する。これにより、正しいカテゴリであるとユーザが判断した場合、カテゴリを確定し（８）、文書データベースに登録する（９）。カテゴリの再推定を何度か行っても正しいカテゴリを見つけられない場合、ユーザが人手でカテゴリを確定する。
【００２２】
カテゴリを確定すると、次の文書のチェックに移り（９ａ）、その文書のカテゴリ推定結果およびログデータを出力する。
【００２３】
図２は、本実施例のハードウエアの概要を示す図である。ユーザからの操作指示およびデータを入力するためのキーボード２０、マウス２５、結果を出力する出力モニタ３０、種々の処理を実行する処理装置４０、ファイルやプログラムを格納する記憶装置５０からなる。また、文書データを取得するために、計算機ネットワーク９０と接続されており、ネットワークを介して文書を取得可能となっている。
【００２４】
記憶装置５０は、一時的なデータを格納するワーキングエリア６１、取得した文書データを一時格納する文書ファイル格納エリア６２、単語辞書格納エリア６３、キーワードテーブル格納エリア６４、分類知識格納エリア６５、カテゴリ定義テーブル格納エリア６６、推定カテゴリテーブル格納エリア６７、類似文書テーブル格納エリア６８、ログデータ格納エリア６９、文書データベース格納エリア７０を含んでいる。ワーキングエリア６１以外の上記格納エリアに格納されるのは、データ形式のファイルである。
【００２５】
さらに、記憶装置５０は、テキスト解析処理部格納エリア７１、カテゴリ推定処理部格納エリア７２、類似文書認定処理部格納エリア７３、カテゴリ推定結果表示部格納エリア７４、ログデータ修正部格納エリア７５、カテゴリ再推定処理部格納エリア７６、カテゴリ確定処理部格納エリア７７、文書データベース登録処理部格納エリア７８をも含んでいる。これらの格納エリアに格納されるのは、実行形式のロードモジュールファイルである。
【００２６】
なお、図２に示した（ ）内の数字は図１に示した各部との対応関係を示す。
【００２７】
図３は、文書に含まれるテキスト情報の一例を示す図である。
本実施例で扱う文書データは、新聞記事であるが、文書データとしては、電子ニュース、電子メール、科学技術論文、特許明細書、クレーム・質問・意見文、会議の議事録など、他の種類のものでも良い。また、本実施例では、文書データには、テキスト情報を含んでいることを前提とし、これらの情報は、テキストコード形式でファイルに格納されていることを前提とする。ただし、静止画、動画、音声情報などがリンクされているものは差し支えない。
【００２８】
図４は、テキスト解析２で参照する単語辞書１１の一例を示す図である。単語辞書は、見出し２０１の他、品詞２０２、活用種２０３、活用行２０４といった単語属性情報を持つ。
【００２９】
図５は、テキスト解析２における、単語分割結果の一例を示す図である。テキスト解析２では、まず、図３のようなテキストに対して、図４の単語辞書１１を参照して、各文を単語毎に分割し、図５のように、単語の見出し２１１および品詞２１２を抽出する。単語分割の具体的な実現方法については、例えば、情報処理学会第４４回全国大会論文集（３）３−１８１に示すように、既に公知であるので、ここでは詳細の記述を省略する。
【００３０】
図６は、テキストから抽出したキーワードを格納するキーワードテーブル１２の一例を示す図である。テキスト解析２では、テキストを単語分割した後、品詞が名詞である単語を抽出してキーワードとし、さらに当該テキストにおける各キーワードの出現頻度を算出し、キーワードの重みとする。もちろん、名詞以外の品詞をキーワードとしても良いし、出現頻度を重みとする以外にも、キーワードの出現位置や、その前後の単語との関係などを考慮して重み付けしても良い。キーワードテーブル１２は、文書を識別する文書ＩＤ２２１、キーワード見出し２２２、その重み２２３からなる。
【００３１】
図７は、カテゴリの体系を定義したカテゴリ定義テーブル１４の一例を示す図である。本実施例では、新聞記事を分類するためのカテゴリとして、大カテゴリ２３１と小カテゴリ２３２という２階層からなるカテゴリを定義している。大カテゴリ２３１のそれぞれには、一つ以上の小カテゴリ２３２が属しており、木構造の体系をしている。カテゴリの階層は、何階層あっても良い。
【００３２】
図８は、分類知識１３の一例を示す図である。本実施例では、キーワードの有無に基づいて分類すべきカテゴリを推定するという手法を用いている。従って、分類知識１３は、カテゴリを特徴付けるキーワードの集合である。すなわち、分類知識１３は、大カテゴリ２４１、小カテゴリ２４２、そのカテゴリを特徴付けるキーワード２４３、およびそのキーワードの重要度に依存する重み２４４からなる。重み２４４は、そのキーワードがそのカテゴリを特徴付ける重要なキーワードであるほど、値が大きい。なお、この分類知識１３は、予め記憶装置５０に格納しておく。また、分類知識は、人手によって作成しても良いし、既にカテゴリの確定しているテキストをカテゴリ別に用意し、カテゴリ毎にキーワードを自動抽出することによって、作成しても良い。
【００３３】
図９は、カテゴリ推定３の処理手順を示す図である。まず、各カテゴリの得点を格納するテーブルを０に初期化する（ステップ５０１）。
【００３４】
次に、キーワードテーブル１２に格納された当該文書のキーワードすべてについて以下の処理を行う（ステップ５０２）。当該キーワードを含む分類知識１３中のカテゴリが存在するか否かを判別し（ステップ５０３）、存在するカテゴリについては、当該文書のキーワードの持つ重みＷｉ（図６の２２３に相当）と、当該カテゴリのキーワードの持つ重みＷｊ（図８の２４４に相当）の積を計算し、当該カテゴリの得点として、加算する（ステップ５０４）。
【００３５】
すべてのキーワードについて上記の処理を行った時点で、各カテゴリの得点が決定されるので、これらの得点から各カテゴリの得点の偏差値を計算する（ステップ５０５）。さらに、偏差値の高い順にカテゴリをソートする（ステップ５０６）。そして、推定カテゴリテーブル１５に、当該文書ＩＤ、カテゴリ、およびその偏差値の値を組にして、偏差値の高い順に格納する（ステップ５０７）。本実施例では、上位３個のカテゴリを格納する。もちろん、上位ｎ個のカテゴリを格納しても良いし、偏差値の値に下限を設けて、下限以上のカテゴリを格納しても良い。最後に、ログデータ１７に、当該文書ＩＤ，当該文書から抽出したキーワード、各キーワードが各カテゴリの持つキーワードに含まれる場合、ステップ５０４の重みＷｉ、重みＷｊ、及びその積の値を格納する（ステップ５０８）。
【００３６】
なお、本実施例は、２階層（大カテゴリ、小カテゴリ）のカテゴリ体系をなしているが、カテゴリ推定３では、小カテゴリについて行い、大カテゴリの推定は、小カテゴリが決まれば一意に決まるので、行っていない。別の推定方法として、まず、大カテゴリについてカテゴリを推定し、上位にランクされた大カテゴリに限定した形で、小カテゴリを推定する方法でも良い。この場合、大カテゴリを特徴付けるキーワードおよびその重みを定義した分類知識１３が必要である。人手により新たに作成しても良いし、小カテゴリに関する分類知識を大カテゴリ毎にまとめあげることで容易に作成することもできる。
【００３７】
図１０は、推定カテゴリテーブル１５の一例を示す図である。推定カテゴリテーブル１５は、文書ＩＤ２５１、推定されたカテゴリの順位２５２、推定された大カテゴリ候補２５３、推定された小カテゴリ候補２５４、そのカテゴリの偏差値２５５からなる。
【００３８】
図１１は、類似文書認定４の処理手順を示す図である。まず、類似文書テーブル１６を初期化する（ステップ５２１）。次に、すべてのカテゴリについて、以下の処理を行う（ステップ５２２）。推定カテゴリテーブル１５を参照して、カテゴリを推定した文書の中で、当該カテゴリに第１位に分類すべきと推定された文書の文書ＩＤを抽出する（ステップ５２３）。
【００３９】
次に、抽出した文書ＩＤについて、第２位に分類すべきと推定されたカテゴリ毎にまとめ、当該カテゴリと対応付けて、類似文書テーブル１６に格納する（ステップ５２４）。
【００４０】
図１２は、類似文書テーブル１６の一例を示す図である。図１１に示すように、本実施例では、第１位に推定されたカテゴリと第２位に推定されたカテゴリが同一の文書毎にまとめられて、類似文書テーブル１６に格納している。すなわち、類似文書テーブル１６は、第１位に推定されたカテゴリ２６１、第２位に推定されたカテゴリ２６２、そして、それらを推定結果としてもつ文書ＩＤ２６３から構成される。
【００４１】
図１３は、カテゴリ推定結果表示の一例を示す図である。ここで、文書指定ボタン４０１は、処理する文書の範囲を指定するものであり、文書の存在するディレクトリを指定する。分類ボタン４０２は、指定された文書について、テキスト解析２およびカテゴリ推定３を実行し、推定結果およびログデータを得る。再分類ボタン４０３は、ユーザによって修正されたデータに基づいてカテゴリの再推定を実行し、再推定結果を出力する。絞込分類ボタン４０４は、後述するように、上位階層のカテゴリをユーザに指定させ、そのカテゴリに属する下位カテゴリに限定した中でカテゴリ推定を実行し、推定結果を出力する。カテゴリ一覧ボタン４０５は、カテゴリ定義テーブル１４の内容を表示する。分類知識参照ボタン４０６は、分類知識１３に格納されているキーワードおよびその重みをカテゴリ別に表示する。終了ボタン４０７は、システムを終了する。
【００４２】
４１１は、テキストの内容を表示するエリアであり、文書テキストのＩＤも表示している。４１２は、当該テキストから抽出したキーワードおよびその重み（出現頻度）を対にして重みの高い順に表示するエリアである。
【００４３】
４１３は、各カテゴリについて、４１２のキーワードのうち、どのキーワードを含んでいるか、また、その得点はどのくらいの大きさかを表示する。カテゴリの指定は、分類結果である４１４のカテゴリのうちのどれか一つを指定することにより行う。図１３の４１３で、例えば、「円」というキーワードは、「国際経済」という小カテゴリのキーワードに含まれており、テキストから抽出したキーワードの持つ重みＷｉが４、分類知識１３の「国際経済」という小カテゴリのキーワード「円」の持つ重みＷｊが８、その結果、得点が４×８＝３２点与えられたことを示している。
【００４４】
４１４は、推定された大カテゴリ、小カテゴリ、およびその偏差値を表示するエリアである。４１５は、ユーザが確定したカテゴリを表示するエリアである。
４１６は、現在チェックしている文書の直前にチェックした文書について、そのカテゴリ推定結果およびログデータ、確定カテゴリを表示するボタンである。これらチェック済みの文書に関するデータは、推定カテゴリテーブルおよびログデータに格納されているので、それらのデータを表示することで容易に実現可能である。
【００４５】
４１７は、現在チェックしている文書についてカテゴリを確定し、次の文書のチェックに移ることを指示するボタンである。この時点で、４１５に記述されたカテゴリを分類すべきカテゴリとして確定し、文書データベース１８に当該文書をカテゴリ情報とともに登録する。
【００４６】
図１４は、カテゴリ推定結果表示の他の一例を示す図である。４２１は、分類知識の一覧であり、分類知識参照ボタン４０６を押した時に、分類知識１３を参照して表示する。４２２は、カテゴリ一覧ボタン４０５を押した時に、カテゴリ定義テーブル１４を参照して表示する。４２３は、カテゴリの範囲を記述した文章であり、カテゴリ一覧４２２において、どれか一つのカテゴリを選択した場合に、表示される。
【００４７】
図１５は、ユーザによりログデータが修正された後の画面の一例を示す図である。４１１、４１２については、ユーザがキーボード２０およびマウス２５を介して表示されたデータを修正できるようになっている。図１５では、４１２について修正がなされている。キーワードに関しては、表示されているキーワードの削除、新しいキーワードの追加、表示されている重みの修正が可能である。修正前の画面である図１３に対し、図１５では、「円」、「為替市場」、「急騰」などのキーワードの重みが修正され、また、「１日」、「一時」などのあまり重要でないキーワードが削除されている。
【００４８】
図１６は、カテゴリ再推定結果の一例を示す図である。キーワードおよびその重みを修正した結果、分類結果４１４として、前回の推定結果として現れなかったカテゴリ「為替」が第１位に新しく現れたことを示している。このように新たに現れたカテゴリについては、星印を付加して、他のカテゴリと区別している。もちろん、区別の仕方は星印の付加以外でも良い。
【００４９】
図１７は、カテゴリ再推定７の処理手順を示す図である。まず、各カテゴリの得点を格納するテーブルを０に初期化する（ステップ５４１）。
【００５０】
次に、当該文書ＩＤ、修正後のテキスト、修正後のキーワードおよびその重みを出力画面から読み取り、ワーキングエリア１６に格納する（ステップ５４２）。 次に、テキスト情報が修正されたか否かを判別する（ステップ５４３）。テキスト情報が修正されてしまうと、そこから抽出されるキーワードおよびその重みが大きく変わるため、テキスト解析２からやり直す必要がある。それに対して、テキスト情報が修正されていない場合は、表示画面から読み取ったキーワード情報を使用することができるので、カテゴリ推定３から処理すれば良い。テキスト情報が修正されたか否かについては、テキスト修正フラグを設け、そのオンオフにより判別できる。
【００５１】
ステップ５４３で、テキスト情報が修正された場合、テキスト解析２を実行して、修正後のテキストからキーワードおよび重みを抽出し、結果をワーキングエリア６１に格納する（ステップ５４４）。
【００５２】
次に、ワーキングエリア６１に格納されたすべてのキーワードについて、以下の処理を行う（ステップ５４５）。当該キーワードを含む分類知識中のカテゴリが存在するか否かを判別し（ステップ５４６）、存在するカテゴリについては、当該文書のキーワードの持つ重みＷｉ（図６の２２３に相当）と、当該カテゴリのキーワードの持つ重みＷｊ（図８の２４４に相当）の積を計算し、当該カテゴリの得点として、加算する（ステップ５４７）。
【００５３】
すべてのキーワードについて行った時点で、各カテゴリの得点が決定されるので、これらの得点から各カテゴリの得点の偏差値を計算する（ステップ５４８）。さらに、偏差値の高い順にカテゴリをソートする（ステップ５４９）。そして、推定カテゴリテーブル１５に、当該文書ＩＤ、カテゴリ、およびその偏差値の値を組にして、偏差値の高い順に格納する（ステップ５５０）。
【００５４】
図１８は、ログデータ１７の一例を示す図である。ログデータ１７には、文書ＩＤ、テキストから抽出したキーワードおよびその重み、カテゴリ別の得点の内訳、確定されたカテゴリに関するデータを、システム終了するまで格納、保持する。従って、ある文書のカテゴリ推定結果をチェックしているときに、それまでにチェック済みの文書のデータを参照することもできる。
【００５５】
図１９は、カテゴリ確定８の一例を示す図である。ユーザは、分類結果４１４を参照して、カテゴリを確定する。本実施例では、分類結果４１４において、確定したいカテゴリをマウスでダブルクリックすることにより、選択したカテゴリを確定カテゴリ４１５に表示する。
【００５６】
このように、本実施例によれば、文書を分類したい場合、計算機によってカテゴリの候補を推定させ、その結果を表示させ、それをユーザがチェックするというマンマシン分担型の文書分類支援システムを実現できる。また、分類結果を表示する際に、推定されたカテゴリ別にまとめて順次結果を提示するので、ユーザは効率良くチェックが行える。また、提示された結果が誤りであっても、データを修正し、再分類することによって、正しいカテゴリに分類する精度を向上させることができ、分類すべきカテゴリをユーザが一から見つけるという負担の大きな作業をする割合を極力少なくすることができる。
【００５７】
次に、本実施例の変形例について述べる。
類似文書認定４において、本実施例では、上位２個の推定カテゴリによって認定したが、推定カテゴリの代わりに、テキストから抽出した重みの高いキーワードによって認定しても良い。
【００５８】
図２０は、その処理方法を示す図である。まず、類似文書テーブル１６を初期化する（ステップ５６１）。次に、類似文書としてまだ認定されていない文書の存在する間、以下の処理を実行する（ステップ５６２）。認定されていないある文書について、当該文書から抽出された重みの高いｍ種類のキーワードのうちのｎ種類（ｍ＞＝ｎ）以上のキーワードが、重みの高いｍ種類のキーワードの中に含まれている文書を抽出し、類似文書集合を識別するための集合識別子とともに、類似文書テーブルに格納する（ステップ５６３）。図１１では、集合識別子に相当するものとして、カテゴリの名称を用いていたが、ここでは、それを代用するものとして、集合識別子を定義する。これは、類似文書集合を識別可能であれば、どんな形でも良い。
【００５９】
ステップ５６３の後、類似文書テーブル１６に格納した文書をステップ５６２の処理対象から除く（ステップ５６４）。
以上の処理によって、カテゴリ推定された結果をユーザに提示する際に、重みの高いキーワードをどれだけ共有しているかということに基づいて類似文書毎に提示することが可能となる。
【００６０】
次に、本実施例の拡張例について述べる。
本実施例のように、カテゴリが複数の階層からなる場合、上位カテゴリをユーザに提示して指定させ、指定された上位カテゴリに属する下位カテゴリに限定してカテゴリの推定を行うことにより、分類精度向上が期待できる。これは、特に、下位カテゴリの数が膨大である場合に、有効である。
【００６１】
図２１は、大カテゴリを指定するための画面の一例を示した図である。大カテゴリの指定は、絞込分類ボタン４０４が押された時、指定用画面４２４を表示することによって行われる。大カテゴリの指定は、複数であっても良い。また、指定用画面４２４における大カテゴリの表示順序は、基本的には、カテゴリ定義テーブル１４に定義されている順序であるが、カテゴリ推定３において、まず大カテゴリを推定し、その結果を用いて小カテゴリを推定する手法を採用する場合には、当該文書の大カテゴリに関する推定結果をログデータ１７に格納・保持しておくことにより、大カテゴリの推定結果の順序に基づいて表示することも可能である。
【００６２】
指定用画面４２４によって、大カテゴリを指定した後、再分類ボタン４０３を押すことによって、指定された大カテゴリに限定したカテゴリ再推定７を実行する。図１７に示すカテゴリ再推定７の処理手順のステップ５５０において、推定カテゴリテーブル１５に推定結果を格納する際に、推定されたカテゴリの大カテゴリがユーザによって指定された大カテゴリに含まれている場合に限り、格納することにより、上位カテゴリによる絞り込みが実現できる。図１３の結果表示において、仮に、ユーザが、大カテゴリを「経済」に絞り込んだ場合、分類結果４１４において、２位の「政治：国会」というカテゴリは、除去される。
【００６３】
このように、上位カテゴリが比較的少なく、ユーザが容易に確定できる場合、上位カテゴリで絞り込んでカテゴリを推定することにより、正しいカテゴリを得ることができるようになる。
【００６４】
【発明の効果】
文書の自動分類結果をユーザがチェックする際に、計算機によって分類された結果が類似した文書毎にユーザに順次提示し、チェックを促すので、以前の文書をチェックしたときのコツ、ノウハウ、教訓、データなどを次回の文書のチェックに活かすことが容易となり、チェック作業時間が少なく済む。
【００６５】
また、自動分類結果が誤りであった場合でも、自動分類結果とともに出力するログデータをユーザに修正させ、再推定することにより、正しい分類結果を導くことが可能であるため、最初の自動分類結果が誤りであった場合に、ユーザが一から分類しなおすという負担の重い作業を軽減することができる。
【図面の簡単な説明】
【図１】本実施例の概要を示す図である。
【図２】本実施例のハードウエアの概要を示す図である。
【図３】文書に含まれるテキストの一例を示す図である。
【図４】単語辞書の一例を示す図である。
【図５】テキスト解析における単語分割結果の一例を示す図である。
【図６】キーワードテーブルの一例を示す図である。
【図７】カテゴリ定義テーブルの一例を示す図である。
【図８】分類知識の一例を示す図である。
【図９】カテゴリ推定の処理手順を示す図である。
【図１０】推定カテゴリテーブルの一例を示す図である。
【図１１】類似文書認定の処理手順を示す図である。
【図１２】類似文書テーブルの一例を示す図である。
【図１３】カテゴリ推定結果表示の一例を示す図である。
【図１４】カテゴリ推定結果表示の他の一例を示す図である。
【図１５】ユーザにより修正後の画面の一例を示す図である。
【図１６】カテゴリ再推定結果の一例を示す図である。
【図１７】カテゴリ再推定の処理手順を示す図である。
【図１８】ログデータの一例を示す図である。
【図１９】カテゴリ確定の一例を示す図である。
【図２０】類似文書認定の他の処理手順を示す図である。
【図２１】上位カテゴリの絞り込みの一例を示す図である。
【符号の説明】
１：文書入力、２：テキスト解析、３：カテゴリ推定、４：類似文書認定、
５：カテゴリ推定結果表示、６：ログデータ修正、７：カテゴリ再推定、
８：カテゴリ確定、９：文書データベース登録、１０：文書ファイル、
１１：単語辞書、１２：キーワードテーブル、１３：分類知識、
１４：カテゴリ定義テーブル、１５：推定カテゴリテーブル、
１６：類似文書テーブル、１７：ログデータ、１８：文書データベース
【産業上の利用分野】
本発明は、テキスト情報を含む電子化文書を、カテゴリに分類する文書分類方法および装置に関し、特に、計算機による分類結果に対してユーザがチェックする作業を効率良く行うための文書分類支援方法および装置に関する。
【０００２】
【従来の技術】
社会の情報化、および、情報インフラの整備に伴い、大量の情報が氾濫するようになり、必要な情報を効率良く取り出すことが必要不可欠となっている。その解決方法の一つに、予め文書を適当なカテゴリに分類しておくことが挙げられ、計算機による自動分類技術の開発が要求されてきている。
【０００３】
電子化テキスト文書の自動分類技術としては、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｓｅｃｏｎｄ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｎｏｖａｔｉｖｅ（１９９０）や、情報処理学会研究報告ＮＬ−９８−１１や、Ｉｎｆｏ−Ｔｅｃｈ’９４講演論文集 ｐｐ．１３８〜ｐｐ．１４６ に記載されている技術がある。これらは、テキスト文書中のキーワードの出現傾向に基づいてカテゴリを決定するものである。
【０００４】
【発明が解決しようとする課題】
上記の技術は、計算機によってテキストを全自動で分類するものであり、ユーザと協調的に分類結果を決定する方法については、上記文献の中で言及されていない。また、上記の技術による分類精度は、人間と同等レベルに至っていない。
【０００５】
しかし、人間と同等レベルの分類精度を要求されるような状況では、計算機の分類結果をユーザがチェックする必要がある。従って、計算機とユーザが役割分担し、協調的に分類作業を行うことが、コスト削減につながる。つまり、計算機の分類結果に基づいて、いかに効率良く、少ない作業負担で、分類すべきカテゴリを確定するかが課題となる。
【０００６】
特に、分類処理の対象となる文書の数が大量である場合、１件当たりに要する作業時間をいかに少なくし、作業負担をいかに軽減するかが課題となる。また、カテゴリの数が比較的多い場合や、カテゴリが複雑でその識別が非常に困難である場合、計算機が出力した分類結果が正しいかどうかを判定する作業や、その分類結果が誤りである場合に、真のカテゴリを一から見つける作業は、大変困難となる。従って、これらの作業をいかに効率良く行うかが課題となる。
【０００７】
そこで、本発明の一つの目的は、分類結果が正しいかどうかを判定する作業や、その分類結果が誤りである場合に、真のカテゴリを見つける作業を効率良く行うことにある。
【０００８】
また、大量の文書を順次分類する場合、その順番は、文書の内容に依存していないことが多い。その場合、文書が変わる度に記述された内容が大きく変わるため、チェックするユーザは、内容が変わる毎に、その内容に頭を切り替える必要がある。このため、チェックの効率も悪く、作業負担も増大するという課題がある。
【０００９】
そこで、本発明の他の一つの目的は、分類すべき文書の内容が頻繁に大きく変わることによる作業負担を軽減し、分類作業の効率を向上させることにある。
【００１０】
【課題を解決するための手段】
本発明では、分類処理の対象となる文書が何故そのカテゴリに分類されたかに関するログデータをカテゴリの推定結果出力手段を介してユーザに提示し、提示したログデータをユーザ入力手段を介してユーザに修正させ、修正後のログデータに基づいてカテゴリを再推定し、再推定後のカテゴリを推定結果出力手段を介してユーザに提示することにより、上記課題を解決する。
【００１１】
また、本発明では、テキスト解析手段およびカテゴリ推定手段により複数の文書について分類すべきカテゴリをそれぞれ推定し、推定されたカテゴリが互いに類似しているあるいは同一である文書集合を認定する類似文書認定手段を持ち、類似文書について、推定結果出力手段を介してカテゴリ推定手段によって推定されたカテゴリをユーザに順次提示し、提示された文書についてユーザ入力手段を介してユーザに分類すべきカテゴリを確定させることにより、上記課題を解決する。
【００１２】
【作用】
推定したカテゴリに基づいて、内容の類似している文書をまとめ、ユーザに順次提示してチェックを促すので、内容の大きな変化に伴う、ユーザの頭の切り替えが少なく済み、作業負担が軽減する。また、内容の類似した文書が続くため、以前の文書をチェックしたときのコツ、ノウハウ、教訓、データなどを次回の文書のチェックに活かすことが容易となり、チェック作業時間が少なく済む。
【００１３】
【実施例】
本発明の実施例について、以下、図面を用いて詳細に説明する。
本実施例は、新聞記事をあるカテゴリに分類し、文書データベースに格納するものである。データベースにカテゴリ毎に格納された新聞記事データは、公知の検索システムを用いることにより、検索することが可能である。
【００１４】
図１は、本実施例の概要を示す図である。
まず、分類の対象となる文書を文書入力１で入力する。文書データは、ネットワークを介して外部から取得しても良いし、フロッピーなどの媒体を介して取得しても良いし、音声認識装置、画像認識装置（文字認識を含む）、ペンなどの手書き入力装置などを介して取得しても良い。また、定期的に文書データをまとめて取得しても良いし、流通している文書データを不定期的に逐次取得しても良い。取得した文書データは、文書ファイル１０に一時的に格納する。
【００１５】
次に、ユーザからの分類する文書データの指定およびカテゴリ推定の実行指示により、文書データを解析する。推定されていない文書があるか否かを判別し（１ａ）、ない場合は、ステップ３ａに進む。
【００１６】
ある場合は、まず、テキスト解析２で、テキストから自然言語処理によりその内容を特徴付けるキーワードを自動抽出する。すなわち、単語およびその品詞・活用情報を格納した単語辞書１１を参照して、テキストを単語に分割し、品詞が名詞である単語をキーワードとし、各キーワードの出現頻度とともにキーワードテーブル１２に格納する。
【００１７】
次に、カテゴリ推定３で、予め各カテゴリを特徴付けるキーワードを定義・格納した分類知識１３およびカテゴリの体系を定義したカテゴリ定義テーブル１４を参照して、テキストから抽出したキーワードテーブル１２のキーワードが、どのカテゴリに含まれているかを探索し、含まれている場合には、そのカテゴリに得点を付与する。そして、得点の高いカテゴリがそのテキストの分類すべきカテゴリであると推定する。推定結果は、推定カテゴリテーブル１５に格納する。また、カテゴリを推定する際に用いたキーワード情報や、カテゴリの得点情報などのデータは、ログデータ１７に格納する。
【００１８】
次に、ユーザに推定結果をチェックさせるために、推定結果を出力する。このとき、推定結果をその内容が類似している文書毎に表示するか否かをユーザに指定させ（３ａ）、内容が類似している文書毎に表示しない場合、文書ＩＤの順に推定結果を表示する。
【００１９】
内容が類似している文書毎に表示する場合は、類似文書認定４で、推定カテゴリテーブル１５に格納された各文書のカテゴリ推定結果から、類似している文書を認定し、その結果を類似文書テーブル１６に格納する。
【００２０】
次に、ユーザによってカテゴリが確定されていない文書があれば（４ａ）、カテゴリ推定結果を順次ユーザに提示し（５）、結果のチェックおよび分類すべきカテゴリの確定を促す（５ａ）。このときに、ログデータ１７に格納した解析データもユーザに提示する。
【００２１】
ユーザは、提示されたカテゴリが正しいかをチェックする。そして、正しいのであれば、カテゴリを確定し、文書データベース１８に文書を登録する。
正しくないのであれば、正しいカテゴリを見つけなければならない。そのとき、ユーザが分類すべきカテゴリの推定をしなおすと指示した場合、まず、提示されているログデータについて、ユーザに修正させ（６）、修正後のデータに基づいて、カテゴリを再推定し（７）、新しい推定結果を新しい解析データとともにユーザに提示する。これにより、正しいカテゴリであるとユーザが判断した場合、カテゴリを確定し（８）、文書データベースに登録する（９）。カテゴリの再推定を何度か行っても正しいカテゴリを見つけられない場合、ユーザが人手でカテゴリを確定する。
【００２２】
カテゴリを確定すると、次の文書のチェックに移り（９ａ）、その文書のカテゴリ推定結果およびログデータを出力する。
【００２３】
図２は、本実施例のハードウエアの概要を示す図である。ユーザからの操作指示およびデータを入力するためのキーボード２０、マウス２５、結果を出力する出力モニタ３０、種々の処理を実行する処理装置４０、ファイルやプログラムを格納する記憶装置５０からなる。また、文書データを取得するために、計算機ネットワーク９０と接続されており、ネットワークを介して文書を取得可能となっている。
【００２４】
記憶装置５０は、一時的なデータを格納するワーキングエリア６１、取得した文書データを一時格納する文書ファイル格納エリア６２、単語辞書格納エリア６３、キーワードテーブル格納エリア６４、分類知識格納エリア６５、カテゴリ定義テーブル格納エリア６６、推定カテゴリテーブル格納エリア６７、類似文書テーブル格納エリア６８、ログデータ格納エリア６９、文書データベース格納エリア７０を含んでいる。ワーキングエリア６１以外の上記格納エリアに格納されるのは、データ形式のファイルである。
【００２５】
さらに、記憶装置５０は、テキスト解析処理部格納エリア７１、カテゴリ推定処理部格納エリア７２、類似文書認定処理部格納エリア７３、カテゴリ推定結果表示部格納エリア７４、ログデータ修正部格納エリア７５、カテゴリ再推定処理部格納エリア７６、カテゴリ確定処理部格納エリア７７、文書データベース登録処理部格納エリア７８をも含んでいる。これらの格納エリアに格納されるのは、実行形式のロードモジュールファイルである。
【００２６】
なお、図２に示した（ ）内の数字は図１に示した各部との対応関係を示す。
【００２７】
図３は、文書に含まれるテキスト情報の一例を示す図である。
本実施例で扱う文書データは、新聞記事であるが、文書データとしては、電子ニュース、電子メール、科学技術論文、特許明細書、クレーム・質問・意見文、会議の議事録など、他の種類のものでも良い。また、本実施例では、文書データには、テキスト情報を含んでいることを前提とし、これらの情報は、テキストコード形式でファイルに格納されていることを前提とする。ただし、静止画、動画、音声情報などがリンクされているものは差し支えない。
【００２８】
図４は、テキスト解析２で参照する単語辞書１１の一例を示す図である。単語辞書は、見出し２０１の他、品詞２０２、活用種２０３、活用行２０４といった単語属性情報を持つ。
【００２９】
図５は、テキスト解析２における、単語分割結果の一例を示す図である。テキスト解析２では、まず、図３のようなテキストに対して、図４の単語辞書１１を参照して、各文を単語毎に分割し、図５のように、単語の見出し２１１および品詞２１２を抽出する。単語分割の具体的な実現方法については、例えば、情報処理学会第４４回全国大会論文集（３）３−１８１に示すように、既に公知であるので、ここでは詳細の記述を省略する。
【００３０】
図６は、テキストから抽出したキーワードを格納するキーワードテーブル１２の一例を示す図である。テキスト解析２では、テキストを単語分割した後、品詞が名詞である単語を抽出してキーワードとし、さらに当該テキストにおける各キーワードの出現頻度を算出し、キーワードの重みとする。もちろん、名詞以外の品詞をキーワードとしても良いし、出現頻度を重みとする以外にも、キーワードの出現位置や、その前後の単語との関係などを考慮して重み付けしても良い。キーワードテーブル１２は、文書を識別する文書ＩＤ２２１、キーワード見出し２２２、その重み２２３からなる。
【００３１】
図７は、カテゴリの体系を定義したカテゴリ定義テーブル１４の一例を示す図である。本実施例では、新聞記事を分類するためのカテゴリとして、大カテゴリ２３１と小カテゴリ２３２という２階層からなるカテゴリを定義している。大カテゴリ２３１のそれぞれには、一つ以上の小カテゴリ２３２が属しており、木構造の体系をしている。カテゴリの階層は、何階層あっても良い。
【００３２】
図８は、分類知識１３の一例を示す図である。本実施例では、キーワードの有無に基づいて分類すべきカテゴリを推定するという手法を用いている。従って、分類知識１３は、カテゴリを特徴付けるキーワードの集合である。すなわち、分類知識１３は、大カテゴリ２４１、小カテゴリ２４２、そのカテゴリを特徴付けるキーワード２４３、およびそのキーワードの重要度に依存する重み２４４からなる。重み２４４は、そのキーワードがそのカテゴリを特徴付ける重要なキーワードであるほど、値が大きい。なお、この分類知識１３は、予め記憶装置５０に格納しておく。また、分類知識は、人手によって作成しても良いし、既にカテゴリの確定しているテキストをカテゴリ別に用意し、カテゴリ毎にキーワードを自動抽出することによって、作成しても良い。
【００３３】
図９は、カテゴリ推定３の処理手順を示す図である。まず、各カテゴリの得点を格納するテーブルを０に初期化する（ステップ５０１）。
【００３４】
次に、キーワードテーブル１２に格納された当該文書のキーワードすべてについて以下の処理を行う（ステップ５０２）。当該キーワードを含む分類知識１３中のカテゴリが存在するか否かを判別し（ステップ５０３）、存在するカテゴリについては、当該文書のキーワードの持つ重みＷｉ（図６の２２３に相当）と、当該カテゴリのキーワードの持つ重みＷｊ（図８の２４４に相当）の積を計算し、当該カテゴリの得点として、加算する（ステップ５０４）。
【００３５】
すべてのキーワードについて上記の処理を行った時点で、各カテゴリの得点が決定されるので、これらの得点から各カテゴリの得点の偏差値を計算する（ステップ５０５）。さらに、偏差値の高い順にカテゴリをソートする（ステップ５０６）。そして、推定カテゴリテーブル１５に、当該文書ＩＤ、カテゴリ、およびその偏差値の値を組にして、偏差値の高い順に格納する（ステップ５０７）。本実施例では、上位３個のカテゴリを格納する。もちろん、上位ｎ個のカテゴリを格納しても良いし、偏差値の値に下限を設けて、下限以上のカテゴリを格納しても良い。最後に、ログデータ１７に、当該文書ＩＤ，当該文書から抽出したキーワード、各キーワードが各カテゴリの持つキーワードに含まれる場合、ステップ５０４の重みＷｉ、重みＷｊ、及びその積の値を格納する（ステップ５０８）。
【００３６】
なお、本実施例は、２階層（大カテゴリ、小カテゴリ）のカテゴリ体系をなしているが、カテゴリ推定３では、小カテゴリについて行い、大カテゴリの推定は、小カテゴリが決まれば一意に決まるので、行っていない。別の推定方法として、まず、大カテゴリについてカテゴリを推定し、上位にランクされた大カテゴリに限定した形で、小カテゴリを推定する方法でも良い。この場合、大カテゴリを特徴付けるキーワードおよびその重みを定義した分類知識１３が必要である。人手により新たに作成しても良いし、小カテゴリに関する分類知識を大カテゴリ毎にまとめあげることで容易に作成することもできる。
【００３７】
図１０は、推定カテゴリテーブル１５の一例を示す図である。推定カテゴリテーブル１５は、文書ＩＤ２５１、推定されたカテゴリの順位２５２、推定された大カテゴリ候補２５３、推定された小カテゴリ候補２５４、そのカテゴリの偏差値２５５からなる。
【００３８】
図１１は、類似文書認定４の処理手順を示す図である。まず、類似文書テーブル１６を初期化する（ステップ５２１）。次に、すべてのカテゴリについて、以下の処理を行う（ステップ５２２）。推定カテゴリテーブル１５を参照して、カテゴリを推定した文書の中で、当該カテゴリに第１位に分類すべきと推定された文書の文書ＩＤを抽出する（ステップ５２３）。
【００３９】
次に、抽出した文書ＩＤについて、第２位に分類すべきと推定されたカテゴリ毎にまとめ、当該カテゴリと対応付けて、類似文書テーブル１６に格納する（ステップ５２４）。
【００４０】
図１２は、類似文書テーブル１６の一例を示す図である。図１１に示すように、本実施例では、第１位に推定されたカテゴリと第２位に推定されたカテゴリが同一の文書毎にまとめられて、類似文書テーブル１６に格納している。すなわち、類似文書テーブル１６は、第１位に推定されたカテゴリ２６１、第２位に推定されたカテゴリ２６２、そして、それらを推定結果としてもつ文書ＩＤ２６３から構成される。
【００４１】
図１３は、カテゴリ推定結果表示の一例を示す図である。ここで、文書指定ボタン４０１は、処理する文書の範囲を指定するものであり、文書の存在するディレクトリを指定する。分類ボタン４０２は、指定された文書について、テキスト解析２およびカテゴリ推定３を実行し、推定結果およびログデータを得る。再分類ボタン４０３は、ユーザによって修正されたデータに基づいてカテゴリの再推定を実行し、再推定結果を出力する。絞込分類ボタン４０４は、後述するように、上位階層のカテゴリをユーザに指定させ、そのカテゴリに属する下位カテゴリに限定した中でカテゴリ推定を実行し、推定結果を出力する。カテゴリ一覧ボタン４０５は、カテゴリ定義テーブル１４の内容を表示する。分類知識参照ボタン４０６は、分類知識１３に格納されているキーワードおよびその重みをカテゴリ別に表示する。終了ボタン４０７は、システムを終了する。
【００４２】
４１１は、テキストの内容を表示するエリアであり、文書テキストのＩＤも表示している。４１２は、当該テキストから抽出したキーワードおよびその重み（出現頻度）を対にして重みの高い順に表示するエリアである。
【００４３】
４１３は、各カテゴリについて、４１２のキーワードのうち、どのキーワードを含んでいるか、また、その得点はどのくらいの大きさかを表示する。カテゴリの指定は、分類結果である４１４のカテゴリのうちのどれか一つを指定することにより行う。図１３の４１３で、例えば、「円」というキーワードは、「国際経済」という小カテゴリのキーワードに含まれており、テキストから抽出したキーワードの持つ重みＷｉが４、分類知識１３の「国際経済」という小カテゴリのキーワード「円」の持つ重みＷｊが８、その結果、得点が４×８＝３２点与えられたことを示している。
【００４４】
４１４は、推定された大カテゴリ、小カテゴリ、およびその偏差値を表示するエリアである。４１５は、ユーザが確定したカテゴリを表示するエリアである。
４１６は、現在チェックしている文書の直前にチェックした文書について、そのカテゴリ推定結果およびログデータ、確定カテゴリを表示するボタンである。これらチェック済みの文書に関するデータは、推定カテゴリテーブルおよびログデータに格納されているので、それらのデータを表示することで容易に実現可能である。
【００４５】
４１７は、現在チェックしている文書についてカテゴリを確定し、次の文書のチェックに移ることを指示するボタンである。この時点で、４１５に記述されたカテゴリを分類すべきカテゴリとして確定し、文書データベース１８に当該文書をカテゴリ情報とともに登録する。
【００４６】
図１４は、カテゴリ推定結果表示の他の一例を示す図である。４２１は、分類知識の一覧であり、分類知識参照ボタン４０６を押した時に、分類知識１３を参照して表示する。４２２は、カテゴリ一覧ボタン４０５を押した時に、カテゴリ定義テーブル１４を参照して表示する。４２３は、カテゴリの範囲を記述した文章であり、カテゴリ一覧４２２において、どれか一つのカテゴリを選択した場合に、表示される。
【００４７】
図１５は、ユーザによりログデータが修正された後の画面の一例を示す図である。４１１、４１２については、ユーザがキーボード２０およびマウス２５を介して表示されたデータを修正できるようになっている。図１５では、４１２について修正がなされている。キーワードに関しては、表示されているキーワードの削除、新しいキーワードの追加、表示されている重みの修正が可能である。修正前の画面である図１３に対し、図１５では、「円」、「為替市場」、「急騰」などのキーワードの重みが修正され、また、「１日」、「一時」などのあまり重要でないキーワードが削除されている。
【００４８】
図１６は、カテゴリ再推定結果の一例を示す図である。キーワードおよびその重みを修正した結果、分類結果４１４として、前回の推定結果として現れなかったカテゴリ「為替」が第１位に新しく現れたことを示している。このように新たに現れたカテゴリについては、星印を付加して、他のカテゴリと区別している。もちろん、区別の仕方は星印の付加以外でも良い。
【００４９】
図１７は、カテゴリ再推定７の処理手順を示す図である。まず、各カテゴリの得点を格納するテーブルを０に初期化する（ステップ５４１）。
【００５０】
次に、当該文書ＩＤ、修正後のテキスト、修正後のキーワードおよびその重みを出力画面から読み取り、ワーキングエリア１６に格納する（ステップ５４２）。 次に、テキスト情報が修正されたか否かを判別する（ステップ５４３）。テキスト情報が修正されてしまうと、そこから抽出されるキーワードおよびその重みが大きく変わるため、テキスト解析２からやり直す必要がある。それに対して、テキスト情報が修正されていない場合は、表示画面から読み取ったキーワード情報を使用することができるので、カテゴリ推定３から処理すれば良い。テキスト情報が修正されたか否かについては、テキスト修正フラグを設け、そのオンオフにより判別できる。
【００５１】
ステップ５４３で、テキスト情報が修正された場合、テキスト解析２を実行して、修正後のテキストからキーワードおよび重みを抽出し、結果をワーキングエリア６１に格納する（ステップ５４４）。
【００５２】
次に、ワーキングエリア６１に格納されたすべてのキーワードについて、以下の処理を行う（ステップ５４５）。当該キーワードを含む分類知識中のカテゴリが存在するか否かを判別し（ステップ５４６）、存在するカテゴリについては、当該文書のキーワードの持つ重みＷｉ（図６の２２３に相当）と、当該カテゴリのキーワードの持つ重みＷｊ（図８の２４４に相当）の積を計算し、当該カテゴリの得点として、加算する（ステップ５４７）。
【００５３】
すべてのキーワードについて行った時点で、各カテゴリの得点が決定されるので、これらの得点から各カテゴリの得点の偏差値を計算する（ステップ５４８）。さらに、偏差値の高い順にカテゴリをソートする（ステップ５４９）。そして、推定カテゴリテーブル１５に、当該文書ＩＤ、カテゴリ、およびその偏差値の値を組にして、偏差値の高い順に格納する（ステップ５５０）。
【００５４】
図１８は、ログデータ１７の一例を示す図である。ログデータ１７には、文書ＩＤ、テキストから抽出したキーワードおよびその重み、カテゴリ別の得点の内訳、確定されたカテゴリに関するデータを、システム終了するまで格納、保持する。従って、ある文書のカテゴリ推定結果をチェックしているときに、それまでにチェック済みの文書のデータを参照することもできる。
【００５５】
図１９は、カテゴリ確定８の一例を示す図である。ユーザは、分類結果４１４を参照して、カテゴリを確定する。本実施例では、分類結果４１４において、確定したいカテゴリをマウスでダブルクリックすることにより、選択したカテゴリを確定カテゴリ４１５に表示する。
【００５６】
このように、本実施例によれば、文書を分類したい場合、計算機によってカテゴリの候補を推定させ、その結果を表示させ、それをユーザがチェックするというマンマシン分担型の文書分類支援システムを実現できる。また、分類結果を表示する際に、推定されたカテゴリ別にまとめて順次結果を提示するので、ユーザは効率良くチェックが行える。また、提示された結果が誤りであっても、データを修正し、再分類することによって、正しいカテゴリに分類する精度を向上させることができ、分類すべきカテゴリをユーザが一から見つけるという負担の大きな作業をする割合を極力少なくすることができる。
【００５７】
次に、本実施例の変形例について述べる。
類似文書認定４において、本実施例では、上位２個の推定カテゴリによって認定したが、推定カテゴリの代わりに、テキストから抽出した重みの高いキーワードによって認定しても良い。
【００５８】
図２０は、その処理方法を示す図である。まず、類似文書テーブル１６を初期化する（ステップ５６１）。次に、類似文書としてまだ認定されていない文書の存在する間、以下の処理を実行する（ステップ５６２）。認定されていないある文書について、当該文書から抽出された重みの高いｍ種類のキーワードのうちのｎ種類（ｍ＞＝ｎ）以上のキーワードが、重みの高いｍ種類のキーワードの中に含まれている文書を抽出し、類似文書集合を識別するための集合識別子とともに、類似文書テーブルに格納する（ステップ５６３）。図１１では、集合識別子に相当するものとして、カテゴリの名称を用いていたが、ここでは、それを代用するものとして、集合識別子を定義する。これは、類似文書集合を識別可能であれば、どんな形でも良い。
【００５９】
ステップ５６３の後、類似文書テーブル１６に格納した文書をステップ５６２の処理対象から除く（ステップ５６４）。
以上の処理によって、カテゴリ推定された結果をユーザに提示する際に、重みの高いキーワードをどれだけ共有しているかということに基づいて類似文書毎に提示することが可能となる。
【００６０】
次に、本実施例の拡張例について述べる。
本実施例のように、カテゴリが複数の階層からなる場合、上位カテゴリをユーザに提示して指定させ、指定された上位カテゴリに属する下位カテゴリに限定してカテゴリの推定を行うことにより、分類精度向上が期待できる。これは、特に、下位カテゴリの数が膨大である場合に、有効である。
【００６１】
図２１は、大カテゴリを指定するための画面の一例を示した図である。大カテゴリの指定は、絞込分類ボタン４０４が押された時、指定用画面４２４を表示することによって行われる。大カテゴリの指定は、複数であっても良い。また、指定用画面４２４における大カテゴリの表示順序は、基本的には、カテゴリ定義テーブル１４に定義されている順序であるが、カテゴリ推定３において、まず大カテゴリを推定し、その結果を用いて小カテゴリを推定する手法を採用する場合には、当該文書の大カテゴリに関する推定結果をログデータ１７に格納・保持しておくことにより、大カテゴリの推定結果の順序に基づいて表示することも可能である。
【００６２】
指定用画面４２４によって、大カテゴリを指定した後、再分類ボタン４０３を押すことによって、指定された大カテゴリに限定したカテゴリ再推定７を実行する。図１７に示すカテゴリ再推定７の処理手順のステップ５５０において、推定カテゴリテーブル１５に推定結果を格納する際に、推定されたカテゴリの大カテゴリがユーザによって指定された大カテゴリに含まれている場合に限り、格納することにより、上位カテゴリによる絞り込みが実現できる。図１３の結果表示において、仮に、ユーザが、大カテゴリを「経済」に絞り込んだ場合、分類結果４１４において、２位の「政治：国会」というカテゴリは、除去される。
【００６３】
このように、上位カテゴリが比較的少なく、ユーザが容易に確定できる場合、上位カテゴリで絞り込んでカテゴリを推定することにより、正しいカテゴリを得ることができるようになる。
【００６４】
【発明の効果】
文書の自動分類結果をユーザがチェックする際に、計算機によって分類された結果が類似した文書毎にユーザに順次提示し、チェックを促すので、以前の文書をチェックしたときのコツ、ノウハウ、教訓、データなどを次回の文書のチェックに活かすことが容易となり、チェック作業時間が少なく済む。
【００６５】
また、自動分類結果が誤りであった場合でも、自動分類結果とともに出力するログデータをユーザに修正させ、再推定することにより、正しい分類結果を導くことが可能であるため、最初の自動分類結果が誤りであった場合に、ユーザが一から分類しなおすという負担の重い作業を軽減することができる。
【図面の簡単な説明】
【図１】本実施例の概要を示す図である。
【図２】本実施例のハードウエアの概要を示す図である。
【図３】文書に含まれるテキストの一例を示す図である。
【図４】単語辞書の一例を示す図である。
【図５】テキスト解析における単語分割結果の一例を示す図である。
【図６】キーワードテーブルの一例を示す図である。
【図７】カテゴリ定義テーブルの一例を示す図である。
【図８】分類知識の一例を示す図である。
【図９】カテゴリ推定の処理手順を示す図である。
【図１０】推定カテゴリテーブルの一例を示す図である。
【図１１】類似文書認定の処理手順を示す図である。
【図１２】類似文書テーブルの一例を示す図である。
【図１３】カテゴリ推定結果表示の一例を示す図である。
【図１４】カテゴリ推定結果表示の他の一例を示す図である。
【図１５】ユーザにより修正後の画面の一例を示す図である。
【図１６】カテゴリ再推定結果の一例を示す図である。
【図１７】カテゴリ再推定の処理手順を示す図である。
【図１８】ログデータの一例を示す図である。
【図１９】カテゴリ確定の一例を示す図である。
【図２０】類似文書認定の他の処理手順を示す図である。
【図２１】上位カテゴリの絞り込みの一例を示す図である。
【符号の説明】
１：文書入力、２：テキスト解析、３：カテゴリ推定、４：類似文書認定、
５：カテゴリ推定結果表示、６：ログデータ修正、７：カテゴリ再推定、
８：カテゴリ確定、９：文書データベース登録、１０：文書ファイル、
１１：単語辞書、１２：キーワードテーブル、１３：分類知識、
１４：カテゴリ定義テーブル、１５：推定カテゴリテーブル、
１６：類似文書テーブル、１７：ログデータ、１８：文書データベース
Claims (4)
- 入力装置、出力装置、及び記憶装置を有する処理装置による、複数の文書をカテゴリに分類するための文書分類支援装置において、
前記記憶装置が、複数の文書と、キーワードを定義した辞書と、カテゴリと各カテゴリを特徴づけるキーワードと前記各カテゴリに対する前記キーワードの重要度を示す第１の重みを定義した分類知識データを記憶し、
前記処理装置の解析手段が、前記記憶装置の前記辞書を参照して、各文書に含まれるキーワードを抽出し、
前記処理装置の推定手段が、前記各文書に含まれる各キーワードの出現頻度に基づいて各キーワードの第２の重みを算出し、前記分類知識データを参照して、前記分類知識データで定義された前記カテゴリのうち前記解析手段で抽出された前記キーワードを含むカテゴリを探索し、探索された前記カテゴリにおける前記各キーワードの前記第１の重みと前記第２の重みに基づいて前記カテゴリにおける前記各キーワードの得点を算出し、前記カテゴリごとに前記キーワードの得点を加算して前記カテゴリの偏差値を算出し、算出された前記カテゴリの偏差値に従って前記文書ごとに前記カテゴリをソートし、
前記処理装置の認定手段が、前記複数の文書のうち、ソートによる順位の高いカテゴリが共通する文書を類似文書として認定し、
前記出力装置が、前記認定手段によって認定された前記類似文書ごとに、前記推定手段の推定結果を出力することを特徴とする文書分類支援装置。 - 前記処理装置の確定手段が、前記推定手段の推定結果のカテゴリのうち、ユーザが指定したカテゴリを前記文書のカテゴリとして確定することを特徴とする請求項１の文書分類支援装置。
- 複数の文書をカテゴリに分類するための文書分類支援装置において、
複数の文書と、キーワードを定義した辞書と、カテゴリと各カテゴリを特徴づけるキーワードと前記各カテゴリに対する前記キーワードの重要度を示す第１の重みを定義した分類知識データを記憶する記憶装置と、
前記記憶装置の前記辞書を参照して、各文書に含まれるキーワードを抽出する解析手段と、
前記各文書に含まれる各キーワードの出現頻度に基づいて各キーワードの第２の重みを算出し、前記分類知識データを参照して、前記分類知識データで定義された前記カテゴリのうち前記解析手段で抽出された前記キーワードを含むカテゴリを探索し、探索された前記カテゴリにおける前記各キーワードの前記第１の重みと前記第２の重みに基づいて前記カテゴリにおける前記各キーワードの得点を算出し、前記カテゴリごとに前記キーワードの得点を加算して前記カテゴリの偏差値を算出し、算出された前記カテゴリの偏差値に従って前記文書ごとに前記カテゴリをソートする推定手段と、
前記複数の文書のうち、ソートによる順位の高いカテゴリが共通する文書を類似文書として認定する認定手段と、
前記認定手段で認定された前記類似文書ごとに、前記推定手段の推定結果を出力する出力手段を有することを特徴とする文書分類支援装置。 - 前記推定手段の推定結果のカテゴリのうち、ユーザが指定したカテゴリを前記文書のカテゴリとして確定する確定手段を有することを特徴とする請求項３の文書分類支援装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17068295A JP3603392B2 (ja) | 1995-07-06 | 1995-07-06 | 文書分類支援方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17068295A JP3603392B2 (ja) | 1995-07-06 | 1995-07-06 | 文書分類支援方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0922414A JPH0922414A (ja) | 1997-01-21 |
| JP3603392B2 true JP3603392B2 (ja) | 2004-12-22 |
Family
ID=15909447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17068295A Expired - Lifetime JP3603392B2 (ja) | 1995-07-06 | 1995-07-06 | 文書分類支援方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3603392B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11250072A (ja) * | 1998-02-26 | 1999-09-17 | Nippon Telegr & Teleph Corp <Ntt> | 情報分類方法及び装置及び情報分類プログラムを格納した記憶媒体 |
| JP2000137723A (ja) * | 1998-10-30 | 2000-05-16 | Ricoh Co Ltd | 文書分類装置、文書分類方法及び文書分類プログラムを記録した媒体 |
| US6349307B1 (en) * | 1998-12-28 | 2002-02-19 | U.S. Philips Corporation | Cooperative topical servers with automatic prefiltering and routing |
| AU781157B2 (en) * | 1999-05-05 | 2005-05-12 | West Publishing Company | Document-classification system, method and software |
| WO2001073607A2 (en) * | 2000-03-27 | 2001-10-04 | Documentum, Inc. | Method and apparatus for generating metadata for a document |
| JP2002163273A (ja) * | 2000-11-22 | 2002-06-07 | Hitachi Ltd | 文書管理方法およびシステム |
| JP2002222083A (ja) | 2001-01-29 | 2002-08-09 | Fujitsu Ltd | 事例蓄積装置および方法 |
| JP4817585B2 (ja) * | 2002-06-21 | 2011-11-16 | 株式会社日本総合研究所 | 属性情報検索装置、属性情報検索方法およびその方法をコンピュータに実行させるプログラム |
| JP2004348706A (ja) | 2003-04-30 | 2004-12-09 | Canon Inc | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム |
| JP2008176625A (ja) * | 2007-01-19 | 2008-07-31 | Seiko Epson Corp | 文字認識結果の管理装置およびその方法並びにコンピュータプログラム |
| JP2008225582A (ja) * | 2007-03-08 | 2008-09-25 | Mazda Motor Corp | テキスト分類装置及びプログラム |
| US20110320459A1 (en) * | 2008-02-20 | 2011-12-29 | Iti Scotland Limited | Term identification method and apparatus |
| JP5615593B2 (ja) * | 2010-05-19 | 2014-10-29 | 株式会社ジャストシステム | 電子文書管理装置、表示方法、表示プログラムおよび記録媒体 |
| CN107122980B (zh) * | 2011-01-25 | 2021-08-27 | 阿里巴巴集团控股有限公司 | 识别商品所属类目的方法和装置 |
| KR102297113B1 (ko) * | 2019-11-18 | 2021-09-02 | 주식회사 메드올스 | 의료 전문 자료의 과목 분류 시스템 및 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0748181B2 (ja) * | 1988-10-17 | 1995-05-24 | シャープ株式会社 | 知識整理エディタにおける文章知識編集方法 |
| JPH02238567A (ja) * | 1989-03-13 | 1990-09-20 | Agency Of Ind Science & Technol | データの自動分類支援装置 |
| JP3303926B2 (ja) * | 1991-09-27 | 2002-07-22 | 富士ゼロックス株式会社 | 構造化文書分類装置及び方法 |
| JPH06348755A (ja) * | 1993-06-07 | 1994-12-22 | Hitachi Ltd | 文書分類方法およびそのシステム |
-
1995
- 1995-07-06 JP JP17068295A patent/JP3603392B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0922414A (ja) | 1997-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3603392B2 (ja) | 文書分類支援方法および装置 | |
| US7257530B2 (en) | Method and system of knowledge based search engine using text mining | |
| US8321455B2 (en) | Method for clustering automation and classification techniques | |
| US9323738B2 (en) | Classification of ambiguous geographic references | |
| US6963871B1 (en) | System and method for adaptive multi-cultural searching and matching of personal names | |
| US20040163035A1 (en) | Method for automatic and semi-automatic classification and clustering of non-deterministic texts | |
| JPH06348755A (ja) | 文書分類方法およびそのシステム | |
| JP2002175330A (ja) | 情報検索装置，スコア決定装置，情報検索方法，スコア決定方法及びプログラム記録媒体 | |
| JP2013016036A (ja) | 文書部品生成方法及び計算機システム | |
| WO2008062822A1 (en) | Text mining device, text mining method and text mining program | |
| CN115309995B (zh) | 一种基于需求文本的科技资源推送方法和装置 | |
| CN116992011B (zh) | 一种业务数据匹配查询的方法、系统及装置 | |
| JP4426893B2 (ja) | 文書検索方法、文書検索プログラムおよびこれを実行する文書検索装置 | |
| CA1276728C (en) | Information retrieval system and method | |
| JP3772401B2 (ja) | 文書分類装置 | |
| JPH09185632A (ja) | 情報検索・編集方法及び装置 | |
| JP2004206571A (ja) | 文書情報提示方法及び装置並びにプログラム及び記録媒体 | |
| CN114780751B (zh) | 实体链接关联方法、系统、终端设备及存储介质 | |
| JPH10232871A (ja) | 検索装置 | |
| JPH09305626A (ja) | 検索文書作成装置、検索文書記憶メディア、文書検索装置及び文書検索方法 | |
| JP2002149670A (ja) | 情報分類方法および情報分類装置 | |
| JPH11134364A (ja) | 体系化知識解析方法及び装置並びに分類方法及び装置 | |
| JP2000090110A (ja) | 全文検索方法、装置、および全文検索プログラムを記録した記録媒体 | |
| JPS60247756A (ja) | デ−タベ−ス装置 | |
| JPH08221430A (ja) | 関連情報検索装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040907 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040920 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071008 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |