JP4385697B2 - 概念検索方法およびシステム - Google Patents

Description

本発明は、電子化文書を、ユーザが登録した検索条件で検索し、条件を満たす文書をユーザに返却する概念検索に係わり、特に電子化文書の内容を走査することにより、ユーザが検索条件として登録した文書に対する適合度を算出する文書間適合度算出機能を有する文書検索方法及びシステムに関する。

近年、電子メールや電子ニュース等により大量の電子化文書（以下、テキストと呼ぶ）が時々刻々ユーザへ配信されるようになってきた。また、ＷＷＷ（World Wide Web）を利用して情報発信を行なう情報源が急増しており、これらの情報源から情報収集ロボット等を用いて収集されるテキストも膨大な量となっている。このため、これらのテキストの中から、真にユーザが求める情報を含むテキストを検索するニーズが高まっている。

従来の検索システムでは、ユーザが検索に必要と思われる単語を、ある構文に従い検索式を組み立て、それを入力することで検索を行ってきた。しかし、検索に不慣れなユーザが、所望する情報を得るために適切な単語を入力したり、必要な情報だけを取り出して、不要な情報を振り落とすための複雑な検索式を組み立てる事は困難である。このため、特許文献１では検索式を組み立てる代わりに、ユーザが所望する情報を含む文書（以下、種文書と呼ぶ）を入力して検索する技術（以下、概念検索と呼ぶ）が提案されている。この技術では、種文書から検索に必要な単語（以下、特徴タームと呼ぶ）を自動的に抽出し、この抽出した特徴タームに適切な重みを付けて、検索結果文章の適合度を計算する。この適合度が一定値よりも大きいものを、検索結果とする。

しかし、種文書が長大な文書の場合にはユーザが所望する文書の情報だけでなく、不必要な概念を含む種文書が入力されることがある。この場合には、ユーザの所望する情報と誤差が生じているので、ユーザは検索結果に満足できないため、なんらかの調整を施して再検索を行おうとする。一般的には、検索結果文書を参照して、その中から種文書よりも適切にユーザの所望する概念を含んでいる文書（または文章）を見つけて、それを入力して再検索する。この作業を繰り返し行うことで、ユーザの求める検索結果に近づけて行くことができる。もしくは、特徴タームに対する重みについて、自分にとって必要と思われる特徴タームの重みを上げたり、いらないと思う特徴タームの重みを下げたりして再検索を行う。

以下、他の関連文献の技術について本発明に関係するものについて述べる。
非特許文献１は各分類項目のキーワードの出現回数と、各文書のキーワードの出現回数を比較して最も近い分類項目に分類することによりクラスタリング（自動分類）を行う技術について触れられている。

非特許文献２ではキーワードの重みに基づき文書内の重要文を抽出する技術に関して触れられている。

特開平１１−１４３９０２号公報

文書自動クラスタリング・システム gnmz（http://icrouton.as.wakwak.ne.jp/pub/kks/cnamazu.html） 「テキストを自動的に要約する技術-第１回-テキスト中の重要な文を抜き出す」,コンピュータサイエンス誌bit2月号,共立出版,pp.37-42,2000.2

概念検索では文書内に含まれる情報がユーザにとって必要な情報か不必要な情報かの判断をせずに検索を実行するため、長大な文書を用いて概念検索をする場合、従来技術の方法のみでは検索精度が低下する場合がある。この検索精度低下を防ぐためには以下の２点が課題である。

１）文書に含まれる情報を分類する手段
２）ユーザに必要な情報かどうかを的確に判断させる手段
従来技術においては２）の手段として、特徴タームの取捨選択、および重みの調整があるが、周辺情報の欠落した特徴タームのみで、ユーザの所望する情報かどうかを判断するのは困難な場合がある。

本発明の目的は、ユーザに必要な情報に基づいて、より的確な検索を実行することにより、従来の概念検索と比較して検索精度が向上する概念検索方法を提供することにある。

前記目的を達成するため、以下のステップからなる処理により、ユーザが検索に最適な特徴タームを知らなくても自動的に検索に相応しい種文書（文章）の候補を提示し、その中からユーザが適切と思う文章を選択することにより、上記の問題を解決し、検索の精度を上げることが出来る。以下、処理手順を述べる。

ステップ１：入力された種文書から特徴タームとその重みを抽出する。

ステップ２：入力された種文書を文に分解する。

ステップ３：前記ステップ２において分解した各文を１文書とみなし、ステップ１で抽出した特徴タームとその重みを用いて、各文を同値類に分類し（以下、クラスタリングと呼ぶ）、その同値類を代表する特徴タームをステップ１で抽出した特徴タームから決定する。

ステップ４：前記ステップ３において分類した各同値類の中で、その同値類の特徴として最もふさわしい文（以下、重要文と呼ぶ）を選択する。

ステップ５：前記ステップ４で抽出した重要文をユーザに提示し、ユーザに必要な情報を含む文を選択してもらう。

ステップ６：前記ステップ５で選択した文に対応する、ステップ３で分類した同値類を代表する特徴タームとその重みを用いて概念検索を実行する。

概念検索を実行するにあたり、ユーザに必要な情報のみを使用して概念検索を実行するため、より的確な検索を実行できる。その結果、従来の概念検索と比較して検索精度が向上する。

図１に本発明のシステム構成を示す。概念検索装置３００００はクライント１００００とネットワーク２００００を介して通信を行うクライアントサーバ型の検索システムである。ユーザは検索を行う際、クライアント１００００から種文書４００００を入力する。クライアント１００００は入力された種文書４００００を、ネットワーク２００００を通して概念検索装置３００００に送信し、本発明の処理を実行する。

概念検索装置３００００は、以下の構成からなる。文書情報ＤＢ３８０００を用いて種文書４００００から特徴タームとその重みを抽出する特徴ターム抽出部３１０００、特徴タームとその重みを用いて、文書ＤＢ３７０００内の文書と種文書４００００との類似度を算出する類似度算出部３２０００、種文書４００００を各文に分解する文分解部３３０００、特徴タームとその重みを用いて種文書４００００内の各文を類似内容の同値類に分類するクラスタリング部３４０００、クラスタリング部３４０００により同値類と分類した文を入力文として検索条件（特徴ターム抽出部により抽出された特徴タームとその重み）に対する重要文を出力する重要文抽出部３５０００、類似度算出部３２０００および重要文抽出部３５０００の結果を受け、クライアント１００００に送信する画面データを生成する画面データ生成部３６０００からなる。以下、図１３の処理フローに従って本発明の概念検索の手順を説明する。

ステップ６００００：ユーザは図２に示すクライアント画面から図３に例示する内容の文書４１０００を種文書入力ＢＯＸ１１０００に入力する。入力後、ユーザは検索開始ボタン１２０００を押下するとクライアント１００００は、入力データを種文書４００００としてネットワーク２００００を介して概念検索装置３００００にデータを送信する。

ステップ６１０００：概念検索装置３００００はクライアント１００００から送信された種文書４００００を受け取って、特徴ターム抽出部３１０００に入力する。特徴ターム抽出部３１０００は文書情報ＤＢ３８０００を用いて、図４に示す特徴ターム４２０００とその重み４３０００を抽出する。ここでは、特徴ターム抽出アルゴリズム例としては特許文献１の方法を用いることができ、この場合、文書情報ＤＢ３８０００は特許文献１に示された必要なデータを格納しているものとする。他の処理方法として特徴ターム抽出に形態素解析、重みの算出には特徴タームの種文書内出現回数を用いてもよい。

ステップ６２０００：次に、概念検索装置３００００は文分解部３３０００に種文書４００００を入力して、図６に示す種文書４００００内の文群４４０００を得る。文分解部３３０００は図１２に示す処理フローに従って動作する。業務日報などの比較的自由な形式の文章を処理する場合は、文の長さが不規則となりやすいため、文分解部３３０００において幾つかの短い文を一つの文にまとめたり、長い文書をある一定長を超えない単語の区切り目で切り出すように調整してもよい。

ステップ６３０００：上記ステップにより抽出した特徴ターム４２０００とその重み４３０００及び、文群４４０００をクラスタリング部３４０００に入力し、各文を同値類に分類して、図７に示す分類を代表する特徴ターム群４５０００及び分類文群４６０００を得る。文書クラスタリング手法には様々なものがあるが、ここでは非特許文献１の方法を用いることができる。各文の類似度の算出には、タームの出現頻度や、タームの出現頻度とタームのユニーク度の積、タームの出現頻度とタームの種類数の積を用いてもよい。図７に分類数を３とした場合のクラスタリング結果を示す。また，必要な情報は文書情報ＤＢ３８０００より取得するものとする。分類文群４６０００を代表する特徴ターム群４５０００は、前記ステップで抽出した特徴ターム４２０００のうち各文群に含まれるもの全てとする。また、クラスタリングを実行する対象文は、図４に示す特徴タームを含む文のみである。

ステップ６４０００：次に、各分類群の重要文を決定する。重要文の決定については、重要文抽出部３５０００が類似度算出部３２０００を利用して行う。特徴ターム群４５０００と図４のテーブルより取得するその重みを検索条件とし、分類内の各文を類似度算出部３２０００に入力する。ここでは、必要に応じて文書情報ＤＢ３８０００からデータを取得する。類似度算出部３２０００は特許文献１に従い、各文の類似度を求めてもよいし、非特許文献２の手法を用いてもよい。ただし、この場合は非特許文献２に必要なデータを文書情報ＤＢ３８０００が格納しているものとする。求めた類似度４７０００のうち最も高い類似度の文を分類群の重要文４８０００としたものを図９に示す。

ステップ６５０００：求めた重要文４８０００を出力画面データ生成部３６０００に入力すると、概念検索装置３００００は必要な出力データを、ネットワーク２００００を介してクライアント１００００に送信し、クライアント１００００は検索結果画面１３０００に出力する（図１０）。

ステップ６６０００：検索結果画面１３０００は各分類群の重要文４８０００と、その分類群に分類された文の数をその分類群のスコア１５０００として表示する。スコアが高いほど、種文書４００００内にその分類群の概念が多く含まれていることを示す。また、詳細閲覧ボタン１８０００を用いることにより、図８に示す分類群の全文書を閲覧できる。ユーザは画面指示に従って必要な概念を、チェックボックス１７０００を用いてチェックし、検索実行ボタン１４０００を押下すると、選択番号４９０００を送信する。図１０では「２」が選択されており、クライアント１００００は概念検索装置３００００に選択番号４９０００である「２」を送信する。

ステップ６７０００：概念検索装置３００００は選択番号４９０００を受け取った後、図９に示すテーブルから、選択番号４９０００に該当する特徴ターム群４５０００とその重み４３０００を図４に示すテーブルより取得する。

この特徴ターム４５０００とその重み４３０００を類似度算出部３２０００に入力し、文書ＤＢ３７０００内に格納している各文書との類似度を求める。類似度算出法は、一例としてここでは特許文献１を用いる。

ステップ６８０００：類似度を算出後、類似度の降順に、文書タイトルを出力画面データ生成部３６０００に入力する。出力画面データ生成部３６０００は、出力データをクライアント１００００に送信する。

ステップ６９０００：クライアント１００００は図１１に示す検索結果画面を表示する。また、検索条件保存ボタン１９０００を押下すると、選択文をキーとして検索条件をクライアントに保存する。これにより、ユーザが適切な保存名をつける手間を省き、後日利用する際も文章内容により利用可否を決定できる。

また、図１２に示す文分解処理を説明する。

ステップ５００００：テキスト操作部３３１００は、作業用記憶領域３３２００に処理文書を読み込む。操作開始文字位置３３３００及び操作文字位置３３４００の操作初期位置（文書の一文字目）、文数３３５００に０を設定し、ステップ５００１０へ進む。

ステップ５００１０：テキスト操作部３３１００は、作業用記憶領域３３２００に読み込んだ処理文書のうち、操作位置格納領域３３４００に格納した文字位置の文字が区切り記号（。）かどうか判定する。区切り記号の場合は、ステップ５００２０の処理を行う。区切り記号でない場合は、ステップ５００６０に進む。

ステップ５００２０：作業用記憶領域３３２００より、操作開始文字位置３３３００から操作文字位置３３４００までの文字を文群格納領域３３６００にコピーして、ステップ５００３０に進む。

ステップ５００３０：文数３３５００を１増分し、ステップ５００４０に進む。

ステップ５００４０：操作文字位置３３４００を１増分し、ステップ５００５０に進む。

ステップ５００５０：操作開始文字位置３３３００に操作文字位置３３４００の値を設定し、ステップ５００６０に進む。

ステップ５００６０：操作文字位置３３４００の値を１増分し、ステップ５００７０に進む。

ステップ５００７０：操作文字位置３３４００の値が処理文書の文字数より少なければ、ステップ５００１０へ進む。操作文字位置３３４００の値が処理文書の文字数と等しければ、ステップ５００８０へ進む。

ステップ５００８０：操作開始文字位置３３３００から操作文字位置３３４００までの文字を文群格納領域３３６００にコピーする。文数３３５００を１増分し、文群格納領域の各文を出力して処理を終了する。

本発明のシステム構成を示す。 本発明の実施例におけるクライアント画面を示す。 本発明の実施例において入力する種文書を示す。 特徴タームとその重みを示す。 本発明の実施例における文分解部を示す。 文分解部の出力した文群を示す。 本発明の実施例における分類文群を示す。 本発明の実施例における分類文群と各文の重要度を示す。 本発明の実施例における各分類とその重要文を示す。 本発明の実施例における概念選択画面を示す。 本発明の実施例における検索結果画面を示す。 本発明の実施例における文分解部処理フローを示す。 本発明の実施例における処理の流れを示す。

符号の説明

１００００：クライアント、２００００：ネットワーク、３００００：概念検索装置、
３１０００：特徴ターム抽出部、３２０００：類似度算出部、
３３０００：文分解部、３４０００：クラスタリング部、３５０００：重要文抽出部、
３６０００：出力画面データ生成部、３７０００：文書ＤＢ、３８０００：文書情報ＤＢ、４００００：種文書

Claims (4)

1. クライアント装置とネットワークを介して接続され、検索条件として文書を入力して類似文書を検索するサーバ型の概念検索装置の概念検索方法であって、
   前記概念検索装置が、
   前記検索条件として、前記クライアント装置から入力され当該概念検索装置に送信された文書を、前記概念検索装置が有する作業用記憶領域に読み込み、
   前記作業記憶領域の前記文書の特徴となるキーワードと各々の前記キーワードの出現回数を抽出し、
   前記作業記憶領域の前記文書を個々の文に分解し、
   分解した前記個々の文を前記概念検索装置が有する文群格納領域にコピーし、
   前記キーワードと前記出現回数および前記文群格納領域の前記分解した個々の文から、複数の前記キーワードからなるキーワード群と前記キーワード群の各々に対応する複数の前記文との対応付けをし、
   前記キーワード群と、前記キーワード群に対応付けられた複数の前記文および前記出現回数から、前記各文の重要度を算出し、
   算出した前記重要度から最も高い値を示す前記文を重要文として、前記キーワード群の各々に対応する複数の前記文から前記キーワード群対応に抽出し、
   前記キーワード群の各々と前記キーワード群対応に抽出した前記重要文とを、前記クライアント装置へ送信し、
   前記クライアント装置において前記概念記憶装置から受信した複数の重要文が当該クライント装置の画面に表示された後で、前記クライアント装置から、当該クライアント装置において選択された１つの重要文が、当該概念検索装置に検索処理用として通知され、
   前記選択された前記重要文に対応づく前記キーワード群と前記キーワード群の重みを用いて、当該概念検索装置に接続される文書ＤＢに電子化文書として格納される文書の概念検索処理を行い、及び
   前記概念検索処理の処理結果を前記クライアント装置へ送信することを特徴とするサーバ型の概念検索装置の概念検索方法。
2. 前記文書を各文に分解する方法において、分解した文の長さが予め定めた一定長を超える場合は一定長を超えないよう更に複数の文に分解し、または分解した文の長さが予め定めた一定長を超えない場合は一定長を超えるように複数の文を結合し、そのいずれかを選択することで前記文書を分解することを特徴とする請求項１記載のサーバ型の概念検索装置の概念検索方法。
3. 前記各文の重要度を算出する方法において、更に、
   前記１つのキーワード群および前記１つのキーワード群に対応付けられた複数の前記文より、前記１つのキーワード群に対応付けられた各キーワードのユニーク度を算出する方法と、
   前記各文における前記キーワードの出現頻度と前記ユニーク度の積を算出する方法を加え、
   前記キーワードの出現頻度と前記ユニーク度の積から、前記各文の重要度を算出することを特徴とする、請求項１記載のサーバ型の概念検索装置の概念検索方法。
4. クライアント装置とネットワークを介して接続され、検索条件として文書を入力して類似文書を検索するサーバ型の概念検索装置であって、
   前記検索条件として、前記クライアント装置から入力され当該概念検索装置に送信された文書を、前記概念検索装置が有する作業用記憶領域に読み込む手段と、
   前記作業記憶領域の前記文書の特徴となるキーワードと各々の前記キーワードの出現回数を抽出する手段と、
   前記作業記憶領域の前記文書を個々の文に分解する手段と、
   分解した前記個々の文を前記概念検索装置が有する文群格納領域にコピーする手段と、
   前記キーワードと前記出現回数および前記文群格納領域の前記分解した個々の文から、複数の前記キーワードからなるキーワード群と前記キーワード群の各々に対応する複数の前記文との対応付けする手段と、
   前記キーワード群と、前記キーワード群に対応付けられた複数の前記文および前記出現回数から、前記各文の重要度を算出する手段と、
   算出した前記重要度から最も高い値を示す前記文を重要文として、前記キーワード群の各々に対応する複数の前記文から前記キーワード群対応に抽出する手段と、
   前記キーワード群の各々と前記キーワード群対応に抽出した前記重要文とを前記クライアント装置へ送信する手段と、
   前記クライアント装置において前記概念記憶装置から受信した複数の重要文が当該クライント装置の画面に表示された後で、前記クライアント装置から、当該クライアント装置において選択された１つの重要文が、当該概念検索装置に検索処理用として通知される手段と、
   前記選択された前記重要文に対応づく前記キーワード群と前記キーワード群の重みを用いて、当該概念検索装置に接続される文書ＤＢに電子化文書として格納される文書の概念検索処理を行う手段と、及び
   前記概念検索処理の処理結果を前記クライアント装置へ送信する手段を有することを特徴とするサーバ型の概念検索装置。

Images