JP5286007B2 - 文書検索装置、文書検索方法、および文書検索プログラム - Google Patents

Description

本発明は、電子文書群中から検索条件に該当する電子文書を検索する技術に関する。

Ｗｅｂページなどの文書コレクションを検索するシステムにおいて、文書の内容とは独立した文書のスコア付けが行われ、検索結果のランキングに利用されている。

最も単純な方法としては、人手で有益な文書に重み付けを行う手法であるが、文書数が膨大になると、網羅性を持たせるには非常に大きなコストがかかり現実的ではない。

そのため、一つの手法として、非特許文献１のようなページ間の参照関係を利用する方法が提案されている。これは、多く引用される文書は有益であるとの考え方に基づき、引用回数を元に文書をスコア付けする方法である。

また、この考え方をさらに進め、有益な文書から閲覧される文書はより有益であるという考え方を具現化した手法として、非特許文献２のＰａｇｅＲａｎｋが提案されている。
Ｅｕｇｅｎｅ Ｇａｒｆｉｅｌｄ．"Ｃｉｔａｔｉｏｎ ａｎａｌｙｓｉｓ ａｓ ａ ｔｏｏｌ ｉｎ ｊｏｕｒｎａｌ ｅｖａｌｕａｔｉｏｎ"．Ｓｃｉｅｎｃｅ，１７８：ｐｐ．４７１−４７９，１９７２． Ｓ．Ｂｒｉｎ，ａｎｄ Ｌ．Ｐａｇｅ，"Ｔｈｅ ａｎａｔｏｍｙ ｏｆ ａ ｌａｒｇｅ−ｓｃａｌｅ ｈｙｐｅｒｔｅｘｕｔｕａｌ Ｗｅｂ Ｓｅａｒｃｈ Ｅｎｇｉｎｅ"．Ｃｏｍｐｕｔｅｒ Ｎｅｔｗｏｒｋｓ ３０（１−７）：ｐｐ．１０７−１１７，１９９７． 村田眞哉，戸田浩之，松浦由美子，片岡良治，"検索結果中のアクセス集中サイトを利用したクエリ拡張法の提案"．データベースとＷｅｂ情報システムに関するシンポジウム（ＤＢＷｅｂ２００７）：２００７．

しかしながら、上記で示した文書間の引用関係を利用する手法は、基本的に引用される回数が多ければ文書の重要度が高いとの考えに基づいているため、自らの文書を重要としたければ、その文書を引用する文書を多く作成する事により、人為的に重要度（スコア）をつり上げることが可能となる。

実際、自らのＷｅｂサイトを検索結果の上位に表示させるために、自らのＷｅｂサイトに対してハイパーリンクを持つページを機械的に生成する試みが多くのサイト運営者によって行われている。これらの手法はリンクスパムと呼ばれ、検索結果の上位に閲覧者の意図しない結果が提示される原因となっている。

そこで本発明は、このような問題に鑑み、意味のある引用元からの引用関係を重視することで、真に有益な文書に高い重要度（スコア）を付与することを解決課題としている。

本発明は、前記課題を解決するために創作された技術的思想であって、任意の文書のスコア算出の際、該文書の引用元となっている文書に付与されたアクセス情報やブックマーク情報に基づく重みを用いることにより、意味のある文書から引用される文書に高いスコアを付与している。

具体的には請求項１記載の発明は、クライアント端末から指示された検索条件に該当する電子文書を電子文書群中から検索する文書検索装置であって、前記検索条件を用いて電子文書群を検索して、検索結果を出力する検索実行手段と、前記検索結果中、前記クライアント端末のアクセスした文書をユーザの操作に基づいて登録する登録手段と、前記登録手段による複数のクライアント端末の文書の登録情報を集計して、文書毎の登録頻度を求める集計手段と、前記登録頻度および文書間の引用関係を用いて各文書のスコアを算出する算出手段と、を備え、前記算出手段が、引用先文書の文書スコアを算出する際に引用元文書の登録頻度に基づく重み付けを反映させ、前記検索実行手段が、前記スコアに従ってランキングされた検索結果を出力することを特徴としている。

また、請求項２記載の発明は、クライアント端末から指示された検索条件に該当する電子文書を電子文書群中から検索する装置の実行する文書検索装置であって、検索実行手段が、前記検索条件を用いて電子文書群を検索して、検索結果を出力する第１ステップと、登録手段が、前記検索結果中、前記クライアント端末のアクセスした文書をユーザの操作に基づいて登録する第２ステップと、集計手段が、前記登録手段による複数のクライアント端末の文書の登録情報を集計して、文書毎の登録頻度を求める第３ステップと、算出手段が、前記登録頻度および文書間の引用関係を用いて各文書のスコアを算出する第４ステップと、前記検索実行手段が、前記スコアに従ってランキングされた検索結果を出力する第５ステップと、を有し、前記第４ステップは、引用先文書の文書スコアを算出する際に引用元文書の登録頻度に基づく重み付けを反映させることを特徴としている。

また、請求項５記載の発明は、文書検索プログラムであり、請求項３または４のいずれか１項に記載の文書検索方法の各ステップをコンピュータに実行させることを特徴としている。

請求項１〜５記載の発明によれば、引用元文書のアクセス情報およびブックマーク情報などに基づく重みを用いて文書のスコアを算出していることから、単純な引用回数の影響を受けることなく、真に有益な文書により高いスコアを付与し、かかるスコアが検索結果に反映される。

（１）第１実施形態
図１は、本発明の第１実施形態に係る文書検索装置１を示している。この文書検索装置１は、ネットワークを介して検索条件を指示するクライアント端末（ＰＣ）２および電子文書群が格納されているコンテンツサーバＳと通信可能に接続されている。なお、この文書検索装置１には、通常は前記クライアント端末２が複数台接続される。

ここでは、前記文書検索装置１がインターネット上の前記コンテンツサーバＳに存在するコンテンツなどを検索するサーバ（例えば検索エンジンなど）として構成されたものとする。なお、文書検索装置１は、例えばネットワークに接続可能で文書検索の処理ロジックを実行可能な計算機などでもよく、また前記文書検索装置１を社内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのインターネット以外のネットワークに接続してもよい。

前記クライアント端末２は、ユーザとのインタフェースとしてのブラウザ３を備え、前記文書検索装置１と通信可能なブラウザ３が実装されていれば、携帯電話などのモバイル端末であってもよい。

前記文書検索装置１は、図１に示すように、主に検索エンジンとして機能し、情報収集手段であるクローラ４、文書データベース５、引用関係データベース６、検索応答手段７、検索実行手段８、クリックログデータベース９、アクセス集計手段１０、アクセス情報データベース１１、リンク解析手段１２を備えている。

前記各機能ブロック４〜１２の機能は、前記文書検索装置１の制御部（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ等）が文書検索プログラムを読み込んで実現されている。また、前記文書検索装置１は、コンピュータの通常の構成要素、例えば図示省略のキーボードやマウスなどの入力部と、処理データなどを一時記憶する書き換え可能なメモリ（ＲＡＭ）と、前記クライアント端末２および前記コンテンツサーバＳとのネットワーク接続に使用する通信デバイスと、ハードディスクドライブ装置などの記憶部と、ディスプレイなどの表示部とを備えている。このうち前記各データベース５．６．９．１１は、前記ハードディスクドライブ装置上に構築されている。

前記クローラ４は、前記通信デバイスを通じて前記コンテンツサーバＳにアクセスし、検索対象となる電子文書群を収集して、該電子文書群を前記文書データベース５に格納する。また、該電子文書群の各文書間の引用関係を示すデータを前記引用関係データベース６に格納する。

前記検索応答手段７は、前記クライアント端末２からユーザが前記ブラウザ３をもって入力した検索条件を前記通信デバイスを通じて受信し、該検索条件を前記検索実行手段８へ送信する。

前記検索実行手段８は、前記検索応答手段７から受信した検索条件を用いて前記文書データベース５を検索し、該検索結果を前記検索応答手段７へ返信する。この検索実行手段８は、検索エンジンのプログラムなどに組み込んで実現される。

前記検索応答手段７は、前記検索実行手段８から受信した検索結果を前記クライアント端末２へ返信する。そして、該検索結果の文書に対してユーザが実際に閲覧した文書の情報（アクセス履歴）を該クライアント端末２から取得し、これをクリックログとして前記クリックログデータベース９に格納する。この検索応答手段７は、検索アプリケーションなどに組み込んで実現される。

前記アクセス集計手段１０は、前記クリックログデータベース９からクリックログ（アクセス履歴）を読み出し、該クリックログを集計して文書毎のアクセス情報を求め、これを前記アクセス情報データベース１１に格納する。

前記リンク解析手段１２は、前記アクセス情報および前記引用関係データベース６に格納された文書間の引用関係を用いて文書毎のスコアを算出し、該スコアを前記文書データベース５に格納する。そして、前記検索実行手段８は、前記クライアント端末２による以後の検索の際に、前記スコアに従って文書をランキングし、これを検索結果に反映させる。以下、前記各機能ブロック４〜１２の実行するスコアの算出処理について、図２のフローチャートに基づき説明する。

Ｓ０１：まず、前記クローラ４は、前記コンテンツサーバＳから検索対象となる電子文書群をネットワーク経由で収集し、前記文書データベース５に格納する。また、これと同時に、収集した文書間の引用関係を解析し、解析結果のデータを前記引用関係データベース６に格納する。

ここで、引用関係とは、収集対象の文書がＷｅｂページであればハイパーリンクを想定し、学術文献などのその他文書であればリファレンス情報などを想定している。

前記文書データベース５のデータ例を表１に、前記引用関係データベース６のデータ例を表２に示す。なお、Ｓ０１では前記クローラ４により文書情報（文書ＩＤ、タイトル、本文）が前記文書データベース５に格納され、各文書のスコアなどは後述するステップ（Ｓ０４）で格納される。

Ｓ０２：前記検索応答手段７は、Ｓ０１で収集した電子文書群に対して検索を行い、検索結果の文書に対する前記クライアント端末２のアクセス履歴を前記クリックログデータベース９に格納する。

即ち、前記検索応答手段７は、前記クライアント端末２からのアクセスを受け付けると、前記ブラウザ３に検索インタフェース画面を提示し、かかる画面からユーザが前記キーボードなどを用いて入力した検索条件を受信して、これを前記検索実行手段８へ送信する。

このとき前記検索実行手段８は、受信した前記検索条件を用いて前記文書データベース５を検索し、該検索条件に該当する文書のリストを検索結果として前記検索応答手段７へ返信する。

前記検索応答手段７は、受信した前記検索結果を前記クライアント端末２へ返信し、前記ブラウザ３を介してユーザへ提示する。そして、この検索結果に対してユーザが実際に閲覧した文書の情報（前記クライアント端末２のアクセス履歴）を前記クライアント端末２から取得し、取得した該アクセス履歴をクリックログとして前記クリックログデータベース９に格納する。このクリックログデータベース９のデータ例を表３に示す。

Ｓ０３：前記アクセス集計手段１０は、前記クリックログデータベース９からクリックログを読み出して文書毎に集計し、集計結果をアクセス情報として前記アクセス情報データベース１１に格納する。

アクセス情報の最も単純な例としては、文書へのアクセス頻度を利用する方法が考えられる。しかし、単純なアクセス回数は、検索結果の上位に提示されるものの方が多くなるというバイアス（偏向）が含まれるため、非特許文献３のように、検索結果のランキングにおける前後のサイトとの関係のような相対的な値をアクセス頻度の程度を表す指標として利用することも考えられる。

また、外部の検索サイトの情報収集ロボットによるアクセス履歴などを前記クリックログデータベース９から排除するために、機械的なアクセスパターンを発見し、それらを無効にする事も考えられる。なお、ここでは文書へのアクセス回数を前記アクセス情報として利用した例を説明する。このときのアクセス情報データベース１１のデータ例を表４に示す。

Ｓ０４：前記リンク解析手段１２は、前記アクセス情報データベース１１から読み出した各文書のアクセス情報と、前記引用関係データベース６から読み出した文書間の引用関係のデータとを用いて、各文書のスコアを算出する。

スコア算出の一例としては、まず、表４のアクセス情報データベース１１に格納された各文書のアクセス情報から、該アクセス情報に基づく重みを文書毎に付与する。この重みとしては、例えばアクセス情報の値が大きい、即ち多くアクセスされる文書に対してはより大きい重みを付与するなどが考えられる。

次に、表２の引用関係データベース６から文書間の引用関係のデータを読み出し、スコア算出対象の文書が他のどの文書から引用されているかを解析する。ここでは、引用回数を文書のスコアとするものの、単純な引用回数ではなく、式（１）に示すように、引用元の文書に付与されているアクセス情報に基づく重みを利用した重み付き和として、該文書のスコアを算出する。この式（１）は、前記文書検索装置１のプログラムに定義されているものとする。

ここで、Ｓｃｏｒｅ（Ｄ_i）は文書Ｄ_iのスコアを示し、Ｗ（Ｄ_j）は文書Ｄ_jのアクセス情報に基づく重みを示す。また、ＩＮ（Ｄ_i）は、文書Ｄ_iを引用する文書の集合を表す。

これにより、文書Ｄ_iのスコアの算出において、該文書Ｄ_iを引用している各文書のアクセス情報に基づく重みが考慮される。即ち、アクセス回数の多い文書からより多く引用される文書に対して高いスコアが付与される。

また、前述のＰａｇｅＲａｎｋに基づくスコアを利用する場合には、オリジナルのＰａｇｅＲａｎｋアルゴリズムにおいてランダムに遷移する項として与えられているランダムジャンプ項を、前記アクセス情報に基づいて重み付けする方法が考えられる。このＰａｇｅＲａｎｋアルゴリズムは以下の式（２）で示される。

ここで、ＯＵＴ（Ｄ_j）は文書Ｄ_jが引用する文書の集合を示し、ｄは文書Ｄ_iが一定の割合でランダムに引用先の文書を閲覧するという仮定に基づくランダムジャンプを表す項である。この項の一部を、式（３）に示すように、アクセス情報に基づく重みを用いて重み付けする。この式（２）（３）も、前記文書検索装置１のプログラムに定義されているものとする。

ここで、αはランダムジャンプ項の重みを指定する係数であり、α＝０の場合、ランダムジャンプは導入されず、式（２）のランダムジャンプは、すべて文書Ｄ_iのアクセス情報による重みに基づき分配される。

これにより、ＰａｇｅＲａｎｋアルゴリズムにおける文書Ｄ_iのスコアの算出においても、引用元文書Ｄ_jのアクセス情報に基づく重みが考慮されることとなり、この重みが大きい文書に対してより高いスコアが付与される。

そして、前記リンク解析手段１２は、このように算出した各文書のスコアを、前記アクセス情報などとともに前記文書データベース５に格納する。格納された各文書のスコアは、前記クライアント端末２からの以後の検索の際に検索結果のランキングに使用される。

即ち、前記スコア算出後の前記クライアント端末２からの検索要求に対し、前記検索実行手段８は、ユーザによって入力された検索条件と文書との類似度や、Ｓ０４で算出した各文書のスコアなどに従って文書をランキングし、指定された件数のランキング上位の検索結果を前記検索応答手段７へ返信する。前記検索応答手段７は、受信した検索結果を前記クライアント端末２へ返信し、前記ブラウザ３を介してユーザに提示する。このようなスコアの算出は一定期間ごとに行ってもよく、これにより最新のスコアが検索結果に反映される。

以上のように、本実施形態に係る文書検索装置１によれば、引用元文書のアクセス情報に基づく重みを用いて文書のスコアを算出していることから、真に有益な文書により高いスコアを付与することが可能となる。さらに、リンクスパムのように特定の文書のスコアを不当に高く評価しようとする人為的な操作の影響を受けることなく、ユーザの直観に近いスコアの付与が可能となる。

（２）第２実施形態
図３は、本発明の第２実施形態に係る文書検索装置１３を示している。この文書検索装置１３は、前記クリックログデータベース９、前記アクセス集計手段１０、前記アクセス情報データベース１１が廃止されている一方、ブックマーク手段１４、ブックマークデータベース１５、ブックマーク集計手段１６、ブックマーク情報データベース１７を備えている。即ち、該文書検索装置１３では、文書のアクセス情報に基づく重みに代えて、ブックマーク情報に基づく重みを利用してスコアを算出している。

前記両データベース１５．１７は、前記クリックログデータベース９、前記アクセス情報データベース１１と同様に、前記ハードディスクドライブ装置上に構築されている。また、前記ブックマーク手段１４は、ブックマークアプリケーションあるいは前記ブラウザ３などに組み込んで実現される。以下、ブックマーク情報によるスコア算出処理について、図４のフローチャートに基づき説明する。

Ｓ１１：前記クローラ４は、Ｓ０１と同様に、前記コンテンツサーバＳから検索対象となる電子文書群を収集して前記文書データベース５に格納するとともに、収集した文書間の引用関係のデータを前記引用関係データベース６に格納する。両データベース５．６のデータは表１．２と同様とする。

ここでは、前記検索実行手段８はＳ０２と同様に、前記クライアント端末２から受信した検索条件に該当する文書のリストを検索結果として前記検索応答手段７へ返信する。前記検索応答手段７は、受信した検索結果を前記クライアント端末２へ返信し、前記ブラウザ３を介してユーザへ提示する。ユーザは、前記検索結果から文書を選択して前記ブラウザ３をもって閲覧することができる。

Ｓ１２：前記ブックマーク手段１４は、ユーザの操作に基づき前記閲覧文書を前記ブックマークデータベース１５にブックマーク（登録）する。

ここでは、前記ブラウザ３には、ユーザが閲覧中の文書を前記ブックマーク手段１４を通じて前記ブックマークデータベース１５に登録することが可能な機能が組み込まれているものとする。

このユーザの登録操作によれば、前記ブックマーク手段１４を通じて現在閲覧されている文書を特定するために必要な情報（ＵＲＬなど）が取得される。この必要情報および登録日時が前記ブックマークデータベース１５に記述され、これにより前記ブックマークデータベース１５にブックマーク履歴が作成される。このブックマークデータベース１５の格納データ例を表５に示す。

Ｓ１３：前記ブックマーク集計手段１６は、前記ブックマークデータベース１５にアクセスして各文書のブックマーク履歴を読み出し、それらを集計した結果をブックマーク情報として前記ブックマーク情報データベース１７に格納する。このブックマーク情報データベース１７のデータ例を表６に示す。

ブックマーク情報の最も単純な例としては、文書へのブックマークの頻度を利用する方法が考えられる。しかし、単純な登録回数は累積値であることから、登録時期が古いものでも有効となってしまう可能性があるため、古いブックマーク情報は利用しないことや、古いブックマーク情報による集計結果への反映度を低くすることなどが考えられる。また、機械的なブックマーク登録を集計結果から排除するために、機械的な登録パターンを発見し、それらを無効にする事も考えられる。なお、ここでは文書への各ユーザからのブックマーク登録回数を前記ブックマーク情報として利用した例を説明する。

Ｓ１４：前記リンク解析手段１２は、前記ブックマーク情報データベース１７から読み出した各文書のブックマーク情報と、前記引用関係データベース６から読み出した文書間の引用関係のデータとを用いて、各文書のスコアを算出する。

スコア算出の一例としては、表６のブックマーク情報データベース１７に格納された各文書のブックマーク情報から、該ブックマーク情報に基づく重みを文書毎に付与する。この重みとしては、例えばブックマーク情報の値が大きい、即ち多くのユーザからブックマーク登録された文書に対してはより大きい重みを付与するなどが考えられる。

前記リンク解析手段１２は、このブックマーク情報に基づく重みを前述のアクセス情報に基づく重みに代えて使用し、第１実施形態と同様に各文書のスコアを算出して、前記ブックマーク情報などとともに前記文書データベース５に格納する。前記検索実行手段８は、以後の前記クライアント端末２からの検索に対して、該スコアなどに従って検索結果の出力順を決定する。

以上のように、本実施形態に係る文書検索装置１３によれば、文書のスコア算出において引用元文書のブックマーク情報に基づく重みが考慮される。即ち、ブックマーク登録回数の多い文書からより多く引用される文書に対して高いスコアを付与することができ、第１実施形態と同等の効果を奏することができる。

なお、本発明は、コンピュータに前記第１．２実施形態の各処理ステップＳ０１〜０４．１１〜１４を実行させる文書検索プログラムとしても提供することができる。このプログラムは、各処理ステップＳ０１〜０４．１１〜１４の全ての処理ステップをコンピュータに実行させるものでもよく、あるいはその一部の処理を実行させるものであってもよい。

このプログラムは、Ｗｅｂサイトなどからのダウンロードによってコンピュータに提供される。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標）などの記録媒体に格納してコンピュータに提供してもよい。

本発明の第１実施形態に係る文書検索装置の構成図。 同 スコア算出の処理フロー図。 本発明の第２実施形態に係る文書検索装置の構成図。 同 スコア算出の処理フロー図。

符号の説明

１．１３…文書検索装置
２…クライアント端末
３…ブラウザ
４…クローラ（情報収集手段）
５…文書データベース
６…引用関係データベース
７…検索アクセス手段（検索アプリケーション）
８…検索実行手段（検索エンジン）
９…クリックログデータベース
１０…アクセス集計手段
１１…アクセス情報データベース
１２…リンク解析手段（スコア算出手段）
１４…ブックマーク手段（ブックマークアプリケーション）
１５…ブックマークデータベース
１６…ブックマーク集計手段
１７…ブックマーク情報データベース
Ｓ…コンテンツサーバ

Claims (3)

1. クライアント端末から指示された検索条件に該当する電子文書を電子文書群中から検索する文書検索装置であって、
   前記検索条件を用いて電子文書群を検索して、検索結果を出力する検索実行手段と、
   前記検索結果中、前記クライアント端末のアクセスした文書をユーザの操作に基づいて登録する登録手段と、
   前記登録手段による複数のクライアント端末の文書の登録情報を集計して、文書毎の登録頻度を求める集計手段と、
   前記登録頻度および文書間の引用関係を用いて各文書のスコアを算出する算出手段と、を備え、
   前記算出手段が、引用先文書の文書スコアを算出する際に引用元文書の登録頻度に基づく重み付けを反映させ、
   前記検索実行手段が、前記スコアに従ってランキングされた検索結果を出力することを特徴とする文書検索装置。
2. クライアント端末から指示された検索条件に該当する電子文書を電子文書群中から検索する装置の実行する文書検索装置であって、
   検索実行手段が、前記検索条件を用いて電子文書群を検索して、検索結果を出力する第１ステップと、
   登録手段が、前記検索結果中、前記クライアント端末のアクセスした文書をユーザの操作に基づいて登録する第２ステップと、
   集計手段が、前記登録手段による複数のクライアント端末の文書の登録情報を集計して、文書毎の登録頻度を求める第３ステップと、
   算出手段が、前記登録頻度および文書間の引用関係を用いて各文書のスコアを算出する第４ステップと、
   前記検索実行手段が、前記スコアに従ってランキングされた検索結果を出力する第５ステップと、を有し、
   前記第４ステップは、引用先文書の文書スコアを算出する際に引用元文書の登録頻度に基づく重み付けを反映させる
   ことを特徴とする文書検索方法。
3. 請求項２に記載の文書検索方法の各ステップをコンピュータに実行させることを特徴とする文書検索プログラム。

Images