JP5147790B2 - クローラ調整装置及びクローラ調整方法 - Google Patents

Description

本発明は、クローラがＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）にアクセスする周期をＵＲＬ毎に調整するクローラ調整装置及びその方法に関する。

インターネットユーザがＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）上のＷｅｂページやドキュメント、画像データ等のリソースを検索しようとする際、一般的にＷｅｂ検索システムを利用する。このＷｅｂ検索システムは、ユーザからの検索要求に対して瞬時に検索結果を返信するために、クローラと呼ばれるプログラムを用いて定期的に対象となるＷｅｂサイトにアクセスし、予めその内容をインデックスデータベースに記憶している。このような検索システムでは、ユーザに対して常に最新の情報を提供することが重要である。

このようなユーザのニーズに応えるため、近年の検索システムでは、管理者の設定により、他のページに比べて更新頻度が高いニュースサイト等のページを予めファストクロール先として指定して、クローラがそれらのＵＲＬを他よりも短い周期でアクセスするようにしている。このようにしてこれらの検索システムは、更新頻度の高い所定のＷｅｂサイトについて当該クローラが他よりも短い周期でアクセスして取得したインデックスを用いて、当該ユーザに最新の情報を容易に提供することができる。

しかしながら、単に当該アクセスの周期を短くすると、クローラのアクセス回数が増えることになり、ネットワーク間のデータ通信が増大することになる。また、高い頻度でアクセスするＷｅｂサイトを多く指定することも考えられるが、同様にネットワークの負荷の増大をもたらすとともに、システム負荷も高くなるという問題がなる。このような問題点を解決するため、例えば、ユーザのアクセス数を集計し、その集計結果に基づいて巡回優先度の高いＵＲＬを決定し、その決定したＵＲＬに限りクローラが短い周期でアクセスするようにした検索システムが知られている（特許文献１）。

特開２００６−２７７７３２号公報

しかしながら、このような検索システムの場合、クローラは、ユーザのアクセス数が多いＵＲＬに対しては、実際の更新頻度の高さに関わらず短い周期でアクセスするため、更新頻度の高いＷｅｂサイトを短い周期でアクセスする、という要件に必ずしも応えることができない可能性がある。そこで、Ｗｅｂサイトに対するアクセス周期をより適切に調整することができる検索システムの提供が求められている。

本発明では、このような検索システムを提供することを可能にすべく、クローラがＵＲＬにアクセスする周期をＵＲＬ毎に調整するクローラ調整装置及びその方法を提供することを目的とする。

本発明では、以下のような解決手段を提供する。

（１） 予め定めたＵＲＬを所定の周期でアクセスし、そのアクセスしたＵＲＬに関連付けられたデータを取得するクローラが実際にＵＲＬにアクセスする周期をＵＲＬ毎に調整するクローラ調整装置であって、ユーザ端末から受信した検索クエリのうち、過去における単位時間当たりの第１の受信数と現在の単位時間当たりの第２の受信数とを用いて算出した受信数の上昇率と、該第２の受信数から該第１受信数を減算した値である上昇数とに基づいて、算出した注目度が一定の値を超える検索クエリを抽出する注目クエリ抽出手段と、前記注目クエリ抽出手段によって抽出された検索クエリを用いてＷｅｂサイトを検索し、その検索クエリに関連するＵＲＬを抽出するＵＲＬ検索手段と、前記ＵＲＬ検索手段により検索されたＵＲＬを、他のＵＲＬに比べて短い周期でアクセスする指定先の候補のＵＲＬとして管理者端末に提示するために送信する指定先候補送信手段とを備えたことを特徴とするクローラ調整装置。

（１）記載のクローラ調整装置によれば、注目クエリ抽出手段は、ユーザ端末から受信した検索クエリのうち、単位時間当たりの受信数及びその上昇率が一定の値を超える検索クエリを抽出し、ＵＲＬ検索手段は、注目クエリ抽出手段が抽出した検索クエリを用いてＷｅｂサイトを検索し、その検索クエリに関連するＵＲＬを抽出し、指定先候補提示手段は、その検索したＵＲＬを、他のＵＲＬに比べて短い周期でアクセスする指定先の候補のＵＲＬとして管理者端末に提示するために送信する。

このようにすることで、管理者は、指定先候補提示手段によって提示されたＵＲＬの中から短い周期でアクセスするＵＲＬを適宜指定することができる。そのため、刻々と変化する注目クエリに関連するＵＲＬをタイムリーに指定先として指定することができる。その結果、一般ユーザに対して最新の情報を迅速に提供するという効果を高めつつ、指定先の指定を適切に調整し、ネットワーク及びシステム負荷の増大を抑制することができる。

（２） （１）記載のクローラ調整装置において、前記指定先候補送信手段によって送信された指定先の候補のＵＲＬを、実際の前記指定先のＵＲＬとして設定する指定先設定手段を備えたことを特徴とするクローラ調整装置。

（２）記載のクローラ調整装置によれば、注目クエリに関連するＵＲＬを自動的に指定先として設定できるので、管理者の手間を省きつつ、（１）と同様の効果が期待できる。

（３） （２）記載のクローラ調整装置において、前記注目クエリ抽出手段は、前記単位時間当たりの受信数及びその上昇率に応じて抽出した検索クエリの各々に対する注目度をさらに算出し、前記指定先設定手段は、前記注目クエリ抽出手段が算出した当該注目度が高いほど、前記実際の前記指定先のＵＲＬを前記クローラがアクセスする周期が短くなるように設定することを特徴とするクローラ調整装置。

（３）記載のクローラ調整装置によれば、短い周期でアクセスするように指定したＵＲＬの各々について、実際にアクセスする周期を具体的に調整できる。その結果、ネットワーク及びシステム負荷の増大を抑制したままで、一般ユーザに対して最新の情報を迅速に提供するという効果をいっそう高めることができる。

（４） クローラ調整装置が、予め定めたＵＲＬを所定の周期でアクセスし、そのアクセスしたＵＲＬに関連付けられたデータを取得するクローラが実際にＵＲＬにアクセスする周期をＵＲＬ毎に調整するクローラ調整方法であって、ユーザ端末から受信した検索クエリのうち、過去における単位時間当たりの第１の受信数と現在の単位時間当たりの第２の受信数とを用いて算出した受信数の上昇率と、該第２の受信数から該第１受信数を減算した値である上昇数とに基づいて、算出した注目度が一定の値を超える検索クエリを抽出する注目クエリ抽出工程と、前記注目クエリ抽出工程によって抽出された検索クエリを用いてＷｅｂサイトを検索し、その検索クエリに関連するＵＲＬを抽出するＵＲＬ検索工程と、前記ＵＲＬ検索工程により検索されたＵＲＬを、他のＵＲＬに比べて短い周期でアクセスする指定先の候補のＵＲＬとして管理者端末に提示するために送信する指定先候補送信工程とを備えたことを特徴とするクローラ調整方法。

このような方法によれば、当該方法を実施することにより、（１）と同様の効果が期待できる。

本発明によれば、一般ユーザに対して最新の情報を迅速に提供するという効果を高めつつ、指定先の設定を適切に調整し、ネットワーク及びシステム負荷の増大を抑制することができる。

第１実施形態に係るクローラ調整装置１を説明するための全体構成を示す図である。 第１実施形態に係るクエリログＤＢ３１を示す図である。 第１実施形態に係るインデックスＤＢ３２を示す図である。 第１実施形態に係るバーストクエリリストＤＢ３３を示す図である。 第１実施形態に係るファストクロール先指定ＤＢ３４を示す図である。 第１実施形態に係るバースト判定部２４を示す図である。 第１実施形態に係るＢｕｚｚクエリリストの一例を示す図である。 第１実施形態に係るＵＲＬ検索部２２を示す図である。 第１実施形態に係る検索サーバ２におけるクエリ検索処理の流れを示すフローチャートである。 第１実施形態に係る検索サーバ２におけるバースト判定処理の流れを示すフローチャートである。 第１実施形態に係る検索サーバ２におけるＵＲＬ検索処理の流れを示すフローチャートである。 第１実施形態に係るクローラ調整装置１におけるクローラ調整処理の流れを示すフローチャートである。 第１実施形態に係るクローラ調整装置１におけるファストクロール先指定処理の流れを示すフローチャートである。 第１実施形態に係る検索サーバ２におけるクロール処理の流れを示すフローチャートである。 第１実施形態に係るクローラ調整装置１を使用して、管理者端末４の表示装置７１にファストクロール先の候補のＵＲＬを表示させたときの表示例を示す図である。 第２実施形態に係るクローラ調整装置１を説明するための全体構成を示す図である。 第２実施形態に係るクローラ調整装置１におけるクローラ調整処理の流れを示すフローチャートである。

（第１実施形態）
以下、第１実施形態について図を参照しながら説明する。

［全体構成］
図１は、第１実施形態に係るクローラ調整装置１を説明するための全体構成を示す図である。クローラ調整装置１は、検索サーバ２及び管理者端末４と通信ネットワーク５を介して接続されている。また、検索サーバ２は、複数のユーザ端末６とインターネット７を介して接続されている。

クローラ調整装置１について説明する前に、検索サーバ２について説明する。検索サーバ２は、制御部２０と、記憶部３０とを備える。制御部２０は、検索サーバ２に係る各機能を統括的に制御する部分であり、クエリ受付部２１、ＵＲＬ検索部２２、検索結果送信部２３のほか、バースト判定部２４及びクロール部２５を備える。そして、記憶部３０は、検索サーバ２として機能させるための各種プログラム（図示省略）、本発明の機能を実行するプログラム（図示省略）、クエリログＤＢ３１、インデックスＤＢ３２のほか、バーストクエリリストＤＢ３３及びファストクロール先指定ＤＢ３４を備える。

まず制御部２０の全体構成について説明する。クエリ受付部２１は、ユーザ端末６より送信されたクエリを受け付けるとともに、ユーザ端末６のＩＰアドレス及び受付時刻を収集する。そして、クエリ受付部２１は、これらの情報を検索ログとしてクエリログＤＢ３１に記憶させる。

ＵＲＬ検索部２２は、Ｗｅｂサイトの内容が予め記憶されたインデックスＤＢ３２を参照し、クエリ受付部２１が受け付けたクエリに関連するＵＲＬを抽出する。検索結果送信部２３は、ＵＲＬ検索部２２で抽出したＵＲＬに基づき検索結果ページを生成し、その検索結果ページを検索クエリを送信したユーザ端末６に送信する。

バースト判定部２４は、クエリログＤＢ３１に記憶されたクエリの種別毎に、単位時間当たりの受信数及びその上昇率が一定の値を超えるか否かを判別する。そして、バースト判定部２４は、単位時間当たりの受信数の上昇率が一定の値を超えると判別したクエリの情報に加え、単位時間当たりの受信数の情報及びその上昇率の情報をバーストクエリリストＤＢ３３に記憶させる。

クロール部２５は、クローラと呼ばれるプログラムを実行する部分であり、ファストクロール先指定ＤＢ３４に記憶されたＵＲＬ等、予め定めたＵＲＬに関連したＷｅｂサイトを定期的にアクセスし、その結果を予めインデックスＤＢ３２に記憶させる。

次に記憶部３０の全体構成を図２〜図４を参照しながら説明する。

図２は、第１実施形態に係るクエリログＤＢ３１を示す図である。クエリログＤＢ３１は、検索サーバ２において、クエリ受付部２１により受け付けられた検索クエリと受け付けられたときの情報とを関連付けてクエリログとして記憶するためのＤＢである。クエリログＤＢ３１には、検索ログに関する情報として、検索クエリを送信したユーザ端末６のＩＰアドレスを示す「ＩＰアドレス」フィールドと、ユーザ端末６より検索クエリが受け付けられた日時を示す「受付時刻」フィールドと、ユーザ端末６から送信された検索クエリを示す「検索クエリ」フィールドとが含まれている。

図３は、第１実施形態に係るインデックスＤＢ３２を示す図である。インデックスＤＢ３２は、クロール部２５が予め定めたＵＲＬに関連したＷｅｂサイトを定期的にアクセスした結果をインデックスとして記憶するためのＤＢである。ここで、インデックスＤＢ３２は、ファストクロール用インデックスＤＢ３２Ａとノーマルクロール用インデックスＤＢ３２Ｂとにより構成される。ファストクロール用インデックスＤＢ３２Ａは、予め定めたＵＲＬのうち、特にファストクロール先指定ＤＢ３４に記憶されたＵＲＬに関連したＷｅｂサイトをクロール部２５が定期的にアクセスした結果をインデックスとして記憶するためのＤＢである。一方、ノーマルクロール用インデックスＤＢ３２Ｂは、予め定めたＵＲＬのうち、ファストクロール先指定ＤＢ３４に記憶されたＵＲＬとは異なるＤＢ（図示省略）に記憶されたＵＲＬに関連したＷｅｂサイトをクロール部２５が定期的にアクセスした結果をインデックスとして記憶するためのＤＢである。インデックスＤＢ３２には、インデックスに関する情報として、クロール部２５がアクセスしたＷｅｂサイトのページＩＤを示す「ページＩＤ」フィールドと、そのＷｅｂサイトに接続するためのＵＲＬを示す「ＵＲＬ」フィールドと、そのＷｅｂサイトから抽出したキーワードを示す「インデックスキーワード」フィールドとが含まれている。

図４は、第１実施形態に係るバーストクエリリストＤＢ３３を示す図である。バーストクエリリストＤＢ３３は、バースト判定部２４によって単位時間当たりの受信数及びその上昇率が一定の値を超えると判定された注目クエリの情報をバーストクエリとして記憶するためのＤＢである。バーストクエリリストＤＢ３３には、クエリログＤＢ３１に記憶されたクエリを単語毎に識別するための「クエリＩＤ」フィールドと、その「クエリＩＤ」に対応するクエリを示す「クエリ」フィールドと、そのクエリについての直近１時間の受信数を示す「受信数」フィールドと、そのクエリについての単位時間当たりの受信数の上昇率を示す「上昇率」フィールドとが含まれている。

なお、記憶部３０にはファストクロール先指定ＤＢ３４も記憶されている。ファストクロール先指定ＤＢ３４は、他のＵＲＬに比べて短い周期でクロール部２５にアクセスさせたい指定先のＵＲＬをファストクロール先として記憶するためのＤＢであるが、詳細は後に説明する。

図１に戻り、クローラ調整装置１について説明する。クローラ調整装置１は、予め定めたＵＲＬを所定の周期でアクセスし、そのアクセスしたＵＲＬに関連付けられたデータを取得するクロール部２５が実際にＵＲＬにアクセスする周期をＵＲＬ毎に調整するための装置である。このクローラ調整装置１は、各機能を統括的に制御する制御部１０を備える。そして、制御部１０は、バーストクエリ抽出部１１、検索部１２、ファストクロール先候補送信部１３及びファストクロール先設定部１４を備える。

バーストクエリ抽出部１１は、注目クエリ抽出手段を構成し、ユーザ端末６から受信した検索クエリのうち、単位時間当たりの受信数及びその上昇率が一定の値を超える検索クエリをバーストクエリ（注目クエリ）として抽出する。具体的には、バーストクエリリストＤＢ３３に記憶されたクエリについての情報をバーストクエリとして抽出する。

検索部１２は、ＵＲＬ検索手段を構成し、バーストクエリ抽出部１１によって抽出されたバーストクエリを用いてＷｅｂサイトを検索し、そのバーストクエリに関連するＵＲＬを抽出する。具体的には、インデックスＤＢ３２を参照し、バーストクエリ抽出部１１が抽出したバーストクエリに関連するＵＲＬを抽出する。

ファストクロール先候補送信部１３は、指定先候補送信手段を構成し、検索部１２で抽出したＵＲＬを、他のＵＲＬに比べて短い周期でアクセスするファストクロール先（指定先）の候補のＵＲＬとして管理者端末４に提示するために送信する。具体的には、検索部１２で抽出したＵＲＬに基づきファストクロール先の候補ページを生成し、その候補ページを管理者端末４に送信する。

ここで、管理者端末４について説明すると、管理者端末４は、ファストクロール先候補受信部４１と、ファストクロール先候補表示部４２と、ファストクロール先指定コマンド送信部４３とを備える。ファストクロール先候補受信部４１は、ファストクロール先候補送信部１３が送信した、ファストクロール先の候補のＵＲＬに関する情報を受信する。ファストクロール先候補表示部４２は、ファストクロール先候補受信部４１が受信した情報を表示装置７１（後述の図１５）に表示させるための制御を行う。その際、管理者は、キーボードやマウス等の操作装置（図示せず）を用いて、他のＵＲＬに比べて短い周期でクロール部２５にアクセスさせたいＵＲＬを表示装置７１（後述の図１５）に表示されたＵＲＬの中から指定するとともに、指定したＵＲＬに対するクロール部２５のアクセス周期を指定する。ファストクロール先指定コマンド送信部４３は、管理者によって指定されたＵＲＬと、そのＵＲＬに対するアクセス周期とをクローラ調整装置１に送信する。

クローラ調整装置１の説明に戻り、ファストクロール先指定部１４は、ファストクロール先指定コマンド送信部４３から送信された情報を受信し、その情報をファストクロール先指定ＤＢ３４に記憶させる。

図５は、第１実施形態に係るファストクロール先指定ＤＢ３４を示す図である。ファストクロール先指定ＤＢ３４は、他のＵＲＬに比べて短い周期でクロール部２５にアクセスさせたいＵＲＬをファストクロール先として記憶するためのＤＢである。ファストクロール先指定ＤＢ３４には、ファストクロール先のＵＲＬに関連付けられたＷｅｂサイトを識別するための「サイトＩＤ」フィールドと、その「サイトＩＤ」に対応するＵＲＬを示す「ＵＲＬ」フィールドと、そのＵＲＬに対してクロール部２５がアクセスする周期を示す「クロール周期」フィールドとが含まれている。

［バースト判定部２４の詳細な構成］
図６は、第１実施形態に係るバースト判定部２４を示す図である。バースト判定部２４は、Ｂｕｚｚクエリリスト作成部５１と、バーストクエリリスト作成部５２とを有する。

Ｂｕｚｚクエリリスト作成部５１は、クエリログＤＢ３１に記憶されたクエリを抽出し、抽出したクエリの種別毎にバースト度（注目度）を算出する。そして、Ｂｕｚｚクエリリスト作成部５１は、バースト度が高い順にクエリをソートする。

バースト度の算出は次のようにして行う。あるクエリｑのｘ時間前のクエリ頻度、すなわちｘ−１時間前からｘ時間前までのクエリｑの受信数がＦｑ１で、現在のクエリ頻度、すなわち１時間前から現在までのクエリｑの受信数がＦｑ０であるとき、（クエリｑの上昇率（Ｆｑ０／Ｆｑ１））×（クエリｑの上昇数（Ｆｑ０−Ｆｑ１））をバースト度とする。

図７は、第１実施形態に係るＢｕｚｚクエリリストの一例を示す図である。Ｂｕｚｚクエリリストには、クエリログＤＢ３１に記憶されたクエリを単語毎に識別するための「クエリＩＤ」フィールドと、その「クエリＩＤ」に対応するクエリを示す「クエリ」フィールドと、そのクエリについての直近１時間の受信数を示す「受信数」フィールドと、そのそのクエリについての単位時間当たりの受信数の上昇率を示す「上昇率」フィールドと、バースト度の値が一定の値を超えているか否かを示す「バースト判定」フィールドとが含まれている。

図６に戻り、バーストクエリリスト作成部５２は、バースト度の値が一定の値を超えているクエリを抽出し、抽出したクエリがファストクロール用インデックスＤＢ３２Ａに記憶されているインデックスキーワードと一致するか否かを判別する。そして、一致するクエリのみを抽出し、バーストクエリリストＤＢ３３に記憶させる。

［ＵＲＬ検索部２２の詳細な構成］
図８は、第１実施形態に係るＵＲＬ検索部２２を示す図である。ＵＲＬ検索部２２は、マッチング部６１と、ランキング作成部６２とを有する。

マッチング部６１は、クエリ受付部２１が受け付けたクエリと、バーストクエリリストＤＢ３３に記憶されたバーストクエリとのマッチングを行う。すなわち、マッチング部６１は、クエリ受付部２１が受け付けたクエリがバーストクエリリストＤＢ３３に記憶されたバーストクエリと一致するか否かを判別する。

ランキング作成部６２は、インデックスＤＢ３２を参照し、クエリ受付部２１が受け付けたクエリに関連する関連ＵＲＬを抽出し、抽出した関連ＵＲＬのランキングを行う。その際、マッチング部６１でのマッチングの結果、クエリ受付部２１が受け付けたクエリがバーストクエリリストＤＢ３３に記憶されたバーストクエリと一致した場合、ランキング作成部６２は、ファストクロール用インデックスＤＢ３２Ａとノーマルクロール用インデックスＤＢ３２Ｂとの両方を参照して関連ＵＲＬの抽出及び両方のインデックスＤＢ３２Ａ、３２Ｂから得られた結果をマージしたランキングを行う。一方、マッチング部６１でのマッチングの結果、クエリ受付部２１が受け付けたクエリがバーストクエリリストＤＢ３３に記憶されたバーストクエリと一致しなかった場合、ランキング作成部６２は、ノーマルクロール用インデックスＤＢ３２Ｂだけを参照して関連ＵＲＬの抽出及びそのランキングを行う。

ファストクロール用インデックスＤＢ３２Ａとノーマルクロール用インデックスＤＢ３２Ｂとの両方を参照する場合、これらをマージしたランキング付けは、ファストクロール用インデックスＤＢ３２Ａの検索結果をノーマルクロール用インデックスＤＢ３２Ｂの検索結果の中に差し込む形で行う。差し込む順位は、ブースト度によって決定する。ブースト度は、クエリ受付部２１が受け付けたクエリのバースト度と、ファストクロール用インデックスＤＢ３２Ａ及びノーマルクロール用インデックスＤＢ３２Ｂを検索したときのランキング度によって算出される。なお、クエリ受付部２１が受け付けたクエリのバースト度は、バーストクエリリストＤＢ３３を参照することで得られる。

なお、検索部１２もＵＲＬ検索部２２と同様の構成を有し、バーストクエリ抽出部１１が抽出したバーストクエリのランキングは、ファストクロール用インデックスＤＢ３２Ａとノーマルクロール用インデックスＤＢ３２Ｂとから得られた結果をマージして行う。

［本実施形態のハードウェア及びソフトウェアの構成］
本実施形態は、コンピュータ及びその周辺装置に適用される。本実施形態における各手段（各部）は、コンピュータ及びその周辺装置が備えるハードウェア並びに該ハードウェアを制御するソフトウェアによって構成される。

上記ハードウェアには、制御装置（制御部）としてのＣＰＵの他、記憶装置（記憶部）、通信装置（通信部）、表示装置（表示部）及び入力装置（入力部）が含まれる。記憶装置（記憶部）としては、例えば、メモリ（ＲＡＭ、ＲＯＭ等）、ハードディスクドライブ(ＨＤＤ)、及び光ディスク（ＣＤ、ＤＶＤ等）ドライブが挙げられる。通信装置（通信部）としては、例えば、各種有線及び無線インターフェース装置が挙げられる。表示装置（表示部）としては、例えば、液晶ディスプレイ、プラズマディスプレイ等の各種ディスプレイが挙げられる。入力装置（入力部）としては、例えば、キーボード及びポインティング・デバイス（マウス等）が挙げられる。

上記ソフトウェアには、上記ハードウェアを制御するコンピュータ・プログラムやデータが含まれる。コンピュータ・プログラムやデータは、記憶装置（記憶部）により記憶され、制御装置（制御部）により適宜実行、参照される。また、コンピュータ・プログラムやデータは、通信回線を介して配布することも可能であり、ＣＤ−ＲＯＭ等のコンピュータ可読媒体に記録して配布することも可能である。

［処理フロー］
図９は、第１実施形態に係る検索サーバ２におけるクエリ検索処理の流れを示すフローチャートである。

ステップＳ１では、制御部２０（クエリ受付部２１）は、ユーザ端末６より送信されたクエリを受け付ける。ステップＳ２では、制御部２０（クエリ受付部２１）は、ステップＳ１にて検索クエリを受け付けると、クエリログＤＢ３１に検索ログを記憶させる。より具体的には、制御部２０（クエリ受付部２１）は、ステップＳ１にてクエリを受け付けると、ユーザ端末６のＩＰアドレス及び受付時刻を収集し、収集した情報と受け付けたクエリを関連付けてクエリログＤＢ３１に記憶させる。

ステップＳ３では、制御部２０（ＵＲＬ検索部２２）は、後に図１１で説明するＵＲＬ検索処理を行う。この処理では、制御部１０（ＵＲＬ検索部２２）は、Ｗｅｂサイトの内容が予め記憶されたインデックスＤＢ３２を参照し、クエリ受付部２１が受け付けたクエリに関連するＵＲＬを抽出する。

ステップＳ４では、制御部２０（検索結果送信部２３）は、ＵＲＬ検索部２２で抽出したＵＲＬに基づき検索結果ページを生成し、その検索結果ページを検索クエリを送信したユーザ端末６に送信する。この処理が終わると、制御部２０は、クエリ検索処理を終了する。

図１０は、第１実施形態に係る検索サーバ２におけるバースト判定処理の流れを示すフローチャートである。

ステップＳ１１では、制御部２０（バースト判定部２４のＢｕｚｚクエリリスト作成部５１）は、クエリログＤＢ３１に記憶されたクエリを抽出する。

ステップＳ１２では、制御部２０（バースト判定部２４のＢｕｚｚクエリリスト作成部５１）は、Ｂｕｚｚクエリリストの作成を行う。具体的には、Ｂｕｚｚクエリリスト作成部５１は、抽出したクエリの種別毎にバースト度を算出し、バースト度が高い順にクエリをソートする処理を行う。

ステップＳ１３では、制御部２０（バースト判定部２４のバーストクエリリスト作成部５２）は、Ｂｕｚｚクエリリストからバースト度の値が一定の値を超えているクエリを抽出する。

ステップＳ１４では、制御部２０（バースト判定部２４のバーストクエリリスト作成部５２）は、バーストクエリリストの作成を行う。具体的には、バーストクエリリスト作成部５２は、抽出したクエリがファストクロール用インデックスＤＢ３２Ａに記憶されているインデックスキーワードと一致するか否かを判別し、一致するクエリのみを抽出してバーストクエリリストＤＢ３３に記憶させる。この処理が終わると、制御部２０は、バースト判定処理を終了する。

図１１は、第１実施形態に係る検索サーバ２におけるＵＲＬ検索処理の流れを示すフローチャートである。

ステップＳ２１では、制御部２０（ＵＲＬ検索部２２のマッチング部６１）は、クエリ受付部２１が受け付けたクエリと、バーストクエリリストＤＢ３３に記憶されたバーストクエリとのマッチングを行う。すなわち、マッチング部６１は、クエリ受付部２１が受け付けたクエリがバーストクエリリストＤＢ３３に記憶されたバーストクエリと一致するか否かを判別する。

ステップＳ２２では、制御部２０（ＵＲＬ検索部２２のランキング作成部６２）は、マッチング部６１での判別の結果、クエリ受付部２１が受け付けたクエリがバーストクエリリストＤＢ３３に記憶されたバーストクエリと一致したか否かを判別する。この判別の結果がＹＥＳのときはステップＳ２３に移り、ＮＯのときはステップＳ２４に移る。

ステップＳ２３では、制御部２０（ＵＲＬ検索部２２のランキング作成部６２）は、ファストクロール用インデックスＤＢ３２Ａとノーマルクロール用インデックスＤＢ３２Ｂとの両方を参照して関連ＵＲＬを抽出するとともに、両方のインデックスＤＢ３２Ａ、３２Ｂから得られた結果をマージしたランキング付けを行う。

ステップＳ２４では、制御部２０（ＵＲＬ検索部２２のランキング作成部６２）は、ランキング作成部６２は、ノーマルクロール用インデックスＤＢ３２Ｂだけを参照して関連ＵＲＬの抽出及びそのランキング付けを行う。ステップＳ２３又はステップＳ２４の処理が終わると、制御部２０は、ＵＲＬ検索処理を終了する。

図１２は、第１実施形態に係るクローラ調整装置１におけるクローラ調整処理の流れを示すフローチャートである。

ステップＳ３１では、制御部１０（バーストクエリ抽出部１１）は、ユーザ端末６から受信した検索クエリのうち、単位時間当たりの受信数の上昇率が一定の値を超える検索クエリをバーストクエリとして抽出する。具体的には、バーストクエリ抽出部１１は、バーストクエリリストＤＢ３３に記憶されたクエリについての情報をバーストクエリとして抽出する。

ステップＳ３２では、制御部１０（検索部１２）は、バーストクエリ抽出部１１によって抽出されたバーストクエリを用いてＷｅｂサイトを検索し、そのバーストクエリに関連するＵＲＬを抽出する。ここでは、検索サーバ２によるＵＲＬ検索処理（図１１）と略同様の処理が行われる。したがって、検索結果は、ファストクロール用インデックスＤＢ３２Ａの検索結果とノーマルクロール用インデックスＤＢ３２Ｂの検索結果とをマージしてランキング付けされたものとして出力される。

ステップＳ３３では、制御部１０（ファストクロール先候補送信部１３）は、検索部１２で抽出したＵＲＬを、他のＵＲＬに比べて短い周期でアクセスするファストクロール先の候補のＵＲＬとして管理者端末４に提示するために送信する。具体的には、検索部１２で抽出したＵＲＬに基づきファストクロール先の候補ページを生成し、その候補ページを管理者端末４に送信する。この処理が終わると、制御部１０は、クローラ調整処理を終了する。

図１３は、第１実施形態に係るクローラ調整装置１におけるファストクロール先指定処理の流れを示すフローチャートである。

ステップＳ４１では、制御部１０（ファストクロール先指定部１４）は、管理者端末４からファストクロール先指定コマンドを受信したか否かを判別する。この判別の結果がＹＥＳのときはステップＳ４２に移り、ＮＯのときはステップＳ４１の処理を繰り返す。

ここで、前述したステップＳ３３の処理が行われると、管理者端末４では次の処理が行われる。まず、ファストクロール先候補受信部４１は、ファストクロール先候補送信部１３が送信した、ファストクロール先の候補のＵＲＬに関する情報を受信し、ファストクロール先候補表示部４２は、ファストクロール先候補受信部４１が受信した情報を表示装置７１（後述の図１５）に表示させるための制御を行う。その際、管理者は、キーボードやマウス等の操作装置（図示せず）を用いて、他のＵＲＬに比べて短い周期でクロール部２５にアクセスさせたいＵＲＬを表示装置（後述の図１５）に表示されたＵＲＬの中から指定するとともに、指定したＵＲＬに対するクロール部２５のアクセス周期を指定する。ファストクロール先指定コマンド送信部４３は、管理者によって指定されたＵＲＬと、そのＵＲＬに対するアクセス周期とをクローラ調整装置１に送信する。

ステップＳ４１の処理は、管理者が他のＵＲＬに比べて短い周期でクロール部２５にアクセスさせたいＵＲＬの情報と、指定したＵＲＬに対するクロール部２５のアクセス周期の情報とを受信したか否かを判別するものであり、受信した場合はＹＥＳと判別され、受信していない場合はＮＯと判別される。

ステップＳ４２では、制御部１０（ファストクロール先指定部１４）は、ファストクロール先指定コマンド送信部４３から送信された情報をファストクロール先指定ＤＢ３４を更新する。この処理が終わると、制御部１０は、ファストクロール先指定処理を終了する。

図１４は、第１実施形態に係る検索サーバ２におけるクロール処理の流れを示すフローチャートである。

ステップＳ５１では、制御部２０（クロール部２５）は、クローラを実行し、ファストクロール先指定ＤＢ３４に記憶されたクロール周期にしたがって、指定されたＵＲＬにアクセスする。

ステップＳ５２では、制御部２０（クロール部２５）は、指定されたＵＲＬで取得した情報に基づいてファストクロール用インデックスＤＢ３２Ａを更新する。この処理が終わると、制御部２０は、ファストクロール先指定処理を終了する。

［第１実施形態に係るクローラ調整装置１の使用例］
図１５は、第１実施形態に係るクローラ調整装置１を使用して、管理者端末４の表示装置７１にファストクロール先の候補のＵＲＬを表示させたときの表示例を示す図である。

図１５では、管理者端末４の表示装置７１において、ファストクロール先の候補のＵＲＬが表示されていることと、管理者に対してファストクロール先として指定するか否かを求めていることと、指定する場合はクロール周期を併せて指定することを求めていることとを確認できる。このようにすることで、管理者は、表示装置７１に表示されたＵＲＬの中から短い周期でアクセスするＵＲＬを適宜指定できる。そのため、刻々と変化するバーストクエリに関連するＵＲＬをタイムリーにファストクロール先として指定することができる。その結果、一般ユーザに対して最新の情報を迅速に提供するという効果を高めつつ、ファストクロール先の指定を適切に調整し、ネットワーク及びシステム負荷の増大を抑制することができる。

特に、ファストクロール用インデックスＤＢ３２Ａとノーマルクロール用インデックスＤＢ３２Ｂとをマージしたランキングの順番でＵＲＬを表示しているので、管理者がファストクロール先のＵＲＬを指定する負担を軽減できるとともに、正確にファストクロール先のＵＲＬを指定できる。

特に、ファストクロール用インデックスＤＢ３２Ａとノーマルクロール用インデックスＤＢ３２Ｂとをマージしたランキングの順番でＵＲＬを表示している。このことから、管理者は、上位に表示されているＵＲＬがファストクロール先のＵＲＬである可能性が高いと予測できるため、ファストクロール先のＵＲＬを指定する負担を軽減できるとともに、正確にファストクロール先のＵＲＬ及びそのＵＲＬに対するクロール周期を指定できる。

（第２実施形態）
続いて、第２実施形態について説明する。第１実施形態では、ファストクロール先候補送信部１３がファストクロール先の候補のＵＲＬを管理者端末に提示するために送信し、実際にファストクロール先の候補のＵＲＬを管理者が適宜指定することでファストクロール先の指定を適切に調整することを説明した。第２実施形態では、バーストクエリに関連するＵＲＬを自動的にファストクロール先として指定できるようにすることで、管理者の手間を省きつつ、第１の実施形態と同様の効果が期待できるようにしたものである。

なお、以下の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。

［全体構成］
図１６は、第２実施形態に係るクローラ調整装置１を説明するための全体構成を示す図である。全体構成は、基本的に第１実施形態に係るクローラ調整装置１の全体構成と同様である。しかし、第２実施形態に係るファストクロール先指定部１４は、指定先設定手段を構成し、ファストクロール先指定コマンド送信部４３から受信した情報だけでなく、ファストクロール先候補送信部１３によって提示された候補のＵＲＬをそのままファストクロール先指定ＤＢ３４に記憶させる点で相違する。

［バースト判定部２４の詳細な構成］
［ＵＲＬ検索部２２の詳細な構成］
［クローラ調整装置１のハードウェア構成］
第２実施形態に係るバースト判定部２４の詳細な構成、ＵＲＬ検索部２２の詳細な構成及びクローラ調整装置１のハードウェア構成は、いずれも第１実施形態に係る構成と同様なので、説明を省略する。

［処理フロー］
処理フローについても、基本的に第１実施形態に係る処理フローと同様である。しかし、クローラ調整処理の処理フローは一部異なる。

図１７は、第２実施形態に係るクローラ調整装置１におけるクローラ調整処理の流れを示すフローチャートである。

ステップＳ６１の処理、ステップＳ６２の処理は、それぞれ図１２のステップＳ３１の処理、ステップＳ３２の処理と同様である。

ステップＳ６３では、制御部１０（ファストクロール先指定部１４）は、検索部１２で抽出したＵＲＬに基づいて検索サーバ２のファストクロール用インデックスＤＢ３２Ａを更新する。

ステップＳ６４の処理は図１２のステップＳ３３の処理と同様である。

第２実施形態に係るクローラ調整装置１によれば、バーストクエリに関連するＵＲＬを自動的にファストクロール先として指定できるので、管理者の手間を省きつつ、第１実施形態に係るクローラ調整装置１と同様の効果が期待できる。

なお、ファストクロール先指定部１４は、ファストクロール先のＵＲＬだけでなく、クロール周期も指定することが好ましい。例えば、バースト度が高いほどクロール周期が短くなるように指定することや、検索部１２で算出したランキングが高いほどクロール周期が短くなるように指定すること、又はバースト度と検索部１２で算出したランキングとの両方で判別してクロール周期を指定することが好ましい。このようにすることで、短い周期でアクセスするように指定したＵＲＬの各々について、実際にアクセスする周期を具体的に調整できる。その結果、ネットワーク及びシステム負荷の増大を抑制したままで、一般ユーザに対して最新の情報を迅速に提供するという効果をいっそう高めることができる。

また、第２実施形態に係るクローラ調整装置１においても、第１実施形態に係るクローラ調整装置１と同様に、ファストクロール先候補送信部１３は、ファストクロール先の候補のＵＲＬに関する情報を管理者端末４に送信し、ファストクロール先指定部１４は、ファストクロール先指定コマンド送信部４３から受信した情報をファストクロール先指定ＤＢ３４に記憶させている。これにより、ファストクロール先指定部１４が指定したファストクロール先を管理者が適宜修正できるので、バーストクエリに関連するＵＲＬを自動的にファストクロール先として指定した場合であっても、ネットワーク及びシステム負荷の増大を抑制できる。

以上、第１実施形態及び第２実施形態について説明したが、本発明は上述した第１実施形態及び第２実施形態に限るものではない。また、第１実施形態及び第２実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。

１ クローラ調整装置
４ 管理者端末
６ ユーザ端末
１０ 制御部
１１ バーストクエリ抽出部
１２ 検索部
１３ ファストクロール先候補送信部

Claims (4)

1. 予め定めたＵＲＬを所定の周期でアクセスし、そのアクセスしたＵＲＬに関連付けられたデータを取得するクローラが実際にＵＲＬにアクセスする周期をＵＲＬ毎に調整するクローラ調整装置であって、
   ユーザ端末から受信した検索クエリのうち、過去における単位時間当たりの第１の受信数と現在の単位時間当たりの第２の受信数とを用いて算出した受信数の上昇率と、該第２の受信数から該第１受信数を減算した値である上昇数とに基づいて、算出した注目度が一定の値を超える検索クエリを抽出する注目クエリ抽出手段と、
   前記注目クエリ抽出手段によって抽出された検索クエリを用いてＷｅｂサイトを検索し、その検索クエリに関連するＵＲＬを抽出するＵＲＬ検索手段と、
   前記ＵＲＬ検索手段により検索されたＵＲＬを、他のＵＲＬに比べて短い周期でアクセスする指定先の候補のＵＲＬとして管理者端末に提示するために送信する指定先候補送信手段とを備えたことを特徴とするクローラ調整装置。
2. 請求項１記載のクローラ調整装置において、
   前記指定先候補送信手段によって送信された指定先の候補のＵＲＬを、実際の前記指定先のＵＲＬとして設定する指定先設定手段を備えたことを特徴とするクローラ調整装置。
3. 請求項２記載のクローラ調整装置において、
   前記注目クエリ抽出手段は、前記単位時間当たりの受信数及びその上昇率に応じて抽出した検索クエリの各々に対する注目度をさらに算出し、
   前記指定先設定手段は、前記注目クエリ抽出手段が算出した当該注目度が高いほど、前記実際の前記指定先のＵＲＬを前記クローラがアクセスする周期が短くなるように設定することを特徴とするクローラ調整装置。
4. クローラ調整装置が、予め定めたＵＲＬを所定の周期でアクセスし、そのアクセスしたＵＲＬに関連付けられたデータを取得するクローラが実際にＵＲＬにアクセスする周期をＵＲＬ毎に調整するクローラ調整方法であって、
   ユーザ端末から受信した検索クエリのうち、過去における単位時間当たりの第１の受信数と現在の単位時間当たりの第２の受信数とを用いて算出した受信数の上昇率と、該第２の受信数から該第１受信数を減算した値である上昇数とに基づいて、算出した注目度が一定の値を超える検索クエリを抽出する注目クエリ抽出工程と、
   前記注目クエリ抽出工程によって抽出された検索クエリを用いてＷｅｂサイトを検索し、その検索クエリに関連するＵＲＬを抽出するＵＲＬ検索工程と、
   前記ＵＲＬ検索工程により検索されたＵＲＬを、他のＵＲＬに比べて短い周期でアクセスする指定先の候補のＵＲＬとして管理者端末に提示するために送信する指定先候補送信工程とを備えたことを特徴とするクローラ調整方法。

Images