JP4781466B2 - 文書重要度算出プログラム - Google Patents
文書重要度算出プログラム Download PDFInfo
- Publication number
- JP4781466B2 JP4781466B2 JP2009508735A JP2009508735A JP4781466B2 JP 4781466 B2 JP4781466 B2 JP 4781466B2 JP 2009508735 A JP2009508735 A JP 2009508735A JP 2009508735 A JP2009508735 A JP 2009508735A JP 4781466 B2 JP4781466 B2 JP 4781466B2
- Authority
- JP
- Japan
- Prior art keywords
- document
- importance
- vertical vector
- calculation
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、複数の文書についてそれぞれの重要度を算出する文書重要度算出プログラム、文書重要度算出装置、文書重要度算出方法に関するものである。
従来、Webページ等のリンクを有する文書の検索を行う検索システムにおいて、検索結果の表示順位を決定するための技術がある(例えば、特許文献1、特許文献2、非特許文献1、非特許文献2参照)。特許文献1の技術は、検索対象文書のリンク関係だけから各文書の重要度を決定し、重要度の高い順に検索結果を表示する。
米国特許第6285999号明細書
米国特許出願公開第2005/0071741号明細書
"The PageRank Citation Ranking: Bringing Order to the Web":Lawrence Page, Sergey Brin, Rajeev Motwani, Terry Winograd (1998年1月29日)
"Efficient Computation of PageRank" :Taher H. Haveliwala(1999年10月18日)
しかしながら、特許文献1の技術は、重要度算出のための制約が大きく、検索対象文書のリンク関係だけから検索対象文書の重要度を算出することしかできなかった。
また、従来の技術を基にして、複数の種類のパラメータの影響を考慮した重要度を算出するための幾つかの方法がある。特許文献2の技術においては、リンク関係に基づいて重要度を算出し、その重要度を他のパラメータに基づいて修正する方法が示されているが、リンク関係により計算された情報が他のパラメータに基づく修正により失われてしまう。また、特許文献2の技術において、多くの種類のパラメータの影響を考慮する具体的な方法は示されていない。
また、パラメータ毎に重要度を算出し、得られた複数の重要度に重み付けを与える方法等が考えられるが、それぞれのパラメータに対する重要度を算出するために、時間のかかる繰り返し計算をパラメータの数だけ行うことになるため、パラメータ数が増えると計算量が膨大になってしまう。
本発明は上述した問題点を解決するためになされたものであり、文書に関するパラメータの影響を考慮した文書の重要度を効率的に算出する文書重要度算出プログラム、文書重要度算出装置、文書重要度算出方法を提供することを目的とする。
上述した課題を解決するため、本発明は、N個の文書それぞれの重要度の算出をコンピュータに実行させる文書重要度算出プログラムであって、全ての要素が正の実数であるN次の正方行列D、正の実数e、前記N個の文書それぞれの重要度を要素とする縦ベクトルuがペロン・フロベニウスの定理によりe u=D uを満たすことを用いるために、前記文書に関する少なくとも1種類のパラメータに基づいて行列Dの要素を決定する行列決定ステップと、縦ベクトルuの近似値として求める縦ベクトルvの初期化を行い、(D v)/|D v|を新たな縦ベクトルvとする計算を行い、縦ベクトルvが所定の条件を満たすまで該計算を反復し、縦ベクトルvの要素をそれぞれ対応する文書の重要度とする反復ステップとをコンピュータに実行させる。
また、本発明は、N個の文書それぞれの重要度の算出を行う文書重要度算出装置であって、全ての要素が正の実数であるN次の正方行列D、正の実数e、前記N個の文書それぞれの重要度を要素とする縦ベクトルuがペロン・フロベニウスの定理によりe u=D uを満たすことを用いるために、前記文書に関する少なくとも1種類のパラメータに基づいて行列Dの要素を決定する行列決定部と、縦ベクトルuの近似値として求める縦ベクトルvの初期化を行い、(D v)/|D v|を新たな縦ベクトルvとする計算を行い、縦ベクトルvが所定の条件を満たすまで該計算を反復し、縦ベクトルvの要素をそれぞれ対応する文書の重要度とする反復部とを備える。
また、本発明は、N個の文書それぞれについての重要度の算出を行う文書重要度算出方法であって、全ての要素が正の実数であるN次の正方行列D、正の実数e、前記N個の文書それぞれの重要度を要素とする縦ベクトルuがペロン・フロベニウスの定理によりe u=D uを満たすことを用いるために、前記文書に関する少なくとも1種類のパラメータに基づいて行列Dの要素を決定する行列決定ステップと、縦ベクトルuの近似値として求める縦ベクトルvの初期化を行い、(D v)/|D v|を新たな縦ベクトルvとする計算を行い、縦ベクトルvが所定の条件を満たすまで該計算を反復し、縦ベクトルvの要素をそれぞれ対応する文書の重要度とする反復ステップとを実行する。
以下、本発明の実施の形態について図面を参照しつつ説明する。
本実施の形態においては、本発明の文書重要度算出装置を適用した検索システムについて説明する
まず、本実施の形態に係る検索システムの構成について説明する。
図1は、本実施の形態に係る検索システムの構成の一例を示すブロック図である。この検索システムは、端末1、検索サーバ2、文書管理部3、検索インデックス管理部4、重要度算出部5を備える。端末1、検索サーバ2、文書管理部3、検索インデックス管理部4、重要度算出部5は、それぞれコンピュータで実現される。
文書管理部3は、検索サーバ2による検索の対象となる文書である検索対象文書を管理する。検索インデックス管理部4は、検索対象文書の検索インデックスを登録すると共に、重要度算出部5から送信される検索対象文書の重要度リストファイルを検索インデックスに反映する。端末1は、参照者の操作に従って、検索の指示、文書の参照の指示を検索サーバ2へ送信する。また、端末1は、参照者による検索対象文書の評価を検索サーバ2へ送信する。
検索サーバ2は、端末1からの検索の指示に従って、検索インデックス管理部4の検索インデックスを用いて検索対象文書を検索し、検索結果を端末1へ送信する。また、検索サーバ2は、端末1からの文書の参照の指示に従って、指示された文書を文書管理部3から取得し、端末1へ送信すると共に、文書の参照の履歴を参照履歴情報として重要度算出部5へ送信する。また、検索サーバ2は、端末1から送信された検索対象文書の評価を重要度算出部5へ送信する。
重要度算出部5は、CPU及びメモリを有し、CPUがメモリ上で実行するプログラムとして、文書リスト作成部12、作成日時抽出部13、リンク解析部14、評価受付部15、参照回数算出部16、行列決定部17、反復計算部18を備える。なお、パラメータ取得部は、実施の形態における文書リスト作成部12、作成日時抽出部13、リンク解析部14、評価受付部15、参照回数算出部16に対応する。
文書リスト作成部12は、文書管理部3に管理された検索対象文書のリストである文書リストファイルを作成する。図2は、本実施の形態に係る文書リストファイルの一例を示す表である。作成日時抽出部13は、文書管理部3に管理された検索対象文書の作成日時のリストである作成日時リストファイルを作成する。図3は、本実施の形態に係る作成日時リストファイルの一例を示す表である。リンク解析部14は、文書管理部3に管理された検索対象文書のリンクを解析し、解析結果をリンク関係ファイルとして生成する。図4は、本実施の形態に係るリンク関係ファイルの一例を示す表である。評価受付部15は、検索サーバ2から送信された検索対象文書の参照者による評価を受信し、評価リストファイルとして生成する。図5は、本実施の形態に係る評価リストファイルの一例を示す表である。参照回数算出部16は、参照履歴情報から検索対象文書の参照回数を算出し、参照回数リストファイルとして生成する。図6は、本実施の形態に係る参照回数リストファイルの一例を示す表である。
次に、重要度算出部5の動作について説明する。
図7は、本実施の形態に係る重要度算出部の動作の一例を示すフローチャートである。まず、文書リスト作成部12、作成日時抽出部13、リンク解析部14、評価受付部15、参照回数算出部16は、各文書のパラメータを取得し、文書リストファイル、作成日時リストファイル、リンク関係ファイル、評価リストファイル、参照回数リストを生成するパラメータ取得処理を行う(S11、パラメータ取得ステップ)。次に、行列決定部17は、これらの各ファイルに基づいて、検索対象文書の重要度の算出のための行列Dを決定する行列決定処理を行う(S12、行列決定ステップ)。次に、反復計算部18は、行列Dを用いて検索対象文書の重要度を算出する反復計算処理を行い、算出結果を重要度リストファイルとして検索インデックス管理部4へ送信し(S13、反復計算ステップ)、このフローは終了する。図8は、本実施の形態に係る重要度リストファイルの一例を示す表である。
次に、反復計算処理の原理について説明する。
まず、検索対象文書の総数をNとし、文書管理部3により検索対象文書に1からNまでのIDが振られたとする。また、IDがnである検索対象文書をP_nとする。また、正の実数をu_n(n=1,2,…N)とするとき、u_nを要素とする縦ベクトルをuとする。d_i_j(i,j=1,2,…N)を任意の正の実数とし、第(i,j)成分がd_i_jである行列をDとする。
線形代数のペロン・フロベニウスの定理より、任意のDに対して、Dは正の固有値(e
u=D uを満たす0でないベクトルuが存在するような数eのこと。このときのuをeに対するDの固有ベクトルという)を持ち、そのうちの最大のものをDのフロベニウス根という。フロベニウス根eに対するDの固有ベクトルuは正のベクトルであり、そのうち|u|=1となるものはただ1つである。ここでのノルムは無限大ノルム(|u|=max{|u_n|;n=1,2,…,N})とする。
u=D uを満たす0でないベクトルuが存在するような数eのこと。このときのuをeに対するDの固有ベクトルという)を持ち、そのうちの最大のものをDのフロベニウス根という。フロベニウス根eに対するDの固有ベクトルuは正のベクトルであり、そのうち|u|=1となるものはただ1つである。ここでのノルムは無限大ノルム(|u|=max{|u_n|;n=1,2,…,N})とする。
検索対象文書P_n(n=1,2, …,N)に与えられた様々なパラメータ(例:リンク関係、作成日時、参照者による評価、文書の参照回数など)に応じて、システムの設計者は自由にDを定義することができる。このように定義したDに対して、Dのフロベニウス根eと、|u|=1を満たすようなeに対する正の固有ベクトルuはただ1組存在するので、このときのu_nをP_nの重要度と定義する。
ここで、P_nからL_n個のリンクがあると仮定し、次式のようにd_m_nを定義すれば、u=D u,|u|=1を満たすuは、特許文献1の技術と同様な値を算出することができる。ここでのノルムは、1ノルム(|u|=u_1+u_2+…+u_N)とし、P_nから出るリンクの数をL_nとする。また、定数c=0.15とする。
d_m_n=c/N
(P_nからP_mへのリンクがないとき)
d_m_n=c/N+(1−c)/L_n
(P_nからP_mへのリンクがあるとき)
(P_nからP_mへのリンクがないとき)
d_m_n=c/N+(1−c)/L_n
(P_nからP_mへのリンクがあるとき)
次に、特許文献1等の技術を用いた従来の反復計算処理と、本実施の形態に係る反復計算部18による反復計算処理とを比較する。
まず、従来の反復計算処理について説明する。図9は、従来の反復計算処理の一例を示すフローチャートである。まず、従来の反復計算処理は、繰り返し回数k=1とし、長さNの縦ベクトルv_kの要素を全て1として初期化を行う(S21)。次に、従来の反復計算処理は、kを1増加させる(S22)。次に、従来の反復計算処理は、v_k=D v_(k−1)を計算する(S23)。
次に、従来の反復計算処理は、今回得られたv_kと前回得られたv_(k−1)から差のノルム|v_k−v_(k−1)|を計算し、|v_k−v_(k−1)|<sであるか否かの判断を行う(S31)。ここで、しきい値sは、十分小さい正の整数であり、例えばs=0.00001である。|v_k−v_(k−1)|<sでない場合(S31,No)、処理S22へ戻り、処理S22以降を繰り返す。|v_k−v_(k−1)|<sである場合(S31,Yes)、従来の反復計算処理は、v_kを重要度ベクトルuとし(S32)、このフローは終了する。
但し、従来の反復計算処理に用いるDの各列の要素はリンク関係に基づく確率であり、Dの各列の要素の和が1でなければならないという制約がある。この制約を満たさない場合、v_kは発散し、重要度を算出することができなくなる。
次に、本実施の形態に係る反復計算処理について説明する。図10は、本実施の形態に係る反復計算処理の一例を示すフローチャートである。この図において、図9と同一符号は、図9に示された対象と同一処理を示しており、ここでの説明を省略する。従来の反復計算処理と比較すると、本実施の形態の反復計算処理は、処理S23の代わりに処理S24,S25を実行する。
まず、反復計算部18は、従来の反復計算処理と同様の処理S21,S22を実行する。次に、反復計算部18は、e_(k−1)=|D v_(k−1)|を計算し(S24)、v_k=(1/e_(k−1)) D v_(k−1)を計算する(S25)。
次に、反復計算部18は、従来の反復計算処理と同様の処理S31を実行する。|v_k−v_(k−1)|<sでない場合(S31,No)、反復計算部18は、処理S22へ戻り、処理S22以降を繰り返す。|v_k−v_(k−1)|<sである場合(S31,Yes)、反復計算部18は、従来の反復計算処理と同様の処理S32を実行し、このフローは終了する。
本実施の形態に係る反復計算処理によれば、kが大きくなると、e_kはeに、v_kはuに収束していく。また、処理S31により、v_kの変化が十分小さくなったところで繰り返し計算を終了する。つまり、反復計算部18は、e u=D uを満たすuの近似値であるv_kを算出する。
本実施の形態に係る反復計算処理は、処理S24,S25により、Dに従来の制約を与えなくてもv_kを収束させることができる。
次に、本実施の形態に係る反復計算処理の具体例について説明する。
図11は、本実施の形態に係る行列決定処理により決定された行列Dの一例を示す表である。ここでは、Nを6とし、この表のようにDを決定したとする。このDは、従来のDのような制約はなく、各要素が正の実数であれば良い。図12は、本実施の形態に係る反復計算処理により計算された計算結果の一例を示す表である。この表は、処理S22により設定される繰り返し回数k、処理S24により算出されるD v_(k−1)、e_(k−1)、処理S25により算出されるv_k、処理S31により算出されるv_k−v_(k−1)、v_(k−1)−v_k、|v_k−v_(k−1)|の計算結果を示し、それぞれの計算結果を繰り返し回数k毎に示す。この例においては、繰り返し回数k=10の時点で、|v_k−v_(k−1)|がしきい値を下回ったため、反復計算部18は、繰り返し計算を終了し、v_10をDに対する重要度ベクトルuとする。
次に、行列決定処理の概要について説明する。
本実施の形態においては、上述の反復計算処理により、行列Dは自由に定義することができるため、検索システムの設計者は、検索対象文書の新しさや参照者からの評価などをDに反映させることができる。ここでは、検索対象文書の作成日時、評価、参照回数、リンク関係に基づいてDを決定する例を用いて、行列決定処理の概要を説明する。
P_mの作成日時が、行列決定処理時のp日前とする。ここで、行列決定部17は、現在の日時と作成日時リストファイルからpを算出する。検索対象文書の作成日時が計算時のp日前のときの重みをx_m(正の実数)とする。x_mは、pが小さいほど大きい値になるように設定される。
また、検索対象文書P_mの評価をy_m(正の実数)と置く。ここで、行列決定部17は、y_mは評価リストファイルから算出する。y_mは、評価が高いほどの大きい値になるように設定される。
検索対象文書P_mの参照回数をz_m(正の実数)と置く。ここで、行列決定部17は、参照回数リストファイルからz_mを算出する。z_mは、参照回数が多いほど大きい値になるように設定される。
次に、行列決定部17は、リンク関係ファイルからP_nからP_mへのリンクの有無を判断し、リンクの有無によってDの要素d_m_nを決定する。また、ここでは、d_m_nの算出にx_m、y_m、z_mの積を用いる場合を示す。d_m_nは、次式で定義される。
d_m_n=c x_m y_m z_m
(m,n=1,2,…N)
(P_nからP_mへのリンクがないとき)
d_m_n
=c x_m y_m z_m
+x_m x_n y_m y_n z_m z_n
(m,n=1,2,…N)
(P_nからP_mへのリンクがあるとき)
(m,n=1,2,…N)
(P_nからP_mへのリンクがないとき)
d_m_n
=c x_m y_m z_m
+x_m x_n y_m y_n z_m z_n
(m,n=1,2,…N)
(P_nからP_mへのリンクがあるとき)
ここでは、x_m、y_m、z_mがd_m_nへ与える影響は、x_m、y_m、z_m、x_n、y_n、z_nの積で表したが、和や他の演算によって表しても良い。
このように、システムの設計者は、複数のパラメータ(ここでは、作成日、評価、参照回数、リンク関係)の影響を考慮したDを自由に決定することができる。
次に、行列決定処理に用いるデータの具体例について説明する。
まず、行列決定部17は、データの集計を行い、集計したデータを集計データとする。図13は、本実施の形態に係る集計データの一例を示す表である。ここでは、検索対象文書数Nを6とし、データの集計日を2007年2月7日とする。行列決定部17は、作成日時リストファイルから作成日を取得し、データの集計日(現在)と作成日の日付の差pを算出し、評価リストファイルから所定の基準を満たす有用な評価の数である有用評価数qを取得し、参照回数リストファイルから参照回数rを取得する。この表は、P_n(n=1,2,…6)のそれぞれについて、作成日、日付の差p、有用評価数q、参照回数rを集計した結果を示す。
図14は、本実施の形態に係るリンク関係の一例を示す表である。ここでは、P_n(n=1,2,…6)の間に、この図に示されたリンク関係が存在するとする。行列決定部17は、このリンク関係を示したリンク関係ファイルからリンク関係を集計し、リンク関係データとする。図15は、本実施の形態に係るリンク関係データの一例を示す表である。この表において、“from”の欄に示された文書は、リンク元であり、“to”の欄に示された文書は、リンク先を示す。また、“○”が付いた欄に対応するリンク元とリンク先の間にリンクが存在することを示す。また、P_nから出るリンクの数L_nがリンク元毎に集計されている。
次に、重要度算出部5の動作の実施例について説明する。以下の実施例においては、上述した集計データ及びリンク関係データの値の例を用いる。
まず、重要度算出部5による動作の第1の実施例として、作成日を重要視した重要度を算出する場合について説明する。
まず、行列決定処理において、行列決定部17は、集計データから、検索対象文書P_mについてのパラメータ毎の重みデータとして、作成日の重みを表す重みデータx_m、有用評価数の重みを表す重みデータy_m、参照回数の重みを表す重みデータz_mを算出する。x_m、y_m、z_mは、それぞれ次式で定義される。
x_m=exp(−p/100)*1.5
y_m=log(q+2)*0.2
z_m=log(r+2)*0.03
y_m=log(q+2)*0.2
z_m=log(r+2)*0.03
この式によりx_mが高く設定される。図16は、本実施の形態に係る第1の実施例において行列決定処理により決定された重みデータを示す表である。次に、行列決定部17は、リンク関係データからP_nからP_mへのリンクの有無を判断し、リンクの有無と重みデータに従ってDの要素d_m_nを決定する。ここでは、d_m_nの算出にx_m、y_m、z_mの和を用いる場合を示す。d_m_nは、次式で定義される。
d_m_n=c/N+x_m+y_m+z_m
(m,n=1,2,…N)
(P_nからP_mへのリンクがないとき)
d_m_n
=c/N+x_m+y_m+z_m
+(1−c)*(x_m+y_m+z_m)/L_n
(m,n=1,2,…N)
(P_nからP_mへのリンクがあるとき)
c=0.15
(m,n=1,2,…N)
(P_nからP_mへのリンクがないとき)
d_m_n
=c/N+x_m+y_m+z_m
+(1−c)*(x_m+y_m+z_m)/L_n
(m,n=1,2,…N)
(P_nからP_mへのリンクがあるとき)
c=0.15
次に、行列決定部17は、上述したリンク関係データの値と重みデータの値に対して上式を適用することによりDを決定する。図17は、本実施の形態に係る第1の実施例において行列決定処理により決定された行列Dを示す表である。この図において、行に付された番号はmを示し、列に付された番号はnを示し、mとnで指定される要素はd_m_nの値を示す。
次に、反復計算部18は、上述した反復計算処理のフローを実行することにより、重要度ベクトルuを算出する。図18は、本実施の形態に係る第1の実施例において反復計算処理により計算された計算結果を示す表である。k=10で|v_k−v_(k−1)|がしきい値を下回ったため、反復計算部18は、繰り返し計算を終了し、v_10をDに対する重要度ベクトルuとする。また、反復計算部18は、得られたuの要素である重要度u_m(m=1,2,…6)の大きさの順位を、P_m(m=1,2,…6)の表示順位(ランク)としても良い。上述した重み付けにより、作成日から集計日までの期間pが小さいP_1、P_2の表示順位が高くなることが分かる。上述した第1の実施例によれば、作成日、有用評価数、参照回数、リンク関係の影響を考慮しつつ、作成日の影響を強めた重要度及び表示順位を得ることができる。
次に、重要度算出部5による動作の第2の実施例として、有用評価数を重要視した重要度を算出する場合について説明する。
まず、行列決定処理において、重みデータx_m、y_m、z_mは、それぞれ次式で定義される。
x_m=exp(−p/100)*0.2
y_m=log(q+2)*1.2
z_m=log(r+2)*0.03
y_m=log(q+2)*1.2
z_m=log(r+2)*0.03
この式を、第1の実施例と比較すると、最後の係数の大きさが異なり、y_mが高く設定される。図19は、本実施の形態に係る第2の実施例において行列決定処理により決定された重みデータを示す表である。次に、行列決定部17は、この重みデータを用い、第1の実施例と同様にしてDを決定する。図20は、本実施の形態に係る第2の実施例において行列決定処理により決定された行列Dを示す表である。
次に、反復計算部18は、上述した反復計算処理のフローを実行することにより、重要度ベクトルuを算出する。図21は、本実施の形態に係る第2の実施例において反復計算処理により計算された計算結果を示す表である。k=10で|v_k−v_(k−1)|がしきい値を下回ったため、反復計算部18は、繰り返し計算を終了し、v_10をDに対する重要度ベクトルuとする。上述した重み付けにより、有用評価数qが大きいP_4、P_6の表示順位が上位になることが分かる。上述した第2の実施例によれば、作成日、有用評価数、参照回数、リンク関係の影響を考慮しつつ、有用評価数の影響を強めた重要度及び表示順位を得ることができる。
次に、重要度算出部5による動作の第3の実施例として、参照回数を重要視した重要度を算出する場合について説明する。
まず、行列決定処理において、重みデータx_m、y_m、z_mは、それぞれ次式で定義される。
x_m=exp(−p/100)*0.2
y_m=log(q+2)*0.2
z_m=log(r+2)*0.2
y_m=log(q+2)*0.2
z_m=log(r+2)*0.2
この式を、第1の実施例と比較すると、最後の係数の大きさが異なり、z_mが高く設定される。図22は、本実施の形態に係る第3の実施例において行列決定処理により決定された重みデータを示す表である。次に、行列決定部17は、この重みデータを用い、第1の実施例と同様にしてDを決定する。図23は、本実施の形態に係る第3の実施例において行列決定処理により決定された行列Dを示す表である。
次に、反復計算部18は、上述した反復計算処理のフローを実行することにより、重要度ベクトルuを算出する。図24は、本実施の形態に係る第3の実施例において反復計算処理により計算された計算結果を示す表である。k=11で|v_k−v_(k−1)|がしきい値を下回ったため、反復計算部18は、繰り返し計算を終了し、v_11をDに対する重要度ベクトルuとする。上述した重み付けにより、参照回数rが大きいP_4、P_3の表示順位が上位になることが分かる。上述した第3の実施例によれば、作成日、有用評価数、参照回数、リンク関係の影響を考慮しつつ、参照回数の影響を強めた重要度及び表示順位を得ることができる。
次に、重要度算出部5による動作の第4の実施例として、重みデータをランダムに設定して重要度を算出する場合について説明する。
まず、行列決定部17は、d_m_nの重みデータをそれぞれランダムな数として設定する。次に、行列決定部17は、リンク関係ファイルからP_nからP_mへのリンクの有無を判断し、リンクの有無と重みデータに従ってDの要素d_m_nを決定する。d_m_nは、次式で定義される。
d_m_n=c/N+Rand()
(m,n=1,2,…N)
(P_nからP_mへのリンクがないとき)
d_m_n
=c/N++(1−c)/L_n+Rand()
(m,n=1,2,…N)
(P_nからP_mへのリンクがあるとき)
c=0.15
(m,n=1,2,…N)
(P_nからP_mへのリンクがないとき)
d_m_n
=c/N++(1−c)/L_n+Rand()
(m,n=1,2,…N)
(P_nからP_mへのリンクがあるとき)
c=0.15
ここで、Rand()は、0以上1未満のランダムな実数を生成する関数である。図25は、本実施の形態に係る第4の実施例において行列決定処理により決定されたRand()の値を示す表である。図26は、本実施の形態に係る第4の実施例において行列決定処理により決定された行列Dを示す表である。
次に、反復計算部18は、上述した反復計算処理のフローを実行することにより、重要度ベクトルuを算出する。図27は、本実施の形態に係る第4の実施例において反復計算処理により計算された計算結果を示す表である。k=8で|v_k−v_(k−1)|がしきい値を下回ったため、反復計算部18は、繰り返し計算を終了し、v_8をDに対する重要度ベクトルuとする。上述した第4の実施例によれば、リンク関係の影響を考慮しつつ、乱数の影響を与えた重要度及び表示順位を得ることができる。
次に、重要度算出部5による動作の第5の実施例として、重みデータを用いず、リンク関係のみから重要度を算出する場合について説明する。
まず、行列決定部17は、リンク関係ファイルからP_nからP_mへのリンクの有無を判断し、リンクの有無に従ってDの要素d_m_nを決定する。d_m_nは、次式で定義される。
d_m_n=c/N
(m,n=1,2,…N)
(P_nからP_mへのリンクがないとき)
d_m_n
=c/N++(1−c)/L_n
(m,n=1,2,…N)
(P_nからP_mへのリンクがあるとき)
c=0.15
(m,n=1,2,…N)
(P_nからP_mへのリンクがないとき)
d_m_n
=c/N++(1−c)/L_n
(m,n=1,2,…N)
(P_nからP_mへのリンクがあるとき)
c=0.15
図28は、本実施の形態に係る第5の実施例において行列決定処理により決定された行列Dを示す表である。このDは、リンク関係のみを反映した行列である。
次に、反復計算部18は、上述した反復計算処理のフローを実行することにより、重要度ベクトルuを算出する。図29は、本実施の形態に係る第5の実施例において反復計算処理により計算された計算結果を示す表である。k=14で|v_k−v_(k−1)|がしきい値を下回ったため、反復計算部18は、繰り返し計算を終了し、v_14をDに対する重要度ベクトルuとする。上述した第5の実施例によれば、重み付けを用いないことにより、特許文献1の技術と同様、リンク関係のみからも重要度及び表示順位を得ることができる。
本実施の形態によれば、検索システムの設計者は、上述した反復計算処理のアルゴリズムを用いることにより、従来より少ない制約の中で複数のパラメータの重み付けを定義し、行列Dを決定することができる。また、パラメータの数に関わらず、1回の行列演算で重要度を算出することができるため、全てのパラメータの情報を失わず、且つ高速に重要度を算出することができる。
また、本実施の形態に係る文書重要度算出装置は、情報処理装置に容易に適用することができ、情報処理装置の性能をより高めることができる。ここで、情報処理装置には、例えばサーバ、PC(Personal Computer)等が含まれ得る。
更に、文書重要度算出装置を構成するコンピュータにおいて上述した各ステップを実行させるプログラムを、文書重要度算出プログラムとして提供することができる。上述したプログラムは、コンピュータにより読取り可能な記録媒体に記憶させることによって、文書重要度算出装置を構成するコンピュータに実行させることが可能となる。ここで、上記コンピュータにより読取り可能な記録媒体としては、ROMやRAM等のコンピュータに内部実装される内部記憶装置、CD−ROMやフレキシブルディスク、DVDディスク、光磁気ディスク、ICカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
本発明によれば、文書に関するパラメータの影響を考慮した文書の重要度を効率的に算出することができる。
Claims (7)
- N個の文書それぞれの重要度の算出をコンピュータに実行させる文書重要度算出プログラムであって、
全ての要素が正の実数であるN次の正方行列D、正の実数e、前記N個の文書それぞれの重要度を要素とする縦ベクトルuがペロン・フロベニウスの定理によりe u=D uを満たすことを用いるために、前記文書に関する少なくとも1種類のパラメータに基づいて行列Dの要素を決定する行列決定ステップと、
縦ベクトルuの近似値として求める縦ベクトルvの初期化を行い、(D v)/|D v|を新たな縦ベクトルvとする計算を行い、縦ベクトルvが所定の条件を満たすまで該計算を反復し、縦ベクトルvの要素をそれぞれ対応する文書の重要度とする反復ステップと
をコンピュータに実行させる文書重要度算出プログラム。 - 請求項1に記載の文書重要度算出プログラムにおいて、
前記文書のパラメータは、該文書へのリンク関係、該文書の作成日時、該文書の参照者による該文書の評価、該文書の参照回数の少なくともいずれかを含むことを特徴とする文書重要度算出プログラム。 - 請求項1または請求項2に記載の文書重要度算出プログラムにおいて、
前記行列決定ステップは、前記N個の文書のうちm番目の文書の前記パラメータ、または前記N個の文書のうちm番目の文書及びn番目の文書の前記パラメータに基づいて、Dのm行n列目の要素を算出することを特徴とする文書重要度算出プログラム。 - 請求項1乃至請求項3のいずれかに記載の文書重要度算出プログラムにおいて、
前記所定の条件は、前記計算前の縦ベクトルvと前記計算後の縦ベクトルvとの差のノルムが所定の閾値を下回る場合であることを特徴とする文書重要度算出プログラム。 - 請求項1乃至請求項4のいずれかに記載の文書重要度算出プログラムにおいて、
更に行列決定ステップの前に、前記文書毎の前記パラメータを取得するパラメータ取得ステップをコンピュータに実行させることを特徴とする文書重要度算出プログラム。 - N個の文書それぞれの重要度の算出を行う文書重要度算出装置であって、
全ての要素が正の実数であるN次の正方行列D、正の実数e、前記N個の文書それぞれの重要度を要素とする縦ベクトルuがペロン・フロベニウスの定理によりe u=D uを満たすことを用いるために、前記文書に関する少なくとも1種類のパラメータに基づいて行列Dの要素を決定する行列決定部と、
縦ベクトルuの近似値として求める縦ベクトルvの初期化を行い、(D v)/|D v|を新たな縦ベクトルvとする計算を行い、縦ベクトルvが所定の条件を満たすまで該計算を反復し、縦ベクトルvの要素をそれぞれ対応する文書の重要度とする反復部と
を備える文書重要度算出装置。 - N個の文書それぞれについての重要度の算出を行う文書重要度算出方法であって、
全ての要素が正の実数であるN次の正方行列D、正の実数e、前記N個の文書それぞれの重要度を要素とする縦ベクトルuがペロン・フロベニウスの定理によりe u=D uを満たすことを用いるために、前記文書に関する少なくとも1種類のパラメータに基づいて行列Dの要素を決定する行列決定ステップと、
縦ベクトルuの近似値として求める縦ベクトルvの初期化を行い、(D v)/|D v|を新たな縦ベクトルvとする計算を行い、縦ベクトルvが所定の条件を満たすまで該計算を反復し、縦ベクトルvの要素をそれぞれ対応する文書の重要度とする反復ステップと
を実行する文書重要度算出方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2007/055352 WO2008126184A1 (ja) | 2007-03-16 | 2007-03-16 | 文書重要度算出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2008126184A1 JPWO2008126184A1 (ja) | 2010-07-22 |
| JP4781466B2 true JP4781466B2 (ja) | 2011-09-28 |
Family
ID=39863368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009508735A Expired - Fee Related JP4781466B2 (ja) | 2007-03-16 | 2007-03-16 | 文書重要度算出プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8260788B2 (ja) |
| JP (1) | JP4781466B2 (ja) |
| WO (1) | WO2008126184A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9251157B2 (en) * | 2009-10-12 | 2016-02-02 | Oracle International Corporation | Enterprise node rank engine |
| US9659265B2 (en) | 2009-10-12 | 2017-05-23 | Oracle International Corporation | Methods and systems for collecting and analyzing enterprise activities |
| US9335883B2 (en) * | 2011-09-08 | 2016-05-10 | Microsoft Technology Licensing, Llc | Presenting search result items having varied prominence |
| US10360578B2 (en) | 2012-01-30 | 2019-07-23 | Visa International Service Association | Systems and methods to process payments based on payment deals |
| US8880431B2 (en) | 2012-03-16 | 2014-11-04 | Visa International Service Association | Systems and methods to generate a receipt for a transaction |
| US9864988B2 (en) | 2012-06-15 | 2018-01-09 | Visa International Service Association | Payment processing for qualified transaction items |
| US9626678B2 (en) | 2012-08-01 | 2017-04-18 | Visa International Service Association | Systems and methods to enhance security in transactions |
| US10438199B2 (en) | 2012-08-10 | 2019-10-08 | Visa International Service Association | Systems and methods to apply values from stored value accounts to payment transactions |
| US10685367B2 (en) | 2012-11-05 | 2020-06-16 | Visa International Service Association | Systems and methods to provide offer benefits based on issuer identity |
| US9760713B1 (en) * | 2014-02-27 | 2017-09-12 | Dell Software Inc. | System and method for content-independent determination of file-system-object risk of exposure |
| CN105791227A (zh) * | 2014-12-22 | 2016-07-20 | 深圳市志友企业发展促进中心 | 一种资源传播方法及系统 |
| KR101688829B1 (ko) * | 2015-07-24 | 2016-12-22 | 삼성에스디에스 주식회사 | 사용자 패턴을 반영한 문서 제공 방법 및 그 장치 |
| US10977435B2 (en) * | 2015-12-28 | 2021-04-13 | Informatica Llc | Method, apparatus, and computer-readable medium for visualizing relationships between pairs of columns |
| US10303690B1 (en) * | 2016-11-23 | 2019-05-28 | EMC IP Holding Company LLC | Automated identification and classification of critical data elements |
| US11651016B2 (en) * | 2018-08-09 | 2023-05-16 | Walmart Apollo, Llc | System and method for electronic text classification |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001084256A (ja) * | 1999-09-10 | 2001-03-30 | Toshiba Corp | データベース処理装置、データベース処理方法、及びデータベース処理プログラムを記録したコンピュータ読み取り可能な記憶媒体 |
| US6285999B1 (en) * | 1997-01-10 | 2001-09-04 | The Board Of Trustees Of The Leland Stanford Junior University | Method for node ranking in a linked database |
| JP2002041524A (ja) * | 2000-07-27 | 2002-02-08 | Toshiba Corp | 文書検索システムおよび文書検索方法 |
| US20030204502A1 (en) * | 2002-04-25 | 2003-10-30 | Tomlin John Anthony | System and method for rapid computation of PageRank |
| US20050071741A1 (en) * | 2003-09-30 | 2005-03-31 | Anurag Acharya | Information retrieval based on historical data |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7269587B1 (en) * | 1997-01-10 | 2007-09-11 | The Board Of Trustees Of The Leland Stanford Junior University | Scoring documents in a linked database |
| JP3524846B2 (ja) * | 2000-06-29 | 2004-05-10 | 株式会社Ssr | テキストマイニングにおける文書の特徴量抽出方法及びその装置 |
| US7216123B2 (en) * | 2003-03-28 | 2007-05-08 | Board Of Trustees Of The Leland Stanford Junior University | Methods for ranking nodes in large directed graphs |
| WO2004111759A2 (en) * | 2003-05-27 | 2004-12-23 | Purdue Research Foundation | Applied estimation of eigenvectors and eigenvalues |
| US7610313B2 (en) * | 2003-07-25 | 2009-10-27 | Attenex Corporation | System and method for performing efficient document scoring and clustering |
| US7343374B2 (en) * | 2004-03-29 | 2008-03-11 | Yahoo! Inc. | Computation of page authority weights using personalized bookmarks |
| US7437382B2 (en) * | 2004-05-14 | 2008-10-14 | Microsoft Corporation | Method and system for ranking messages of discussion threads |
| US7346621B2 (en) * | 2004-05-14 | 2008-03-18 | Microsoft Corporation | Method and system for ranking objects based on intra-type and inter-type relationships |
| US7512587B2 (en) * | 2004-07-01 | 2009-03-31 | Microsoft Corporation | Efficient computation of web page rankings |
| US7917587B2 (en) * | 2004-07-30 | 2011-03-29 | Microsoft Corporation | Method and system for prioritizing communications based on interpersonal relationships |
| US7577650B2 (en) * | 2005-04-13 | 2009-08-18 | Microsoft Corporation | Method and system for ranking objects of different object types |
| US7630976B2 (en) * | 2005-05-10 | 2009-12-08 | Microsoft Corporation | Method and system for adapting search results to personal information needs |
| WO2006133252A2 (en) * | 2005-06-08 | 2006-12-14 | The Regents Of The University Of California | Doubly ranked information retrieval and area search |
| US20070005588A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | Determining relevance using queries as surrogate content |
| US7502789B2 (en) * | 2005-12-15 | 2009-03-10 | Microsoft Corporation | Identifying important news reports from news home pages |
| US20070198504A1 (en) * | 2006-02-23 | 2007-08-23 | Microsoft Corporation | Calculating level-based importance of a web page |
| US8019763B2 (en) * | 2006-02-27 | 2011-09-13 | Microsoft Corporation | Propagating relevance from labeled documents to unlabeled documents |
| US7509299B2 (en) * | 2006-03-13 | 2009-03-24 | Microsoft Corporation | Calculating web page importance based on a conditional Markov random walk |
| US7624104B2 (en) * | 2006-06-22 | 2009-11-24 | Yahoo! Inc. | User-sensitive pagerank |
| US20080016052A1 (en) * | 2006-07-14 | 2008-01-17 | Bea Systems, Inc. | Using Connections Between Users and Documents to Rank Documents in an Enterprise Search System |
| US7634476B2 (en) * | 2006-07-25 | 2009-12-15 | Microsoft Corporation | Ranking of web sites by aggregating web page ranks |
| US7877384B2 (en) * | 2007-03-01 | 2011-01-25 | Microsoft Corporation | Scoring relevance of a document based on image text |
| US7676520B2 (en) * | 2007-04-12 | 2010-03-09 | Microsoft Corporation | Calculating importance of documents factoring historical importance |
| US7930303B2 (en) * | 2007-04-30 | 2011-04-19 | Microsoft Corporation | Calculating global importance of documents based on global hitting times |
| US8010535B2 (en) * | 2008-03-07 | 2011-08-30 | Microsoft Corporation | Optimization of discontinuous rank metrics |
| KR100963623B1 (ko) * | 2008-04-23 | 2010-06-15 | 재단법인서울대학교산학협력재단 | 시맨틱 웹 자원의 랭킹처리방법 |
-
2007
- 2007-03-16 WO PCT/JP2007/055352 patent/WO2008126184A1/ja not_active Ceased
- 2007-03-16 JP JP2009508735A patent/JP4781466B2/ja not_active Expired - Fee Related
-
2009
- 2009-08-20 US US12/544,445 patent/US8260788B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6285999B1 (en) * | 1997-01-10 | 2001-09-04 | The Board Of Trustees Of The Leland Stanford Junior University | Method for node ranking in a linked database |
| JP2001084256A (ja) * | 1999-09-10 | 2001-03-30 | Toshiba Corp | データベース処理装置、データベース処理方法、及びデータベース処理プログラムを記録したコンピュータ読み取り可能な記憶媒体 |
| JP2002041524A (ja) * | 2000-07-27 | 2002-02-08 | Toshiba Corp | 文書検索システムおよび文書検索方法 |
| US20030204502A1 (en) * | 2002-04-25 | 2003-10-30 | Tomlin John Anthony | System and method for rapid computation of PageRank |
| US20050071741A1 (en) * | 2003-09-30 | 2005-03-31 | Anurag Acharya | Information retrieval based on historical data |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2008126184A1 (ja) | 2008-10-23 |
| JPWO2008126184A1 (ja) | 2010-07-22 |
| US8260788B2 (en) | 2012-09-04 |
| US20090313246A1 (en) | 2009-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4781466B2 (ja) | 文書重要度算出プログラム | |
| JP6332264B2 (ja) | 類似データ検索装置、類似データ検索方法、及びプログラム | |
| KR101377341B1 (ko) | 문서 랭킹 컴포넌트 트레이닝 시스템 및 컴퓨터 판독 가능 매체 | |
| Kuhn | Variable selection using the caret package | |
| US8019763B2 (en) | Propagating relevance from labeled documents to unlabeled documents | |
| US8108374B2 (en) | Optimization framework for tuning ranking engine | |
| CN101243435A (zh) | 使用网络上的文档的偏离点击距离的排序函数 | |
| CN101652771A (zh) | 通过将历史重要性计算在内来计算文档重要性 | |
| US7734633B2 (en) | Listwise ranking | |
| US10965315B2 (en) | Data compression method | |
| US20120109977A1 (en) | Keyword determination based on a weight of meaningfulness | |
| CN106776370A (zh) | 基于对象关联性评估的云存储方法及装置 | |
| US7512587B2 (en) | Efficient computation of web page rankings | |
| Volkovs et al. | CRF framework for supervised preference aggregation | |
| CN108920492B (zh) | 一种网页分类方法、系统、终端及存储介质 | |
| US9218384B2 (en) | Evaluation method and information processing apparatus | |
| JP4750628B2 (ja) | 情報ランキング方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
| JP6005583B2 (ja) | 検索装置、検索方法および検索プログラム | |
| US9122705B1 (en) | Scoring hash functions | |
| CN107944045B (zh) | 基于t分布哈希的图像检索方法及系统 | |
| Arora et al. | Investigating retrieval method selection with axiomatic features | |
| JP5503577B2 (ja) | データ極性判定装置、方法、及びプログラム | |
| CN114416513A (zh) | 搜索数据的处理方法、装置、电子设备和存储介质 | |
| Syafie et al. | Missing data handling using the naive bayes logarithm (NBL) formula | |
| US20250103909A1 (en) | Recording medium, information processing method, and information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110705 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110705 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |