Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4781466B2 - 文書重要度算出プログラム - Google Patents
[go: Go Back, main page]

JP4781466B2 - 文書重要度算出プログラム - Google Patents

文書重要度算出プログラム Download PDF

Info

Publication number
JP4781466B2
JP4781466B2 JP2009508735A JP2009508735A JP4781466B2 JP 4781466 B2 JP4781466 B2 JP 4781466B2 JP 2009508735 A JP2009508735 A JP 2009508735A JP 2009508735 A JP2009508735 A JP 2009508735A JP 4781466 B2 JP4781466 B2 JP 4781466B2
Authority
JP
Japan
Prior art keywords
document
importance
vertical vector
calculation
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009508735A
Other languages
English (en)
Other versions
JPWO2008126184A1 (ja
Inventor
郁生 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2008126184A1 publication Critical patent/JPWO2008126184A1/ja
Application granted granted Critical
Publication of JP4781466B2 publication Critical patent/JP4781466B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/3332Query translation
    • G06F16/3334Selection or weighting of terms from queries, including natural language queries
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、複数の文書についてそれぞれの重要度を算出する文書重要度算出プログラム、文書重要度算出装置、文書重要度算出方法に関するものである。
従来、Webページ等のリンクを有する文書の検索を行う検索システムにおいて、検索結果の表示順位を決定するための技術がある(例えば、特許文献1、特許文献2、非特許文献1、非特許文献2参照)。特許文献1の技術は、検索対象文書のリンク関係だけから各文書の重要度を決定し、重要度の高い順に検索結果を表示する。
米国特許第6285999号明細書 米国特許出願公開第2005/0071741号明細書 "The PageRank Citation Ranking: Bringing Order to the Web":Lawrence Page, Sergey Brin, Rajeev Motwani, Terry Winograd (1998年1月29日) "Efficient Computation of PageRank" :Taher H. Haveliwala(1999年10月18日)
しかしながら、特許文献1の技術は、重要度算出のための制約が大きく、検索対象文書のリンク関係だけから検索対象文書の重要度を算出することしかできなかった。
また、従来の技術を基にして、複数の種類のパラメータの影響を考慮した重要度を算出するための幾つかの方法がある。特許文献2の技術においては、リンク関係に基づいて重要度を算出し、その重要度を他のパラメータに基づいて修正する方法が示されているが、リンク関係により計算された情報が他のパラメータに基づく修正により失われてしまう。また、特許文献2の技術において、多くの種類のパラメータの影響を考慮する具体的な方法は示されていない。
また、パラメータ毎に重要度を算出し、得られた複数の重要度に重み付けを与える方法等が考えられるが、それぞれのパラメータに対する重要度を算出するために、時間のかかる繰り返し計算をパラメータの数だけ行うことになるため、パラメータ数が増えると計算量が膨大になってしまう。
本発明は上述した問題点を解決するためになされたものであり、文書に関するパラメータの影響を考慮した文書の重要度を効率的に算出する文書重要度算出プログラム、文書重要度算出装置、文書重要度算出方法を提供することを目的とする。
上述した課題を解決するため、本発明は、N個の文書それぞれの重要度の算出をコンピュータに実行させる文書重要度算出プログラムであって、全ての要素が正の実数であるN次の正方行列D、正の実数e、前記N個の文書それぞれの重要度を要素とする縦ベクトルuがペロン・フロベニウスの定理によりe u=D uを満たすことを用いるために、前記文書に関する少なくとも1種類のパラメータに基づいて行列Dの要素を決定する行列決定ステップと、縦ベクトルuの近似値として求める縦ベクトルvの初期化を行い、(D v)/|D v|を新たな縦ベクトルvとする計算を行い、縦ベクトルvが所定の条件を満たすまで該計算を反復し、縦ベクトルvの要素をそれぞれ対応する文書の重要度とする反復ステップとをコンピュータに実行させる。
また、本発明は、N個の文書それぞれの重要度の算出を行う文書重要度算出装置であって、全ての要素が正の実数であるN次の正方行列D、正の実数e、前記N個の文書それぞれの重要度を要素とする縦ベクトルuがペロン・フロベニウスの定理によりe u=D uを満たすことを用いるために、前記文書に関する少なくとも1種類のパラメータに基づいて行列Dの要素を決定する行列決定部と、縦ベクトルuの近似値として求める縦ベクトルvの初期化を行い、(D v)/|D v|を新たな縦ベクトルvとする計算を行い、縦ベクトルvが所定の条件を満たすまで該計算を反復し、縦ベクトルvの要素をそれぞれ対応する文書の重要度とする反復部とを備える。
また、本発明は、N個の文書それぞれについての重要度の算出を行う文書重要度算出方法であって、全ての要素が正の実数であるN次の正方行列D、正の実数e、前記N個の文書それぞれの重要度を要素とする縦ベクトルuがペロン・フロベニウスの定理によりe u=D uを満たすことを用いるために、前記文書に関する少なくとも1種類のパラメータに基づいて行列Dの要素を決定する行列決定ステップと、縦ベクトルuの近似値として求める縦ベクトルvの初期化を行い、(D v)/|D v|を新たな縦ベクトルvとする計算を行い、縦ベクトルvが所定の条件を満たすまで該計算を反復し、縦ベクトルvの要素をそれぞれ対応する文書の重要度とする反復ステップとを実行する。
本実施の形態に係る検索システムの構成の一例を示すブロック図である。 本実施の形態に係る文書リストファイルの一例を示す表である。 本実施の形態に係る作成日時リストファイルの一例を示す表である。 本実施の形態に係るリンク関係ファイルの一例を示す表である。 本実施の形態に係る評価リストファイルの一例を示す表である。 本実施の形態に係る参照回数リストファイルの一例を示す表である。 本実施の形態に係る重要度算出部の動作の一例を示すフローチャートである。 本実施の形態に係る重要度リストファイルの一例を示す表である。 従来の反復計算処理の一例を示すフローチャートである。 本実施の形態に係る反復計算処理の一例を示すフローチャートである。 本実施の形態に係る行列決定処理により決定された行列Dの一例を示す表である。 本実施の形態に係る反復計算処理により計算された計算結果の一例を示す表である。 本実施の形態に係る集計データの一例を示す表である。 本実施の形態に係るリンク関係の一例を示す表である。 本実施の形態に係るリンク関係データの一例を示す表である。 本実施の形態に係る第1の実施例において行列決定処理により決定された重みデータを示す表である。 本実施の形態に係る第1の実施例において行列決定処理により決定された行列Dを示す表である。 本実施の形態に係る第1の実施例において反復計算処理により計算された計算結果を示す表である。 本実施の形態に係る第2の実施例において行列決定処理により決定された重みデータを示す表である。 本実施の形態に係る第2の実施例において行列決定処理により決定された行列Dを示す表である。 本実施の形態に係る第2の実施例において反復計算処理により計算された計算結果を示す表である。 本実施の形態に係る第3の実施例において行列決定処理により決定された重みデータを示す表である。 本実施の形態に係る第3の実施例において行列決定処理により決定された行列Dを示す表である。 本実施の形態に係る第3の実施例において反復計算処理により計算された計算結果を示す表である。 本実施の形態に係る第4の実施例において行列決定処理により決定されたRand()の値を示す表である。 本実施の形態に係る第4の実施例において行列決定処理により決定された行列Dを示す表である。 本実施の形態に係る第4の実施例において反復計算処理により計算された計算結果を示す表である。 本実施の形態に係る第5の実施例において行列決定処理により決定された行列Dを示す表である。 本実施の形態に係る第5の実施例において反復計算処理により計算された計算結果を示す表である。
以下、本発明の実施の形態について図面を参照しつつ説明する。
本実施の形態においては、本発明の文書重要度算出装置を適用した検索システムについて説明する
まず、本実施の形態に係る検索システムの構成について説明する。
図1は、本実施の形態に係る検索システムの構成の一例を示すブロック図である。この検索システムは、端末1、検索サーバ2、文書管理部3、検索インデックス管理部4、重要度算出部5を備える。端末1、検索サーバ2、文書管理部3、検索インデックス管理部4、重要度算出部5は、それぞれコンピュータで実現される。
文書管理部3は、検索サーバ2による検索の対象となる文書である検索対象文書を管理する。検索インデックス管理部4は、検索対象文書の検索インデックスを登録すると共に、重要度算出部5から送信される検索対象文書の重要度リストファイルを検索インデックスに反映する。端末1は、参照者の操作に従って、検索の指示、文書の参照の指示を検索サーバ2へ送信する。また、端末1は、参照者による検索対象文書の評価を検索サーバ2へ送信する。
検索サーバ2は、端末1からの検索の指示に従って、検索インデックス管理部4の検索インデックスを用いて検索対象文書を検索し、検索結果を端末1へ送信する。また、検索サーバ2は、端末1からの文書の参照の指示に従って、指示された文書を文書管理部3から取得し、端末1へ送信すると共に、文書の参照の履歴を参照履歴情報として重要度算出部5へ送信する。また、検索サーバ2は、端末1から送信された検索対象文書の評価を重要度算出部5へ送信する。
重要度算出部5は、CPU及びメモリを有し、CPUがメモリ上で実行するプログラムとして、文書リスト作成部12、作成日時抽出部13、リンク解析部14、評価受付部15、参照回数算出部16、行列決定部17、反復計算部18を備える。なお、パラメータ取得部は、実施の形態における文書リスト作成部12、作成日時抽出部13、リンク解析部14、評価受付部15、参照回数算出部16に対応する。
文書リスト作成部12は、文書管理部3に管理された検索対象文書のリストである文書リストファイルを作成する。図2は、本実施の形態に係る文書リストファイルの一例を示す表である。作成日時抽出部13は、文書管理部3に管理された検索対象文書の作成日時のリストである作成日時リストファイルを作成する。図3は、本実施の形態に係る作成日時リストファイルの一例を示す表である。リンク解析部14は、文書管理部3に管理された検索対象文書のリンクを解析し、解析結果をリンク関係ファイルとして生成する。図4は、本実施の形態に係るリンク関係ファイルの一例を示す表である。評価受付部15は、検索サーバ2から送信された検索対象文書の参照者による評価を受信し、評価リストファイルとして生成する。図5は、本実施の形態に係る評価リストファイルの一例を示す表である。参照回数算出部16は、参照履歴情報から検索対象文書の参照回数を算出し、参照回数リストファイルとして生成する。図6は、本実施の形態に係る参照回数リストファイルの一例を示す表である。
次に、重要度算出部5の動作について説明する。
図7は、本実施の形態に係る重要度算出部の動作の一例を示すフローチャートである。まず、文書リスト作成部12、作成日時抽出部13、リンク解析部14、評価受付部15、参照回数算出部16は、各文書のパラメータを取得し、文書リストファイル、作成日時リストファイル、リンク関係ファイル、評価リストファイル、参照回数リストを生成するパラメータ取得処理を行う(S11、パラメータ取得ステップ)。次に、行列決定部17は、これらの各ファイルに基づいて、検索対象文書の重要度の算出のための行列Dを決定する行列決定処理を行う(S12、行列決定ステップ)。次に、反復計算部18は、行列Dを用いて検索対象文書の重要度を算出する反復計算処理を行い、算出結果を重要度リストファイルとして検索インデックス管理部4へ送信し(S13、反復計算ステップ)、このフローは終了する。図8は、本実施の形態に係る重要度リストファイルの一例を示す表である。
次に、反復計算処理の原理について説明する。
まず、検索対象文書の総数をNとし、文書管理部3により検索対象文書に1からNまでのIDが振られたとする。また、IDがnである検索対象文書をP_nとする。また、正の実数をu_n(n=1,2,…N)とするとき、u_nを要素とする縦ベクトルをuとする。d_i_j(i,j=1,2,…N)を任意の正の実数とし、第(i,j)成分がd_i_jである行列をDとする。
線形代数のペロン・フロベニウスの定理より、任意のDに対して、Dは正の固有値(e
u=D uを満たす0でないベクトルuが存在するような数eのこと。このときのuをeに対するDの固有ベクトルという)を持ち、そのうちの最大のものをDのフロベニウス根という。フロベニウス根eに対するDの固有ベクトルuは正のベクトルであり、そのうち|u|=1となるものはただ1つである。ここでのノルムは無限大ノルム(|u|=max{|u_n|;n=1,2,…,N})とする。
検索対象文書P_n(n=1,2, …,N)に与えられた様々なパラメータ(例:リンク関係、作成日時、参照者による評価、文書の参照回数など)に応じて、システムの設計者は自由にDを定義することができる。このように定義したDに対して、Dのフロベニウス根eと、|u|=1を満たすようなeに対する正の固有ベクトルuはただ1組存在するので、このときのu_nをP_nの重要度と定義する。
ここで、P_nからL_n個のリンクがあると仮定し、次式のようにd_m_nを定義すれば、u=D u,|u|=1を満たすuは、特許文献1の技術と同様な値を算出することができる。ここでのノルムは、1ノルム(|u|=u_1+u_2+…+u_N)とし、P_nから出るリンクの数をL_nとする。また、定数c=0.15とする。
d_m_n=c/N
(P_nからP_mへのリンクがないとき)
d_m_n=c/N+(1−c)/L_n
(P_nからP_mへのリンクがあるとき)
次に、特許文献1等の技術を用いた従来の反復計算処理と、本実施の形態に係る反復計算部18による反復計算処理とを比較する。
まず、従来の反復計算処理について説明する。図9は、従来の反復計算処理の一例を示すフローチャートである。まず、従来の反復計算処理は、繰り返し回数k=1とし、長さNの縦ベクトルv_kの要素を全て1として初期化を行う(S21)。次に、従来の反復計算処理は、kを1増加させる(S22)。次に、従来の反復計算処理は、v_k=D v_(k−1)を計算する(S23)。
次に、従来の反復計算処理は、今回得られたv_kと前回得られたv_(k−1)から差のノルム|v_k−v_(k−1)|を計算し、|v_k−v_(k−1)|<sであるか否かの判断を行う(S31)。ここで、しきい値sは、十分小さい正の整数であり、例えばs=0.00001である。|v_k−v_(k−1)|<sでない場合(S31,No)、処理S22へ戻り、処理S22以降を繰り返す。|v_k−v_(k−1)|<sである場合(S31,Yes)、従来の反復計算処理は、v_kを重要度ベクトルuとし(S32)、このフローは終了する。
但し、従来の反復計算処理に用いるDの各列の要素はリンク関係に基づく確率であり、Dの各列の要素の和が1でなければならないという制約がある。この制約を満たさない場合、v_kは発散し、重要度を算出することができなくなる。
次に、本実施の形態に係る反復計算処理について説明する。図10は、本実施の形態に係る反復計算処理の一例を示すフローチャートである。この図において、図9と同一符号は、図9に示された対象と同一処理を示しており、ここでの説明を省略する。従来の反復計算処理と比較すると、本実施の形態の反復計算処理は、処理S23の代わりに処理S24,S25を実行する。
まず、反復計算部18は、従来の反復計算処理と同様の処理S21,S22を実行する。次に、反復計算部18は、e_(k−1)=|D v_(k−1)|を計算し(S24)、v_k=(1/e_(k−1)) D v_(k−1)を計算する(S25)。
次に、反復計算部18は、従来の反復計算処理と同様の処理S31を実行する。|v_k−v_(k−1)|<sでない場合(S31,No)、反復計算部18は、処理S22へ戻り、処理S22以降を繰り返す。|v_k−v_(k−1)|<sである場合(S31,Yes)、反復計算部18は、従来の反復計算処理と同様の処理S32を実行し、このフローは終了する。
本実施の形態に係る反復計算処理によれば、kが大きくなると、e_kはeに、v_kはuに収束していく。また、処理S31により、v_kの変化が十分小さくなったところで繰り返し計算を終了する。つまり、反復計算部18は、e u=D uを満たすuの近似値であるv_kを算出する。
本実施の形態に係る反復計算処理は、処理S24,S25により、Dに従来の制約を与えなくてもv_kを収束させることができる。
次に、本実施の形態に係る反復計算処理の具体例について説明する。
図11は、本実施の形態に係る行列決定処理により決定された行列Dの一例を示す表である。ここでは、Nを6とし、この表のようにDを決定したとする。このDは、従来のDのような制約はなく、各要素が正の実数であれば良い。図12は、本実施の形態に係る反復計算処理により計算された計算結果の一例を示す表である。この表は、処理S22により設定される繰り返し回数k、処理S24により算出されるD v_(k−1)、e_(k−1)、処理S25により算出されるv_k、処理S31により算出されるv_k−v_(k−1)、v_(k−1)−v_k、|v_k−v_(k−1)|の計算結果を示し、それぞれの計算結果を繰り返し回数k毎に示す。この例においては、繰り返し回数k=10の時点で、|v_k−v_(k−1)|がしきい値を下回ったため、反復計算部18は、繰り返し計算を終了し、v_10をDに対する重要度ベクトルuとする。
次に、行列決定処理の概要について説明する。
本実施の形態においては、上述の反復計算処理により、行列Dは自由に定義することができるため、検索システムの設計者は、検索対象文書の新しさや参照者からの評価などをDに反映させることができる。ここでは、検索対象文書の作成日時、評価、参照回数、リンク関係に基づいてDを決定する例を用いて、行列決定処理の概要を説明する。
P_mの作成日時が、行列決定処理時のp日前とする。ここで、行列決定部17は、現在の日時と作成日時リストファイルからpを算出する。検索対象文書の作成日時が計算時のp日前のときの重みをx_m(正の実数)とする。x_mは、pが小さいほど大きい値になるように設定される。
また、検索対象文書P_mの評価をy_m(正の実数)と置く。ここで、行列決定部17は、y_mは評価リストファイルから算出する。y_mは、評価が高いほどの大きい値になるように設定される。
検索対象文書P_mの参照回数をz_m(正の実数)と置く。ここで、行列決定部17は、参照回数リストファイルからz_mを算出する。z_mは、参照回数が多いほど大きい値になるように設定される。
次に、行列決定部17は、リンク関係ファイルからP_nからP_mへのリンクの有無を判断し、リンクの有無によってDの要素d_m_nを決定する。また、ここでは、d_m_nの算出にx_m、y_m、z_mの積を用いる場合を示す。d_m_nは、次式で定義される。
d_m_n=c x_m y_m z_m
(m,n=1,2,…N)
(P_nからP_mへのリンクがないとき)
d_m_n
=c x_m y_m z_m
+x_m x_n y_m y_n z_m z_n
(m,n=1,2,…N)
(P_nからP_mへのリンクがあるとき)
ここでは、x_m、y_m、z_mがd_m_nへ与える影響は、x_m、y_m、z_m、x_n、y_n、z_nの積で表したが、和や他の演算によって表しても良い。
このように、システムの設計者は、複数のパラメータ(ここでは、作成日、評価、参照回数、リンク関係)の影響を考慮したDを自由に決定することができる。
次に、行列決定処理に用いるデータの具体例について説明する。
まず、行列決定部17は、データの集計を行い、集計したデータを集計データとする。図13は、本実施の形態に係る集計データの一例を示す表である。ここでは、検索対象文書数Nを6とし、データの集計日を2007年2月7日とする。行列決定部17は、作成日時リストファイルから作成日を取得し、データの集計日(現在)と作成日の日付の差pを算出し、評価リストファイルから所定の基準を満たす有用な評価の数である有用評価数qを取得し、参照回数リストファイルから参照回数rを取得する。この表は、P_n(n=1,2,…6)のそれぞれについて、作成日、日付の差p、有用評価数q、参照回数rを集計した結果を示す。
図14は、本実施の形態に係るリンク関係の一例を示す表である。ここでは、P_n(n=1,2,…6)の間に、この図に示されたリンク関係が存在するとする。行列決定部17は、このリンク関係を示したリンク関係ファイルからリンク関係を集計し、リンク関係データとする。図15は、本実施の形態に係るリンク関係データの一例を示す表である。この表において、“from”の欄に示された文書は、リンク元であり、“to”の欄に示された文書は、リンク先を示す。また、“○”が付いた欄に対応するリンク元とリンク先の間にリンクが存在することを示す。また、P_nから出るリンクの数L_nがリンク元毎に集計されている。
次に、重要度算出部5の動作の実施例について説明する。以下の実施例においては、上述した集計データ及びリンク関係データの値の例を用いる。
まず、重要度算出部5による動作の第1の実施例として、作成日を重要視した重要度を算出する場合について説明する。
まず、行列決定処理において、行列決定部17は、集計データから、検索対象文書P_mについてのパラメータ毎の重みデータとして、作成日の重みを表す重みデータx_m、有用評価数の重みを表す重みデータy_m、参照回数の重みを表す重みデータz_mを算出する。x_m、y_m、z_mは、それぞれ次式で定義される。
x_m=exp(−p/100)*1.5
y_m=log(q+2)*0.2
z_m=log(r+2)*0.03
この式によりx_mが高く設定される。図16は、本実施の形態に係る第1の実施例において行列決定処理により決定された重みデータを示す表である。次に、行列決定部17は、リンク関係データからP_nからP_mへのリンクの有無を判断し、リンクの有無と重みデータに従ってDの要素d_m_nを決定する。ここでは、d_m_nの算出にx_m、y_m、z_mの和を用いる場合を示す。d_m_nは、次式で定義される。
d_m_n=c/N+x_m+y_m+z_m
(m,n=1,2,…N)
(P_nからP_mへのリンクがないとき)
d_m_n
=c/N+x_m+y_m+z_m
+(1−c)*(x_m+y_m+z_m)/L_n
(m,n=1,2,…N)
(P_nからP_mへのリンクがあるとき)
c=0.15
次に、行列決定部17は、上述したリンク関係データの値と重みデータの値に対して上式を適用することによりDを決定する。図17は、本実施の形態に係る第1の実施例において行列決定処理により決定された行列Dを示す表である。この図において、行に付された番号はmを示し、列に付された番号はnを示し、mとnで指定される要素はd_m_nの値を示す。
次に、反復計算部18は、上述した反復計算処理のフローを実行することにより、重要度ベクトルuを算出する。図18は、本実施の形態に係る第1の実施例において反復計算処理により計算された計算結果を示す表である。k=10で|v_k−v_(k−1)|がしきい値を下回ったため、反復計算部18は、繰り返し計算を終了し、v_10をDに対する重要度ベクトルuとする。また、反復計算部18は、得られたuの要素である重要度u_m(m=1,2,…6)の大きさの順位を、P_m(m=1,2,…6)の表示順位(ランク)としても良い。上述した重み付けにより、作成日から集計日までの期間pが小さいP_1、P_2の表示順位が高くなることが分かる。上述した第1の実施例によれば、作成日、有用評価数、参照回数、リンク関係の影響を考慮しつつ、作成日の影響を強めた重要度及び表示順位を得ることができる。
次に、重要度算出部5による動作の第2の実施例として、有用評価数を重要視した重要度を算出する場合について説明する。
まず、行列決定処理において、重みデータx_m、y_m、z_mは、それぞれ次式で定義される。
x_m=exp(−p/100)*0.2
y_m=log(q+2)*1.2
z_m=log(r+2)*0.03
この式を、第1の実施例と比較すると、最後の係数の大きさが異なり、y_mが高く設定される。図19は、本実施の形態に係る第2の実施例において行列決定処理により決定された重みデータを示す表である。次に、行列決定部17は、この重みデータを用い、第1の実施例と同様にしてDを決定する。図20は、本実施の形態に係る第2の実施例において行列決定処理により決定された行列Dを示す表である。
次に、反復計算部18は、上述した反復計算処理のフローを実行することにより、重要度ベクトルuを算出する。図21は、本実施の形態に係る第2の実施例において反復計算処理により計算された計算結果を示す表である。k=10で|v_k−v_(k−1)|がしきい値を下回ったため、反復計算部18は、繰り返し計算を終了し、v_10をDに対する重要度ベクトルuとする。上述した重み付けにより、有用評価数qが大きいP_4、P_6の表示順位が上位になることが分かる。上述した第2の実施例によれば、作成日、有用評価数、参照回数、リンク関係の影響を考慮しつつ、有用評価数の影響を強めた重要度及び表示順位を得ることができる。
次に、重要度算出部5による動作の第3の実施例として、参照回数を重要視した重要度を算出する場合について説明する。
まず、行列決定処理において、重みデータx_m、y_m、z_mは、それぞれ次式で定義される。
x_m=exp(−p/100)*0.2
y_m=log(q+2)*0.2
z_m=log(r+2)*0.2
この式を、第1の実施例と比較すると、最後の係数の大きさが異なり、z_mが高く設定される。図22は、本実施の形態に係る第3の実施例において行列決定処理により決定された重みデータを示す表である。次に、行列決定部17は、この重みデータを用い、第1の実施例と同様にしてDを決定する。図23は、本実施の形態に係る第3の実施例において行列決定処理により決定された行列Dを示す表である。
次に、反復計算部18は、上述した反復計算処理のフローを実行することにより、重要度ベクトルuを算出する。図24は、本実施の形態に係る第3の実施例において反復計算処理により計算された計算結果を示す表である。k=11で|v_k−v_(k−1)|がしきい値を下回ったため、反復計算部18は、繰り返し計算を終了し、v_11をDに対する重要度ベクトルuとする。上述した重み付けにより、参照回数rが大きいP_4、P_3の表示順位が上位になることが分かる。上述した第3の実施例によれば、作成日、有用評価数、参照回数、リンク関係の影響を考慮しつつ、参照回数の影響を強めた重要度及び表示順位を得ることができる。
次に、重要度算出部5による動作の第4の実施例として、重みデータをランダムに設定して重要度を算出する場合について説明する。
まず、行列決定部17は、d_m_nの重みデータをそれぞれランダムな数として設定する。次に、行列決定部17は、リンク関係ファイルからP_nからP_mへのリンクの有無を判断し、リンクの有無と重みデータに従ってDの要素d_m_nを決定する。d_m_nは、次式で定義される。
d_m_n=c/N+Rand()
(m,n=1,2,…N)
(P_nからP_mへのリンクがないとき)
d_m_n
=c/N++(1−c)/L_n+Rand()
(m,n=1,2,…N)
(P_nからP_mへのリンクがあるとき)
c=0.15
ここで、Rand()は、0以上1未満のランダムな実数を生成する関数である。図25は、本実施の形態に係る第4の実施例において行列決定処理により決定されたRand()の値を示す表である。図26は、本実施の形態に係る第4の実施例において行列決定処理により決定された行列Dを示す表である。
次に、反復計算部18は、上述した反復計算処理のフローを実行することにより、重要度ベクトルuを算出する。図27は、本実施の形態に係る第4の実施例において反復計算処理により計算された計算結果を示す表である。k=8で|v_k−v_(k−1)|がしきい値を下回ったため、反復計算部18は、繰り返し計算を終了し、v_8をDに対する重要度ベクトルuとする。上述した第4の実施例によれば、リンク関係の影響を考慮しつつ、乱数の影響を与えた重要度及び表示順位を得ることができる。
次に、重要度算出部5による動作の第5の実施例として、重みデータを用いず、リンク関係のみから重要度を算出する場合について説明する。
まず、行列決定部17は、リンク関係ファイルからP_nからP_mへのリンクの有無を判断し、リンクの有無に従ってDの要素d_m_nを決定する。d_m_nは、次式で定義される。
d_m_n=c/N
(m,n=1,2,…N)
(P_nからP_mへのリンクがないとき)
d_m_n
=c/N++(1−c)/L_n
(m,n=1,2,…N)
(P_nからP_mへのリンクがあるとき)
c=0.15
図28は、本実施の形態に係る第5の実施例において行列決定処理により決定された行列Dを示す表である。このDは、リンク関係のみを反映した行列である。
次に、反復計算部18は、上述した反復計算処理のフローを実行することにより、重要度ベクトルuを算出する。図29は、本実施の形態に係る第5の実施例において反復計算処理により計算された計算結果を示す表である。k=14で|v_k−v_(k−1)|がしきい値を下回ったため、反復計算部18は、繰り返し計算を終了し、v_14をDに対する重要度ベクトルuとする。上述した第5の実施例によれば、重み付けを用いないことにより、特許文献1の技術と同様、リンク関係のみからも重要度及び表示順位を得ることができる。
本実施の形態によれば、検索システムの設計者は、上述した反復計算処理のアルゴリズムを用いることにより、従来より少ない制約の中で複数のパラメータの重み付けを定義し、行列Dを決定することができる。また、パラメータの数に関わらず、1回の行列演算で重要度を算出することができるため、全てのパラメータの情報を失わず、且つ高速に重要度を算出することができる。
また、本実施の形態に係る文書重要度算出装置は、情報処理装置に容易に適用することができ、情報処理装置の性能をより高めることができる。ここで、情報処理装置には、例えばサーバ、PC(Personal Computer)等が含まれ得る。
更に、文書重要度算出装置を構成するコンピュータにおいて上述した各ステップを実行させるプログラムを、文書重要度算出プログラムとして提供することができる。上述したプログラムは、コンピュータにより読取り可能な記録媒体に記憶させることによって、文書重要度算出装置を構成するコンピュータに実行させることが可能となる。ここで、上記コンピュータにより読取り可能な記録媒体としては、ROMやRAM等のコンピュータに内部実装される内部記憶装置、CD−ROMやフレキシブルディスク、DVDディスク、光磁気ディスク、ICカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
本発明によれば、文書に関するパラメータの影響を考慮した文書の重要度を効率的に算出することができる。

Claims (7)

  1. N個の文書それぞれの重要度の算出をコンピュータに実行させる文書重要度算出プログラムであって、
    全ての要素が正の実数であるN次の正方行列D、正の実数e、前記N個の文書それぞれの重要度を要素とする縦ベクトルuがペロン・フロベニウスの定理によりe u=D uを満たすことを用いるために、前記文書に関する少なくとも1種類のパラメータに基づいて行列Dの要素を決定する行列決定ステップと、
    縦ベクトルuの近似値として求める縦ベクトルvの初期化を行い、(D v)/|D v|を新たな縦ベクトルvとする計算を行い、縦ベクトルvが所定の条件を満たすまで該計算を反復し、縦ベクトルvの要素をそれぞれ対応する文書の重要度とする反復ステップと
    をコンピュータに実行させる文書重要度算出プログラム。
  2. 請求項1に記載の文書重要度算出プログラムにおいて、
    前記文書のパラメータは、該文書へのリンク関係、該文書の作成日時、該文書の参照者による該文書の評価、該文書の参照回数の少なくともいずれかを含むことを特徴とする文書重要度算出プログラム。
  3. 請求項1または請求項2に記載の文書重要度算出プログラムにおいて、
    前記行列決定ステップは、前記N個の文書のうちm番目の文書の前記パラメータ、または前記N個の文書のうちm番目の文書及びn番目の文書の前記パラメータに基づいて、Dのm行n列目の要素を算出することを特徴とする文書重要度算出プログラム。
  4. 請求項1乃至請求項3のいずれかに記載の文書重要度算出プログラムにおいて、
    前記所定の条件は、前記計算前の縦ベクトルvと前記計算後の縦ベクトルvとの差のノルムが所定の閾値を下回る場合であることを特徴とする文書重要度算出プログラム。
  5. 請求項1乃至請求項4のいずれかに記載の文書重要度算出プログラムにおいて、
    更に行列決定ステップの前に、前記文書毎の前記パラメータを取得するパラメータ取得ステップをコンピュータに実行させることを特徴とする文書重要度算出プログラム。
  6. N個の文書それぞれの重要度の算出を行う文書重要度算出装置であって、
    全ての要素が正の実数であるN次の正方行列D、正の実数e、前記N個の文書それぞれの重要度を要素とする縦ベクトルuがペロン・フロベニウスの定理によりe u=D uを満たすことを用いるために、前記文書に関する少なくとも1種類のパラメータに基づいて行列Dの要素を決定する行列決定部と、
    縦ベクトルuの近似値として求める縦ベクトルvの初期化を行い、(D v)/|D v|を新たな縦ベクトルvとする計算を行い、縦ベクトルvが所定の条件を満たすまで該計算を反復し、縦ベクトルvの要素をそれぞれ対応する文書の重要度とする反復部と
    を備える文書重要度算出装置。
  7. N個の文書それぞれについての重要度の算出を行う文書重要度算出方法であって、
    全ての要素が正の実数であるN次の正方行列D、正の実数e、前記N個の文書それぞれの重要度を要素とする縦ベクトルuがペロン・フロベニウスの定理によりe u=D uを満たすことを用いるために、前記文書に関する少なくとも1種類のパラメータに基づいて行列Dの要素を決定する行列決定ステップと、
    縦ベクトルuの近似値として求める縦ベクトルvの初期化を行い、(D v)/|D v|を新たな縦ベクトルvとする計算を行い、縦ベクトルvが所定の条件を満たすまで該計算を反復し、縦ベクトルvの要素をそれぞれ対応する文書の重要度とする反復ステップと
    を実行する文書重要度算出方法。
JP2009508735A 2007-03-16 2007-03-16 文書重要度算出プログラム Expired - Fee Related JP4781466B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/055352 WO2008126184A1 (ja) 2007-03-16 2007-03-16 文書重要度算出プログラム

Publications (2)

Publication Number Publication Date
JPWO2008126184A1 JPWO2008126184A1 (ja) 2010-07-22
JP4781466B2 true JP4781466B2 (ja) 2011-09-28

Family

ID=39863368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009508735A Expired - Fee Related JP4781466B2 (ja) 2007-03-16 2007-03-16 文書重要度算出プログラム

Country Status (3)

Country Link
US (1) US8260788B2 (ja)
JP (1) JP4781466B2 (ja)
WO (1) WO2008126184A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9251157B2 (en) * 2009-10-12 2016-02-02 Oracle International Corporation Enterprise node rank engine
US9659265B2 (en) 2009-10-12 2017-05-23 Oracle International Corporation Methods and systems for collecting and analyzing enterprise activities
US9335883B2 (en) * 2011-09-08 2016-05-10 Microsoft Technology Licensing, Llc Presenting search result items having varied prominence
US10360578B2 (en) 2012-01-30 2019-07-23 Visa International Service Association Systems and methods to process payments based on payment deals
US8880431B2 (en) 2012-03-16 2014-11-04 Visa International Service Association Systems and methods to generate a receipt for a transaction
US9864988B2 (en) 2012-06-15 2018-01-09 Visa International Service Association Payment processing for qualified transaction items
US9626678B2 (en) 2012-08-01 2017-04-18 Visa International Service Association Systems and methods to enhance security in transactions
US10438199B2 (en) 2012-08-10 2019-10-08 Visa International Service Association Systems and methods to apply values from stored value accounts to payment transactions
US10685367B2 (en) 2012-11-05 2020-06-16 Visa International Service Association Systems and methods to provide offer benefits based on issuer identity
US9760713B1 (en) * 2014-02-27 2017-09-12 Dell Software Inc. System and method for content-independent determination of file-system-object risk of exposure
CN105791227A (zh) * 2014-12-22 2016-07-20 深圳市志友企业发展促进中心 一种资源传播方法及系统
KR101688829B1 (ko) * 2015-07-24 2016-12-22 삼성에스디에스 주식회사 사용자 패턴을 반영한 문서 제공 방법 및 그 장치
US10977435B2 (en) * 2015-12-28 2021-04-13 Informatica Llc Method, apparatus, and computer-readable medium for visualizing relationships between pairs of columns
US10303690B1 (en) * 2016-11-23 2019-05-28 EMC IP Holding Company LLC Automated identification and classification of critical data elements
US11651016B2 (en) * 2018-08-09 2023-05-16 Walmart Apollo, Llc System and method for electronic text classification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084256A (ja) * 1999-09-10 2001-03-30 Toshiba Corp データベース処理装置、データベース処理方法、及びデータベース処理プログラムを記録したコンピュータ読み取り可能な記憶媒体
US6285999B1 (en) * 1997-01-10 2001-09-04 The Board Of Trustees Of The Leland Stanford Junior University Method for node ranking in a linked database
JP2002041524A (ja) * 2000-07-27 2002-02-08 Toshiba Corp 文書検索システムおよび文書検索方法
US20030204502A1 (en) * 2002-04-25 2003-10-30 Tomlin John Anthony System and method for rapid computation of PageRank
US20050071741A1 (en) * 2003-09-30 2005-03-31 Anurag Acharya Information retrieval based on historical data

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7269587B1 (en) * 1997-01-10 2007-09-11 The Board Of Trustees Of The Leland Stanford Junior University Scoring documents in a linked database
JP3524846B2 (ja) * 2000-06-29 2004-05-10 株式会社Ssr テキストマイニングにおける文書の特徴量抽出方法及びその装置
US7216123B2 (en) * 2003-03-28 2007-05-08 Board Of Trustees Of The Leland Stanford Junior University Methods for ranking nodes in large directed graphs
WO2004111759A2 (en) * 2003-05-27 2004-12-23 Purdue Research Foundation Applied estimation of eigenvectors and eigenvalues
US7610313B2 (en) * 2003-07-25 2009-10-27 Attenex Corporation System and method for performing efficient document scoring and clustering
US7343374B2 (en) * 2004-03-29 2008-03-11 Yahoo! Inc. Computation of page authority weights using personalized bookmarks
US7437382B2 (en) * 2004-05-14 2008-10-14 Microsoft Corporation Method and system for ranking messages of discussion threads
US7346621B2 (en) * 2004-05-14 2008-03-18 Microsoft Corporation Method and system for ranking objects based on intra-type and inter-type relationships
US7512587B2 (en) * 2004-07-01 2009-03-31 Microsoft Corporation Efficient computation of web page rankings
US7917587B2 (en) * 2004-07-30 2011-03-29 Microsoft Corporation Method and system for prioritizing communications based on interpersonal relationships
US7577650B2 (en) * 2005-04-13 2009-08-18 Microsoft Corporation Method and system for ranking objects of different object types
US7630976B2 (en) * 2005-05-10 2009-12-08 Microsoft Corporation Method and system for adapting search results to personal information needs
WO2006133252A2 (en) * 2005-06-08 2006-12-14 The Regents Of The University Of California Doubly ranked information retrieval and area search
US20070005588A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Determining relevance using queries as surrogate content
US7502789B2 (en) * 2005-12-15 2009-03-10 Microsoft Corporation Identifying important news reports from news home pages
US20070198504A1 (en) * 2006-02-23 2007-08-23 Microsoft Corporation Calculating level-based importance of a web page
US8019763B2 (en) * 2006-02-27 2011-09-13 Microsoft Corporation Propagating relevance from labeled documents to unlabeled documents
US7509299B2 (en) * 2006-03-13 2009-03-24 Microsoft Corporation Calculating web page importance based on a conditional Markov random walk
US7624104B2 (en) * 2006-06-22 2009-11-24 Yahoo! Inc. User-sensitive pagerank
US20080016052A1 (en) * 2006-07-14 2008-01-17 Bea Systems, Inc. Using Connections Between Users and Documents to Rank Documents in an Enterprise Search System
US7634476B2 (en) * 2006-07-25 2009-12-15 Microsoft Corporation Ranking of web sites by aggregating web page ranks
US7877384B2 (en) * 2007-03-01 2011-01-25 Microsoft Corporation Scoring relevance of a document based on image text
US7676520B2 (en) * 2007-04-12 2010-03-09 Microsoft Corporation Calculating importance of documents factoring historical importance
US7930303B2 (en) * 2007-04-30 2011-04-19 Microsoft Corporation Calculating global importance of documents based on global hitting times
US8010535B2 (en) * 2008-03-07 2011-08-30 Microsoft Corporation Optimization of discontinuous rank metrics
KR100963623B1 (ko) * 2008-04-23 2010-06-15 재단법인서울대학교산학협력재단 시맨틱 웹 자원의 랭킹처리방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285999B1 (en) * 1997-01-10 2001-09-04 The Board Of Trustees Of The Leland Stanford Junior University Method for node ranking in a linked database
JP2001084256A (ja) * 1999-09-10 2001-03-30 Toshiba Corp データベース処理装置、データベース処理方法、及びデータベース処理プログラムを記録したコンピュータ読み取り可能な記憶媒体
JP2002041524A (ja) * 2000-07-27 2002-02-08 Toshiba Corp 文書検索システムおよび文書検索方法
US20030204502A1 (en) * 2002-04-25 2003-10-30 Tomlin John Anthony System and method for rapid computation of PageRank
US20050071741A1 (en) * 2003-09-30 2005-03-31 Anurag Acharya Information retrieval based on historical data

Also Published As

Publication number Publication date
WO2008126184A1 (ja) 2008-10-23
JPWO2008126184A1 (ja) 2010-07-22
US8260788B2 (en) 2012-09-04
US20090313246A1 (en) 2009-12-17

Similar Documents

Publication Publication Date Title
JP4781466B2 (ja) 文書重要度算出プログラム
JP6332264B2 (ja) 類似データ検索装置、類似データ検索方法、及びプログラム
KR101377341B1 (ko) 문서 랭킹 컴포넌트 트레이닝 시스템 및 컴퓨터 판독 가능 매체
Kuhn Variable selection using the caret package
US8019763B2 (en) Propagating relevance from labeled documents to unlabeled documents
US8108374B2 (en) Optimization framework for tuning ranking engine
CN101243435A (zh) 使用网络上的文档的偏离点击距离的排序函数
CN101652771A (zh) 通过将历史重要性计算在内来计算文档重要性
US7734633B2 (en) Listwise ranking
US10965315B2 (en) Data compression method
US20120109977A1 (en) Keyword determination based on a weight of meaningfulness
CN106776370A (zh) 基于对象关联性评估的云存储方法及装置
US7512587B2 (en) Efficient computation of web page rankings
Volkovs et al. CRF framework for supervised preference aggregation
CN108920492B (zh) 一种网页分类方法、系统、终端及存储介质
US9218384B2 (en) Evaluation method and information processing apparatus
JP4750628B2 (ja) 情報ランキング方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP6005583B2 (ja) 検索装置、検索方法および検索プログラム
US9122705B1 (en) Scoring hash functions
CN107944045B (zh) 基于t分布哈希的图像检索方法及系统
Arora et al. Investigating retrieval method selection with axiomatic features
JP5503577B2 (ja) データ極性判定装置、方法、及びプログラム
CN114416513A (zh) 搜索数据的处理方法、装置、电子设备和存储介质
Syafie et al. Missing data handling using the naive bayes logarithm (NBL) formula
US20250103909A1 (en) Recording medium, information processing method, and information processing device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110705

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110705

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees