JP5042268B2

JP5042268B2 - 適正単語取得装置、機械学習装置及び方法

Info

Publication number: JP5042268B2
Application number: JP2009109662A
Authority: JP
Inventors: 守小町; 学颯々野
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2009-04-28
Filing date: 2009-04-28
Publication date: 2012-10-03
Anticipated expiration: 2029-04-28
Also published as: JP2010257406A

Description

本発明は、適正単語取得装置、機械学習装置及び方法に関する。

近年、自然言語処理において、人名や地名等の固有表現や、それらの間の関係に関する意味知識の獲得について盛んに研究されている。これらの研究対象である固有表現や関係の認識は、検索システムや、テキスト自動要約等の自然言語処理のアプリケーションで大きな役割を果たす。

従来、固有表現や関係の認識は、大規模なコーパスからブートストラップ手法による半教師あり学習によって、獲得されている。このような固有表現や関係を獲得する技術を記載する文献として、大規模な日本語の検索ログを用いて意味カテゴリを学習し、いわゆる意味ドリフト問題に対処する技術について記載する非特許文献１が知られている。

ここで、意味ドリフト問題とは、カテゴリを有する教師データと共起するパターンをコーパスから抽出する場合に、抽出したパターンが多数の単語にマッチするパターンであるジェネリックパターンであると、ジェネリックパターンを用いて取得した単語には、元の教師データとは異なるカテゴリの単語を多数取得してしまい、教師データと同じカテゴリの単語を取得する精度が大幅に下がる問題をいう。

非特許文献１では、意味ドリフト問題に対する対処方法として、教師データと共起するパターンのなかで最も多く共起するパターンの共起数より多い（例えば、２倍以上）回数で共起するパターンは、ジェネリックパターンとして抽出しない、という技術が記載されている。このようにすると、パターンを抽出するための反復が進むとジェネリックパターンとして判断される上限値も上がるので、反復の初期は適合率が高く再現率の低いパターンを抽出し、徐々に高頻度で高再現率のパターンを抽出することができる。

小町守，"検索ログからの半教師あり意味知識獲得の改善"，人口知能学会論文誌２３巻３号Ｆ（２００８年），ｐｐ．２１７−２２５

しかしながら、非特許文献１に記載された方法であっても、コーパスとして使用するデータに合わせるために多くの変数（例えば、反復回数、上位単語の追加、何個のシードを与えるか等の８個以上の変数）を設定しなければならず、これらの変数の設定によって大きく精度が変化するため、最適な変数の調整が必須であり、実運用の障害となっていた。

そこで、教師データと同じカテゴリの単語を、多くの変数を調整することなく精度高く適正に取得できる装置が求められている。

本発明は、教師データと同じカテゴリの単語を、多くの変数を調整することなく精度高く適正に取得できる装置及び方法を提供することを目的とする。

本発明では、以下のような解決手段を提供する。

（１）予め与えられたカテゴリごとの教師データと共起するパターンと、当該パターンによって対応付けられるパターン対応単語とに基づいて適正なパターン対応単語を取得する適正単語取得装置であって、前記パターン対応単語と、前記パターンとをそれぞれノードとみなし、当該ノード間を繋ぐエッジのスコアであるエッジスコアを当該エッジに対応付けて記憶するネットワークスコア記憶手段と、前記パターン対応単語又は前記パターンのうち一方に所定の初期スコアを付与する初期スコアリング手段と、前記パターン対応単語又は前記パターンのうち前記一方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち他方にスコアを付与する第一のスコアリング手段と、前記第一のスコアリング手段によって前記他方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち前記一方にスコアを付与する第二のスコアリング手段と、前記第一のスコアリング手段によるスコアの付与と、前記第二のスコアリング手段によるスコアの付与とを反復し、所定のスコア条件を満たす前記パターン対応単語を取得する適正単語取得手段と、を備え、前記ネットワークスコア記憶手段が記憶するネットワークを、前記パターン対応単語と前記パターンとを対応させた行列とし、当該行列内の要素として当該パターン対応単語と当該パターンとのエッジスコアを記憶し、前記第一のスコアリング手段と前記第二のスコアリング手段は、前記ネットワークスコア記憶手段が記憶している行列に対して、当該行列の最大固有値λに基づいて定められており、初期値の重要度を示す変数を用いてスコアの計算を行うことを特徴とする適正単語取得装置。

（１）の構成によれば、本発明に係る適正単語取得装置は、パターン対応単語と、パターンとをそれぞれノードとみなし、当該ノード間を繋ぐエッジのスコアであるエッジスコアを当該エッジに対応付けて記憶するネットワークスコア記憶手段を備え、パターン対応単語又はパターンのうち一方に所定の初期スコアを付与する。そして、パターン対応単語又はパターンのうち一方に付与されたスコアと、エッジスコアとに基づいて、パターン対応単語又はパターンのうち他方にスコアを付与し、他方に付与されたスコアと、エッジスコアとに基づいて、パターン対応単語又はパターンのうち一方にスコアを付与し、他方へのスコアの付与と、一方へのスコアの付与とを反復し、所定のスコア条件を満たすパターン対応単語を取得する。

すなわち、本発明に係る適正単語取得装置は、パターン対応単語とパターンとをネットワーク構造とみなし、ネットワークスコア記憶手段によるエッジスコアと、ノードの初期スコアとに基づいて、スコアリングを反復し、所定のスコア条件を満たすパターン対応単語を取得する。よって、本発明に係る適正単語取得装置は、初期スコアに基づいて、正解データ（取得したいカテゴリと一致している単語）との関連度を表すスコアによってパターン対応単語を取得するので、初期スコア時の変数によって、教師データのカテゴリと同じカテゴリのパターン対応単語を取得することができる。したがって、本発明に係る適正単語取得装置は、教師データと同じカテゴリの単語を、多くの変数を調整することなく精度高く適正に取得できる。

（２）前記所定のスコア条件は、前記第一のスコアリング手段又は前記第二のスコアリング手段が付与した前記パターン対応単語のスコアと、当該スコアを付与する直前に前記第一のスコアリング手段又は前記第二のスコアリング手段が付与した前記パターン対応単語のスコアとの差が全て一定の値以下となった場合に、前記パターン対応単語のスコアが所定の値以上であること、を特徴とする（１）に記載の適正単語取得装置。

（２）の構成によれば、（１）に記載の適正単語取得装置は、付与したパターン対応単語のスコアと、当該スコアを付与する直前に付与したパターン対応単語のスコアとの差が全て一定の値以下となった場合に、パターン対応単語のスコアが所定の値以上であること、を満たすパターン対応単語を取得する。

よって、本発明に係る適正単語取得装置は、ネットワーク構造とみなしてスコアリングを反復し、反復したスコアリングが収束し、正解データとの関連度を表すスコアが所定の値以上であるパターン対応単語を取得するので、教師データのカテゴリと同じカテゴリのパターン対応単語を取得することができる。したがって、本発明に係る適正単語取得装置は、教師データと同じカテゴリの単語をスコアに基づいて精度高く適正に取得できる。

（３）予め与えられたカテゴリごとの教師データと共起するパターンをコーパスから抽出し、抽出した前記パターンによって対応付けられるパターン対応単語を取得する機械学習装置であって、前記パターン対応単語と、前記パターンとをそれぞれノードとみなし、当該ノード間を繋ぐエッジのスコアであるエッジスコアを当該エッジに対応付けて記憶するネットワークスコア記憶手段と、前記パターン対応単語又は前記パターンのうち一方に所定の初期スコアを付与する初期スコアリング手段と、前記パターン対応単語又は前記パターンのうち前記一方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち他方にスコアを付与する第一のスコアリング手段と、前記第一のスコアリング手段によって前記他方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち前記一方にスコアを付与する第二のスコアリング手段と、前記第一のスコアリング手段によるスコアの付与と、前記第二のスコアリング手段によるスコアの付与とを反復し、所定のスコア条件を満たす前記パターン対応単語を取得する適正単語取得手段と、を備え、前記ネットワークスコア記憶手段が記憶するネットワークを、前記パターン対応単語と前記パターンとを対応させた行列とし、当該行列内の要素として当該パターン対応単語と当該パターンとのエッジスコアを記憶し、前記第一のスコアリング手段と前記第二のスコアリング手段は、前記ネットワークスコア記憶手段が記憶している行列に対して、当該行列の最大固有値λに基づいて定められており、初期値の重要度を示す変数を用いてスコアの計算を行うことを特徴とする機械学習装置。

（３）の構成によれば、本発明に係る機械学習装置は、パターン対応単語と、パターンとをそれぞれノードとみなし、当該ノード間を繋ぐエッジのスコアであるエッジスコアを当該エッジに対応付けて記憶するネットワークスコア記憶手段を備え、パターン対応単語又はパターンのうち一方に所定の初期スコアを付与する。そして、パターン対応単語又はパターンのうち一方に付与されたスコアと、エッジスコアとに基づいて、パターン対応単語又はパターンのうち他方にスコアを付与し、他方に付与されたスコアと、エッジスコアとに基づいて、パターン対応単語又はパターンのうち一方にスコアを付与し、他方へのスコアの付与と、一方へのスコアの付与とを反復し、所定のスコア条件を満たすパターン対応単語を取得する。そして、本発明に係る機械学習装置は、取得したパターン対応単語を教師データに追加する。

すなわち、本発明に係る機械学習装置は、パターン対応単語とパターンとをネットワーク構造とみなし、ネットワークスコア記憶手段によるエッジスコアと、ノードの初期スコアとに基づいて、スコアリングを反復し、所定のスコア条件を満たすパターン対応単語を取得する。よって、本発明に係る機械学習装置は、初期スコアに基づいて、正解データとの関連度を表すスコアによってパターン対応単語を取得するので、初期スコア時の変数によって、教師データのカテゴリと同じカテゴリのパターン対応単語を取得することができる。したがって、本発明に係る機械学習装置は、教師データと同じカテゴリの単語を、多くの変数を調整することなく精度高く適正に取得できる。更に、取得したパターン対応単語はスコア条件を満たす適正単語なので、本発明に係る機械学習装置は、取得したパターン対応単語を教師データに追加するごとに精度を向上させることができる。

（４）前記所定のスコア条件は、前記第一のスコアリング手段又は前記第二のスコアリング手段が付与した前記パターン対応単語のスコアと、当該スコアを付与する直前に前記第一のスコアリング手段又は前記第二のスコアリング手段が付与した前記パターン対応単語のスコアとの差が全て一定の値以下となった場合に、前記パターン対応単語のスコアが所定の値以上であること、を特徴とする（３）に記載の機械学習装置。

（４）の構成によれば、（３）に記載の機械学習装置は、付与したパターン対応単語のスコアと、当該スコアを付与する直前に付与したパターン対応単語のスコアとの差が全て一定の値以下となった場合に、パターン対応単語のスコアが所定の値以上であること、を満たすパターン対応単語を取得する。

よって、本発明に係る機械学習装置は、ネットワーク構造とみなしてスコアリングを反復し、反復したスコアリングが収束し、正解データとの関連度を表すスコアが所定の値以上であるパターン対応単語を取得するので、教師データのカテゴリと同じカテゴリのパターン対応単語を取得することができる。したがって、本発明に係る機械学習装置は、教師データと同じカテゴリの単語をスコアに基づいて精度高く適正に取得できる。

（５）予め与えられたカテゴリごとの教師データと共起するパターンと、当該パターンによって対応付けられるパターン対応単語とに基づいて適正なパターン対応単語を取得する適正単語取得装置において、前記パターン対応単語と、前記パターンとをそれぞれノードとみなし、当該ノード間を繋ぐエッジのスコアであるエッジスコアを当該エッジに対応付けて記憶するネットワークスコア記憶手段を備える適正単語取得装置が実行する方法であって、前記パターン対応単語又は前記パターンのうち一方に所定の初期スコアを付与するステップと、前記パターン対応単語又は前記パターンのうち前記一方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち他方にスコアを付与するステップと、前記他方にスコアを付与するステップによって前記他方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち前記一方にスコアを付与するステップと、前記他方にスコアを付与するステップと、前記一方にスコアを付与するステップとを反復し、所定のスコア条件を満たす前記パターン対応単語を取得するステップと、を備え、前記ネットワークスコア記憶手段が記憶するネットワークを、前記パターン対応単語と前記パターンとを対応させた行列とし、当該行列内の要素として当該パターン対応単語と当該パターンとのエッジスコアを記憶し、前記他方にスコアを付与するステップと前記一方にスコアを付与するステップは、前記ネットワークスコア記憶手段が記憶している行列に対して、当該行列の最大固有値λに基づいて定められており、初期値の重要度を示す変数を用いてスコアの計算を行うことを特徴とする方法。

すなわち、本発明に係る方法は、パターン対応単語とパターンとをネットワーク構造とみなし、ネットワークスコア記憶手段によるエッジスコアと、ノードの初期スコアとに基づいて、スコアリングを反復し、所定のスコア条件を満たすパターン対応単語を取得する。よって、本発明に係る方法は、初期スコアに基づいて、正解データとの関連度を表すスコアによってパターン対応単語を取得するので、初期スコア時の変数によって、教師データのカテゴリと同じカテゴリのパターン対応単語を取得することができる。したがって、本発明に係る方法は、教師データと同じカテゴリの単語を、多くの変数を調整することなく精度高く適正に取得できる。

（６）予め与えられたカテゴリごとの教師データと共起するパターンをコーパスから抽出し、抽出した前記パターンによって対応付けられるパターン対応単語を取得する機械学習装置において、前記パターン対応単語と、前記パターンとをそれぞれノードとみなし、当該ノード間を繋ぐエッジのスコアであるエッジスコアを当該エッジに対応付けて記憶するネットワークスコア記憶手段を備える機械学習装置が実行する方法であって、前記パターン対応単語又は前記パターンのうち一方に所定の初期スコアを付与するステップと、前記パターン対応単語又は前記パターンのうち前記一方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち他方にスコアを付与するステップと、前記他方にスコアを付与するステップによって前記他方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち前記一方にスコアを付与するステップと、前記他方にスコアを付与するステップと、前記一方にスコアを付与するステップとを反復し、所定のスコア条件を満たす前記パターン対応単語を取得するステップと、を備え、前記ネットワークスコア記憶手段が記憶するネットワークを、前記パターン対応単語と前記パターンとを対応させた行列とし、当該行列内の要素として当該パターン対応単語と当該パターンとのエッジスコアを記憶し、前記他方にスコアを付与するステップと前記一方にスコアを付与するステップは、前記ネットワークスコア記憶手段が記憶している行列に対して、当該行列の最大固有値λに基づいて定められており、初期値の重要度を示す変数を用いてスコアの計算を行うことを特徴とする方法。

すなわち、本発明に係る方法は、パターン対応単語とパターンとをネットワーク構造とみなし、ネットワークスコア記憶手段によるエッジスコアと、ノードの初期スコアとに基づいて、スコアリングを反復し、所定のスコア条件を満たすパターン対応単語を取得する。よって、本発明に係る方法は、初期スコアに基づいて、正解データとの関連度を表すスコアによってパターン対応単語を取得するので、初期スコア時の変数によって、教師データのカテゴリと同じカテゴリのパターン対応単語を取得することができる。したがって、本発明に係る方法は、教師データと同じカテゴリの単語を、多くの変数を調整することなく精度高く適正に取得できる。更に、本発明に係る方法によって取得したパターン対応単語はスコア条件を満たす適正単語なので、本発明に係る方法を実行する機械学習装置は、取得したパターン対応単語を教師データに追加するごとに精度を向上させることができる。

本発明によれば、取得したパターン対応単語と抽出したパターンとをネットワーク構造とみなし、ネットワークスコア記憶手段によるエッジスコアと、ノードの初期スコアとに基づいて、スコアリングを反復し、所定のスコア条件を満たすパターン対応単語を取得できる。

更に、本発明によれば、反復したスコアリングが収束し、予め与えられた教師データとの関連度を表すスコアが所定の値以上であるパターン対応単語を取得できる。

したがって、本発明によれば、教師データと同じカテゴリの単語を、多くの変数を調整することなく精度高く適正に取得できる。更に、本発明に係る機械学習装置は、取得したパターン対応単語を教師データに追加するごとに精度を向上させることができる。

本発明の一実施形態に係る適正単語取得装置１０の実施例１の機能構成を示すブロック図である。本発明の一実施形態に係る適正単語取得装置１０がパターン対応単語と、パターンとをそれぞれノードとみなしたネットワーク構造に基づいてパターン対応単語のスコアを算出する一例を示す図である。本発明の一実施形態に係る適正単語取得装置１０のハードウェア構成の一例を示す図である。本発明の一実施形態に係る適正単語取得装置１０のネットワークスコアＤＢ２１を示す図である。本発明の一実施形態に係る適正単語取得装置１０の処理を示すフローチャートである。本発明の一実施形態に係る機械学習装置３０の機能構成を示すブロック図である。本発明の一実施形態に係る機械学習装置３０の教師データＤＢ４１の例を示す図である。

以下、本発明の実施形態について図を参照しながら説明する。

［実施例１］
図１は、本発明の一実施形態に係る適正単語取得装置１０の実施例１の機能構成を示すブロック図である。適正単語取得装置１０は、ネットワークスコア記憶手段としてネットワークスコアＤＢ２１と、初期スコアリング手段として初期スコアリング部１１と、第一のスコアリング手段として第１スコアリング部１２と、第二のスコアリング手段として第２スコアリング部１３と、適正単語取得手段として適正単語取得部１４と、を備える。そして、適正単語取得装置１０は、パターン対応単語とパターンとをネットワーク構造とみなし、ネットワークスコアＤＢ２１によるエッジスコアと、ノードの初期スコアとに基づいて、スコアリングを反復し、所定のスコア条件を満たすパターン対応単語を取得する。

適正単語取得装置１０は、予め与えられたカテゴリごとの教師データと共起するパターンと、当該パターンによって対応付けられるパターン対応単語とに基づいて適正なパターン対応単語を取得する。すなわち、教師データは、カテゴリが判明している、予め与えられるデータである。ここで、パターン及びパターン対応単語は、機械学習装置がコーパスから取得したパターン及びパターン対応単語であってもよいし、人手によって作成されてもよい。

コーパスは、自然言語の文章からなるテキストデータである。なお、コーパスとして、例えば、コンピュータネットワークにおいて検索するための検索クエリのログである検索クエリログを用いてもよい。また、検索クエリにより検索したウェブページの中からクリックしたログである検索クリックスルーログを用いてもよい。クリックスルーとは、与えられた検索クエリに対し、どのウェブページが実際にクリックされたかを示すものであり、検索結果が適切であったことが必ずしも保証されない検索クエリに対し、ページのタイトル、アドレス、スニペット（検索クエリ周辺の文脈の要約）を見た上で本文を参照しているという情報である。特に全く同一のページに到達する異なる２つの検索クエリは同義語であることが多く、カテゴリの認識を高精度に行うことができる。したがって、検索クエリログに加えて検索クリックスルーログもコーパスとして用いることで、精度とカバー率の両方を向上させることが期待される。

パターンには、共起パターンや、アドレスパターン等がある。ここで、共起パターンは、例えば、教師データと共に出現する用語との組合せを取得し、取得した組合せにおいて、教師データの出現部分を任意の置き換え可能な用語が入るとみなすことができる場合に、教師データの出現部分を除いた部分である。また、その共起パターンに対応するパターン対応単語と共に出現する用語との組合せを取得し、取得した組合せにおいて、パターン対応単語の出現部分を任意の置き換え可能な用語が入るとみなすことができる場合に、パターン対応単語の出現部分を除いた部分も含まれる。

アドレスパターンは、例えば、検索クリックスルーログを解析し、クリックスルーされたウェブページのアドレス情報、例えば、ウェブページのＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）である。

パターンによって対応付けられるパターン対応単語には、例えば、共起パターンと組合わさる用語や、アドレスパターンに対応する検索クエリがある。パターン対応単語は、予め与えられた正解データである教師データを含んでもよいし、教師データを含まなくてもよい。

ネットワークスコアＤＢ２１は、パターン対応単語と、パターンとをそれぞれノードとみなし、当該ノード間を繋ぐエッジのスコアであるエッジスコアを当該エッジに対応付けて記憶する。すなわち、ネットワーク構造として、パターン対応単語とパターンとをそれぞれノードとみなした場合に、ネットワークスコアＤＢ２１は、当該ノード間を繋ぐエッジにエッジスコアを対応付けて記憶する。

ここで、パターン対応単語と、パターンとのエッジに対応付けられるエッジスコアは、パターン対応単語とパターンとの組合せが出現する頻度等に基づいて求められる。エッジスコアは、例えば、頻度をそのまま用いてもよいし、頻度に基づいて確率値になるよう正規化してもよいし、自己相互情報量を用いても、対数尤度比を用いてもよい。

このネットワーク構造は、関連するパターンと共起するパターン対応単語は関連するという性質がある。すなわち、同じパターン対応単語と共起するパターン同士は関連する可能性が高い。その関連するパターンの多くと共起するパターン対応単語は元のパターン対応単語と関連する可能性が高い。同様に、同じパターンと共起するパターン対応単語同士は関連する可能性が高い。その関連するパターン対応単語の多くと共起するパターンは元のパターンと関連する可能性が高い。この様な性質を用いて、パターン対応単語同士の関連度という尺度の計算を効率的に行うことができる。

すなわち、適正単語取得装置１０は、パターンと、パターン対応単語とをネットワーク構造とみなし、パターン対応単語の、取得したいカテゴリとの関連度の尺度であるスコアを計算する。計算したスコアによる関連度は、教師データのカテゴリ（取得したいカテゴリ）と、パターン対応単語のカテゴリとの同じらしさを表すので、計算したスコアに基づいて、適正単語取得装置１０は、高い精度で教師データと同じカテゴリのパターン対応単語を取得することができる。

ここで、当然のことながら教師データは予め与えた単語であり正解データ（取得したいカテゴリと一致している単語）であるので、教師データを含まないパターン対応単語と、パターンとをそれぞれノードとみなしたネットワーク構造において、スコアの計算を行ってもよい。

初期スコアリング部１１は、パターン対応単語又はパターンのうち一方に所定の初期スコアを付与する。すなわち、ノードとエッジとからなるネットワーク構造の解析を行うために、初期スコアとして、例えば、パターン対応単語に初期スコアを付与し、解析を始める。又は、初期スコアとして、例えば、パターンに初期スコアを付与し、解析を始める。

所定の初期のスコアは、例えば、少なくとも１つの正解データに１、カテゴリが不明な他のデータに０を付与する。ここで正解データとは、教師データを含み、教師データと同じカテゴリのパターン対応単語又は教師データと共起するパターンをいう。例えば、教師データを含んだネットワーク構造とする場合には、少なくとも１つの教師データ、又は教師データと共起するパターンに１を付与すればよく、教師データを含まないネットワーク構造とする場合には、パターン対応単語又はパターンのうち正解データの選択を管理者から受け付け、選択された少なくとも１つの正解データに１を付与する。

第１スコアリング部１２は、パターン対応単語又はパターンのうち一方に付与されたスコアと、エッジスコアとに基づいて、パターン対応単語又はパターンのうち他方にスコアを付与する。すなわち、第１スコアリング部１２は、パターン対応単語に付与されたスコアと、エッジスコアとに基づいてパターンにスコアを付与する。又は、パターンに付与されたスコアと、エッジスコアとに基づいてパターン対応単語にスコアを付与する。この付与されたスコアは、初回は、初期スコアリング部１１によって付与された初期スコアであり、２回目以降は第２スコアリング部１３によって付与されたスコアである。

第２スコアリング部１３は、第１スコアリング部１２によって他方に付与されたスコアと、エッジスコアとに基づいて、パターン対応単語又はパターンのうち一方にスコアを付与する。すなわち、第２スコアリング部１３は、第１スコアリング部１２によってパターンに付与されたスコアと、エッジスコアとに基づいてパターン対応単語にスコアを付与する。又は、第２スコアリング部１３は、第１スコアリング部１２によってパターン対応単語に付与されたスコアと、エッジスコアとに基づいてパターンにスコアを付与する。

パターンに付与されるスコアは、パターン対応単語を行、パターンを列とする行列で表現し、数式１によって計算される。

ここでｐ_ｉはパターンｉの現在のスコア、ｘ_ｊはパターン対応単語ｊの現在のスコアであり、ｗ_ｉ，ｊはパターンｉとパターン対応単語ｊとのエッジスコアである。また、ｗ_ｉ，ｊを要素とする行列をＷとする。このエッジスコアはネットワークスコアＤＢ２１を参照することによって得られる。

パターン対応単語に付与されるスコアは、数式２で計算される。

ここで、ｙ_ｊはパターン対応単語ｊの初期スコアである。αは、初期値の重要度を示す変数（例えば、０．９）であり、０＜α＜１である。ここで、αは、行列Ｗの最大固有値をλとすると、α＜１／λである。このように、最初に与える正解データの重要度を示す１つの変数を設定するだけなので可搬性に優れる。

なお、数式１及び数式２の例は、初期スコアをパターン対応単語に付与した場合である。初期スコアをパターンに付与した場合は、数式１によってパターン対応単語に付与されるスコアが計算され、数式２によってパターンに付与されるスコアが計算される。ここで、ｘ、ｐは入れ替わり、ｙはパターンの初期スコアである。

適正単語取得部１４は、第１スコアリング部１２によるパターン又はパターン対応単語へのスコアの付与と、第２スコアリング部１３によるパターン対応単語又はパターンへのスコアの付与とを反復し、所定のスコア条件を満たすパターン対応単語を取得する。

パターンへのスコアの付与と、パターン対応単語へのスコアの付与との反復等に、並列処理プログラミングの技術を用いることで、適正単語取得装置１０は、ウェブ検索等の大量のトラフィックが見込まれる検索システムにおいても、対応が可能である。

所定のスコア条件は、例えば、付与されたパターン対応単語のスコアと、当該スコアが付与される直前に付与されたパターン対応単語のスコアとの差が全て一定の値以下となった場合に、パターン対応単語のスコアが所定の値以上であることが条件である。ここで、差が全て一定の値以下となった場合とは、反復して付与されるスコアの値が収束した場合をいい、パターン対応単語のスコアが所定の値以上であるとは、正解データのカテゴリと同じカテゴリである可能性が高いことをいう。すなわち、適正単語取得部１４は、反復したスコアリングが収束した場合に、正解データと同じカテゴリである可能性が高いパターン対応単語を取得する。

所定のスコア条件は、一定回数（例えば、４０回）だけ反復し、スコアの順位が変化しない場合に、スコア順位の上位のパターン対応単語を取得するとしてもよい。一定回数の反復によって順位が変化しないことを判定することによって、計算量を削減することができる。

図２は、本発明の一実施形態に係る適正単語取得装置１０がパターン対応単語と、パターンとをそれぞれノードとみなしたネットワーク構造に基づいてパターン対応単語のスコアを算出する一例を示す図である。

図２（１）は、教師データ（例えば、カテゴリが女優）である「×××子」と、パターン対応単語「奈良」、「○○○子」と、パターン「＃＋画像」、「＃＋写真集」、「＃＋ホテル」、「＃＋観光」とをノードとみなし、共起関係にあるノードをそれぞれエッジで繋げて、ネットワーク構造を構成していることを示す図である。すなわち、教師データである「×××子」は、例えばコーパスが検索ログの場合に、「×××子＿画像」、「×××子＿写真集」として出現する（＿はスペースを表す）。そこで、パターン「＃＋画像」、「＃＋写真集」が抽出される。抽出されたパターンにより、「奈良＿写真集」、「○○○子＿画像」、「○○○子＿写真集」を抽出し、パターン対応単語である「奈良」、「○○○子」を取得し、ネットワーク構造として表している。更に、「奈良」と共起するパターン「＃＋ホテル」、「＃＋観光」をも抽出していることを表している。

図２（２）は、パターン対応単語と、パターンとのエッジスコアを行列形式にして示した図である。適正単語取得装置１０は、ネットワークスコアＤＢ２１に基づいてこのような参照用のエッジスコアをハードディスク１０７４（後述する図３参照）等に記憶している。

図２（３）は、１回目に初期スコアとして、教師データである「×××子」にスコア１を付与し、「×××子」以外のパターン対応単語である「奈良」、「○○○子」にスコア０を付与したことを示し、付与したスコアと、エッジスコアとに基づいて、パターンのスコアを算出し、算出したパターンのスコアとエッジスコアとに基づいて教師データ及びパターン対応単語のスコアの算出を反復した結果、４０回目に付与したパターン対応単語のスコアと、当該スコアを付与する直前である３９回目に付与したパターン対応単語のスコアとの差が全て一定の値（例えば、０．０１）以下となった場合に、パターン対応単語のスコアが所定の値（例えば、０．３）以上であることを満たすパターン対応単語である「○○○子」を適正なパターン対応単語として取得できたことを表している。適正単語取得装置１０は、このような計算過程をハードディスク１０７４（後述する図３参照）等に記憶している。

図３は、本発明の一実施形態に係る適正単語取得装置１０のハードウェア構成の一例を示す図である。

適正単語取得装置１０は、制御部１０００を構成するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０１０（マルチプロセッサ構成ではＣＰＵ＿Ａ１０１２等複数のＣＰＵが追加されてもよい）、バスライン１００５、通信Ｉ／Ｆ１０４０、メインメモリ１０５０、ＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔＯｕｔｐｕｔＳｙｓｔｅｍ）１０６０、Ｉ／Ｏコントローラ１０７０、ハードディスク１０７４、光ディスクドライブ１０７６、半導体メモリ１０７８、表示装置１０８０並びに入力装置１０９０を備える。

制御部１０００は、適正単語取得装置１０を統括的に制御する部分であり、ハードディスク１０７４に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。

通信Ｉ／Ｆ１０４０は、適正単語取得装置１０を専用ネットワーク又は公共ネットワークを介して他のサーバ等と接続できるようにするためのネットワーク・アダプタである。通信Ｉ／Ｆ１０４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。

ＢＩＯＳ１０６０は、適正単語取得装置１０の起動時にＣＰＵ１０１０が実行するブートプログラムや、適正単語取得装置１０のハードウェアに依存するプログラム等を格納する。

Ｉ／Ｏコントローラ１０７０には、ハードディスク１０７４、光ディスクドライブ１０７６、半導体メモリ１０７８等の記憶手段を接続することができる。

ハードディスク１０７４は、適正単語取得装置１０が本発明の機能を実行するためのプログラムを記憶しており、ネットワークスコアＤＢ２１等のデータベース等を記憶している。

光ディスクドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク１０７７を使用する。光ディスク１０７７から光ディスクドライブ１０７６によりプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０又はハードディスク１０７４に提供することもできる。

適正単語取得装置１０に提供されるプログラムは、ハードディスク１０７４、光ディスク１０７７、又はメモリカード等の記録媒体に格納されて提供される。このプログラムは、Ｉ／Ｏコントローラ１０７０を介して、記録媒体から読み出され、又は通信Ｉ／Ｆ１０４０を介してダウンロードされることによって、適正単語取得装置１０にインストールされ実行されてもよい。

表示装置１０８０は、適正単語取得装置１０による演算処理結果の画面等を表示するものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。

入力装置１０９０は、適正単語取得装置１０への入力の受け付けを行うものであり、キーボード及びマウス等で構成される。

図４は、本発明の一実施形態に係る適正単語取得装置１０のネットワークスコアＤＢ２１を示す図である。ネットワークスコアＤＢ２１は、単語に対応付けて、コーパスのタイプ（例えば、検索クエリログの場合はクエリ、クリックスルーログの場合はクリック等）と、パターン（例えば、共起パターン、アドレスパターン）と、頻度と、エッジスコアとを記憶している。頻度は、単語がパターンと共に出現する頻度であり、エッジスコアは、例えば、単語ごとの頻度に基づいて作成された、エッジに付与されるスコアである。

図５は、本発明の一実施形態に係る適正単語取得装置１０の処理を示すフローチャートである。なお、本処理は、プログラム開始指令を受けて処理を開始し、プログラムを実行し終了する。

ステップＳ１０１において、ＣＰＵ１０１０は、パターン対応単語又はパターンのうち一方に所定の初期スコアを付与する。より具体的には、ＣＰＵ１０１０は、少なくとも１つの正解データ（例えば、教師データ）に１、他のデータに０を付与し、ハードディスク１０７４に記憶する。すなわち、パターン対応単語に初期スコアを付与する場合には、パターン対応単語のうちの少なくとも１つの正解データ（例えば、教師データ）に１、カテゴリを付与する対象であるパターン対応単語に０を付与する。パターンに初期スコアを付与する場合には、パターンのうちの少なくとも１つの正解データ（例えば、教師データと共起するパターン）に１、他のパターンに０を付与する。その後、ＣＰＵ１０１０は、処理をステップＳ１０２に移す。

ステップＳ１０２において、ＣＰＵ１０１０は、パターン対応単語又はパターンのうち一方に付与されたスコアと、エッジスコアとに基づいて、パターン対応単語又はパターンのうち他方にスコアを付与する。より具体的には、ＣＰＵ１０１０は、ステップＳ１０１又はステップＳ１０３においてパターン対応単語に付与されたスコアと、ネットワークスコアＤＢ２１を参照して取得したエッジスコアとに基づいて、初期スコアがパターン対応単語の場合における数式１の計算を行い、パターンにスコアを付与する。又は、ＣＰＵ１０１０は、ステップＳ１０１又はステップＳ１０３においてパターンに付与されたスコアと、ネットワークスコアＤＢ２１を参照して取得したエッジスコアとに基づいて、初期スコアがパターンの場合における数式１の計算を行い、パターン対応単語にスコアを付与する。ＣＰＵ１０１０は、付与したスコアをハードディスク１０７４に記憶する。その後、ＣＰＵ１０１０は、処理をステップＳ１０３に移す。

ステップＳ１０３において、ＣＰＵ１０１０は、ステップＳ１０２によって他方に付与されたスコアと、エッジスコアとに基づいて、パターン対応単語又はパターンのうち一方にスコアを付与する。より具体的には、ＣＰＵ１０１０は、ステップＳ１０２においてパターンに付与されたスコアと、ネットワークスコアＤＢ２１を参照して取得したエッジスコアとに基づいて、初期スコアがパターン対応単語の場合における数式２の計算を行い、パターン対応単語にスコアを付与する。又は、ＣＰＵ１０１０は、ステップＳ１０２においてパターン対応単語に付与されたスコアと、ネットワークスコアＤＢ２１を参照して取得したエッジスコアとに基づいて、初期スコアがパターンの場合における数式２の計算を行い、パターンにスコアを付与する。ＣＰＵ１０１０は、付与したスコアをハードディスク１０７４に記憶する。その後、ＣＰＵ１０１０は、処理をステップＳ１０４に移す。

ステップＳ１０４において、ＣＰＵ１０１０は、スコア条件を満たすか否かを判断する。より具体的には、ＣＰＵ１０１０は、ハードディスク１０７４に記憶した、付与したパターン対応単語のスコアと、当該スコアを付与する直前に付与したパターン対応単語のスコアとの差が、全てのパターン対応単語について一定の値以下となったか否かを判断する。この判断がＹＥＳの場合は処理をステップＳ１０５に移し、ＮＯの場合は処理をステップＳ１０２に移す。

ステップＳ１０５において、ＣＰＵ１０１０は、適正単語を取得する。より具体的には、ＣＰＵ１０１０は、ハードディスク１０７４に記憶した、パターン対応単語のスコアが所定の値以上であるパターン対応単語を取得する。その後、ＣＰＵ１０１０は、処理を終了する。

［実施例２］
図６は、本発明の一実施形態に係る機械学習装置３０の機能構成を示すブロック図である。機械学習装置３０は、ブートストラップ部３５と、適正単語取得装置１０と、教師データ追加部３６と、教師データＤＢ４１と、ネットワークスコアＤＢ２１とを備えている。

ブートストラップ部３５は、既存の技術に基づいてコーパスからブートストラップにより単語を抽出する。例えば、教師データＤＢ４１（後述する図７参照）から取得した教師データのカテゴリと一致したコーパスをコーパスＤＢ４２から取得し、取得したコーパスを形態素解析し、形態素解析に基づいて、コーパスの中から教師データと共起するパターンを抽出し、抽出したパターンによって対応付けられるパターン対応単語を取得する。そして、抽出したパターンと、取得したパターン対応単語とを適正単語取得装置１０に与える。

適正単語取得装置１０は、上述の様に、ネットワークスコアＤＢ２１と、初期スコアリング部１１と、第１スコアリング部１２と、第２スコアリング部１３と、適正単語取得部１４と、を備え、与えられたパターン対応単語及びパターンをネットワーク構造とみなし、ネットワークスコアＤＢ２１によるエッジスコアと、ノードの初期スコアとに基づいて、スコアリングを反復し、所定のスコア条件を満たすパターン対応単語を取得する。

教師データ追加部３６は、適正単語取得装置１０が取得したパターン対応単語を教師データＤＢ４１に追加する。よって、機械学習装置３０は、精度の高い教師データＤＢ４１を効率よく作成することができる。

図７は、本発明の一実施形態に係る機械学習装置３０の教師データＤＢ４１の例を示す図である。教師データＤＢ４１は、単語に対応付けて、カテゴリを記憶する。

機械学習装置３０のハードウェア構成は、適正単語取得装置１０のハードウェア構成（図３）と同様である。

実施例１によれば、適正単語取得装置１０は、パターン対応単語と、パターンとをそれぞれノードとみなし、当該ノード間を繋ぐエッジのスコアであるエッジスコアを当該エッジに対応付けて記憶するネットワークスコアＤＢ２１を備え、パターン対応単語又はパターンのうち一方に所定の初期スコアを付与する。そして、パターン対応単語又はパターンのうち一方に付与されたスコアと、エッジスコアとに基づいて、パターン対応単語又はパターンのうち他方にスコアを付与し、他方に付与されたスコアと、エッジスコアとに基づいて、パターン対応単語又はパターンのうち一方にスコアを付与し、他方へのスコアの付与と、一方へのスコアの付与とを反復し、所定のスコア条件を満たすパターン対応単語を取得する。よって、適正単語取得装置１０は、初期スコアに基づいて、正解データとの関連度を表すスコアに基づいてパターン対応単語を取得するので、初期スコア時の変数によって、教師データのカテゴリと同じカテゴリのパターン対応単語を取得することができる。したがって、本発明に係る適正単語取得装置は、教師データと同じカテゴリの単語を、多くの変数を調整することなく精度高く適正に取得できる。

更に、適正単語取得装置１０は、付与したパターン対応単語のスコアと、当該スコアを付与する直前に付与したパターン対応単語のスコアとの差が全て一定の値以下となった場合に、パターン対応単語のスコアが所定の値以上であること、を満たすパターン対応単語を取得する。よって、適正単語取得装置１０は、ネットワーク構造によるスコアリングを反復し、反復したスコアリングが収束し、予め与えられた教師データとの関連度を表すスコアが所定の値以上であるパターン対応単語を取得するので、教師データのカテゴリと同じカテゴリのパターン対応単語を取得することができる。したがって、適正単語取得装置１０は、教師データと同じカテゴリの単語をスコアに基づいて精度高く適正に取得できる。

実施例２によれば、機械学習装置３０は、ブートストラップ部３５と、適正単語取得装置１０と、教師データ追加部３６とを備え、ブートストラップ部３５が抽出したパターンと、取得したパターン対応単語とを適正単語取得装置１０に与え、適正単語取得装置１０が、適正なパターン対応単語を取得し、取得したパターン対応単語を教師データ追加部３６が教師データＤＢ４１に追加する。したがって、機械学習装置３０は、教師データと同じカテゴリのパターン対応単語を、多くの変数を調整することなく、ネットワークスコアＤＢ２１に基づいて精度高く適正に取得するので、取得したパターン対応単語を教師データＤＢ４１に追加するごとに精度を向上させることができ、教師データＤＢ４１を効率よく作成することができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。

１０適正単語取得装置
１１初期スコアリング部
１２第１スコアリング部
１３第２スコアリング部
１４適正単語取得部
２１ネットワークスコアＤＢ
３０機械学習装置
３５ブートストラップ部
３６教師データ追加部
４１教師データＤＢ

Claims

予め与えられたカテゴリごとの教師データと共起するパターンと、当該パターンによって対応付けられるパターン対応単語とに基づいて適正なパターン対応単語を取得する適正単語取得装置であって、
前記パターン対応単語と、前記パターンとをそれぞれノードとみなし、当該ノード間を繋ぐエッジのスコアであるエッジスコアを当該エッジに対応付けて記憶するネットワークスコア記憶手段と、
前記パターン対応単語又は前記パターンのうち一方に所定の初期スコアを付与する初期スコアリング手段と、
前記パターン対応単語又は前記パターンのうち前記一方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち他方にスコアを付与する第一のスコアリング手段と、
前記第一のスコアリング手段によって前記他方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち前記一方にスコアを付与する第二のスコアリング手段と、
前記第一のスコアリング手段によるスコアの付与と、前記第二のスコアリング手段によるスコアの付与とを反復し、所定のスコア条件を満たす前記パターン対応単語を取得する適正単語取得手段と、
を備え、
前記ネットワークスコア記憶手段が記憶するネットワークを、前記パターン対応単語と前記パターンとを対応させた行列とし、当該行列内の要素として当該パターン対応単語と当該パターンとのエッジスコアを記憶し、
前記第一のスコアリング手段と前記第二のスコアリング手段は、前記ネットワークスコア記憶手段が記憶している行列に対して、当該行列の最大固有値λに基づいて定められており、初期値の重要度を示す変数を用いてスコアの計算を行う
ことを特徴とする適正単語取得装置。
前記所定のスコア条件は、前記第一のスコアリング手段又は前記第二のスコアリング手段が付与した前記パターン対応単語のスコアと、当該スコアを付与する直前に前記第一のスコアリング手段又は前記第二のスコアリング手段が付与した前記パターン対応単語のスコアとの差が全て一定の値以下となった場合に、前記パターン対応単語のスコアが所定の値以上であること、を特徴とする請求項１に記載の適正単語取得装置。
予め与えられたカテゴリごとの教師データと共起するパターンをコーパスから抽出し、抽出した前記パターンによって対応付けられるパターン対応単語を取得する機械学習装置であって、
前記パターン対応単語と、前記パターンとをそれぞれノードとみなし、当該ノード間を繋ぐエッジのスコアであるエッジスコアを当該エッジに対応付けて記憶するネットワークスコア記憶手段と、
前記パターン対応単語又は前記パターンのうち一方に所定の初期スコアを付与する初期スコアリング手段と、
前記パターン対応単語又は前記パターンのうち前記一方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち他方にスコアを付与する第一のスコアリング手段と、
前記第一のスコアリング手段によって前記他方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち前記一方にスコアを付与する第二のスコアリング手段と、
前記第一のスコアリング手段によるスコアの付与と、前記第二のスコアリング手段によるスコアの付与とを反復し、所定のスコア条件を満たす前記パターン対応単語を取得する適正単語取得手段と、
を備え、
前記ネットワークスコア記憶手段が記憶するネットワークを、前記パターン対応単語と前記パターンとを対応させた行列とし、当該行列内の要素として当該パターン対応単語と当該パターンとのエッジスコアを記憶し、
前記第一のスコアリング手段と前記第二のスコアリング手段は、前記ネットワークスコア記憶手段が記憶している行列に対して、当該行列の最大固有値λに基づいて定められており、初期値の重要度を示す変数を用いてスコアの計算を行う
ことを特徴とする機械学習装置。
前記所定のスコア条件は、前記第一のスコアリング手段又は前記第二のスコアリング手段が付与した前記パターン対応単語のスコアと、当該スコアを付与する直前に前記第一のスコアリング手段又は前記第二のスコアリング手段が付与した前記パターン対応単語のスコアとの差が全て一定の値以下となった場合に、前記パターン対応単語のスコアが所定の値以上であること、を特徴とする請求項３に記載の機械学習装置。
予め与えられたカテゴリごとの教師データと共起するパターンと、当該パターンによって対応付けられるパターン対応単語とに基づいて適正なパターン対応単語を取得する適正単語取得装置において、前記パターン対応単語と、前記パターンとをそれぞれノードとみなし、当該ノード間を繋ぐエッジのスコアであるエッジスコアを当該エッジに対応付けて記憶するネットワークスコア記憶手段を備える適正単語取得装置が実行する方法であって、
前記パターン対応単語又は前記パターンのうち一方に所定の初期スコアを付与するステップと、
前記パターン対応単語又は前記パターンのうち前記一方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち他方にスコアを付与するステップと、
前記他方にスコアを付与するステップによって前記他方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち前記一方にスコアを付与するステップと、
前記他方にスコアを付与するステップと、前記一方にスコアを付与するステップとを反復し、所定のスコア条件を満たす前記パターン対応単語を取得するステップと、
を備え、
前記ネットワークスコア記憶手段が記憶するネットワークを、前記パターン対応単語と前記パターンとを対応させた行列とし、当該行列内の要素として当該パターン対応単語と当該パターンとのエッジスコアを記憶し、
前記他方にスコアを付与するステップと前記一方にスコアを付与するステップは、前記ネットワークスコア記憶手段が記憶している行列に対して、当該行列の最大固有値λに基づいて定められており、初期値の重要度を示す変数を用いてスコアの計算を行う
ことを特徴とする方法。
予め与えられたカテゴリごとの教師データと共起するパターンをコーパスから抽出し、抽出した前記パターンによって対応付けられるパターン対応単語を取得する機械学習装置において、前記パターン対応単語と、前記パターンとをそれぞれノードとみなし、当該ノード間を繋ぐエッジのスコアであるエッジスコアを当該エッジに対応付けて記憶するネットワークスコア記憶手段を備える機械学習装置が実行する方法であって、
前記パターン対応単語又は前記パターンのうち一方に所定の初期スコアを付与するステップと、
前記パターン対応単語又は前記パターンのうち前記一方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち他方にスコアを付与するステップと、
前記他方にスコアを付与するステップによって前記他方に付与されたスコアと、前記エッジスコアとに基づいて、前記パターン対応単語又は前記パターンのうち前記一方にスコアを付与するステップと、
前記他方にスコアを付与するステップと、前記一方にスコアを付与するステップとを反復し、所定のスコア条件を満たす前記パターン対応単語を取得するステップと、
を備え、
前記ネットワークスコア記憶手段が記憶するネットワークを、前記パターン対応単語と前記パターンとを対応させた行列とし、当該行列内の要素として当該パターン対応単語と当該パターンとのエッジスコアを記憶し、
前記他方にスコアを付与するステップと前記一方にスコアを付与するステップは、前記ネットワークスコア記憶手段が記憶している行列に対して、当該行列の最大固有値λに基づいて定められており、初期値の重要度を示す変数を用いてスコアの計算を行う
ことを特徴とする方法。