JP7517432B2 - 学習装置、学習済みモデル生成方法、及びプログラム - Google Patents
学習装置、学習済みモデル生成方法、及びプログラム Download PDFInfo
- Publication number
- JP7517432B2 JP7517432B2 JP2022543229A JP2022543229A JP7517432B2 JP 7517432 B2 JP7517432 B2 JP 7517432B2 JP 2022543229 A JP2022543229 A JP 2022543229A JP 2022543229 A JP2022543229 A JP 2022543229A JP 7517432 B2 JP7517432 B2 JP 7517432B2
- Authority
- JP
- Japan
- Prior art keywords
- score
- training data
- pairs
- positive
- data labeled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、２クラス分類に用いるスコア関数のパラメータを機械学習するための、学習装置、及び学習済みモデル生成方法に関し、更には、２クラス分類を行う分類装置、分類方法に関し、更には、これらを実現するためのプログラムに関する。
観測データが正例クラス及び負例クラスのいずれであるかを判定する２クラス分類では、観測データに応じて、スコアを出力するスコア関数のパラメータが機械学習され、２クラス分類を行う学習済みモデルが生成される。２クラス分類は、例えば、画像データを利用した、映像監視、故障診断、検品、及び医用画像診断等で利用されている。
２クラス分類における機械学習の手法としては、ＡＵＣ（Area Under the Curve）が最大化するように、スコア関数のパラメータを学習する学習方法（以下「ＡＵＣを用いた学習方法」と表記する。）が知られている（例えば、非特許文献１参照）。一般に、２クラス分類では、負例クラスの訓練データに比べて正例クラスの訓練データが極端に少ない事態が生じ易いが、このような場合でも、ＡＵＣによれば高い分類精度が得られることが知られている。
また、偽陽性率を低く設定した時の真陽性率を改善するように、ＡＵＣの一部を最大化するように改良したｐａｒｔｉａｌ ＡＵＣ（以下「ｐＡＵＣ」と表記する）も提案されている（例えば、非特許文献２参照）。ｐＡＵＣを最大化するようにスコア関数のパラメータを学習する学習方法（以下「ｐＡＵＣを用いた学習方法」と表記する。）は、例えば、特許文献１に開示されている。
ここで、ＡＵＣ及びｐＡＵＣについて、図９及び図１０を用いて説明する。図９（ａ）は、ＡＵＣを説明するための図であり、図９（ｂ）は、ｐＡＵＣを説明するための図である。図１０（ａ）は、ＡＵＣの計算に必要な正例及び負例のペアの一例を示す図であり、図１０（ｂ）は、ｐＡＵＣの計算に必要な正例及び負例のペアの一例を示す図である。
図９（ａ）及び（ｂ）には、ＲＯＣ（Receiver Operating Characteristic）曲線が示されている。ＲＯＣ曲線は、スコア関数における正例と負例とを決める閾値を変化させて、真陽性率（縦軸）と偽陽性率（横軸）とをプロットして得られる曲線である。また、真陽性率は正例クラスのデータを正しく正例クラスに分類する検出正解率を示し、偽陽性率は負例クラスのデータを誤って正例クラスに分類する誤検知率を示している。
図９（ａ）に示すように、ＡＵＣは、ＲＯＣ（Receiver Operating Characteristic）曲線の横軸側（下側）の領域の面積を示す。また、図９（ｂ）に示すように、ｐＡＵＣは、偽陽性率の値をある固定値βとしたときのＡＵＣの値であり、ＲＯＣ曲線、横軸、固定値βを通る縦軸とで囲まれた領域の面積を示している。
C. Cortes and M. Mohri, AUC optimization vs. error rate minimization, In Advance in Neural Information Processing Systems, MIT Press, 2004.
H. Narasimhan and S. Agarwal, "A Structural SVM Based Approach for Optimizing Partial AUC", Int’l Conf. on Machine Learning (ICML), 2013.
しかしながら、図１０（ａ）に示すように、ＡＵＣを用いた学習方法では、全ての正例と全ての負例とが総当たりとなるようにペアを設定し、設定されたペア全てを用いてＡＵＣを計算する必要がある。このため、ＡＵＣを用いた学習方法には、計算量が多く、機械学習に時間がかかるという問題がある。ここで、ｓ＋
ｉはＮ＋個の正例クラスの訓練データのスコア、ｓ－
ｊはＮ－個の負例クラスの訓練データのスコアである。図１０（ａ）において灰色で示したペアのうちｓ－
ｊよりもｓ＋
ｉの方が大きいペアの総数を、Ｎ＋×Ｎ－で除算すると、得られた値がＡＵＣとなる。
一方、ｐＡＵＣを用いた学習方法では、図１０（ｂ）に示すように、負例クラスの訓練データをスコアの値が大きい順にソートし、予め設定した偽陽性率βに含まれる負例クラスのデータと全ての正例クラスのデータとのペアを用いてｐＡＵＣを計算する。具体的には、図１０（ｂ）において灰色で示したペアのうちｓ－
ｊよりもｓ＋
ｉの方が大きいペアの総数を、Ｎ＋×βＮ－で除算すると、得られた値がｐＡＵＣとなる。そのため、計算の対象となるペアの数を、ＡＵＣを用いた学習方法に比べて少なくすることができる。しかし、ｐＡＵＣを用いた学習方法であっても、計算が必要なペアの数は依然として多く、更に計算量を減らすことが求められている。
本発明の目的の一例は、上記問題を解消し、２クラス分類に用いるスコア関数のパラメータの機械学習において、機械学習にかかる時間の短縮化を図ることにある。
上記目的を達成するため、本発明の一側面における学習装置は、２クラス分類のためのスコア関数を機械学習するための装置であって、
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出する、スコア算出部と、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定する、スコア特定部と、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成する、ペア作成部と、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習によって更新する、最適化部と、
を備えている、
ことを特徴とする。
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出する、スコア算出部と、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定する、スコア特定部と、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成する、ペア作成部と、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習によって更新する、最適化部と、
を備えている、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における学習済モデル生成方法は、２クラス分類のためのスコア関数を機械学習するための方法であって、
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出する、スコア算出ステップと、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定する、スコア特定ステップと、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成する、ペア作成ステップと、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習によって更新する、最適化ステップと、
を有する、
ことを特徴とする。
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出する、スコア算出ステップと、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定する、スコア特定ステップと、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成する、ペア作成ステップと、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習によって更新する、最適化ステップと、
を有する、
ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面における第１のプログラムは、コンピュータに２クラス分類のためのスコア関数を機械学習させるためのプログラムであって、
前記コンピュータに、
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出する、スコア算出ステップと、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定する、スコア特定ステップと、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成する、ペア作成ステップと、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習によって更新する、最適化ステップと、
を実行させる、プログラム。
前記コンピュータに、
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出する、スコア算出ステップと、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定する、スコア特定ステップと、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成する、ペア作成ステップと、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習によって更新する、最適化ステップと、
を実行させる、プログラム。
上記目的を達成するため、本発明の一側面における分類装置は、
テストデータをスコア関数に入力して、スコアを算出する、スコア算出部と、
算出された前記スコアの値に基づいて、前記テストデータを２クラスに分類する、分類部と、を備え、
前記スコア関数は、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとし、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとし、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成し、
作成した前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアが大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習することによって得られた関数である、
ことを特徴とする。
テストデータをスコア関数に入力して、スコアを算出する、スコア算出部と、
算出された前記スコアの値に基づいて、前記テストデータを２クラスに分類する、分類部と、を備え、
前記スコア関数は、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとし、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとし、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成し、
作成した前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアが大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習することによって得られた関数である、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における分類方法は、
テストデータをスコア関数に入力して、スコアを算出する、スコア算出ステップと、
算出された前記スコアの値に基づいて、前記テストデータを２クラスに分類する、分類ステップと、を有し、
前記スコア関数は、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとし、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとし、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成し、
作成した前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアが大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習することによって得られた関数である、
ことを特徴とする。
テストデータをスコア関数に入力して、スコアを算出する、スコア算出ステップと、
算出された前記スコアの値に基づいて、前記テストデータを２クラスに分類する、分類ステップと、を有し、
前記スコア関数は、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとし、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとし、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成し、
作成した前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアが大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習することによって得られた関数である、
ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面における第２のプログラムは、コンピュータに、
テストデータをスコア関数に入力して、スコアを算出する、スコア算出ステップと、
算出された前記スコアの値に基づいて、前記テストデータを２クラスに分類する、分類ステップと、
を実行させ、
前記スコア関数は、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとし、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとし、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成し、
作成した前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアが大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習することによって得られた関数である、
ことを特徴とする。
テストデータをスコア関数に入力して、スコアを算出する、スコア算出ステップと、
算出された前記スコアの値に基づいて、前記テストデータを２クラスに分類する、分類ステップと、
を実行させ、
前記スコア関数は、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとし、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとし、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成し、
作成した前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアが大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習することによって得られた関数である、
ことを特徴とする。
以上のように本発明によれば、２クラス分類に用いるスコア関数のパラメータの機械学習において、機械学習にかかる時間の短縮化を図ることができる。
（実施の形態１）
以下、実施の形態１における、学習装置、学習済みモデル生成方法、及びプログラムについて、図１～図５を参照しながら説明する。
以下、実施の形態１における、学習装置、学習済みモデル生成方法、及びプログラムについて、図１～図５を参照しながら説明する。
［装置構成］
最初に、実施の形態１における学習装置の概略構成について図１を用いて説明する。図１は、実施の形態１における学習装置の概略構成を示す構成図である。
最初に、実施の形態１における学習装置の概略構成について図１を用いて説明する。図１は、実施の形態１における学習装置の概略構成を示す構成図である。
図１に示す、実施の形態１における学習装置１００は、２クラス分類のためのスコア関数を機械学習するための装置である。図１に示すように、実施の形態１における学習装置１００は、スコア算出部１０と、スコア特定部２０と、ペア作成部３０と、最適化部４０とを備えている。
スコア算出部１０は、正例又は負例のラベルが付与された複数の訓練データをスコア関数に入力して、スコアを算出する。スコア特定部２０は、正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定する。また、スコア特定部２０は、負例のラベルが付与された訓練データについて算出されたスコアのうち、最大のものを、最大スコアとして特定する。
ペア作成部３０は、正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出されたスコアが最小スコア以上最大スコア以下となっている訓練データを選択し、選択した訓練データによって正例と負例とのペア群を作成する。
最適化部４０は、ペア作成部３０によって作成されたペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるように、スコア関数のパラメータを機械学習によって更新する。
このように、実施の形態１では、スコア関数のパラメータの機械学習に用いる訓練データは、スコアが最小スコア以上最大スコア以下となる訓練データに制限される。このため、実施の形態１によれば、２クラス分類に用いるスコア関数のパラメータの機械学習において、機械学習にかかる時間の短縮化を図ることができる。
続いて、図２～図４を用いて、実施の形態１における学習装置１００の構成及び機能について具体的に説明する。図２は、実施の形態１における学習装置の構成を具体的に示す構成図である。図３は、実施の形態１において算出される正例及び負例のスコアと確率密度との関係を示す図である。図４は、実施の形態１において作成されたペア群の一例を示す図である。
図２に示すように、実施の形態１では、学習装置１００は、訓練データを入力する端末装置２００に、データ通信可能に接続されている。端末装置２００の具体例としては、汎用のコンピュータ、スマートフォン、タブレット型端末装置などが挙げられる。
また、図２に示すように、実施の形態１では、学習装置１００は、上述したスコア算出部１０、スコア特定部２０、ペア作成部３０、及び最適化部４０に加えて、訓練データ格納部５０を備えている。
訓練データ格納部５０は、端末装置２００から送信されてきた訓練データを格納する。訓練データには、正例と負例とが含まれている。
スコア算出部１０は、実施の形態１では、訓練データ格納部５０に格納されている各訓練データを、スコア関数に入力して、訓練データ毎にスコアを算出する。ここで、正例のラベルがついた訓練データのスコアをＳｉ
＋、負例のラベルがついた訓練データのスコアをＳｊ
－とする。ｉ及びｊは、１以上の整数である。また、スコア関数をｆ（ｘ；θ）と定義する。ｘはスコア関数に入力するデータ、θはスコア関数のパラメータである。
スコア特定部２０は、実施の形態１では、図３に示すように、正例のラベルが付与された訓練データ（以下「正例データ」と表記する。）のスコアＳｉ
＋の中から、最小のスコア（最小スコア）Ｓ１
＋を特定する。更に、スコア特定部２０は、負例のラベルが付与された訓練データ（以下「負例データ」と表記する。）のスコアＳｊ
－の中から、最大のスコア（最大スコア）Ｓ１
－を特定する。また、図３に示すように、スコア分布に重なりがある場合は、両者の間には、Ｓ１
＋＜Ｓ１
－の関係がある。
ペア作成部３０は、まず、正例データ及び負例データそれぞれから、スコアがＳ１
＋以上Ｓ１
－以下となっている訓練データ（図３参照）を選択するが、実施の形態では、ランダムに、設定数の訓練データだけを選択する。具体的には、ペア作成部３０は、ｍ個の正例データ（以下「集合Ｐ」と表記する）と、ｎ個の負例データ（以下「集合Ｎ」と表記する）とをランダムに選択する。これにより、合計ｍ×ｎ個（設定数）のペアで構成されたペア群が作成される。
図４の例では、３つの正例データ（スコア：Ｓ１
＋，Ｓ２
＋，Ｓ３
＋）の中から、２個の正例データ（スコア：Ｓ１
＋，Ｓ３
＋）が選択され、４つの負例データ（スコア：Ｓ１
－，Ｓ２
－，Ｓ３
－，Ｓ４
－）の中から、２個の負例データ（スコア：Ｓ１
－，Ｓ４
－）が選択されている。ペア群を構成するペアの数は、４個である。このような態様とすれば、機械学習に必要なペアの数をより少なくすることができるので、機械学習にかかる時間がいっそう短縮化される。
最適化部４０は、実施の形態１では、ペア作成部３０によって作成されたペア群を下記数１に適用したときに得られる、ＡＵＣ（θ）の値が最も大きくなるように、例えば、機械学習として下記数２による山登り法を用いて、スコア関数ｆ（ｘ；θ）におけるパラメータθを更新する。山登り法は、機械学習による探索手法の１つであり、あるデータの近傍で最も正解に近いデータを選択することと、選択したデータの近傍で更に最も正解に近いデータを選択することとを、繰り返して実行することで、最終的な解を得る方法である。
下記数１において｜Ｐ｜、｜Ｎ｜は、それぞれ、上述した集合Ｐ及び集合Ｎのデータ数を示している。また、ｇ（・）は、０－１関数を微分可能にして得られた関数である。ｇ（・）の具体例としては、シグモイド関数、任意の単調増加関数が挙げられる。下記数２において、εは、微少な正の実数を示している。
このように、最適化部４０が、上記数１及び数２を用いて更新処理を実行すれば、結果、負例データのスコアよりも正例データのスコアの方が大きいペアの数が増えるように、スコア関数のパラメータθが更新される。
［装置動作］
次に、実施の形態１における学習装置１００の動作について図５を用いて説明する。図５は、実施の形態１における学習装置の動作を示すフロー図である。以下の説明においては、適宜図１～図４を参照する。また、実施の形態１では、学習装置１００を動作させることによって、学習済モデル生成方法が実施される。よって、実施の形態１における学習済モデル生成方法の説明は、以下の学習装置１００の動作説明に代える。
次に、実施の形態１における学習装置１００の動作について図５を用いて説明する。図５は、実施の形態１における学習装置の動作を示すフロー図である。以下の説明においては、適宜図１～図４を参照する。また、実施の形態１では、学習装置１００を動作させることによって、学習済モデル生成方法が実施される。よって、実施の形態１における学習済モデル生成方法の説明は、以下の学習装置１００の動作説明に代える。
図５に示すように、最初に、スコア算出部１０は、訓練データ格納部５０に格納されている各訓練データを取得し、各訓練データをスコア関数ｆ（ｘ；θ）に入力して、訓練データ毎にスコアを算出する（ステップＡ１）。なお、後述のステップＡ５が一度も実行されていない場合は、パラメータθの値としては、初期値が用いられる。
次に、スコア特定部２０は、ステップＡ１で算出された正例データのスコアＳｉ
＋の中から、最小スコアＳ１
＋を特定し、負例データのスコアＳｊ
－の中から、最大スコアＳ１
－を特定する（ステップＡ２）。
次に、ペア作成部３０は、スコアがＳ１
＋以上Ｓ１
－以下となっている訓練データの中から、ランダムに、設定数の訓練データだけを選択し、選択した訓練データの正例データと負例データとを用いて、ペア群を作成する（ステップＡ３）。
次に、最適化部４０は、ステップＡ３で作成されたペア群を、上記数１に適用して、ＡＵＣ（θ）を計算しながら、機械学習として上記数２による山登り法を用いて、計算したＡＵＣ（θ）の値が最も大きくなるように、スコア関数におけるパラメータθを更新する（ステップＡ４）。
次に、最適化部４０は、終了条件を満たしているかどうかを判定する（ステップＡ５）。終了条件としては、例えば、山登り法によってパラメータθを変化させたときの、ＡＵＣ（θ）の計算値の変動幅が小さいこと（変動幅が閾値以下であること）が、挙げられる。
ステップＡ５の判定の結果、終了条件が満たされていない場合は、最適化部４０は、スコア算出部１０に対して、更新後のパラメータθを用いて、再度ステップＡ１を実行させる。
一方、ステップＡ５の判定の結果、終了条件が満たされている場合は、最適化部４０は、ステップＡ４で算出したスコア関数ｆ（ｘ；θ）のパラメータθを出力する（ステップＡ６）。
［実施の形態１における効果］
このように、実施の形態１によれば、従来からの２クラス分類に比べて、機械学習に必要なペアの数を少なくして（図４参照）、スコア関数のパラメータθを更新することができる。このことから、実施の形態１によれば、２クラス分類に用いるスコア関数のパラメータの機械学習において、機械学習にかかる時間の短縮化を図ることができる。
このように、実施の形態１によれば、従来からの２クラス分類に比べて、機械学習に必要なペアの数を少なくして（図４参照）、スコア関数のパラメータθを更新することができる。このことから、実施の形態１によれば、２クラス分類に用いるスコア関数のパラメータの機械学習において、機械学習にかかる時間の短縮化を図ることができる。
［変形例］
続いて、実施の形態１の変形例について説明する。変形例では、ペア作成部３０は、作成したペアの中から、正例データのスコアが、負例データのスコアよりも小さいペアを選択する（正例データのスコア＜負例データのスコア）。そして、ペア作成部３０は、選択したペアの中から、ランダムに設定数のペアを最終的に選択し、最終的に選択したペアによってペア群を作成する。
続いて、実施の形態１の変形例について説明する。変形例では、ペア作成部３０は、作成したペアの中から、正例データのスコアが、負例データのスコアよりも小さいペアを選択する（正例データのスコア＜負例データのスコア）。そして、ペア作成部３０は、選択したペアの中から、ランダムに設定数のペアを最終的に選択し、最終的に選択したペアによってペア群を作成する。
このように、変形例によれば、選択肢となるペアを絞り込むことができ、上述の例よりも少ないペアの中から、ペア群を構成するペアを選択することになる。このため、変形例によれば、よりいっそう機械学習にかかる時間の短縮化を図ることができる。
［プログラム］
実施の形態１におけるプログラムとしては、コンピュータに、図５に示すステップＡ１～Ａ６を実行させるプログラムが挙げられる。このプログラムをコンピュータにインストールし、実行することによって、実施の形態１における学習装置１００と学習済みモデル生成方法とを実現することができる。この場合、コンピュータのプロセッサは、スコア算出部１０、スコア特定部２０、ペア作成部３０、及び最適化部４０として機能し、処理を行なう。
実施の形態１におけるプログラムとしては、コンピュータに、図５に示すステップＡ１～Ａ６を実行させるプログラムが挙げられる。このプログラムをコンピュータにインストールし、実行することによって、実施の形態１における学習装置１００と学習済みモデル生成方法とを実現することができる。この場合、コンピュータのプロセッサは、スコア算出部１０、スコア特定部２０、ペア作成部３０、及び最適化部４０として機能し、処理を行なう。
また、実施の形態１では、訓練データ格納部５０は、コンピュータに備えられたハードディスク等の記憶装置によって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。
また、コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。更に、コンピュータは、図２に示した端末装置２００であっても良く、この場合は、実施の形態１における学習装置１００は、端末装置２００のオペレーティングシステム上に構築されることになる。
実施の形態１におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、スコア算出部１０、スコア特定部２０、ペア作成部３０、及び最適化部４０のいずれかとして機能しても良い。
（実施の形態２）
次に、実施の形態２では、分類装置、分類方法、及びこれらを実現するためのプログラムについて、図６及び図７を参照しながら説明する。
（実施の形態２）
次に、実施の形態２では、分類装置、分類方法、及びこれらを実現するためのプログラムについて、図６及び図７を参照しながら説明する。
［装置構成］
最初に、実施の形態２における分類装置の構成について図６を用いて説明する。図６は、実施の形態２における分類装置の構成を示すブロック図である。
最初に、実施の形態２における分類装置の構成について図６を用いて説明する。図６は、実施の形態２における分類装置の構成を示すブロック図である。
図６に示す、実施の形態２における分類装置１０１は、スコア関数を用いてテストデータを２クラスに分類するための装置である。図６に示すように、実施の形態２では、分類装置１０１は、実施の形態１と同様に、端末装置２００に、データ通信可能に接続されている。端末装置２００の具体例としては、汎用のコンピュータ、スマートフォン、タブレット型端末装置などが挙げられる。但し、実施の形態２では、端末装置２００は、分類装置１０１に対して、２クラス分類の対象となるテストデータを入力する。
また、図６に示すように、実施の形態２における分類装置１０１は、スコア算出部６０と、分類部７０と、テストデータ格納部８０と、スコア関数格納部９０とを備えている。このうち、テストデータ格納部８０は、入力されたテストデータを格納する。
スコア関数格納部９０は、２クラス分類に用いるスコア関数を格納している。スコア関数は、実施の形態１によってパラメータが更新されたスコア関数であり、次の手順によって得られる。
まず、正例について算出されたスコアのうち、最小のものを、最小スコアとし、負例データについて算出された前記スコアのうち、最大のものを、最大スコアとし、正例データ及び負例データそれぞれから、算出されたスコアが最小スコア以上前記最大スコア以下となっている訓練データが選択される。続いて、選択した訓練データによって正例と負例とのペア群が作成される。そして、作成されたペア群について、負例データのスコアよりも正例データのスコアが大きいペアの数が増えるように、スコア関数のパラメータが機械学習され、スコア関数が得られる。
スコア算出部６０は、スコア関数格納部９０からスコア関数を取得し、取得したスコア関数に、テストデータ格納部８０から取り出したテストデータを入力して、スコアを算出する。なお、実施の形態２におけるスコア算出部６０は、実施の形態１において図２に示したスコア算出部１０と同様の機能を有している。
分類部７０は、スコア算出部６０によって算出されたスコアの値に基づいて、テストデータを２クラス、例えば、正例又は負例に分類する。また、分類部７０は、分類結果を、端末装置２００に送信することができる。
［装置動作］
次に、実施の形態２における分類装置１０１の動作について図７を用いて説明する。図７は、実施の形態２における分類装置の動作を示すフロー図である。以下の説明においては、適宜図６を参照する。また、実施の形態２では、分類装置１０１を動作させることによって、分類方法が実施される。よって、実施の形態２における分類方法の説明は、以下の分類装置１０１の動作説明に代える。
次に、実施の形態２における分類装置１０１の動作について図７を用いて説明する。図７は、実施の形態２における分類装置の動作を示すフロー図である。以下の説明においては、適宜図６を参照する。また、実施の形態２では、分類装置１０１を動作させることによって、分類方法が実施される。よって、実施の形態２における分類方法の説明は、以下の分類装置１０１の動作説明に代える。
図７に示すように、最初に、スコア算出部６０は、テストデータ格納部８０からテストデータを取得する（ステップＢ１）。
次に、スコア算出部６０は、スコア関数格納部９０からスコア関数を取得し、取得したスコア関数に、ステップＢ１で取得したテストデータを入力して、スコアを算出する（ステップＢ２）。
次に、分類部７０は、ステップＢ２によって算出されたスコアの値に基づいて、テストデータを２クラス、例えば、正例又は負例に分類する（ステップＢ３）。具体的には、分類部７０は、スコアの値が閾値よりも大きい場合は、テストデータを正例に分類し、スコアの値が閾値以下の場合は、テストデータを負例に分類する。また、分類部７０は、分類結果を、端末装置２００に送信する。
以上のように、実施の形態２によれば、実施の形態１でパラメータが更新されたスコア関数を用いて、テストデータを２クラスに分類することができる。このため、高い分類精度が得られることになる。
［プログラム］
実施の形態２におけるプログラムとしては、コンピュータに、図７に示すステップＢ１～Ｂ３を実行させるプログラムが挙げられる。このプログラムをコンピュータにインストールし、実行することによって、実施の形態２における分類装置１０１と分類方法とを実現することができる。この場合、コンピュータのプロセッサは、スコア算出部６０及び分類部７０として機能し、処理を行なう。
実施の形態２におけるプログラムとしては、コンピュータに、図７に示すステップＢ１～Ｂ３を実行させるプログラムが挙げられる。このプログラムをコンピュータにインストールし、実行することによって、実施の形態２における分類装置１０１と分類方法とを実現することができる。この場合、コンピュータのプロセッサは、スコア算出部６０及び分類部７０として機能し、処理を行なう。
また、実施の形態２では、テストデータ格納部８０及びスコア関数格納部９０は、コンピュータに備えられたハードディスク等の記憶装置によって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。
実施の形態２におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、スコア算出部６０及び分類部７０のいずれかとして機能しても良い。
［物理構成］
ここで、実施の形態１又は２におけるプログラムを実行することによって、各装置を実現するコンピュータについて図８を用いて説明する。図８は、実施の形態１における学習装置及び実施の形態２における分類装置を実現するコンピュータの一例を示すブロック図である。
ここで、実施の形態１又は２におけるプログラムを実行することによって、各装置を実現するコンピュータについて図８を用いて説明する。図８は、実施の形態１における学習装置及び実施の形態２における分類装置を実現するコンピュータの一例を示すブロック図である。
図８に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラム（コード群）をメインメモリ１１２に展開し、プログラムを構成する各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
実施の形態１における学習装置１００及び実施の形態２における分類装置１０１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア、例えば、回路を用いることによっても実現可能である。更に、実施の形態１における学習装置１００及び実施の形態２における分類装置１０１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
なお、本実施の形態では、最小スコアと最大スコアによって限定されるペア群を対象としたが、最大スコア±α、あるいは最小スコア±αの範囲内にあるペア群を対象としても、本発明は有効である。ただし、αは正の実数である。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
２クラス分類のためのスコア関数を機械学習するための装置であって、
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出する、スコア算出部と、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定する、スコア特定部と、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成する、ペア作成部と、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習によって更新する、最適化部と、
を備えている、
ことを特徴とする学習装置。
２クラス分類のためのスコア関数を機械学習するための装置であって、
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出する、スコア算出部と、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定する、スコア特定部と、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成する、ペア作成部と、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習によって更新する、最適化部と、
を備えている、
ことを特徴とする学習装置。
（付記２）
付記１に記載の学習装置であって、
前記ペア作成部が、正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを、ランダムに、設定数だけ選択し、選択した前記訓練データによって、設定数の前記ペアで構成された前記ペア群を作成する、
ことを特徴とする学習装置。
付記１に記載の学習装置であって、
前記ペア作成部が、正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを、ランダムに、設定数だけ選択し、選択した前記訓練データによって、設定数の前記ペアで構成された前記ペア群を作成する、
ことを特徴とする学習装置。
（付記３）
付記１に記載の学習装置であって、
前記ペア作成部が、作成した前記ペアの中から、正例のラベルが付与された訓練データのスコアが、負例のラベルが付与された訓練データのスコアよりも小さいペアを選択し、更に選択したペアの中から、ランダムに設定数のペアを最終的に選択し、最終的に選択した前記ペアで構成された前記ペア群を作成する、
ことを特徴とする学習装置。
付記１に記載の学習装置であって、
前記ペア作成部が、作成した前記ペアの中から、正例のラベルが付与された訓練データのスコアが、負例のラベルが付与された訓練データのスコアよりも小さいペアを選択し、更に選択したペアの中から、ランダムに設定数のペアを最終的に選択し、最終的に選択した前記ペアで構成された前記ペア群を作成する、
ことを特徴とする学習装置。
（付記４）
２クラス分類のためのスコア関数を機械学習するための方法であって、
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出する、スコア算出ステップと、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定する、スコア特定ステップと、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成する、ペア作成ステップと、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習によって更新する、最適化ステップと、
を有する、
ことを特徴とする学習済みモデル生成方法。
２クラス分類のためのスコア関数を機械学習するための方法であって、
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出する、スコア算出ステップと、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定する、スコア特定ステップと、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成する、ペア作成ステップと、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習によって更新する、最適化ステップと、
を有する、
ことを特徴とする学習済みモデル生成方法。
（付記５）
付記４に記載の学習済みモデル生成方法であって、
前記ペア作成ステップにおいて、正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを、ランダムに、設定数だけ選択し、選択した前記訓練データによって、設定数の前記ペアで構成された前記ペア群を作成する、
ことを特徴とする学習済みモデル生成方法。
付記４に記載の学習済みモデル生成方法であって、
前記ペア作成ステップにおいて、正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを、ランダムに、設定数だけ選択し、選択した前記訓練データによって、設定数の前記ペアで構成された前記ペア群を作成する、
ことを特徴とする学習済みモデル生成方法。
（付記６）
付記４に記載の学習済みモデル生成方法であって、
前記ペア作成ステップにおいて、作成した前記ペアの中から、正例のラベルが付与された訓練データのスコアが、負例のラベルが付与された訓練データのスコアよりも小さいペアを選択し、更に選択したペアの中から、ランダムに設定数のペアを最終的に選択し、最終的に選択した前記ペアで構成された前記ペア群を作成する、
ことを特徴とする学習済みモデル生成方法。
付記４に記載の学習済みモデル生成方法であって、
前記ペア作成ステップにおいて、作成した前記ペアの中から、正例のラベルが付与された訓練データのスコアが、負例のラベルが付与された訓練データのスコアよりも小さいペアを選択し、更に選択したペアの中から、ランダムに設定数のペアを最終的に選択し、最終的に選択した前記ペアで構成された前記ペア群を作成する、
ことを特徴とする学習済みモデル生成方法。
（付記７）
コンピュータに２クラス分類のためのスコア関数を機械学習させるためのプログラムであって、
前記コンピュータに、
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出する、スコア算出ステップと、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定する、スコア特定ステップと、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成する、ペア作成ステップと、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習によって更新する、最適化ステップと、
を実行させる、プログラム。
コンピュータに２クラス分類のためのスコア関数を機械学習させるためのプログラムであって、
前記コンピュータに、
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出する、スコア算出ステップと、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定する、スコア特定ステップと、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成する、ペア作成ステップと、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習によって更新する、最適化ステップと、
を実行させる、プログラム。
（付記８）
付記７に記載のプログラムであって、
前記ペア作成ステップにおいて、正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを、ランダムに、設定数だけ選択し、選択した前記訓練データによって、設定数の前記ペアで構成された前記ペア群を作成する、
ことを特徴とするプログラム。
付記７に記載のプログラムであって、
前記ペア作成ステップにおいて、正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを、ランダムに、設定数だけ選択し、選択した前記訓練データによって、設定数の前記ペアで構成された前記ペア群を作成する、
ことを特徴とするプログラム。
（付記９）
付記７に記載のプログラムであって、
前記ペア作成ステップにおいて、作成した前記ペアの中から、正例のラベルが付与された訓練データのスコアが、負例のラベルが付与された訓練データのスコアよりも小さいペアを選択し、更に選択したペアの中から、ランダムに設定数のペアを最終的に選択し、最終的に選択した前記ペアで構成された前記ペア群を作成する、
ことを特徴とするプログラム。
付記７に記載のプログラムであって、
前記ペア作成ステップにおいて、作成した前記ペアの中から、正例のラベルが付与された訓練データのスコアが、負例のラベルが付与された訓練データのスコアよりも小さいペアを選択し、更に選択したペアの中から、ランダムに設定数のペアを最終的に選択し、最終的に選択した前記ペアで構成された前記ペア群を作成する、
ことを特徴とするプログラム。
（付記１０）
テストデータをスコア関数に入力して、スコアを算出する、スコア算出部と、
算出された前記スコアの値に基づいて、前記テストデータを２クラスに分類する、分類部と、を備え、
前記スコア関数は、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとし、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとし、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成し、
作成した前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアが大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習することによって得られた関数である、
ことを特徴とする分類装置。
テストデータをスコア関数に入力して、スコアを算出する、スコア算出部と、
算出された前記スコアの値に基づいて、前記テストデータを２クラスに分類する、分類部と、を備え、
前記スコア関数は、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとし、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとし、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成し、
作成した前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアが大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習することによって得られた関数である、
ことを特徴とする分類装置。
（付記１１）
テストデータをスコア関数に入力して、スコアを算出する、スコア算出ステップと、
算出された前記スコアの値に基づいて、前記テストデータを２クラスに分類する、分類ステップと、を有し、
前記スコア関数は、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとし、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとし、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成し、
作成した前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアが大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習することによって得られた関数である、
ことを特徴とする分類方法。
テストデータをスコア関数に入力して、スコアを算出する、スコア算出ステップと、
算出された前記スコアの値に基づいて、前記テストデータを２クラスに分類する、分類ステップと、を有し、
前記スコア関数は、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとし、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとし、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成し、
作成した前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアが大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習することによって得られた関数である、
ことを特徴とする分類方法。
（付記１２）
コンピュータに、
テストデータをスコア関数に入力して、スコアを算出する、スコア算出ステップと、
算出された前記スコアの値に基づいて、前記テストデータを２クラスに分類する、分類ステップと、
を実行させ、
前記スコア関数は、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとし、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとし、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成し、
作成した前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアが大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習することによって得られた関数である、
プログラム。
コンピュータに、
テストデータをスコア関数に入力して、スコアを算出する、スコア算出ステップと、
算出された前記スコアの値に基づいて、前記テストデータを２クラスに分類する、分類ステップと、
を実行させ、
前記スコア関数は、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとし、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとし、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを選択し、選択した前記訓練データによって正例と負例とのペア群を作成し、
作成した前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアが大きいペアの数が増えるように、前記スコア関数のパラメータを機械学習することによって得られた関数である、
プログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上のように本発明によれば、２クラス分類に用いるスコア関数のパラメータの機械学習において、機械学習にかかる時間の短縮化を図ることができる。本発明は、２クラス分類が実行される各種システムに有用である。
１０ スコア算出部
２０ スコア特定部
３０ ペア作成部
４０ 最適化部
５０ 訓練データ格納部
６０ スコア算出部
７０ 分類部
８０ テストデータ格納部
９０ スコア関数格納部
１００ 学習装置
１０１ 分類装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
２００ 端末装置
２０ スコア特定部
３０ ペア作成部
４０ 最適化部
５０ 訓練データ格納部
６０ スコア算出部
７０ 分類部
８０ テストデータ格納部
９０ スコア関数格納部
１００ 学習装置
１０１ 分類装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
２００ 端末装置
Claims (6)
- ２クラス分類のためのスコア関数を機械学習するための装置であって、
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出する、スコア算出部と、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定する、スコア特定部と、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを、ランダムに、設定数だけ選択し、選択した前記訓練データによって正例と負例との、設定数のペア群を作成する、ペア作成部と、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるようにするため、前記ペアを構成する、正例のラベルが付与された前記訓練データのスコアと負例のラベルが付与された前記訓練データのスコアとの差を含む関数の値が最大となるように、前記スコア関数のパラメータを機械学習によって更新する、最適化部と、
を備えている、
ことを特徴とする学習装置。 - 請求項１に記載の学習装置であって、
前記ペア作成部が、作成した前記ペアの中から、正例のラベルが付与された訓練データのスコアが、負例のラベルが付与された訓練データのスコアよりも小さいペアを選択し、更に選択したペアの中から、ランダムに設定数のペアを最終的に選択し、最終的に選択した前記ペアで構成された前記ペア群を作成する、
ことを特徴とする学習装置。 - ２クラス分類のためのスコア関数を機械学習するための方法であって、
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出し、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定し、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データを、ランダムに、設定数だけ選択し、選択した前記訓練データによって正例と負例とのペア群を作成し、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるようにするため、前記ペアを構成する、正例のラベルが付与された前記訓練データのスコアと負例のラベルが付与された前記訓練データのスコアとの差を含む関数の値が最大となるように、前記スコア関数のパラメータを機械学習によって更新する、
ことを特徴とする学習済みモデル生成方法。 - 請求項３に記載の学習済みモデル生成方法であって、
前記ペア群の作成において、作成した前記ペアの中から、正例のラベルが付与された訓練データのスコアが、負例のラベルが付与された訓練データのスコアよりも小さいペアを選択し、更に選択したペアの中から、ランダムに設定数のペアを最終的に選択し、最終的に選択した前記ペアで構成された前記ペア群を作成する、
ことを特徴とする学習済みモデル生成方法。 - コンピュータに２クラス分類のためのスコア関数を機械学習させるためのプログラムであって、
前記コンピュータに、
正例又は負例のラベルが付与された複数の訓練データを前記スコア関数に入力して、スコアを算出させ、
正例のラベルが付与された訓練データについて算出されたスコアのうち、最小のものを、最小スコアとして特定し、負例のラベルが付与された訓練データについて算出された前記スコアのうち、最大のものを、最大スコアとして特定させ、
正例のラベルが付与された訓練データ及び負例のラベルが付与された訓練データそれぞれから、算出された前記スコアが前記最小スコア以上前記最大スコア以下となっている訓練データ、ランダムに、設定数だけを選択し、選択した前記訓練データによって正例と負例とのペア群を作成させ、
作成された前記ペア群について、負例のラベルが付与された訓練データのスコアよりも正例のラベルが付与された訓練データのスコアの方が大きいペアの数が増えるようにするため、前記ペアを構成する、正例のラベルが付与された前記訓練データのスコアと負例のラベルが付与された前記訓練データのスコアとの差を含む関数の値が最大となるように、前記スコア関数のパラメータを機械学習によって更新させる、
命令を含む、プログラム。 - 請求項５に記載のプログラムであって、
前記コンピュータに、
前記ペア群の作成において、作成した前記ペアの中から、正例のラベルが付与された訓練データのスコアが、負例のラベルが付与された訓練データのスコアよりも小さいペアを選択し、更に選択したペアの中から、ランダムに設定数のペアを最終的に選択し、最終的に選択した前記ペアで構成された前記ペア群を作成させる、
ことを特徴とするプログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/031512 WO2022038753A1 (ja) | 2020-08-20 | 2020-08-20 | 学習装置、学習済みモデル生成方法、分類装置、分類方法、及びコンピュータ読み取り可能な記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2022038753A1 JPWO2022038753A1 (ja) | 2022-02-24 |
| JPWO2022038753A5 JPWO2022038753A5 (ja) | 2023-05-01 |
| JP7517432B2 true JP7517432B2 (ja) | 2024-07-17 |
Family
ID=80322766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022543229A Active JP7517432B2 (ja) | 2020-08-20 | 2020-08-20 | 学習装置、学習済みモデル生成方法、及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240037407A1 (ja) |
| JP (1) | JP7517432B2 (ja) |
| WO (1) | WO2022038753A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7496499B2 (ja) * | 2020-11-30 | 2024-06-07 | パナソニックＩｐマネジメント株式会社 | 学習装置、学習方法、および故障予知システム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020095411A (ja) | 2018-12-11 | 2020-06-18 | 日本電信電話株式会社 | 検出学習装置、方法、及びプログラム |
| JP6731603B1 (ja) | 2019-03-01 | 2020-07-29 | 株式会社安川電機 | 検査システム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9552549B1 (en) * | 2014-07-28 | 2017-01-24 | Google Inc. | Ranking approach to train deep neural nets for multilabel image annotation |
| US20160306876A1 (en) * | 2015-04-07 | 2016-10-20 | Metalogix International Gmbh | Systems and methods of detecting information via natural language processing |
| US11120314B2 (en) * | 2017-04-07 | 2021-09-14 | Intel Corporation | Joint training of neural networks using multi scale hard example mining |
| CN108446617B (zh) * | 2018-03-09 | 2022-04-22 | 华南理工大学 | 抗侧脸干扰的人脸快速检测方法 |
| US20200005134A1 (en) * | 2018-06-28 | 2020-01-02 | Microsoft Technology Licensing, Llc | Generating supervised embeddings using unsupervised embeddings |
| US11442804B2 (en) * | 2019-12-27 | 2022-09-13 | Paypal, Inc. | Anomaly detection in data object text using natural language processing (NLP) |
-
2020
- 2020-08-20 JP JP2022543229A patent/JP7517432B2/ja active Active
- 2020-08-20 WO PCT/JP2020/031512 patent/WO2022038753A1/ja not_active Ceased
- 2020-08-20 US US18/021,089 patent/US20240037407A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020095411A (ja) | 2018-12-11 | 2020-06-18 | 日本電信電話株式会社 | 検出学習装置、方法、及びプログラム |
| JP6731603B1 (ja) | 2019-03-01 | 2020-07-29 | 株式会社安川電機 | 検査システム |
Non-Patent Citations (1)
| Title |
|---|
| 桑原昭之，ＲＯＣ曲線を局所的に改善するパーセプトロンの学習則，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2012年03月07日，Vol.111 No.483，pp.399-404 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2022038753A1 (ja) | 2022-02-24 |
| US20240037407A1 (en) | 2024-02-01 |
| WO2022038753A1 (ja) | 2022-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ruff et al. | Deep one-class classification | |
| CN111656373B (zh) | 训练神经网络模型 | |
| JP6781415B2 (ja) | ニューラルネットワーク学習装置、方法、プログラム、およびパターン認識装置 | |
| JP2020119543A (ja) | 分類モデルを訓練する装置及び方法 | |
| EP4623369A1 (en) | Methods and systems for fast inference from machine learning models | |
| JP2024511171A (ja) | 動作認識の方法および装置 | |
| Hong et al. | Improving SMOTE via fusing conditional VAE for data-adaptive noise filtering: S. Hong et al. | |
| JP7517432B2 (ja) | 学習装置、学習済みモデル生成方法、及びプログラム | |
| JP2020052935A (ja) | 学習済みモデルを生成する方法、データを分類する方法、コンピュータおよびプログラム | |
| JP7211430B2 (ja) | 機械学習装置、機械学習方法、及びプログラム | |
| KR20240145803A (ko) | 천장관절 mr 이미지를 이용한 천장관절염 판별 방법 | |
| CN114898184A (zh) | 模型训练方法、数据处理方法、装置及电子设备 | |
| JP2023154373A (ja) | 情報処理装置 | |
| KR20230086302A (ko) | 학습 영상 데이터에 대한 주파수 분석에 기초하여 신경망 모델을 학습시키는 전자 장치 및 전자 장치의 제어 방법 | |
| US20240330684A1 (en) | Data generation method, machine learning method, information processing apparatus, non-transitory computer-readable recording medium storing data generation program, and non-transitory computer-readable recording medium storing machine learning program | |
| CN113780365A (zh) | 样本生成方法和装置 | |
| JP7367859B2 (ja) | 学習装置、学習済みモデル生成方法、分類装置、分類方法、及びプログラム | |
| JP2025173679A (ja) | 学習方法、学習装置、学習プログラム、および、学習データ生成方法 | |
| US20240127075A1 (en) | Synthetic dataset generator | |
| US12361679B1 (en) | Image classification with modality dropout | |
| JP7585915B2 (ja) | 機械学習プログラム、機械学習方法および情報処理装置 | |
| JP6947460B1 (ja) | プログラム、情報処理装置、及び方法 | |
| JP7364047B2 (ja) | 学習装置、学習方法、及びプログラム | |
| KR20230172154A (ko) | 인공지능을 이용한 이미지 객체를 분할 방법 및 장치 | |
| CN115909367A (zh) | 单题作答图像识别模型的训练方法及识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230217 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240604 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240617 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7517432 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |