JP7776008B2

JP7776008B2 - 学習装置、学習方法、およびプログラム

Info

Publication number: JP7776008B2
Application number: JP2024533365A
Authority: JP
Inventors: 修税所; 弘樹神谷; 知洋井上
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2022-07-12
Filing date: 2022-07-12
Publication date: 2025-11-26
Anticipated expiration: 2042-07-12
Also published as: JPWO2024013847A1; WO2024013847A1

Description

本発明は、機械学習により識別器を学習する学習装置、学習方法、およびプログラムに関する。

機械学習、特にいわゆる教師あり学習が、幅広い分野で普及している。教師あり学習は、訓練データセットを事前に用意し、訓練データセットをもとに識別器を学習する。訓練データセットは、分析対象となる入力データセットに、識別、分類、回帰、同一性等の各判定結果（正解）が付されたデータである。ここで、正解を付した入力データセット（訓練データセット）の作成に要するコストが、機械学習システム構築における問題となる。

この問題を解決するために、コンピュータ処理により、訓練データセットを追加する能動学習と弱教師あり学習が提案されている。

能動学習では、既存の訓練データセットと識別器を用いて、正解なし入力データセット群のうち、正解がわかると識別器の性能が上がる入力データセットを提示する。提示された入力データセットに正解が付されて、訓練データセットに追加される。

弱教師あり学習では、正解を付す主体が持つ知見をルールにした関数をシステムに実装し、システムが関数に従って入力データセットに正解を付す。正解が付された入力データセットが訓練データセットに追加される。

非特許文献1は、弱教師あり学習において能動学習により逐次的にルールを追加する技術である。この技術により効率的なルールの追加が実現される。

Osamu Saisho et al., "Human Knowledge Based Efficient Interactive Data Annotation via Active Weakly Supervised Learning", 2021 IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events (PerCom Workshops), 2021.

しかしながら、現実世界において主体が追加するルールには間違いが含まれる可能性が高い。実際にルールの追加よりもはるかにシンプルな通常のラベル付けにより構築された訓練データセットについても、一定割合の人為的ミスが起きていることが示されている。弱教師あり学習において、間違いを含むルールが追加されると、間違いを発見したり、そのルールの修正、削除を主体に促すことができず、ノイズとして蓄積するため、機械学習システムの性能を大きく低下させる可能性がある。

既存技術では、新たなルールを効率的に追加していく枠組みしか存在しておらず、追加済みのルールの中で機械学習システムに悪影響を与えているルールを推定する方法が存在しない。これにより本来、機械学習システムを構築する際に必要となる主体が試行錯誤を行う環境が実現できていない。

本発明は、弱教師あり学習において機械学習システムに悪影響を与えているルールを推定し、主体に提示する学習装置、学習方法、プログラムを提供することを目的とする。

上記の課題を解決するために、本発明の一態様によれば、学習装置は、入力データセットに対してラベルを付与するラベリング関数群と、そのラベリング関数をもとに学習を行う識別器を備え、前記ラベリング関数群の出力と前記識別器の出力とに基づき、ラベリング関数群の中から修正または削除すべきラベリング関数を提示する。

上記の課題を解決するために、本発明の他の態様によれば、学習装置は、1つ以上のラベリング関数を含むラベリング関数群を用いて、入力データセットに含まれる入力データに対して、ラベリング関数ごとの投票結果を求めるラベリング関数処理部と、入力データを学習後の識別器の入力とし、学習後の識別器に基づく出力確率分布を求める第二確率分布算出部と、投票結果を用いてラベリング関数の出力確率分布を求める確率分布算出部と、学習後の識別器に基づく出力確率分布とラベリング関数の出力確率分布とを用いて、入力データおける修正または削除の必要性を表すスコアs_k(p)を求め、スコアs_k(p)から、ラベリング関数における修正または削除の必要性を表すスコアs(i)を求める評価部と、スコアs(i)が最も修正または削除の必要性が高いことを示すラベリング関数を主体に対して提示するための情報を生成する提示情報生成部と、ラベリング関数を提示された主体の入力を受け付け、入力内容に応じてラベリング関数を削除または修正するラベリング関数修正部とを含む。

本発明によれば、弱教師あり学習において機械学習システムに悪影響を与えているルールを推定し、主体に提示することができるという効果を奏する。

第一実施形態に係る学習装置の機能ブロック図。第一実施形態に係る学習装置の処理フローの例を示す図。第一実施形態に係る学習装置の処理フローの例を示す図。本手法を適用するコンピュータの構成例を示す図。

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態の特徴＞
本実施形態は以下の特徴を持つ。

特徴(1)：正確な教師情報がない実環境下で、弱教師あり学習を用いた機械学習システムが、実装済みのルールの中から間違いを含む可能性の高いものを自動で判別、抽出できる。

特徴(2)：上述の特徴(1)により、弱教師あり学習における能動学習の追加と修正、削除の双方向化が実現し、主体と機械学習モデルが連携しながら試行錯誤によって機械学習モデルの性能を上げていくことができるようになる。なお、主体は、例えば、ヒトやAI、機械等であり、機械学習モデルの学習を行うものである。

＜第一実施形態の弱教師あり学習における能動学習＞
弱教師あり学習における能動学習では、学習時に下記3種類の出力確率分布が得られる。

・学習前のラベリング関数の生の出力に基づく確率分布
・学習後のラベリング関数に重み付けをした上での出力確率分布
・学習後の識別器に基づく出力確率分布
なお、本実施形態では、ラベリング関数の修正または削除と機械学習モデルの学習とを繰り返すため、ある繰り返し処理において、一つ前の繰り返し処理で学習した機械学習モデルを学習後と呼んでいる。一つ前の繰り返し処理がない場合、つまり、初回の繰り返し処理では、他の学習方法（例えば、非特許文献１の学習方法）で学習した機械学習モデルを用いてもよいし、ランダムなパラメータを設定した機械学習モデルを用いてもよい。最後の学習が済んだものを学習済みと表記する。「学習前のラベリング関数の生の出力に基づく確率分布」と「学習後のラベリング関数に重み付けをした上での出力確率分布」とをまとめて、「ラベリング関数の出力確率分布」ともいう。
ラベリング関数は、主体が持つ知見をルールにした関数であり、入力データにラベルを付与する。実装されたラベリング関数に間違いや矛盾、重複がない理想的な環境であれば、モデル学習時に上記3つの確率分布はほぼ一致する。しかし、そのようなルールを作成し続けることは現実的でなく、間違いなどが入る確率は主体やタスクの難しさによって異なる。そこで、上述の3つの出力確率分布の内の、「学習前のラベリング関数の生の出力に基づく確率分布」または「学習後のラベリング関数に重み付けをした上での出力確率分布」と、「学習後の学習器に基づく出力確率分布」との、合計2つを選択し、その2つの確率分布の差異を測る尺度によって評価を行う。

通常の教師あり学習におけるベイズ能動学習でデータを追加する際には、識別モデルのパラメータと出力確率分布の相互情報量によって各データのBALD(Bayesian Active Learning by Disagreement)スコアを算出し、そのスコアが最大のものから順にラベル付けを行う。

本実施形態における、修正または削除すべきラベリング関数の抽出においても、まずはその必要性を表すスコアを入力データごとに算出する。具体的には上記差異を表す尺度を各入力データにおけるスコアとする。さらに、この各入力データにおけるスコアを利用して、評価の対象である各ラベリング関数のスコアを算出する。

ラベリング関数ごとに算出したスコアに基づき、最も修正または削除すべきであるラベリング関数を推定、抽出し、主体に対して提示する。

主体による意思決定（削除、修正、または何も行わない）および作業を終えた後は、能動学習によるラベリング関数追加後と同様に更新されたラベリング関数群を用いて再度機械学習モデルの学習を行う（例えば、非特許文献１の学習方法等）。

＜第一実施形態に係る学習装置１００＞
図１は第一実施形態に係る学習装置１００の機能ブロック図を、図２および図３はその処理フローを示す。

学習装置１００は、ラベリング関数処理部１１０と、第一確率分布算出部１２０と、識別部１４０と、評価部１５０と、提示情報生成部１６０と、ラベリング関数修正部１７０と、パラメータ更新部１８０とを含む。

学習装置１００は、入力データセットD=(d(1),d(2),…,d(M))を入力とし、弱教師あり学習における能動学習を行い、修正または削除すべきラベリング関数を主体に提示し、主体からラベリング関数の修正または削除を受け付け、ラベリング関数を修正する。入力データセットDは、M個の入力データd(m)を含む。ただし、m=1,2,…,Mである。

学習装置１００は、入力データセットD_ｑ=(d_ｑ(1),d_ｑ(2),…,d_ｑ(Q))を入力とし、ラベリング関数を修正または削除した後のラベリング関数群を用いて再度機械学習モデルの学習を行う。入力データセットD_ｑは、Q個の入力データd(q)を含む。ただし、q=1,2,…,Qである。入力データセットDとD_ｑとは、同じデータセットでもよいし、異なるデータセットでもよい。何れも正解が付されていない入力データセットである。

ラベリング関数の修正または削除と機械学習モデルの学習とを繰り返し、所定の条件を満たしたときの識別器を学習済みの識別器として出力する。

学習装置１００は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。学習装置１００は、例えば、中央演算処理装置の制御のもとで各処理を実行する。学習装置１００に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。学習装置１００の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。学習装置１００が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも学習装置１００がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、学習装置１００の外部に備える構成としてもよい。

以下、各部について説明する。

<ラベリング関数処理部１１０>
ラベリング関数処理部１１０は、ラベリング関数群を含む。ラベリング関数群は、L個のラベリング関数を含む。ただし、Lは1以上の整数の何れかである。ラベリング関数は、入力データに対してルールに従ってラベルを付与する関数であり、何らかのラベルを付与することを投票と呼び、ラベルを付与できないことを棄権と呼ぶ。ラベリング関数の出力を投票結果とも呼び、投票結果には棄権した場合の値も含まれる。

ラベリング関数処理部１１０は、入力データセットD=(d(1),d(2),…,d(M))を入力とし、各入力データd(m)に対して、ラベリング関数ごとの投票結果v(m)=(v(m,1),v(m,2),…,v(m,L))を求め（Ｓ１１０）、v(1),v(2),…,v(M)を出力する。入力データd(m)に対するi番目のラベリング関数LF(i)の投票結果をv(m,i)とする。ただし、i=1,2,…,Lである。

<第一確率分布算出部１２０>
第一確率分布算出部１２０は、M個の投票結果v(m)を入力とし、学習前のラベリング関数の生の出力(投票結果)に基づく確率分布p(y_b)を求め（Ｓ１２０）、出力する。投票結果v(m)に対応する確率分布をp(m,y_b)とし、p(y_b)=(p(1,y_b),p(2,y_b),…,p(M,y_b))とする。N種類のラベルを付与する場合、確率分布p(m,y_b)=(p(m,y_b,1),p(m,y_b,2),…,p(m,y_b,N))である。ラベリング関数の生の出力に基づく確率分布p(m,y_b)は、入力データd(m)に対する投票結果v(m)から各ラベルの投票数を得、各ラベルの投票数を総獲得数で除算して得る。例えば、ある入力データd(m)に対して、「0」,「1」,「2」の何れかのラベルを付与し、棄権を「-1」とし、L=5、投票結果v(m)が(0,0,1,-1,2)の場合、棄権を除いた4つの投票結果から、ラベル「0」の投票数2を総獲得数4で除算してラベル「0」の確率を0.5とし、同様に、「1」の確率を0.25、「2」の確率を0.25として、確率分布p(m,y_b)=(0.5,0.25,0.25)を求める。

<識別部１４０>
識別部１４０は、学習後の識別器を含み、M個の投票結果v(m)と入力データセットD=(d(1),d(2),…,d(M))とを入力とする。

識別部１４０は、第二確率分布算出部１４５と第三確率分布算出部１４７とを含む。識別部１４０は、soft-attention構造を含むニューラルネットワークモデルに相当し、このニューラルネットワークモデルの識別器が第二確率分布算出部１４５に相当し、attention部分が第三確率分布算出部１４７に相当する。この例では、soft-attention構造を含むニューラルネットワークモデルは、識別器に2層の線形変換層を、attention部分についても2層の線形変換層を備えたモデルとする。soft-attention構造を含むニューラルネットワークモデルは、ラベリング関数処理部１１０のラベリング関数群をもとに学習を行うものであり、いずれかのラベリング関数から投票があった入力データのみを弱ラベル付きデータとして学習に用いる。いずれかのラベリング関数から投票があった入力データセットをD_k=(d_k(1),d_k(2),…,d_k(P))と表記する。Pはいずれかのラベリング関数から投票があった入力データのデータ数である。

識別部１４０は、M個の投票結果v(m)を用いて、いずれかのラベリング関数から投票があった入力データを抽出し、抽出した入力データセットD_k=(d_k(1),d_k(2),…,d_k(P))を弱ラベル付きデータとして学習に用いる。言い換えると、入力データセットD=(d(1),d(2),…,d(M))から投票結果v(m)が全て棄権の入力データを篩い落とす。

第二確率分布算出部１４５は、入力データセットD_k=(d_k(1),d_k(2),…,d_k(P))を学習後の識別器の入力とし、出力確率分布p(y_c)(学習後の識別器に基づく出力確率分布p(y_c))を求め（Ｓ１４５）、出力する。
第三確率分布算出部１４７は、M個の投票結果v(m)を入力とし、いずれかのラベリング関数から投票があった投票結果v(m)を用いて、attention構造を活用して学習後のラベリング関数に重み付けをした上での出力確率分布p(y_a)を求め（Ｓ１４７）、出力する。

<評価部１５０>
評価部１５０は、出力確率分布p(y_a)と確率分布p(y_b)と出力確率分布p(y_c)とM個の投票結果v(m)とを入力とし、各入力データd_k(p)における修正または削除の必要性を表すスコアs_k(p)を求める（Ｓ１５０－１）。修正または削除の必要性を表すスコアs_k(p)として、２つの確率分布の差異を測る尺度を用いる。例えば、差異を測るための尺度としては、KLダイバージェンスやJSダイバージェンス、相互情報量、条件付きエントロピーなどを用いることができる。２つの確率分布のうちの一方はラベリング関数群に基づく出力確率分布(p(y_a)またはp(y_b))であり、他方は学習後の識別器に基づく出力確率分布p(y_c)である。例えば、スコアとして、出力確率分布p(y_c)と、確率分布p(y_b)とのKLダイバージェンスを用いる。

次に、評価部１５０は、各入力データd_k(p)における修正または削除の必要性を表すスコアから、評価の対象である各ラベリング関数における修正または削除の必要性を表すスコアs(i)を求め（Ｓ１５０－２）、出力する。ただし、p=1,2,…,Pとする。このスコアs(i)は、そのラベリング関数が棄権することなく何らかのラベルを与えた入力データについて、そのスコアs_k(p)の統計値を用いる。評価部１５０は、ラベリング関数が棄権することなく何らかのラベルを与えた入力データか否かを、M個の投票結果v(m)に基づき判断する。例えば、統計量として、平均値や中央値、最大値、最小値、和、分散、標準偏差、変動係数などを用いることができる。例えば、各ラベリング関数における修正または削除の必要性を表すスコアとして、和を用いる。

本実施形態では、2つの確率分布の差異が大きいほど修正または削除すべきであると判断する。そこで、入力データに対する2つの確率分布の差異の大きさに基づきラベリング関数の修正または削除の必要性を判断する。具体的には、ラベリング関数が棄権することなく何らかのラベルを与えた入力データについて、言い換えると、ラベリング関数が2つの確率分布の差異に寄与している入力データについて、入力データd_k(p)における修正または削除の必要性を表すスコアs_k(p)の統計値をそのラベリング関数における修正または削除の必要性を表すスコアs(i)とする。なお、ラベリング関数における修正または削除の必要性が高いとは、そのラベリング関数が間違いを含む可能性が高いことを示している。

<提示情報生成部１６０、提示部１６５、入力部１６６>
提示情報生成部１６０は、各ラベリング関数における修正または削除の必要性を表すスコアs(i)を入力とし、スコアs(i)が最も修正または削除の必要性が高いことを示すラベリング関数を主体に対して提示するための情報（提示情報）を生成し（Ｓ１６０）、提示部１６５に出力する。スコアs(i)が最も修正または削除の必要性が高いことを示すラベリング関数とは、ラベリング関数群の中から修正または削除すべきラベリング関数と言える。例えば、差異を測るための尺度として、２つの確率分布の差異が大きくなるほど、大きな値をとる尺度(例えばKLダイバージェンス)を用いる場合には、その統計値も２つの確率分布の差異が大きくなるほど大きな値を取るので、スコアs(i)が最大となるラベリング関数を主体に対して提示する。一方、差異を測るための尺度として、２つの確率分布の差異が大きくなるほど、小さな値をとる尺度を用いる場合には、その統計値も２つの確率分布の差異が大きくなるほど小さな値を取るので、スコアs(i)が最小となるラベリング関数を主体に対して提示する。

提示部１６５は、例えば、ディスプレイやタッチパネル等の提示情報を主体に対して提示するためのデバイスである。提示方法としては様々な方法が考えられる。以下、提示方法の例を説明するが、提示情報は提示部１６５を介して各提示方法を実現するための情報である。

（提示方法１）
例えば、主体が最も修正または削除の必要性が高いラベリング関数を作成したときの作業画面をベースとした編集画面を主体に提示する。このような構成により、主体にそのラベリング関数の修正または削除の必要の有無を問う。主体は、提示されたラベリング関数を修正してもよいし、削除してもよいし、何も行わなくともよい。主体は、入力部１６６を介して、提示部１６５に提示される編集画面からラベリング関数を修正または削除する。このような構成とすることで、作成時と同じプログラム言語、方法での修正が可能である。例えば、修正内容を保存するボタンや、ラベリング関数自体を削除または無効化するボタンを編集画面に追加してもよい。

入力部１６６は、例えば、キーボードやマウス、タッチパネル等の主体の操作により、入力を受け付けるためのデバイスである。

（提示方法２）
提示方法１のラベリング関数の編集画面と合わせて、対象のラベリング関数から投票があった入力データのうち、入力データごとのスコアが大きかった入力データを単一または複数合わせて表示する。この入力データは、ラベリング関数群の中から修正または削除すべきラベリング関数を抽出する際の根拠となる入力データと言える。ラベルの投票が間違えている可能性が高いデータがラベリング関数と一緒に表示されることにより、ラベリング関数の修正および削除作業における知的作業コストの低減が期待できる。

さらに、複数合わせて入力データを表示する場合には、単にスコアが大きいものを順番に選んでもよいし、クラスタリングなどの手法を合わせることで、意味のまとまりごとに選んでもよい。後者は、意味のまとまりを保証した上で、効率的に主体にラベリング関数の修正を促すことができる。これは弱教師あり学習におけるバッチ型能動学習において、人の知的作業コストを下げることの有効性が示された方法である。

（提示方法３）
提示方法２の入力データの表示について、その入力データのうちどこに着目をすればいいかを可視化したデータを表示する。これによりさらなる知的作業コストの低減が期待できる。例えば、attentionなど説明可能なAIの技術を組み合わせて、どの部分が間違いだと判断したのかを各入力データにおいて提示することにより、主体のより効率的な修正、削除作業も実現できる。例えば、強調表示等により、どの部分が間違いだと判断したのかを提示する。

<ラベリング関数修正部１７０>
ラベリング関数修正部１７０は、入力部１６６を介して主体の入力を受け付け、入力内容に応じてラベリング関数を削除または修正する（Ｓ１７０）。

<パラメータ更新部１８０>
主体による意思決定および作業を終えた後は、能動学習によるラベリング関数追加後と同様に更新されたラベリング関数群を用いて再度機械学習モデルの学習を行う（図３参照）。

学習装置１００は、入力データセットD_ｑ=(d_ｑ(1),d_ｑ(2),…,d_ｑ(Q))を入力とし、Ｓ１１０、Ｓ１４５、Ｓ１４７を行い、入力データセットD_ｑに対応する学習後の識別器に基づく出力確率分布p(y_q,c)と学習後のラベリング関数に重み付けをした上での出力確率分布p(y_q,a)を求める。

パラメータ更新部１８０は、出力確率分布p(y_q,c)とp(y_q,a)との差異が小さくなるように識別部１４０のsoft-attention構造を含むニューラルネットワークモデルのパラメータを更新する（Ｓ１８０）。

学習装置１００は、所定の条件を満たすまで（Ｓ１８１の条件分岐がＹＥＳになるまで）、Ｓ１４５、Ｓ１４７、Ｓ１８０とを繰り返し、所定の条件を満たしたとき（Ｓ１８１の条件分岐がＹＥＳになったとき）のパラメータを持つsoft-attention構造を含むニューラルネットワークモデルを学習後の機械学習モデルとする。所定の条件は、ニューラルネットワークモデルの学習が収束しているか否かを判定するための条件であり、例えば、繰り返し回数が所定の回数を超えることや、更新前後のパラメータの差分が所定の値以下であること、等が考えられる。

さらに、所定の条件を満たすまで（Ｓ１８２の条件分岐がＹＥＳになるまで、ラベリング関数の修正または削除と機械学習モデルの学習とを繰り返し、所定の条件を満たしたとき（Ｓ１８２の条件分岐がＹＥＳになったとき）のパラメータを持つsoft-attention構造を含むニューラルネットワークモデルを学習済みの機械学習モデルとする。所定の条件は、ラベリング関数群に機械学習システムに悪影響を与えているラベリング関数が含まれるか否かを判定するための条件であり、例えば、繰り返し回数が所定の回数を超えることや、最も修正または削除の必要性が高いことを示すラベリング関数に対応するスコアs(i)が所定の値以下であること、等が考えられる。なお、Ｓ１８２の条件分岐を設けずに、ラベリング関数群が適切か否かを主体が判定し、学習装置１００の処理を終了してもよい。

＜効果＞
以上の構成により、弱教師あり学習において機械学習システムに悪影響を与えているルールを推定し、主体に提示することができる。従来技術と組み合わせることで、弱教師あり学習において、ルールの追加、修正、削除を自由かつ効率的に行えるようになり，機械学習モデル構築時の試行錯誤が可能になる。本実施形態の方法で、実際に複数の文書分類タスクを扱うユーザスタディにおいて、最も修正すべきルールを60%、トップ3であれば80%以上の確率で当てられることを確認している。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
上述の各種の処理は、図４に示すコンピュータ２０００の記録部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０、表示部２０５０などに動作させることで実施できる。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims

入力データセットに対してラベルを付与するラベリング関数群と、そのラベリング関数をもとに学習を行う識別器を備え、前記ラベリング関数群の出力と前記識別器の出力とに基づき、ラベリング関数群の中から修正または削除すべきラベリング関数を提示し、
提示される前記ラベリング関数は学習前のラベリング関数群に基づく出力確率分布と、学習後の識別器に基づく出力確率分布間の差異を測る尺度によって定められる、
学習装置。
請求項１の学習装置であって、
修正または削除すべきラベリング関数と合わせて、その根拠となる入力データをあわせて提示する、
学習装置。
1つ以上のラベリング関数を含むラベリング関数群を用いて、入力データセットに含まれる入力データに対して、ラベリング関数ごとの投票結果を求めるラベリング関数処理部と、
前記入力データを学習後の識別器の入力とし、学習後の識別器に基づく出力確率分布を求める第二確率分布算出部と、
前記投票結果を用いてラベリング関数の出力確率分布を求める確率分布算出部と、
前記学習後の識別器に基づく出力確率分布と前記ラベリング関数の出力確率分布とを用いて、前記入力データおける修正または削除の必要性を表すスコアs_k(p)を求め、前記スコアs_k(p)から、前記ラベリング関数における修正または削除の必要性を表すスコアs(i)を求める評価部と、
前記スコアs(i)が最も修正または削除の必要性が高いことを示すラベリング関数を主体に対して提示するための情報を生成する提示情報生成部と、
ラベリング関数を提示された前記主体の入力を受け付け、入力内容に応じてラベリング関数を削除または修正するラベリング関数修正部とを含む、
学習装置。
入力データセットに対してラベルを付与するラベリング関数群と、そのラベリング関数をもとに学習を行う識別器を備える学習装置を用い、前記ラベリング関数群の出力と前記識別器の出力とに基づき、ラベリング関数群の中から修正または削除すべきラベリング関数を提示し、
提示される前記ラベリング関数は学習前のラベリング関数群に基づく出力確率分布と、学習後の識別器に基づく出力確率分布間の差異を測る尺度によって定められる、
学習方法。
請求項１から請求項３の何れかの学習装置としてコンピュータを機能させるためのプログラム。