JP7095599B2 - 辞書学習装置、辞書学習方法、データ認識方法およびコンピュータプログラム - Google Patents

Description

本発明は、機械学習の一つである能動学習の技術に関する。

音声や画像などのパターンをコンピュータに認識（識別）させる場合に用いられる識別器は機械学習により学習される。機械学習の一つとして教師あり学習が有る。当該教師あり学習では、識別の正解を表す情報であるラベルが付いているデータ（教師データ）を利用し、識別の基となる辞書と呼ばれる識別関数のパラメータを学習する。

教師あり学習では、データにラベルを付与する作業が必要である。識別器による識別精度を高めるためには、学習に利用する教師データの量は多いことが望ましいが、ラベルを付与するデータの量が増加すると、その全てのデータにラベルを付与する作業を行っていたのでは時間と手間が掛かり過ぎる。能動学習は、そのような事情を考慮した機械学習である。能動学習では、全てのデータにラベルを付与するのではなく、ラベルを付与するデータを選択することにより、学習の効率化を図ろうとしている。

特許文献１には、ラベルが既に付与されているラベル付き画像の特徴との違いが大きい未ラベル画像や、判別面に近い未ラベル画像を、ラベルを付与する対象の画像データとして選択する技術が開示されている。また、非特許文献１には、間違ったラベルが付与されそうなデータを選択し、選択したデータにラベルを付与する構成が示されている。

特開２０１３－１２５３２２号公報

B. Settles, Active Learning Book, Synthesis Lectures on Artificial Intelligence and Machine Learning, Morgan & Claypool Publishers, June 2012

能動学習において、ラベルを付与するデータを選択する手法は様々に提案されているが、より効率良く学習を進めることを可能にする手法が望まれている。

本発明はそのような課題を解決するために考え出された。すなわち、本発明の主な目的は、機械学習のより効率化を図ることを可能にする技術を提供することにある。

上記目的を達成するために、本発明の辞書学習装置は、
教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出する重要度算出部と、
データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択するデータ選択部と、
を備える。

本発明の辞書学習方法は、
教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記複数の教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出し、
データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択し、
選択された前記ラベル無しデータに付与するラベルの情報を外部から受信した場合に当該ラベル無しデータに前記ラベルを付与し、
前記ラベルが付与された新たなラベル有りデータを含む複数の前記教師データに基づいて前記識別関数のパラメータである辞書を学習することにより、前記識別関数を更新する。

本発明のデータ認識方法は、
教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記複数の教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出し、
データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択し、
選択された前記ラベル無しデータに付与するラベルの情報を外部から受信した場合に当該ラベル無しデータに前記ラベルを付与し、
前記ラベルが付与された新たなラベル有りデータを含む複数の前記教師データに基づいて前記識別関数のパラメータである辞書を学習することにより、前記識別関数を更新する辞書学習方法によって前記識別関数を学習し、
当該学習された識別関数を利用して、外部から受信したデータを認識する。

本発明のプログラム記憶媒体は、
教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記複数の教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出する処理と、
データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択する処理と
をコンピュータによって実行させるコンピュータプログラムを記憶する。

なお、本発明の上記主な目的は、本発明の辞書学習装置に対応する辞書学習方法によっても達成される。また、本発明の上記主な目的は、本発明の辞書学習装置、辞書学習方法に対応するコンピュータプログラムおよび当該コンピュータプログラムを記憶する記憶媒体によっても達成される。

本発明によれば、機械学習のより効率化を図ることを可能にする。

本発明に係る第１実施形態の辞書学習装置の構成を簡略化して表すブロック図である。 第１実施形態の辞書学習装置における技術事項を説明する図である。 図２に続いて、第１実施形態の辞書学習装置における技術事項を説明する図である。 図３に続いて、第１実施形態の辞書学習装置における技術事項を説明する図である。 図４に続いて、第１実施形態の辞書学習装置における技術事項を説明する図である。 図５に続いて、第１実施形態の辞書学習装置における技術事項を説明する図である。 第１実施形態の辞書学習装置により学習された識別関数（辞書）を利用するパターン認識装置の構成を簡略化して表すブロック図である。 本発明に係る第２～第４の実施形態の辞書学習装置の構成を簡略化して表すブロック図である。 第２～第４の実施形態の辞書学習装置のハードウェア構成を簡略化して表すブロック図である。 第２実施形態の辞書学習装置における学習動作の一例を説明するフローチャートである。

以下に、本発明に係る実施形態を図面に基づいて説明する。

＜第１実施形態＞
本発明に係る第１実施形態の辞書学習装置は、機械学習の一つである教師有り学習によって辞書を学習する装置である。ここでの辞書とは、データを識別（認識）する基となる識別関数のパラメータである。

第１実施形態の辞書学習装置は、次に述べる技術事項に基づいた構成を備えている。すなわち、図２は、教師データの２次元の特徴ベクトルを構成する要素Ｘ，Ｙを変数として持つ特徴空間に複数の教師データを特徴ベクトルに基づいて配置した場合の一例が表されている。図２では、黒丸はクラスＡのラベルが付与されている教師データ（換言すれば、ラベル有りデータ）を表す。四角はクラスＢのラベルが付与されている教師データ（換言すれば、ラベル有りデータ）を表す。三角はラベルが付与されていない教師データ（換言すれば、ラベル無しデータ）を表す。

ここでは、クラスＡを識別する基となる識別関数と、クラスＢを識別する基となる識別関数が同じであると定義する。これにより、クラスＡとクラスＢの識別関数による識別境界が図２では点線Ｆにより表されている。

例えば、図２におけるラベル無しデータ（△）の全てにラベルを付与したところ、図３に表されるような結果が得られたとする。図３では、クラスＡのラベルが新たに付与されたデータは黒の三角で表され、クラスＢのラベルが新たに付与されたデータはグレーの三角で表されている。このようにラベルが付与された新たなデータを加えたラベル有りデータに基づいた機械学習によって、学習後の識別関数による識別境界が、例えば、図３における点線に表される識別境界Ｆから実線で表される識別境界Ｆに更新される。

ところで、教師データにラベルを付与する手間の軽減（換言すれば、効率化）を図るべく、ラベル無しデータの全てにラベルを付与するのではなく、ラベル無しデータの中から選択したデータにラベルを付与することが考えられる。しかしながら、この場合には、ラベルを付与するデータを適切に選択しなければ、精度の良い識別関数を得ることができないという問題が発生する。例えば、図２に表されるラベル無しデータ（△）の中から、図４に表されるデータＤ１が選択され、当該データＤ１にクラスＡのラベルが付与されたとする。この場合には、新たにラベルが付与されたデータＤ１を含むラベル有りデータに基づいて機械学習しても、識別関数の識別境界Ｆに変化は殆ど見られない。つまり、ラベル無しデータ（△）の全てにラベルが付与され当該ラベルが付与されたデータを含むラベル有りデータに基づいて機械学習した場合には、図３において実線で表される識別関数の識別境界Ｆが得られる。このような識別境界Ｆが得られることが望ましいが、上記の如く選択されてラベルが付与されたデータＤ１を考慮した機械学習では、その実線で表される識別境界Ｆが得られない。

これに対し、例えば、図２に表されるラベル無しデータ（△）の中から、図５に表されるデータＤ２が選択され、当該データＤ２にクラスＡのラベルが付与されたとする。この場合に、新たにラベルが付与されたデータＤ２を含むラベル有りデータに基づいて機械学習した場合には、図３において実線で表される識別関数の識別境界Ｆとほぼ同様の識別境界Ｆが得られる。つまり、ラベル無しデータの全てにラベルを付与していないのにも拘わらず、データＤ２を選択してラベルを付与することにより、ラベル無しデータの全てにラベルを付与して学習した場合と同様の精度の良い識別関数（辞書）を得ることができる。

そこで、本発明者は、識別関数（辞書）を効率良く、かつ、精度良く学習できるラベル無しデータの選択条件について検討したところ、識別境界Ｆに近く、かつ、ラベル有りデータの密度が小さいラベル無しデータを選択することが好ましいことが分かった。

このようなことから、第１実施形態の辞書学習装置は、次のような構成を備えている。すなわち、図１は、第１実施形態の辞書学習装置の構成を簡略化して表すブロック図である。第１実施形態の辞書学習装置１は、重要度算出部２と、データ選択部３とを備えている。

重要度算出部２は、教師データに含まれるラベル無しデータ毎に重要度を次のように算出する機能を備えている。つまり、教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に、特徴ベクトルに基づいて複数の教師データが配置される。この場合に、重要度算出部２は、複数の教師データに含まれるラベル無しデータ毎に、ラベル無しデータを基準にした設定の大きさの領域（例えば、図６に表される領域Ｚ１，Ｚ２）内におけるラベル有りデータの密度を求める。そして、重要度算出部２は、その求めた密度に基づいてラベル無しデータの重要度を予め定められた算出手法により算出する。

データ選択部３は、算出された重要度を表す情報と、データを識別する基となる識別関数に基づいた識別境界とラベル無しデータとの近さらしさを表す情報とに基づいて、複数のラベル無しデータの中からラベル付けするデータを選択する機能を備えている。

第１実施形態の辞書学習装置１は、例えば、さらに、その選択されたラベル無しデータにラベルが付与された場合には、当該ラベル無しデータをも含む教師データに基づいて識別関数（辞書）を学習する機能を備える。このように学習された識別関数（辞書）は、辞書学習装置１から、例えば図７に表されるパターン認識装置５に出力され、当該パターン認識装置５のパターン認識処理に利用される。

上記のような構成を備える第１実施形態の辞書学習装置１は、全てのラベル無しデータにラベルを付与しなくとも、データ選択部３により選択されたラベル無しデータにラベルを付与することにより、効率良く、かつ、精度良く辞書を学習できる。

なお、重要度算出部２およびデータ選択部３の機能部は、例えば、そのような機能を実現するコンピュータプログラムをコンピュータが実行することによって、実現される。

＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。

図８は、第２実施形態の辞書学習装置の機能構成を簡略化して表すブロック図である。第２実施形態の辞書学習装置１０は、重要度算出部１２と、比較部１３と、選択部（データ選択部）１４と、受信部１５と、付与部（ラベル付与部）１６と、更新部１７と、出力部１８と、記憶部１９とを備えている。

なお、図９は、辞書学習装置１０のハードウェア構成を簡略化して表すブロック図である。辞書学習装置１０は、例えば、ＣＰＵ（Central Processing Unit）２２と、通信ユニット２３と、メモリ２４と、入出力ＩＦ（Interface）２５とを有する。通信ユニット２３は、例えば、情報通信網（図示せず）を介して他の装置（図示せず）等に接続し、当該装置等との通信を実現する機能を備えている。入出力ＩＦ２５は、例えば、表示装置（図示せず）や、装置の操作者（ユーザ）が情報を入力するキーボード等の入力装置（図示せず）等に接続し、これら装置との情報（信号）の通信を実現する機能を備えている。受信部１５と出力部１８は、例えば入出力ＩＦ２５により実現される。

メモリ２４は、データやコンピュータプログラム（プログラム）を格納する記憶装置である。記憶装置には様々な種類が有り、１つの装置に複数種の記憶装置が搭載されることがあるが、ここでは、包括的に１つのメモリと表している。記憶部１９は、メモリ２４により実現される。

ＣＰＵ２２は、演算回路であり、メモリ２４に格納されているプログラムを読み出し当該プログラムを実行することにより、辞書学習装置１０の動作を制御する機能を備える。例えば、重要度算出部１２と比較部１３と選択部１４と付与部１６と更新部１７は、ＣＰＵ２２により実現される。

第２実施形態では、記憶部１９には、教師データと、識別関数（辞書）とが記憶される。識別関数とは、例えば画像や音声等のパターンのデータをコンピュータが識別（認識）する処理で使用する関数である。つまり、パターンを分類する複数のクラスが予め設定されており、識別関数は、クラス分け対象のデータをコンピュータが識別し分類する処理にて使用される。

教師データは、識別関数のパラメータ（辞書とも呼ばれる）を学習する処理で用いられるデータである。教師データには、データが分類されるクラスの情報を表すラベルが付与されているラベル有りデータと、ラベルが付与されていないラベル無しデータとの種類が有る。ここでは、記憶部１９には、ラベル有りデータとラベル無しデータの両方の教師データが複数ずつ格納されているとする。

第２実施形態の辞書学習装置１０は、記憶部１９に記憶されている複数の教師データを利用して識別関数（換言すれば、辞書）を重要度算出部１２と比較部１３と選択部１４と受信部１５と付与部１６と更新部１７によって学習する機能を備えている。

すなわち、重要度算出部１２は、記憶部１９に記憶されている複数のラベル無しデータのそれぞれの重要度（重み）を算出する機能を備えている。重要度は、ラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内におけるラベル有りデータの密度に基づいて算出される値である。

ここで、重要度の算出手法の具体例を述べる。例えば、教師データを表す特徴ベクトルの要素を変数として持つ特徴空間において、記憶部１９の教師データが特徴ベクトルに基づいて配置されたとする。この場合に、重要度算出部１２は、教師データのラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさを持つ領域内におけるラベル有りデータの密度を求める。例えば、ラベル無しデータをＤn（ただし、ｎは、１からラベル無しデータの個数までの整数とする）とした場合に、ラベル無しデータＤnを基準にした設定の大きさの領域内におけるラベル有りデータの密度をρ_L（Ｄn）とする。

そして、重要度算出部１２は、その求めた密度と、式（１）に基づいて、各ラベル無しデータの重要度Ｗ（Ｄn）を算出する。
Ｗ（Ｄn）＝ａ／（ρ_L（Ｄn）＋ａ）・・・・・・・（１）
ただし、式（１）におけるａは、予め設定された正の実数を表す。

式（１）に基づいて算出される重要度Ｗ（Ｄn）は、ラベル有りデータの密度ρ_L（Ｄn）が小さくなるに従って“１”に近付き、ラベル有りデータの密度ρ_L（Ｄn）が大きくなるに従って“０”に近付く。

重要度算出部１２は、例えば、算出した重要度Ｗ（Ｄn）の情報を記憶部１９に格納する。

比較部１３は、各ラベル無しデータと、識別関数に基づいた識別境界との近さらしさを求める機能を備えている。例えば、ラベル無しデータＤnと、識別関数に基づいた識別境界との近さらしさを求める尤度関数ｒ（Ｄn；θ）が式（２）のように定義される。
ｒ（Ｄn；θ）＝｜ｇ₁（Ｄn；θ）－ｇ₂（Ｄn；θ）｜・・・・・・・（２）
ただし、式（２）におけるｇ₁（Ｄn；θ）は、設定されたクラス１を識別する識別関数を表し、θは当該識別関数のパラメータ（辞書）を表す。ｇ₂（Ｄn；θ）は、設定されたクラス２を識別する識別関数を表し、θは当該識別関数のパラメータ（辞書）を表す。

第２実施形態では、ｇ₁（Ｄn；θ）の値とｇ₂（Ｄn；θ）の値が同じである場合に尤度関数ｒ（Ｄn；θ）が“０”になるから、ラベル無しデータＤnに関する尤度関数ｒ（Ｄn；θ）の値が“０”に近付くに従って、そのラベル無しデータＤnが識別境界に近いことが表される。換言すれば、尤度関数ｒ（Ｄn；θ）が“０”に近いデータ程、識別境界に近いことから、ラベル無しデータＤnは、識別処理において識別を間違えやすいデータと判断される。

比較部１３は、例えば、算出した識別境界への近さらしさｒ（Ｄn；θ）の情報を記憶部１９に格納する。

選択部１４は、重要度算出部１２による重要度Ｗ（Ｄn）と、比較部１３による識別境界への近さらしさｒ（Ｄn；θ）とに基づいて、ラベル無しデータの中から、識別関数のパラメータ（辞書）の学習に用いるデータを選択する機能を備えている。例えば、選択部１４は、重要度算出部１２による重要度Ｗ（Ｄn）と、比較部１３による識別境界への近さらしさｒ（Ｄn；θ）とに基づいて、選択優先度を表す情報Ｊ（Ｄn）をラベル無しデータ毎に算出する。選択優先度を表す情報（単に選択優先度とも記す）Ｊ（Ｄn）は例えば式（３）に基づいて算出される。

ただし、式（３）におけるγは予め設定された正の実数（例えば学習内容に応じて設定された正の実数）を表している。

式（３）に表される選択優先度Ｊ（Ｄn）は、ラベル有りデータの密度が小さくなるに従って大きくなり、また、識別境界に近付くに従っても大きくなる。換言すれば、選択優先度Ｊ（Ｄn）は、識別境界に近付き、かつ、ラベル有りデータの密度が小さくなるに従って大きくなる。

選択部１４は、算出した各ラベル無しデータの選択優先度Ｊ（Ｄn）に基づいて、ラベル無しデータの中からラベルを付与するデータを選択する。データ選択手法としては、例えば、選択部１４は、ラベル無しデータの中から、選択優先度Ｊ（Ｄn）の大きいデータから順に、設定された数のデータを選択する。あるいは、選択部１４は、予め設定された閾値以上の選択優先度Ｊ（Ｄn）を持つラベル無しデータを選択してもよい。さらに、選択部１４は、選択優先度Ｊ（Ｄn）が最も大きいラベル無しデータを選択してもよい。このように、選択優先度Ｊ（Ｄn）に基づいて、ラベル無しデータの中からデータを選択する手法は、適宜な手法が採用される。

このように選択されたデータの情報は、選択部１４によって記憶部１９に格納される。

例えば、上記のような処理により選択されたデータにラベルを付与することを促すメッセージ等が辞書学習装置１０の操作者（ユーザ）に提示され、これにより、操作者（ユーザ）が入力装置（図示せず）を用いてラベルの情報を入力したとする。

受信部１５は、そのように操作者（ユーザ）により入力されたラベルの情報を受信する（受け付ける）機能を備えている。

付与部１６は、ラベルが入力されると、当該入力されたラベルに対応するラベル無しデータを記憶部１９から読み出し、当該ラベル無しデータに、入力されたラベルを付与し、新たなラベル有りデータとして記憶部１９に更新する機能を備えている。

更新部１７は、ラベル無しデータからラベル有りデータに更新されたデータが有る場合に、識別関数のパラメータ（辞書）を学習し、学習された識別関数（つまり、辞書）を記憶部１９に更新する機能を備えている。

出力部１８は、記憶部１９に格納されている識別関数（辞書）を出力する機能を備えている。具体的には、例えば、辞書学習装置１０が図８に表されるパターン認識装置３０に接続されている状態で、パターン認識装置３０から識別関数（辞書）の出力要求を受けた場合に、出力部１８は、パターン認識装置３０に識別関数（辞書）を出力する。

第２実施形態の辞書学習装置１０は上記のような構成を備えている。次に、辞書学習装置１０における辞書学習処理に関わる動作の一例を図１０のフローチャートに基づき説明する。

例えば、辞書学習装置１０は、ラベル有りデータとラベル無しデータが混在している複数の教師データを受信すると、これら教師データを記憶部１９に格納する（ステップＳ１０１）。その後、辞書学習装置１０は、教師データのうちのラベル有りデータに基づいて、予め設定された機械学習手法により識別関数を学習し（ステップＳ１０２）、学習により得られた識別関数を記憶部１９に格納する。

然る後に、辞書学習装置１０の重要度算出部１２が、記憶部１９におけるラベル無しデータＤnのそれぞれについて、例えば、前述したようなラベル有りデータの密度ρ_L（Ｄn）および式（１）に基づき重要度Ｗ（Ｄn）を算出する（ステップＳ１０３）。また、比較部１３は、ラベル無しデータのそれぞれについて、記憶部１９に格納されている識別関数による識別境界への近さらしさｒ（Ｄn；θ）を前述したような式（２）を利用して算出する（ステップＳ１０４）。

そして、選択部１４は、重要度算出部１２による重要度Ｗ（Ｄn）と、比較部１３による識別境界への近さらしさｒ（Ｄn；θ）とに基づき、前述したような各ラベル無しデータの選択優先度Ｊ（Ｄn）を算出する。その後、選択部１４は、算出した選択優先度Ｊ（Ｄn）を利用して、ラベル無しデータＤnからラベル付与対象のデータを選択する（ステップＳ１０５）。

然る後に、受信部１５が、選択されたラベル付与対象のデータに付与するラベルの情報を受け付けると（ステップＳ１０６）、付与部１６は、対応するラベル無しデータにラベルを付与する（ステップＳ１０７）。これにより、ラベルが付与されたデータは、新たなラベル有りデータとして記憶部１９に更新される。

そして、更新部１７は、ラベルが付与された新たなラベル有りデータをも含むラベル有りデータに基づいて、識別関数（辞書）を学習し、学習された識別関数（辞書）を記憶部１９に更新する（ステップＳ１０８）。

辞書学習装置１０は、このようにして識別関数（辞書）を学習する。

第２実施形態の辞書学習装置１０は、上記の如く、ラベル有りデータの密度が小さく、かつ、識別境界に近いラベル無しデータを選択する機能を備え、その選択されたデータにラベルが付与されたラベル有りデータを用いて、識別関数（辞書）を学習する。このため、辞書学習装置１０は、第１実施形態と同様に、効率良く、かつ、精度良く識別関数（辞書）を学習できる。

なお、第２実施形態では、図１０に表されるフローチャートのステップＳ１０１において、ラベル有りデータとラベル無しデータが混在している教師データが入力される例を述べている。しかしながら、ステップＳ１０１にて、ラベル有りデータを含まない教師データ（ラベル無しデータによる教師データ）が入力されてもよい。この場合には、入力された教師データにラベル有りデータが含まれていないことから、当該教師データに基づいて識別関数を算出することができない。このことから、この場合には、予め初期データとしての識別関数の情報が記憶部１９に格納されることとし、ステップＳ１０２における識別関数を算出する動作は省略される。

＜第３実施形態＞
以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第２実施形態の辞書学習装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。

この第３実施形態の辞書学習装置１０では、重要度算出部１２は、ラベル無しデータのそれぞれについて、ラベル無しデータを基準にした設定の大きさを持つ領域内におけるラベル無しデータの密度およびラベル有りデータの密度に基づき重要度を算出する。

すなわち、第２実施形態と同様に、ラベル無しデータをＤnとし、また、ラベル無しデータＤnを基準にした設定の大きさを持つ領域内におけるラベル有りデータの密度をρ_L（Ｄn）とする。さらに、第３実施形態では、その領域内におけるラベル無しデータの密度をρ_NL（Ｄn）とする。

重要度算出部１２は、それら密度ρ_L（Ｄn），ρ_NL（Ｄn）を求めた後に、式（４）に基づいて、各ラベル無しデータＤnについて、重要度Ｗ（Ｄn）を算出する。
Ｗ（Ｄn）＝ρ_NL（Ｄn）／（ρ_L（Ｄn）＋ρ_NL（Ｄn））・・・・・・・（４）
式（４）による重要度Ｗ（Ｄn）は、ラベル有りデータの密度ρ_L（Ｄn）がラベル無しデータの密度ρ_NL（Ｄn）に比べて小さくなるに従って“１”に近付く。換言すれば、重要度Ｗ（Ｄn）は、ラベル有りデータの密度ρ_L（Ｄn）がラベル無しデータの密度ρ_NL（Ｄn）に比べて大きくなるに従って“０”に近付く。

第３実施形態の辞書学習装置１０における上記したような重要度算出の構成以外の構成は、第２実施形態と同様である。

第３実施形態の辞書学習装置１０は、ラベル有りデータの密度に比べてラベル無しデータの密度が大きく（つまり、ラベル有りデータの密度が小さく）、かつ、識別境界に近いラベル無しデータを選択する機能を備えている。第３実施形態の辞書学習装置１０は、第１や第２の実施形態と同様に、効率良く、かつ、精度良く識別関数（辞書）を学習できる。

＜第４実施形態＞
以下に、本発明に係る第４実施形態を説明する。なお、第４実施形態の説明において、第２や第３の実施形態の辞書学習装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。

第４実施形態では、データの密度の算出にＫ近傍法を利用する。

すなわち、ここで、ラベル有りデータの総数をＮ_Lとする。また、予め設定された個数Ｋ_Lのラベル有りデータが含まれる体積を持ち、かつ、ラベル無しデータＤnを基準にした超球の体積をＶ_Lとする。この場合に、その超球におけるラベル有りデータの密度ρ_L（Ｄn）は式（５）により表される。
ρ_L（Ｄn）＝Ｋ_L／（Ｎ_L×Ｖ_L）・・・・・・・（５）
また、ラベル無しデータの総数をＮ_NLとする。また、予め設定された個数Ｋ_NLのラベル無しデータが含まれる体積を持ち、かつ、ラベル無しデータＤnを基準にした超球の体積をＶ_NLとする。この場合に、その超球におけるラベル無しデータの密度ρ_NL（Ｄn）は式（６）により表される。
ρ_NL（Ｄn）＝Ｋ_NL／（Ｎ_NL×Ｖ_NL）・・・・・・・（６）
さらに、Ｋ_L個のラベル有りデータのうち、ラベル無しデータＤnから最も遠いデータをデータＤ_Lとした場合に、半径｜Ｄn－Ｄ_L｜を満たす超球内のラベル無しデータの個数がＫ_NLであれば、Ｖ_L＝Ｖ_NLと見なすことができる。この場合には、式（５）と式（６）に基づいて、式（７）が導かれる。
ρ_NL（Ｄn）／ρ_L（Ｄn）＝（Ｋ_NL×Ｎ_L）／（Ｋ_L×Ｎ_NL）・・・・・・・（７）
さらに、式（７）と式（４）に基づいて、式（８）が導かれる。
Ｗ（Ｄn）＝（Ｋ_NL×Ｎ_L）／（（Ｋ_L×Ｎ_NL）＋（Ｋ_NL×Ｎ_L））・・・・・・・（８）
第４実施形態では、重要度算出部１２は、各ラベル無しデータＤnについて、式（８）に基づき重要度Ｗ（Ｄn）を算出する。

第４実施形態の辞書学習装置１０における上記したような重要度算出の構成以外の構成は、第２や第３の実施形態と同様である。

第４実施形態の辞書学習装置１０においても、第１～第３の実施形態と同様に、ラベル有りデータの密度が小さく、かつ、識別境界に近いラベル無しデータを選択する機能を備えている。このことから、第４実施形態の辞書学習装置１０は、効率良く、かつ、精度良く識別関数（辞書）を学習できる。

＜その他の実施形態＞
なお、本発明は、第１～第３の実施形態に限定されることなく、様々な実施の形態を採り得る。例えば、第２～第４の実施形態では、選択部１４は、式（３）に基づいて選択優先度Ｊ（Ｄn）を算出している。これに代えて、例えば、選択部１４は、予め設定された単調減少関数ｆ（ｒ（Ｄn；θ））を用いて、選択優先度Ｊ（Ｄn）を算出してもよい。この場合には、選択部１４は、式（９）に基づいて選択優先度Ｊ（Ｄn）を算出する。

式（９）による選択優先度Ｊ（Ｄn）を用いて選択部１４がデータを選択しても、第２～第４の各実施形態と同様の効果を得ることができる。

さらに、第３実施形態では、重要度算出部１２は、ラベル有りデータの密度ρ_L（Ｄn）に比べてラベル無しデータの密度ρ_NL（Ｄn）が大きい場合に、重要度Ｗ（Ｄn）が大きくなる式（４）に基づいて、重要度Ｗ（Ｄn）を算出している。これに代えて、重要度算出部１２は、ラベル無しデータの密度ρ_NL（Ｄn）に比べてラベル有りデータの密度ρ_L（Ｄn）が小さい場合に、重要度Ｗ（Ｄn）が大きくなる重要度Ｗ（Ｄn）を算出してもよい。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１６年１２月２１日に出願された日本出願特願２０１６－２４７４３１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１，１０ 辞書学習装置
２，１２ 重要度算出部
３ データ選択部
１４ 選択部
１６ 付与部
１７ 更新部

Claims (7)

1. 教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記教師データに含まれるラベル有りデータの密度に基づいて前記ラベル無しデータの重要度を算出する重要度算出手段と、
   データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択するデータ選択手段と、
   を備え、
   前記重要度算出手段は、ラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における前記ラベル有りデータの密度と前記ラベル無しデータの密度との比に基づいて、前記ラベル無しデータの重要度を算出する辞書学習装置。
2. 前記重要度算出手段は、前記ラベル有りデータに対する前記ラベル無しデータの比が大きくなるに従って前記重要度が高くなる請求項１に記載の辞書学習装置。
3. 前記重要度算出手段は、前記ラベル無しデータに対する前記ラベル有りデータの比が小さくなるに従って前記重要度が高くなる請求項１に記載の辞書学習装置。
4. 前記データ選択手段により選択された前記ラベル無しデータに付与するラベルの情報を外部から受信した場合に、当該受信した情報に基づいて前記選択されたラベル無しデータに前記ラベルを付与するラベル付与手段と、
   前記ラベル付与手段によって前記ラベルが付与された新たなラベル有りデータを含む複数の前記教師データに基づいて前記識別関数のパラメータである辞書を学習することにより、前記識別関数を更新する更新手段と
   をさらに備える請求項１乃至請求項３の何れか一つに記載の辞書学習装置。
5. 教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記複数の教師データに含まれるラベル有りデータの密度と前記ラベル無しデータの密度との比に基づいて前記ラベル無しデータの重要度を算出し、
   データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択し、
   選択された前記ラベル無しデータに付与するラベルの情報を外部から受信した場合に当該ラベル無しデータに前記ラベルを付与し、
   前記ラベルが付与された新たなラベル有りデータを含む複数の前記教師データに基づいて前記識別関数のパラメータである辞書を学習することにより、前記識別関数を更新する辞書学習方法。
6. 教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記複数の教師データに含まれるラベル有りデータの密度と前記ラベル無しデータの密度との比に基づいて前記ラベル無しデータの重要度を算出し、
   データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択し、
   選択された前記ラベル無しデータに付与するラベルの情報を外部から受信した場合に当該ラベル無しデータに前記ラベルを付与し、
   前記ラベルが付与された新たなラベル有りデータを含む複数の前記教師データに基づいて前記識別関数のパラメータである辞書を学習することにより、前記識別関数を更新する辞書学習方法によって前記識別関数を学習し、
   当該学習された識別関数を利用して、外部から受信したデータを認識するデータ認識方法。
7. 教師データの特徴ベクトルを構成する要素を変数として持つ特徴空間に複数の教師データを前記特徴ベクトルに基づいて配置した場合に前記複数の教師データに含まれるラベル無しデータ毎に、当該ラベル無しデータを基準にした設定の大きさの領域内における、前記複数の教師データに含まれるラベル有りデータの密度と前記ラベル無しデータの密度との比に基づいて前記ラベル無しデータの重要度を算出する処理と、
   データを識別する基となる識別関数に基づいた識別境界と前記ラベル無しデータとの近さを表す情報と、前記算出された重要度を表す情報とに基づいて、複数の前記ラベル無しデータの中からラベル付けするデータを選択する処理と
   をコンピュータによって実行させるコンピュータプログラム。

Images