JP7448023B2 - 学習方法、学習装置及びプログラム - Google Patents

Description

本発明は、学習方法、学習装置及びプログラムに関する。

クラスタリングとは、互いに類似するデータが同一クラスタとなるように複数のデータを各クラスタに分割する手法である。無限ガウス混合モデルにより、自動的にクラスタ数を決定しつつクラスタリングする手法が従来から知られている（例えば、非特許文献１）。

Rasmussen, Carl Edward. The infinite Gaussian mixture model. Advances in Neural Information Processing Systems. 2000.

しかしながら、上記の従来手法は、複雑なデータ（つまり、各クラスタがガウス分布で表現できないようなデータ）に対してはクラスタリング性能が低下する場合があった。

本発明の一実施形態は、上記の点に鑑みてなされたもので、高性能なクラスタリングを実現することを目的とする。

上記目的を達成するため、一実施形態に係る学習方法は、複数のデータと、前記データが属するクラスタをそれぞれ表す複数のラベルとを入力する入力手順と、前記複数のデータのそれぞれを所定のニューラルネットワークにより変換して複数の表現データを生成する表現生成手順と、前記複数の表現データをクラスタリングするクラスタリング手順と、前記クラスタリングの結果と前記複数のラベルとに基づいて、前記クラスタリングの性能を表す所定の評価尺度を計算する計算手順と、前記評価尺度に基づいて、前記ニューラルネットワークのパラメータを学習する学習手順と、をコンピュータが実行する。

高性能なクラスタリングを実現することができる。

本実施形態に係るクラスタリング装置の機能構成の一例を示す図である。 本実施形態に係る学習処理の流れの一例を示すフローチャートである。 本実施形態に係るテスト処理の流れの一例を示すフローチャートである。 本実施形態に係るクラスタリング装置のハードウェア構成の一例を示す図である。

以下、本発明の一実施形態について説明する。本実施形態では、複雑なデータであっても、高性能なクラスタリングを実現することができるクラスタリング装置１０について説明する。ここで、本実施形態に係るクラスタリング装置１０には学習時とテスト時が存在し、学習時にはラベル付きデータ集合が与えられ、このラベル付きデータ集合から学習対象のパラメータを学習する（つまり、このラベル付きデータ集合が学習用データセットである。）。一方で、テスト時にはクラスタリング対象のラベル無しデータが与えられ、学習済みのパラメータを用いてラベル無しデータをクラスタリングする。ラベルとは、データが属するクラスタ（つまり、真のクラスタ又は正解クラスタ）を表す情報のことである。なお、学習時におけるクラスタリング装置１０は、例えば、「学習装置」等と称されてもよい。

以降では、クラスタリング装置１０の学習時には、入力データとして、Ｃ個のクラスタのデータ集合

が与えられるものとする。ここで、Ｘ_ｃ＝｛ｘ_ｃｎ｝はクラスタｃのデータ集合、ｘ_ｃｎはクラスタｃに属するｎ番目のデータである。なお、ｘ_ｃｎは、目的とするタスクの事例（例えば、センサの観測値等）を表すデータ（以下、「事例データ」ともいう。）である。

一方で、クラスタリング装置１０のテスト時には、入力データとして、目的タスクにおけるデータ｛ｘ_ｎ｝が与えられるものとする。ｘ_ｎも同様に目的とするタスクの事例データである。この目的タスクにおける事例データ集合｛ｘ_ｎ｝がクラスタリング対象のデータであり、このデータを高性能にクラスタリングすることが目的である。なお、クラスタリングの性能はクラスタリング評価尺度（例えば、後述する調整ランド指数等）によって評価される。

＜機能構成＞
まず、本実施形態に係るクラスタリング装置１０の機能構成について、図１を参照しながら説明する。図１は、本実施形態に係るクラスタリング装置１０の機能構成の一例を示す図である。

図１に示すように、本実施形態に係るクラスタリング装置１０は、入力部１０１と、表現変換部１０２と、クラスタリング部１０３と、評価部１０４と、学習部１０５と、出力部１０６と、記憶部１０７とを有する。

記憶部１０７は、学習時やテスト時に用いられる各種データが記憶される。すなわち、記憶部１０７には、学習時には学習用のラベル付きデータ集合｛Ｘ_ｃ｝が少なくとも記憶されている。また、記憶部１０７には、テスト時にはクラスタリング対象のラベル無しデータ｛ｘ_ｎ｝と学習済みのパラメータとが少なくとも記憶されている。

入力部１０１は、学習時には学習用のラベル付きデータ集合｛Ｘ_ｃ｝を入力データとして記憶部１０７から入力する。また、入力部１０１は、テスト時にはクラスタリング対象のラベル無しデータ｛ｘ_ｎ｝を入力データとして記憶部１０７から入力する。

表現変換部１０２は、学習時及びテスト時に、各事例データの性質を表す表現ベクトルを生成する。表現変換部１０２は、事例データｘ_ｎをニューラルネットワークで変換することで、表現ベクトルｚ_ｎを生成する。すなわち、表現変換部１０２は、例えば、以下の式（１）により事例データｘ_ｎから表現ベクトルｚ_ｎを計算する。

ここで、ｆはニューラルネットワークを表す。このニューラルネットワークのパラメータΘは学習時に学習対象となるパラメータである。したがって、テスト時には学習済みパラメータΘが用いられる。

上記のニューラルネットワークｆには、データに応じて任意の種類のニューラルネットワークを用いることが可能である。例えば、フィードフォワード型ニューラルネットワーク、畳み込み型ニューラルネットワーク、再帰型ニューラルネットワーク等を用いることが可能である。

なお、目的タスクの表現を表すデータが与えられている場合には、そのタスク表現データをニューラルネットワークの入力に追加してもよい。また、目的タスクの表現を表すデータを学習用のラベル付きデータ集合から学習し、ニューラルネットワークの入力に追加してもよい。

クラスタリング部１０３は、学習時及びテスト時に、表現変換部１０２によって生成された表現ベクトルの集合をクラスタリングする。以降では、表現ベクトルの集合の要素数をＮ（つまり、表現変換部１０２による変換対象の事例データｘ_ｎの数もＮ）として、無限混合ガウス分布を変分ベイズ法により推定することで表現ベクトルの集合｛ｚ_１，・・・，ｚ_Ｎ｝をクラスタリングする場合について説明する。ただし、クラスタリング手法は無限混合ガウス分布を変分ベイズ法により推定する手法に限られず、例えば、混合ガウス分布をＥＭ（expectation-maximization）法により推定する手法等、微分可能な計算手順によりソフトなクラスタリングを行う任意の手法を用いることが可能である。

クラスタリング部１０３は、以下のＳ１～Ｓ４により表現ベクトルの集合｛ｚ_１，・・・，ｚ_Ｎ｝をクラスタリングすることができる。

Ｓ１）まず、クラスタリング部１０３は、各事例データの寄与率

を初期化する。ここで、ｒ_ｎｋはｎ番目の事例データがｋ番目のクラスタに属する確率、Ｋ'は事前に設定される最大クラスタ数である。なお、寄与率Ｒの初期化はランダムに行ってもよいし、表現ベクトル集合を入力とするニューラルネットワークを用いて行ってもよい。

Ｓ２）次に、クラスタリング部１０３は、パラメータ

を初期化する。

Ｓ３）次に、クラスタリング部１０３は、所定の第１の終了条件を満たすまで、ｎ＝１，・・・，Ｎに対して、パラメータ

と寄与率Ｒとの更新を繰り返す。このとき、クラスタリング部１０３は、ｋ＝１，・・・，Ｋ'に対して、以下の式（２）～（６）によりパラメータγ_ｋ１，γ_ｋ２，μ_ｋ，ａ_ｋ，ｂ_ｋを更新する。

ここで、αはハイパーパラメータ、Ｓは表現ベクトルの次元数である。なお、ここでは各クラスタで等方ガウス分布を仮定したが、任意の共分散行列を持つガウス分布を仮定することもできる。

一方で、クラスタリング部１０３は、ｋ＝１，・・・，Ｋ'に対して、以下の式（７）により寄与率Ｒを更新する。

ここで、Ψはディガンマ関数である。

Ｓ４）そして、所定の第１の終了条件を満たした場合、クラスタリング部１０３は、寄与率Ｒをクラスタリング結果として出力する。なお、上記の第１の終了条件としては、例えば、更新の繰り返し回数が所定の第１の閾値を超えたこと、更新前後におけるパラメータや寄与率の変化量が所定の第２の閾値以下となったこと等が挙げられる。

評価部１０４は、学習時に、クラスタリング部１０３から出力された寄与率Ｒと、入力部１０１によって入力された入力データ｛Ｘ_ｃ｝に付与されてラベルが表す真のクラスタとから、その寄与率Ｒのクラスタリング性能を表すクラスタリング評価尺度を計算する。以降では、クラスタリング評価尺度として調整ランド指数を計算する場合について説明する。ただし、クラスタリング評価尺度は調整ランド指数に限られず、例えば、ランド指数等の任意のクラスタリング評価尺度を用いることが可能である。

クラスタリング部１０３から出力された寄与率Ｒと、入力部１０１によって入力された入力データ｛Ｘ_ｃ｝の真のクラスタとに対する調整ランド指数は、以下の式（８）により計算することができる。

ここで、

は真のクラスタであり、ｙ_ｎはｎ番目の事例データが属するクラスタを表す。

また、Ｕ_１は以下の式（９）で計算され、真のクラスタが異なる事例データペアにおいて、推定クラスタも異なるペアの数の期待値を表す。

Ｕ_２は以下の式（１０）で計算され、真のクラスタが異なる事例データペアにおいて、推定クラスタが同じになるペアの数の期待値を表す。

Ｕ_３は以下の式（１１）で計算され、真のクラスタが同じ事例データペアにおいて、推定クラスタが異なるペアの数の期待値を表す。

Ｕ_４は以下の式（１２）で計算され、真のクラスタが同じ事例データペアにおいて、推定クラスタが同じになるペアの数の期待値を表す。

更に、上記の式（９）～式（１２）におけるｄ_ｎｎ'はｎ番目の事例データの寄与率とｎ'番目の事例データの寄与率との距離を表し、例えば、以下の式（１３）に示す確率間のＴｏｔａｌ Ｖａｒｉａｔｉｏｎ距離を用いることがでる。

ただし、距離の代わりに、ｄ_ｎｎ'として、ｎ番目の事例データとｎ'番目の事例データとが異なるクラスタに属することとなる確率

が用いられてもよい。

なお、上記の式（９）～式（１２）におけるＩ（・）は指示関数であり、Ｉ（ｔｒｕｅ）のとき１、Ｉ（ｆａｌｓｅ）のときは０を取る関数である。

学習部１０５は、学習時に、入力部１０１によって入力された入力データ｛Ｘ_ｃ｝を用いて、クラスタリング性能が高くなるように、ニューラルネットワークｆのパラメータΘを学習する。

例えば、クラスタリング評価尺度として調整ランド指数を用いた場合、学習部１０５は、ランダムにデータを作成したときの調整ランド指数が高くなるようにニューラルネットワークｆのパラメータΘを学習する。すなわち、学習部１０５は、以下の式（１４）によりニューラルネットワークｆのパラメータΘを学習する。

ここで、Ｅは期待値、ｔはランダムに生成したクラスの集合、Ｘ（ｔ）はｔに含まれるクラスに属するデータの集合、ｙ（Ｘ（ｔ））はデータ集合Ｘ（ｔ）の真のクラスタを表す。なお、明細書のテキスト中ではΘの真上に表記されるハット「＾」をΘの左側に表記し、「＾Θ」と表記する。

出力部１０６は、学習時に、学習部１０５によって学習された学習済みパラメータ＾Θを出力する。また、出力部１０６は、テスト時に、クラスタリング部１０３のクラスタリング結果を出力する。なお、出力部１０６の出力先は予め決められた任意の出力先とすればよいが、例えば、記憶部１０７やディスプレイ等が挙げられる。

なお、図１に示すクラスタリング装置１０の機能構成は学習時とテスト時の両方の機能構成であり、例えば、テスト時におけるクラスタリング装置１０は評価部１０４及び学習部１０５を有していなくてもよい。

また、学習時におけるクラスタリング装置１０とテスト時におけるクラスタリング装置１０とが異なる装置又は機器で実現されていてもよい。例えば、第１の装置と第２の装置とが通信ネットワークを介して接続されており、学習時におけるクラスタリング装置１０は第１の装置で実現される一方、テスト時におけるクラスタリング装置１０は第２の装置で実現されていてもよい。

＜学習処理の流れ＞
以降では、本実施形態に係る学習処理の流れについて、図２を参照しながら説明する。図２は、本実施形態に係る学習処理の流れの一例を示すフローチャートである。なお、ニューラルネットワークのパラメータΘは既知の方法により初期化されているものとする。

まず、入力部１０１は、学習用のラベル付きデータ集合｛Ｘ_ｃ｝（ただし、ｃ＝１，・・・，Ｃ）を入力データとして記憶部１０７から入力する（ステップＳ１０１）。

次に、入力部１０１は、全クラス集合｛１，・・・，Ｃ｝から部分集合ｔをランダムにサンプリングする（ステップＳ１０２）。なお、上述したように、Ｘ_ｃ＝｛ｘ_ｃｎ｝と表される。

次に、入力部１０１は、上記のステップＳ１０２でサンプリングされた部分集合ｔに関するデータ集合をＸ（ｔ）とする（ステップＳ１０３）。すなわち、入力部１０１は、上記のステップＳ１０１で入力されたラベル付きデータ集合｛Ｘ_ｃ｝のうち、当該部分集合ｔに含まれるクラスに属するデータの集合をＸ（ｔ）とする。以降では、簡単のため、Ｘ（ｔ）に含まれる事例データ数をＮとして、Ｘ（ｔ）＝｛ｘ_ｎ，ｙ_ｎ｝（ｎ＝１，・・・，Ｎ）とする。なお、ｙ_ｎは事例データｘ_ｎのラベル（真のクラスタを表す情報）である。

次に、表現変換部１０２は、データ集合Ｘ（ｔ）に含まれる事例データｘ_ｎから表現ベクトルｚ_ｎを生成する（ステップＳ１０４）。なお、表現変換部１０２は、上記の式（１）により事例データｘ_ｎを変換することで、表現ベクトルｚ_ｎを生成すればよい。

次に、クラスタリング部１０３は、上記のステップＳ１０４で生成された表現ベクトルの集合｛ｚ_１，・・・，ｚ_Ｎ｝をクラスタリングして、そのクラスタリング結果として寄与度Ｒを推定する（ステップＳ１０５）。なお、クラスタリング部１０３は、上記のＳ１～Ｓ４によりクラスタリング及び寄与度Ｒの推定を行えばよい。

次に、評価部１０４は、上記のステップＳ１０５で推定及び出力された寄与度Ｒと、データ集合Ｘ（ｔ）に含まれるラベル｛ｙ_１，・・・，ｙ_Ｎ｝とから調整ランド指数を計算する（ステップＳ１０６）。なお、評価部１０４は、上記の式（８）により調整ランド指数を計算すればよい。

次に、学習部１０５は、負の調整ランド指数とその勾配とを用いて、例えば勾配降下法等の既知の最適化手法によりニューラルネットワークｆのパラメータΘを学習する（ステップＳ１０７）。なお、調整ランド指数を負数とするのは勾配降下法等により最適解を探索するために、最大化問題を最小化問題と扱う必要があるためである。

次に、学習部１０５は、所定の第２の終了条件を満たすか否かを判定する（ステップＳ１０８）。なお、第２の終了条件としては、例えば、上記のステップＳ１０２～ステップＳ１０７の処理の繰り返し回数が所定の第３の閾値を超えたこと、当該繰り返しの前後でパラメータΘの変化量が所定の第４の閾値以下となったこと等が挙げられる。

上記のステップＳ１０８で所定の第２の終了条件を満たすと判定されなかった場合、クラスタリング装置１０、上記のステップＳ１０２に戻る。これにより、当該第２の終了条件を満たすまで、上記のステップＳ１０２～ステップＳ１０７が繰り返し実行される。

一方で、上記のステップＳ１０８で所定の第２の終了条件を満たすと判定された場合、出力部１０６は、学習済みパラメータ＾Θを出力する（ステップＳ１０９）。

＜テスト処理の流れ＞
以降では、本実施形態に係るテスト処理の流れについて、図３を参照しながら説明する。図３は、本実施形態に係るテスト処理の流れの一例を示すフローチャートである。

まず、入力部１０１は、クラスタリング対象のラベル無しデータＸ＝｛ｘ_ｎ｝を入力データとして記憶部１０７から入力する（ステップＳ２０１）。なお、以降では、簡単のため、入力データＸに含まれる事例データ数はＮであるものとする。

次に、表現変換部１０２は、上記のステップＳ２０１で入力された入力データＸに含まれる事例データｘ_ｎから表現ベクトルｚ_ｎを生成する（ステップＳ２０２）。なお、表現変換部１０２は、上記の式（１）により事例データｘ_ｎを変換することで、表現ベクトルｚ_ｎを生成すればよい。また、上記の式（１）におけるニューラルネットワークｆのパラメータには、学習済みパラメータ＾Θを用いる。

次に、クラスタリング部１０３は、上記のステップＳ２０２で生成された表現ベクトルの集合｛ｚ_１，・・・，ｚ_Ｎ｝をクラスタリングして、そのクラスタリング結果として寄与度Ｒを推定する（ステップＳ２０３）。なお、クラスタリング部１０３は、上記のＳ１～Ｓ４によりクラスタリング及び寄与度Ｒの推定を行えばよい。

そして、出力部１０６は、上記のステップＳ２０３のクラスタリング結果として寄与率Ｒを出力する（ステップＳ２０４）。なお、本実施形態ではクラスタリング結果を寄与率Ｒとしたが、例えば、寄与率Ｒに基づいて決定した各事例データｘ_ｎの所属関係を示す情報（つまり、各事例データｘ_ｎがどのクラスタに属するか（どのクラスタにも属さない場合や２以上のクラスタに属する場合も含む）を示す情報）をクラスタリング結果としてもよい。

＜評価＞
次に、本実施形態に係るクラスタリング装置１０によるクラスタリング手法（以下、「提案手法」という。）の評価について説明する。提案手法を評価するために、異常検知データを用いてクラスタリングを行い、その結果を既存手法と比較した。また、クラスタリング評価尺度には調整ランド指数を用いた。その比較結果を以下の表１に示す。

ここで、表１中のＧＭＭは無限混合ガウス分布を用いたクラスタリング手法、ＡＥ＋ＧＭＭは自己符号化器と無限混合ガウス分布とを組み合わせたクラスタリング手法を表す。

上記の表１に示されるように、提案手法は、既存手法と比較して、高い調整ランド指数を達成していることがわかる。したがって、提案手法では、高性能なクラスタリングが実現できているといえる。

＜ハードウェア構成＞
最後に、本実施形態に係るクラスタリング装置１０のハードウェア構成について、図４を参照しながら説明する。図４は、本実施形態に係るクラスタリング装置１０のハードウェア構成の一例を示す図である。

図４に示すように、本実施形態に係るクラスタリング装置１０は一般的なコンピュータ又はコンピュータシステムのハードウェア構成で実現され、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、通信Ｉ／Ｆ２０４と、プロセッサ２０５と、メモリ装置２０６とを有する。これら各ハードウェアは、それぞれがバス２０７を介して通信可能に接続される。

入力装置２０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置２０２は、例えば、ディスプレイ等である。なお、クラスタリング装置１０は、例えば、入力装置２０１及び表示装置２０２のうちの少なくとも一方を有していなくてもよい。

外部Ｉ／Ｆ２０３は、記録媒体２０３ａ等の外部装置とのインタフェースである。クラスタリング装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａの読み取りや書き込み等を行うことができる。記録媒体２０３ａには、例えば、クラスタリング装置１０が有する各機能部（入力部１０１、表現変換部１０２、クラスタリング部１０３、評価部１０４、学習部１０５及び出力部１０６）を実現する１以上のプログラムが格納されていてもよい。

なお、記録媒体２０３ａには、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。

通信Ｉ／Ｆ２０４は、クラスタリング装置１０を通信ネットワークに接続するためのインタフェースである。なお、クラスタリング装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ２０４を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。

プロセッサ２０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。クラスタリング装置１０が有する各機能部は、例えば、メモリ装置２０６等に格納されている１以上のプログラムがプロセッサ２０５に実行させる処理により実現される。

メモリ装置２０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。クラスタリング装置１０が有する記憶部１０７は、例えば、メモリ装置２０６を用いて実現可能である。なお、記憶部１０７は、例えば、クラスタリング装置１０と通信ネットワークを介して接続される記憶装置等を用いて実現されていてもよい。

本実施形態に係るクラスタリング装置１０は、図４に示すハードウェア構成を有することにより、上述した学習処理やテスト処理を実現することができる。なお、図４に示すハードウェア構成は一例であって、クラスタリング装置１０は、他のハードウェア構成を有していてもよい。例えば、クラスタリング装置１０は、複数のプロセッサ２０５を有していてもよいし、複数のメモリ装置２０６を有していてもよい。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

１０ クラスタリング装置
１０１ 入力部
１０２ 表現変換部
１０３ クラスタリング部
１０４ 評価部
１０５ 学習部
１０６ 出力部
１０７ 記憶部
２０１ 入力装置
２０２ 表示装置
２０３ 外部Ｉ／Ｆ
２０３ａ 記録媒体
２０４ 通信Ｉ／Ｆ
２０５ プロセッサ
２０６ メモリ装置
２０７ バス

Claims (5)

1. 複数のデータと、前記データが属するクラスタをそれぞれ表す複数のラベルとを入力する入力手順と、
   前記複数のデータのそれぞれを所定のニューラルネットワークにより変換して複数の表現データを生成する表現生成手順と、
   前記複数の表現データをクラスタリングするクラスタリング手順と、
   前記クラスタリングの結果と前記複数のラベルとに基づいて、前記クラスタリングの性能を表す所定の評価尺度を計算する計算手順と、
   前記評価尺度に基づいて、前記ニューラルネットワークのパラメータを学習する学習手順と、
   をコンピュータが実行する学習方法。
2. 前記表現生成手順は、
   前記複数のデータのそれぞれと、所定の目的タスクの表現を表すデータとを前記ニューラルネットワークにより変換して、前記複数の表現データを生成する、請求項１に記載の学習方法。
3. 前記クラスタリング手順は、
   前記複数の表現データのそれぞれが各クラスタに属する確率を表す寄与率を推定することで、前記クラスタリングを行い、
   前記計算手順は、
   前記クラスタリングの結果として前記寄与率を用いて、前記評価尺度を計算する、請求項１又は２に記載の学習方法。
4. 複数のデータと、前記データが属するクラスタをそれぞれ表す複数のラベルとを入力する入力部と、
   前記複数のデータのそれぞれを所定のニューラルネットワークにより変換して複数の表現データを生成する表現生成部と、
   前記複数の表現データをクラスタリングするクラスタリング部と、
   前記クラスタリングの結果と前記複数のラベルとに基づいて、前記クラスタリングの性能を表す所定の評価尺度を計算する計算部と、
   前記評価尺度に基づいて、前記ニューラルネットワークのパラメータを学習する学習部と、
   を有する学習装置。
5. コンピュータに、請求項１乃至３の何れか一項に記載の学習方法、を実行させるプログラム。

Images