JP7428233B2

JP7428233B2 - クラスタリング装置、クラスタリング方法、および、クラスタリングプログラム

Info

Publication number: JP7428233B2
Application number: JP2022502626A
Authority: JP
Inventors: 純平山下; 英毅小矢
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2020-02-25
Filing date: 2020-02-25
Publication date: 2024-02-06
Anticipated expiration: 2040-02-25
Also published as: JPWO2021171384A1; US20230086261A1; WO2021171384A1

Description

本発明は、クラスタリング装置、クラスタリング方法、および、クラスタリングプログラムに関する。

例えば、慣性センサ（例えば、加速度計、回転量計等）や生理信号の計測センサにより出力されるセンサデータ等、多次元のデータを分析する場合、データが何を表しているのか把握しやすくするため、データの次元を削減することが必要である。

データの次元を削減する方法として、クラスタリングがある。クラスタリングでは、データ間の類似度に基づき、データをいくつかのクラスタに分け、そのデータのクラスタリングの結果に基づき、データの次元数をクラスタ数分に削減する。

ここで、従来のクラスタリング方法には、いわゆる、浅い手法（shallow method）と深い手法（deep method）とがある。上記の浅い手法は、例えば、単純な教師なし学習や２層以下のニューラルネットワークを利用する方法である。深い手法は、例えば、３層以上のニューラルネットワークを利用する方法である。

Balanced Self-Paced Learning for Generative Adversarial Clustering Network (CVPR 2019)、［2020年2月7日検索］、インターネット＜URL：http://openaccess.thecvf.com/content_CVPR_2019/papers/Ghasedi_Balanced_Self-Paced_Learning_for_Generative_Adversarial_Clustering_Network_CVPR_2019_paper.pdf＞

上記の浅い手法は、クラスタリングに必要なモデルを学習するのに必要な計算量は少なくて済むが、次元数の増加とともにクラスタリングの性能が悪化する。よって、浅い手法では非線形で複雑な多次元のデータのクラスタリングは困難であるという問題がある。

一方、深い手法は、多次元のデータのクラスタリングを行うことができる。しかし、事前にクラスタ数を人手で決めてから、クラスタリングに必要なモデルを学習する必要があるため適切なクラスタ数を探し出すまでに試行錯誤が必要である。また、上記のクラスタリングに必要なモデルの学習に要する計算量が多く、適切なクラスタ数を探し当てるまでに必要な計算量が非常に多くなるという問題がある。

そこで、本発明は、前記した問題を解決し、多次元データであるセンサデータについて少ない計算量で適切なクラスタリングを行うことを課題とする。

前記した課題を解決するため、本発明は、教師なし学習または２層以下のニューラルネットワークで扱える次元数の連続的な確率変数である潜在変数からセンサデータが生成されるとみなし、前記潜在変数から前記センサデータを生成する生成モデルに基づき、前記センサデータから前記潜在変数を推定するモデルを構築するモデル構築部と、前記構築されたモデルを用いて、前記センサデータから、前記センサデータの生成の元となった潜在変数の推定値を計算する潜在変数計算部と、前記計算された潜在変数の推定値を、教師なし学習または２層以下のニューラルネットワークによりクラスタリングした際のクラスタ数を特定するクラスタ数特定部と、前記構築されたモデルのハイパーパラメータ情報を取得するハイパーパラメータ情報取得部と、前記取得されたハイパーパラメータ情報と、特定されたクラスタ数とを用いて、３層以上のニューラルネットワークにより、前記センサデータをクラスタリングするクラスタリング部とを備えることを特徴とする。

本発明によれば、多次元データであるセンサデータについて少ない計算量で適切なクラスタリングを行うことができる。

図１は、クラスタリング装置の構成例を示す図である。図２は、図１のクラスタリング装置の処理手順の例を示すフローチャートである。図３は、潜在変数とデータ（センサデータ）との関係を説明するための図である。図４は、GANを説明するための図である。図５は、InfoGANを説明するための図である。図６は、VAEを説明するための図である。図７は、浅い手法による潜在変数のクラスタリングを説明するための図である。図８は、クラスタリングプログラムを実行するコンピュータの構成例を示す図である。

以下、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。本発明は以下に説明する実施形態に限定されない。

なお、以下の説明において、クラスタリング装置１０が処理対象とするセンサデータは、例えば、人体の行動に伴いセンシングされるデータである。センサデータは、例えば、人体の生理データ、人体の動きを示す加速度データ、人体の動きを示す回転量データのいずれかまたはこれらの組み合わせ等である。このセンサデータは、多次元データであり、例えば、数千次元程度のデータであるものとする。

また、以下の説明において、浅い手法とは、例えば、単純な教師なし学習や２層以下のニューラルネットワークを利用する手法であり、深い手法は、例えば、３層以上のニューラルネットワークを利用する手法であるものとする。

［構成例］
クラスタリング装置１０は、入力されたセンサデータのクラスタリングを行う。クラスタリング装置１０は、入出力部１１と、記憶部１２と、制御部１３とを備える。

入出力部１１は、各種データの入出力を司る。例えば、入出力部１１は、センサデータの入力を受け付けたり、センサデータのクラスタリングの結果を出力したりする。この入出力部１１は、入出力インタフェースや通信インタフェース等により実現される。

記憶部１２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現され、クラスタリング装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータ等が記憶される。また、記憶部１２は、制御部１３により構築されたモデルや、当該モデルのハイパーパラメータ情報等を記憶する。制御部１３により構築されるモデルについては後記する。

制御部１３は、クラスタリング装置１０全体の制御を司る。制御部１３は、各種の処理手順等を規定したプログラム及び所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。例えば、制御部１３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路である。制御部１３は、各種のプログラムが動作することにより各種の処理部として機能する。

制御部１３は、データ入力受け付け部１３１と、モデル構築部１３２と、潜在変数計算部１３３と、クラスタ数特定部１３４と、ハイパーパラメータ情報取得部１３５と、クラスタリング部１３６とを備える。

データ入力受け付け部１３１は、入出力部１１経由でセンサデータの入力を受け付ける。

モデル構築部１３２は、センサデータから潜在変数を推定するモデルを構築する。例えば、モデル構築部１３２は、潜在変数は浅い手法で扱える次元数の連続的な確率変数（例えば、正規分布に基づく確率変数）であるものとみなし、当該潜在変数からセンサデータを生成する生成モデルに基づき、センサデータから潜在変数を推定するモデルを構築する。

上記の生成モデルは、教師なし学習によって潜在変数からセンサデータを生成するよう学習されたモデルである。生成モデルは、例えば、GAN（Generative Adversarial Networks）、InfoGAN（Information Maximizing Generative Adversarial Networks）、VAE（Variational AutoEncoder）等である。上記のモデル構築部１３２によるモデルの構築の詳細については具体例を交えながら後記する。

潜在変数計算部１３３は、モデル構築部１３２により構築されたモデルを用いて、センサデータから、センサデータの生成の元となった潜在変数の推定値を計算する。

クラスタ数特定部１３４は、潜在変数計算部１３３により計算された潜在変数の推定値を浅い手法によりクラスタリングし、最適なクラスタ数を特定する。

例えば、クラスタ数特定部１３４は、上記の最適なクラスタ数の特定に、エルボー法を用いる。なお、このエルボー法は、例えば、様々なクラスタ数でK-means法等を試してみて、これ以上クラスタ数を増やしてもあまり精度が上昇しない点を探索し、探索の結果得られたクラスタ数を最適なクラスタ数として特定する方法である。

ハイパーパラメータ情報取得部１３５は、モデル構築部１３２により構築されたモデルのハイパーパラメータ情報（例えば、ニューラルネットワークのユニット数、結合方式、学習率等）を取得する。

クラスタリング部１３６は、ハイパーパラメータ情報取得部１３５により取得されたハイパーパラメータ情報と、クラスタ数特定部１３４により特定された最適なクラスタ数とを用いて、深い手法によりセンサデータのクラスタリングを行う。

例えば、クラスタリング部１３６は、ネットワークアーキテクチャの最終層を除いたすべてのハイパーパラメータが、モデル構築部１３２により構築されたモデルのハイパーパラメータが同じである３層以上のニューラルネットワークを用いて、センサデータを上記の最適なクラスタ数にクラスタリングする。その後、クラスタリング部１３６は、センサデータのクラスタリングの結果を入出力部１１経由で出力する。

このようにすることでクラスタリング装置１０は、多次元データであるセンサデータについて少ない計算量で適切なクラスタリングを行うことができる。

［処理手順］
次に、図２を用いて、クラスタリング装置１０の処理手順の例を説明する。

まず、クラスタリング装置１０のデータ入力受け付け部が、入出力部１１経由でセンサデータの入力を受け付けると、モデル構築部１３２は、浅い手法で扱える次元数の連続的な確率変数である潜在変数からセンサデータが生成される過程をモデル化する（Ｓ１）。

次に、潜在変数計算部１３３は、Ｓ１で得られたモデルを用いて、個々のセンサデータを生成した潜在変数を推定する（Ｓ２）。その後、クラスタ数特定部１３４は、Ｓ２で推定された潜在変数について、最少のクラスタ数を指定し、浅い手法でクラスタリングを実行する（Ｓ３）。そして、クラスタ数特定部１３４が、クラスタ数を変更したとしても、クラスタリング精度はこれ以上上がらないと判定した場合（Ｓ４でＹｅｓ）、センサデータのクラスタリングに用いるクラスタ数を、当該クラスタ数に決定する（Ｓ６）。

一方、Ｓ４でクラスタ数特定部１３４は、クラスタ数を変更すればクラスタリング精度がさらに上がると判定した場合（Ｓ４でＮｏ）、クラスタ数を増加させて、浅い手法でクラスタリングを実行し（Ｓ５）、Ｓ４の処理へ戻る。

Ｓ６の後、ハイパーパラメータ情報取得部１３５は、Ｓ２で潜在変数の推定に用いたモデルのハイパーパラメータ情報を取得する（Ｓ７）。その後、クラスタリング部１３６は、Ｓ５で決定されたクラスタ数とＳ７で取得されたハイパーパラメータ情報とを用いて、深い手法により、センサデータのクラスタリングを実行する（Ｓ８）。

このようなクラスタリング装置１０によれば、比較的多くの計算量を必要とするニューラルネットワークの学習過程を何度も繰り返し実行せずに、センサデータの最適なクラスタ数を特定することができる。その結果、クラスタリング装置１０は、センサデータについて少ない計算量で適切なクラスタリングを行うことができる。

［モデル構築］
次に、モデル構築部１３２によるモデル構築について詳細に説明する。まず、潜在変数とセンサデータとの関係を説明する。

潜在変数からセンサデータが生成される過程がモデル化できていれば、潜在変数の１つの組み合わせに対応して１つのセンサデータが生成されると考えることができる。なお、上記のモデルにおいて各潜在変数上のデータは連続的な確率変数に従って分布しているものとする。例えば、センサデータは、潜在変数Ａ，Ｂ，Ｃの組み合わせに対応して生成される場合を考える。この場合、センサデータに対応する潜在変数は、例えば、図３のように潜在変数Ａの軸、潜在変数Ｂの軸、潜在変数Ｃの軸からなる空間（潜在空間）上の点１、点２、点３のように表現される。つまり、潜在空間上の１点に対応してデータ（センサデータ）が生成されると考えることができる。例えば、図３に示すように、潜在空間上の点１の潜在変数から生成されるデータ、点２の潜在変数から生成されるデータ、点３の潜在変数から生成されるデータが対応付けられる。

［生成モデルとしてInfoGANを用いる場合］
モデル構築部１３２は、潜在変数からセンサデータを生成する生成モデルに基づき、センサデータから潜在変数を推定するモデルを構築する。生成モデルは、例えば、InfoGANである。以下、モデル構築部１３２が生成モデルとしてInfoGANを用いる場合について説明する。

InfoGANとは、GANと呼ばれる教師なし学習のフレームワークを発展させ、データから、そのデータを生成する潜在変数を推定するものである。

まず、GANについて説明する。ここでは、図４を用いて、GANによって３次元の潜在変数ｃ（Ａ，Ｂ，Ｃ）からデータ（センサデータ）を生成する過程をモデル化する場合を例に説明する。GANは、ニューラルネットワークで構成されたGeneratorおよびDiscriminatorを持つ。

Generator（Ｇ）は、３次元の潜在変数ｃの入力を受け付けると、多次元のデータを生成し、出力する。Discriminator（Ｄ）は、Generatorにより生成されたデータ（生成データ）および実データのどちらかの入力を受け付けると、入力されたデータが生成データか実データのどちらかを推測し、推測結果を出力する。例えば、Discriminatorは、推測結果として、(1,0)＝Real（実データ）または(0,1)＝Generated（生成データ）を出力する。

上記のGeneratorの学習においては、Discriminatorが、Generatorにより生成されたデータと実データ（data）とを識別した結果の精度が悪化するような評価関数を定める。また、Discriminatorの学習においては、Discriminatorが、Generatorにより生成されたデータと実データとを識別した結果の精度が改善するような評価関数を定める。

なお、GANで用いられる評価関数は以下の式（１）により表される。

上記のGeneratorの学習とDiscriminatorの学習とを同時（交互）に行うことで、学習ごとに、Generatorは３つの潜在変数ｃから実データに類似するデータを生成するようになる。また、学習ごとに、DiscriminatorはGeneratorが生成したデータと実データとを見分けるようになっていく。そして、上記の学習がうまく収束すると、Generatorは実データと見分けがつかないデータを生成できるようになる。また、Discriminatorは実データと生成されたデータとの見分けがつかなくなる。このとき、Generatorには潜在変数からデータが生成される過程がモデル化されていると解釈することができる。

InfoGANでは、上記のGANの枠組みを発展させ、データから潜在変数の推定を可能にしている。図５を用いて、InfoGANにおいて３次元の潜在変数ｃ（Ａ，Ｂ，Ｃ）からデータ（センサデータ）を生成する過程についてモデル化する場合について説明する。InfoGANは学習過程の都合上、データから推定される潜在変数とは別に、解釈できないノイズ（noise）を説明するいくつかの潜在変数（ノイズ潜在変数ｚ）を追加で用いる。

Generator（Ｇ）は、３次元の潜在変数ｃおよびノイズ潜在変数ｚの入力を受け付けると、多次元のデータを生成し、出力する。

Discriminator（Ｄ）は、Generator（Ｇ）による生成データおよび実データの入力を受け付けると、入力されたデータが生成データおよび実データのどちらかを推測し、推測結果を出力する。例えば、Discriminatorは、推測結果として、(1,0)＝Real（実データ）または(0,1)＝Generated（生成データ）を出力する。また、Discriminatorは、生成データがどの潜在変数から生成されたか推測する。

Generatorの学習においては、Discriminatorが、Generatorにより生成されたデータ（生成データ）と実データとを識別した結果の精度が悪化し、かつ、Discriminatorが、生成データがどの潜在変数から生成されたかを推定した結果の精度が向上するような評価関数を定める。

また、Discriminatorの学習においては、Discriminatorが、Generatorにより生成されたデータと実データとを識別した結果の精度が改善し、かつ、Discriminatorが、生成データがどの潜在変数から生成されたかを推定した結果の精度が向上するような評価関数を定める。

なお、InfoGANで用いられる評価関数は以下の式（２）により表される。

上記の学習ごとに、Generatorは３次元の潜在変数ｃおよびノイズ潜在変数ｚから実データに類似するデータを生成するようになり、学習がうまく収束すると、Discriminatorは実データと生成データとの見分けがつかなくなる。また、学習がうまく収束すると、Discriminatorはそのデータを生成する潜在変数を推定できるようになる。

このとき、Generatorには潜在変数からデータが生成される過程がモデル化されていると解釈することができる。そして、この潜在変数からデータが生成される過程は、他のモデルが生成データから潜在変数を推定する場合、それが容易であるようにモデル化されていると解釈することができる。換言すると、上記の過程において、潜在変数と生成データとの相互情報量が最大化されていると解釈することができる。

つまり、上記の学習により、Generatorは、生成データから潜在変数ｃを推定しやすいようにモデル化されている。すなわち、Generatorは、潜在変数ｃの情報が生成データに多く残るように学習されていると解釈することができる。

これにより、Discriminatorは、生成データがどの潜在変数から生成されたかを推定することができる。よって、クラスタリング装置１０は、上記の学習後のDiscriminatorを用いることで、実データがどの潜在変数から生成されたかを推定することができる。

なお、モデル構築部１３２は、潜在変数からセンサデータを生成する生成モデルとして、上記したGANを用いてもよいし、VAEを用いてもよい。

［生成モデルとしてVAEを用いる場合］
以下、図６を参照しながら、モデル構築部１３２が生成モデルとしてVAEを用いる場合を説明する。

VAEとは、ニューラルネットワークで構成されたEncoderおよびDecoderを持つ教師なし学習器である。Encoderは、多次元のデータが入力されると、当該データを、例えば３次元の潜在変数をサンプリングするための確率分布Ｚのパラメータ（平均μ（ｘ）および分散σ（ｘ））に写像するネットワークである。潜在変数の値は、例えば、Encoderから出力された３次元の平均および分散の値から正規分布Ｎ上でランダムサンプリングを行うことにより得られる。

Decoderは、入力された３次元の潜在変数の値を多次元のデータに写像するネットワークである。このDecoderによる出力が入力を復元するように、例えば、誤差逆伝搬法等で学習を行うことで、Encoderは入力された多次元のデータの生成元となった潜在変数を推定するようになり、Decoderは潜在変数からセンサデータを生成する過程をモデル化するようになる。よって、クラスタリング装置１０は、上記の学習後のEncoderを用いることで、データの生成元となった潜在変数を推定することができる。

［潜在変数のクラスタリング］
次に、図７を用いて、クラスタ数特定部１３４による、潜在変数のクラスタリングについて説明する。例えば、クラスタ数特定部１３４は、図７に示す潜在変数Ａ，Ｂ，Ｃの軸で表される潜在変数の推定値を、浅い手法によりクラスタリングし、最適なクラスタ数を特定する。

クラスタリング装置１０は、センサデータの生成元となった潜在変数の次元数を、浅い手法によるクラスタリングが可能な程度の次元数にまで制限している。このため、クラスタ数特定部１３４は、浅い手法により潜在変数の推定値のクラスタリングを行うことができる。

また、クラスタ数特定部１３４が、最適なクラスタ数を特定する際、試行錯誤的な手法も用いるが、その計算量は、深い手法で最適なクラスタ数を特定する際に試行錯誤を行う場合よりもはるかに少ない。

［センサデータのクラスタリング］
クラスタリング部１３６は、モデル構築部１３２により構築されたモデルのハイパーパラメータ情報と、クラスタ数特定部１３４により特定されたクラスタ数とを用いて、深い手法により（例えば、３層以上のニューラルネットワークにより）、センサデータをクラスタリングする。上記のクラスタリングにより、クラスタリング部１３６が離散的なデータであるセンサデータをクラスタリングできる理由を以下に説明する。

上述の通り、深い手法によるクラスタリングではニューラルネットワークが利用される。ニューラルネットワークがそれぞれ、同じハイパーパラメータで、同じデータを、似た評価関数を最小化（最大化）するように学習を行うと、それぞれのニューラルネットワークでは高い確率で同じような意味の学習が進んでいくと推察される。

例えば、InfoGANで、（１）データの生成元の潜在変数を推定する学習を行い、Discriminatorによって推定された潜在変数上で浅い手法でクラスタリングを行う場合と、（２）同じハイパーパラメータで、同じデータを扱い、Generatorの扱う潜在変数を離散的にして学習させ、Discriminatorによって推定された、データの生成元の潜在変数（離散的な潜在変数）をクラスタ識別子とみなす場合とで、似た処理が行われることが経験的に分かっている。

また、例えば、VAEで、（１）データの生成元の潜在変数を推定する学習を行い、Encoderによって推定された潜在変数上で浅い手法でクラスタリングを行う場合と、（２）同じハイパーパラメータで、同じデータを扱い、Encoderが、Deep Clustering（深い手法によるクラスタリングの一種。参考文献１参照）を用いてデータの生成元の潜在変数（離散的な潜在変数）をクラスタリングする場合とで、似た処理が行われる可能性が高い。

参考文献１：Deep Clustering for Unsupervised Learning of Visual Features, Mathilde Caron, Piotr Bojanowski, Armand Joulin, Matthijs Douze (ECCV 2018), URL: https://arxiv.org/pdf/1807.05520.pdf

以上のことから、クラスタリング部１３６は、モデル構築部１３２により構築されたモデルのハイパーパラメータ情報を用いて、離散的なデータであるセンサデータをクラスタリングすることができる。

［効果］
このように、クラスタリング装置１０は、まず、潜在変数とセンサデータとを対応付ける生成モデルに基づき、センサデータの生成元となった潜在変数を推定し、その潜在変数上で最適なクラスタ数を求める。多くの場合、上記の最適なクラスタ数は、同じハイパーパラメータで、同じデータを用いた深い手法によってクラスタリングする場合の最適なクラスタ数と一致する。よって、クラスタリング装置１０は、上記の最適なクラスタ数を用いて、深い手法によりセンサデータのクラスタリングを行うことができる。その結果、クラスタリング装置１０は、センサデータのクラスタリングを行う際、多くの計算量を必要とするニューラルネットワークの学習過程を何度も繰り返し実行せずに済む。

なお、深い手法でのクラスタリング方法として、InfoGANの潜在変数ｃを離散的な確率変数とする方法がある。例えば、潜在変数ｃが０，１，２のいずれかからデータが生成されたとみなせば、データの潜在変数の推定はクラスタリングとなる。しかし、最初から離散的な確率変数をおいて、最適なクラスタ数をさがした場合、深い手法を何度も試行錯誤することになる。

一方、クラスタリング装置１０は、潜在変数が連続的な確率変数であるものとし、その潜在変数からデータが生成されるとみなす。この連続的な確率変数は離散的な確率変数と比べて自由度が高い。この自由度のおかげで、はじめに人手で指定する潜在変数の次元数は、クラスタ数ほど厳密である必要がなくなる。なお、この潜在変数の次元数は、例えば、浅い手法の適用範囲内にあると想定される次元数の中から、とりあえず大きめのものを選んでおけばよい。例えば、センサデータの次元数が数千次元程度であるとすると、潜在変数の次元数は最大で数十次元程度とすればよい。これにより、クラスタリング装置１０が、最適なクラスタ数を特定するための計算量を低減することができる。

また、上記の方法で得られた潜在変数は、浅い手法でクラスタリング可能となっているため、クラスタリング装置１０は、潜在変数の最適なクラスタ数の特定を簡単に行うことができる。ここで、我々は、上記のようにして特定された最適なクラスタ数は、深い手法により、同じデータで、同じハイパーパラメータでクラスタリングする場合においても最適なクラスタ数にもなるという性質を経験的に発見した。そこで、上記の性質を利用し、クラスタリング装置１０は、上記の方法で特定した潜在変数の最適なクラスタ数を、深い手法でセンサデータをクラスタリングする際の最適なクラスタ数として用いることとした。これにより、クラスタリング装置１０は、センサデータのクラスタリングを行う際に最適なクラスタ数を得るために繰り返しニューラルネットワークの学習過程を何度も繰り返す必要がなくなる。つまり、クラスタリング装置１０が、最適なクラスタ数を特定するための計算量を低減することができる。その結果、クラスタリング装置１０は、センサデータについて少ない計算量で適切なクラスタリングを行うことができる。

［プログラム］
図８を用いて、上記のプログラム（クラスタリングプログラム）を実行するコンピュータの一例を説明する。図８に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

ここで、図８に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。前記した実施形態で説明したモデルのパラメータ等は、例えばハードディスクドライブ１０９０やメモリ１０１０に装備される。

そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、上記のクラスタリングプログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、上記のプログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１０クラスタリング装置
１１入出力部
１２記憶部
１３制御部
１３１データ入力受け付け部
１３２モデル構築部
１３３潜在変数計算部
１３４クラスタ数特定部
１３５ハイパーパラメータ情報取得部
１３６クラスタリング部

Claims

教師なし学習または２層以下のニューラルネットワークで扱える次元数の連続的な確率変数である潜在変数からセンサデータが生成されるとみなし、前記潜在変数から前記センサデータを生成する生成モデルに基づき、前記センサデータから前記潜在変数を推定するモデルを構築するモデル構築部と、
前記構築されたモデルを用いて、前記センサデータから、前記センサデータの生成の元となった潜在変数の推定値を計算する潜在変数計算部と、
前記計算された潜在変数の推定値を、教師なし学習または２層以下のニューラルネットワークによりクラスタリングした際のクラスタ数を特定するクラスタ数特定部と、
前記構築されたモデルのハイパーパラメータを取得するハイパーパラメータ情報取得部と、
最終層を除く各層のハイパーパラメータが、前記取得されたハイパーパラメータと同じである３層以上のニューラルネットワークにより、前記センサデータを、前記特定されたクラスタ数にクラスタリングするクラスタリング部と
を備えることを特徴とするクラスタリング装置。
前記センサデータは、
人体の生理データ、人体の動きを示す加速度データ、および、人体の動きを示す回転量データのいずれかまたはこれらの組み合わせである
ことを特徴とする請求項１に記載のクラスタリング装置。
前記連続的な確率変数は、
正規分布に従った確率変数である
ことを特徴とする請求項１に記載のクラスタリング装置。
前記生成モデルは、
教師なし学習によって前記潜在変数から前記センサデータを生成するよう学習されたニューラルネットワークである
ことを特徴とする請求項１に記載のクラスタリング装置。
前記ニューラルネットワークは、
GANまたはVAEである
ことを特徴とする請求項４に記載のクラスタリング装置。
前記クラスタ数特定部は、
前記センサデータのクラスタ数を特定する際、教師なし学習または２層以下のニューラルネットワークにエルボー法を適用する
ことを特徴とする請求項１に記載のクラスタリング装置。
クラスタリング装置により実行されるクラスタリング方法であって、
教師なし学習または２層以下のニューラルネットワークで扱える次元数の連続的な確率変数である潜在変数からセンサデータが生成されるとみなし、前記潜在変数から前記センサデータを生成する生成モデルに基づき、前記センサデータから前記潜在変数を推定するモデルを構築する工程と、
前記構築されたモデルを用いて、前記センサデータから、前記センサデータの生成の元となった潜在変数の推定値を計算する工程と、
前記計算された潜在変数の推定値を、教師なし学習または２層以下のニューラルネットワークによりクラスタリングした際のクラスタ数を特定する工程と、
前記構築されたモデルのハイパーパラメータを取得する工程と、
最終層を除く各層のハイパーパラメータが、前記取得されたハイパーパラメータと同じである３層以上のニューラルネットワークにより、前記センサデータを、前記特定されたクラスタ数にクラスタリングするクラスタリングする工程と
を含むことを特徴とするクラスタリング方法。
教師なし学習または２層以下のニューラルネットワークで扱える次元数の連続的な確率変数である潜在変数からセンサデータが生成されるとみなし、前記潜在変数から前記センサデータを生成する生成モデルに基づき、前記センサデータから前記潜在変数を推定するモデルを構築する工程と、
前記構築されたモデルを用いて、前記センサデータから、前記センサデータの生成の元となった潜在変数の推定値を計算する工程と、
前記計算された潜在変数の推定値を、教師なし学習または２層以下のニューラルネットワークによりクラスタリングした際のクラスタ数を特定する工程と、
前記構築されたモデルのハイパーパラメータを取得する工程と、
最終層を除く各層のハイパーパラメータが、前記取得されたハイパーパラメータと同じである３層以上のニューラルネットワークにより、前記センサデータを、前記特定されたクラスタ数にクラスタリングするクラスタリングする工程と
をコンピュータに実行させることを特徴とするクラスタリングプログラム。