JP7659766B2

JP7659766B2 - 情報処理装置、情報処理方法及びプログラム

Info

Publication number: JP7659766B2
Application number: JP2024504118A
Authority: JP
Inventors: 修長谷川; 洸輔井加田
Original assignee: SOINN INC.
Current assignee: SOINN INC.
Priority date: 2022-03-03
Filing date: 2022-03-03
Publication date: 2025-04-10
Anticipated expiration: 2042-03-03
Also published as: JPWO2023166645A1; WO2023166645A1

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関し、例えば任意のクラスに属する入力ベクトルを順次入力して当該入力ベクトルの入力分布構造を学習する情報処理装置、情報処理方法及びプログラムに関する。

学習中に必要に応じてニューロンを増殖させる学習手法として、自己組織化ニューラルネットワーク（ＳＯＩＮＮ：Self-Organizing Incremental Neural Network）と呼ばれる手法が提案されている（特許文献１）。ＳＯＩＮＮでは、ノード数を自律的に管理することにより非定常的な入力を学習することができ、複雑な分布形状を有するクラスに対しても適切なクラス数及び位相構造を抽出できるなど多くの利点を有する。ＳＯＩＮＮの応用例として、例えばパターン認識においては、ひらがな文字のクラスを学習させた後に、カタカナ文字のクラスなどを追加的に学習させることができる。

このようなＳＯＩＮＮの一例として、Ｅ－ＳＯＩＮＮ（Enhanced SOINN）と称される手法が提案されている。Ｅ－ＳＯＩＮＮでは、学習を随時追加するオンライン追加学習が可能であり、バッチ学習ではなく学習効率が良いという利点を有している。このため、Ｅ－ＳＯＩＮＮでは、学習環境が新しい環境に変化した場合においても追加学習が可能である。また、Ｅ－ＳＯＩＮＮでは、入力データに対するノイズ耐性が高いという利点をも有している。

ところが、Ｅ－ＳＯＩＮＮを含むＳＯＩＮＮにおいては、入力データの入力順序によって学習結果が異なってしまうという問題や、例えば１０００次元以上の高次元データを入力データとする場合に学習精度が低下するという問題が有った。こうした問題を解決するため、ＬＢ－ＳＯＩＮＮ（Load Balance Self-Organizing Incremental Neural Network）と称される手法が提案された（特許文献２）。ＬＢ－ＳＯＩＮＮは、ネットワークにおけるノードの負荷をノード学習時間として扱い、ノード学習時間が大きなノードを検出し、検出したノードとこれに隣接するノードを接続する辺上に、検出したノードの重みベクトルに基づいて決定された重みベクトルを有する新たなノード生成する。これにより、検出したノードの学習時間の増大を緩和し、かつ、その付近に新たなノードを生成することで、入力データの構造をより正確に学習することができる。

特開２００８－２１７２４６号公報特開２０１４－１６４３９６号公報

しかしながら、上述のようなＳＯＩＮＮによって入力ベクトルを学習する場合、ノイズの影響によって、本来分離されるべきクラスタが辺で接続されてしまい、入力ベクトルの分布を正確に学習できないという問題が生じうることが見出された。

図１３に、ノイズが少ない入力データの例を示す。図１３に示す入力データは、２次元の入力ベクトルが円弧状に分布した部分を２つ合わせたデータである。図１４に、図１３の入力データを上述のＳＯＩＮＮで学習して取得したネットワーク構造を示す。この場合には、ノイズが少ないため、ほぼ正確に入力ベクトルの分布を学習できている。

しかし、ノイズが多い入力データでは、入力データが分布する領域（クラスタ）の間でノイズに起因する入力ベクトルの影響が大きくなる。図１５に、図１３の入力データにノイズを付与した入力データの例を示す。図１５に示す入力データは、２次元の入力ベクトルが円弧状に分布した部分を２つ有するものの、ノイズの影響によって境界が不明瞭になっている。図１６に、図１５の入力データを上述のＳＯＩＮＮで学習して取得したネットワーク構造を示す。この場合には、ノイズの影響により、本来分離されるべき２つのクラスタがノイズに起因する辺によって接続され、１つのクラスタになってしまっている。そのため、入力ベクトルの分布を正確に学習できないことがわかる。

このように、本来分離すべきクラスタが分離していない場合でも、不要な辺を削除することで、クラスタを好適に分離することが考え得る。例えば、削除する辺の長さを指定する長さ閾値を与え、長さ閾値よりも長い辺を削除すればよい。しかし、長さ閾値として好適な値を決定するには、長さ閾値を変更しながら辺削除処理を繰り返して辺削除後の学習結果を観察し、好適な長さ閾値を発見するための試行錯誤が求められる。

例えば、辺の長さの平均値を長さ閾値として用いて辺を削除したとしても、辺の削除が十分ではない場合があり得る。図１７に、辺の削除の例を示す。図１７に示すように、上側の辺削除前のネットワークにおいて辺の長さの平均値を長さ閾値として用いて辺を削除したものの、辺削除後の中央のネットワークのように不要な辺が残存することが有る。このような場合、人手によって、長さ閾値をより短い値に調整して再度辺削除を行うことで、図１７の下側のネットワークのように、不要な辺を削除できる。しかしながら、人手による作業を要するため、時間を要してしまい、非効率的である。

このように、単一の長さ閾値を用いるとクラスタが分離できない場合が多いが、ある長さ閾値を用いて辺削除処理を行ってクラスタを分離した後に、別の長さ閾値を用いて再度辺削除処理を行う、多段階の辺削除処理も考え得る。しかし、この場合でも長さ閾値として好適な値、及び、辺削除の繰り返しの好適な回数は、試行錯誤により求めるよりない。

本発明は、上記の事情に鑑みて成されたものであり、自動的に辺削除処理を行うことで入力データの構造を正確に学習できる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

一実施の形態にかかる情報処理装置は、入力ベクトルを順次入力して、当該入力ベクトルの入力分布構造を、多次元ベクトルで記述される複数のノード及び２つの前記ノード間を接続する複数の辺が配置されるネットワーク構造として学習する情報処理装置において、同じ入力データに対して複数の教師なし学習方法によって学習して得られた複数の初期学習結果を取得する学習処理部と、前記複数の初期学習結果から１つの初期学習結果を順に選択し、選択された前記初期学習結果に含まれる複数の辺のそれぞれを順に注目辺として選択し、前記注目辺よりも長い辺を前記選択された初期学習結果から削除した場合と、前記注目辺以上の長さの辺を前記選択された初期学習結果から削除した場合と、におけるクラスタの分離度合いを算出する分離度合い算出部と、前記複数の辺について算出したクラスタ分離度合いのうちでＭ番目に大きなクラスタ分離度合いに対応する注目辺の長さである長さ閾値以上の辺を前記選択された初期学習結果から削除する辺削除処理部と、前記辺削除処理部による辺削除後の前記複数の初期学習結果である複数の中間学習結果から選択可能な２つの中間学習結果からなる学習結果ペアを選択し、選択した前記学習結果ペアの前記２つの中間学習結果のそれぞれから１つずつ選択した２つのクラスタからなるクラスタペアを選択し、選択可能なクラスタペアの全てについて、一方のクラスタに属するノードと他方のクラスタに属するノードとの間の距離を示す距離行列を算出する距離行列算出部と、各距離行列について各列及び各行の最小値を取得し、取得した前記最小値のうちで所定条件を満たすものの個数に基づいて各距離行列にかかる評価指数を算出する評価指数算出部と、全ての前記学習結果ペアについて算出した距離行列の評価指数に基づいて、各中間学習結果の各クラスタについて、１つの中間学習結果に含まれる１つのクラスタと、他の中間学習結果のクラスタとが類似している度合いを示す得点を算出する得点算出部と、各中間学習結果の各クラスタについて算出した前記得点のうちの最小値を取得し、取得した複数の前記最小値のうちの最大値を画一度として算出する画一度算出部と、前記画一度が画一度閾値よりも大きい場合にＭに１を加算してＭの値を更新し、前記画一度が画一度閾値よりも小さい場合に辺を削除する処理を終了する終了判定部と、前記終了判定部が辺を削除する処理を終了すると判定した場合に、前記得点算出部で算出された各中間学習結果の各クラスタの得点に基づいて、前期複数の中間学習結果から最終学習結果を選択する学習結果選択部と、前記最終学習結果をクラスタリングするクラスタリング部と、を有し、前記Ｍの値が更新されるごとに、前記辺削除処理部、前記距離行列算出部、前記得点算出部、前記画一度算出部及び前記終了判定部は処理を繰り返すものである。

一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記クラスタの分離度合いは、前記注目辺が属するクラスタが辺を削除した後に２つのクラスタに分離しないときは０であり、分離するときは０以外の値を持つことが望ましい。

一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記クラスタの分離度合いは、前記注目辺が属するクラスタが２つのクラスタに分離したときは、正又は負の値を持つことが望ましい。

一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記クラスタの分離度合いは、前記注目辺が属するクラスタが２つのクラスタに分離したときに、分離した２つのクラスタのノード数が近似しているほど、正の値の場合には値が大きくなり、負の値の場合には値が小さくなることが望ましい。

一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記クラスタの分離度合いは、前記注目辺が属するクラスタが２つのクラスタに分離したときに、分離した２つのクラスタに含まれるノード数が多いほど、正の値の場合には値が大きくなり、負の値の場合には値が小さくなることが望ましい。

一実施の形態にかかる情報処理装置は、上記の情報処理装置において、
ｎ_ｋ１を注目する辺よりも長い辺を削除した場合に存在するクラスタｋ１のそれぞれのノード数、ｎ_ｋ２を注目する辺以上の長さの辺を削除した場合に存在するクラスタｋ２のそれぞれのノード数としたときに、前記クラスタの分離度合いＤは以下の式で定義されることが望ましい。

一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記得点算出部は、全ての距離行列について算出した評価指数に基づいて、前記２つの中間学習結果のそれぞれから１つずつ選択した２つのクラスタ間の全てのペアについての評価指数で構成される評価指数行列を生成し、前記評価指数行列に含まれる評価指数に基づいて、１つの学習結果に含まれるクラスタが他の学習結果のクラスタに似ているかを示す得点を算出し、全ての学習結果に属するクラスタについての得点を含む得点行列を生成し、前記学習結果選択部は、前記得点行列に基づいて、前記複数の学習結果から最終学習結果を選択することが望ましい。

一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記評価指数算出部は、前記２つのクラスタのそれぞれに属するノード間の平均的距離を求め、求めた２つの平均的距離の平均値を求め、各距離行列の各列及び各行の前記最小値のうちで、前記平均値以上のものの個数に基づいて各距離行列にかかる評価指数を算出することが望ましい。

一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記評価指数は、各距離行列の各列及び各行の前記最小値のうちで、前記平均値以上のものの個数を、前記２つのクラスタに属するノードの総数で除算した値であることが望ましい。

一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記得点算出部は、評価指数行列に含まれる各評価指数を閾値と比較し、比較結果に基づいて得点を与え、各クラスタの合計得点を算出することが望ましい。

一実施の形態にかかる情報処理装置は、上記の情報処理装置において、前記学習結果選択部は、各中間学習結果に属するクラスタの合計得点のうちで最小値を取得し、取得した最小値のうちで最大の値に対応する前記中間学習結果を選択することが望ましい。

一実施の形態にかかる情報処理方法は、入力ベクトルを順次入力して、当該入力ベクトルの入力分布構造を、多次元ベクトルで記述される複数のノード及び２つの前記ノード間を接続する複数の辺が配置されるネットワーク構造として学習する情報処理方法において、同じ入力データに対して複数の教師なし学習方法によって学習して得られた複数の初期学習結果を取得し、前記複数の初期学習結果から１つの初期学習結果を順に選択し、選択された前記１つの初期学習結果から順に１つのクラスタを選択し、選択されたクラスタ含まれる複数の辺のそれぞれを順に注目辺として選択し、前記注目辺よりも長い辺を前記ネットワーク構造から削除した場合と、前記注目辺以上の長さの辺を前記ネットワーク構造から削除した場合と、におけるクラスタの分離度合いを算出し、各注目辺について算出したクラスタ分離度合いに基づいて、Ｍ番目に大きなクラスタ分離度合いに対応する注目辺の長さである長さ閾値以上の辺を前記選択されたクラスタから削除し、辺削除後の前記複数の初期学習結果である複数の中間学習結果から選択可能な２つの中間学習結果からなる学習結果ペアを選択し、選択した２つの中間学習結果のそれぞれから１つずつ選択した２つのクラスタからなるクラスタペアを選択し、選択可能なクラスタペアの全てについて、一方のクラスタに属するノードと他方のクラスタに属するノードとの間の距離を示す距離行列を算出し、各距離行列について各列及び各行の最小値を取得し、取得した前記最小値のうちで所定条件を満たすものの個数に基づいて各距離行列にかかる評価指数を算出し、全ての前記学習結果ペアについて算出した距離行列の評価指数に基づいて、各中間学習結果の各クラスタについて、１つの中間学習結果に含まれる１つのクラスタと、他の中間学習結果のクラスタとが類似している度合いを示す得点を算出し、各中間学習結果の各クラスタについて算出した前記得点のうちの最小値を取得し、取得した複数の前記最小値のうちの最大値を画一度として算出し、前記画一度が画一度閾値よりも大きい場合にＭに１を加算してＭの値を更新し、前記画一度が画一度閾値よりも小さい場合に辺を削除する処理を終了し、辺を削除する処理を終了すると判定した場合に、算出された各中間学習結果の各クラスタの得点に基づいて、前期複数の中間学習結果から最終学習結果を選択し、前記最終学習結果をクラスタリングするクラスタリングし、前記Ｍの値が更新されるごとに、前記辺の削除、前記距離行列の算出、前記得点の算出、前記画一度の算出及び前記終了の判定を繰り返すものである。

一実施の形態にかかるプログラムは、入力ベクトルを順次入力して、当該入力ベクトルの入力分布構造を、多次元ベクトルで記述される複数のノード及び２つの前記ノード間を接続する複数の辺が配置されるネットワーク構造として学習する処理をコンピュータに行わせるプルグラムにおいて、同じ入力データに対して複数の教師なし学習方法によって学習して得られた複数の初期学習結果を取得する処理と、前記複数の初期学習結果から１つの初期学習結果を順に選択し、選択された前記１つの初期学習結果から順に１つのクラスタを選択する処理と、選択されたクラスタ含まれる複数の辺のそれぞれを順に注目辺として選択し、前記注目辺よりも長い辺を前記ネットワーク構造から削除した場合と、前記注目辺以上の長さの辺を前記ネットワーク構造から削除した場合と、におけるクラスタの分離度合いを算出する処理と、各注目辺について算出したクラスタ分離度合いに基づいて、Ｍ番目に大きなクラスタ分離度合いに対応する注目辺の長さである長さ閾値以上の辺を前記選択されたクラスタから削除する処理と、辺削除後の前記複数の初期学習結果である複数の中間学習結果から選択可能な２つの中間学習結果からなる学習結果ペアを選択し、選択した２つの中間学習結果のそれぞれから１つずつ選択した２つのクラスタからなるクラスタペアを選択し、選択可能なクラスタペアの全てについて、一方のクラスタに属するノードと他方のクラスタに属するノードとの間の距離を示す距離行列を算出する処理と、各距離行列について各列及び各行の最小値を取得し、取得した前記最小値のうちで所定条件を満たすものの個数に基づいて各距離行列にかかる評価指数を算出する処理と、全ての前記学習結果ペアについて算出した距離行列の評価指数に基づいて、各中間学習結果の各クラスタについて、１つの中間学習結果に含まれる１つのクラスタと、他の中間学習結果のクラスタとが類似している度合いを示す得点を算出する処理と、各中間学習結果の各クラスタについて算出した前記得点のうちの最小値を取得し、取得した複数の前記最小値のうちの最大値を画一度として算出する処理と、前記画一度が画一度閾値よりも大きい場合にＭに１を加算してＭの値を更新し、前記画一度が画一度閾値よりも小さい場合に辺を削除する処理を終了する処理と、辺を削除する処理を終了すると判定した場合に、算出された各中間学習結果の各クラスタの得点に基づいて、前期複数の中間学習結果から最終学習結果を選択する処理と、前記最終学習結果をクラスタリングするクラスタリングする処理と、をコンピュータに実行させ、前記Ｍの値が更新されるごとに、前記辺を削除する処理、前記距離行列を算出する処理、前記得点を算出する処理、前記画一度を算出する処理及び前記終了を判定する処理が繰り返されるものである。

本発明によれば、自動的に辺削除処理を行うことで入力データの構造を正確に学習できる情報処理装置、情報処理方法及びプログラムを提供することができる。

実施の形態１にかかる情報処理装置を実現するためのシステム構成の一例を示す図である。実施の形態１にかかる情報処理装置の構成を模式的に示す図である。実施の形態１にかかる情報処理装置における処理のフローチャートである。実施の形態１にかかる情報処理装置における処理のフローチャートである。ある辺についてその辺よりも長い辺を削除した場合（場合１）とその辺以上の長さの辺を削除した場合（場合２）との間におけるクラスタの変化の第１の例を模式的に示す図である。ある辺についてその辺よりも長い辺を削除した場合（場合１）とその辺以上の長さの辺を削除した場合（場合２）との間におけるクラスタの変化の第２の例を模式的に示す図である。クラスタ多様性変化量ｄＳが０となる場合の例を模式的に示す図である。クラスタ多様性変化量ｄＳが０とならない場合の例を模式的に示す図である。実施の形態１における辺の削除の概要を示す図である。実施の形態１における辺削除に用いた入力データの例を示す図である。図１０の入力データに対して辺削除処理を行ったときのネットワーク構造を示す図である。２段階の辺削除処理が行われた場合に得られるネットワークと画一度の例を示す図である。ノイズが少ない入力データの例を示す図である。図１３の入力データを上述のＳＯＩＮＮで学習して取得したネットワーク構造を示す図である。図１３の入力データにノイズを付与した入力データの例を示す図である。図１５の入力データを上述のＳＯＩＮＮで学習して取得したネットワーク構造を示す図である。辺の削除の例を示す図である。

以下、図面を参照して本発明の実施の形態について説明する。各図面においては、同一要素には同一の符号が付されており、必要に応じて重複説明は省略される。

実施の形態１
図１は、実施の形態１にかかる情報処理装置を実現するためのシステム構成の一例を示す図である。情報処理装置１００は、専用コンピュータ、パーソナルコンピュータ（ＰＣ）などのコンピュータ１０００により実現可能である。但し、コンピュータは、物理的に単一である必要はなく、分散処理を実行する場合には、複数であってもよい。図１に示すように、コンピュータ１０００は、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２及びＲＡＭ（Random Access Memory）１００３を有し、これらがバス１００４を介して相互に接続されている。尚、コンピュータを動作させるためのＯＳソフトなどは、説明を省略するが、この情報処理装置を構築するコンピュータも当然有しているものとする。

バス１００４には、入出力インターフェイス１００５も接続されている。入出力インターフェイス１００５には、例えば、キーボード、マウス、センサなどよりなる入力部１００６、ＣＲＴ、ＬＣＤなどよりなるディスプレイ、並びにヘッドフォンやスピーカなどよりなる出力部１００７、ハードディスクなどより構成される記憶部１００８、モデム、ターミナルアダプタなどより構成される通信部１００９などが接続されている。

ＣＰＵ１００１は、ＲＯＭ１００２に記憶されている各種プログラム、又は記憶部１００８からＲＡＭ１００３にロードされた各種プログラムに従って各種の処理、本実施の形態においては、例えば後述する情報処理装置１００の各部の処理を実行する。なお、ＧＰＵ（Graphics Processing Unit）を設けて、ＣＰＵ１００１と同様に、ＲＯＭ１００２に記憶されている各種プログラム、又は記憶部１００８からＲＡＭ１００３にロードされた各種プログラムに従って各種の処理、本実施の形態においては、例えば後述する情報処理装置１００の各部の処理を行ってもよい。なお、ＧＰＵは、定型的な処理を並列的に行う用途に適しており、後述するニューラルネットワークにおける処理などに適用することで、ＣＰＵ１００１に比べて処理速度を向上させることも可能である。ＲＡＭ１００３には又、ＣＰＵ１００１及びＧＰＵが各種の処理を実行する上において必要なデータなども適宜記憶される。

通信部１００９は、例えば図示しないインターネットを介しての通信処理を行ったり、ＣＰＵ１００１から提供されたデータを送信したり、通信相手から受信したデータをＣＰＵ１００１、ＲＡＭ１００３、記憶部１００８に出力したりする。記憶部１００８はＣＰＵ１００１との間でやり取りし、情報の保存・消去を行う。通信部１００９は又、他の装置との間で、アナログ信号又はディジタル信号の通信処理を行う。

入出力インターフェイス１００５はまた、必要に応じてドライブ１０１０が接続され、例えば、磁気ディスク１０１１、光ディスク１０１２、フレキシブルディスク１０１３、又は半導体メモリ１０１４などが適宜装着され、それらから読み出されたコンピュータプログラムが必要に応じて記憶部１００８にインストールされる。

続いて、本実施の形態にかかる情報処理装置１００における各処理について説明する。情報処理装置１００は、多次元ベクトルで記述されるノードが配置される非階層構造のニューラルネットワークを有し、ニューラルネットワークは、例えばＲＡＭ１００３などの記憶部に格納されている。

本実施の形態におけるニューラルネットワークは、入力ベクトルをニューラルネットワークに入力し、入力される入力ベクトルに基づいて、ニューラルネットワークに配置されるノードを自動的に増加させる自己増殖型ニューラルネットワークであり、自己増殖型ニューラルネットワークを用いることで、ノードを自動的に増加させることができるため、入力ベクトル空間からランダムに入力ベクトルが与えられる定常的な環境に限られず、例えば一定期間毎に入力ベクトルの属するクラスが切替えられて、切替後のクラスからランダムに入力ベクトルが与えられる非定常的な環境にも対応することができる。

本実施の形態におけるニューラルネットワークは、非階層構造を有するものである。非階層構造を採用することで、他の層での学習を開始するタイミングを指定せずに追加学習を実施することができる。すなわち、オンラインでの追加学習を実施することができる。

入力データは、任意のクラスに属する多次元の入力ベクトルとして入力される。例えば、入力ベクトルは一時記憶部（例えばＲＡＭ１００３）に格納され、一時記憶部に格納されたニューラルネットワークに対して順次入力される。

なお、以下では、簡略化のため、本実施の形態におけるニューラルネットワークを、単にネットワークとも称する。

以下、実施の形態１にかかる情報処理装置１００について具体的に説明する。情報処理装置１００は、複数の多次元ベクトルをデータ要素として含む入力データを教師なし学習手法、例えば上述の各種のＳＯＩＮＮ法によって学習（クラスタリング）し、複数のノードと２つのノード間を接続する辺とで構成されるネットワークとして表される学習結果を取得する。そして、情報処理装置１００は、自動的に辺削除の基準となる長さ閾値を求めて、この長さ閾値以上の辺を削除することでより好適な構造のネットワークを有する学習結果を取得することができる。

図２に、実施の形態１にかかる情報処理装置１００の構成を模式的に示す。情報処理装置１００は、学習処理部１、分離度合い算出部２、辺削除処理部３、距離行列算出部４、評価指数算出部５、得点算出部６、画一度算出部７、終了判定部８、学習結果選択部９及びクラスタリング部１０を有する。なお、ハードウェア上においては、ソフトウェアと上記のＣＰＵ１００１などのハードウェア資源とが協働して、図２に示す機能構成が実現される。

学習処理部１は、例えば上述のＥ－ＳＯＩＮＮやＬＢ－ＳＯＩＮＮなどによって複数の入力ベクトルを学習して、ノード及び辺で構成されるネットワーク構造を取得する。本実施の形態では、学習処理部１は、複数の多次元ベクトルを含む入力データを、異なる複数の教師なし学習条件で学習（クラスタリング）して、ネットワーク構造が異なる複数の学習結果を取得するものとして構成される。以下では、学習処理部１が取得する、ネットワーク構造が異なる複数の学習結果を、複数の初期学習結果と称する。

分離度合い算出部２は、選択したクラスタの辺を削除したときに、辺の削除によってクラスタが分離される度合いを算出する。

辺削除処理部３は、算出されたクラスタ分離度合いに基づいて辺削除に用いる長さ閾値を決定し、決定した長さ閾値に基づいて選択したクラスタ中の辺を削除する処理を行う。なお、辺の削除は、学習結果を取得した後に一括して行えるため、比較的簡便な処理で済み、容易に導入することが可能である。また、ノードと辺とで構成されるネットワークであれば学習手法に依存することなく適用することが可能である。なお、以下では、初期学習結果に対して辺の削除を行った後に得られるネットワーク構造を、中間学習結果と称する。

距離行列算出部４は、全ての初期学習結果に含まれる全てのクラスタの辺削除処理が完了して複数の中間学習結果を取得した後に、２つの異なる中間学習結果のそれぞれから選択した２つのクラスタを選択して、それらに含まれるノード間の距離を成分とする距離行列を算出する。

評価指数算出部５は、距離行列に基づいて、選択された２つのクラスタの類似度を示す評価指数を算出する。評価指数算出部５は、選択した２つの異なる中間学習結果から選択可能な２つのクラスタのペアの全てについて評価指数を算出した後で、２つの異なる中間学習結果の間でのクラスタの類似度を成分とする評価指数行列を出力してもよい。

得点算出部６は、評価行列指数に基づいて、選択した２つの異なる中間学習結果の類似度を示す得点を算出する。得点算出部６は、選択可能な２つの異なる中間学習結果のペアの全てについて得点を算出した後で、２つの異なる中間学習結果の得点を成分とする得点行列を出力してもよい。

画一度算出部７は、複数の中間学習結果の類似度を示す画一度を算出する。

終了判定部８は、算出された画一度に基づいて、辺削除処理を繰り返すかを判定する。

学習結果選択部９は、辺削除処理が完了したと判定された場合には、所定の条件にしたがって、辺削除処理が行われた後の複数の中間学習結果から、１つの中間学習結果を選択する。

クラスタリング部１０は、選択された１つの初期学習結果をクラスタリングし、最終学習結果を出力する。

以下、情報処理装置１００が行う処理について具体的に説明する。図３及び図４に、実施の形態１にかかる情報処理装置１００における処理のフローチャートを示す。

ステップＳＡ１
学習処理部１は、以下のステップＳＡ１１及びＳＡ１２により、入力データの学習を行う。

ステップＳＡ１１
学習処理部１は、入力データを読み込む。入力データは、例えば上述のＲＡＭ１００３や記憶部１００８などに格納され、学習処理部１は、入力データを適宜読み込むことができる。

ステップＳＡ１２
学習処理部１は、入力データの要素である多次元入力ベクトルを順次入力、学習して、ノードとノード間を接続する辺とによって構成されるネットワーク構造を有する学習結果を取得する。本実施の形態では、学習処理部１は、同じ入力データを複数の異なる教師なし学習条件で学習することで、複数の異なる初期学習結果を取得する。ここでいう複数の異なる教師なし学習条件とは、同じ教師なし学習手法において学習に用いるパラメータなどを変更したものでもよいし、それぞれ異なる教師なし学習手法を用いてもよいし、両者を混合した条件であってもよい。上述したように、学習処理部１によって得られた学習結果を、初期学習結果と称する。なお、言うまでもないが、複数の異なる教師なし学習条件にて学習することで得られた複数の初期学習結果のネットワーク構造は、それぞれ異なっている。

ステップＳＡ２
分離度合い算出部２は、以下のステップＳＡ２１～ＳＡ２７により、クラスタ分離度合いであるクラスタ多様性変化量を算出する。

ステップＳＡ２１
分離度合い算出部２は、複数の初期学習結果のうちで未だ選択学習結果ＳＲとして選択されていないものが有るかを判定する。

ステップＳＡ２２
選択学習結果ＳＲとして選択されていない初期学習結果が有る場合には、分離度合い算出部２は、その中から１つの初期学習結果を選択学習結果ＳＲとして選択する。

ステップＳＡ２３
分離度合い算出部２は、選択学習結果ＳＲに含まれる辺のうちで、注目辺として選択されていないものが有るかを判定する。注目辺として選択されていない辺が無い場合には、処理をステップＳＡ２１へ戻す。

ステップＳＡ２４
選択クラスタに含まれる辺のうちで、注目辺として選択されていない辺が有る場合には、分離度合い算出部２は、その中から１本の辺を注目辺として選択する。

ステップＳＡ２５
分離度合い算出部２は、注目辺よりも長い辺を除去した場合のクラスタ多様性量Ｓ１と、注目辺以上の長さの辺を除去した場合のクラスタ多様性量Ｓ２とを算出する。

次いで、本実施の形態で、長さ閾値の決定に用いるクラスタ分離度合いについて説明する。長さ閾値を決定するにあたっては、クラスタ間を接続する辺の中で最も短い辺の長さを長さ閾値として選択できることが望ましい。言い換えれば、クラスタ間の辺を長い順に削除していったときに、初めてクラスタが分離したときに削除した辺の長さを、長さ閾値として選択できることが望ましい。このように設定できれば、クラスタ間に辺が残存することもなく、また、クラスタ内の辺をむやみに削除することなく、クラスタを分離できる。しかしながら、ノイズノードやノイズクラスタ（ノイズノードが集合してできたクラスタ）の辺を削除しても一種のクラスタ分離として認識されるが、この種のクラスタ分離を起こす長さ閾値は適切とは言えない。そのため、長さ閾値の決定にあたり、分離してできたクラスタの状態（特に、クラスタに属するノードの個数及び分割したノード割合）を考慮に入れる必要がある。

そこで、本実施の形態では、各辺に対して、その辺長さ以上の辺を削除したときに、初めてクラスタが分離するかどうか、かつ、その分離したクラスタがノイズクラスタではないかを判定するため、クラスタ分離度合い（本実施の形態においては、後述するクラスタ多様性変化量）を導入している。これにより、本実施の形態では、クラスタ分離度合いに基づいて決定した適切な長さ閾値を用いて、辺を削除することが可能となる。

本実施の形態では、クラスタ分離度合いは各辺が有する値であり、各辺についてその辺よりも長い辺を削除した場合（場合１と称する）と、その辺以上の長さの辺を削除した場合（場合２と称する）とを比較して、場合１に比べて場合２でクラスタ数が増えていれば第１の方向に有限の値を取り、変わらなければ０となる性質を有する指標である。

以下、場合１と場合２とを比較した場合のクラスタの変化について、図を参照して説明する。図５に、ある辺についてその辺よりも長い辺を削除した場合（場合１）とその辺以上の長さの辺を削除した場合（場合２）との間におけるクラスタの変化の第１の例を模式的に示す。この例では、辺Ｅ２を注目辺として辺の削除を行っているが、場合１及び場合２のいずれにおいても辺削除前のクラスタは辺が減少しながらも分離することなく、１つのクラスタとして残存している。本実施の形態では、上述の通り、このときのクラスタ分離度合いは０となる。

次いで、図６に、ある辺についてその辺よりも長い辺を削除した場合（場合１）とその辺以上の長さの辺を削除した場合（場合２）との間におけるクラスタの変化の第２の例を模式的に示す。この例では、辺Ｅ１を注目辺として辺の削除を行っているが、場合１では辺削除前のクラスタは辺が減少しながらも分離することなく１つのクラスタとして残存しているが、場合２では２つのクラスタに分離している。本実施の形態では、上述の通り、このときのクラスタ分離度合いは第１の方向の有限の値となる。

図５及び図６のいずれにおいても、場合１の辺の接続構造と場合２の辺の接続構造との間で異なるのは、注目辺が削除されずに残っているか否かである。クラスタ変化のモードとしては、この注目辺を削除したとしても元のクラスタが分離しない非分離モード（図５）と、注目辺を削除することで元のクラスタが新たな２つのクラスタに分離する分離モード（図６）と、の２つのモードが存在することが理解できる。上述のように、非分離モードでは注目辺（図５の辺Ｅ２）が有するクラスタ分離度合いは０となり、分離モード（図６の辺Ｅ１）ではクラスタ分離度合いは第１の方向の有限の値となる。したがって、ある注目辺についてクラスタ分離度合いを取得することで、その注目辺状の辺を削除することで、元のクラスタが分離しない（非分離モード）か、又は、元のクラスタが２つのクラスタに分離するか、を判定することが可能となる。

本実施の形態では、クラスタ分離度合いＤを、以下のように定義したものを使用した。

ここで、ｎ_ｋ１は注目する辺よりも長い辺を削除した場合（場合１）に存在するクラスタｋ１のノード数であり、右辺第１項（ｎ_ｋ１を含む項）は全てのクラスタｋ１に対する総和を意味する。ｎ_ｋ２は注目する辺以上の長さの辺を削除した場合（場合２）に存在するクラスタｋ２のノード数であり、右辺第２項（ｎ_ｋ２を含む項）は全てのクラスタｋ２に対する総和を意味する。ここでは、クラスタ分離度合いＤを式［２］のように定義したが、以下の式［３］のように定義しても同じ意味である。

ここで、ｎ_ｊ０は注目する辺よりも長い辺を削除した場合（場合１）に、注目する辺が属するクラスタ（古クラスタ）に含まれるノード数である。ｎ_ｊは注目する辺以上の長さの辺を削除した場合（場合２）に、古クラスタが分離されて生じた２つクラスタのそれぞれ（クラスタｊ）のノード数、又は、分離しない場合では古クラスタのノード数である。

上述したように、式［２］及び［３］に示したクラスタ分離度合いは、クラスタが増えなければ０であり、クラスタが増えると第１の方向に有限の値（本実施の構成では正の値）をとる。

これにより、どの辺の長さを閾値に用いればクラスタが分離するかを検出することができる。また、後述するように、クラスタ分離度合いは、それに対応する分離前のクラスタが分離する場合、新クラスタ１と新クラスタ２のノード割合が近似しているほど第１の方向（本実施の構成では正方向）に大きくなり、さらに古クラスタのノード数が多いほど第１の方向（本実施の構成では正方向）に大きくなる性質を有している。よって、クラスタ分離度合いの大きさに基づいて、元のクラスタが好適なクラスタに分離する長さ閾値を検出することができる。

式［２］及び［３］はクラスタ分離度合いの一例に過ぎず、式［２］及び［３］で定義される値に所定の値を乗じた値をクラスタ分離度合いとして用いてもよい。なお、式［２］及び［３］のような関数以外でも、同様な振る舞いをする他の関数を用いてクラスタ分離度合いを定義してもよい。

クラスタが分離する場合には、どのように分割してもクラスタ分離度合いの値は第１の方向に有限の値（本実施の構成では正の値）をとることが望ましいが、小さなクラスタと大きなクラスタとに分割されるような場合には、第１の方向に有限の値を取らなくてもよい（本実施の構成では、０や負の値でも良い）。例えば、自然対数を用いて、クラスタ分離度合いを以下の式のように定義してもよい。

式［４］において、ノード数１００のクラスタが、ノード数が９９のクラスタとノード数が１のクラスタとに分割される場合を想定すると、クラスタ分離度合いは、－０．０１０．．．となり、負の値をとる。なお、この割合以外の割合で２つのクラスタに分割される場合には、クラスタ分離度合いは正の値をとる。ノード数１００のクラスタが、ノード数が９９のクラスタとノード数が１のクラスタとに分割されるのは、ノイズなどによって生じたノードが別のクラスタに分割された場合と考えられ、このような分割は重要ではないと考えられる。そのため、式［４］で定義されるクラスタ分離度合いを用いても、好適にクラスタ分割を表現できるものと考え得る。

上述では第１の方向として正の方向を想定しているが、第１の方向は負の方向でもよい。例えば、式［４］の右辺にマイナスを乗じた値をクラスタ分離度合いとしてもよい。

本実施の形態では、クラスタ分離度合いは、以下の式［５］で定義されるクラスタ多様性量Ｓの差分であるクラスタ多様性変化量ｄＳとして算出してもよい。

式［５］において、ｎ_ＡＬＬは全ノード数、Ｎ_ｃはクラスタの数、ｋはクラスタのラベルであり１以上Ｎ_ｃ以下の整数、ｎ_ｋはクラスタｋのノード数である。

式［５］のように定義したクラスタ多様性量Ｓを用いて、各辺に対して、その辺よりも長い辺を削除した場合（場合１）におけるクラスタ多様性量と、その辺以上の長さの辺を削除した場合（場合２）におけるクラスタ多様性量を算出し、その差分ｄＳを算出すると、式［２］と同様になる。

以下、本実施の形態では、理解を容易にするため、クラスタ分離度合いとして、場合１と場合２の両方でクラスタ多様性を算出し、その差分であるクラスタ多様性変化量ｄＳを算出する例について説明する。なお、言うまでもないが、以下の例は一例に過ぎず、クラスタ多様性量を式［５］のように明示的に定義せずに、直接的にクラスタ分離度合いを算出してもよい。

ステップＳＡ２６
分離度合い算出部２は、クラスタ分離度合いとして上述のクラスタ多様性変化量ｄＳ＝Ｓ２－Ｓ１を算出し、処理をステップＳＡ２３に戻す。

ステップＳＡ２７
ステップＳＡ２１において、複数の初期学習結果のうちで選択学習結果ＳＲとして選択されていないものが無いと判定された場合、分離度合い算出部２は、学習結果及び辺の選択履歴をリセットする。その後、処理をステップＳＡ３へ進める。

ここで、クラスタ多様性変化量ｄＳについて、簡潔に説明する。図７に、クラスタ多様性変化量ｄＳが０となる場合の例を模式的に示す。図７では、縦方向３個、横方向４個の合計１２個のノードを有し、これらの１２個のノードが辺によって格子状に接続されるクラスタを例としている。また、中央の横方向に延在する３本の辺を下から順にＥ１～Ｅ３とし、辺Ｅ１、辺Ｅ２、辺Ｅ３の順に辺の長さが長くなるものとする。

図７において、注目辺が辺Ｅ２である場合、辺Ｅ３を除去した状態でクラスタ多様性量Ｓ１を計算すると、Ｓ１＝１２・ｌｏｇ（１２）－１２・ｌｏｇ（１２）＝０となる。また、辺Ｅ２及びＥ３を除去した状態でクラスタ多様性量Ｓ２を計算すると、Ｓ２＝１２・ｌｏｇ（１２）－１２・ｌｏｇ（１２）＝０となる。この場合、クラスタ多様性変化量ｄＳはＳ２－Ｓ１＝０となるが、これは注目辺がＥ２である場合にはクラスタが分離しなかったためである。図７に示す通り、注目辺がＥ２である場合、場合１から場合２でクラスタが分離していないことがわかる。よって、クラスタ多様性量も変化しない。上述したように、クラスタ分離度合いであるクラスタ多様性変化量は、クラスタ数が変化しない場合は０となる。

次いで、図８に、クラスタ多様性変化量ｄＳが０とならない場合の例を模式的に示す。図８のクラスタは、図７と同様である。図８において、注目辺が辺Ｅ１である場合、辺Ｅ２及びＥ３を除去した状態でクラスタ多様性量Ｓ１を計算すると、Ｓ１＝１２・ｌｏｇ（１２）－１２・ｌｏｇ（１２）＝０となる。これに対し、辺Ｅ１～Ｅ３を除去した状態でクラスタ多様性量Ｓ２を計算すると、Ｓ２＝１２・ｌｏｇ（１２）－６・ｌｏｇ（６）－６・ｌｏｇ（６）＝８．１３７となる。この場合、クラスタ多様性変化量ｄＳはＳ２－Ｓ１＝８．３１７となるが、これは注目辺がＥ１である場合にはクラスタが分離したためである。図８に示す通り、注目辺がＥ１である場合、場合１から場合２でクラスタが分離していることがわかる。よって、クラスタ多様性量も変化する。上述したように、クラスタ分離度合いであるクラスタ多様性変化量は、クラスタ数が変化する場合には、第一の方向の（本実施の形態の場合は正方向）有限の値となる。

このように、注目辺についてクラスタ多様性変化量ｄＳを算出し、クラスタ多様性変化量ｄＳが０以外の値をとるかを調べることで、クラスタが分割されるか否かを判定することができる。

クラスタ多様性変化量ｄＳは、クラスタが均等に分割される場合に大きな値となり、不均等に分割される場合に小さな値となる性質を有する。例えば、ノード数１００のクラスタがノード数１０のクラスタとノード数９０のクラスタに分割される場合、クラスタ多様性変化量ｄＳは３２．５となる。これに対し、ノード数１００のクラスタがノード数５０の２つのクラスタに分割される場合、クラスタ多様性変化量ｄＳは６９．３となる。このように、同じノード数のクラスタが分割される場合でも、分割されたノード数が均等である方が、クラスタ多様性変化量ｄＳが大きくなることが理解できる。

また、クラスタ多様性変化量ｄＳは、分割後のクラスタ数が同じであっても、各クラスタに属するノード数が多いほど大きな値となる性質も有している。ノード数２のクラスタをノード数１の２つのクラスタに分割する場合を想定すると、分割後の２つのクラスタのノード数は同じであるものの、このときのクラスタ多様性変化量ｄＳは１．３９と小さな値となる。このように、元のクラスタのノード数が小さい場合には、クラスタ多様性変化量ｄＳは小さな値となる。この場合には、ノイズ等によって生じた小さなクラスタが分割されたものとして解釈できる。

以上のクラスタ多様性変化量ｄＳの性質に基づき、クラスタ多様性変化量ｄＳの値の大小に基づいて削除する辺の長さを指定することで、ノード数が大きくかつ略均等なクラスタに分割されるケースを好適に検出し、ノード数が不均衡なクラスタに分割されるケースや分割前のクラスタのノード数が少ないケースを排除することが可能となる。

ステップＳＡ３
辺削除処理部３は、以下のステップＳＡ３１～ＳＡ３７により、各学習結果から所定の辺を削除する。

ステップＳＡ３１
辺削除処理部３は、辺削除処理の繰り返し回数の上限値を示す辺削除レベルＭの初期値として「０」と設定する（すなわち、Ｍ＝０）。

ステップＳＡ３２
辺削除処理部３は、複数の初期学習結果のうちで未だ選択学習結果ＳＲとして選択されていないものが有るかを判定する。複数の初期学習結果のうちで選択学習結果ＳＲとして選択されていないものが無い場合には、処理をステップＳＡ３７へ進める。

ステップＳＡ３３
選択学習結果ＳＲとして選択されていない初期学習結果が有る場合には、辺削除処理部３は、
その中から１つの初期学習結果を選択学習結果ＳＲとして選択する。

ステップＳＡ３４
辺削除処理部３は、選択学習結果ＳＲの各辺について算出されたクラスタ多様性変化量ｄＳのうちでＭ番目に大きな値が有るかを判定する。例えば、辺削除処理部３は、算出したクラスタ多様性変化量ｄＳを降順にソートし、Ｍ番目のクラスタ多様性変化量ｄＳが有るかを判定してもよい。Ｍ番目のクラスタ多様性変化量ｄＳが無い場合には、辺削除処理部３は、処理をステップＳＡ３２に戻す。

ステップＳＡ３５
辺削除処理部３は、選択学習結果ＳＲの各辺について算出したクラスタ多様性変化量ｄＳのうちでＭ番目に大きな値のものを選択し、選択したクラスタ多様性変化量ｄＳに対応する注目辺の長さを長さ閾値Ｌ_ＴＨとして決定する。なお、Ｍ＝０は辺の削除がなされないように実行される。例えば、すべての辺の長さより長い辺長さを閾値Ｌ_ＴＨとして決定する。

ステップＳＡ３６
辺削除処理部３は、選択学習結果ＳＲに含まれる各辺の長さを長さ閾値Ｌ_ＴＨと比較し、辺の長さが長さ閾値Ｌ_ＴＨ以上の辺を選択学習結果ＳＲから削除する。その後、処理をステップＳＡ３２へ戻す。

なお、上述したように、初期学習結果に対して上述の辺の削除が行われた後に得られるネットワーク構造を、中間学習結果と称する。

以下、本実施の形態にかかる辺削除処理の効果について検討する。図９に、実施の形態１における辺の削除の概要を示す。まず、最大のクラスタ多様性変化量ｄＳ１に対する長さ閾値Ｌ_ＴＨ１が設定され、これに基づいて、注目辺ＥＡ１が属するクラスタの辺のうち、閾値Ｌ_ＴＨ１以上の長さの辺が削除される（一回目の辺削除）。これより、元のクラスタは、左右の２つのクラスタに分離される。

次いで、最大のクラスタ多様性変化量ｄＳ１の次に大きなクラスタ多様性変化量ｄＳ２に対応する長さ閾値Ｌ_ＴＨ２が設定され、注目辺ＥＡ２が属する左側のクラスタの辺のうち、閾値Ｌ_ＴＨ２以上の長さの辺が削除される（二回目の辺削除）。これにより、左側のクラスタは、さらに２つのクラスタに分離される。

次いで、クラスタ多様性変化量ｄＳ２の次に大きなクラスタ多様性変化量ｄＳ３に対応する長さ閾値Ｌ_ＴＨ３が設定され、注目辺ＥＡ３が属する右側のクラスタの辺のうち、閾値Ｌ_ＴＨ３以上の長さの辺が削除される（三回目の辺削除）。これにより、右側のクラスタは、さらに２つのクラスタに分離される。

ここで、本実施の形態にかかる辺削除の実施例について説明する。図１０に、実施の形態１における辺削除に用いた入力データの例を示す。本実施の形態での入力データは、入力データが６つのクラスタに分かれて分布しており、そのうち３つのクラスタが近接した領域と、２つのクラスタが近接した領域とが存在し、ノイズによって境界が不明瞭になっている。

図１１に、図１０の入力データに対して辺削除処理を行ったときのネットワーク構造を示す。辺削除の前では、近接したクラスタに対応するノードは辺で接続されてしまっており、クラスタが分離できていないことが認められる。さらに、３つのクラスタが近接している領域に有るクラスタと、近接した２つのクラスタが近接している領域に有るクラスタとが、１本の辺で接続されてしまっている。これに対し、辺削除後においては、ノイズの影響による辺が適切に削除され、６つのクラスタが分離できていることが認められる。

以上説明したように、本構成によれば、段階的に辺を削除することで、注目辺が属するクラスタごとに、より適切な辺削除処理を行うことができる。これにより、不要な辺削除処理を抑制し、入力ベクトルの分布をさらに正確に学習することが可能となる。

ステップＳＡ３７
ステップＳＡ３２にて複数の初期学習結果のうちで未だ選択学習結果ＳＲとして選択されていないもの複数の学習結果のうちで選択学習結果ＳＲとして選択されていないものが無いと判定された場合、辺削除処理部３が行った初期学習結果の選択履歴をリセットする。その後、処理をステップＳＡ４へ進める。

ステップＳＡ４
距離行列算出部４は、以下のステップＳＡ４１～ＳＡ４５により、２つの辺削除済みの中間学習結果のペアから２つのクラスタのペアを選択し、選択した２つのクラスタについて距離行列を算出する。

ステップＳＡ４１
距離行列算出部４は、複数の中間学習結果から任意に選択した、２つの中間学習結果からなるペアのうちで、未だ処理対象として選択されていないものが有るかを判定する。選択されていない中間学習結果のペアがない場合には、処理をステップＳＡ８へ進める。

ステップＳＡ４２
選択されていない中間学習結果のペアが有る場合には、距離行列算出部４は、その中から１つの中間学習結果のペアを選択する。以下、ここで選択された中間学習結果のペアを選択学習結果ペアと称し、選択学習結果ペアに含まれる中間学習結果をＳＡ及びＳＢとする。

ステップＳＡ４３
距離行列算出部４は、選択学習結果ペアの中間学習結果ＳＡから任意に選択した１つのクラスタと、中間学習結果ＳＢから任意に選択した１つのクラスタとからなるクラスタのペアのうちで、未だ処理対象として選択されていないものが有るかを判定する。選択されていないクラスタのペアがない場合には、処理をステップＳＡ６へ進める。

ステップＳＡ４４
選択されていないクラスタのペアが有る場合には、距離行列算出部４は、その中から１つのクラスタのペアを選択する。具体的には、距離行列算出部４は、辺削除済みの中間学習結果ＳＡに含まれるｐ個（ｐは、１以上の整数）のクラスタＣＡ１～ＣＡｐから任意に選択したクラスタＡと、辺削除済みの中間学習結果ＳＢに含まれるｑ個（ｑは、１以上の整数）のクラスタＣＢ１～ＣＢｑから任意に選択したクラスタＢとを含む、１つのクラスタのペアを選択する。以下、ここで選択されたクラスタのペアを、選択クラスタペアと称する。

ステップＳＡ４５
距離行列算出部４は、クラスタＡに含まれるノードａ１～ａｍ（ａｉ、１≦ｉ≦ｍ）と、クラスタＢに含まれるノードｂ１～ｂｎ（ｂｊ、１≦ｊ≦ｎ）と、のペアの全てについてノード間の距離ｄ_ａｉｂｊを計算し、選択クラスタペアにかかるｍ行ｎ列の距離行列Ｄを算出する。

ステップＳＡ５
ステップＳＡ４５の後、評価指数算出部５は、以下のステップＳＡ５１～ＳＡ５４により、選択クラスタペアの２つのクラスタの類似度合いを示す評価指数を算出する。

ステップＳＡ５１
評価指数算出部５は、距離行列Ｄの各行（ｄ_ａｉｂ１～ｄ_ａｉｂｎ）について、最小値ｍｉｎ_ａｉ（すなわち、ｍｉｎ_ａ１～ｍｉｎ_ａｍ）を取得し、かつ、距離行列Ｄの各列（ｄ_ａ１ｂｊ～ｄ_ａｍｂｊ）について、最小値ｍｉｎｂ_ｊ（すなわち、ｍｉｎ_ｂ１～ｍｉｎ_ｂｎ）を取得する。

ステップＳＡ５２
評価指数算出部５は、同じクラスタに属するノード間の平均的な距離ｄ_ｍｅａｎを算出する。ｄ_ｍｅａｎは、同一クラスタと識別されているノード間の平均的な距離なので、この平均値以上であれば異なるノードと識別し、これより短ければ同一ノードとして識別できる指標と考えることができる。ｄ_ｍｅａｎは例えば以下のように記載できる。

式［７］において、ｄ_ｉはノードｉとノードｉの属するクラスタに含まれるノードとの距離の最小値である。
なお、式［７］のｄ_ｍｅａｎは例であり、例えば以下の式［８］のように定義してもよい。

また、ｄ_ｍｅａｎは、以下の式［９］及び［１０］で示す値のうちで、大きな方の値としてもよいし、小さな方の値としてもよい。

さらに、各行の最小値ｍｉｎ_ａ１～ｍｉｎ_ａｍと各列の最小値ｍｉｎ_ｂ１～ｍｉｎ_ｂｎとで別々のｄ_ｍｅａｎを用意して、使い分けても良い。各行の最小値ｍｉｎ_ａ１～ｍｉｎ_ａｍに対しては、例えば式［１１］に示す様に、クラスタＡのみで算出されたｄ_ｍｅａｎを使用してもよい。各列の最小値ｍｉｎ_ｂ１～ｍｉｎ_ｂｎに対しては、例えば式［１２］に示す様に、クラスタＢのみで算出されたｄ_ｍｅａｎを使用してもよい。

上述では、複数のノードを含むネットワークについて説明したが、ＳＯＩＮＮなどによって入力データを学習した場合には、ネットワークは、複数のノードと２つのノード間を接続する複数の辺とを含むこととなる。このように、ノード間に辺が存在する場合は、同じクラスタに属する辺の平均長さをｄ_ｍｅａｎとして用いることが望ましい。辺はノード間の関係性を表し、辺長さはその類似性を表しているので、辺を用いることで、ノイズの影響でたまたま近傍に存在しているノードとの距離がｄ_ｍｅａｎの算出に用いられることを防止することができる。また、本実施の形態では、平均長さとして算術平均（相加平均）を使用したが、近傍ノード間の距離分布の中心的傾向を数値で示すことができればこれに限らない。例えば、２乗平均、相乗平均、調和平均など別の平均指標を平均長さとして使用してもよいし、中央値、最頻値など別の統計的な代表値を使用してもよい。以下では、算術平均の他に説明した平均指標や統計的な代表値を含むものとして、「平均的距離」を用いるものとする。

ステップＳＡ５３
評価指数算出部５は、各行の最小値ｍｉｎ_ａ１～ｍｉｎ_ａｍのうちで平均的距離ｄ_ｍｅａｎ以上のものの個数ＮＵＭａをカウントし、各列の最小値ｍｉｎ_ｂ１～ｍｉｎ_ｂｎのうちで平均的距離ｄ_ｍｅａｎ以上のものの個数ＮＵＭｂをカウントする。

ステップＳＡ５４
評価指数算出部５は、取得した個数ＮＵＭａ及びＮＵＭｂの和を、クラスタＡ及びＢのノード総数（ｍ＋ｎ）で除算した値を、評価指数ＥＳとして算出する。

ここでは、取得した最小値のうちで平均値ｄ_ｍｅａｎ以上のものの個数を数えることで、２つのクラスタ間において近似していないノードの数を検出していると考えることができる。また、式［１３］で近似していないノードの数を２つのクラスタのノードの総数で除算することで、ノード総数に対して近似していないノードの数の割合を算出している。つまり、評価指数ＥＳは、大きな値を取る場合には２つのクラスタは類似しておらず、小さな値を取る場合には２つのクラスタは類似していることを示す、非類似度を表す値であるといえる。

本実施の形態では、評価指数算出部５は、中間学習結果ＳＡに含まれるｐ個のクラスタＣＡ１～ＣＡｐの任意の１つと、中間学習結果ＳＢに含まれるｑ個のクラスタＣＢ１～ＣＢｑの任意の１つとの全てのペアについて実行する。そして、評価指数算出部５は、２つのクラスタのペアの全てについて、評価指数の算出を行う。

ステップＳＡ６：評価指数行列生成
ステップＳＡ４３にて、選択学習結果ペアのうちで未だ処理対象として選択されていないクラスタのペアがないと判定された場合、評価指数算出部５は、ｐ行ｑ列の評価指数行列ＥＭを生成する。つまり、評価指数行列ＥＭの行番号は中間学習結果ＳＡに含まれるクラスタの番号を示し、列番号は中間学習結果ＳＢに含まれるクラスタの番号を示している。

ステップＳＡ７：得点算出
得点算出部６は、評価指数行列ＥＭに含まれる各評価指数を閾値ＴＨと比較し、閾値ＴＨ以下（似ている）の評価指数ＥＳを構成する両クラスタに高い得点を与え（例えば得点＋１）、閾値よりも大きい（似ていない）の評価指数ＥＳを構成する両クラスタに低い得点（例えば得点０）を与える。そして、中間学習結果ＳＡの各クラスタ（ＣＡ１～ＣＡｐ）の合計得点をそれぞれ算出する。換言すれば、評価指数行列ＥＭの各行（ＥＳ_ｉ１，…，ＳＥ_ｉｑ）に与えられた得点の合計を各行について算出する。（ＥＳ_ｉ１，…，ＥＳ_ｉｑ）の得点の合計は、クラスタＣＡｉの得点となる。また、中間学習結果ＳＢの各クラスタ（ＣＢ１～ＣＢｑ）の合計得点を各々算出する。換言すれば、評価指数行列ＥＭの各列（ＥＳ_１ｊ，…，ＳＥ_ｐｊ）に与えられた得点の合計を各列で各々算出する。（ＥＳ_１ｊ，…，ＳＥ_ｐｊ）の得点の合計はクラスタＣＢｊの得点となる。なお、得点算出の方法はこれに限らず、例えば閾値ＴＨ以下でかつ各行でもっとも評価指数ＥＳが低いもの（最もよく似ているもの）や、各列でもっとも評価指数ＥＳが低いもの（最もよく似ているもの）に高い得点を加えるなどの応用を加えてもよい。

本実施の形態では、複数の中間学習結果から選択した任意の２つの中間学習結果の全てのペアについて、上記の合計得点の算出を行う。つまり、距離行列算出部４及び評価指数算出部５は、上述の距離行列算出、評価指数算出及び評価指数行列生成を、複数の中間学習結果から選択した任意の２つの中間学習結果の全てのペアについて行う。そして、得点算出部６は、これらの計算結果に基づいて、各中間学習結果の各クラスタについて、合計得点を取得する。その後、処理をステップＳＡ４１に戻す。

ステップＳＡ８
ステップＳＡ４１にて、複数の中間学習結果から選択可能な２つの中間学習結果からなるペアのうちで、未だ処理対象として選択されていないものが無いと判定された場合、得点算出部６は、得点行列を生成する。具体的には、得点算出部６は、取得した合計得点に基づいて、以下の式［１５］に示すように、クラスタ番号を行番号とするｒ列の得点行列ＳＭを生成する。ここで、行列ＳＭの要素Ｓ_ｉｊはｊ番目の中間学習結果（ｊは１以上Ｍ以下の整数）のクラスタｉにおける全合計得点である。具体的には、ｊ番目の中間学習結果とそのほか全ての中間学習結果との全てのペアについて、得点算出部６が算出したｊ番目の中間学習結果のクラスタｉの合計得点を全て合計したものである。また、行列ＳＭには存在しない要素もある。例えば、ｊ番目の中間学習結果のクラスタｉが存在していない場合、Ｓ_ｉｊは空となっており、計算などに関与しない。

ステップＳＡ９
画一度算出部７は、以下のステップＳＡ９１及びＳＡ９２により、画一度を算出する。

ステップＳＡ９１
画一度算出部７は、得点行列ＳＭを参照し、各中間学習結果について最小得点Ｓ_ｍ１～Ｓ_ｍｒを取得する。つまり、画一度算出部７は、得点行列ＳＭの各行の最小得点Ｓ_ｍ１～Ｓ_ｍｒを取得する。

ステップＳＡ９２
画一度算出部８は、取得した最小得点Ｓ_ｍ１～Ｓ_ｍｒに基づいて、画一度ＵＮを算出する。画一度ＵＮは、例えば以下のような式で算出される。なお、Ｎは全学習結果の数である。

式［１６］にあるように、画一度ＵＮは、最小得点Ｓ_ｍ１～Ｓ_ｍｒの最大値から求められる。換言すると、画一度ＵＮは、所属する全てのクラスタが好適に他の学習結果のクラスタと似ている学習結果から求められる。

画一度ＵＮの値が大きい場合には、少なくとも一つの学習結果ではその学習結果に所属するすべてのクラスタの得点が高い、すなわち、他の学習結果のクラスタと良く似ていることを意味している。画一度ＵＮの値が小さい場合には、どの学習結果でも少なくとも一つのクラスタの得点が低いこと、すなわち、他の学習結果のクラスタと似ていないことを意味している。

画一度ＵＮは、辺削除レベルＭの値が大きくなるに連れて、すなわち、辺削除処理の繰り返し回数が多くなるに連れて、辺の削除が進行してクラスタが多様化するので、減少する傾向を示す。つまり、辺削除処理の繰り返し回数を増やすことで画一度ＵＮが所定の値よりも小さくなれば、クラスタが多様化しどの学習結果でも似通っていないクラスタが存在してきたことが把握できる。そのため、画一度ＵＮを用いて辺削除処理の繰り返しを停止するタイミングを決定できる。

図１２に、２段階の辺削除処理が行われた場合に得られる中間学習結果と画一度ＵＮの例を示す。図１２では、似通っているクラスタを破線で囲んでいる。図１２から分かるように、１段階目の辺削除処理後には入力データ構造に依存したクラスタが辺削除により発生しているが、２段階目の辺削除処理後では各学習結果の方法やパラメータなどに依存したノイズ的なクラスタが発生している。１段階目の辺削除処理後の結果はクラスタリングとして好適だが、２段階目の辺削除処理後の結果はクラスタリングとしては好適ではない。

この例では、画一度ＵＮは、辺削除処理前では全ての学習結果での最小得点（Ｓ_０１～Ｓ_０４）で３となり１００％、１段階目の辺削除処理後では学習結果１～３での最小得点（Ｓ_１１～Ｓ_１３）で２となり７５％、２段階目の辺削除処理後では全ての学習結果での最小得点（Ｓ_０１～Ｓ_０４）で０となりで２５％となるように推移している。このとき、例えば、画一度閾値ＴＨ_ＵＮを４０％に設定しておくことで、クラスタが適切に分離されている状態ないしは適切に分離されている状態に近似した状態であると認められる２段階目の辺削除処理後の状態で辺削除処理を停止することができる。

ステップＳＢ１
終了判定部８は、画一度ＵＮを所定の画一度閾値ＴＨ_ＵＮと比較する。

ステップＳＢ２
画一度ＵＮが画一度閾値ＴＨ_ＵＮ以上の場合（ＵＮ≧ＴＨ_ＵＮ）、終了判定部８は、辺削除レベルＭを１だけ増加させ（Ｍ＝Ｍ＋１）、処理をステップＳＡ３２に戻す。

ステップＳＢ３
画一度ＵＮが画一度閾値ＴＨ_ＵＮよりも小さい場合（ＵＮ＜ＴＨ_ＵＮ）には、学習結果選択部９は、以下のステップＳＢ３１～ＳＢ３３に基づいて、最終学習結果を選択する。

ステップＳＢ３１
学習結果選択部９は、辺削除レベルＭ－１の辺削除済みの複数の中間学習結果からなるグループを選択する。いずれのグループを選択するかは、用途に応じて適宜決定してもよい。なお、ここでは、学習結果選択部９は、辺削除レベルＭ－１の辺削除済みの複数の中間学習結果からなるグループを選択するものとして説明したが、必要に応じて、辺削除レベルＭの辺削除済みの複数の中間学習結果からなるグループを選択してもよい。

ステップＳＢ３２
学習結果選択部９は、得点行列ＳＭを参照し、各中間学習結果について最小得点Ｓｍｉｎ１～Ｓｍｉｎｒを取得する。

ステップＳＢ３３
学習結果選択部９は、取得した最小得点Ｓｍｉｎ１～Ｓｍｉｎｒのうちで最大値を取る中間学習結果を、採用する最終学習結果として選択する。換言すれば、学習結果選択部９は、各中間学習結果について他の中間学習結果に含まれるクラスタに最も似通っていないクラスタの得点を抽出した後に、その中から一番似通っているクラスタを有する中間学習結果を最終学習結果として選択している。

ステップＳＢ４
クラスタリング部１０は、選択された最終学習結果のノード及び辺を参照し、クラス分類を行う。ここでのクラス分類においては、例えば、最終学習結果に含まれるクラスタにクラスタ番号やラベリングを行うなどの処理が行われる。

以上、本構成によれば、辺削除レベルＭを自動的に決定することで、辺削除処理を好適な回数だけ繰り返すことが可能である。これにより、自動的に辺削除処理を行うことで入力データの構造を正確に学習することができる。

その他の実施の形態
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、ノード間の距離を示す距離尺度についてであるが、ノード間の距離尺度としては、ユークリッド距離、コサイン距離、マンハッタン距離、フラクショナル距離など、任意の距離尺度を適用することができる。一般に、入力データが低次元である場合にユークリッド距離が用いられ、入力データが高次元である場合にコサイン距離、マンハッタン距離及びフラクショナル距離が用いられる。

上述の実施の形態において、２つの値の大小判定について説明したが、これは例示に過ぎず、２つの値の大小判定において２つの値が等しい場合については、必要に応じて取り扱ってもよい。すなわち、第１の値が第２の値以上であるか又は第２の値よりも小さいかの判定と、第１の値が第２の値よりも大きいか又は第２の値以下であるかの判定とについては、必要に応じていずれを採用してもよい。第１の値が第２の値以下であるか又は第２の値よりも大きいかの判定と、第１の値が第２の値よりも小さいか又は第２の値以上であるかの判定については、いずれを採用してもよい。換言すれば、２つの値の大小判定を行って２つの判定結果を得る場合、２つの値が等しい場合については、必要に応じて２つの判定結果のいずれに含めてもよい。

また、ＳＯＩＮＮにおいては、入力ベクトルの学習において辺を接続する処理を行っている。この場合には、長さ閾値Ｌ_ＴＨ以下の辺のみを接続することで、上記の辺削除処理と同等の処理を行うことも可能である。すなわち、ネットワークにおいて、長さ閾値Ｌ_ＴＨ以下の長さの辺のみがノードに接続されているネットワークを取得すればよく、ノードに接続する辺の選別は、上述の辺削除処理によって行ってもよいし、ＳＯＩＮＮにて入力ベクトルを学習する過程で行う辺を接続する処理において行ってもよい。

上述の実施の形態では、本発明を主にハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙｃｏｍｐｕｔｅｒｒｅａｄａｂｌｅｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅｓｔｏｒａｇｅｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（ＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙｃｏｍｐｕｔｅｒｒｅａｄａｂｌｅｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１学習処理部
２分離度合い算出部
３辺削除処理部
４距離行列算出部
５評価指数算出部
６得点算出部
７画一度算出部
８終了判定部
９学習結果選択部
１０クラスタリング部
１０００コンピュータ
１００１ＣＰＵ
１００２ＲＯＭ
１００３ＲＡＭ
１００４バス
１００５入出力インターフェイス
１００６入力部
１００７出力部
１００８記憶部
１００９通信部
１０１０ドライブ
１０１１磁気ディスク
１０１２光ディスク
１０１３フレキシブルディスク
１０１４半導体メモリ
１００情報処理装置

Claims

入力ベクトルを順次入力して、当該入力ベクトルの入力分布構造を、多次元ベクトルで記述される複数のノード及び２つの前記ノード間を接続する複数の辺が配置されるネットワーク構造として学習する情報処理装置において、
同じ入力データに対して複数の教師なし学習方法によって学習して得られた複数の初期学習結果を取得する学習処理部と、
前記複数の初期学習結果から１つの初期学習結果を順に選択し、選択された前記初期学習結果に含まれる複数の辺のそれぞれを順に注目辺として選択し、前記注目辺よりも長い辺を前記選択された初期学習結果から削除した場合と、前記注目辺以上の長さの辺を前記選択された初期学習結果から削除した場合と、におけるクラスタの分離度合いを算出する分離度合い算出部と、
前記複数の辺について算出したクラスタ分離度合いのうちでＭ番目に大きなクラスタ分離度合いに対応する注目辺の長さである長さ閾値以上の辺を前記選択された初期学習結果から削除する辺削除処理部と、
前記辺削除処理部による辺削除後の前記複数の初期学習結果である複数の中間学習結果から選択可能な２つの中間学習結果からなる学習結果ペアを選択し、選択した前記学習結果ペアの前記２つの中間学習結果のそれぞれから１つずつ選択した２つのクラスタからなるクラスタペアを選択し、選択可能なクラスタペアの全てについて、一方のクラスタに属するノードと他方のクラスタに属するノードとの間の距離を示す距離行列を算出する距離行列算出部と、
各距離行列について各列及び各行の最小値を取得し、取得した前記最小値のうちで所定条件を満たすものの個数に基づいて各距離行列にかかる評価指数を算出する評価指数算出部と、
全ての前記学習結果ペアについて算出した距離行列の評価指数に基づいて、各中間学習結果の各クラスタについて、１つの中間学習結果に含まれる１つのクラスタと、他の中間学習結果のクラスタとが類似している度合いを示す得点を算出する得点算出部と、
各中間学習結果の各クラスタについて算出した前記得点のうちの最小値を取得し、取得した複数の前記最小値のうちの最大値を画一度として算出する画一度算出部と、
前記画一度が画一度閾値よりも大きい場合にＭに１を加算してＭの値を更新し、前記画一度が画一度閾値よりも小さい場合に辺を削除する処理を終了する終了判定部と、
前記終了判定部が辺を削除する処理を終了すると判定した場合に、前記得点算出部で算出された各中間学習結果の各クラスタの得点に基づいて、前期複数の中間学習結果から最終学習結果を選択する学習結果選択部と、
前記最終学習結果をクラスタリングするクラスタリング部と、を備え、
前記Ｍの値が更新されるごとに、前記辺削除処理部、前記距離行列算出部、前記得点算出部、前記画一度算出部及び前記終了判定部は処理を繰り返す、
情報処理装置。
前記クラスタの分離度合いは、前記注目辺が属するクラスタが辺を削除した後に２つのクラスタに分離しないときは０であり、分離するときは０以外の値を持つ、
請求項１に記載の情報処理装置。
前記クラスタの分離度合いは、前記注目辺が属するクラスタが２つのクラスタに分離したときは、正又は負の値を持つ、
請求項２に記載の情報処理装置。
前記クラスタの分離度合いは、前記注目辺が属するクラスタが２つのクラスタに分離したときに、分離した２つのクラスタのノード数が近似しているほど、正の値の場合には値が大きくなり、負の値の場合には値が小さくなる、
請求項３に記載の情報処理装置。
前記クラスタの分離度合いは、前記注目辺が属するクラスタが２つのクラスタに分離したときに、分離した２つのクラスタに含まれるノード数が多いほど、正の値の場合には値が大きくなり、負の値の場合には値が小さくなる、
請求項３又は４に記載の情報処理装置。
ｎ_ｋ１を注目する辺よりも長い辺を削除した場合に存在するクラスタｋ１のそれぞれのノード数、ｎ_ｋ２を注目する辺以上の長さの辺を削除した場合に存在するクラスタｋ２のそれぞれのノード数としたときに、前記クラスタの分離度合いＤは以下の式で定義される、

請求項２乃至５のいずれか一項に記載の情報処理装置。
前記得点算出部は、
全ての距離行列について算出した評価指数に基づいて、前記２つの中間学習結果のそれぞれから１つずつ選択した２つのクラスタ間の全てのペアについての評価指数で構成される評価指数行列を生成し、
前記評価指数行列に含まれる評価指数に基づいて、１つの学習結果に含まれるクラスタが他の学習結果のクラスタに似ているかを示す得点を算出し、
全ての学習結果に属するクラスタについての得点を含む得点行列を生成し、
前記学習結果選択部は、前記得点行列に基づいて、前記複数の中間学習結果から最終学習結果を選択する、
請求項１乃至６のいずれか一項に記載の情報処理装置。
前記評価指数算出部は、
前記２つのクラスタのそれぞれに属するノード間の平均的距離を求め、求めた２つの平均的距離の平均値を求め、
各距離行列の各列及び各行の前記最小値のうちで、前記平均値以上のものの個数に基づいて各距離行列にかかる評価指数を算出する、
請求項７に記載の情報処理装置。
前記評価指数は、各距離行列の各列及び各行の前記最小値のうちで、前記平均値以上のものの個数を、前記２つのクラスタに属するノードの総数で除算した値である、
請求項８に記載の情報処理装置。
前記得点算出部は、評価指数行列に含まれる各評価指数を閾値と比較し、比較結果に基づいて得点を与え、各クラスタの合計得点を算出する、
請求項７又は８に記載の情報処理装置。
前記学習結果選択部は、各中間学習結果に属するクラスタの合計得点のうちで最小値を取得し、取得した最小値のうちで最大の値に対応する前記中間学習結果を選択する、
請求項１０に記載の情報処理装置。
入力ベクトルを順次入力して、当該入力ベクトルの入力分布構造を、多次元ベクトルで記述される複数のノード及び２つの前記ノード間を接続する複数の辺が配置されるネットワーク構造として学習する、コンピュータが実行する情報処理方法において、
前記コンピュータが、
同じ入力データに対して複数の教師なし学習方法によって学習して得られた複数の初期学習結果を取得し、
前記複数の初期学習結果から１つの初期学習結果を順に選択し、選択された前記１つの初期学習結果から順に１つのクラスタを選択し、
選択されたクラスタ含まれる複数の辺のそれぞれを順に注目辺として選択し、前記注目辺よりも長い辺を前記ネットワーク構造から削除した場合と、前記注目辺以上の長さの辺を前記ネットワーク構造から削除した場合と、におけるクラスタの分離度合いを算出し、
各注目辺について算出したクラスタ分離度合いに基づいて、Ｍ番目に大きなクラスタ分離度合いに対応する注目辺の長さである長さ閾値以上の辺を前記選択されたクラスタから削除し、
辺削除後の前記複数の初期学習結果である複数の中間学習結果から選択可能な２つの中間学習結果からなる学習結果ペアを選択し、選択した２つの中間学習結果のそれぞれから１つずつ選択した２つのクラスタからなるクラスタペアを選択し、選択可能なクラスタペアの全てについて、一方のクラスタに属するノードと他方のクラスタに属するノードとの間の距離を示す距離行列を算出し、
各距離行列について各列及び各行の最小値を取得し、取得した前記最小値のうちで所定条件を満たすものの個数に基づいて各距離行列にかかる評価指数を算出し、
全ての前記学習結果ペアについて算出した距離行列の評価指数に基づいて、各中間学習結果の各クラスタについて、１つの中間学習結果に含まれる１つのクラスタと、他の中間学習結果のクラスタとが類似している度合いを示す得点を算出し、
各中間学習結果の各クラスタについて算出した前記得点のうちの最小値を取得し、取得した複数の前記最小値のうちの最大値を画一度として算出し、
前記画一度が画一度閾値よりも大きい場合にＭに１を加算してＭの値を更新し、前記画一度が画一度閾値よりも小さい場合に辺を削除する処理を終了し、
辺を削除する処理を終了すると判定した場合に、算出された各中間学習結果の各クラスタの得点に基づいて、前期複数の中間学習結果から最終学習結果を選択し、
前記最終学習結果をクラスタリングし、
前記Ｍの値が更新されるごとに、前記辺の削除、前記距離行列の算出、前記得点の算出、前記画一度の算出及び前記終了の判定を繰り返す、
情報処理方法。
入力ベクトルを順次入力して、当該入力ベクトルの入力分布構造を、多次元ベクトルで記述される複数のノード及び２つの前記ノード間を接続する複数の辺が配置されるネットワーク構造として学習する処理をコンピュータに行わせるプログラムにおいて、
同じ入力データに対して複数の教師なし学習方法によって学習して得られた複数の初期学習結果を取得する処理と、
前記複数の初期学習結果から１つの初期学習結果を順に選択し、選択された前記１つの初期学習結果から順に１つのクラスタを選択する処理と、
選択されたクラスタ含まれる複数の辺のそれぞれを順に注目辺として選択し、前記注目辺よりも長い辺を前記ネットワーク構造から削除した場合と、前記注目辺以上の長さの辺を前記ネットワーク構造から削除した場合と、におけるクラスタの分離度合いを算出する処理と、
各注目辺について算出したクラスタ分離度合いに基づいて、Ｍ番目に大きなクラスタ分離度合いに対応する注目辺の長さである長さ閾値以上の辺を前記選択されたクラスタから削除する処理と、
辺削除後の前記複数の初期学習結果である複数の中間学習結果から選択可能な２つの中間学習結果からなる学習結果ペアを選択し、選択した２つの中間学習結果のそれぞれから１つずつ選択した２つのクラスタからなるクラスタペアを選択し、選択可能なクラスタペアの全てについて、一方のクラスタに属するノードと他方のクラスタに属するノードとの間の距離を示す距離行列を算出する処理と、
各距離行列について各列及び各行の最小値を取得し、取得した前記最小値のうちで所定条件を満たすものの個数に基づいて各距離行列にかかる評価指数を算出する処理と、
全ての前記学習結果ペアについて算出した距離行列の評価指数に基づいて、各中間学習結果の各クラスタについて、１つの中間学習結果に含まれる１つのクラスタと、他の中間学習結果のクラスタとが類似している度合いを示す得点を算出する処理と、
各中間学習結果の各クラスタについて算出した前記得点のうちの最小値を取得し、取得した複数の前記最小値のうちの最大値を画一度として算出する処理と、
前記画一度が画一度閾値よりも大きい場合にＭに１を加算してＭの値を更新し、前記画一度が画一度閾値よりも小さい場合に辺を削除する処理を終了する処理と、
辺を削除する処理を終了すると判定した場合に、算出された各中間学習結果の各クラスタの得点に基づいて、前期複数の中間学習結果から最終学習結果を選択する処理と、
前記最終学習結果をクラスタリングする処理と、をコンピュータに実行させ、
前記Ｍの値が更新されるごとに、前記辺を削除する処理、前記距離行列を算出する処理、前記得点を算出する処理、前記画一度を算出する処理及び前記終了を判定する処理が繰り返される、
プログラム。