Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7489731B2 - Clustering processing device, clustering processing method, program, and information processing device - Google Patents
[go: Go Back, main page]

JP7489731B2 - Clustering processing device, clustering processing method, program, and information processing device - Google Patents

Clustering processing device, clustering processing method, program, and information processing device Download PDF

Info

Publication number
JP7489731B2
JP7489731B2 JP2022576961A JP2022576961A JP7489731B2 JP 7489731 B2 JP7489731 B2 JP 7489731B2 JP 2022576961 A JP2022576961 A JP 2022576961A JP 2022576961 A JP2022576961 A JP 2022576961A JP 7489731 B2 JP7489731 B2 JP 7489731B2
Authority
JP
Japan
Prior art keywords
clustering
nodes
node
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022576961A
Other languages
Japanese (ja)
Other versions
JPWO2022158027A5 (en
JPWO2022158027A1 (en
Inventor
修 長谷川
洸輔 井加田
直純 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SOINN INC.
Original Assignee
SOINN INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SOINN INC. filed Critical SOINN INC.
Publication of JPWO2022158027A1 publication Critical patent/JPWO2022158027A1/ja
Publication of JPWO2022158027A5 publication Critical patent/JPWO2022158027A5/en
Application granted granted Critical
Publication of JP7489731B2 publication Critical patent/JP7489731B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、クラスタリング処理装置、クラスタリング処理方法、プログラム及び情報処理装置に関し、例えば任意のクラスに属する入力ベクトルを順次入力して当該入力ベクトルの入力分布構造を学習するクラスタリング処理装置、クラスタリング処理方法、プログラム及び情報処理装置に関する。 The present invention relates to a clustering processing device, a clustering processing method, a program, and an information processing device, and more particularly to a clustering processing device, a clustering processing method, a program, and an information processing device that sequentially inputs input vectors belonging to an arbitrary class and learns the input distribution structure of the input vectors.

近年、様々な入力データについて教師有り学習を行い、入力データを分類する手法が知られている。この場合、予め、データに適切なラベルが付与された教師データを用意する必要がある。こうした教師データを作成するには、教師データ作成用のラベルが付与されていない入力データを用意し、これに対してk-means法などのクラスタリング手法を用いて、教師なし学習によるクラスタリングを行うことで、クラスタごとにラベルが付与された教師データが作成される。In recent years, a method has been known in which various input data are subjected to supervised learning to classify the input data. In this case, it is necessary to prepare training data in which appropriate labels have been assigned to the data in advance. To create such training data, input data that has not been assigned labels for creating training data is prepared, and clustering is performed by unsupervised learning using a clustering method such as the k-means method to create training data in which labels are assigned to each cluster.

こうした教師データを作成するための効率的な学習手法として、例えば、学習中に必要に応じてニューロンを増殖させる学習手法である、自己組織化ニューラルネットワーク(SOINN:Self-Organizing Incremental Neural Network)と呼ばれる手法が提案されている。SOINNでは、ノード数を自律的に管理することにより非定常的な入力を学習することができ、複雑な分布形状を有するクラスに対しても適切なクラス数及び位相構造を抽出できるなど多くの利点を有する。SOINNの応用例として、例えばパターン認識においては、ひらがな文字のクラスを学習させた後に、カタカナ文字のクラスなどを追加的に学習させることができる。 As an efficient learning method for creating such training data, for example, a method called Self-Organizing Incremental Neural Network (SOINN), which is a learning method that grows neurons as needed during learning, has been proposed. SOINN has many advantages, such as being able to learn non-stationary inputs by autonomously managing the number of nodes, and being able to extract an appropriate number of classes and topological structure even for classes with complex distribution shapes. As an example of an application of SOINN, for example in pattern recognition, after learning classes of hiragana characters, it is possible to additionally learn classes of katakana characters, etc.

このようなSOINNの一例として、E-SOINN(Enhanced SOINN)と称される手法が提案されている(特許文献1)。E-SOINNでは、学習を随時追加するオンライン追加学習が可能であり、バッチ学習ではなく学習効率が良いという利点を有している。このため、E-SOINNでは、学習環境が新しい環境に変化した場合においても追加学習が可能である。また、E-SOINNでは、入力データに対するノイズ耐性が高いという利点をも有している。As an example of such SOINN, a method called E-SOINN (Enhanced SOINN) has been proposed (Patent Document 1). E-SOINN allows for online additional learning, which adds learning at any time, and has the advantage of being more efficient than batch learning. Therefore, E-SOINN allows additional learning even when the learning environment changes to a new environment. E-SOINN also has the advantage of being highly resistant to noise in input data.

ところが、E-SOINNを含むSOINNにおいては、新たなノードをネットワークに挿入することが困難であることから、入力データの構造を正確に表現し難いという問題や、入力データの入力順序によって学習結果が異なってしまうという問題があった。こうした問題を解決するため、LB-SOINN(Load Balance Self-Organizing Incremental Neural Network)と称される手法が提案された(特許文献2)。LB-SOINNは、ネットワークにおけるノードの負荷をノード学習時間として扱い、ノード学習時間が大きなノードを検出し、検出したノードとこれに隣接するノードを接続する辺上に、検出したノードの重みベクトルに基づいて決定された重みベクトルを有する新たなノード生成する。これにより、検出したノードの学習時間の増大を緩和し、かつ、その付近に新たなノードを生成することで、入力データの構造をより正確に学習することができる。However, in SOINNs including E-SOINN, it is difficult to insert new nodes into the network, which makes it difficult to accurately express the structure of the input data, and the learning results differ depending on the input order of the input data. To solve these problems, a method called LB-SOINN (Load Balance Self-Organizing Incremental Neural Network) has been proposed (Patent Document 2). LB-SOINN treats the load of nodes in the network as node learning time, detects nodes with large node learning times, and generates a new node on the edge connecting the detected node to an adjacent node, with a weight vector determined based on the weight vector of the detected node. This alleviates the increase in the learning time of the detected node, and by generating a new node in its vicinity, the structure of the input data can be learned more accurately.

特開2008-217246号公報JP 2008-217246 A 特開2014-164396号公報JP 2014-164396 A

Burr Settles, “Active Learning Literature Survey”, January 9, 2009, Computer Sciences Technical Report 1648, University of Wisconsin-MadisonBurr Settles, “Active Learning Literature Survey”, January 9, 2009, Computer Sciences Technical Report 1648, University of Wisconsin-Madison

しかし、こうした手法を用いても、クラスタリング後の全てのノードにラベルを付与することができない場合がある。このような場合、オペレータがクラスタリング後の結果を参照し、ラベルが付与されていないノードに対して適当と考えられるラベルを手作業で付与する必要が有った。そのため、教師データの作成に長時間を要してしまう。この場合、作業を行うオペレータによって、得られる教師データにバラつきが生じてしまうことも考え得る。 However, even with these methods, it may not be possible to assign labels to all nodes after clustering. In such cases, an operator must refer to the results of clustering and manually assign labels that they deem appropriate to nodes that have not been labeled. This makes it time-consuming to create training data. In such cases, it is possible that the training data obtained will vary depending on the operator performing the work.

また、アクティブラーニング(非特許文献1)などの他の手法を適用してラベルが付与れていないノードにラベルを付与することも可能である。しかし、この場合でも依然としてラベルが付与されていないノードが残る場合には、やはり手作業でラベルを付与する必要が有る。また、この手法でも、教師データを最初に作成しなければならないので、ここでも手作業でのラベル付与が必要となる。It is also possible to apply other methods such as active learning (Non-Patent Document 1) to assign labels to unlabeled nodes. However, even in this case, if there are still unlabeled nodes remaining, it is still necessary to manually assign labels. In addition, even with this method, training data must be created first, so manual labeling is also required here.

さらに、手作業でラベル付与を行う場合には、データ量が過度に多くなると、そもそもラベル付与を行うこと自体が困難となってしまう。 Furthermore, if labeling is done manually, if the amount of data is excessively large, it becomes difficult to label in the first place.

このように、一般的な教師データの作成手法では、迅速かつ自動的に教師データを作成することは困難である。よって、入力データの教師なし学習において、全てのノードに適当なラベルを付与することができる手法が求められる。As such, it is difficult to create training data quickly and automatically using general training data creation methods. Therefore, a method is needed that can assign appropriate labels to all nodes in unsupervised learning of input data.

本発明は、上記の事情に鑑みて成されたものであり、入力データの教師なし学習において、全てのノードに適当なラベルを付与することができるクラスタリング処理装置、クラスタリング処理方法、プログラム及び情報処理装置を提供することを目的とする。 The present invention has been made in consideration of the above circumstances, and aims to provide a clustering processing device, a clustering processing method, a program, and an information processing device that are capable of assigning appropriate labels to all nodes in unsupervised learning of input data.

本発明の一実施の形態にかかるクラスタリング処理装置は、多次元ベクトルで記述される複数のラベルが付与されていないノードからなる入力データをクラスタリングし、クラスタに属するノードにラベルを付与したクラスタリング中間データを取得する初期クラスタリング処理部と、前記クラスタリング中間データに含まれるラベルが付されていないノードに対して、前記クラスタリング中間データに含まれる前記クラスタのいずれかに属するノードのうちで前記ラベルが付されていないノードから最短距離にあるノードに付されたものと同じラベルを付与したクラスタリング結果データを作成する追加クラスタリング処理部と、を有するものである。これにより、初期クラスタリング処理でラベルが付与されなかったノードに対し、いずれかのクラスタに属する最短距離のノードと同じラベルを付与したクラスタリング結果データを作成することができる。A clustering processing device according to one embodiment of the present invention includes an initial clustering processing unit that clusters input data consisting of a plurality of unlabeled nodes described by a multidimensional vector, and acquires clustering intermediate data in which the nodes belonging to the clusters are labeled, and an additional clustering processing unit that creates clustering result data in which the unlabeled nodes included in the clustering intermediate data are assigned the same label as that assigned to a node that belongs to any of the clusters included in the clustering intermediate data and is located the shortest distance from the unlabeled node. This makes it possible to create clustering result data in which the nodes not assigned a label in the initial clustering process are assigned the same label as that assigned to the node that belongs to any of the clusters and is located the shortest distance from the unlabeled node.

本発明の一実施の形態にかかるクラスタリング処理装置は、上記のクラスタリング処理装置において、前記追加クラスタリング処理部は、前記クラスタリング中間データに含まれるノードから、前記クラスタのいずれにも属していないラベルなしノードを1つ選択するノード選択部と、選択された1つの前記ラベルなしノードと、前記クラスタに属する全てのノードと、の間の距離を算出する距離算出部と、前記算出した距離に基づいて、前記クラスタに属する全てのノードから、前記選択された1つのラベルなしノードから最短距離にある最短距離ノードを特定する所属クラスタ決定部と、前記最短距離ノードに付与されたラベルと同じラベルを前記選択された1つのラベルなしノードに付与するラベル付与部と、を有するものである。これにより、初期クラスタリング処理でラベルが付与されなかったノードとクラスタに属するノードとの間の最短距離を算出し、ラベルが付与されなかったノードに最短距離ノードと同じラベルを付与することができる。In one embodiment of the present invention, the clustering processing device is the above-mentioned clustering processing device, in which the additional clustering processing unit includes a node selection unit that selects one unlabeled node that does not belong to any of the clusters from the nodes included in the clustering intermediate data, a distance calculation unit that calculates the distance between the selected unlabeled node and all nodes that belong to the cluster, an affiliated cluster determination unit that identifies the shortest distance node from all nodes that belong to the cluster based on the calculated distance, and a label assignment unit that assigns the same label as the label assigned to the shortest distance node to the selected unlabeled node. This makes it possible to calculate the shortest distance between a node that was not assigned a label in the initial clustering process and a node that belongs to a cluster, and assign the same label as the shortest distance node to the node that was not assigned a label.

本発明の一実施の形態にかかるクラスタリング処理装置は、上記のクラスタリング処理装置において、前記追加クラスタリング処理部は、前記クラスタリング中間データにラベルが付されていないノードが存在するか否かを判定する進捗判定部をさらに有し、前記追加クラスタリング処理部は、前記進捗判定部が前記クラスタリング中間データにラベルが付されていないノードが存在する存在しないと判定するまで、前記ノード選択部、前記距離算出部、前記所属クラスタ決定部及び前記ラベル付与部による処理を繰り返すものである。これにより、初期クラスタリング処理でラベルが付与されなかったノードの全てに対に対し、ラベルを付与することができる。 In a clustering processing device according to one embodiment of the present invention, in the clustering processing device described above, the additional clustering processing unit further includes a progress determination unit that determines whether or not there is a node that is not labeled in the clustering intermediate data, and the additional clustering processing unit repeats processing by the node selection unit, the distance calculation unit, the belonging cluster determination unit, and the label assignment unit until the progress determination unit determines that there is or is not a node that is not labeled in the clustering intermediate data. This makes it possible to assign labels to pairs of all nodes that were not assigned labels in the initial clustering process.

本発明の一実施の形態にかかるクラスタリング処理方法は、多次元ベクトルで記述される複数のラベルが付与されていないノードからなる入力データをクラスタリングし、クラスタに属するノードにラベルを付与したクラスタリング中間データを取得し、前記クラスタリング中間データに含まれるラベルが付されていないノードに対して、前記クラスタリング中間データに含まれる前記クラスタのいずれかに属するノードのうちで前記ラベルが付されていないノードから最短距離にあるノードに付されたものと同じラベルを付与したクラスタリング結果データを作成するものである。これにより、初期クラスタリング処理でラベルが付与されなかったノードに対し、いずれかのクラスタに属する最短距離のノードと同じラベルを付与したクラスタリング結果データを作成することができる。 A clustering processing method according to one embodiment of the present invention clusters input data consisting of a plurality of unlabeled nodes described by a multidimensional vector, obtains clustering intermediate data in which labels are assigned to nodes belonging to the clusters, and creates clustering result data in which unlabeled nodes included in the clustering intermediate data are assigned the same label as that assigned to a node that belongs to any of the clusters included in the clustering intermediate data and is located the shortest distance from the unlabeled node. This makes it possible to create clustering result data in which nodes that were not assigned a label in the initial clustering process are assigned the same label as that assigned to a node that belongs to any of the clusters and is located the shortest distance away.

本発明の一実施の形態にかかるプログラムは、多次元ベクトルで記述される複数のラベルが付与されていないノードからなる入力データをクラスタリングし、クラスタに属するノードにラベルを付与したクラスタリング中間データを取得する処理と、前記クラスタリング中間データに含まれるラベルが付されていないノードに対して、前記クラスタリング中間データに含まれる前記クラスタのいずれかに属するノードのうちで前記ラベルが付されていないノードから最短距離にあるノードに付されたものと同じラベルを付与したクラスタリング結果データを作成する処理と、をコンピュータに実行させるものである。これにより、初期クラスタリング処理でラベルが付与されなかったノードに対し、いずれかのクラスタに属する最短距離のノードと同じラベルを付与したクラスタリング結果データを作成することができる。 A program according to one embodiment of the present invention causes a computer to execute the following processes: clustering input data consisting of a plurality of unlabeled nodes described by a multidimensional vector, acquiring clustering intermediate data in which nodes belonging to the clusters are labeled; and creating clustering result data in which unlabeled nodes included in the clustering intermediate data are assigned the same label as that assigned to a node that belongs to any of the clusters included in the clustering intermediate data and is located the shortest distance from the unlabeled node. This makes it possible to create clustering result data in which nodes that were not assigned a label in the initial clustering process are assigned the same label as that assigned to a node that belongs to any of the clusters and is located the shortest distance away.

本発明の一実施の形態にかかる情報処理装置は、多次元ベクトルで記述される複数のラベルが付与されていないノードからなる教師データ作成用入力データに対してクラスタリング処理を行って教師データを作成する教師データ作成部と、前記教師データに基づいて、多次元ベクトルで記述される複数のラベルが付与されていないノードからなる学習対象入力データのノードにラベルを付与する教師有り学習部と、前記教師有り学習部による処理結果を表示する表示部と、を有し、前記教師データ作成部は、多次元ベクトルで記述される複数のラベルが付与されていないノードからなる入力データをクラスタリングし、クラスタに属するノードにラベルを付与したクラスタリング中間データを取得する初期クラスタリング処理部と、前記クラスタリング中間データに含まれるラベルが付されていないノードに対して、前記クラスタリング中間データに含まれる前記クラスタのいずれかに属するノードのうちで前記ラベルが付されていないノードから最短距離にあるノードに付されたものと同じラベルを付与したクラスタリング結果データを作成する追加クラスタリング処理部と、を有するものである。これにより、初期クラスタリング処理でラベルが付与されなかったノードに対し、いずれかのクラスタに属する最短距離のノードと同じラベルを付与したクラスタリング結果データを作成することができる。An information processing device according to an embodiment of the present invention includes a teacher data creation unit that creates teacher data by performing clustering processing on teacher data creation input data consisting of nodes described by multidimensional vectors that are not assigned multiple labels, a supervised learning unit that assigns labels to nodes of learning target input data consisting of nodes described by multidimensional vectors that are not assigned multiple labels based on the teacher data, and a display unit that displays the processing results by the supervised learning unit. The teacher data creation unit includes an initial clustering processing unit that clusters input data consisting of nodes described by multidimensional vectors that are not assigned multiple labels, and obtains clustering intermediate data in which labels are assigned to nodes belonging to clusters, and an additional clustering processing unit that creates clustering result data in which unlabeled nodes included in the clustering intermediate data are assigned the same label as that assigned to a node that is the shortest distance from the unlabeled node among nodes included in any of the clusters included in the clustering intermediate data. This makes it possible to create clustering result data in which nodes that were not assigned labels in the initial clustering processing are assigned the same label as that assigned to a node that is the shortest distance from any of the clusters.

本発明によれば、入力データの教師なし学習において、クラスタリング後の全てのノードに適当なラベルを付与することができるクラスタリング処理装置、クラスタリング処理方法、プログラム及び情報処理装置を提供することができる。 According to the present invention, it is possible to provide a clustering processing device, a clustering processing method, a program, and an information processing device that can assign appropriate labels to all nodes after clustering in unsupervised learning of input data.

実施の形態1にかかる情報処理装置を実現するためのシステム構成の一例を示す図である。FIG. 1 is a diagram illustrating an example of a system configuration for realizing an information processing device according to a first embodiment. 実施の形態1にかかる情報処理装置の基本的構成を模式的に示す図である。1 is a diagram illustrating a basic configuration of an information processing device according to a first embodiment; 実施の形態1にかかる情報処理装置の構成をより詳細に示す図である。FIG. 2 is a diagram showing a more detailed configuration of the information processing device according to the first embodiment. 実施の形態1にかかる情報処理装置の他の構成例を示す図である。FIG. 13 is a diagram illustrating another example of the configuration of the information processing device according to the first embodiment. 実施の形態1にかかる教師データ作成部の基本的構成を模式的に示す図である。2 is a diagram illustrating a basic configuration of a teacher data creation unit according to the first embodiment; FIG. 教師データ作成に用いる教師データ作成用入力データIN1の例を示す図であるFIG. 1 is a diagram showing an example of input data IN1 for creating teacher data used to create teacher data. 初期クラスタリング処理部のクラスタリング処理によって取得されるクラスタリング中間データの例を示す図である。11 is a diagram showing an example of clustering intermediate data acquired by the clustering process of the initial clustering processor; FIG. 実施の形態1にかかる教師データ作成部の構成をより詳細に示す図である。2 is a diagram showing a more detailed configuration of a teacher data creation unit according to the first embodiment; FIG. 実施の形態1にかかる教師データ作成部が行うクラスタリング処理のフローチャートである。11 is a flowchart of a clustering process performed by a teacher data creation unit according to the first embodiment. ノード選択部によって選択されるノードを示す。2 shows the node selected by the node selection unit. 全てのノードに自動的にラベルが付与されて作成された教師データDTCHの例を示す図である。FIG. 13 is a diagram showing an example of training data D TCH that is created by automatically assigning labels to all nodes.

以下、図面を参照して本発明の実施の形態について説明する。各図面においては、同一要素には同一の符号が付されており、必要に応じて重複説明は省略される。Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In each drawing, the same elements are given the same reference numerals, and duplicate explanations will be omitted as necessary.

実施の形態1
図1は、実施の形態1にかかる情報処理装置を実現するためのシステム構成の一例を示す図である。情報処理装置1000は、専用コンピュータ、パーソナルコンピュータ(PC)などのコンピュータ10により実現可能である。但し、コンピュータは、物理的に単一である必要はなく、分散処理を実行する場合には、複数であってもよい。図1に示すように、コンピュータ10は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12及びRAM(Random Access Memory)13を有し、これらがバス14を介して相互に接続されている。尚、コンピュータを動作させるためのOSソフトなどは、説明を省略するが、この情報処理装置を構築するコンピュータも当然有しているものとする。
First embodiment
FIG. 1 is a diagram showing an example of a system configuration for realizing an information processing device according to the first embodiment. The information processing device 1000 can be realized by a computer 10 such as a dedicated computer or a personal computer (PC). However, the computer does not need to be physically single, and may be multiple when performing distributed processing. As shown in FIG. 1, the computer 10 has a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, and a RAM (Random Access Memory) 13, which are connected to each other via a bus 14. Note that an OS software for operating the computer will not be described, but it is assumed that the computer that constructs this information processing device also has such software.

バス14には、入出力インターフェイス15も接続されている。入出力インターフェイス15には、例えば、キーボード、マウス、センサなどよりなる入力部16、CRT、LCDなどよりなるディスプレイ、並びにヘッドフォンやスピーカなどよりなる出力部17、ハードディスクなどより構成される記憶部18、モデム、ターミナルアダプタなどより構成される通信部19などが接続されている。An input/output interface 15 is also connected to the bus 14. The input/output interface 15 is connected to, for example, an input unit 16 including a keyboard, mouse, sensor, etc., a display including a CRT, LCD, etc., an output unit 17 including headphones, speakers, etc., a storage unit 18 including a hard disk, etc., and a communication unit 19 including a modem, terminal adapter, etc.

CPU11は、ROM12に記憶されている各種プログラム、又は記憶部18からRAM13にロードされた各種プログラムに従って各種の処理、本実施の形態においては、例えば後述する情報処理装置1000の各部の処理を実行する。CPU11とは別にGPU(Graphics Processing Unitを設け、CPU11と同様に、ROM12に記憶されている各種プログラム、又は記憶部18からRAM13にロードされた各種プログラムに従って各種の処理、本実施の形態においては、例えば後述する情報処理装置1000の各部の処理を実行してもよい。なお、GPUは、定型的な処理を並列的に行う用途に適しており、後述するニューラルネットワークにおける処理などに適用することで、CPU11に比べて処理速度を向上させることも可能である。RAM13には又、CPU11及びGPU21が各種の処理を実行する上において必要なデータなども適宜記憶される。The CPU 11 executes various processes according to various programs stored in the ROM 12 or various programs loaded from the storage unit 18 to the RAM 13, and in this embodiment, for example, the processes of each part of the information processing device 1000 described later. A GPU (Graphics Processing Unit) may be provided separately from the CPU 11, and similarly to the CPU 11, executes various processes according to various programs stored in the ROM 12 or various programs loaded from the storage unit 18 to the RAM 13, and in this embodiment, for example, the processes of each part of the information processing device 1000 described later. Note that the GPU is suitable for applications in which standard processes are performed in parallel, and by applying it to processes in a neural network described later, it is possible to improve the processing speed compared to the CPU 11. The RAM 13 also appropriately stores data necessary for the CPU 11 and the GPU 21 to execute various processes.

通信部19は、例えば図示しないインターネットを介しての通信処理を行ったり、CPU11から提供されたデータを送信したり、通信相手から受信したデータをCPU11、RAM13、記憶部18に出力したりする。記憶部18はCPU11との間でやり取りし、情報の保存・消去を行う。通信部19は又、他の装置との間で、アナログ信号又はディジタル信号の通信処理を行う。The communication unit 19 performs communication processing, for example, via the Internet (not shown), transmits data provided by the CPU 11, and outputs data received from a communication partner to the CPU 11, RAM 13, and storage unit 18. The storage unit 18 communicates with the CPU 11 and stores and erases information. The communication unit 19 also performs communication processing of analog or digital signals with other devices.

入出力インターフェイス15はまた、必要に応じてドライブ20が接続され、例えば、磁気ディスク20A、光ディスク20B、フレキシブルディスク20C、又は半導体メモリ20Dなどが適宜装着され、それらから読み出されたコンピュータプログラムが必要に応じて記憶部18にインストールされる。The input/output interface 15 is also connected to a drive 20 as required, and, for example, a magnetic disk 20A, an optical disk 20B, a flexible disk 20C, or a semiconductor memory 20D is appropriately attached, and computer programs read from them are installed in the memory unit 18 as required.

続いて、本実施の形態にかかる情報処理装置1000における各処理について説明する。情報処理装置1000は、n(nは、1以上の整数)次元ベクトルで記述されるノードが配置される非階層構造のニューラルネットワークが入力される。ニューラルネットワークは、例えばRAM13などの記憶部に格納されている。Next, each process in the information processing device 1000 according to this embodiment will be described. The information processing device 1000 receives as input a non-hierarchical neural network in which nodes described by n-dimensional vectors (n is an integer equal to or greater than 1) are arranged. The neural network is stored in a storage unit such as the RAM 13.

本実施の形態におけるニューラルネットワークは、入力ベクトルをニューラルネットワークに入力し、入力される入力ベクトルに基づいて、ニューラルネットワークに配置されるノードを自動的に増加させる自己増殖型ニューラルネットワークであり、自己増殖型ニューラルネットワークを用いることで、ノードを自動的に増加させることができる。 The neural network in this embodiment is a self-replicating neural network that inputs an input vector into the neural network and automatically increases the number of nodes placed in the neural network based on the input vector. By using a self-replicating neural network, the number of nodes can be automatically increased.

本実施の形態におけるニューラルネットワークは、非階層構造を有するものである。非階層構造を採用することで、他の層での学習を開始するタイミングを指定せずに追加学習を実施することができる。すなわち、オンラインでの追加学習を実施することができる。 The neural network in this embodiment has a non-hierarchical structure. By adopting a non-hierarchical structure, additional learning can be performed without specifying the timing to start learning in other layers. In other words, additional learning can be performed online.

入力データは、n次元の入力ベクトルとして入力される。例えば、入力ベクトルは一時記憶部(例えばRAM13)に格納され、一時記憶部に格納されたニューラルネットワークに対して順次入力される。The input data is input as an n-dimensional input vector. For example, the input vector is stored in a temporary storage unit (e.g., RAM 13) and is input sequentially to the neural network stored in the temporary storage unit.

以下、実施の形態1にかかる情報処理装置1000の具体的な構成について説明する。情報処理装置1000には、まず、教師データの作成に用いられる教師データ作成用入力データが与えられ、これに基づいて教師データが作成される。そして、情報処理装置1000は、作成した教師データを用いて、別に与えられる学習対象入力データに対して教師データを使用して入力データに含まれるデータ(ノード)にラベルを付与する。 The specific configuration of the information processing device 1000 according to the first embodiment will be described below. The information processing device 1000 is first given input data for creating teacher data used to create teacher data, and the teacher data is created based on this. The information processing device 1000 then uses the created teacher data to assign labels to data (nodes) included in the input data for separately provided learning input data, using the teacher data.

図2に、実施の形態1にかかる情報処理装置1000の基本的構成を模式的に示す。また、図3に、実施の形態1にかかる情報処理装置1000の構成をより詳細に示す。情報処理装置1000は、少なくとも教師データ作成部100を有し、さらに教師有り学習部110及び表示部120を有してもよい。この例では、教師データ作成用入力データIN1及び教師有り学習の対象となる学習対象入力データIN2は、情報処理装置1000の外部から、教師データ作成部100及び教師有り学習部110にそれぞれ与えられる。教師データ作成用入力データIN1及び教師有り学習の対象となる学習対象入力データIN2は、上述したように、多次元ベクトルで記述されるノードを複数含むデータである。 Figure 2 shows a schematic diagram of the basic configuration of the information processing device 1000 according to the first embodiment. Figure 3 shows a more detailed diagram of the configuration of the information processing device 1000 according to the first embodiment. The information processing device 1000 has at least a teacher data creation unit 100, and may further have a supervised learning unit 110 and a display unit 120. In this example, input data IN1 for creating teacher data and learning target input data IN2 to be subjected to supervised learning are provided to the teacher data creation unit 100 and the supervised learning unit 110, respectively, from outside the information processing device 1000. As described above, the input data IN1 for creating teacher data and learning target input data IN2 to be subjected to supervised learning are data including multiple nodes described by multidimensional vectors.

なお、教師データ作成用入力データIN1及び学習対象入力データIN2は、情報処理装置1000に設けられた記憶部に格納されていてもよい。図4に、実施の形態1にかかる情報処理装置1000の他の構成例を示す。この例では、情報処理装置1000は、記憶部130をさらに有している。教師データ作成用入力データIN1及び学習対象入力データIN2は、記憶部130に適宜格納され、教師データ作成部100及び教師有り学習部110が必要に応じて教師データ作成用入力データIN1及び学習対象入力データIN2を記憶部130から読み出してもよい。教師データ作成用入力データIN1及び学習対象入力データIN2は、情報処理装置1000のオペレータによって、予め又は任意のタイミングで、記憶部130に格納されてもよい。なお、記憶部130は、例えば、図1に示すROM12及び記憶部18の一方又は両方に対応するものである。The input data IN1 for creating teacher data and the learning target input data IN2 may be stored in a storage unit provided in the information processing device 1000. FIG. 4 shows another configuration example of the information processing device 1000 according to the first embodiment. In this example, the information processing device 1000 further includes a storage unit 130. The input data IN1 for creating teacher data and the learning target input data IN2 are appropriately stored in the storage unit 130, and the teacher data creation unit 100 and the teacher-assisted learning unit 110 may read the input data IN1 for creating teacher data and the learning target input data IN2 from the storage unit 130 as necessary. The input data IN1 for creating teacher data and the learning target input data IN2 may be stored in the storage unit 130 in advance or at any time by the operator of the information processing device 1000. The storage unit 130 corresponds to, for example, one or both of the ROM 12 and the storage unit 18 shown in FIG. 1.

教師データ作成部100は、教師データ作成用入力データIN1に対して、例えばk-means法や上述のSOINN法などの教師なし学習手法を用いてクラスタリングを行ってクラスタリング中間データを作成し、さらにクラスタリング中間データに含まれるラベルなしノードにラベルを付与することで教師データDTCHを作成するものとして構成される。 The teacher data creation unit 100 is configured to perform clustering on the input data IN1 for creating teacher data using an unsupervised learning method such as the k-means method or the above-mentioned SOINN method to create clustering intermediate data, and to create teacher data D TCH by further assigning labels to unlabeled nodes included in the clustering intermediate data.

換言すれば、教師データ作成部100は1回目のクラスタリング処理後のクラスタに属するノードの全てに自動的にラベルを付与することができるクラスタリング処理を行うものとして構成される。In other words, the teacher data creation unit 100 is configured to perform a clustering process that can automatically assign labels to all nodes belonging to a cluster after the first clustering process.

なお、教師データ作成部100が行うクラスタリング処理の適用は教師データの作成に限定されるものではなく、様々な入力データのクラスタリング処理に適用することが可能である。よって、教師データ作成部100を、単にクラスタリング処理装置とも称する。Note that the application of the clustering process performed by the teacher data creation unit 100 is not limited to the creation of teacher data, but can be applied to clustering processes of various input data. Therefore, the teacher data creation unit 100 is also simply referred to as a clustering processing device.

図5に、教師データ作成部100の基本的構成を模式的に示す。教師データ作成部100は、初期クラスタリング処理部100A及び追加クラスタリング処理部100Bを有する。 Figure 5 shows a schematic diagram of the basic configuration of the teacher data creation unit 100. The teacher data creation unit 100 has an initial clustering processing unit 100A and an additional clustering processing unit 100B.

初期クラスタリング処理部100Aは、教師データ作成用入力データIN1に対して、例えばk-means法や上述のSOINN法などの教師なし学習手法を用いてクラスタリングを行ってノードにラベルを付与したクラスタリング中間データDINT_Lを作成するものとして構成される。 The initial clustering processing unit 100A is configured to perform clustering on the input data IN1 for creating teacher data using an unsupervised learning method such as the k-means method or the above-mentioned SOINN method, and to create clustering intermediate data D INT_L in which labels are assigned to the nodes.

図6に、教師データ作成に用いる教師データ作成用入力データIN1の例を示す。この例では、ラベルが付与されていないノード(白丸で表示)が2次元平面に分布しているデータを教師データ作成用入力データIN1として用いる。 Figure 6 shows an example of the input data IN1 for creating teacher data used to create teacher data. In this example, data in which unlabeled nodes (shown as white circles) are distributed on a two-dimensional plane is used as the input data IN1 for creating teacher data.

図7に、初期クラスタリング処理部100Aの初期クラスタリング処理によって取得されるクラスタリング中間データDINT_Lの例を示す。図7のクラスタリング中間データDINT_Lは、例えば4つのクラスタC1~C4を含み、クラスタC1~C4にはそれぞれ複数のノードが属している。なお、クラスタリング中間データDINT_Lでは、含まれる全てのノードがいずれかのクラスタに属しているわけではなく、いずれのクラスタにも属することなく、かつ、いかなるラベルも付与さていないノードが存在する。図7では、いずれのクラスタにも属することなく、かつ、いかなるラベルも付与さていないノードをラベルなしノードとして白丸で表示している。 7 shows an example of clustering intermediate data D INT_L acquired by the initial clustering process of the initial clustering processing unit 100A. The clustering intermediate data D INT_L in FIG. 7 includes, for example, four clusters C1 to C4, and a plurality of nodes belong to each of the clusters C1 to C4. Note that in the clustering intermediate data D INT_L , not all of the included nodes belong to any cluster, and there are nodes that do not belong to any cluster and that have not been assigned any label. In FIG. 7, nodes that do not belong to any cluster and that have not been assigned any label are displayed as unlabeled nodes with white circles.

上述の通り、クラスタリング中間データDINT_Lにはラベルなしノードが含まれており、この後の追加クラスタリング処理部100Bでさらなるクラスタリング処理が行われる。そのため、区別のため、ここでの処理主体を初期クラスタリング処理部100Aと称し、初期クラスタリング処理部100Aが行うクラスタリング処理を初期クラスタリング処理と称するものとする。 As described above, the clustering intermediate data D INT_L includes unlabeled nodes, and further clustering processing is performed in the subsequent additional clustering processing unit 100B. Therefore, for the sake of distinction, the processing entity here is referred to as the initial clustering processing unit 100A, and the clustering processing performed by the initial clustering processing unit 100A is referred to as the initial clustering processing.

追加クラスタリング処理部100Bは、クラスタリング中間データDINT_Lに含まれるラベルなしノードにラベルを付与する処理をさらに行って、クラスタリング結果データである教師データDTCHを作成する。 The additional clustering processing unit 100B further performs processing to assign labels to unlabeled nodes included in the clustering intermediate data D INT_L , and creates teacher data D TCH , which is clustering result data.

ここでは、初期クラスタリング処理と区別するため、ここでの処理主体を追加クラスタリング処理部100Bと称し、かつ、追加クラスタリング処理部100Bが行うクラスタリング処理を追加クラスタリング処理と称するものとする。 Here, to distinguish it from the initial clustering process, the processing entity here will be referred to as the additional clustering processing unit 100B, and the clustering process performed by the additional clustering processing unit 100B will be referred to as the additional clustering process.

次いで、教師データ作成部100の構成及び動作について、より詳細に説明する。図8に、実施の形態1にかかる教師データ作成部100の構成をより詳細に示す。初期クラスタリング処理部100Aは、データ取得部101、クラスタリング処理部102及び第1ラベル付与部103を有する。追加クラスタリング処理部100Bは、ノード選択部104、距離算出部105、所属クラスタ決定部106、第2ラベル付与部107及び進捗判定部108を有する。Next, the configuration and operation of the teacher data creation unit 100 will be described in more detail. Figure 8 shows the configuration of the teacher data creation unit 100 according to the first embodiment in more detail. The initial clustering processing unit 100A has a data acquisition unit 101, a clustering processing unit 102, and a first label assignment unit 103. The additional clustering processing unit 100B has a node selection unit 104, a distance calculation unit 105, an affiliated cluster determination unit 106, a second label assignment unit 107, and a progress determination unit 108.

図9に、教師データ作成部100が行うクラスタリング処理のフローチャートを示す。教師データ作成部100が行うクラスタリング処理は、以下のステップS1~S8を経て、クラスタリング結果データである教師データDTCHを作成する。 9 is a flowchart showing the clustering process performed by the teacher data creation unit 100. The clustering process performed by the teacher data creation unit 100 goes through the following steps S1 to S8 to create teacher data D_TCH , which is clustering result data.

ステップS1
データ取得部101は、情報処理装置1000の外部又は記憶部130から教師データ作成用入力データIN1を取得する。
Step S1
The data acquisition unit 101 acquires input data IN1 for creating teacher data from outside the information processing device 1000 or from the memory unit 130.

ステップS2
クラスタリング処理部102は、教師データ作成用入力データIN1に対してk-means法や上述のSOINN法などの教師なし学習手法を用いて初期クラスタリング処理を行い、クラスタリング結果であるクラスタリング中間データDINTを取得する。なお、上述の通り、この段階のクラスタリング中間データDINTには、いずれのクラスタにも属していないノードも含まれている。
Step S2
The clustering processing unit 102 performs initial clustering processing on the input data IN1 for creating teacher data using an unsupervised learning method such as the k-means method or the above-mentioned SOINN method, and obtains clustering intermediate data D INT , which is the clustering result. As described above, the clustering intermediate data D INT at this stage also includes nodes that do not belong to any cluster.

ステップS3
第1ラベル付与部103は、クラスタC1~C4のいずれかに属することとなったノードにラベルを付与する。例えば、第1ラベル付与部103は、クラスタC1~C4のそれぞれに属することとなったノードに、ラベルとして「C1」、「C2」、「C3」及び「C4」を付与してもよい。但し、クラスタC1~C4のいずれかに属することとなったノードに付与するラベルは例に過ぎず、必要に応じて他の適切なラベルを付与してもよい。第1ラベル付与部103は、ラベル付与済みのクラスタリング中間データDINT_Lを出力する。上述の通り、この段階のクラスタリング中間データDINT_Lには、ラベルなしノードも含まれている。
Step S3
The first label assignment unit 103 assigns a label to a node that has come to belong to any one of the clusters C1 to C4. For example, the first label assignment unit 103 may assign labels "C1", "C2", "C3", and "C4" to the nodes that have come to belong to each of the clusters C1 to C4. However, the labels assigned to the nodes that have come to belong to any one of the clusters C1 to C4 are merely examples, and other appropriate labels may be assigned as necessary. The first label assignment unit 103 outputs the clustering intermediate data D INT_L to which labels have been assigned. As described above, the clustering intermediate data D INT_L at this stage also includes unlabeled nodes.

ステップS4
ノード選択部104は、ラベル付与済みのクラスタリング中間データDINT_Lに含まれるラベルなしノードを1つ選択し、選択結果SELを出力する。図10に、ノード選択部104によって選択されるノードを示す。この例では、図10のラベルなしノードNSが選択されるものとする。
Step S4
The node selection unit 104 selects one unlabeled node included in the labeled clustering intermediate data D INT_L , and outputs the selection result SEL. Fig. 10 shows the nodes selected by the node selection unit 104. In this example, it is assumed that the unlabeled node NS in Fig. 10 is selected.

ステップS5
距離算出部105は、選択結果SELに基づいて、選択されたノードNSと、クラスタC1~C4に属する各ノードとの距離を算出する。距離算出部105は、算出した距離を示す距離情報DISを出力する。ここで適用する距離尺度としては、コサイン距離、ユークリッド距離、マハラノビス距離、マンハッタン距離、フラクショナル距離などの各種の距離尺度を用いることができる。
Step S5
Based on the selection result SEL, the distance calculation unit 105 calculates the distance between the selected node NS and each node belonging to the clusters C1 to C4. The distance calculation unit 105 outputs distance information DIS indicating the calculated distance. As the distance measure applied here, various distance measures such as cosine distance, Euclidean distance, Mahalanobis distance, Manhattan distance, and fractional distance can be used.

ステップS6
所属クラスタ決定部106は、距離情報DISに基づいて算出した距離の中で最短の距離を検出し、クラスタC1~C4に属するノードの中で選択されたノードNSから最短距離DISMINにあるノードを特定する。ここでは、例として、クラスタC4に属するノードの1つが最短距離ノードNNであるものとする。所属クラスタ決定部106は、特定したノードを示すノード特定情報NDを出力する。
Step S6
The cluster determining unit 106 detects the shortest distance among the distances calculated based on the distance information DIS, and identifies the node that is at the shortest distance DIS MIN from the selected node NS among the nodes that belong to clusters C1 to C4. Here, as an example, it is assumed that one of the nodes that belong to cluster C4 is the shortest distance node NN. The cluster determining unit 106 outputs node identification information ND that indicates the identified node.

ステップS7
第2ラベル付与部107は、ノード特定情報NDに基づいて、所属クラスタ決定部106によって特定されたノードに付与されたラベルと同じラベルを、ラベルなしノードNSに付与する。例えば、クラスタC4に属する最短距離ノードNNにラベルとして「C4」が付与されている場合には、所属クラスタ決定部106は、同じラベル「C4」をラベルなしノードNSに付与する。これにより、ラベルが付与されたラベルなしノードNSは、クラスタC4に属するノードとなる。
Step S7
Based on the node identification information ND, the second label assignment unit 107 assigns to the unlabeled node NS the same label as the label assigned to the node identified by the cluster determination unit 106. For example, if the label "C4" is assigned to the shortest distance node NN belonging to cluster C4, the cluster determination unit 106 assigns the same label "C4" to the unlabeled node NS. As a result, the unlabeled node NS to which the label has been assigned becomes a node belonging to cluster C4.

ステップS8
進捗判定部108は、ラベル付与済み後のクラスタリング中間データDINT_Lにラベルなしノードが含まれるかを判定する。クラスタリング中間データDINT_Lにラベルなしノードが含まれる場合には、処理をステップS4に返す。これにより、クラスタリング中間データDINT_Lに含まれるラベルなしノードの全てが最短距離のノードを含むいずれかのクラスタに属するまで、ステップS4~S7の処理が繰り返されることとなる。
Step S8
The progress determination unit 108 determines whether the clustering intermediate data D INT_L after labels are assigned includes an unlabeled node. If the clustering intermediate data D INT_L includes an unlabeled node, the process returns to step S4. As a result, the processes of steps S4 to S7 are repeated until all of the unlabeled nodes included in the clustering intermediate data D INT_L belong to any of the clusters including the node with the shortest distance.

一方、ラベル付与済みクラスタリング中間データDINT_Lにラベルなしノードが含まれていない場合には、進捗判定部108はクラスタリング処理を終了し、最新のクラスタリング中間データDINT_Lを教師データDTCHとして出力する。 On the other hand, if the labeled clustering intermediate data D INT_L does not include any unlabeled nodes, the progress determination unit 108 ends the clustering process and outputs the latest clustering intermediate data D INT_L as teacher data D TCH .

以上のステップS1~S8に示す処理によって、初期クラスタリング処理でラベルなしノードが残存したとしても、全てのノードに自動的にラベルを付与することができる。図11に、全てのノードに自動的にラベルが付与されて作成された教師データDTCHの例を示す。図11に示す様に、教師データDTCHにはラベルなしノードは存在せず、各ノードがクラスタC1~C4のいずれかに属していることが理解できる。 By the above processing shown in steps S1 to S8, even if unlabeled nodes remain in the initial clustering processing, labels can be automatically assigned to all nodes. Figure 11 shows an example of teacher data D TCH created by automatically assigning labels to all nodes. As shown in Figure 11, there are no unlabeled nodes in the teacher data D TCH , and it can be seen that each node belongs to one of the clusters C1 to C4.

教師有り学習部110は、上述したように作成された教師データDTCHに基づいて、別途与えられる学習対象入力データIN2に対するラベル付与を行う。 The supervised learning unit 110 assigns labels to the separately provided learning target input data IN2 based on the teacher data DTCH created as described above.

表示部120は、教師データ作成部100のクラスタリングの中間結果及び最終結果や、教師有り学習部110の処理結果などを適宜表示することができる。The display unit 120 can appropriately display intermediate and final results of clustering by the teacher data creation unit 100, processing results by the supervised learning unit 110, etc.

以上、本構成によれば、入力データの教師なし学習において、クラスタリング後の全てのノードに、自動的に好適なラベルを付与することができる。 As described above, with this configuration, in unsupervised learning of input data, appropriate labels can be automatically assigned to all nodes after clustering.

これにより、手作業を介在させることなく、教師データを自動的かつ迅速に教師データを作成することができる。また、教師データの作成から教師データを用いた教師なし学習とその学習結果の表示の一連の処理を、自動的に行うことが可能となる。This makes it possible to automatically and quickly create training data without manual intervention. It also makes it possible to automatically perform a series of processes, from creating training data to unsupervised learning using the training data and displaying the learning results.

その他の実施の形態
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、距離尺度についてであるが、オンライン追加学習を行う場合ではサンプルデータを事前に得ることができないので、事前に入力ベクトルの次元数を分析してどの距離尺度が有効であるかを決定することができない。このため、特許文献2において式(14)を用いて説明されているように、異なる距離尺度を組み合わせて2つのノード間の距離を表す新たな距離尺度を導入してもよい。例えば、特許文献2において式(14)~(16)を用いて導出された式(17)で示されるように、ユークリッド距離とコサイン距離とを組み合わせた新たな距離尺度を用いてもよい。
Other embodiments The present invention is not limited to the above-mentioned embodiments, and can be modified as appropriate without departing from the spirit of the present invention. For example, regarding the distance measure, when performing online additional learning, sample data cannot be obtained in advance, so it is not possible to analyze the number of dimensions of the input vector in advance to determine which distance measure is effective. For this reason, as explained using equation (14) in Patent Document 2, a new distance measure that represents the distance between two nodes by combining different distance measures may be introduced. For example, as shown in equation (17) derived using equations (14) to (16) in Patent Document 2, a new distance measure that combines Euclidean distance and cosine distance may be used.

また、距離尺度に関して、ユークリッド距離にコサイン距離を組み合せる場合を例に説明したが、これに限定されず、他の距離尺度(例えば、コサイン距離、マンハッタン距離、フラクショナル距離)を組み合せるものとしてもよい。さらに、高次元空間における有効な距離尺度に限定されず、学習しようとする問題に応じた他の距離尺度を組み合せるものとしてもよい。 In addition, although the distance measure has been described as a combination of Euclidean distance and cosine distance, the present invention is not limited to this and may be combined with other distance measures (e.g., cosine distance, Manhattan distance, fractional distance). Furthermore, the present invention is not limited to distance measures that are effective in high-dimensional spaces and may be combined with other distance measures depending on the problem to be studied.

上述の実施の形態では、本発明を主にハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。In the above embodiment, the present invention has been described mainly as a hardware configuration, but the present invention is not limited to this, and any process can be realized by having a CPU (Central Processing Unit) execute a computer program. In this case, the computer program can be stored using various types of non-transitory computer readable medium and supplied to the computer. Non-transitory computer readable medium includes various types of tangible storage medium. Examples of non-transitory computer-readable media include magnetic recording media (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R/Ws, and semiconductor memories (e.g., mask ROMs, PROMs (Programmable ROMs), EPROMs (Erasable PROMs), flash ROMs, and RAMs (random access memories)). The program may also be provided to the computer by various types of transient computer-readable media. Examples of the transient computer-readable medium include electric signals, optical signals, and electromagnetic waves. The transient computer-readable medium can provide the program to the computer via a wired communication path such as an electric wire or optical fiber, or via a wireless communication path.

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。The present invention has been described above with reference to the embodiment, but the present invention is not limited to the above. Various modifications that can be understood by a person skilled in the art can be made to the configuration and details of the present invention within the scope of the invention.

この出願は、2021年1月19日に出願された日本出願特願2021-6621を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority based on Japanese Patent Application No. 2021-6621, filed on January 19, 2021, the disclosure of which is incorporated herein in its entirety.

10 コンピュータ
11 CPU
12 ROM
13 RAM
14 バス
15 入出力インターフェイス
16 入力部
17 出力部
18 記憶部
19 通信部
20 ドライブ
20A 磁気ディスク
20B 光ディスク
20C フレキシブルディスク
20D 半導体メモリ
100 教師データ作成部
100A 初期クラスタリング処理部
100B 追加クラスタリング処理部
110 教師有り学習部
120 表示部
130 記憶部
101 データ取得部
102 クラスタリング処理部
103 第1ラベル付与部
104 ノード選択部
105 距離算出部
106 所属クラスタ決定部
107 第2ラベル付与部
108 進捗判定部
1000 情報処理装置
C1~C4 クラスタ
INT、DINT_L クラスタリング中間データ
TCH 教師データ
IN1 教師データ作成用入力データ
IN2 学習対象入力データ
10 Computer 11 CPU
12 ROM
13 RAM
14 Bus 15 Input/Output Interface 16 Input Unit 17 Output Unit 18 Memory Unit 19 Communication Unit 20 Drive 20A Magnetic Disk 20B Optical Disk 20C Flexible Disk 20D Semiconductor Memory 100 Teacher Data Creation Unit 100A Initial Clustering Processing Unit 100B Additional Clustering Processing Unit 110 Supervised Learning Unit 120 Display Unit 130 Memory Unit 101 Data Acquisition Unit 102 Clustering Processing Unit 103 First Label Assignment Unit 104 Node Selection Unit 105 Distance Calculation Unit 106 Belonging Cluster Determination Unit 107 Second Label Assignment Unit 108 Progress Judgment Unit 1000 Information Processing Device C1 to C4 Clusters D INT , D INT_L Clustering Intermediate Data D TCH Teacher Data IN1 Input Data for Creating Teacher Data IN2 Learning Target Input Data

Claims (6)

多次元ベクトルで記述される複数のラベルが付与されていないノードからなる入力データをクラスタリングし、クラスタに属するノードにラベルを付与したクラスタリング中間データを取得する初期クラスタリング処理部と、
前記クラスタリング中間データに含まれるラベルが付されていないノードに対して、前記クラスタリング中間データに含まれる前記クラスタのいずれかに属するノードのうちで前記ラベルが付されていないノードから最短距離にあるノードに付されたものと同じラベルを付与したクラスタリング結果データを作成する追加クラスタリング処理部と、を備える、
クラスタリング処理装置。
an initial clustering processing unit that clusters input data consisting of a plurality of unlabeled nodes described by a multidimensional vector, and obtains clustering intermediate data in which labels are assigned to nodes belonging to the clusters;
an additional clustering processing unit that creates clustering result data in which, for nodes included in the clustering intermediate data that are not labeled, the same label as that assigned to a node that is located at the shortest distance from the unlabeled node among nodes that belong to any of the clusters included in the clustering intermediate data is assigned to the nodes included in the clustering intermediate data that are not labeled;
Clustering processing unit.
前記追加クラスタリング処理部は、
前記クラスタリング中間データに含まれるノードから、前記クラスタのいずれにも属していないラベルなしノードを1つ選択するノード選択部と、
選択された1つの前記ラベルなしノードと、前記クラスタに属する全てのノードと、の間の距離を算出する距離算出部と、
前記算出した距離に基づいて、前記クラスタに属する全てのノードから、前記選択された1つのラベルなしノードから最短距離にある最短距離ノードを特定する所属クラスタ決定部と、
前記最短距離ノードに付与されたラベルと同じラベルを前記選択された1つのラベルなしノードに付与するラベル付与部と、を備える、
請求項1に記載のクラスタリング処理装置。
The additional clustering processing unit includes:
a node selection unit that selects, from the nodes included in the clustering intermediate data, one unlabeled node that does not belong to any of the clusters;
a distance calculation unit that calculates a distance between the selected unlabeled node and all nodes that belong to the cluster;
a cluster determining unit that identifies a node that is closest to the selected one unlabeled node from among all nodes that belong to the cluster based on the calculated distance;
a label assignment unit that assigns the same label as the label assigned to the shortest distance node to the selected one unlabeled node,
The clustering processing device according to claim 1 .
前記追加クラスタリング処理部は、前記クラスタリング中間データにラベルが付されていないノードが存在するか否かを判定する進捗判定部をさらに備え、
前記追加クラスタリング処理部は、前記進捗判定部が前記クラスタリング中間データにラベルが付されていないノードが存在する存在しないと判定するまで、前記ノード選択部、前記距離算出部、前記所属クラスタ決定部及び前記ラベル付与部による処理を繰り返す、
請求項2に記載のクラスタリング処理装置。
the additional clustering processing unit further includes a progress determination unit that determines whether or not there is an unlabeled node in the clustering intermediate data;
the additional clustering processing unit repeats the processes by the node selection unit, the distance calculation unit, the belonging cluster determination unit, and the label assignment unit until the progress determination unit determines that there is no node not having a label in the clustering intermediate data.
The clustering processing device according to claim 2 .
初期クラスタリング処理部によって、多次元ベクトルで記述される複数のラベルが付与されていないノードからなる入力データをクラスタリングし、クラスタに属するノードにラベルを付与したクラスタリング中間データを取得
追加クラスタリング処理部によって、前記クラスタリング中間データに含まれるラベルが付されていないノードに対して、前記クラスタリング中間データに含まれる前記クラスタのいずれかに属するノードのうちで前記ラベルが付されていないノードから最短距離にあるノードに付されたものと同じラベルを付与したクラスタリング結果データを作成する、
クラスタリング処理方法。
An initial clustering processing unit clusters input data consisting of a plurality of unlabeled nodes described by a multidimensional vector, and obtains clustering intermediate data in which labels are assigned to nodes belonging to the clusters;
creating clustering result data in which an additional clustering processing unit assigns to an unlabeled node included in the clustering intermediate data the same label as that assigned to a node that is located at the shortest distance from the unlabeled node among nodes that belong to any one of the clusters included in the clustering intermediate data;
Clustering processing method.
多次元ベクトルで記述される複数のラベルが付与されていないノードからなる入力データをクラスタリングし、クラスタに属するノードにラベルを付与したクラスタリング中間データを取得する処理と、
前記クラスタリング中間データに含まれるラベルが付されていないノードに対して、前記クラスタリング中間データに含まれる前記クラスタのいずれかに属するノードのうちで前記ラベルが付されていないノードから最短距離にあるノードに付されたものと同じラベルを付与したクラスタリング結果データを作成する処理と、をコンピュータに実行させる、
プログラム。
A process of clustering input data consisting of a plurality of unlabeled nodes described by a multidimensional vector, and acquiring intermediate clustering data in which labels are assigned to nodes belonging to the clusters;
creating clustering result data in which, for unlabeled nodes included in the clustering intermediate data, the same label as that assigned to a node that is located the shortest distance from the unlabeled node among nodes that belong to any one of the clusters included in the clustering intermediate data is assigned to the unlabeled node;
program.
多次元ベクトルで記述される複数のラベルが付与されていないノードからなる教師データ作成用入力データに対してクラスタリング処理を行って教師データを作成する教師データ作成部と、
前記教師データに基づいて、多次元ベクトルで記述される複数のラベルが付与されていないノードからなる学習対象入力データのノードにラベルを付与する教師有り学習部と、
前記教師有り学習部による処理結果を表示する表示部と、を備え、
前記教師データ作成部は、
多次元ベクトルで記述される複数のラベルが付与されていないノードからなる入力データをクラスタリングし、クラスタに属するノードにラベルを付与したクラスタリング中間データを取得する初期クラスタリング処理部と、
前記クラスタリング中間データに含まれるラベルが付されていないノードに対して、前記クラスタリング中間データに含まれる前記クラスタのいずれかに属するノードのうちで前記ラベルが付されていないノードから最短距離にあるノードに付されたものと同じラベルを付与したクラスタリング結果データを作成する追加クラスタリング処理部と、を備える、
情報処理装置。
a teacher data creation unit that creates teacher data by performing a clustering process on teacher data creation input data consisting of a plurality of unlabeled nodes described by a multidimensional vector;
a supervised learning unit that assigns labels to nodes of learning target input data that includes a plurality of unlabeled nodes described by a multidimensional vector based on the teaching data;
a display unit that displays a processing result by the supervised learning unit,
The teacher data creation unit is
an initial clustering processing unit that clusters input data consisting of a plurality of unlabeled nodes described by a multidimensional vector, and obtains clustering intermediate data in which labels are assigned to nodes belonging to the clusters;
an additional clustering processing unit that creates clustering result data in which, for nodes included in the clustering intermediate data that are not labeled, the same label as that assigned to a node that is located at the shortest distance from the unlabeled node among nodes that belong to any of the clusters included in the clustering intermediate data is assigned to the nodes included in the clustering intermediate data that are not labeled;
Information processing device.
JP2022576961A 2021-01-19 2021-08-30 Clustering processing device, clustering processing method, program, and information processing device Active JP7489731B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021006621 2021-01-19
JP2021006621 2021-01-19
PCT/JP2021/031795 WO2022158027A1 (en) 2021-01-19 2021-08-30 Cluster processing device, clustering processing method, non-transitory computer-readable medium, and information processing device

Publications (3)

Publication Number Publication Date
JPWO2022158027A1 JPWO2022158027A1 (en) 2022-07-28
JPWO2022158027A5 JPWO2022158027A5 (en) 2023-09-05
JP7489731B2 true JP7489731B2 (en) 2024-05-24

Family

ID=82549679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022576961A Active JP7489731B2 (en) 2021-01-19 2021-08-30 Clustering processing device, clustering processing method, program, and information processing device

Country Status (2)

Country Link
JP (1) JP7489731B2 (en)
WO (1) WO2022158027A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7419583B1 (en) 2023-02-17 2024-01-22 Lineヤフー株式会社 Information processing device, information processing method, and information processing program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007066202A (en) 2005-09-01 2007-03-15 Fujitsu Ltd Data analysis program
WO2015008432A1 (en) 2013-07-17 2015-01-22 日本電気株式会社 Object tracking device, object tracking method, and object tracking program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007066202A (en) 2005-09-01 2007-03-15 Fujitsu Ltd Data analysis program
WO2015008432A1 (en) 2013-07-17 2015-01-22 日本電気株式会社 Object tracking device, object tracking method, and object tracking program

Also Published As

Publication number Publication date
JPWO2022158027A1 (en) 2022-07-28
WO2022158027A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
JP6847910B2 (en) Methods and systems for automatic chromosome classification
US11544570B2 (en) Method and apparatus for large scale machine learning
CN112232413B (en) Feature selection method for high-dimensional data based on graph neural network and spectral clustering
US20240420442A1 (en) Systems and methods for utilizing neural network models to label images
JPWO2018167900A1 (en) Neural network learning apparatus, method, and program
JP2020034998A (en) Extension device, extension method, and extension program
US10510005B2 (en) Prediction function creation device, prediction function creation method, and computer-readable storage medium
JP2019197355A (en) Clustering device, clustering method, and program
JP7225874B2 (en) Model output program, model output method and model output device
KR101828151B1 (en) Cluster generating apparatus and method
JP7489731B2 (en) Clustering processing device, clustering processing method, program, and information processing device
US12050632B2 (en) Question answering apparatus and method
KR20250029197A (en) Method and device for determining and using controllable directions in GAN space
Richardson et al. Extending parallelization of the self-organizing map by combining data and network partitioned methods
JP5130523B2 (en) Information processing apparatus, information processing method, and program
WO2022162839A1 (en) Learning device, learning method, and recording medium
Mallick et al. Kohonen’s self-organizing map optimizing prediction of gene dependency for cancer mediating biomarkers
JP7659766B2 (en) Information processing device, information processing method, and program
JP7497734B2 (en) Graph search device, graph search method, and program
US20220083905A1 (en) Framework for providing improved predictive model
JP7489730B2 (en) Information processing device, information processing method, and program
JP6494005B1 (en) Information processing apparatus, information processing method, and program
JP7388566B2 (en) Data generation program, method and device
CN113988185A (en) Data processing method and related device
Ramachandran et al. Deep learning for better variant calling for cancer diagnosis and treatment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240507

R150 Certificate of patent or registration of utility model

Ref document number: 7489731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150