JP7493699B2 - Neural network calculation method and data classification system - Google Patents
Neural network calculation method and data classification system Download PDFInfo
- Publication number
- JP7493699B2 JP7493699B2 JP2023503449A JP2023503449A JP7493699B2 JP 7493699 B2 JP7493699 B2 JP 7493699B2 JP 2023503449 A JP2023503449 A JP 2023503449A JP 2023503449 A JP2023503449 A JP 2023503449A JP 7493699 B2 JP7493699 B2 JP 7493699B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- difference
- calculation
- output
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Description
本発明は、ニューラルネットワーク演算方法及びデータ分類システムに関する。The present invention relates to a neural network computing method and a data classification system.
ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の利用方法として分類問題に応用されている。例えばＡ群、Ｂ群の異なる分布データ（Ｄ０，Ｄ１，・・・，Ｄ（ｎ－１））を学習させ、特徴量パラメータを抽出し、新たな未知の入力データの属する群を判別し振り分けることができる。
それに用いる従来技術は、脳の神経細胞の情報伝達仕組みを数式モデル化したニューロン式を用いている。その構成は複数の入力を受け取り、それらの値を重み付きで足し合わせて出力する加算型ニューロン式で表される。
［数２１］
この加算型ニューロン式に活性化関数と呼ぶ非線形な関数（シグモイド関数、ＲｅＬＵ、ｔａｎｈ等が考案されている。）を作用させたものが、ニューロン伝達の基本構造式になる。
［数２２］
特徴量パラメータｗｎ、ｂはそれぞれ重み、バイアスと呼ぶ２種類の調整可能な変数であり、これらのパラメータについて少しずつ変化させることで、目標値との差分（一般的に差の２乗和がよく使われる）で設定した損失関数Ｌ（次式［数２３］をなるべくゼロに近づけて最適な学習パラメータｗｎ、ｂを特徴量として抽出できる。なお、次式［数２３］は、学習時の複数セット（バッチサイズ）Ｍ個を用いた時の損失関数の例であり、式中のｔｍは目標値、ｙｍは出力値を表す。
［数２３］
This is an application of AI (Artificial Intelligence) to classification problems. For example, it can learn different distribution data (D0, D1, ..., D(n-1)) of groups A and B, extract feature parameters, and determine the group to which new unknown input data belongs.
The conventional technology used for this purpose uses a neuron equation that mathematically models the information transmission mechanism of the brain's nerve cells. Its configuration is expressed as an additive neuron equation that receives multiple inputs, adds up the values with weights, and outputs the result.
[Equation 21]
The basic structural formula of neuronal transmission is obtained by applying a nonlinear function called an activation function (sigmoid function, ReLU, tanh, etc. have been devised) to this additive neuron formula.
[Equation 22]
The feature parameters wn and b are two types of adjustable variables called weights and biases, and by gradually changing these parameters, the loss function L (the following equation [Equation 23]) set by the difference from the target value (the sum of squares of the difference is generally used) can be brought as close to zero as possible, and optimal learning parameters wn and b can be extracted as features. Note that the following equation [Equation 23] is an example of a loss function when multiple sets (batch size) M are used during learning, and in the equation, tm represents the target value and ym represents the output value.
[Equation 23]
例えば分類問題で、Ａ群、Ｂ群の異なる分布データ（Ｄ０，Ｄ１，・・・，Ｄ（ｎ－１））の塊に対して、加算型ニューロン式でそれぞれ学習させ抽出されたｗｎ、ｂは、異なる特徴量数値が得られ、そのパラメータｗｎ、ｂを用い、未知の入力データから得られた出力を演算することで、どちらの群に属するものなのか判別できる技術である。For example, in a classification problem, for blocks of different distribution data (D0, D1, ..., D(n-1)) in groups A and B, the additive neuron formula is used to learn and extract wn and b, which are different feature quantity values. By using the parameters wn and b to calculate the output obtained from unknown input data, it is possible to determine which group the data belongs to.
特許文献１には、精度と訓練の効率とを向上できるというニューラルネ ット及びその
学習方法が開示されている。特許文献２には、誤り訂正符号の検査行列に基づいて階層型ニューラル ネットワークにおける一部のノード間に結合を行って疎結合部分を生成する
ことができるという判別器学習方法が開示されている。 Patent Document 1 discloses a neural network and its learning method that can improve accuracy and training efficiency. Patent Document 2 discloses a classifier learning method that can generate loosely coupled parts by coupling some nodes in a hierarchical neural network based on a check matrix of an error correcting code.
これには次のような欠点がある。
２種の特徴量パラメータｗｎ、ｂは、同時に少しずつ変化させ損失を最小近くに動かした非線形な演算値であり、それを用いた出力は複雑な演算結果となってしまうため判別結果の解釈が困難である。例えば、設計者が決めた損失関数の目標値が便宜上の符号（例：－１，１，１等のラベル固定値）であり、この符号に対する損失を最小になるように動かし、学習させて得られた特徴量パラメータを用いた出力の判別結果の解釈は難しく、誤判定の理由が明確でなかった。つまり説明責任が問題となってしまうため、ニューラルネットの実装への妨げになっている。 This has the following disadvantages:
The two feature parameters wn and b are nonlinear calculation values that are simultaneously changed little by little to move the loss closer to the minimum, and the output using them is a complex calculation result, making it difficult to interpret the discrimination result. For example, the target value of the loss function determined by the designer is a convenient code (e.g., fixed label values such as -1, 1, 1), and the loss for this code is moved to the minimum, and the discrimination result of the output using the feature parameters obtained by learning is difficult to interpret, and the reason for the misjudgment is not clear. In other words, accountability becomes an issue, which is an obstacle to the implementation of neural networks.
特許文献１、２はニューラルネットの高速化を目的として、活性化関数（シグモイド関数等）を使わず、並列配置した三角関数を利用、あるいはニューロン間全ての足し算し逐次演算を行わず、誤り訂正符号等の行列表を配置してニューロン間の疎結合部分を形成し間引くことで演算精度に影響無く高速化を図っているが、演算の結果及び処理プロセスを対外的に説明できるものではない。Patent Documents 1 and 2 aim to speed up neural networks by not using activation functions (such as sigmoid functions) but instead using trigonometric functions arranged in parallel, or by arranging a matrix table of an error correcting code or the like to form loosely coupled parts between neurons and thin them out, rather than performing sequential calculations by adding up all the neurons together, thereby increasing speed without affecting the accuracy of the calculations; however, the results of the calculations and the processing process cannot be explained to the public.
第１の視点によれば、Ｎ次元の入力データ要素（ｄ０，ｄ１，・・，ｄｎ，・・，ｄ（Ｎ－１））と重み付けパラメータｗｎのそれぞれのｂａｓｅべき乗値であるＤｎ及びＷｎの積とした目標値ＹＹと、次式で規定される入力データ要素ｄｎと重み付けパラメータｗｎとバイアスパラメータｂのｂａｓｅべき乗値Ｂの加算型演算出力ＢＹＡとの差分式｜ＹＹ－ＢＹＡ｜を損失関数Ｌとし、前記損失関数Ｌを最小化する演算により、前記重み付けパラメータｗｎと前記バイアスパラメータｂの値を抽出することを特徴とするニューラルネットワーク演算方法が提供される。ここで、底（ｂａｓｅ）は、１を除く正の数である。According to a first aspect, there is provided a neural network calculation method characterized in that a loss function L is a difference equation |YY-BYA| between a target value YY defined as a product of N-dimensional input data elements (d0, d1, . . . , dn, . . . , d(N-1)) and base power values Dn and Wn of a weighting parameter wn, respectively, and an additive calculation output BYA of an input data element dn, a weighting parameter wn, and a base power value B of a bias parameter b, as defined by the following equation, and values of the weighting parameter wn and the bias parameter b are extracted by a calculation that minimizes the loss function L. Here, the base is a positive number excluding 1.
第２の視点によれば、Ｎ次元の入力データ要素（ｄ０，ｄ１，・・，ｄｎ，・・，ｄ（Ｎ－１））から切り出した２次元データ（ｄ０，ｄ１）を入力とし、次式によって規定されるｂａｓｅべき乗値の差分により計算される目標値ＹＹと、次式で規定される入力要素と差分の重み付けパラメータｓとバイアスＢのパラメータの差動型演算出力ＢＹＡとの差分式｜ＹＹ－ＢＹＡ｜を損失関数Ｌとし、前記損失関数Ｌを最小化する演算により、前記重み付けパラメータｓと前記バイアスＢのパラメータ値を抽出すること、を特徴とするニューラルネットワーク演算方法が提供される。ここで、底（ｂａｓｅ）は、１を除く正の数である。According to a second aspect, there is provided a neural network calculation method characterized in that two-dimensional data (d0, d1) cut out from N-dimensional input data elements (d0, d1, . . . , dn, . . . , d(N-1)) is used as an input, a difference equation |YY-BYA| between a target value YY calculated by the difference of a base power value defined by the following equation and a differential calculation output BYA of a weighting parameter s of the difference between the input element and the input element defined by the following equation and a bias B parameter of a differential type calculation output BYA is set as a loss function L, and parameter values of the weighting parameter s and the bias B are extracted by a calculation that minimizes the loss function L. Here, the base is a positive number except 1.
本発明によれば、活性化関数を用いない加算型または差動型ニューラルネット演算を使うことで、ＡＩモデル作成プロセスを可視化し、データ間の関係や影響度合いから判別結果の解釈が可能であり、得られた知見からほかのＡＩモデルの生成も検討することができる。According to the present invention, by using additive or differential neural network calculations that do not use activation functions, the AI model creation process can be visualized, and the discrimination results can be interpreted from the relationships between data and the degree of influence. The knowledge gained can also be used to consider the creation of other AI models.
［第１の実施形態］
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図１はこの発明の第１の実施形態に係るニューラルネットワーク装置の構成を示すブロック図である。図１において、ニューラルネットワーク装置１は、判別器学習部２、重み記憶部３、学習データ記憶部４および教師データ記憶部５を備えて構成される。[First embodiment]
Next, a first embodiment of the present invention will be described in detail with reference to the drawings. Fig. 1 is a block diagram showing the configuration of a neural network device according to the first embodiment of the present invention. In Fig. 1, the neural network device 1 is configured to include a classifier learning unit 2, a weight storage unit 3, a learning data storage unit 4, and a teacher data storage unit 5.
判別器学習部２は、ニューラルネットワークを学習し、学習したニューラルネットワークを用いた判別を行う。その構成として、判別器学習部２は、重み学習部２０及び判別処理部２１を備える。The classifier learning unit 2 learns a neural network and performs discrimination using the trained neural network. As its configuration, the classifier learning unit 2 includes a weight learning unit 20 and a discrimination processing unit 21.
重み学習部２０は、損失関数が最小となるようにニューラルネットワークを学習する。すなわち、重み学習部２０は、判別処理部２１から出力された判別結果と教師データ記憶部５から読み出した教師データを入力すると、これらのデータを用いて重み学習を行い、重み記憶部３に重みとバイアスを記憶する。The weight learning unit 20 learns the neural network so as to minimize the loss function. That is, when the weight learning unit 20 receives the discrimination result output from the discrimination processing unit 21 and the teacher data read from the teacher data storage unit 5, the weight learning unit 20 performs weight learning using these data and stores the weights and biases in the weight storage unit 3.
判別処理部２１は、重み記憶部３から重みとバイアスを入力し、学習データ記憶部４から学習データを入力すると、これらを用いた判別結果を装置外部のディスプレイなどの所定の出力装置へ出力する。The discrimination processing unit 21 inputs the weights and biases from the weight storage unit 3 and the learning data from the learning data storage unit 4, and outputs the discrimination result using these to a predetermined output device such as a display outside the device.
重み記憶部３は、ニューラルネットワークにおけるノード間の重みとバイアスを記憶する記憶部である。重み記憶部３には、重みの初期化処理時にはニューラルネットワークの全てのノード間の重みとバイアスの初期値が記憶され、学習データ記憶部４から読み出した学習データを用いてニューラルネットワークを学習したノード間の重みとバイアスを記憶する。The weight storage unit 3 is a storage unit that stores weights and biases between nodes in the neural network. The weight storage unit 3 stores initial values of weights and biases between all nodes in the neural network during weight initialization processing, and stores weights and biases between nodes that have been trained using training data read from the training data storage unit 4.
学習データ記憶部４は、学習データを記憶する記憶部である。学習データとは、予め正常と異常が判別された状態情報および特徴量を示すテスト用のデータである。また、判別データＢＢは判別対象のデータである。The learning data storage unit 4 is a storage unit that stores learning data. The learning data is test data that indicates state information and feature amounts that have been previously determined to be normal or abnormal. The determination data BB is data to be determined.
なお、重み学習部２０と判別処理部２１は、例えば、この実施の形態に特有な処理が記述されたプログラムをマイクロコンピュータが実行することで、ハードウェアとソフトウェアが協働した具体的な手段として実現することができる。In addition, the weight learning unit 20 and the discrimination processing unit 21 can be realized as specific means in which hardware and software work together, for example, by a microcomputer executing a program in which processing specific to this embodiment is described.
重み記憶部３、学習データ記憶部４は、例えば、ニューラルネットワーク装置として機能するコンピュータに搭載、またはネットワーク接続されているハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）装置、ＵＳＢメモリ、記憶メディア再生装置で再生可能な記憶メディア（ＣＤ、ＤＶＤ、ＢＤ）に構築される。The weight memory unit 3 and the learning data memory unit 4 are constructed, for example, in a hard disk drive (HDD), a solid state drive (SSD) device, a USB memory, or a storage medium (CD, DVD, BD) that is mounted on a computer that functions as a neural network device or is connected to a network, and that can be played on a storage media playback device.
ここで、第１の実施形態のニューラルネットワーク装置によって構成される加算型ニューラルネットワークの構造について説明する。図２は、本発明の第１の実施形態のニューラルネットワーク装置によって構成される加算型ニューラルネットワークの構造を示す図である。図２に示すように、加算型ニューラルネットワークは入力層、隠れ層および出力層によって構成され、各層は複数のノードを有している。またこのような加算型ニューラルネットワークは、入力層と中間層とのノード間および隠れ層と出力層とのノード間に任意の重みを設定してノード間の結合状態を調整することにより様々な問題（分類問題あるいは回帰問題）を解くことができる判別器として機能する。Here, the structure of an additive neural network configured by the neural network device of the first embodiment will be described. Fig. 2 is a diagram showing the structure of an additive neural network configured by the neural network device of the first embodiment of the present invention. As shown in Fig. 2, the additive neural network is configured by an input layer, a hidden layer, and an output layer, and each layer has a plurality of nodes. Moreover, such an additive neural network functions as a discriminator that can solve various problems (classification problems or regression problems) by adjusting the connection state between the nodes by setting arbitrary weights between the nodes of the input layer and the intermediate layer and between the nodes of the hidden layer and the output layer.
図３は従来の単層ニューラルネットワークの構造を示す図である。図３に示すように、従来の単層ニューラルネットワークは、入力層を重み付けで結合した１つの演算部をも
ち、ニューラルネットワーク演算により出力を算出する。これに対し、第１の実施形態では、図２に示すように、入力層を重み付けで結合した２つの演算部を配置した隠れ層をもち、ニューラルネットワーク演算により、２つの演算値の差が最小となるパラメータを求め、出力値を算出する。 Fig. 3 is a diagram showing the structure of a conventional single-layer neural network. As shown in Fig. 3, the conventional single-layer neural network has one calculation unit in which the input layer is connected by weighting, and calculates an output by neural network calculation. In contrast, in the first embodiment, as shown in Fig. 2, a hidden layer is arranged in which two calculation units in which the input layer is connected by weighting are arranged, and a parameter that minimizes the difference between two calculation values is found by neural network calculation, and an output value is calculated.
続いて、上記した加算型ニューラルネットワークのノード間の重みを決定する方法について説明する。図４は、本発明の第１の実施形態に係るニューラルネットワーク装置による重み学習処理を示すフローチャートである。以下、図４に沿って重み学習部２０による重み学習の詳細を説明する。Next, a method for determining the weights between the nodes of the above-mentioned additive neural network will be described. Fig. 4 is a flowchart showing the weight learning process by the neural network device according to the first embodiment of the present invention. Hereinafter, the details of the weight learning by the weight learning unit 20 will be described with reference to Fig. 4.
まず、重み学習部２０は、加算型ニューラルネットワークの特徴量である重みとバイアスを初期化する（ステップＳＴ１）。具体的には、初期値に０を与える。First, the weight learning unit 20 initializes the weights and biases, which are the feature quantities of the additive neural network (step ST1). Specifically, the weights and biases are set to initial values of 0.
次に、重み学習部２０は、隠れ層の演算式ＹＹ、ＢＹＡの初期値を計算する（ステップＳＴ２）。Next, the weight learning unit 20 calculates the initial values of the arithmetic equations YY and BYA of the hidden layer (step ST2).
ここで、隠れ層の演算式ＹＹ（目標値）、ＢＹＡ（加算型演算出力）について説明する。隠れ層の演算式ＹＹ、ＢＹＡは、下記式［数１］、［数２］、［数３］で表すことができる。ただし特徴量パラメータｗｎ、ｂの底（ｂａｓｅ）のべき乗をそれぞれＷｎ、Bと
し、入力データ要素Ｄｎのｌｏｇ値をｄｎとする。
演算式ＹＹ［数１］は入力データ要素Dｎ（Ｄ０，Ｄ１，・・・，Ｄ（Ｎ－１））と特
徴量パラメータWｎ（Ｗ０、Ｗ１、・・・，Ｗ（Ｎ－１））の全ての積で表し、ＢＹＡ［
数２］は従来の加算型ニューロン式［数２１］をｂａｓｅべき乗した式に等しい。また、ＢＹＡ［数３］はＢとｗｎとｄｎの積の和をｂａｓｅべき乗した値の積に等しい。
The arithmetic expression YY [Equation 1] is expressed as the product of all the input data elements Dn (D0, D1, ..., D(N-1)) and the feature amount parameters Wn (W0, W1, ..., W(N-1)), and BYA [
Equation 2] is equal to the conventional additive neuron equation [Equation 21] raised to the base power. Also, BYA [Equation 3] is equal to the product of the sum of the products of B, wn, and dn raised to the base power.
続いて、重み学習部２０は、損失量｜ＹＹ－ＢＹＡ｜の初期値を計算する（ステップＳＴ３）。Next, weight learning section 20 calculates the initial value of the loss amount |YY-BYA| (step ST3).
次に、重み学習部２０は、バイアス（パラメータｂ）を少しプラス方向に設定量だけ更新する。（ステップＳＴ４）。Next, the weight learning unit 20 updates the bias (parameter b) slightly in the positive direction by a set amount (step ST4).
続いて、重み学習部２０は、損失量の値が小さくなるように重み（重み付けパラメータｗｎ）の修正量（適度なシフト量Δｗｎ）を算出する（ステップＳＴ５）。Next, the weight learning unit 20 calculates the correction amount (appropriate shift amount Δwn) of the weight (weighting parameter wn) so as to reduce the value of the amount of loss (step ST5).
この後、重み学習部２０は、ＳＴ５で求めた修正量で重みの値を従前の値から更新する。（ステップＳＴ６）。Thereafter, the weight learning section 20 updates the weight values from the previous values by the correction amounts obtained in ST5 (step ST6).
さらに、重み学習部２０は、ＳＴ５～ＳＴ６のステップを設定回数分のループを廻し重み量を更新する。（ステップＳＴ７）Furthermore, the weight learning unit 20 repeats steps ST5 to ST6 a set number of times to update the weights (step ST7).
この後、重み学習部２０は、重み学習の終了条件を満たしたか否かを確認する。（ステップＳＴ７）。ここで終了条件は損失量が減少から増加に転じた一つ前の最小値がよい。また、学習回数が設定回数以上となった場合でもよい。After that, the weight learning unit 20 checks whether or not the end condition for weight learning is satisfied (step ST7). The end condition here is preferably the minimum value immediately before the loss amount changes from a decrease to an increase, or may be when the number of learning times reaches a set number or more.
以上、説明したとおり、この第１の実施形態によれば、重み学習部２０によって学習された重みとバイアスの値で更新されたニューラルネットワークを用いて分類問題あるいは回帰問題を解く判別処理部２１とを備える構造を持つ。これによると重み学習部２０は損失量｜ＹＹ－ＢＹＡ｜を最小にする特徴量を抽出することで、判別処理部２１は入力データ要素順の積に相応した判別機学習結果を得ることができる。As described above, according to the first embodiment, the structure includes a discrimination processing unit 21 that solves a classification problem or a regression problem using a neural network updated with the weight and bias values learned by the weight learning unit 20. According to this, the weight learning unit 20 extracts features that minimize the amount of loss |YY-BYA|, and the discrimination processing unit 21 can obtain a discriminator learning result corresponding to the product of the input data element order.
上記した第１の実施形態では、隠れ層が１段の場合の例を挙げて説明したが、本発明は、複数段の隠れ層を持つ多層型の加算型ニューラルネットワークにも適用することができる。図５は、多層型の加算型ニューラルネットワークの構造を示す図である。ここで１段目の隠れ層のノードｎ１，ｎ２の出力を受け取る２段目の隠れ層として、２つの重みｈ０、ｈ１を紐づけた２段目の目標値ＺＺのノードをｎ３、加算型演算出力ＢＺＡのノードをｎ４とする２つのノードを挿入し拡張している。このような２段の隠れ層構造を持つニューラルネットワークを用いることで、より複雑な問題に対して判別精度を向上できる。 In the above-mentioned first embodiment, an example in which the hidden layer is one stage has been described, but the present invention can also be applied to a multi-layered additive neural network having multiple hidden layers. Fig. 5 is a diagram showing the structure of a multi-layered additive neural network. Here, as a second hidden layer that receives the output of nodes n1 and n2 of the first hidden layer, two nodes are inserted and expanded, namely, node n3 of the second-stage target value ZZ to which two weights h0 and h1 are linked, and node n4 of the additive operation output BZA. By using such a neural network with a two-stage hidden layer structure, it is possible to improve the discrimination accuracy for more complicated problems.
［第２の実施形態］
続いて、本発明の第２の実施形態について説明する。本発明の第２の実施形態のニューラルネットワーク装置は、ニューラルネットワークのノードにおける演算として加算ではなく差分を取る減算を行う差動型ニューラルネットワークを構成する点で、第１の実施形態と異なっている。ニューラルネットワーク装置自体の構成は、第１の実施形態と同様であるので、以下、その相違点を中心に説明する。Second Embodiment
Next, a second embodiment of the present invention will be described. The neural network device of the second embodiment of the present invention differs from the first embodiment in that it configures a differential neural network that performs subtraction to obtain a difference instead of addition as an operation in the nodes of the neural network. The configuration of the neural network device itself is the same as that of the first embodiment, so the following description will focus on the differences.
ここで、第２の実施形態のニューラルネットワーク装置によって構成される差動型ニューラルネットワークの構造について説明する。図６は、本発明の第２の実施形態のニューラルネットワーク装置によって構成される２入力差動型ニューラルネットワークの構造を示す図である。図６に示すように、２入力はノードｓ１で２入力データ要素の差の絶対値に変換されニューラルネットワーク演算への入力となる。このノードｓ１を重みｓ０１で結合した２つの演算部を配置した隠れ層ノードｓ２、ｓ３をもち、ニューラルネットワーク演算により、２つの演算値の差が最小となるパラメータを求め、出力値を算出する。 Here, the structure of a differential neural network configured by the neural network device of the second embodiment will be described. Fig. 6 is a diagram showing the structure of a two-input differential neural network configured by the neural network device of the second embodiment of the present invention. As shown in Fig. 6, the two inputs are converted into the absolute value of the difference between the two input data elements at node s1, and become input to the neural network operation. This node s1 has hidden layer nodes s2 and s3 in which two operation units connected by weight s01 are arranged, and the parameter that minimizes the difference between the two operation values is found by neural network operation, and the output value is calculated.
次に動作について説明する。図７は、実施の形態２における２入力差動型の重み学習処理を示すフローチャートであり、この図７に沿って重み学習部２０による重み学習の詳細を説明する。7 is a flow chart showing a two-input differential type weight learning process in the second embodiment, and the details of the weight learning performed by the weight learning unit 20 will be described with reference to FIG.
まず、重み学習部２０は、データ間差分を計算する（ステップＳＳ１）。First, the weight learning unit 20 calculates the inter-data difference (step SS1).
次に、重み学習部２０は、差動型ニューラルネットワークの特徴量である重みとバイアスを初期化する（ステップＳＳ３）。具体的には、初期値に０を与える。 Next, the weight learning unit 20 initializes the weights and biases, which are the feature quantities of the differential neural network (step SS3). Specifically, the weights and biases are set to initial values of 0.
次に、重み学習部２０は、重み学習部２０は、隠れ層の演算式ＹＹｓ、ＢＹＡｓの初期値を計算する（ステップＳＳ４）。Next, the weight learning unit 20 calculates the initial values of the arithmetic equations YYs and BYAs of the hidden layer (step SS4).
ここで、隠れ層の演算式ＹＹｓ（目標値）、ＢＹＡｓ（差動型演算出力）について説明する。隠れ層の演算式ＹＹｓ、ＢＹＡｓは下記式［数４］、［数５］で表すことができる。ただし記号ｓ０１は２入力データ要素間（Ｄ０，Ｄ１）の特徴量パラメータの重みを表し、Ｂはバイアスを表す。また入力データ要素Ｄｎ（Ｄ０，Ｄ１）のｌｏｇ値をｄｎ（ｄ０，ｄ１）とする。Here, the hidden layer arithmetic equations YYs (target value) and BYAs (differential arithmetic output) will be explained. The hidden layer arithmetic equations YYs and BYAs can be expressed by the following equations [Equation 4] and [Equation 5]. Here, the symbol s01 represents the weight of the feature amount parameter between two input data elements (D0, D1), and B represents the bias. Also, the log value of the input data element Dn (D0, D1) is dn (d0, d1).
演算式ＹＹｓ［数４］は２入力データ要素Ｄｎ（Ｄ０，Ｄ１）間の差の絶対値で表し、ＢＹＡｓ［数５］は２入力データ要素のｌｏｇ値の差の絶対値のｂａｓｅべき乗にバイアスＢを加えた値に等しい。
続いて、重み学習部２０は、損失量｜ＹＹｓ－ＢＹＡｓ｜の初期値を計算する（ステップＳＳ５）。Next, weight learning unit 20 calculates the initial value of the loss amount |YYs-BYAs| (step SS5).
次に、重み学習部２０は、バイアス（Ｂ）を少しプラス方向に設定量だけ更新する（ステップＳＳ６）。Next, the weight learning unit 20 updates the bias (B) slightly in the positive direction by a set amount (step SS6).
続いて、重み学習部２０は、損失量の値が小さくなるように重み（重み付けパラメータｓ）の修正量（適度なシフト量Δｓ）を算出する（ステップＳＳ７）。Next, the weight learning unit 20 calculates a correction amount (appropriate shift amount Δs) of the weight (weighting parameter s) so as to reduce the value of the amount of loss (step SS7).
この後、重み学習部２０は、ＳＳ７で求めた修正量で重みの値を従前の値から更新する。（ステップＳＳ８）。Thereafter, the weight learning unit 20 updates the weight values from the previous values by the correction amounts obtained in SS7 (step SS8).
さらに、重み学習部２０は、ＳＳ６～ＳＳ８のステップを設定回数分のループを廻し重み量を更新する。（ステップＳＳ９）Furthermore, the weight learning unit 20 repeats steps SS6 to SS8 a set number of times to update the weights (step SS9).
この後、重み学習部２０は、重み学習の終了条件を満たしたか否かを確認する。（ステップＳＳ１０）。ここで終了条件は損失量が減少から増加に転じた一つ前の最小値がよい。また、学習回数が設定回数以上となった場合でもよい。After this, the weight learning unit 20 checks whether the end condition for weight learning has been met (step SS10). The end condition here is preferably the minimum value immediately before the loss amount changes from a decrease to an increase, or may be when the number of learning times reaches a set number or more.
上記した第２の実施形態では、２入力の差動型ニューラルネットワークを構成する例を挙げて説明したが、本発明は、４入力の差動型ニューラルネットワークを構成することもできる。図８は、４入力の差動型ニューラルネットワークの構造を示す図である。In the above-mentioned second embodiment, an example of configuring a two-input differential neural network has been described, but the present invention can also configure a four-input differential neural network. Fig. 8 is a diagram showing the structure of a four-input differential neural network.
図８に示すように、４入力はノードｔ１～ｔ４で２入力データ要素の差の絶対値に変換され、さらに２つのノードｔ５～ｔ６で４入力データ要素の差の絶対値に変換されニューラルネットワーク演算への入力となる。次にスイッチｔｓ１により２つのノードｔ５～ｔ６のどちらかを選択し、重みｓ０１２３またはｓ１２０３で結合された２つの演算部を配置した隠れ層ノードｔ７、ｔ８へつなぐ。その後ニューラルネットワーク演算を行い、２つの演算値の差が最小となるパラメータを求め、出力値を算出する。ここで２入力の差動型との違いはスイッチｔｓ１を追加しており、この２つのノードｔ５～ｔ６のどちらか一方を選択する方法は、統計を用いて群間データ差を算出し大きい方を選んでもよい。なお、４次元データ（Ｄ０，Ｄ１，Ｄ２，Ｄ３）の差分絶対値は、（Ｄ０１，Ｄ２３，Ｄ０２，Ｄ１３，Ｄ１２，Ｄ０３）の６通りがある。これらの絶対値の差分は｜Ｄ０１－Ｄ２３｜、｜Ｄ０２－Ｄ１３｜、｜Ｄ１２－Ｄ０３｜の３通りを持ち、｜Ｄ０１－Ｄ２３｜＝｜Ｄ０１２－Ｄ１３｜が成り立つため、図８に示すとおり、実質２通りである。 As shown in FIG. 8, the four inputs are converted into absolute values of the difference between two input data elements at nodes t 1 to t 4 , and further converted into absolute values of the difference between four input data elements at two nodes t 5 to t 6 , which are input to the neural network operation. Next, one of two nodes t 5 to t 6 is selected by switch ts 1 , and connected to hidden layer nodes t 7 and t 8 in which two operation units connected by weights s0123 or s1203 are arranged. After that, neural network operation is performed, parameters that minimize the difference between the two operation values are obtained, and an output value is calculated. Here, the difference from the two-input differential type is that switch ts 1 is added, and the method of selecting one of the two nodes t 5 to t 6 may be to calculate the data difference between groups using statistics and select the larger one. The absolute difference values of four-dimensional data (D0, D1, D2, D3) are six types: (D01, D23, D02, D13, D12, D03). The differences in absolute values of these have three possibilities: |D01-D23|, |D02-D13|, and |D12-D03|. Since |D01-D23|=|D012-D13|, there are essentially two possibilities, as shown in FIG.
図９は、４入力の差動型ニューラルネットワークの重み学習処理を示すフローチャートである。図７に示した２入力の差動型ニューラルネットワークの重み学習処理との相違点では、ステップＳＳ２において、演算に用いる差分値を２つの差分値からどちらか一方に選択する処理が追加されている点である。以降の処理は、２入力の差動型ニューラルネットワークの重み学習処理と同様であるので、説明を省略する。Fig. 9 is a flow chart showing the weight learning process of a four-input differential neural network. The difference from the weight learning process of the two-input differential neural network shown in Fig. 7 is that a process of selecting one of two difference values to be used in the calculation is added in step SS2. The subsequent processes are similar to the weight learning process of the two-input differential neural network, so the explanation will be omitted.
以上、説明したとおり、第２の実施形態によれば、第１の実施形態重みと同じく学習部２０によって学習された重みとバイアスの値で更新されたニューラルネットワークを用いて分類問題あるいは回帰問題を解く判別処理部２１とを備える構造を持つ。これによると重み学習部２０は損失量｜ＹＹｓ－ＢＹＡｓ｜を最小にする特徴量を抽出することで、判別処理部２１は入力データ要素間の差に相応した判別機学習結果を得ることができる。As described above, according to the second embodiment, a structure is provided with a discrimination processing unit 21 that solves a classification problem or a regression problem using a neural network updated with weights and bias values learned by the learning unit 20, similar to the weights in the first embodiment. According to this, the weight learning unit 20 extracts features that minimize the amount of loss |YYs-BYAs|, and the discrimination processing unit 21 can obtain a discriminator learning result corresponding to the difference between input data elements.
４入力の差動型入力は、２入力の差動型入力に対して２つのノードのどちらかを選択するスイッチを設けている点が異なる。このスイッチの効果は多数入力の差動演算が可能となる点にある。例えば１６入力の場合、４入力毎の４つのブロックに分けた差動型入力ネットワークを構成し、４入力毎の差動演算を行うと４つのブロックの４出力を得ることができる。その４出力を受ける新たな４入力の隠れ層を追加することで、多数の入力に対応したニューラルネットワークを実現できる。
［第３の実施形態］ A four-input differential input differs from a two-input differential input in that it has a switch that selects one of two nodes. The effect of this switch is that it enables differential calculation of multiple inputs. For example, in the case of 16 inputs, a differential input network is configured that is divided into four blocks of four inputs each, and by performing differential calculation for each of the four inputs, four outputs of the four blocks can be obtained. By adding a new four-input hidden layer that receives the four outputs, a neural network that can handle multiple inputs can be realized.
[Third embodiment]
続いて、上記したニューラルネットワーク演算方法を用いて構成されたニューラルネットワークを用いて判別を行う本発明の第３の実施形態について説明する。Next, a third embodiment of the present invention will be described, in which discrimination is performed using a neural network configured using the above-mentioned neural network calculation method.
本発明の第３の実施形態について図面を参照して詳細に説明する。図１０はこの発明の第３の実施形態に係るニューラルネットワーク装置の構成を示すブロック図である。図１０において、ニューラルネットワーク装置３０は、重み記憶部３、判別値演算部５、判定ポイント処理部６、分類処理部７、判別結果記憶部８、および出力処理部９を備えて構成される。以下、判別値演算部５以降について、その詳細を説明する。A third embodiment of the present invention will be described in detail with reference to the drawings. Fig. 10 is a block diagram showing the configuration of a neural network device according to the third embodiment of the present invention. In Fig. 10, a neural network device 30 comprises a weight storage unit 3, a discrimination value calculation unit 5, a decision point processing unit 6, a classification processing unit 7, a discrimination result storage unit 8, and an output processing unit 9. The discrimination value calculation unit 5 and subsequent units will be described in detail below.
重み記憶部３は、ニューラルネットワークにおけるノード間の重みとバイアスを記憶する記憶部である。本実施形態では、事前に、上記した第１、第２の実施形態のニューラルネットワーク演算方法を用いて、加算型ニューラルネットワークと差動型ニューラルネットワークが構成されているものとして説明する。The weight storage unit 3 is a storage unit that stores weights and biases between nodes in the neural network. In this embodiment, it is assumed that an additive neural network and a differential neural network are configured in advance using the neural network calculation methods of the first and second embodiments.
判別値演算部５は、各群分類毎に抽出されて重み記憶部３に保存された特徴量パラメータを用いて、個別に群毎の判別値計算する。例えば学習データの出力は３群の分類とすると、特徴量パラメータは３種類あり、個別では３つの群毎の学習演算結果（値）を持つ。さらに、複数の演算方式を用いて、例えば加算型１方式、差動型１方式の２方式の特徴量を持つとすると、個別では２方式に各３つの群毎の判別値を持つ。The discriminant value calculation unit 5 calculates a discriminant value for each group individually using the feature parameters extracted for each group classification and stored in the weight storage unit 3. For example, if the output of the learning data is classified into three groups, there are three types of feature parameters, and each has learning calculation results (values) for each of the three groups. Furthermore, if multiple calculation methods are used to have two types of feature amounts, for example, one additive type and one differential type, each of the two methods has three discriminant values for each group individually.
判定ポイント処理部６は、ポイント変換部３１とポイント合算部３２で構成される。判別値演算部５の複数の演算方式による学習演算結果（値）をポイント変換部３１で個別のポイントに変換し、次にポイント合算部３２で複数の演算方式によるポイントを群毎に個別に合算する。The judgment point processing unit 6 is composed of a point conversion unit 31 and a point summing unit 32. The learning calculation results (values) by the multiple calculation methods of the discrimination value calculation unit 5 are converted into individual points by the point conversion unit 31, and then the points by the multiple calculation methods are individually summed for each group by the point summing unit 32.
ポイント変換部３１は、判別器学習部２の複数の演算方式により得られた判定値をポイントに変換する。ポイントへの変換方法は統計手法を用い、例えば分散あるいは標準偏差σ、２σ、３σによる中心値からの距離が近いと得点が高くなるような重み付けとしてもよい。The point conversion unit 31 converts the judgment values obtained by the multiple calculation methods of the discriminator learning unit 2 into points. A statistical method is used as the method for converting into points, and for example, weighting may be used so that the closer the distance from the center value is based on variance or standard deviation σ, 2σ, or 3σ, the higher the score.
ポイント合算部３２は、ポイント変換部３１で得られた複数の演算方式のポイントを加算集計する。また、図１２の例に示すように、演算方式１と演算方式２のポイントに重み付け係数ａ，ｂ（ａ＋ｂ＝１）を設けて、判別率が最大となる係数を設定してもよい。群分類の判断基準として群分類の判断基準はそのポイントの合算値の一番大きい群とする。The point summing unit 32 adds up the points of the multiple calculation methods obtained by the point converting unit 31. As shown in the example of Fig. 12, weighting coefficients a and b (a+b=1) may be set for the points of calculation method 1 and calculation method 2 to set a coefficient that maximizes the discrimination rate. The criterion for group classification is the group with the largest sum of the points.
分類処理部７は、ポイント合算部３２で得られた個別の合算値を所定の判断基準を用いて属する群を期待値として出力する。ここで、期待値とは、判別データがある群に属する確率を所定の計算式で計算したものである。The classification processing unit 7 outputs the group to which the individual sums obtained by the point summation unit 32 belong as an expected value using a predetermined judgment criterion. Here, the expected value is the probability that the discrimination data belongs to a certain group calculated using a predetermined formula.
判別結果記憶部８は、ポイント変換部３１のポイント変換値と、ポイント合算部３２のポイント合算値及び分類処理部７の期待値を記憶する。The discrimination result storage unit 8 stores the point converted value of the point conversion unit 31 , the point sum of the point summation unit 32 , and the expected value of the classification processing unit 7 .
出力処理部９は、期待値判別結果を装置外部のディスプレイなどの所定の出力装置へ出力する。The output processing unit 9 outputs the expected value discrimination result to a predetermined output device such as a display outside the device.
次に動作について説明する。図１１は、実施の形態３における複数演算出力の判別処理を示すフローチャートであり、この図１１に沿って判別システムの動作を説明する。11 is a flow chart showing the discrimination process of a plurality of calculation outputs in the third embodiment, and the operation of the discrimination system will be described with reference to this FIG.
まず、判別値演算部５は、重み記憶部３に保存された複数のニューラルネットワーク演算方法、群毎の特徴量パラメータを取り出す（ステップＳＵ１）。First, the discriminant value calculation unit 5 extracts feature parameters for each group of a plurality of neural network calculation methods stored in the weight storage unit 3 (step SU1).
次に、判別値演算部５は、重み記憶部３から取り出した特徴量パラメータを用いて、個別に判別値を計算する（ステップＳＵ２）。Next, the discriminant value calculation unit 5 calculates a discriminant value individually using the feature amount parameters extracted from the weight storage unit 3 (step SU2).
次に、判定ポイント処理部６は、判別値演算部５で計算された、個別の判別値をポイント変換部３１にてポイントに変換する（ステップＳＵ３）。Next, the decision point processing unit 6 converts the individual decision values calculated by the decision value calculation unit 5 into points in the point conversion unit 31 (step SU3).
次に、判定ポイント処理部６は、ポイント変換部３１で得られたポイントを、ポイント合算部３２にて、群毎に個別に合算する（ステップＳＵ４）。Next, the decision point processing unit 6 causes the point summing unit 32 to sum up the points obtained by the point conversion unit 31 individually for each group (step SU4).
次に、分類処理部７はポイント合算部３２で得られた個別の合算値を所定の判断基準を用いて属する群に分類する（ステップＳＵ５）。Next, the classification processing unit 7 classifies the individual sums obtained by the point summation unit 32 into groups to which they belong using a predetermined criterion (step SU5).
次に、出力処理部９は群分類結果を出力装置へ出力する。（ステップＳＵ６）。Next, the output processing unit 9 outputs the group classification results to an output device (step SU6).
以上、説明したとおり、第３の実施形態によれば、複数のニューラルネットワーク演算結果を統合し一つの解にできる。例えば、第１の実施形態及び第２の実施形態を併用した場合、異なる加算型及び差動型の演算方式の特徴を活かした判別器学習結果を得ることができる。As described above, according to the third embodiment, a plurality of neural network calculation results can be integrated into one solution. For example, when the first and second embodiments are used in combination, a classifier learning result can be obtained that makes use of the characteristics of different additive and differential calculation methods.
第１の実施例として、判別対象物Ｉｒｉｓ（あやめ）の花分類に、第１の実施形態で説明した加算型演算を適用して群分類の学習を実施した例を示す。本実施例では、Ｉｒｉｓ（あやめ）の花分類に、第１の実施形態で説明した加算型演算を適用して群分類の学習を行う。As a first example, an example is shown in which learning of group classification is performed by applying the additive operation described in the first embodiment to the flower classification of the discrimination object Iris (iris). In this example, learning of group classification is performed by applying the additive operation described in the first embodiment to the flower classification of Iris (iris).
図１３及び図１４は、本発明の実施例１で用いるＩｒｉｓデータの例を示す表である。Ｉｒｉｓデータとして、３種類のあやめ（ｓｅｔｏｓａ，ｖｅｒｓｉｃｏｌｏｒ，ｖｉｒｇｉｎｉｃａ）について、がく辺長と幅、花びら（花弁）長と幅を対応付けた４次元のデータを各５０個用意した。13 and 14 are tables showing examples of iris data used in Example 1 of the present invention. As the iris data, 50 pieces of four-dimensional data were prepared for each of three types of iris (setosa, versicolor, and virginica), in which the calyx side length and width and the petal length and width correspond to each other.
上記Ｉｒｉｓデータの基本セットは機械学習の基本としてよく引用されており、非特許文献１に記載されている。The Iris data base set is often cited as the basis for machine learning and is described in "Iris Data Base Sets for Machine Learning" by Iris et al., "Machine Learning: A Practical Guide to Machine Learning," in Proceedings of the 10th Annual Meeting of the National Academy of Sciences, New York, 1999.
図１３及び図１４のＩｒｉｓデータのがく辺長－がく辺幅、がく辺長－花びら長の相関グラフを図１５に示した。種類間のデータ比較から、ｓｅｔｏｓａは他の２種類からデータ間距離が離れているため、難なく区別できるが、ｖｅｒｓｉｃｏｌｏｒとｖｉｒｇｉｎｉｃａのデータ間距離は近く、分別は難しいデータ構成である。The correlation graphs of the calyx side length-calyx side width and the calyx side length-petal length for the Iris data in Figures 13 and 14 are shown in Figure 15. Comparing the data between the species, setosa is easily distinguished from the other two species because the data distance is far, but the data distance between versicolor and virginica is close, making the data structure difficult to distinguish.
データの表記方法は、Ｉｒｉｓデータの次元数Ｎ＝４，バッチサイズＭ＝５０のそれぞれの構成要素順をｎ，ｍとする。入力データをDｎｍ＝（Ｄ０ｍ，Ｄ１ｍ，Ｄ２ｍ，Ｄ３
ｍ）のLｏｇ値入力をｄｎｍ＝（ｄ０ｍ，ｄ１ｍ，ｄ２ｍ，ｄ３ｍ）とし、重み特徴量を
（ｗ０、ｗ１、ｗ２、ｗ３）及びバイアス特徴量をｂと表記する。 The data is expressed as follows: the number of dimensions of the Iris data is N = 4, the batch size is M = 50, and the order of each component is n, m. The input data is Dnm = (D0m, D1m, D2m, D3
The Log value input of the feature vector m is denoted as dnm = (d0m, d1m, d2m, d3m), the weight feature vector is denoted as (w0, w1, w2, w3), and the bias feature vector is denoted as b.
学習用データは、バッチサイズＭ＝５０の前半４０個を学習用データとし、後半１０個を、うまく学習できたかどうかを確かめるテスト用データに用いた。従って学習用データのバッチサイズはＭ＝４０である。The first 40 pieces of the learning data were used as learning data of the batch size M=50, and the last 10 pieces were used as test data to check whether learning was successful. Therefore, the batch size of the learning data was M=40.
図１６に、本実施例で用いる加算型ニューラルネットワークの構造を示す。この加算型ニューラルネットワークの構造は、図５に示した本発明の第１の実施形態のニューラルネットワーク装置によって構成される多層型の加算型ニューラルネットワークの構造に相当する。The structure of the additive neural network used in this embodiment is shown in Fig. 16. This additive neural network structure corresponds to the multi-layer additive neural network structure formed by the neural network device according to the first embodiment of the present invention shown in Fig. 5.
図１６の入力ｄｎｍは、入力データDｎｍのＬｏｇ値を用いると、隠れ層１の出力演算
式ＹＹｍ、ＢＹＡｍはＹＹ［数１］及びＢＹＡ［数２］から、底（ｂａｓｅ）を理解の便として、１０としたべき乗式は、次のように表すことができる。ここで、底（ｂａｓｅ）は１を除く正の数を扱うことができる。例えば０．９のような任意の小数でもよい。
次に、この２出力ＹＹｍとＢＹＡｍの差の損失量［数８］が最小となる特徴量ｗｎ、ｂを学習する。
次に、抽出した特徴量ｗｎ、ｂを用いて計算されたＹＹｍとＢＹＡｍを中間層２の入力とすると、隠れ層２の出力演算式ＺＺｍ、ＢＺＡｍはそれぞれ、［数９］及び［数１０］に表すことができる。次に、同様に２出力ＺＺｍとＢＺＡｍの差の損失量［数１１］が最小となる隠れ層２の特徴量ｈ０、ｈ１、ｂｈを学習する。
上記手順を踏み、Ｉｒｉｓデータの３種類について学習を行い、３種類の特徴量ｗ０、ｗ１、ｗ２、ｗ３、ｂ、ｈ０、ｈ１、ｂｈを学習し抽出することができる。次に、この学習済の特徴量を用いて出力値Ｚ－Ａｃｔｍを計算する。この出力値Ｚ－Ａｃｔｍを計算するための計算式を［数１２］に示す。［数１２］の出力式は、隠れ層２の出力式ＢＺＡｍ［数１０］と同じ式を用いることができる。
ここで、特徴量の抽出のための初期設定について述べる。図４のフローチャートに示す重み学習を進めるにあたり、ループを行うバイアス更新回数、重み更新回数、及び、重み及びバイアス更新量を適度な値に初期設定する。本実施例では、隠れ層１のバイアス更新回数を最大２００回、重み更新回数を１０回に設定した。バイアスの更新量はＹＹ［数１］及びＹＹm［数６］より、重みWｎ＝１（ｗｎ＝０）のときはデータ積の項のみに単純化できることから、例えばデータ積の平均値を２００で割った値を、２００回刻みの分割量として初期設定にできる。さらに損失量が最小値を超えて、増加に転じてからはバイアスの更新を続ける必要は無いため、バイアスの刻みは損失量が最小となる更新回数が、ちょうど２００回となるようにオートチューニングを行うプログラムとした。重み更新量（Δｗｎ）は、損失量の０．１％を設定値とした。目的に応じ、更新回数の増減及び、更新量を細かくしたり、または荒く設定値を可変してもよい。また、隠れ層２のバイアス更新回数は２００回に固定、重み更新回数は２０回を設定値とした。Here, the initial setting for extracting the feature quantity will be described. In proceeding with the weight learning shown in the flowchart of FIG. 4, the bias update count, weight update count, and weight and bias update amount for performing the loop are initially set to appropriate values. In this embodiment, the bias update count of the hidden layer 1 was set to a maximum of 200 times, and the weight update count was set to 10 times. From YY [Equation 1] and YYm [Equation 6], when the weight Wn = 1 (wn = 0), the bias update amount can be simplified to only the data product term, so for example, the value obtained by dividing the average value of the data product by 200 can be initially set as a division amount in increments of 200 times. Furthermore, since it is not necessary to continue updating the bias after the loss amount exceeds the minimum value and starts to increase, the bias increment is set to a program that performs auto-tuning so that the number of updates at which the loss amount is minimized is exactly 200 times. The weight update amount (Δwn) was set to 0.1% of the loss amount. Depending on the purpose, the number of updates and the update amount may be increased or decreased finely or roughly. In addition, the number of bias updates for hidden layer 2 was fixed at 200, and the number of weight updates was set to 20.
次に、学習途中の「見える化」について述べる。以下のような表示を行うことにより、特徴量の抽出のための初期設定値が適切であるか、または学習が順調に進んでいるかを途中観察できるようにした。図１７は花の種類ｓｅｔｏｓａの学習個数４０個（m＝０～m＝３９）を学習させたときのグラフを４つ表示している。Next, we will explain how to visualize the learning process. By displaying the following, it is possible to observe whether the initial settings for feature extraction are appropriate and whether the learning is proceeding smoothly. Figure 17 shows four graphs of the learning of 40 flower species (m = 0 to m = 39) of the flower type setosa.
左上のグラフは、バイアス更新回数を横軸に、演算出力ＢＹＡ［数７］を縦軸にしたグラフである。このグラフから学習回数が進むにつれＢＹＡのばらつき変化の度合いを観測できる。The graph on the top left shows the number of bias updates on the horizontal axis and the calculation output BYA [Equation 7] on the vertical axis. From this graph, the degree of variation change in BYA as the number of learning times increases can be observed.
次に右上のグラフは、バイアス更新回数を横軸に、隠れ層１層目の損失｜ＹＹ－ＢＹＡ｜＿Ｌｏｓｓ［数８］、ＢＹＡ／ＹＹ、隠れ層２層目の損失Ｚ－Ａｃｔ＿Ｌｏｓｓ［数１１］を縦軸にしたグラフである。隠れ層１層目の損失はサイクル回数２００で最小値を取り、隠れ層２層目の損失はサイクル回数４９で最小値を取っている。このグラフから、損失の最小値を探す学習が順調に設定サイクル数内で進行できたことを確認できる。Next, the graph on the upper right shows the number of bias updates on the horizontal axis and the first hidden layer loss |YY-BYA|_Loss [Equation 8], BYA/YY, and the second hidden layer loss Z-Act_Loss [Equation 11] on the vertical axis. The first hidden layer loss is at its minimum at 200 cycles, and the second hidden layer loss is at its minimum at 49 cycles. From this graph, it can be confirmed that the learning to find the minimum loss value proceeded smoothly within the set number of cycles.
次に左下のグラフは、バイアス更新回数を横軸に、特徴量バイアスｂ及び重みｗ０、ｗ１、ｗ２、ｗ３を縦軸にしたグラフである。このグラフから、バイアスのサイクル最大設定回数２００まで順調に進み、この例ではｗ３がプラス方向にシフト、ｗ０、ｗ１、ｗ２はそれぞれ異なったシフト量でマイナスに動いたことが判る。Next, the graph on the bottom left shows the number of bias updates on the horizontal axis and the feature bias b and weights w0, w1, w2, and w3 on the vertical axis. From this graph, it can be seen that the bias cycle progressed smoothly up to the maximum set number of 200, and in this example, w3 shifted in the positive direction, while w0, w1, and w2 moved in the negative direction with different shift amounts.
次に右下のグラフは、目標値ＹＹを横軸に、演算出力ＢＹＡ及び隠れ層２層目の出力Ｚ－Ａｃｔのプロット図である。このグラフから、隠れ層２層目の出力Ｚ－Ａｃｔは隠れ層１層目の出力ＢＹＡよりばらつきが減り線形性が向上していることが判る。Next, the graph on the bottom right is a plot of the calculation output BYA and the output Z-Act of the second hidden layer with the target value YY on the horizontal axis. From this graph, it can be seen that the output Z-Act of the second hidden layer has less variance and improved linearity than the output BYA of the first hidden layer.
同様に、ｖｅｒｓｉｃｏｌｏｒ，ｖｉｒｇｉｎｉｃａの出力を図１８、図１９に示した。花種別にグラフの傾向が異なり、それぞれ３種の特徴量ｂ、ｗ０、ｗ１、ｗ２、ｗ３及びｈ０、ｈ１、ｂｈを抽出できた。Similarly, the output for versicolor and virginica are shown in Figures 18 and 19. The graph trends differ depending on the flower type, and three types of feature amounts b, w0, w1, w2, and w3, and h0, h1, and bh could be extracted.
以上のように、本実施例では、学習途中のパラメータ変化、更新量をモニターできるようにした。図１７～図１９のグラフからも明らかなとおり、これらのグラフにより、入力データの誤り、あるいは判別に適しないデータ形式や初期設定値のチェック、あるいは想定外のエラー等の原因を特定し対応することが容易となっている。As described above, in this embodiment, it is possible to monitor parameter changes and update amounts during learning. As is clear from the graphs in Figures 17 to 19, these graphs make it easy to identify and respond to causes such as input data errors, data formats that are not suitable for discrimination, initial setting values, and unexpected errors.
次に出力結果について説明する。図２０に、上記に説明したｓｅｔｏｓａの学習結果から抽出した特徴量ｂ、ｗ０、ｗ１、ｗ２、ｗ３及びｈ０、ｈ１、ｂｈを使い、Ｉｒｉｓ３種の個別の花毎の出力値Ｚ－Ａｃｔｍ［数１２］を示した。図２０からも明らかなとおり、出力値Ｚ－Ａｃｔｍに対し、適切な判定リミット（閾値）を設定することで花の種類の判別ができる。この判定リミット（閾値）は、統計的手法を用いて判別正解率が最も高くなるリミットを自動算出して設定することができる。Next, the output results will be described. FIG. 20 shows the output values Z-Actm [Equation 12] for each individual flower of the three types of Iris, using the feature amounts b, w0, w1, w2, w3 and h0, h1, bh extracted from the learning results of setosa described above. As is clear from FIG. 20, the type of flower can be determined by setting an appropriate determination limit (threshold) for the output value Z-Actm. This determination limit (threshold) can be set by automatically calculating the limit that maximizes the accuracy rate of determination using a statistical method.
また、図２０のグラフからｓｅｔｏｓａはリミット判定（閾値）で１００％判別可能なことが判る。同様にｖｅｒｓｉｃｏｌｏｒ、ｖｉｒｇｉｎｉｃａのグラフを図２１、図２２に示した。ｖｅｒｓｉｃｏｌｏｒ、ｖｉｒｇｉｎｉｃａにおいては、リミット判定（閾値）で誤判定の花が有ることが判る。Also, from the graph in Fig. 20, it can be seen that setosa can be 100% distinguished by limit judgment (threshold value). Similarly, the graphs for versicolor and virginica are shown in Fig. 21 and Fig. 22. It can be seen that there are flowers that are erroneously judged by the limit judgment (threshold value) for versicolor and virginica.
学習した３種の特徴量纏め表を図２３に整理した。図２３の３種の特徴量と、統計的手法を用いて設定した判定リミット（閾値）を用いると、新たな未知の種の入力データに対し出力値を計算し、リミット判定（閾値判定）を行うことで、花の種類を区別することができる。The learned three types of feature values are summarized in a table in Figure 23. By using the three types of feature values in Figure 23 and the judgment limits (thresholds) set using a statistical method, it is possible to distinguish the types of flowers by calculating the output value for the input data of a new unknown species and performing limit judgment (threshold judgment).
但し、上記のリミット判定方法によれば、同じ個体で３種の特徴量を用い３種のリミット判定を行った結果が異なるので注意する必要がある。例えば、同じ個体にｖｅｒｓｉｃｏｌｏｒの特徴量を用いて計算された出力値はｖｅｒｓｉｃｏｌｏｒと判定され、ｖｉｒｇｉｎｉｃａの特徴量を用いた出力値はｖｉｒｇｉｎｉｃａに判定されてしまい、判別結果が２つに割れてしまうような場合は、１つの種に判別できないため、統合的に解決する必要がある。この解決策として、以下、３種の学習データを用いた出力統計分布の標準偏差σを利用し、分別の対象とする個体のデータを、より中心値に近いほうの種類へ統一して判別する方法を説明する。However, according to the above limit judgment method, it is necessary to note that the results of the three limit judgments performed using three types of feature amounts on the same individual are different. For example, if the output value calculated using the versicolor feature amount for the same individual is judged as versicolor, and the output value using the virginica feature amount is judged as virginica, and the discrimination result is split into two, it is necessary to solve the problem in an integrated manner because it is not possible to discriminate into one species. As a solution to this problem, a method will be described below in which the standard deviation σ of the output statistical distribution using three types of learning data is used to unify the data of the individual to be classified into the species closer to the center value.
３種の特徴量を用いた出力値から、属する種を統一して判別する方法について説明する。図２４に判定リミット（閾値）と、群毎の出力平均値、σ、１．５σ、２σ、３σの値を纏めた。図２４のＵ．Ｌ．及びＬ．Ｌ．は、それぞれ上側閾値、した側閾値を示す。また、図２４に判定リミット（閾値）及びσに対応する加算ポイントを設定した項目を追加した。この判定加算ポイントの和を３種の群毎に個別に合算してポイントの最大となる群を属する群と定義することで、出力を一つに統一して判別することができる。また、同じ個体で合算ポイントが例えばｖｅｒｓｉｃｏｌｏｒ、ｖｉｒｇｉｎｉｃａで同じであれば、ｖｅｒｓｉｃｏｌｏｒ、ｖｉｒｇｉｎｉｃａの区別ができないと判定される。ここで、判定加算ポイントは目的あるいは判別成績に応じ、変更してもよい。また、目的に応じて判別精度が十分であれば、判定加算ポイントを使わず、先の群毎の出力値Ｚ－Ａｃｔｍから求めた判定リミット（閾値）で判別してもよい。A method of unifying and discriminating the species from the output value using three types of feature amounts will be described. FIG. 24 summarizes the judgment limit (threshold value) and the output average value for each group, σ, 1.5σ, 2σ, and 3σ. U.L. and L.L. in FIG. 24 indicate the upper threshold and the lower threshold, respectively. Also, an item in which the judgment limit (threshold value) and the added point corresponding to σ are set is added to FIG. 24. The sum of the judgment added points is individually added for each of the three groups, and the group with the maximum point is defined as the group to which the species belongs, so that the output can be unified and discriminated. Also, if the sum points are the same for the same individual, for example, versicolor and virginica, it is determined that versicolor and virginica cannot be distinguished. Here, the judgment added point may be changed according to the purpose or discrimination results. Also, if the discrimination accuracy is sufficient according to the purpose, the judgment added point may not be used, and discrimination may be performed using the judgment limit (threshold value) obtained from the output value Z-Actm for each group.
３種の１５０個の花の分類を加算ポイントを用いて判別した結果を図２５～図３０の表にした。総合判別精度は１４１個／１５０個の正解率９４％であり、３種の後半１０個づつのテスト用データの正解率は１００％の結果を得られた。誤判定９個はｖｅｒｓｉｃｏｌｏｒをｖｉｒｇｉｎｉｃａへ誤判定４個、ｖｉｒｇｉｎｉｃａをｖｅｒｓｉｎｉｃａへの誤判定が５個であった。The results of classifying 150 flowers of three types using the added points are shown in the tables of Figures 25 to 30. The overall classification accuracy was 94% for 141 flowers/150 flowers, and the accuracy rate for the test data of the latter 10 flowers of each type was 100%. Of the nine misclassifications, four were misclassifications of versicolor as virginica, and five were misclassifications of virginica as versinica.
次に、誤判定について説明する。本事例は目標値にデータの積を用いたニューラルネットワーク加算型演算の出力であり、その出力は入力データ要素順の積に相応した判別機学習結果を表すため、誤判定９個はデータの大きさ（サイズ）に起因している。例えば、図２５の表にあるｖｅｒｓｉｃｏｌｏｒの誤判定Ｎｏ．５７、７１、７８，８６、及びｖｉｒｇｉｎｉｃａの誤判定Ｎｏ．１０９、１２０、１３０、１３４，１３５のデータをグラフ表示（レーダーチャート）で比較した図を図３１に示す。ｖｅｒｓｉｃｏｌｏｒの誤判定４個はデータＤ０３（花びら幅）が平均より特に大きく、全体的にも大きめな特徴があり誤判定されている。ｖｉｒｇｉｎｉｃａの誤判定５個はデータＤ０３（花びら幅）が平均より特に小さいことが判る。Next, the misjudgment will be described. This example is the output of a neural network addition type operation using the product of data as the target value, and the output represents the discriminator learning result corresponding to the product of the input data element order, so the nine misjudgments are due to the size of the data. For example, FIG. 31 shows a graph (radar chart) comparing the data of versicolor misjudgments No. 57, 71, 78, and 86 and virginica misjudgments No. 109, 120, 130, 134, and 135 in the table of FIG. 25. The four versicolor misjudgments have data D03 (petal width) that is particularly larger than the average, and is generally larger than the average, which is why they are misjudged. It can be seen that the five virginica misjudgments have data D03 (petal width) that is particularly smaller than the average.
以上、［実施例１］として、Ｉｒｉｓ（あやめ）の花分類の目標値にデータ積を用いた加算型演算の分類を行い、入力データ要素順のデータの大きさで判別する方法を説明した。但しＩｒｉｓ（あやめ）の花分類の目標値を大きさで分類するのが最適とは限らない。大きさ（サイズ）による分類以外に比率（バランス）、あるいは部位の差や差分比を用いた比較も有効である。また、これらを組み合わせることで判別精度を向上させることができる。比率（バランス）の比較は、加算型演算の個体のデータ入力値を比率に変えることに等しい。第２の実施形態で説明した差動型演算のニューラルネットワークを用いて差や差分比の比較を行った例を［実施例２］として説明する。As described above, in [Example 1], a method of classification of an additive operation using a data product as a target value of the Iris flower classification, and discrimination based on the size of the data in the order of input data elements has been described. However, it is not necessarily optimal to classify the target value of the Iris flower classification by size. In addition to classification by size, comparison using ratios (balance), or differences or difference ratios of parts is also effective. Furthermore, by combining these, discrimination accuracy can be improved. Comparison of ratios (balance) is equivalent to changing the data input value of an individual of the additive operation into a ratio. An example of comparison of differences or difference ratios using a neural network of differential operation described in the second embodiment will be described as [Example 2].
「第２の実施形態」の実施例は、Ｉｒｉｓ（あやめ）の花分類に差動型演算を適用して群分類の学習を実施する例を示す。The example of the "second embodiment" shows an example in which differential calculation is applied to Iris flower classification to perform group classification learning.
図３２に、本実施例で用いる差動型ニューラルネットワークの構造を示す。本差動型ニューラルネットワークの構造は、図８に示した本発明の第２の実施形態のニューラルネットワーク装置によって構成される４入力の差動型ニューラルネットワークの構造に相当する。The structure of the differential neural network used in this embodiment is shown in Fig. 32. The structure of this differential neural network corresponds to the structure of the four-input differential neural network configured by the neural network device according to the second embodiment of the present invention shown in Fig. 8.
図３２の構造図は、図９のフローチャートに示すステップＳＳ１、ＳＳ２の手順に従い、図８の構造図からノードｔ６に繋がるスイッチｔｓ１の１側を選択し、０側を削除した構成図である。スイッチｔｓ１の選択方法は図３３に示すように、統計を用いノードｔ５とノードｔ６の群間変動係数及び群間平均値差異を比較し差の大きいノードｔ６を選択した。The structural diagram in Fig. 32 is a configuration diagram in which the 1 side of switch ts1 connected to node t6 from the structural diagram in Fig. 8 is selected and the 0 side is deleted, following the procedure of steps SS1 and SS2 shown in the flow chart in Fig. 9. The method of selecting switch ts1 is as shown in Fig. 33, in which statistics are used to compare the intergroup coefficient of variation and intergroup mean difference between nodes t5 and t6, and node t6 with the largest difference is selected.
データの表記方法は、Ｉｒｉｓデータの次元数Ｎ＝４，バッチサイズＭ＝５０のそれぞれの構成要素順をｎ，ｍとする。入力データをDｎｍ＝（Ｄ０ｍ，Ｄ１ｍ，Ｄ２ｍ，Ｄ３
ｍ）のLｏｇ値入力をｄｎｍ＝（ｄ０ｍ，ｄ１ｍ，ｄ２ｍ，ｄ３ｍ）とし、その差分は、
例えばＤ０とＤ１の差の絶対値である｜Ｄ０m－Ｄ１m｜をＤ０１mと表記し、Ｌｏｇ値ｄ
０１ｍは｜ｄ０ｍ－ｄ１ｍ｜と表記する。 The data is expressed as follows: the number of dimensions of the Iris data is N = 4, the batch size is M = 50, and the order of each component is n, m. The input data is Dnm = (D0m, D1m, D2m, D3
m) is expressed as dnm = (d0m, d1m, d2m, d3m), and the difference is
For example, the absolute value of the difference between D0 and D1, |D0m-D1m|, is expressed as D01m, and the Log value d
01m is written as |d0m-d1m|.
４次元の隠れ層の演算式ＹＹｓｍ、ＢＹＡｓｍは２次元式［数４］、［数５］と同様に、重みｓ１２０３、バイアスBの２つの特徴量を用いて、底（ｂａｓｅ）を１０としたべ
き乗式は、下記式［数１３］、［数１４］に表すことができる。（特許請求の範囲の［数６］、［数７］に対応する）。なお、特許請求の範囲の［数６］、［数７］では、構成要素の順を表す添え字ｍを省略している。
ここで、図９のフローチャートに示す重み学習を進めるにあたり、ステップＳＳ３以降の特徴量の抽出のための初期設定について述べる。ループを行うバイアス更新回数、重み更新回数、及び、重み及びバイアス更新量を適度な値に初期設定する。本実施例では、バイアス更新回数を最大２００回、重み更新回数を２０回に設定した。バイアスの更新量は、ＹＹｓｍ［数１３］の平均値を２００で割った値を、２００回刻みの分割量として初期設定にした。さらに損失量が最小値を超えて、増加に転じてからはバイアスの更新を続ける必要は無いため、バイアスの刻みは損失量が最小となる更新回数が、ちょうど２００回となるようにオートチューニングを行うプログラムとした。重み更新量（Δｓ）は、損失量の０．０１％を設定値とした。目的に応じ、更新回数の増減及び、更新量を細かくしたり、または荒く設定値を可変してもよい。Here, in proceeding with the weight learning shown in the flowchart of FIG. 9, the initial setting for extracting the feature quantity after step SS3 will be described. The bias update count, weight update count, and weight and bias update amount for performing the loop are initially set to appropriate values. In this embodiment, the bias update count is set to a maximum of 200 times, and the weight update count is set to 20 times. The bias update amount is initially set to a value obtained by dividing the average value of YYsm [Equation 13] by 200, as a division amount in increments of 200 times. Furthermore, since it is not necessary to continue updating the bias after the loss amount exceeds the minimum value and starts to increase, the bias is set to an auto-tuning program so that the number of updates at which the loss amount is minimized is exactly 200 times. The weight update amount (Δs) is set to 0.01% of the loss amount. Depending on the purpose, the number of updates and the update amount may be increased or decreased finely or roughly.
次に、ステップＳＳ４～ＳＳ１０にて、この２出力ＹＹｓｍとＢＹＡｓｍの差の損失量が最小となる特徴量ｓ１２０３、Bの抽出をループを回し学習する。上記手順を踏み、Ｉ
ｒｉｓデータの３種類について学習を行い、３種類の特徴量ｓ１２０３、Bを抽出するこ
とができる。最終出力式ｙは、出力式ＢＹＡｓと同じ式を用いることができる。 Next, in steps SS4 to SS10, the feature quantities s1203 and B that minimize the loss in the difference between the two outputs YYsm and BYAsm are extracted and learned in a loop.
Learning is performed on three types of ris data, and three types of feature amounts s1203 and B can be extracted. The final output formula y can be the same as the output formula BYAs.
次に、学習途中の「見える化」について述べる。前述の第１の実施形態と同様に学習の途中観察できるようにしている。図３４～図３６は花の種類毎に特徴量を学習させたときのグラフを４つ表示している。これらのグラフの形式は、第１の実施形態と同じであるため説明を省略する。Next, we will explain the "visualization" during learning. As in the first embodiment, learning can be observed during the learning process. Figures 34 to 36 show four graphs when feature values are learned for each type of flower. The format of these graphs is the same as in the first embodiment, so the explanation will be omitted.
次に出力結果について説明する。図３７～図３９に、上記に説明した３種類の特徴量ｓ１２０３及びBを用いた個別の花毎の出力値ＢＹＡｓを示した。また、学習した３種の特
徴量纏め表を図４０に整理した。出力値ＢＹＡｓに対し、適切な判定リミット（閾値）を設定することで花の種類の判別ができる。リミット設定、判定方法及び判定加算ポイントの方法についても、前述の第１の実施形態と同じであるため説明を省略する。図４１に判定リミット（閾値）と、群毎の出力平均値、σ、１．５σ、２σ、３σの値を纏めた。 Next, the output results will be described. Figures 37 to 39 show the output values BYAs for each individual flower using the three types of feature amounts s1203 and B described above. Also, a summary table of the three types of learned feature amounts is organized in Figure 40. The type of flower can be determined by setting an appropriate judgment limit (threshold value) for the output value BYAs. The limit setting, judgment method, and judgment addition point method are the same as those in the first embodiment described above, so their explanations will be omitted. Figure 41 summarizes the judgment limit (threshold value) and the output average value for each group, σ, 1.5σ, 2σ, and 3σ values.
３種の１５０個の花の分類を加算ポイントを用いて判別した結果を図４２～図４７の表にした。総合判別精度は１４２個／１５０個の正解率９４．７％である。誤判定８個はｓｅｔｏｓａをｖｅｒｓｉｃｏｌｏｒへ誤判定１個、ｖｅｒｓｉｃｏｌｏｒをｖｉｒｇｉｎｉｃａへ誤判定４個、ｖｉｒｇｉｎｉｃａをｖｅｒｓｉｎｉｃａへの誤判定が３個であった。The results of classifying 150 flowers of three types using the added points are shown in the tables of Figures 42 to 47. The overall classification accuracy was 94.7% for 142 flowers/150 flowers. Of the eight misclassifications, one misclassification of setosa to versicolor, four misclassifications of versicolor to virginica, and three misclassifications of virginica to versinica.
次に、誤判定について説明する。本事例は目標値にデータ間の差を用いたニューラルネットワーク差動型演算の出力であり、その出力は入力データ要素間の差に相応した判別機学習結果を表し、誤判定８個はデータ間の差の大きさに起因している。例えば、図４８、図４９のデータ間のログ値の差をログ値比較したグラフ表示（レーダーチャート）から、ｓｅｔｏｓａの誤判定Ｎｏ．４４は｜ｄ０３｜の大きさが規格化平均値１の半分であり、｜ｄ０３－ｄ１２｜の差は平均の０．６倍と小さくなっている。これはＤ０（がく辺長）とＤ３（花びら幅）の差はｓｅｔｏｓａの標準値より小さく、ｖｅｒｓｉｃｏｌｏｒに近いことを示している。同様にｖｅｒｓｉｃｏｌｏｒの誤判定Ｎｏ．６９，７１，７３．８４は、｜ｄ１２｜が大きく｜ｄ０３｜が小さいことに起因している。ｖｉｒｇｉｎｉｃａの誤判定１３０、１３２，１３４は｜ｄ０３｜が大きく｜ｄ１２｜が小さいことに起因している。Next, the misjudgment will be described. This example is the output of a neural network differential calculation using the difference between data as the target value, and the output represents the discriminator learning result corresponding to the difference between the input data elements, and the 8 misjudgments are due to the magnitude of the difference between the data. For example, from the graph display (radar chart) of the log value comparison of the difference between the log values of the data in Figures 48 and 49, the misjudgment No. 44 of setosa has a magnitude of |d03| that is half the normalized average value 1, and the difference of |d03-d12| is small at 0.6 times the average. This indicates that the difference between D0 (sepal side length) and D3 (petal width) is smaller than the standard value of setosa and close to versicolor. Similarly, the misjudgment Nos. 69, 71, and 73.84 of versicolor are due to the fact that |d12| is large and |d03| is small. The misjudgments 130, 132, and 134 of virginica are caused by |d03| being large and |d12| being small.
以上のように、［実施例２］としてＩｒｉｓ（あやめ）の花分類の目標値にデータ間の差を用いた差動型演算の分類を行い、入力データ間の差で判別する方法を説明した。差分比の比較は、差動型演算の個体のデータ入力値を比率に変えることに等しい。As described above, a method for classifying the Iris flower by differential calculation using the difference between data as the target value for classification has been described as [Example 2], and discriminating based on the difference between input data. Comparison of difference ratios is equivalent to changing the data input values of the individual differential calculations into ratios.
次に差分比の事例を説明する。４次元入力には、図５０のように８パターンの差分比出力が存在する。高い判別率のパターンの選び方は全て差動演算を行い判別率を比較するのもよいが、高次元入力においてはパターン数が増え処理時間が増加するため図３３のように、群間変動係数及び群間最小変動倍数を比較した結果を図５０の下段に示している。これによると、差分比｜Ｄ０３－Ｄ１２｜／Ｄ３の値が上述で扱った差｜Ｄ０３－Ｄ１２｜の分類事例より大きく判別には有利である。Ｄ３を分母にした差分比の演算方法は、入力を（Ｄ０／Ｄ３，Ｄ１／Ｄ３，Ｄ２／Ｄ３，１）とした違いだけであり、この差分比｜Ｄ０３－Ｄ１２｜／Ｄ３により分類した判定ポイント表を図５１～図５６に示す。総合判別精度は正解率９４．７％（１４２個／１５０個）であり、誤判定の花も差の分類結果と同じであるが、判定ポイントにやや違いが生じている。Next, an example of the difference ratio will be explained. For a four-dimensional input, there are eight patterns of difference ratio output as shown in FIG. 50. A method of selecting a pattern with a high discrimination rate may be to perform differential calculations on all patterns and compare the discrimination rates, but in the case of a high-dimensional input, the number of patterns increases and the processing time increases, so the results of comparing the intergroup variation coefficient and the intergroup minimum variation multiple are shown in the lower part of FIG. 50. According to this, the value of the difference ratio |D03-D12|/D3 is larger than the classification example of the difference |D03-D12| dealt with above, which is advantageous for discrimination. The calculation method of the difference ratio with D3 as the denominator differs only in that the input is (D0/D3, D1/D3, D2/D3, 1), and the judgment point table classified by this difference ratio |D03-D12|/D3 is shown in FIG. 51 to FIG. 56. The overall discrimination accuracy is 94.7% (142/150), and the misjudged flowers are the same as the classification result of the difference, but there is a slight difference in the judgment points.
ここで、加算型演算に関する、大きさ（積）と比の群間変動係数及び群間最小変動倍数の比較結果についても図５７を用いて説明する。４次元入力には、図５７のように４パターンの比出力があり、上述で扱った大きさ（積）の値が一番大きく判別には有利である。以下に述べる［実施例３］の説明には、判別に有利な［実施例１］大きさ（積）の判定ポイント及び、Ｄ３による［実施例２］差分比の判定ポイントを用いて説明する。Here, the comparison results of the intergroup coefficient of variation and the intergroup minimum variation multiple of the magnitude (product) and ratio for additive calculations will also be explained using Figure 57. For four-dimensional input, there are four patterns of ratio output as shown in Figure 57, and the magnitude (product) value handled above is the largest and is advantageous for discrimination. In the explanation of [Example 3] below, the judgment point of the magnitude (product) in [Example 1], which is advantageous for discrimination, and the judgment point of the difference ratio in [Example 2] by D3 will be used.
［実施例１］で大きさ（積）による分類、［実施例２］は差、差分比による分類を行い、どちらも９４％程度の判別正解率を得て、それぞれ誤判別された花の説明を行った。これらによると目標値の選び方によって判別精度及び、誤判別される個体の花には違いがあり、それぞれ視点が異なった理由で説明されていることが判る。目標値に着目すると、比較指標に大きさ、比率、差、差分比を用いて、本発明のニューラルネットワーク演算をそれぞれの指標で並列に処理し、判別に優位な指標の出力値を組み合わせて総合的なスコアを得ることにより、更なる判別率の向上を行い、判別結果の理由を判りやすく説明できる。次にＩｒｉｓ（あやめ）の花分類に、前述の加算型演算及び差動型演算による分類結果を組み合わせて判別精度を向上させた例を［実施例３］として説明する。In [Example 1], classification was performed by size (product), and in [Example 2], classification was performed by difference and difference ratio, and both achieved a discrimination accuracy rate of about 94%, and the misclassified flowers were explained. According to these, it can be seen that the discrimination accuracy and individual flowers that are misclassified differ depending on the selection of the target value, and each explanation is based on a different perspective. Focusing on the target value, the neural network calculation of the present invention is processed in parallel with each index using size, ratio, difference, and difference ratio as the comparison index, and the output value of the index that is superior in discrimination is combined to obtain a comprehensive score, thereby further improving the discrimination rate and making it possible to easily explain the reason for the discrimination result. Next, an example in which the classification results of the above-mentioned additive type calculation and differential type calculation are combined to improve the discrimination accuracy in Iris flower classification will be described as [Example 3].
［実施例３］
「第３の実施形態」の実施例は、Ｉｒｉｓ（あやめ）の花分類に、［実施例１］の大きさ（積）による分類と［実施例２］の差分比による分類結果を組み合わせた判別の事例を示す。[Example 3]
The example of the "third embodiment" shows a case of discrimination in which the classification by size (product) of [Example 1] and the classification by difference ratio of [Example 2] are combined for classification of Iris flowers.
図１１の複数演算出力の判別処理を示すフローチャートのステップＳＵ１～ＳＵ３のポイント変換は、［実施例１］及び［実施例２］の事例で説明しているので省略する。ステップＳＵ４～ＳＵ６について、［実施例１］及び［実施例２］の大きさ（積）及び差分比による分類の判定ポイントをそのまま合算した分類結果例を図５８～図６３の表に示した。次に、複数演算出力の判別率を俯瞰する目的で、［実施例１］と［実施例２］のポイントに重み付け係数ａ，ｂ（ａ＋ｂ＝１）を設けて横軸にとり、判別率を縦軸にしたグラフを図６４に示した。これによると、判別率の変化は、ａ＝０では（［実施例２］による）判別率は９４．７％から、ａ＝０．４５～０．５で判別率は９６％に向上し、ａ＝１の（［実施例１］による）判別率は９４％へ低下していることが定量的に解る。The point conversion in steps SU1 to SU3 in the flowchart showing the discrimination process of the multiple calculation outputs in FIG. 11 is omitted since it has been explained in the examples of [Example 1] and [Example 2]. For steps SU4 to SU6, examples of classification results obtained by adding up the judgment points of the classification by the magnitude (product) and difference ratio of [Example 1] and [Example 2] as they are are shown in the tables of FIG. 58 to FIG. 63. Next, in order to get an overview of the discrimination rate of the multiple calculation outputs, a graph is shown in FIG. 64 in which the weighting coefficients a, b (a+b=1) are set for the points of [Example 1] and [Example 2] and the discrimination rate is taken on the vertical axis. According to this, it can be quantitatively understood that the discrimination rate (according to [Example 2]) at a=0 is improved from 94.7%, the discrimination rate at a=0.45 to 0.5 is improved to 96%, and the discrimination rate (according to [Example 1]) at a=1 is reduced to 94%.
以上のように、大きさ（積）による加算型演算及び、データ間差分比による差動型演算による分類結果を組み合わせて判別精度を９４％から９６％に向上させることができた。As described above, by combining the classification results obtained by additive calculations based on magnitude (product) and differential calculations based on the inter-data difference ratio, it was possible to improve the discrimination accuracy from 94% to 96%.
これによると、データ分類の過程及び結果から次のような知見を得ることができる。・ｓｅｔｏｓａに比べてｖｅｒｓｉｃｏｌｏｒとｖｉｒｇｉｎｉｃａはよく似ており、判別がときに困難である。
一方で、部位の大きさと差による見分け方を組み合わせると判別しやすい。
この部位の大きさと差による見分けの優位性は、本発明による加算型演算と差動型演算の目標値と出力値を用いて判別の可視化を行い、定量的に得られた新たな知見であり、従来のニューラルネットワークでは解らない。また、非特許文献１では、長さ・幅に対応する長方形を作成し、がく辺と花弁での差分に着目し、種間の違いを視覚的に提示して判別を試みており、その後のＦｉｓｈｅｒによる回帰分析及び統計的判別分析の基礎となっている。しかし、多角的な分析による被対象物の誤判定に応じた具体的説明は難しい。これに対し本発明では、これらを用いて様々な観点でのニューラルネットワーク判別器を作成し、その判定結果を得るだけでなく、目標値との差異から説明責任を果たすことができる。 According to this, the following knowledge can be obtained from the process and results of data classification: Compared to setosa, versicolor and virginica are very similar, and it is sometimes difficult to distinguish them.
On the other hand, it is easier to distinguish by combining the size and differences of the parts.
The advantage of distinguishing by the size and difference of the parts is a new finding obtained quantitatively by visualizing the discrimination using the target value and output value of the additive and differential calculations according to the present invention, and cannot be understood by conventional neural networks. In addition, in Non-Patent Document 1, a rectangle corresponding to the length and width is created, and attention is paid to the difference between the sepals and petals, and the difference between the species is visually presented and discrimination is attempted, which is the basis of the subsequent regression analysis and statistical discriminant analysis by Fisher. However, it is difficult to provide a concrete explanation according to the misjudgment of the object by multifaceted analysis. In contrast, in the present invention, these are used to create a neural network discriminator from various perspectives, and not only can the judgment result be obtained, but also accountability can be fulfilled from the difference from the target value.
なお、本発明の加算型ニューラルネットワークに用いる［数６］及び［数７］の出力式は、［数１５］及び［数１６］のように表すことができる。これによると、目標値をＬｏｇ（ＹＹｍ）、加算型演算出力値ＢＹＡをＬｏｇ（ＢＹＡｍ）としたときの２出力Ｌｏｇ（ＹＹｍ）とＬｏｇ（ＢＹＡｍ）の差の損失量｜Ｌｏｇ（ＹＹｍ）－Ｌｏｇ（ＢＹＡｍ）｜が最小となる特徴量ｗｎ、ｂを学習することと等価であり、特徴量ｗｎ，ｂの抽出に［数１５］及び［数１６］の出力式を用いてもよい。但し、底（ｂａｓｅ）は１を除く正の数とする。なお、特許請求の範囲の｜Ｌｏｇ（ＹＹ）－Ｌｏｇ（ＢＹＡ）｜では、構成要素の順を表す添え字ｍを省略している。
１ ニューラルネットワーク装置
２ 判別器学習部
３ 重み記憶部
４ 学習データ記憶部
５ 判別値演算部
６ 判定ポイント処理部
７ 分類処理部
８ 判別結果記憶部
９ 出力処理部
２０ 重み学習部
２１ 判別処理部
３１ ポイント変換部
３２ ポイント合算部
ＡＡ 判別結果
ＢＢ 判別データ REFERENCE SIGNS LIST 1 Neural network device 2 Classifier learning section 3 Weight storage section 4 Learning data storage section 5 Discrimination value calculation section 6 Decision point processing section 7 Classification processing section 8 Discrimination result storage section 9 Output processing section 20 Weight learning section 21 Discrimination processing section 31 Point conversion section 32 Point summation section AA Discrimination result BB Discrimination data
Claims (10)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/028594 WO2023012863A1 (en) | 2021-08-02 | 2021-08-02 | Neural network computation method and data classification system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2023012863A1 JPWO2023012863A1 (en) | 2023-02-09 |
| JP7493699B2 true JP7493699B2 (en) | 2024-06-03 |
Family
ID=85154336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023503449A Active JP7493699B2 (en) | 2021-08-02 | 2021-08-02 | Neural network calculation method and data classification system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7493699B2 (en) |
| WO (1) | WO2023012863A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120337051B (en) * | 2025-03-21 | 2026-04-21 | 浙江大学 | A Method for Importance Analysis of Die Casting Quality-Related Variables Based on Multivariate Standardized Embedding and Feature Fusion |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003030622A (en) | 2001-07-11 | 2003-01-31 | Fuji Electric Co Ltd | Neural network, learning method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10134018A (en) * | 1996-07-08 | 1998-05-22 | Nippon Telegr & Teleph Corp <Ntt> | Rule discovery method and device, storage medium storing rule discovery program, and neural network learning method and device, and storage medium storing neural network learning program |
| JP2021124979A (en) * | 2020-02-05 | 2021-08-30 | 大庭 富美男 | Method for operating neural network and data classification system |
-
2021
- 2021-08-02 JP JP2023503449A patent/JP7493699B2/en active Active
- 2021-08-02 WO PCT/JP2021/028594 patent/WO2023012863A1/en not_active Ceased
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003030622A (en) | 2001-07-11 | 2003-01-31 | Fuji Electric Co Ltd | Neural network, learning method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2023012863A1 (en) | 2023-02-09 |
| WO2023012863A1 (en) | 2023-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11741361B2 (en) | Machine learning-based network model building method and apparatus | |
| CN111338897B (en) | Method for identifying abnormal node in application host, monitoring equipment and electronic equipment | |
| Lenka et al. | Empirical analysis of ensemble learning for imbalanced credit scoring datasets: A systematic review | |
| US8805856B2 (en) | Merchandise hierarchy refinement by incorporation of product correlation | |
| KR102504319B1 (en) | Apparatus and Method for Classifying attribute of Image Object | |
| CN111046961B (en) | Fault classification method based on bidirectional long-time and short-time memory unit and capsule network | |
| JPWO2017068675A1 (en) | PROGRAM GENERATION DEVICE, PROGRAM GENERATION METHOD, AND GENERATION PROGRAM | |
| Gupta et al. | Software fault prediction with imbalanced datasets using SMOTE-Tomek sampling technique and Genetic Algorithm models | |
| JP2021124979A (en) | Method for operating neural network and data classification system | |
| Kumar et al. | An optimal churn prediction model using support vector machine with adaboost | |
| JP7493699B2 (en) | Neural network calculation method and data classification system | |
| Singh et al. | Multi-objective optimization based recursive feature elimination for process monitoring | |
| Lestari et al. | Tomato leaf disease classification with optimized hyperparameter: A densenet-pso approach | |
| Sathya et al. | Multi-Disease Prediction Using Machine Learning | |
| Cheng et al. | An ensemble kernel classifier with immune clonal selection algorithm for automatic discriminant of primary open-angle glaucoma | |
| Pakhira | A fast k-means algorithm using cluster shifting to produce compact and separate clusters | |
| Chandrashekar | Data-Driven Loan Default Prediction: Enhancing Business Process Workflows with Machine Learning | |
| Radhamani et al. | Diagnosis and Evaluation of ADHD using MLP and SVM Classifiers | |
| WO2025232076A1 (en) | Image classification method based on collaborative optimization algorithms and feature selection mechanism | |
| CN112183569A (en) | FDA and SOM based intermittent industrial process reaction phase clustering and fault classification visualization | |
| JP7568054B2 (en) | Learning device, learning method, inference device, inference method, and program | |
| US20220084306A1 (en) | Method and system of guiding a user on a graphical interface with computer vision | |
| Vela et al. | Examples of machine learning algorithms for optical network control and management | |
| WO2022249518A1 (en) | Information processing device, information processing method, information processing program, and learning model generation device | |
| JP2001142867A (en) | Learning type recognition judgment device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240327 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7493699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |