JP3822382B2 - Majority neuron circuit and multilayer neural network system - Google Patents

Description

【数２】

で与えられ，各層には０〜Ｍの番号を付与してあり、Ｈ_k ^(s)はｓ番目の層のｋ番目のニューロンの重み付け和で、ｗ_kj ^(s)はシナプスの重みである。ニューロンの出力ｏ_k ^(s)は、重み付け和に対して活性化関数ｆ（＊）を演算して得られたものである。パルス・モード演算では、パルスの密度は信号レベルに比例しており、ニューロン信号はパルス・ストリームで表される。
【０００９】
使用しているニューロン・ユニットでは、下層の重み付けされたニューロンの出力は合算され、その出力は活性化関数ｆ（＊）を用いて生成される。従来の確率ニューロンにおいては、刺激と抑制のシナプス信号がＯＲゲートによって合計され、そして、これらの信号はニューロンの出力を生成するのに用いられている。
【数３】

ここで、ｐ_Nは刺激信号であり、ｎ_Nは抑制信号である。
さて、この確率演算に基づくニューロン回路において問題となることは、ニューロンの確率演算が不正確であることである。たとえば、従来のニューロンにおいては、複数の刺激パルスは単一の抑制パルスによってキャンセルされるので、抑制パルスよりも多く刺激パルスが存在していても出力が起こらない。本発明のニューロン回路は刺激と抑制のパルスの数を考慮にいれている。本発明のニューロン・ユニットの構成は、図１のブロック図に示されている。
【００１０】
図１において、パルス計数回路１１２および１１４は、刺激パルスＮ_E（ｉ）の数と抑制パルスＮ_i（ｉ）の数を数える。パルス計数回路１１２および１１４で計数されたこれらのパルスの数の差Ｄ（ｉ）は、加算回路１２２で計算される。過去のＳ個のサンプルの差Ｄ（ｉ）がレジスタＲ１４０内に累積され、レジスタＲ１４０の内容が０より大きいときに、レジスタＲ１４０から出力が生成される。
【００１１】
さて、確率ニューロンと同様に、多数決ニューロンは統計的飽和（statistical saturation）を利用しており、図１においても、非線形活性化関数ｆ（Ｈ_k）を実現するために、非線形の加算を用いている。パルスがあまり頻繁ではない（低信号レベル）限り、多数決回路の出力におけるパルス計数は、入力における個々のパルス計数の単純合計に等しい。しかしながら、パルスがもっと頻繁（より高い信号レベル）になると、パルスが互いにマスクする機会が重要になる。合計のパルス計数は、このようにして最大に飽和することになる。しかし、これにより得られる非線形活性化関数は、特性が固定されてしまう。図１では、遅延回路１３０および加算回路１２４で、移動平均を演算することとほぼ同じ働きを行うにより、特性を可変できる非線形関数を実現している。遅延回路１３０に示したパラメータＳは遅延を示している。これにより低域フィルタとして動作することになる。本発明の図１に示したニューロンにより提供される非線形関数は、パラメータＳにより変えることが可能である。
【００１２】
したがって、本発明のニューロンの演算は
【数４】

ニューロンの出力ｏ（ｉ）は，
【数５】

となる。
【００１３】
本発明において、オンチップ学習をハードウェアに実装するために、バックプロパゲーション・アルゴリズムは単純パルス・モード動作を有するように修正されている。オンチップ学習を有する本発明のＭＮＮアーキテクチャーのシステム構成は、図２に示されている。
【００１４】
図２において、修正多数決ニューロン２１８および２２８は、図１に示したニューロン回路である。図２のＭＮＮアーキテクチャーで実現しているバックプロパゲーション・アルゴリズムは、次のように表される。
【数６】

【数７】

【数８】

【００１５】
順方向信号と同様に、式（６）中のエラー項σ_k ^(s)およびδ_k ^(s)は、パルス信号で表されている。これらの信号は、シナプスの重みを格納しているアップダウン・カウンタ２１４，２２４を更新するのに用いられる。式（６）中のｗ_kj ^(s+1)δ_j ^(s+1)を計算するために、実際の重みの値の代わりに、重みのサイン・ビット（ＭＳＢ：最上位ビット）がエラー項δ_j ^(s+1)と掛けられる。この演算を実行する回路は単一の排他的論理和回路２４０であり、重みのＭＳＢ（最上位ビット）が１のときサイン信号を反転する。式（７）のσ_k ^(s)ｆ’（Ｈ_k ^(s)）中の乗算および式（９）中のσ_k ^(s)０_j ^(s-1)の乗算は、論理積回路２３８、および、論理積回路２１２，２２２により実現している。ｆ’（Ｈ_k ^(s)）は、活性化関数の導関数である。導関数ｆ’（Ｈ_k ^(s)）を生成するのに用いられている微分器２３２は、図３に示されている。微分器２３２は、パルス・ストリームの先頭と最後を検出したときに、常に出力パルスを与える。バックプロパゲーション・アルゴリズムによるＭＮＮの学習動作は、導関数ｆ’（Ｈ_k）に、リニア・フィードバック・シフトレジスタ（ＬＦＳＲ）２３４からのオフセットＧ（＜１．０）を加えることで改良される(例えば、H. Hikawa, "Improvement on the learning performance of multiplierless multilayer neural network," Proceeding, IEEE ISCA'97, vol.1 pp.641-644, 1997参照)。
【００１６】
また、図２におけるシナプス乗算器２１６および２２６としては、２種類のシナプス重み乗算器を使用することができる。その１つが確率乗算器で、他のひとつが直接ディジタル周波数合成器（direct frequency synthesizer:ＤＤＦＳ）を基にした乗算器である(例えば、H. Hikawa, "Learning performance of frequency-modulation digital neural network with on-chip learning," Proceeding, IEEE ICNN'98, pp.557-562, 1998参照)。確率乗算器はサイクル時間がランダムであるランダム・パルス列を生成し、ＤＤＦＳ乗算器は固定されたサイクル時間の周波数変調されたパルス列を生成する。
【００１７】
従来の多数決ニューロン(例えば、H. Hikawa, "Learning performance of frequency-modulation digital neural network with on-chip learning," Proceeding, IEEE ICNN'98, pp.557-562, 1998参照)と、本発明のニューロンとの回路サイズの比較が図４に示されている。ここで、回路サイズは多数決ニューロンのサイズを１．０とするように規格化されている。本発明のニューロンの回路サイズは、従来の多数決ニューロンの２／３となっている。
【００１８】
上述の本発明のニューロン回路およびＭＮＮをＦＰＧＡ上に実装することができる。このようして、実装した本発明のニューロン回路の活性化関数の特性を次に示す。
Ｓ＝８およびＳ＝２４を有する提案ニューロンのＨ_kとｆ（Ｈ_k）との間の関係は、図５（Ａ），（Ｂ）に示されている。これらのグラフは、活性化関数の調整可能性は、ＤＤＦＳ型シナプス乗算器に対して、より重要であることを示している。ＤＤＦＳ重みの値が−１．０から１．０の間に制限されているとはいえ、活性化関数がより急勾配となっていることにより実効重み範囲が拡大されているため、提案ネットワークの柔軟性は大変改良されている。
【００１９】
次に、導関数ｆ’（Ｈ_k）を生成するために用いられた微分器の特性を示す。図５（Ａ）に示されているニューロン信号を入力として用いて、図３に示したパルス微分器の特性を図６に示す。図５（Ａ）に示されている非線形特性の導関数に極めて近い。
【００２０】
本発明のニューロンを用いて、例えばＦＰＧＡ上に構築したＭＮＮのオンチップ学習能力について次に説明する。
まず、本発明のＭＮＮを用いて単純な２進論理機能を実行した例を図７に示す。これに使用したＭＮＮは、３つのニューロンを入力層に、３つのニューロンを中間層に、単一の出力ニューロンを出力層に有している。入力層および中間層の双方に、オフセット・ニューロンを含んでいる。オフセット・ニューロンは常に１の出力を与え、オフセット・ニューロンに接続されている重みはオフセットθとして動作する。このため、中間層中のニューロンの実際の数は２つである。ＤＤＦＳシナプス・ユニットはシナプス乗算器として用いられ、ニューロンのパラメータＳは８である。
【００２１】
学習中におけるＭＮＮの信号は、図７に示されている。この図で、単純な論理機能（排他的論理和）が目的機能として使用されている。Ｉ0，Ｉ1は入力信号で、Ｔ0は教師信号、ＦＫ0はＭＮＮの出力である。図に示されているように、本発明のＭＮＮは排他的論理和を成功裡に学習している。
【００２２】
次に、本発明のネットワークで２次元の領域分類問題を実行した例を図８に示す。この例に使用したＭＮＮは、２つの入力および単一の出力を有している。出力は０≦ｘ＜１および０≦ｙ＜１の範囲内の四角形領域内の点の座標（ｘ，ｙ）である。提案ネットワークは、与えられた点が領域内か外側かどうかを認識するように学習する。ネットワークの出力は、点が外側である場合はゼロ、内側である場合は１である。
【００２３】
この２進分類の例に使用したネットワークは、２つの入力および単一のオフセットのニューロンを有する入力層、６つのニューロン（６番目のニューロンはもう一つのオフセット・ニューロン）を含む単一の中間層、および、単一の出力ニューロンを有する出力層を有している。図８〜１０の６つの教師パターンが提案ＭＮＮの学習能力を実験するために用いられている。図８〜１０の教師パターンは３つの異なる形状であり、各図（Ａ），（Ｂ）の形状は２５６または１２８のデータ・セットを有している。各図（Ｂ）の１２８の座標は、各図（Ａ）の形状の２５６の全座標情報からランダムに選択されたものである。学習後、全ての２５６の（ｘ，ｙ）座標はネットワークに印加され、ネットワークの応答が試験される。各図（Ｂ）では１２８の教師データにより学習されているので、未知の座標が与えられたとき、ＭＮＮは自身により出力値を演繹する必要がある。このように、汎化能力は、ネットワークの出力を観察することにより試験することができる。
【００２４】
図８〜図１０のおける上述の教師セットおよびＭＮＮの応答を結果において、出力レベルは黒い丸の直径で表現されている。図８（Ａ），（Ｂ）に示されているように、パラメータＳが増加すると、実効重み範囲がＳの増加とともに広がるため、出力パターンは明確になる。その上、出力プロットは、教師データが不完全でも、目的形状にとても似てくる。
【００２５】
図９，図１０は、異なる教師データを用いた他の学習例を示している。これは、図８と同様な構成のネットワークに対して、教師データを与えて、そのネットワーク出力を示している。図９，図１０の学習結果は図８の結果と比較すると、図１０の成果は劣っている。しかし、図８〜図１０からも分かるように、ネットワークは、これらの形状範囲を分類するように学習している。図１０に示す円の場合が、本発明のＭＮＮが学習するのに最も難しいパターンである。より良い出力結果を得るためには、ネットワークは中間層内にもっと多くのニューロンが必要である。
これらから明確に分かるように、本発明のＭＮＮにおいて、オンチップ学習がとてもよく機能していることを示している。そして、本発明のＭＮＮは大変良い汎化能力を有している。
【００２６】
【発明の効果】
上記の説明のように、本発明は、回路サイズが小さい多数決ニューロン回路であり、この回路を用いた多層ニューラル・ネットワークは、学習能力が優れている。
【図面の簡単な説明】
【図１】本発明の実施形態であるニューロン回路の構成を示すブロック図である。
【図２】本発明の実施形態であるニューラル・ネットワークの構成を示すブロック図である。
【図３】微分器の構成例を示すブロック図である。
【図４】ニューロンの回路サイズの比較表である。
【図５】Ｈ_kとｆ（Ｈ_k）との関係を示す図である。
【図６】図３の微分器の特性を示す図である。
【図７】本発明のニューラル・ネットワークの動作例である。
【図８】本発明のニューラル・ネットワークの他の動作例である。
【図９】本発明のニューラル・ネットワークの他の動作例である。
【図１０】本発明のニューラル・ネットワークの他の動作例である。
【符号の説明】
１１２，１１４ パルス計数回路
１２２，１２４，１２６ 加算回路
１３０ 遅延回路
１４０ レジスタ
２１２，２２２，２３８ 論理積回路
２１４，２２４ アップ・ダウン・カウンタ
２１６，２２６ シナプス乗算器
２１８，２２８ 修正多数決ニューロン
２３２ 微分器
２３４ リニア・フィードバック・シフトレジスタ
２３６ 論理和回路
２４０ 排他的論理和回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a neuron circuit constituting a neural network and a neural network using the neuron circuit.
[Technical background]
One effective approach to neural network hardware implementation is an architecture based on stochastic computing using pulse signals (eg G. Moon, E. Zaghloul, and RW Newcomb, "VLSI Implementation of Synaptic Weighting and Summing in pulse Coded Neural-Type Cells," IEEE Trans. On Neural Networks, vol.3, no.3, pp.394-403, May 1992 and YC Kim, MA Shamblatt , "Random noise effects in pulse-mode digital multilayer neural networks," IEEE Trans. On Neural Networks, vol.6, no.1, pp.220-229, January 1995).
[0002]
The disadvantage of the stochastic pulse mode neuron used here is that the activation function caused by the nonlinearity of the pulse is almost fixed, and the accuracy of the pulse code is inferior to that of full digital arithmetic. (See, for example, Leonardo M. Reyneri, “A performance analysis of pulse stream neural and fuzzy computing systems” IEEE Trans. On CAS, vol. 42, no. 10, pp641-644, 1997). Another problem is that the weight range of the pulse mode synapse multiplier is limited to between -1.0 and +1.0, which makes it difficult to train the pulse mode network. It is that you are.
[0003]
To solve these problems, effective neurons based on majority circuits have been proposed (for example, H. Hikawa, "Learning performance of frequency-modulation digital neural network with on-chip learning, "See Proceeding, IEEE ICNN'98, pp.557-562, 1998). The majority circuit has improved neuron accuracy, and the majority circuit has been extended to allow adjustment of the nonlinear activation function. However, the size of the neuron circuit is larger than that of the stochastic neuron due to the additional circuit.
[0004]
[Problems to be solved by the invention]
An object of the present invention is a neuron circuit whose size of a majority circuit is reduced and a multilayer neural network (MNN) constituted by the neuron circuit.
The purpose of the present invention is to reduce the size of a majority neuron circuit without degrading performance. The most important feature of a neural network is learning ability, and a multilayer neural network configuration capable of realizing a learning function on-chip is also an object of the present invention.
[0005]
[Means for Solving the Problems]
To achieve the above object, the present invention is combined with an activation counting circuit and a suppression pulse counting circuit for counting an activation pulse and a suppression pulse, respectively, and the activation counting circuit and the suppression pulse counting circuit. An adder circuit that takes a difference between a counting circuit and a suppression pulse counting circuit, and an accumulation circuit that inputs the difference, accumulates the difference for past S samples, and outputs a pulse signal when the accumulated value becomes 0 or more A majority neuron circuit characterized by comprising: With this configuration, the circuit size can be reduced without reducing the performance.
In the majority voting neuron circuit, the slope of the nonlinear characteristic of the activation function can be changed by changing the S of the accumulating circuit.
[0006]
An up / down counter for storing weights, a synapse multiplier for multiplying the weights from the up / down counter by an input, and the majority neuron circuit as described above , wherein an input from the synapse multiplier is one of the inputs. Thus, a multilayer neural network system can be configured.
In this multilayer neural network system, the synapse multiplier can be a direct digital frequency synthesis multiplier.
[0007]
In this multilayer neural network system, a differentiator that differentiates the output from the majority neuron circuit, a logical product circuit that multiplies the signal from the differentiator, and an error signal from the upper layer, and weights from the upper layer. An exclusive OR circuit that takes an exclusive OR of the most significant bit and the sign bit of the error signal from the upper layer, and an output of the AND circuit as an input of the up / down counter, A learning circuit having an on-chip learning function can be configured by determining the up / down of the up / down counter by an input.
Further, the back propagation algorithm is improved by adding an offset to the signal from the signal from the differentiator and then multiplying the error signal from the upper layer.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
First, an outline of a neuron used in the present invention and a multilayer neural network (MNN) using the neuron will be described.
In the forward operation of a multilayer neural network (MNN), data from a lower layer neuron is transmitted to an upper layer neuron via a feed-forward connection. If the k-th neuron in the s-th layer is o _k ^(s) , the operation performed in each neuron is

[Expression 2]

Each layer is given a number from 0 to M, H _k ^(s) is a weighted sum of k-th neurons of the s-th layer, and w _kj ^(s) is a synaptic weight. The output o _k of the neuron ^(s) is one obtained by computing the activation function f (*) with respect to the weighted sum. In the pulse mode operation, the pulse density is proportional to the signal level, and the neuron signal is represented by a pulse stream.
[0009]
In the neuron unit used, the outputs of the lower weighted neurons are summed and the output is generated using the activation function f (*). In conventional stochastic neurons, the stimulating and suppressing synaptic signals are summed by an OR gate, and these signals are used to generate the output of the neuron.
[Equation 3]

Here, p _N is a stimulation signal and n _N is a suppression signal.
Now, a problem in the neuron circuit based on this probability calculation is that the probability calculation of the neuron is inaccurate. For example, in a conventional neuron, since a plurality of stimulation pulses are canceled by a single suppression pulse, no output occurs even if there are more stimulation pulses than suppression pulses. The neuron circuit of the present invention takes into account the number of stimulation and suppression pulses. The configuration of the neuron unit of the present invention is shown in the block diagram of FIG.
[0010]
In FIG. 1, pulse counting circuits 112 and 114 count the number of stimulation pulses N _E (i) and the number of suppression pulses N _i (i). The difference D (i) between the numbers of these pulses counted by the pulse counting circuits 112 and 114 is calculated by the adding circuit 122. The difference D (i) of the past S samples is accumulated in register R140, and an output is generated from register R140 when the contents of register R140 are greater than zero.
[0011]
Now, like the stochastic neuron, the majority neuron uses statistical saturation. In FIG. 1, in order to realize the non-linear activation function f (H _k ), non-linear addition is used. Yes. As long as the pulses are not very frequent (low signal level), the pulse count at the output of the majority circuit is equal to the simple sum of the individual pulse counts at the input. However, as the pulses become more frequent (higher signal levels), the opportunity for the pulses to mask each other becomes important. The total pulse count will thus saturate to the maximum. However, the characteristic of the nonlinear activation function obtained by this is fixed. In FIG. 1, the delay circuit 130 and the adder circuit 124 realize a non-linear function whose characteristics can be varied by performing almost the same function as calculating a moving average. A parameter S shown in the delay circuit 130 indicates a delay. Thereby, it operates as a low-pass filter. The nonlinear function provided by the neuron shown in FIG. 1 of the present invention can be changed by the parameter S.
[0012]
Therefore, the operation of the neuron of the present invention is:

The output o (i) of the neuron is
[Equation 5]

It becomes.
[0013]
In the present invention, the back-propagation algorithm has been modified to have simple pulse mode operation in order to implement on-chip learning in hardware. The system configuration of the MNN architecture of the present invention with on-chip learning is shown in FIG.
[0014]
In FIG. 2, modified majority neurons 218 and 228 are the neuron circuit shown in FIG. 1. The backpropagation algorithm realized by the MNN architecture of FIG. 2 is expressed as follows.
[Formula 6]

[Expression 7]

[Equation 8]

[0015]
Similar to the forward signal, the error terms σ _k ^(s) and δ _k ^(s) in equation (6) are represented by pulse signals. These signals are used to update up / down counters 214, 224 which store synaptic weights. In order to calculate w _kj ^{(s + 1)} δ _j ^{(s + 1)} in equation (6), the weight sign bit (MSB: most significant bit) is the error term instead of the actual weight value. Multiply by δ _j ^{(s + 1)} . A circuit that executes this operation is a single exclusive OR circuit 240, which inverts the sine signal when the MSB (most significant bit) of the weight is 1. The multiplication in σ _k ^(s) f ′ (H _k ^(s) ) of equation (7) and the multiplication of σ _k ^(s) 0 _j ^(s−1) in equation (9) are performed by AND circuit 238, In addition, the logical product circuits 212 and 222 are used. f ′ (H _k ^(s) ) is a derivative of the activation function. The differentiator 232 used to generate the derivative f ′ (H _k ^(s) ) is shown in FIG. Differentiator 232 provides an output pulse whenever it detects the beginning and end of a pulse stream. The learning operation of the MNN by the back-propagation algorithm is improved by adding an offset G (<1.0) from the linear feedback shift register (LFSR) 234 to the derivative f ′ (H _k ) ( For example, see H. Hikawa, “Improvement on the learning performance of multiplierless multilayer neural network,” Proceeding, IEEE ISCA '97, vol.1 pp.641-644, 1997).
[0016]
As the synapse multipliers 216 and 226 in FIG. 2, two types of synapse weight multipliers can be used. One is a probability multiplier and the other is a multiplier based on a direct frequency synthesizer (DDFS) (for example, H. Hikawa, “Learning performance of frequency-modulation digital neural network with on-chip learning, "Proceeding, IEEE ICNN'98, pp.557-562, 1998). The probability multiplier generates a random pulse train whose cycle time is random, and the DDFS multiplier generates a frequency modulated pulse train with a fixed cycle time.
[0017]
Conventional majority voting neurons (see, for example, H. Hikawa, "Learning performance of frequency-modulation digital neural network with on-chip learning," Proceeding, IEEE ICNN'98, pp. 557-562, 1998) and the neuron of the present invention. A circuit size comparison is shown in FIG. Here, the circuit size is standardized so that the majority neuron size is 1.0. The circuit size of the neuron of the present invention is 2/3 that of the conventional majority neuron.
[0018]
The neuron circuit and MNN of the present invention described above can be implemented on an FPGA. The characteristics of the activation function of the thus implemented neuron circuit of the present invention are as follows.
The relationship between H _k and f (H _k ) of the proposed neuron with S = 8 and S = 24 is shown in FIGS. 5 (A) and 5 (B). These graphs show that the tunability of the activation function is more important for DDFS-type synaptic multipliers. Although the DDFS weight value is limited to between -1.0 and 1.0, the effective weight range is expanded due to the steeper activation function, so that Flexibility is greatly improved.
[0019]
Next, the characteristics of the differentiator used to generate the derivative f ′ (H _k ) are shown. FIG. 6 shows the characteristics of the pulse differentiator shown in FIG. 3 using the neuron signal shown in FIG. 5A as an input. It is very close to the derivative of the nonlinear characteristic shown in FIG.
[0020]
Next, the on-chip learning capability of an MNN constructed on, for example, an FPGA using the neuron of the present invention will be described.
First, FIG. 7 shows an example in which a simple binary logic function is executed using the MNN of the present invention. The MNN used for this has three neurons in the input layer, three neurons in the intermediate layer, and a single output neuron in the output layer. Both the input layer and the intermediate layer contain offset neurons. The offset neuron always gives an output of 1, and the weight connected to the offset neuron operates as an offset θ. For this reason, the actual number of neurons in the intermediate layer is two. The DDFS synapse unit is used as a synapse multiplier, and the neuron parameter S is 8.
[0021]
The MNN signal during learning is shown in FIG. In this figure, a simple logical function (exclusive OR) is used as the target function. I0 and I1 are input signals, T0 is a teacher signal, and FK0 is an output of the MNN. As shown in the figure, the MNN of the present invention has successfully learned exclusive OR.
[0022]
Next, an example in which the two-dimensional region classification problem is executed in the network of the present invention is shown in FIG. The MNN used in this example has two inputs and a single output. The output is the coordinates (x, y) of the points in the rectangular area within the range of 0 ≦ x <1 and 0 ≦ y <1. The proposed network learns to recognize whether a given point is inside or outside the region. The output of the network is zero if the point is outside and 1 if the point is inside.
[0023]
The network used for this binary classification example is an input layer with two inputs and a single offset neuron, a single intermediate layer containing six neurons (the sixth neuron is another offset neuron) And an output layer having a single output neuron. Six teacher patterns in FIGS. 8-10 are used to experiment with the learning ability of the proposed MNN. The teacher patterns of FIGS. 8-10 are three different shapes, and each shape of FIGS. (A) and (B) has 256 or 128 data sets. The 128 coordinates in each figure (B) are randomly selected from 256 total coordinate information of the shape in each figure (A). After learning, all 256 (x, y) coordinates are applied to the network and the response of the network is tested. In each figure (B), since learning is performed with 128 teacher data, when unknown coordinates are given, the MNN needs to deduct an output value by itself. Thus, the generalization ability can be tested by observing the output of the network.
[0024]
In the results of the above-described teacher set and MNN responses in FIGS. 8 to 10, the output level is expressed by the diameter of a black circle. As shown in FIGS. 8A and 8B, when the parameter S is increased, the effective weight range is increased as S is increased, so that the output pattern becomes clear. Moreover, the output plot looks very similar to the target shape even if the teacher data is incomplete.
[0025]
9 and 10 show other learning examples using different teacher data. This shows the network output by giving teacher data to the network having the same configuration as in FIG. The learning results of FIGS. 9 and 10 are inferior to the results of FIG. However, as can be seen from FIGS. 8-10, the network is learning to classify these shape ranges. The circle shown in FIG. 10 is the most difficult pattern for the MNN of the present invention to learn. To get better output results, the network needs more neurons in the middle layer.
As can be clearly seen from these, on-chip learning functions very well in the MNN of the present invention. The MNN of the present invention has a very good generalization ability.
[0026]
【The invention's effect】
As described above, the present invention is a majority neuron circuit with a small circuit size, and a multilayer neural network using this circuit has excellent learning ability.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a neuron circuit according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a neural network according to an embodiment of the present invention.
FIG. 3 is a block diagram illustrating a configuration example of a differentiator.
FIG. 4 is a comparison table of circuit sizes of neurons.
FIG. 5 is a diagram illustrating a relationship between H _k and f (H _k ).
6 is a diagram showing characteristics of the differentiator in FIG. 3; FIG.
FIG. 7 is an operation example of the neural network of the present invention.
FIG. 8 is another example of operation of the neural network of the present invention.
FIG. 9 is another example of operation of the neural network of the present invention.
FIG. 10 is another example of operation of the neural network of the present invention.
[Explanation of symbols]
112, 114 Pulse counting circuit 122, 124, 126 Adder circuit 130 Delay circuit 140 Register 212, 222, 238 AND circuit 214, 224 Up / down counter 216, 226 Synaptic multiplier 218, 228 Modified majority decision neuron 232 Differentiator 234 Linear feedback shift register 236 OR circuit 240 exclusive OR circuit

Claims (6)

An activation counting circuit and a suppression pulse counting circuit for counting the activation pulse and the suppression pulse, respectively;
An adder circuit coupled to the activation counting circuit and the suppression pulse counting circuit to take a difference between the activation counting circuit and the suppression pulse counting circuit;
A majority voting neuron circuit comprising: an accumulation circuit that inputs the difference, accumulates the difference for past S samples, and outputs a pulse signal when the accumulated value becomes 0 or more. 2. The majority neuron circuit according to claim 1 , wherein the S of the accumulation circuit is variable. An up / down counter for storing weights;
A synaptic multiplier that multiplies the weight from the up / down counter by an input;
Multi-layer neural network system characterized by having a majority neuron circuit according to claim 1 or 2 input from the synaptic multiplier, and one input. 4. The multilayer neural network system according to claim 3, wherein the synapse multiplier is a direct digital frequency synthesis multiplier. The multilayer neural network system according to claim 3 or 4,
A differentiator for differentiating the output from the majority neuron circuit;
An AND circuit for multiplying the signal from the differentiator by the error signal from the upper layer;
An exclusive OR circuit that performs an exclusive OR of the most significant bit of the weight from the upper layer and the sign bit of the error signal from the upper layer ,
The learning circuit is configured by using the output of the AND circuit as an input of the up / down counter and determining the up / down of the up / down counter based on the exclusive OR input. Neural network system. The multilayer neural network system of claim 5 , wherein
The AND circuit adds an offset to the signal from the differentiator and then multiplies the error signal from the upper layer.

Images