JPH079663B2

JPH079663B2 - 感度調節機能付き神経疑似素子

Info

Publication number: JPH079663B2
Application number: JP1008533A
Authority: JP
Inventors: 克則藁谷; 史朗浅川; 幸廣斉藤; 昭田尾本; 克洋二梃木
Original assignee: 工業技術院長
Priority date: 1989-01-19
Filing date: 1989-01-19
Publication date: 1995-02-01
Anticipated expiration: 2010-02-01
Also published as: JPH02189671A

Description

【発明の詳細な説明】産業上の利用分野この発明は、“神経回路網”（ニューラルネット）を構
成する素子、すなわち、神経疑似素子であって、入力信
号の総和の強度に対する感度調節が可能な機能を備えた
同素子に関し、とりわけ、抵抗結合によって入力信号の
総和を求める方式の神経回路網を実現するための感度調
節機能付き神経疑似素子に関するものである。

従来の技術近年、従来の逐次処理型のコンピュータとは異なる原理
による情報処理が試みられており、その一つが、上記神
経回路網と呼ばれる超並列処理回路網である。この神経
回路網には、オペアンプを使用したもの、MPU（マイク
ロプロセッサーユニット）を多数組み合わせたものなど
が存在している。この場合、個々の入力信号には重み付
けを行ってその総和を求め、得られた総和に基づいて次
に送る出力信号を得るようにしているが、この総和を求
めるためには、抵抗結合によるもの、RAM（ランダムア
クセスメモリー）に重み付けの値をメモリーさせて行う
ものなどが考え出されている。

たとえば、ジョン・ジェイ・ホプフィールド（John J.H
opfield）およびデビッド・ダブリュー・タンク（David
W.Tank）により提案された神経回路網は、巡回セール
スマン問題、すなわち、複数の都市をすべて１回ずつ訪
れるための最短経路を求める問題に対し、一つの解法を
与えたことで注目されている。

上記ホプフィールドらのモデルによる１個の神経素子の
構造（回路）は、第４図のように考えられる。すなわ
ち、この回路は、信号入力手段1,感度調節手段2,および
オペアンプ等の信号処理手段（あるいは後部増幅素子）
３を備えており、上記信号入力手段１において、素子へ
の複数の入力電位（Xj）信号を、個々の重み付け（Wi
j）のために、抵抗器Rijを通したのち結合させるように
している。そして、同抵抗結合により生じた総和電位： Σi Wij×Xj を、上記感度調節手段２により線形的に調節したのち、
得られた電位φを信号処理手段３の入力電位とし、最終
的に、出力Zi: Zi＝ｆ（Σi Wij×Xj−ｈ）が得られるようになっている。この最終出力Ziは、次の
素子に対する複数の入力電位（Xj）の一つとなる。な
お、この場合、上記ZiのうちのZi←ｆ（ −ｈ）の機能
は、オペアンプ以降の回路構成で実現させている。ま
た、Wij＜０とするためには、−Zjを入力すればよく、
その際、オペアンプの利点として、＋と−の出力が得ら
れる点を活かしている。

このように、ホプフィールドらのモデルでは、ある素子
の入力Xjに他の素子の出力Zjを用いており、回路の出力
電位がダイナミカルに変化していって、安定解にたどり
つくまで動作を繰り返すようになっている。

上記モデルは、エネギー関数Ｅを定義することができ
る。以下に、Ｅが極小値に向かう傾向を統計的に示す。

Ｅ＝−0.5×ΣWij×Xj×Xj−ｈΣXi このことが、神経回路網の統計的挙動を考えるのに有効
な“物理”量を提出して、着目すべき量を明快にしたの
である〔ホプフィールド，タンク（Hopfield＆Tank），
「神経回路を使ったコンピュータモデル」日経マイクロ
デバイス1987年４月号参照〕。

発明が解決しようとする課題上記モデルをさらに発展させていくことを考えたとき、
Wijの値が何らかの学習により変化できることが望まれ
る。そのためには、たとえば、可変の抵抗素子を用いる
ことが考えられる。このためには、たとえば、いくつか
の抵抗をマルチプレクサを用いて切り換えて読み取り電
位を変える構成が考えられるし、他にも、スイッチド・
レジスター回路を利用した可変抵抗が試作されている
（秋山奏ら）。いずれにしても、実在の素子を用いる限
り、Wijはある有限の最大値と最小値を有するようにな
る。

一方、神経回路網の学習理論では、通常、Wijに何ら上
限下限を設定していない。このことは、実用に際し、あ
る入力信号が微弱ではあるが出力を判断するために重要
な信号である場合に、その意味ある信号に対して充分に
大きな重み付けを与えることができずに、この重要な信
号を拾いきれなくなる危険性を孕んでいる。したがっ
て、そのような危険を生じさせないためには、入力信号
を前処理しておくか、あるいは、入力信号の強度に対し
感度調節ができる回路構成の神経素子を作る必要があ
る。

これに対し、生体の感覚認識においては、ウエーバ（We
ber）の法則が成り立ち、扱いうる入力信号の強度範囲
が広くなっている。これは、興奮の強度が信号の対数関
数に比例するようになっているためであるが、前記ホプ
フィールドらのモデルにおいて、単純に ΣiWij×Xj を線形に扱い、そのままオペアンプなどの入力信号とし
た場合は、オペアンプに対し、広い電圧範囲において高
いリニアリティーを要求することになる。と同時に、広
範囲でWijが変化しきれることが必要とされることにも
なるのである。

ところが、以下の理由により、Wijを広範囲で変化させ
ることは実現されていない。すなわち、上述の第４図に
みるように、ホプフィールドらのモデルによれば、オペ
アンプの入力電位φは、下式 φ＝（Σi Xj×Rij）／〔1/r＋Σｉ（1/Rij）〕で示される（Rij:それぞれの入力電位Xjに対する重み付
けのための抵抗値、r:感度調節用固定抵抗値）。ここ
で、入力電位φは、ΣiWij×Xjに比例しているので、定
数倍除いて同じと見なすことができるため、 |Wij|＝1/Rij と仮定できることとする。この両者の関係から、ある有
限の範囲内で抵抗値Rijが変化したときの結合の重み付
けWijの変化しうる幅は、非常に狭いものになってしま
う。そのため、信号のレベルが桁違いになった時に、そ
のままオペアンプの入力レベルが桁違いになってしま
い、オペアンプがそれに追随できずに素子は充分に機能
しないことになるのである。

以上の事情に鑑み、この発明は、有限の値でしか変化で
きない抵抗値により結合の重み付けの変化しうる幅が少
なくなることで、信号のレベルが桁違いに変化した時に
その変化を素子が拾いきれなくなることを防ぎ、入力信
号が桁違いであっても、充分に扱いやすい範囲の出力信
号が得られるような感度調節機能を備えた、感度調節機
能付き神経疑似素子を提供することを課題とする。

課題を解決するための手段上記課題を解決するため、発明者は、生体で行われてい
る、信号強度に対する広範囲での処理を可能としている
機能、すなわち、上記ウェーバの法則に相当する機能
を、神経疑似素子に持ち込むことを検討し、非線形抵抗
を用いることにより、後部増幅素子への入力電位を調節
することの有効性を見出して、この発明を完成させるに
至った。

したがって、この発明にかかる感度調節機能付き神経疑
似素子は、複数の入力信号の各々に重み付けをし、その
総和に相当する信号を送出する信号入力手段と、前記信
号入力手段から出力された信号を非線形的に調節する感
度調節手段と、前記感度調節手段により感度調節された
信号が入力され、前記入力された信号をもとに信号処理
を行う出力信号を出力する信号処理手段とを有する感度
調節機能付き神経疑似素子であって、前記感度調節手段
は、以下の式で表わされる非線形電圧電流特性を有する
ようになっている。

Ｉ＝Ａ×V^P（Ｐ＞１）〔ただし、I:感度調節手段の電流、V:感度調節手段の電
圧、A:定数〕上記複数の入力信号の重み付けの総和をとるためには、
たとえば、抵抗結合を用いることができる。

作用上述のように、第４図に示した、非線形抵抗を用いない
（固定抵抗ｒを用いた）構成における回路特性では、 Zi＝ｆ（ΣiWij×Xj−ｈ） φ＝（ΣiXj×Rij）／〔1/r＋Σｉ（1/Rij）〕と示され、φはΣi Wij×Xjに比例している。

他方、この発明にかかる感度調節機能付き神経疑似素子
は、第１図にみるように、感度調節手段２において非線
形抵抗ｒ′を用いた回路構成になっている。ここで、後
部増幅素子３への入力電位をφ′とすると、 Zi＝ｆ（Σi W′ij×Xj−ｈ） φ′＝（Σi Xj×Rij）／〔1/r′＋Σｉ（1/Rij）〕となる。すなわち、ｒ′は定数ではなく、ｒ′にかかる
電圧によって変化するため、φ′は、もはやΣi W′ij
×Xjに比例しなくなっている。しかし、上記ホプフィー
ルドモデルでのｆ（ −ｈ）の代わりに別のｆ′（ −
ｈ′）を用いて記述すれば、ホプフィールドモデルでの
素子との対応を損なうものではない。換言すると、ｆ
（ −ｈ）の形を変えたという以外の理論上の変更は存
在しないのである。そして、ウェーバの法則と類似した
振舞いというのは、このｆ（ −ｈ）の形を変えたとい
う点に集約される。

以上のことから、この発明にかかる感度調節機能付き神
経疑似素子は、ホプフィールドモデルとの数学的対応を
保ちながら、抵抗値を可変にして拡張されたホプフィー
ルドモデルを作ろうとする場合に生じうる問題点、すな
わち、信号の重み付け総和をとるときの重み付けの可変
性への要求の一部を、非線形抵抗に肩代わりさせ、重み
付けの可変性の条件を緩和することができる。

実施例以下に、図面を参照しつつ、この発明を詳しく説明す
る。

第１図にみるように、この発明にかかる感度調節機能付
き神経疑似素子は、信号入力手段１、感度調節手段２、
および信号処理手段３を備えており、以下に示すように
入力信号が処理される。

まず、上記信号入力手段１において、複数の入力信号に
対し個々に重み付けがなされ、それらの総和が出力され
る。ここで、この重み付けの総和をとるために、同図に
みるように、可変抵抗Rijによる抵抗結合が用いられる
ことが好ましいが、これに限定されることはない。

次に、上記感度調節手段２において、上記信号入力手段
からの出力信号が非線形的に調節され、信号処理手段３
への入力信号φ′が得られる。同感度調節手段２として
は、たとえば、同図にみるように、重み付けに対応する
可変抵抗Rijと直列につながれた非線形抵抗ｒ′を用
い、その中点から電位を得るようにすることができる。
この非線形抵抗ｒ′としては、たとえば、金属フタロシ
アニン蒸着膜等を好ましく使用できるが、非線形的な電
流電圧特性が得られるものであればよく、これに限定さ
れることはない。

上記感度調節手段２において感度調節がなされた信号
φ′は、信号処理手段３へ入力される。この信号処理手
段３としては、たとえば、オペアンプCMOS（シーモス）
等を用いて構成される後部増幅素子が利用できる。これ
らの後部増幅素子は、入力インピーダンスが極めて大き
いため、この後部増幅素子をつなぐことにより入力電位
が変化することはない。最終的に得られる出力信号Zi
は、通常、０から１の間の連続電位もしくは0,1の離散
電位として検知されるが、その他、たとえば３値以上の
段階的な信号として出力されてもよく、特に限定される
ことはない。

ここで、上記信号入力手段１における可変抵抗Rijの値
は、学巡の方法〔たとえばヘブ（Hebb）の学習則，誤り
訂正学習，相関学習等〕によって決まるものであり、入
力の電圧Xi自体によっては変動しない。一方、上記感度
調節手段２として、非線形の電圧電流特性を持つ非線形
抵抗ｒ′が用いられていると、以下に示すように、信号
処理手段３への入力電位にウェーバの法則に似た振る舞
いをさせることができる。

すなわち、非線形抵抗ｒ′は、たとえば、第２図に示さ
れたように、Ｉ＝Ａ×V^P（Ｐ＞１）〔ただし、V:電圧,I:電流,A:比例定数〕という電圧電流特性を持つ。つまり、電位差が大きくな
ると抵抗値が小さくなって、電流が流れやすくなる。し
たがって、これを第１図に示した神経疑似素子に適用す
ると、第３図にみるように、同非線形抵抗にかかる電位
差（感度調節された総和信号）が比例抵抗の場合に比べ
て小さくなるのである。ただし、正確には、上述のよう
に、ウェーバの法則では興奮の強度が信号の対数関数に
比例していることに対し、この例では信号のべき乗に比
例している。また、非線形の形が変わっても定性的な傾
向は一致する。

以上のことから、重み付けの変化が桁違いになることの
要求の一部を、非線形抵抗素子に肩代わりさせることが
でき、信号処理手段への入力信号の総和が大きくなって
も、桁違いの変化を生じにくくなるのである。

次に、この発明のさらに詳しい実施例について説明する
が、この発明が、下記一実施例に限定されるものではな
いことは言うまでもない。

実施例信号入力手段１の重み付けとして、簡略化のため、可変
抵抗を固定抵抗で置き換え、信号処理手段３としてはオ
ペアンプを用い、10本の入力線を上記固定抵抗Rijで結
線し、かつ、非線形抵抗ｒ′を介して接地（GND）し
て、第１図に示したような回路構成の感度調節機能付き
神経疑似素子を作製した。上記オペアンプとしては、入
力インピーダンスが約1MΩであるLM607を電源電圧±15V
で用いるようにした。また、非線形抵抗ｒ′には、鉛フ
タロシアニン蒸着膜の両面に電極を設けた素子を利用し
た。同非線形抵抗ｒ′の電圧電流特性を第２図に示す
が、これは、Ｖ＝５（Ｖ）でＩ＝0.02（mA）、Ｖ＝10
（Ｖ）でＩ＝0.16（mA）程度というように、電圧と共に
コンダクタンスI/Vが大きくなる、すなわち電圧と共に
抵抗値V/Iが小さくなる特性を持っており、非線形抵抗
ｒ′にかかる電圧が10V程度の時に、V/Iは63kΩの抵抗
値を示した。なお、入力信号電位は０〜15Vとした。

上記感度調節機能付き神経疑似素子において、簡単のた
め、入力信号の重み付け総和に相当する、Σｉ（Xj/Ri
j）に対する、オペアンプへの入力電位φ′を求め、結
果を第３図に示す。

第３図にみるように、上記実施例の神経疑似素子は、感
度調節手段により、入力信号の重み付けの総和の１乗よ
りは低いべき乗に比例する入力信号が得られるように構
成されており、感度調節に類する機能を持たせることが
できる。

発明の効果以上のように、この発明にかかる感度調節機能付き神経
疑似素子は、非線形的な調節が可能な感度調節手段を用
い、ホプフィールドモデルを若干変更した回路構成とな
っており、重み付けの変化の幅に対する要求を過大にす
ることなく、上記非線形的感度調節手段に肩代わりさせ
ることができる。したがって、信号のレベルを桁違いに
変化した時にその変化を素子が拾いきれなくなることを
防ぎ、入力信号が桁逸いであっても、充分に扱いやすい
範囲の出力信号が得られるようになっている。

【図面の簡単な説明】

第１図はこの発明にかかる感度調節機能付き神経疑似素
子の一実施例の構成を表す回路図、第２図は実施例で用
いた非線形抵抗の電圧電流特性を表す図、第３図は実施
例で得られた、入力電位の重み付けの総和とオペアンプ
への入力電位との関係を表す図、第４図はホプフィール
ドモデルによる従来の神経疑似素子の一構成を表す回路
図である。１…信号入力手段、２…感度調節手段、３…信号処理手
段、ｒ′…非線形抵抗。

───────────────────────────────────────────────────── フロントページの続き (72)発明者二梃木克洋神奈川県川崎市多摩区東三田３丁目10番１号松下技研株式会社内審査官林紘樹 (56)参考文献特開昭61−195470（ＪＰ，Ａ) 特開昭60−20641（ＪＰ，Ａ) 実開昭62−46901（ＪＰ，Ｕ)

Claims

【特許請求の範囲】

【請求項１】複数の入力信号の各々に重み付けをし、そ
の総和に相当する信号を送出する信号入力手段と、前記
信号入力手段から出力された信号を非線形的に調節する
感度調節手段と、前記感度調節手段により感度調節され
た信号が入力され、前記入力された信号をもとに信号処
理を行ない出力信号を出力する信号処理手段とを有する
感度調節機能付き神経疑似素子であって、前記感度調節
手段は、以下の式で表わされる非線形電圧電流特性を有
する感度調節機能付き神経疑似素子。Ｉ＝Ａ×V^P（Ｐ＞１）〔ただし、I:感度調節手段の電流、V:感度調節手段の電
圧、A:定数〕
【請求項２】複数の入力信号の各々に重み付けをしたそ
の総和は、抵抗結合により得られ、感度調節手段の非線
形電圧電流特性は、金属フタロシアニン蒸着膜によって
得られる請求項１記載の感度調節機能付き神経疑似素
子。