JP3264686B2 - 神経回路網装置 - Google Patents
神経回路網装置Info
- Publication number
- JP3264686B2 JP3264686B2 JP00993192A JP993192A JP3264686B2 JP 3264686 B2 JP3264686 B2 JP 3264686B2 JP 00993192 A JP00993192 A JP 00993192A JP 993192 A JP993192 A JP 993192A JP 3264686 B2 JP3264686 B2 JP 3264686B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- neural networks
- output
- input
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、神経回路網装置、特に
その神経回路網からの出力の信頼性を判断するための構
成に関するものである。
その神経回路網からの出力の信頼性を判断するための構
成に関するものである。
【０００２】
【従来の技術】従来より、例えば特開平1-183763号公報
に開示されているように、学習により構築された神経回
路網を備えた神経回路網装置が知られているが、この装
置における神経回路網は、学習およびテストした入力に
対してのみ出力が保証されており、未学習入力に対して
はどのような出力を出すか全く予測がつかない。このた
め、例えば、プリンタ印字の１から９までの数字を記憶
する数字認識装置を神経回路網で学習により構築するた
めには、まず、印字品質の異なる数種類の数字を学習用
入力とした学習を行い、次に、これら学習用入力とは異
なる印字品質の数字をテスト入力として与え、このとき
人間が期待する出力がでるかどうかをテストし、このテ
スト結果が期待する出力でないときは、上記テスト入力
を学習用入力につけ加え新たに学習を繰り返す、という
手法がとられている。これは、未学習の入力に対して神
経回路網の出力が妥当であるかどうかの判断が人間にし
かできないためである。
に開示されているように、学習により構築された神経回
路網を備えた神経回路網装置が知られているが、この装
置における神経回路網は、学習およびテストした入力に
対してのみ出力が保証されており、未学習入力に対して
はどのような出力を出すか全く予測がつかない。このた
め、例えば、プリンタ印字の１から９までの数字を記憶
する数字認識装置を神経回路網で学習により構築するた
めには、まず、印字品質の異なる数種類の数字を学習用
入力とした学習を行い、次に、これら学習用入力とは異
なる印字品質の数字をテスト入力として与え、このとき
人間が期待する出力がでるかどうかをテストし、このテ
スト結果が期待する出力でないときは、上記テスト入力
を学習用入力につけ加え新たに学習を繰り返す、という
手法がとられている。これは、未学習の入力に対して神
経回路網の出力が妥当であるかどうかの判断が人間にし
かできないためである。
【０００３】しかしながら、このような従来の神経回路
網装置においては次のような問題がある。すなわち、人
間がテスト入力に対する出力の妥当性判断を行わなけれ
ばならず、また、神経回路網は、既学習入力，テスト入
力，未学習入力のいかんにかかわらず、入力が提示され
れば必ず何らかの出力を出すのに対し、その出力が妥当
かどうかを神経回路網装置自らは判断できないため、学
習およびテスト時に想定しなかった入力が予想される環
境下では、信頼性の点で問題がある。
網装置においては次のような問題がある。すなわち、人
間がテスト入力に対する出力の妥当性判断を行わなけれ
ばならず、また、神経回路網は、既学習入力，テスト入
力，未学習入力のいかんにかかわらず、入力が提示され
れば必ず何らかの出力を出すのに対し、その出力が妥当
かどうかを神経回路網装置自らは判断できないため、学
習およびテスト時に想定しなかった入力が予想される環
境下では、信頼性の点で問題がある。
【０００４】これに対し、本出願人による先願である特
願平2-262076号の明細書に開示されているように、学習
成立時の神経回路網学習要素（シナプス伝達効率）が互
いに異なる複数の神経回路網を設け、これら各神経回路
網にそれぞれ同一パターンの入力を与えたときのこれら
各神経回路網からの出力相互間のパターンの一致度を検
出し、この一致度に基づいて各神経回路網の出力の信頼
性を判断するようにすれば、神経回路網の出力の信頼性
を装置自らが判断することが可能である。
願平2-262076号の明細書に開示されているように、学習
成立時の神経回路網学習要素（シナプス伝達効率）が互
いに異なる複数の神経回路網を設け、これら各神経回路
網にそれぞれ同一パターンの入力を与えたときのこれら
各神経回路網からの出力相互間のパターンの一致度を検
出し、この一致度に基づいて各神経回路網の出力の信頼
性を判断するようにすれば、神経回路網の出力の信頼性
を装置自らが判断することが可能である。
【０００５】
【発明が解決しようとする課題】しかしながら、このよ
うな神経回路網装置にあっては、学習成立時の学習要素
を各神経回路網相互間で異ならせるため、予め、乱数等
を用いて学習要素が異なる複数種類の神経回路網を作成
しておくこと（初期化）が必要であり、また、学習前に
複数神経回路網の学習要素が同一かどうかを調べる必要
があるなどの問題点があり、大量生産が困難であった。
うな神経回路網装置にあっては、学習成立時の学習要素
を各神経回路網相互間で異ならせるため、予め、乱数等
を用いて学習要素が異なる複数種類の神経回路網を作成
しておくこと（初期化）が必要であり、また、学習前に
複数神経回路網の学習要素が同一かどうかを調べる必要
があるなどの問題点があり、大量生産が困難であった。
【０００６】本発明は、このような事情に鑑みなされた
ものであって、神経回路網の出力の信頼性を装置自らが
判断することができ、しかも容易に大量生産することが
できる神経回路網装置を提供することを目的とするもの
である。
ものであって、神経回路網の出力の信頼性を装置自らが
判断することができ、しかも容易に大量生産することが
できる神経回路網装置を提供することを目的とするもの
である。
【０００７】
【課題を解決するための手段】本発明に係る神経回路網
装置は、神経回路網の構成に工夫を施すことにより、学
習要素を各神経回路網相互間で異ならせるための乱数等
を用いた初期化作業を不要とし、もって上記目的達成を
図るようにしたものである。
装置は、神経回路網の構成に工夫を施すことにより、学
習要素を各神経回路網相互間で異ならせるための乱数等
を用いた初期化作業を不要とし、もって上記目的達成を
図るようにしたものである。
【０００８】すなわち、請求項１記載の神経回路網装置
は、複数の神経回路網と、これら各神経回路網にそれぞ
れ同一パターンの入力を与えたときのこれら各神経回路
網からの出力相互間のパターンの一致度を検出する一致
度検出手段と、この一致度検出手段により検出された一
致度に基づいて前記各神経回路網の出力の信頼性を判断
する信頼性判断手段とを備えてなり、前記各神経回路網
には、該神経回路網への入力のパターンをこれら各神経
回路網毎に異なる変換態様で変換する入力情報表現変換
手段が設けられていることを特徴とするものである。
は、複数の神経回路網と、これら各神経回路網にそれぞ
れ同一パターンの入力を与えたときのこれら各神経回路
網からの出力相互間のパターンの一致度を検出する一致
度検出手段と、この一致度検出手段により検出された一
致度に基づいて前記各神経回路網の出力の信頼性を判断
する信頼性判断手段とを備えてなり、前記各神経回路網
には、該神経回路網への入力のパターンをこれら各神経
回路網毎に異なる変換態様で変換する入力情報表現変換
手段が設けられていることを特徴とするものである。
【０００９】また、請求項２記載の発明は、上記「入力
情報表現変換手段」に代えて、各神経回路網には、該神
経回路網からの出力のパターンをこれら各神経回路網毎
に異なる変換態様で変換する出力情報表現変換手段が設
けられていることを特徴とするものである。
情報表現変換手段」に代えて、各神経回路網には、該神
経回路網からの出力のパターンをこれら各神経回路網毎
に異なる変換態様で変換する出力情報表現変換手段が設
けられていることを特徴とするものである。
【００１０】上記「信頼性判断手段」は、一致度検出手
段により各神経回路網からの出力がすべて一致したこと
が検出されたとき、各神経回路網の出力に信頼性ありの
判断をし、それ以外のときには信頼性なしの判断をする
ような構成としてよいことはもちろんであるが、各神経
回路網からの出力相互間のパターンの一致度が所定の基
準値以上であるか否かにより信頼性有無の判断をするよ
うにしてもよい。この場合における上記「各神経回路網
の出力の信頼性」の判断の態様としては、各神経回路網
毎にそれぞれ信頼性有無の判断を行うようにしてもよい
し、上記複数の神経回路網全体としての信頼性有無の判
断あるいは信頼性の程度の判断を行うようにしてもよ
い。
段により各神経回路網からの出力がすべて一致したこと
が検出されたとき、各神経回路網の出力に信頼性ありの
判断をし、それ以外のときには信頼性なしの判断をする
ような構成としてよいことはもちろんであるが、各神経
回路網からの出力相互間のパターンの一致度が所定の基
準値以上であるか否かにより信頼性有無の判断をするよ
うにしてもよい。この場合における上記「各神経回路網
の出力の信頼性」の判断の態様としては、各神経回路網
毎にそれぞれ信頼性有無の判断を行うようにしてもよい
し、上記複数の神経回路網全体としての信頼性有無の判
断あるいは信頼性の程度の判断を行うようにしてもよ
い。
【００１１】
【発明の作用および効果】上記構成に示すように、複数
の神経回路網に同一の入力を与えたときの出力の一致度
が検出され、この一致度に基づいて各神経回路網からの
出力の信頼性の判断がなされるようになっているので、
人間の判断に頼ることなく、神経回路網装置自ら各神経
回路網からの出力の信頼性を判断することができる。し
たがって、神経回路網装置からの最終的な出力について
も、信頼性ありとの保証がなされた出力または信頼性の
程度が明らかにされた出力を得ることができ、神経回路
網装置の信頼性を飛躍的に向上させることができる。
の神経回路網に同一の入力を与えたときの出力の一致度
が検出され、この一致度に基づいて各神経回路網からの
出力の信頼性の判断がなされるようになっているので、
人間の判断に頼ることなく、神経回路網装置自ら各神経
回路網からの出力の信頼性を判断することができる。し
たがって、神経回路網装置からの最終的な出力について
も、信頼性ありとの保証がなされた出力または信頼性の
程度が明らかにされた出力を得ることができ、神経回路
網装置の信頼性を飛躍的に向上させることができる。
【００１２】しかも、請求項１記載の発明によれば、上
記各神経回路網には、該神経回路網への入力のパターン
をこれら各神経回路網毎に異なる変換態様で変換する入
力情報表現変換手段が設けられているので、神経回路網
自体は学習前の学習要素が各神経回路網相互間で同一で
あっても、入力情報表現変換手段をも含めた神経回路網
の状態では、学習前の学習要素は各神経回路網相互間で
異なったものとなる。したがって、神経回路網自体とし
ては、学習前の学習要素が異なるものを作る必要がな
く、また、学習前に各神経回路網の学習要素が同一かど
うか調べる必要もなくなる。
記各神経回路網には、該神経回路網への入力のパターン
をこれら各神経回路網毎に異なる変換態様で変換する入
力情報表現変換手段が設けられているので、神経回路網
自体は学習前の学習要素が各神経回路網相互間で同一で
あっても、入力情報表現変換手段をも含めた神経回路網
の状態では、学習前の学習要素は各神経回路網相互間で
異なったものとなる。したがって、神経回路網自体とし
ては、学習前の学習要素が異なるものを作る必要がな
く、また、学習前に各神経回路網の学習要素が同一かど
うか調べる必要もなくなる。
【００１３】同様に、請求項２記載の発明によれば、上
記各神経回路網には、該神経回路網からの出力のパター
ンをこれら各神経回路網毎に異なる変換態様で変換する
出力情報表現変換手段が設けられているので、神経回路
網自体は学習前の学習要素が各神経回路網相互間で同一
であっても、出力情報表現変換手段をも含めた神経回路
網の状態では、学習前の学習要素は各神経回路網相互間
で異なったものとなる。したがって、神経回路網自体と
しては、学習前の学習要素が異なるものを作る必要がな
く、また、学習前に各神経回路網の学習要素が同一かど
うか調べる必要もなくなる。
記各神経回路網には、該神経回路網からの出力のパター
ンをこれら各神経回路網毎に異なる変換態様で変換する
出力情報表現変換手段が設けられているので、神経回路
網自体は学習前の学習要素が各神経回路網相互間で同一
であっても、出力情報表現変換手段をも含めた神経回路
網の状態では、学習前の学習要素は各神経回路網相互間
で異なったものとなる。したがって、神経回路網自体と
しては、学習前の学習要素が異なるものを作る必要がな
く、また、学習前に各神経回路網の学習要素が同一かど
うか調べる必要もなくなる。
【００１４】なお、上記入力情報表現手段および出力情
報表現手段を併用してもよい。
報表現手段を併用してもよい。
【００１５】このように、本発明に係る神経回路網装置
は、各神経回路網の構成に工夫が施されているので、学
習要素を各神経回路網相互間で異ならせるための乱数等
を用いた初期化作業が不要であり、したがって、神経回
路網の出力の信頼性を装置自らが判断することができる
のみならず、同一の素子を大量に作成するＬＳＩ技術の
利点を利用できるため、これを容易に大量生産すること
ができる。
は、各神経回路網の構成に工夫が施されているので、学
習要素を各神経回路網相互間で異ならせるための乱数等
を用いた初期化作業が不要であり、したがって、神経回
路網の出力の信頼性を装置自らが判断することができる
のみならず、同一の素子を大量に作成するＬＳＩ技術の
利点を利用できるため、これを容易に大量生産すること
ができる。
【００１６】
【実施例】以下添付図面を参照しながら本発明の実施例
について詳述する。
について詳述する。
【００１７】図１は、本発明に係る神経回路網装置の第
１実施例を示す全体構成図である。
１実施例を示す全体構成図である。
【００１８】この神経回路網装置は、４つの神経回路網
１，２，３，４と、これら各神経回路網１〜４にそれぞ
れ同一パターンの入力を与えたときのこれら各神経回路
網１〜４からの出力相互間の一致度を検出する一致度検
出手段５と、この一致度検出手段５により検出された一
致度に基づいて各神経回路網１〜４の出力の信頼性を判
断する信頼性判断手段６とを備えてなり、各神経回路網
１〜４には、該神経回路網１〜４への入力のパターンを
これら各神経回路網１〜４毎に異なる変換態様で変換す
るためのプログラム可能回路７〜１０（入力情報表現変
換手段）が設けられている。
１，２，３，４と、これら各神経回路網１〜４にそれぞ
れ同一パターンの入力を与えたときのこれら各神経回路
網１〜４からの出力相互間の一致度を検出する一致度検
出手段５と、この一致度検出手段５により検出された一
致度に基づいて各神経回路網１〜４の出力の信頼性を判
断する信頼性判断手段６とを備えてなり、各神経回路網
１〜４には、該神経回路網１〜４への入力のパターンを
これら各神経回路網１〜４毎に異なる変換態様で変換す
るためのプログラム可能回路７〜１０（入力情報表現変
換手段）が設けられている。
【００１９】各神経回路網１〜４は、図２に示すよう
に、入力層，中間層および出力層の３層からなり、これ
ら各層はそれぞれ６個、３個、４個の神経細胞からなっ
ている。
に、入力層，中間層および出力層の３層からなり、これ
ら各層はそれぞれ６個、３個、４個の神経細胞からなっ
ている。
【００２０】上記各神経回路網１〜４および各プログラ
ム可能回路７〜１０は、それぞれ１チップの素子で構成
されている。
ム可能回路７〜１０は、それぞれ１チップの素子で構成
されている。
【００２１】上記各プログラム可能回路７〜１０は、図
３に示すように、入出力数が入力層の神経細胞数と同数
（６個）のゲートアレイからなり、これら各ゲートアレ
イには互いに異なるビット位置置換入力情報表現がプロ
グラムされており、１対１の入力情報表現変換を行うよ
うになっている。したがって、各神経回路網１〜４に同
一パターンの入力を与えたときでも、各プログラム可能
回路７〜１０を経た後の入力は、各神経回路網１〜４毎
に異なったパターンに変換されることとなる。
３に示すように、入出力数が入力層の神経細胞数と同数
（６個）のゲートアレイからなり、これら各ゲートアレ
イには互いに異なるビット位置置換入力情報表現がプロ
グラムされており、１対１の入力情報表現変換を行うよ
うになっている。したがって、各神経回路網１〜４に同
一パターンの入力を与えたときでも、各プログラム可能
回路７〜１０を経た後の入力は、各神経回路網１〜４毎
に異なったパターンに変換されることとなる。
【００２２】例えば、神経回路網１、２を代表して取り
上げると、 神経回路網１のゲートアレイには変換Ｆａをプログラム
し、 Ｆａ：１→２，２→１，３→４，４→３，５→６，６→
５ 神経回路網２のゲートアレイには変換Ｆｂをプログラム
すれば、 Ｆｂ：１→３，２→４，３→５，４→６，５→１，６→
２ （注：１→２とは入力１を入力２に置き換えること） 入力（１，１，１，０，０，０）に対する各神経回路の
変換後の入力は、 神経回路網１（１，１，０，１，０，０） 神経回路網２（１，０，０，０，１，１） となる。
上げると、 神経回路網１のゲートアレイには変換Ｆａをプログラム
し、 Ｆａ：１→２，２→１，３→４，４→３，５→６，６→
５ 神経回路網２のゲートアレイには変換Ｆｂをプログラム
すれば、 Ｆｂ：１→３，２→４，３→５，４→６，５→１，６→
２ （注：１→２とは入力１を入力２に置き換えること） 入力（１，１，１，０，０，０）に対する各神経回路の
変換後の入力は、 神経回路網１（１，１，０，１，０，０） 神経回路網２（１，０，０，０，１，１） となる。
【００２３】あるいは、近接ビット間演算を用いて、 神経回路網１のゲートアレイには変換Ｆａをプログラム
し、 Ｆａ：Ｘｉ＝（Ｘｉ＋Ｘmod(i+1,6)）／２ 神経回路網２のゲートアレイには変換Ｆｂをプログラム
すれば、 Ｆｂ：Ｘｉ＝（Ｘｉ＋Ｘmod(i-1,6)）／２ （注：mod(j,6)=if j=0 then 6,j=7 then 1 else j） 入力（１，１，１，０，０，０）に対する各神経回路の
変換後の入力は、 神経回路網１（１，１，0.5 ，０，０，0.5 ） 神経回路網２（0.5 ，１，１，0.5 ，０，０） となる。
し、 Ｆａ：Ｘｉ＝（Ｘｉ＋Ｘmod(i+1,6)）／２ 神経回路網２のゲートアレイには変換Ｆｂをプログラム
すれば、 Ｆｂ：Ｘｉ＝（Ｘｉ＋Ｘmod(i-1,6)）／２ （注：mod(j,6)=if j=0 then 6,j=7 then 1 else j） 入力（１，１，１，０，０，０）に対する各神経回路の
変換後の入力は、 神経回路網１（１，１，0.5 ，０，０，0.5 ） 神経回路網２（0.5 ，１，１，0.5 ，０，０） となる。
【００２４】このように、各神経回路網１〜４にはそれ
ぞれ上記のようなプログラムが施されたプログラム可能
回路７〜１０が設けられているので、たとえ神経回路網
自体としてはシナプス伝達効率の初期値が全く同じもの
を用いたものとしても、プログラム可能回路７〜１０を
含めて考えれば、各神経回路網１〜４毎に異なった初期
値が得られる。したがって、各神経回路網１〜４に対し
て同一パターンの入力を与えて学習させ、この学習がす
べての神経回路網１〜４において成立したときの各神経
回路網１〜４のシナプス伝達効率も当然に互いに異なっ
たものとなる。
ぞれ上記のようなプログラムが施されたプログラム可能
回路７〜１０が設けられているので、たとえ神経回路網
自体としてはシナプス伝達効率の初期値が全く同じもの
を用いたものとしても、プログラム可能回路７〜１０を
含めて考えれば、各神経回路網１〜４毎に異なった初期
値が得られる。したがって、各神経回路網１〜４に対し
て同一パターンの入力を与えて学習させ、この学習がす
べての神経回路網１〜４において成立したときの各神経
回路網１〜４のシナプス伝達効率も当然に互いに異なっ
たものとなる。
【００２５】上記各神経回路網１〜４に対する学習は、
誤差逆伝搬学習法［神経回路網の出力を正解（教師信
号）と比べることにより、出力側から入力側に向って順
次結合の重み（シナプス結合の伝達効率）を修正すると
いう“学習”アルゴリズム］に従っていくつかの入出力
関係について行われるようになっている。すなわち、ま
ず、１つの入出力関係を各神経回路網１〜４にそれぞれ
学習させ、これら４つの神経回路網１〜４すべてにおい
て学習成立がなされるまでその学習を繰り返す。そし
て、その学習成立後、次の入出力関係の学習に移行す
る。
誤差逆伝搬学習法［神経回路網の出力を正解（教師信
号）と比べることにより、出力側から入力側に向って順
次結合の重み（シナプス結合の伝達効率）を修正すると
いう“学習”アルゴリズム］に従っていくつかの入出力
関係について行われるようになっている。すなわち、ま
ず、１つの入出力関係を各神経回路網１〜４にそれぞれ
学習させ、これら４つの神経回路網１〜４すべてにおい
て学習成立がなされるまでその学習を繰り返す。そし
て、その学習成立後、次の入出力関係の学習に移行す
る。
【００２６】このようにして、いくつかの入出力関係に
ついて４つの神経回路網１〜４すべてにおける学習成立
がなされた場合、その後に与えられる入力が既学習入力
であれば４つの神経回路網１〜４の出力はいずれも正し
い値となり互いに一致するが、未学習入力であれば４つ
の単位神経回路網１〜４の出力はいずれも一定せず、こ
の場合４つの出力すべてが一致する確率は極めて低いも
のとなる。
ついて４つの神経回路網１〜４すべてにおける学習成立
がなされた場合、その後に与えられる入力が既学習入力
であれば４つの神経回路網１〜４の出力はいずれも正し
い値となり互いに一致するが、未学習入力であれば４つ
の単位神経回路網１〜４の出力はいずれも一定せず、こ
の場合４つの出力すべてが一致する確率は極めて低いも
のとなる。
【００２７】一致度検出手段５は、各神経回路網１〜４
の出力を受け、これら各神経回路網１〜４にそれぞれ同
一パターンの入力を与えたときのその出力相互間のパタ
ーンの一致度を、４つの神経回路網１〜４の出力のすべ
てが一致しているか否かにより検出するようになってい
る。すなわち、一致度検出手段５は、出力層の４個の神
経細胞の各々について４つの神経回路網１〜４の出力が
すべて一致しているか否かを判定し、これにより得られ
る４個の判定結果を一致度検出信号として出力するよう
になっている。
の出力を受け、これら各神経回路網１〜４にそれぞれ同
一パターンの入力を与えたときのその出力相互間のパタ
ーンの一致度を、４つの神経回路網１〜４の出力のすべ
てが一致しているか否かにより検出するようになってい
る。すなわち、一致度検出手段５は、出力層の４個の神
経細胞の各々について４つの神経回路網１〜４の出力が
すべて一致しているか否かを判定し、これにより得られ
る４個の判定結果を一致度検出信号として出力するよう
になっている。
【００２８】信頼性判断手段６は、上記４個の判定結果
がすべて「４つの神経回路網１〜４の出力がすべて一致
している」という判定結果となっているか否かをさらに
判定するようになっている。そして、この信頼性判断手
段６は、上記各神経回路網１〜４の出力が４個の神経細
胞すべてについて一致していると判定したときは、各神
経回路網１〜４の出力に信頼性ありとの判断をし、信頼
性ありの信号「１」と共に上記出力を神経回路網装置の
出力として外部に出力し、一方、上記出力のすべてが一
致していると判定しなかったときには、各神経回路網１
〜４の出力に信頼性なしとの判断をし、信頼性なしの信
号「０」と共に神経回路網装置の出力としてオールゼロ
を外部へ出力するようになっている。
がすべて「４つの神経回路網１〜４の出力がすべて一致
している」という判定結果となっているか否かをさらに
判定するようになっている。そして、この信頼性判断手
段６は、上記各神経回路網１〜４の出力が４個の神経細
胞すべてについて一致していると判定したときは、各神
経回路網１〜４の出力に信頼性ありとの判断をし、信頼
性ありの信号「１」と共に上記出力を神経回路網装置の
出力として外部に出力し、一方、上記出力のすべてが一
致していると判定しなかったときには、各神経回路網１
〜４の出力に信頼性なしとの判断をし、信頼性なしの信
号「０」と共に神経回路網装置の出力としてオールゼロ
を外部へ出力するようになっている。
【００２９】以上詳述したように、本実施例によれば、
学習成立時のシナプス伝達効率が互いに異なる複数の神
経回路網１〜４に同一の入力を与えたときの出力がすべ
て一致しているか否かによりその一致度が検出され、こ
の一致度に基づいて各神経回路網１〜４からの出力の信
頼性有無の判断がなされるようになっているので、人間
の判断に頼ることなく、神経回路網装置自ら各神経回路
網１〜４からの出力の信頼性の有無を判断することがで
きる。したがって、神経回路網装置からの最終的な出力
についても、信頼性の有無が明らかにされた出力を得る
ことができ、神経回路網装置の信頼性を飛躍的に向上さ
せることができる。
学習成立時のシナプス伝達効率が互いに異なる複数の神
経回路網１〜４に同一の入力を与えたときの出力がすべ
て一致しているか否かによりその一致度が検出され、こ
の一致度に基づいて各神経回路網１〜４からの出力の信
頼性有無の判断がなされるようになっているので、人間
の判断に頼ることなく、神経回路網装置自ら各神経回路
網１〜４からの出力の信頼性の有無を判断することがで
きる。したがって、神経回路網装置からの最終的な出力
についても、信頼性の有無が明らかにされた出力を得る
ことができ、神経回路網装置の信頼性を飛躍的に向上さ
せることができる。
【００３０】しかも、本実施例によれば、上記各神経回
路網１〜４にそれぞれプログラム可能回路７〜１０が設
けられているので、神経回路網１〜４自体は学習前のシ
ナプス伝達効率が各神経回路網１〜４相互間で同一であ
っても、プログラム可能回路７〜１０をも含めた神経回
路網の状態では、学習前のシナプス伝達効率は各神経回
路網１〜４相互間で異なったものとなる。したがって、
神経回路網１〜４自体としては、学習前のシナプス伝達
効率が異なるものを乱数等を用いて作る初期化作業の必
要がなく、また、学習前に各神経回路網１〜４のシナプ
ス伝達効率が同一かどうか調べる必要もなくなる。
路網１〜４にそれぞれプログラム可能回路７〜１０が設
けられているので、神経回路網１〜４自体は学習前のシ
ナプス伝達効率が各神経回路網１〜４相互間で同一であ
っても、プログラム可能回路７〜１０をも含めた神経回
路網の状態では、学習前のシナプス伝達効率は各神経回
路網１〜４相互間で異なったものとなる。したがって、
神経回路網１〜４自体としては、学習前のシナプス伝達
効率が異なるものを乱数等を用いて作る初期化作業の必
要がなく、また、学習前に各神経回路網１〜４のシナプ
ス伝達効率が同一かどうか調べる必要もなくなる。
【００３１】このように、本実施例によれば、神経回路
網の出力の信頼性を装置自らが判断することができるの
みならず、初期化作業が不要となるため、同一の素子を
大量に作成するＬＳＩ技術の利点を利用できるため、こ
れを容易に大量生産することができる。
網の出力の信頼性を装置自らが判断することができるの
みならず、初期化作業が不要となるため、同一の素子を
大量に作成するＬＳＩ技術の利点を利用できるため、こ
れを容易に大量生産することができる。
【００３２】図４は、本発明の第２実施例を示す要部構
成図である。
成図である。
【００３３】本実施例においては、第１実施例のプログ
ラム可能回路７〜８に代えて、各神経回路網１〜４に、
該神経回路網１〜４からの出力のパターンをこれら各神
経回路網１〜４毎に異なる変換態様で変換するためのプ
ログラム可能回路２７〜３０（出力情報表現変換手段）
が設けられている点で、第１実施例と異なるが、第１実
施例と同様の作用効果を得ることができる。
ラム可能回路７〜８に代えて、各神経回路網１〜４に、
該神経回路網１〜４からの出力のパターンをこれら各神
経回路網１〜４毎に異なる変換態様で変換するためのプ
ログラム可能回路２７〜３０（出力情報表現変換手段）
が設けられている点で、第１実施例と異なるが、第１実
施例と同様の作用効果を得ることができる。
【００３４】次に、本発明に係る神経回路網装置を応用
したエキスパートシステムについて説明する。
したエキスパートシステムについて説明する。
【００３５】従来のエキスパートシステムは、 if A1 and A2 and……An then Y=ANS1 などをルールとして用いて、ある結論や判定結果を導き
出すようになっている。ただし、Ａｉは真または偽の２
値であり、幅のある情報やノイズの含んだ情報を用いる
ことができない。このため、実世界の情報を用いて推論
を行うためには、エキスパートシステムの前処理とし
て、Ａｉを２値に規格化しなければならない。この規格
化のため、実世界の情報が伝わらず、推論能力が低くな
っている。
出すようになっている。ただし、Ａｉは真または偽の２
値であり、幅のある情報やノイズの含んだ情報を用いる
ことができない。このため、実世界の情報を用いて推論
を行うためには、エキスパートシステムの前処理とし
て、Ａｉを２値に規格化しなければならない。この規格
化のため、実世界の情報が伝わらず、推論能力が低くな
っている。
【００３６】実世界の情報を推論に有効に利用する手法
として、ファジーエキスパートシステムが用いられてい
る。しかし、このシステムの重要な要素である「メンバ
シップ関数」を、実現すべき推論から一義的に決める手
法はない。メンバシップ関数は人間の経験により、試行
錯誤的に決められている。このため、ｉｆ節の条件が複
雑になると、どのようなメンバシップ関数を用いればよ
いかが判らなくなり、複雑な推論をファジーエキスパー
トシステムで実現することが困難になっている。
として、ファジーエキスパートシステムが用いられてい
る。しかし、このシステムの重要な要素である「メンバ
シップ関数」を、実現すべき推論から一義的に決める手
法はない。メンバシップ関数は人間の経験により、試行
錯誤的に決められている。このため、ｉｆ節の条件が複
雑になると、どのようなメンバシップ関数を用いればよ
いかが判らなくなり、複雑な推論をファジーエキスパー
トシステムで実現することが困難になっている。
【００３７】これに対し、本発明に係る神経回路網装置
を応用したエキスパートシステムは、その応用例として
図５に示すように、上記神経回路網装置を複数個（４
個）並列配置してなる構成体（以下「ＣＳＮＮ」とい
う）６２と、推論収束判定部６４と、推論結果出力部６
６とから構成され、神経回路網の学習能力および曖昧情
報処理能力を活用するようにしたものである。すなわち
「学習能力」により、複雑な推論を実現でき、「曖昧処
理能力」により、実世界の情報を用いた推論を実現する
ことができるようにしたものである。
を応用したエキスパートシステムは、その応用例として
図５に示すように、上記神経回路網装置を複数個（４
個）並列配置してなる構成体（以下「ＣＳＮＮ」とい
う）６２と、推論収束判定部６４と、推論結果出力部６
６とから構成され、神経回路網の学習能力および曖昧情
報処理能力を活用するようにしたものである。すなわち
「学習能力」により、複雑な推論を実現でき、「曖昧処
理能力」により、実世界の情報を用いた推論を実現する
ことができるようにしたものである。
【００３８】上記ＣＳＮＮ６２を構成する各神経回路網
装置Ｕ１〜Ｕ４には、互いに異なるルール１〜４の学習
がそれぞれ予め施されている。また、推論収束判定部６
４は、各神経回路網装置Ｕ１〜Ｕ４の信頼性信号がすべ
て「０」と出力されたときは収束、それ以外のときは未
収束と判定するようになっている。そして、推論結果出
力部６６は、推論収束判定部６４が収束の判定をすれ
ば、そのときの入力を推論結果として出力し、それ以外
はオールゼロを出力するようになっている。上記推論収
束判定部６４は、未収束と判定した場合には、この未収
束の原因となった信号性信号「１」を出力した神経回路
網装置Ｕｉの出力をＣＳＮＮに入力するようになってい
る。
装置Ｕ１〜Ｕ４には、互いに異なるルール１〜４の学習
がそれぞれ予め施されている。また、推論収束判定部６
４は、各神経回路網装置Ｕ１〜Ｕ４の信頼性信号がすべ
て「０」と出力されたときは収束、それ以外のときは未
収束と判定するようになっている。そして、推論結果出
力部６６は、推論収束判定部６４が収束の判定をすれ
ば、そのときの入力を推論結果として出力し、それ以外
はオールゼロを出力するようになっている。上記推論収
束判定部６４は、未収束と判定した場合には、この未収
束の原因となった信号性信号「１」を出力した神経回路
網装置Ｕｉの出力をＣＳＮＮに入力するようになってい
る。
【００３９】上記エキスパートシステムの具体例とし
て、画像を入力とし、定義したルールに基づいて推論結
果の画像を出す画像推論装置について説明する。以下の
ルールＲｉを神経回路網装置Ｕｉに学習させたＣＳＮＮ
を構築する。
て、画像を入力とし、定義したルールに基づいて推論結
果の画像を出す画像推論装置について説明する。以下の
ルールＲｉを神経回路網装置Ｕｉに学習させたＣＳＮＮ
を構築する。
【００４０】 Ｒ１：ＡならばＢ Ｒ２：ＢならばＣ Ｒ３：ＣならばＤ Ｒ４：ＤならばＥ ただし、入力数６４、出力数６４のパーセプトロン型神
経回路網５つで１つの神経回路網装置Ｕｉを構成する。
学習アルゴリズムには誤り訂正学習を用い、入力には各
画像の８×８ビットマップの情報表現を用いる。
経回路網５つで１つの神経回路網装置Ｕｉを構成する。
学習アルゴリズムには誤り訂正学習を用い、入力には各
画像の８×８ビットマップの情報表現を用いる。
【００４１】この装置で入力ＡからＥを推論できること
を以下のステップによって示す。
を以下のステップによって示す。
【００４２】(1) Ａを入力する。
【００４３】(2) Ｕ１のみがＢを出し、それ以外のＵｉ
は「０」を出力する。
は「０」を出力する。
【００４４】(3) ＣＳＮＮ出力がＢであるため、推論収
束判定部は未収束の判定を出し、Ｂを新たな入力とす
る。
束判定部は未収束の判定を出し、Ｂを新たな入力とす
る。
【００４５】(4) Ｕ２のみがＣを出し、それ以外のＵｉ
は「０」を出力する。
は「０」を出力する。
【００４６】(5) ＣＳＮＮ出力がＣであるため、推論収
束判定部は未収束の判定を出し、Ｃを新たな入力とす
る。
束判定部は未収束の判定を出し、Ｃを新たな入力とす
る。
【００４７】(6) Ｕ３のみがＤを出し、それ以外のＵｉ
は「０」を出力する。
は「０」を出力する。
【００４８】(7) ＣＳＮＮ出力がＤであるため、推論収
束判定部は未収束の判定を出し、Ｄを新たな入力とす
る。
束判定部は未収束の判定を出し、Ｄを新たな入力とす
る。
【００４９】(8) Ｕ４のみがＥを出し、それ以外のＵｉ
は「０」を出力する。
は「０」を出力する。
【００５０】(9) ＣＳＮＮ出力がＥであるため、推論収
束判定部は未収束の判定を出し、Ｅを新たな入力とす
る。
束判定部は未収束の判定を出し、Ｅを新たな入力とす
る。
【００５１】(10)すべてのＵｉが「０」を出力する。
【００５２】(11)ＣＳＮＮ出力が「０」であるため、推
論収束判定部は収束の判定を出し、推論結果出力部は、
この時の入力、つまりＥを推論結果として出力する。
論収束判定部は収束の判定を出し、推論結果出力部は、
この時の入力、つまりＥを推論結果として出力する。
【００５３】入力Ａにノイズが加わり入力画像がわずか
にＡと異なっても、神経回路網装置Ｕ１はＢの出力を出
す。したがって、ノイズを含んだ入力に対しても正しい
推論が行われ、推論結果Ｅが得られる。
にＡと異なっても、神経回路網装置Ｕ１はＢの出力を出
す。したがって、ノイズを含んだ入力に対しても正しい
推論が行われ、推論結果Ｅが得られる。
【００５４】つまり、本発明に係る神経回路網装置を応
用すれば、学習によりルールを構築でき、かつ、ノイズ
にも強いエキスパートシステムを実現することができ
る。また、ＣＳＮＮの特徴から、新たなルールを付け加
えるためには、新たなルールを学習させた神経回路網装
置を付け加えることで容易にこれを実現することができ
る。
用すれば、学習によりルールを構築でき、かつ、ノイズ
にも強いエキスパートシステムを実現することができ
る。また、ＣＳＮＮの特徴から、新たなルールを付け加
えるためには、新たなルールを学習させた神経回路網装
置を付け加えることで容易にこれを実現することができ
る。
【図１】本発明に係る神経回路網装置の第１実施例を示
す全体構成図
す全体構成図
【図２】上記実施例における各神経回路網を示す構成図
【図３】上記実施例におけるプログラム可能回路を示す
構成図
構成図
【図４】本発明の第２実施例を示す要部構成図
【図５】本発明に係る神経回路網装置のエキスパートシ
ステムへの応用例を示す構成図
ステムへの応用例を示す構成図
１、２、３、４ 神経回路網 ５ 一致度検出手段 ６ 信頼性判断手段 ７、８、９、１０ プログラム可能回路（入力情報表
現変換手段） ２７、２８、２９、３０ プログラム可能回路（出力
情報表現変換手段） Ｕ１、Ｕ２、Ｕ３、Ｕ４ 神経回路網装置
現変換手段） ２７、２８、２９、３０ プログラム可能回路（出力
情報表現変換手段） Ｕ１、Ｕ２、Ｕ３、Ｕ４ 神経回路網装置
フロントページの続き (56)参考文献 城坂晃正，「コラム構造神経回路 網」，電子情報通信学会技術研究報告, 日本，社団法人電子情報通信学会・発 行，1991年 ３月18日，ＶＯＬ．90，Ｎ Ｏ．483（ＮＣ90−68〜111），ｐｐ. 249−254，特許庁ＣＳＤＢ文献番号：Ｃ ＳＮＴ199900646039 (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 1/00 - 7/00 G06G 7/60 ＣＳＤＢ（日本国特許庁) ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (2)
- 【請求項１】 複数の神経回路網と、これら各神経回路
網にそれぞれ同一パターンの入力を与えたときのこれら
各神経回路網からの出力相互間のパターンの一致度を検
出する一致度検出手段と、 この一致度検出手段により検出された一致度に基づいて
前記各神経回路網の出力の信頼性を判断する信頼性判断
手段とを備えてなり、 前記各神経回路網には、該神経回路網への入力のパター
ンをこれら各神経回路網毎に異なる変換態様で変換する
入力情報表現変換手段が設けられていることを特徴とす
る神経回路網装置。 - 【請求項２】 複数の神経回路網と、 これら各神経回路網にそれぞれ同一パターンの入力を与
えたときのこれら各神経回路網からの出力相互間のパタ
ーンの一致度を検出する一致度検出手段と、 この一致度検出手段により検出された一致度に基づいて
前記各神経回路網の出力の信頼性を判断する信頼性判断
手段とを備えてなり、 前記各神経回路網には、該神経回路網からの出力のパタ
ーンをこれら各神経回路網毎に異なる変換態様で変換す
る出力情報表現変換手段が設けられていることを特徴と
する神経回路網装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00993192A JP3264686B2 (ja) | 1992-01-23 | 1992-01-23 | 神経回路網装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00993192A JP3264686B2 (ja) | 1992-01-23 | 1992-01-23 | 神経回路網装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05197704A JPH05197704A (ja) | 1993-08-06 |
| JP3264686B2 true JP3264686B2 (ja) | 2002-03-11 |
Family
ID=11733809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00993192A Expired - Fee Related JP3264686B2 (ja) | 1992-01-23 | 1992-01-23 | 神経回路網装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3264686B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018214921A1 (de) * | 2018-09-03 | 2020-03-05 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Anordnung und Verfahren zur Steuerung einer Vorrichtung |
-
1992
- 1992-01-23 JP JP00993192A patent/JP3264686B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 城坂晃正，「コラム構造神経回路網」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会・発行，１９９１年 ３月１８日，ＶＯＬ．９０，ＮＯ．４８３（ＮＣ９０−６８〜１１１），ｐｐ．２４９−２５４，特許庁ＣＳＤＢ文献番号：ＣＳＮＴ１９９９００６４６０３９ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05197704A (ja) | 1993-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Castillo | Functional networks | |
| Li et al. | Multi-agent system based distributed pattern search algorithm for non-convex economic load dispatch in smart grid | |
| US5107454A (en) | Pattern associative memory system | |
| CN115913635A (zh) | 基于安全图谱神经网络实现主动欺骗防御策略自适应方法 | |
| EP1038260B1 (en) | Neural networks | |
| KR20200108173A (ko) | 스파이킹 뉴럴 네트워크에 대한 연산량을 감소시키는 stdp 기반의 뉴로모픽 연산처리장치 | |
| Pandey et al. | Error resilient neuromorphic networks using checker neurons | |
| US5257343A (en) | Intelligence information processing system | |
| US5317675A (en) | Neural network pattern recognition learning method | |
| JP3264686B2 (ja) | 神経回路網装置 | |
| Zheng et al. | Rethinking the reliability of multi-agent system: A perspective from byzantine fault tolerance | |
| US5870399A (en) | Telecommunications system comprising a communications protocol analyzer which comprises a neural network that obviates the need for a database | |
| CN120956493A (zh) | 一种基于联邦学习的跨园区企业数据协同分析方法 | |
| JP2002342739A (ja) | 通信ネットワークを介したニューラルネットワーク処理システム及びそのプログラムを格納したプログラム記憶媒体 | |
| Böhme et al. | Comparison of autoassociative neural networks and Kohonen maps for signal failure detection and reconstruction | |
| Salman et al. | Adaptive linkage crossover | |
| CN119202381A (zh) | 融合知识图谱与深度学习的自动扶梯运维知识推荐方法 | |
| Madani et al. | Image processing using RBF like neural networks: A ZISC-036 based fully parallel implementation solving real world and real complexity industrial problems | |
| JP2000172662A (ja) | ニューラルネットワークの学習方法 | |
| Murphy et al. | Neural network recognition of electronic malfunctions | |
| JP3171897B2 (ja) | 知識情報処理装置 | |
| KR102209121B1 (ko) | 딥러닝 머신의 신뢰도 판단 방법 | |
| JP2001243210A (ja) | 並列ニューラルネットワーク装置 | |
| JP2002259940A (ja) | 出力状態判定機能を有する並列ニューラルネットワーク処理システム | |
| Seike et al. | Towards Smart Contracts for Verifying DNN Model Generation Process with the Blockchain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |