JP3262340B2 - 情報処理装置 - Google Patents
情報処理装置Info
- Publication number
- JP3262340B2 JP3262340B2 JP40225290A JP40225290A JP3262340B2 JP 3262340 B2 JP3262340 B2 JP 3262340B2 JP 40225290 A JP40225290 A JP 40225290A JP 40225290 A JP40225290 A JP 40225290A JP 3262340 B2 JP3262340 B2 JP 3262340B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- information processing
- signal
- mode
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、神経回路網を模した情
報処理装置に関するものである。
報処理装置に関するものである。
【０００２】
【従来の技術】近年、神経回路網を模した情報処理装置
の開発が進み、文字認識装置などのパターン分類装置等
で盛んに利用されるようになってきた。このような情報
処理装置は、たとえば、文献（ＰＤＰモデル、Ｄ．Ｅ．
ラメルハート 他２名、甘利俊一監訳、１９８９年）に
記載された構成が知られている。
の開発が進み、文字認識装置などのパターン分類装置等
で盛んに利用されるようになってきた。このような情報
処理装置は、たとえば、文献（ＰＤＰモデル、Ｄ．Ｅ．
ラメルハート 他２名、甘利俊一監訳、１９８９年）に
記載された構成が知られている。
【０００３】以下、図４を参照してその構成を簡単に説
明する。図４は第１層Ｘ，第２層Ｙ，第３層Ｚの３層構
造を有する神経回路網を模した情報処理装置の概略構成
を示している。１Ｘ，１Ｙ，１Ｚは、内部に線形変換部
と非線形変換部とからなる神経素子を一般には複数個持
つ信号変換回路である。２Ｘ，２Ｙ，２Ｚは信号変換回
路１Ｘ，１Ｙ，１Ｚ内の線形変換部の特性を書き換える
修正回路である。３は理想出力Ｔと現実の出力Ｓ(z) か
ら修正回路２Ｚに送るべき誤差信号Ｄ(z) を算出する誤
差計算回路である。
明する。図４は第１層Ｘ，第２層Ｙ，第３層Ｚの３層構
造を有する神経回路網を模した情報処理装置の概略構成
を示している。１Ｘ，１Ｙ，１Ｚは、内部に線形変換部
と非線形変換部とからなる神経素子を一般には複数個持
つ信号変換回路である。２Ｘ，２Ｙ，２Ｚは信号変換回
路１Ｘ，１Ｙ，１Ｚ内の線形変換部の特性を書き換える
修正回路である。３は理想出力Ｔと現実の出力Ｓ(z) か
ら修正回路２Ｚに送るべき誤差信号Ｄ(z) を算出する誤
差計算回路である。
【０００４】次に上記情報処理装置の動作について説明
する。なお、神経回路網を模した情報処理装置において
は、信号は複数が並列に流れてゆく場合が大半である
が、これをすべて添え字で区別するのは表現を煩雑にす
るだけなので、以下の説明においては、特に必要がない
場合には添え字を省略する。
する。なお、神経回路網を模した情報処理装置において
は、信号は複数が並列に流れてゆく場合が大半である
が、これをすべて添え字で区別するのは表現を煩雑にす
るだけなので、以下の説明においては、特に必要がない
場合には添え字を省略する。
【０００５】神経回路網を模した情報処理装置の学習時
の動作では、信号変換回路１Ｘは、入力された信号Ｓ
(i) を信号Ｓ(x) に変換して出力するが、修正回路２Ｘ
は、信号Ｓ(i) と信号Ｓ(x) を内部に蓄えて誤差信号Ｄ
(x) の入力まで待機する。同様の処理が信号変換回路１
Ｙ，１Ｚおよび修正回路２Ｙ，２Ｚにおいてもなされ
る。そして、最終の出力Ｓ( z)と、入力信号Ｓ(i) に対
応する理想出力、教師信号とも呼ばれるＴとが誤差計算
回路３に送られる。誤差計算回路３では、出力信号Ｓ
(z) と教師信号Ｔとから、第３層Ｚのｊ番目の神経素子
に関する誤差信号Ｄj(z)を、例えば、
の動作では、信号変換回路１Ｘは、入力された信号Ｓ
(i) を信号Ｓ(x) に変換して出力するが、修正回路２Ｘ
は、信号Ｓ(i) と信号Ｓ(x) を内部に蓄えて誤差信号Ｄ
(x) の入力まで待機する。同様の処理が信号変換回路１
Ｙ，１Ｚおよび修正回路２Ｙ，２Ｚにおいてもなされ
る。そして、最終の出力Ｓ( z)と、入力信号Ｓ(i) に対
応する理想出力、教師信号とも呼ばれるＴとが誤差計算
回路３に送られる。誤差計算回路３では、出力信号Ｓ
(z) と教師信号Ｔとから、第３層Ｚのｊ番目の神経素子
に関する誤差信号Ｄj(z)を、例えば、
【０００６】Ｄj(z)＝−μ（Ｓj(z)−Ｔj ） ここに、μは正の定数 と計算し、これをまとめた誤差信号Ｄ(z) が修正回路２
Ｚに送られる。修正回路２Ｚは、保持している信号Ｓ
(y) ，Ｓ(z) と誤差信号Ｄ(z) を受けて修正信号Ｍ(z)
を信号変換回路１Ｚに送り、信号変換回路１Ｚ内のｊ番
目の神経素子と信号変換回路１Ｙ内の神経素子の間の線
形変換部の結合の強さＷji(z) を、
Ｚに送られる。修正回路２Ｚは、保持している信号Ｓ
(y) ，Ｓ(z) と誤差信号Ｄ(z) を受けて修正信号Ｍ(z)
を信号変換回路１Ｚに送り、信号変換回路１Ｚ内のｊ番
目の神経素子と信号変換回路１Ｙ内の神経素子の間の線
形変換部の結合の強さＷji(z) を、
【０００７】Ｗji(z) ＋Ｄj(z)・ Ｓj(z)・(１−Ｓj(z))・
Ｓi(y)に修正し、誤差信号Ｄ(y) として、例えば、
Ｓi(y)に修正し、誤差信号Ｄ(y) として、例えば、
【０００８】ΣＤj(z)・ Ｓj(z)・(１−Ｓj(z))・Ｗji(z) を修正回路２Ｙに送る。以下、同様の処理が信号変換回
路１Ｙ，１Ｘおよび修正回路２Ｙ，２Ｘにおいてなされ
る。この学習と呼ばれる手続きを繰り返すことにより、
神経回路網を模した情報処理装置は、入力される信号Ｓ
(i) と理想出力Ｔとの間の関係を身につけ、新しい入力
に対しても過去の経験から推量される適切な出力を出す
ようになる。
路１Ｙ，１Ｘおよび修正回路２Ｙ，２Ｘにおいてなされ
る。この学習と呼ばれる手続きを繰り返すことにより、
神経回路網を模した情報処理装置は、入力される信号Ｓ
(i) と理想出力Ｔとの間の関係を身につけ、新しい入力
に対しても過去の経験から推量される適切な出力を出す
ようになる。
【０００９】このようにして、神経回路網を模した情報
処理装置が十分な学習を行ない、誤差計算回路３から出
力される誤差Ｄ(z) が一定値より小さくなると、修正回
路２Ｚ，２Ｙ，２Ｘに掛かる手続きは割愛され、入力か
ら出力への前方向のみの処理が行なわれるようになる。
処理装置が十分な学習を行ない、誤差計算回路３から出
力される誤差Ｄ(z) が一定値より小さくなると、修正回
路２Ｚ，２Ｙ，２Ｘに掛かる手続きは割愛され、入力か
ら出力への前方向のみの処理が行なわれるようになる。
【００１０】このような学習方法は、収束に時間がかか
るため、学習を高速化するための工夫が、例えば特開平
１−３２０５６５号公報に開示されている。そこに示さ
れた学習効率化方法は、いくつかの学習パラメータ（ス
テップサイズを決めるパラメータη、モーメンタム量を
調整するパラメータα）の組を用意し、それぞれについ
て学習を進め、設定された回数毎にそれぞれの場合の誤
差を計算して最も誤差の少ない学習パラメータを選択す
るというものである。
るため、学習を高速化するための工夫が、例えば特開平
１−３２０５６５号公報に開示されている。そこに示さ
れた学習効率化方法は、いくつかの学習パラメータ（ス
テップサイズを決めるパラメータη、モーメンタム量を
調整するパラメータα）の組を用意し、それぞれについ
て学習を進め、設定された回数毎にそれぞれの場合の誤
差を計算して最も誤差の少ない学習パラメータを選択す
るというものである。
【００１１】
【発明が解決しようとする課題】しかしながら、上記従
来の学習効率化方法では、学習の効率化といっても複数
の学習パラメータに対する誤差計算を設定された回数毎
に行なうので、膨大な計算量が必要になるという問題が
あった。
来の学習効率化方法では、学習の効率化といっても複数
の学習パラメータに対する誤差計算を設定された回数毎
に行なうので、膨大な計算量が必要になるという問題が
あった。
【００１２】本発明は、このような従来の問題を解決す
るものであり、より効率的な学習を行なうことのできる
神経回路網を模した情報処理装置を提供することを目的
とする。
るものであり、より効率的な学習を行なうことのできる
神経回路網を模した情報処理装置を提供することを目的
とする。
【００１３】
【課題を解決するための手段】本発明は、上記目的を達
成するために、複数のシナプス荷重を持った神経素子を
有する神経回路網を模した情報処理装置であって、前記
シナプス荷重を修正する複数個の学習モードを有し、該
複数個の学習モードは、一つの入力信号が入力される毎
に結合の強さを修正するモードと、設定された複数回数
だけ入力信号が入力されたときに結合の強さを修正する
モードとであり、前記神経素子の出力誤差に応じて前記
複数個の学習モードを切り替えるようにしたものであ
る。
成するために、複数のシナプス荷重を持った神経素子を
有する神経回路網を模した情報処理装置であって、前記
シナプス荷重を修正する複数個の学習モードを有し、該
複数個の学習モードは、一つの入力信号が入力される毎
に結合の強さを修正するモードと、設定された複数回数
だけ入力信号が入力されたときに結合の強さを修正する
モードとであり、前記神経素子の出力誤差に応じて前記
複数個の学習モードを切り替えるようにしたものであ
る。
【００１４】
【作用】本発明は、上記構成により、シナプス荷重を修
正する複数個の学習モードを神経素子の出力誤差に応じ
て切り替えることにより、学習初期に適した学習モード
と学習後期に適した学習モードとを切り替えることがで
き、効率のよい学習を行なうことができる。
正する複数個の学習モードを神経素子の出力誤差に応じ
て切り替えることにより、学習初期に適した学習モード
と学習後期に適した学習モードとを切り替えることがで
き、効率のよい学習を行なうことができる。
【００１５】
【実施例】以下、本発明の実施例について添付図面を参
照しながら説明する。図１は本発明の一実施例における
情報処理装置の概略構成を示すブロック図である。この
情報処理装置は、入力側から第１層Ｘ、第２層Ｙ、第３
層Ｚの３層構造を有している。１１Ｘ，１１Ｙ，１１Ｚ
は信号変換回路であり、１２Ｘ，１２Ｙ，１２Ｚは修正
回路である。１３は誤差計算回路であり、１４は制御回
路である。
照しながら説明する。図１は本発明の一実施例における
情報処理装置の概略構成を示すブロック図である。この
情報処理装置は、入力側から第１層Ｘ、第２層Ｙ、第３
層Ｚの３層構造を有している。１１Ｘ，１１Ｙ，１１Ｚ
は信号変換回路であり、１２Ｘ，１２Ｙ，１２Ｚは修正
回路である。１３は誤差計算回路であり、１４は制御回
路である。
【００１６】図２は図１に示す情報処理装置における修
正回路１２Ｘ，１２Ｙ，１２Ｚの具体的な構成例を示す
ブロック図である。１２１は第１修正回路であり、１２
２は第２修正回路であり、１２３は切り替え回路であ
る。
正回路１２Ｘ，１２Ｙ，１２Ｚの具体的な構成例を示す
ブロック図である。１２１は第１修正回路であり、１２
２は第２修正回路であり、１２３は切り替え回路であ
る。
【００１７】以下、図１および図２を参照して上記実施
例の動作について説明する。なお、本実施例において
は、情報処理装置は誤差計算モードと学習モードとを有
する。
例の動作について説明する。なお、本実施例において
は、情報処理装置は誤差計算モードと学習モードとを有
する。
【００１８】誤差計算モードは、信号変換回路１１Ｘ，
１１Ｙ，１１Ｚの内部状態を変更することなく前向きの
計算を実行し、誤差を計算するモードである。このモー
ドは、学習開始時と、学習方法にもよるが、普通は設定
された回数毎に実行される。
１１Ｙ，１１Ｚの内部状態を変更することなく前向きの
計算を実行し、誤差を計算するモードである。このモー
ドは、学習開始時と、学習方法にもよるが、普通は設定
された回数毎に実行される。
【００１９】学習モードは、制御回路１４からの制御信
号によって選択された学習方法に従って学習を進めるモ
ードである。例えば誤差逆伝播法を用いる場合、学習初
期の学習方法としては、入力を受ける毎にシナプス荷重
を修正する方法が有利であり、誤差が一定の割合に減少
した後は、複数、できれば入力分布を統計的に推測でき
るだけの回数入力を受けたのち、一度にシナプス荷重を
修正する方法の方が有利となる。以下の説明において
は、上記二つの学習アルゴリズムを有する多層パーセプ
トロンを例として説明するが、図２に示した修正回路１
２Ｘ，１２Ｙ，１２Ｚ内の第１修正回路１２１は、前者
の学習アルゴリズムに従って動作し、第２修正回路１２
２は、後者の学習アルゴリズムに従って動作するものと
する。
号によって選択された学習方法に従って学習を進めるモ
ードである。例えば誤差逆伝播法を用いる場合、学習初
期の学習方法としては、入力を受ける毎にシナプス荷重
を修正する方法が有利であり、誤差が一定の割合に減少
した後は、複数、できれば入力分布を統計的に推測でき
るだけの回数入力を受けたのち、一度にシナプス荷重を
修正する方法の方が有利となる。以下の説明において
は、上記二つの学習アルゴリズムを有する多層パーセプ
トロンを例として説明するが、図２に示した修正回路１
２Ｘ，１２Ｙ，１２Ｚ内の第１修正回路１２１は、前者
の学習アルゴリズムに従って動作し、第２修正回路１２
２は、後者の学習アルゴリズムに従って動作するものと
する。
【００２０】まず、学習開始に際して、制御回路１４が
リセットされ、制御回路１４は修正回路１２Ｚ，１２
Ｙ，１２Ｘに誤差計算モード用の制御信号を出力する。
これに基づいて誤差の計算が実行され、その結果が初期
誤差として制御回路１４に保持される。
リセットされ、制御回路１４は修正回路１２Ｚ，１２
Ｙ，１２Ｘに誤差計算モード用の制御信号を出力する。
これに基づいて誤差の計算が実行され、その結果が初期
誤差として制御回路１４に保持される。
【００２１】次に制御回路１４は、学習初期に適した学
習方法を選択する制御信号を修正回路１２Ｚ，１２Ｙ，
１２Ｘ内の切り替え回路１２３に送り、まず初めに第１
修正回路１２１が選択されて学習が開始される。なお、
本実施例の構成では、動作しない修正回路は、出力を０
としている。
習方法を選択する制御信号を修正回路１２Ｚ，１２Ｙ，
１２Ｘ内の切り替え回路１２３に送り、まず初めに第１
修正回路１２１が選択されて学習が開始される。なお、
本実施例の構成では、動作しない修正回路は、出力を０
としている。
【００２２】切り替え回路１２３によって選択された第
１修正回路１２１の学習アルゴリズムは、入力を受ける
毎にシナプス荷重を修正する方法であり、従来例におい
て説明したのと同様の動作をする。
１修正回路１２１の学習アルゴリズムは、入力を受ける
毎にシナプス荷重を修正する方法であり、従来例におい
て説明したのと同様の動作をする。
【００２３】学習の進行にともない出力誤差が一定割合
に減少すると、制御回路１４は制御信号を発し、切り替
え回路１２３を動作させる。切り替え回路１２３は、第
１修正回路１２１を停め、第２修正回路１２２を動作さ
せ、複数、できれば入力分布を統計的に推測できるだけ
の回数入力を受けたのち、一度にシナプス荷重を修正す
る学習アルゴリズムに基づいて学習が進められる。
に減少すると、制御回路１４は制御信号を発し、切り替
え回路１２３を動作させる。切り替え回路１２３は、第
１修正回路１２１を停め、第２修正回路１２２を動作さ
せ、複数、できれば入力分布を統計的に推測できるだけ
の回数入力を受けたのち、一度にシナプス荷重を修正す
る学習アルゴリズムに基づいて学習が進められる。
【００２４】この神経回路網を模した情報処理装置が十
分な学習を行ない、誤差計算回路１３から出力される誤
差が一定値より小さくなると、修正回路１２Ｘ，１２
Ｙ，１２Ｚに掛かる手続きは割愛され、入力から出力へ
の前方向のみの処理が行なわれるようになる。
分な学習を行ない、誤差計算回路１３から出力される誤
差が一定値より小さくなると、修正回路１２Ｘ，１２
Ｙ，１２Ｚに掛かる手続きは割愛され、入力から出力へ
の前方向のみの処理が行なわれるようになる。
【００２５】なお、学習アルゴリズムを切り替えるため
に制御回路１４から出力される制御信号は、結合重みの
変化量が設定された値以下になったときに出力されるよ
うにしてもよい。
に制御回路１４から出力される制御信号は、結合重みの
変化量が設定された値以下になったときに出力されるよ
うにしてもよい。
【００２６】上記第１の実施例においては、修正回路１
２ Ｘ，１２Ｙ，１２Ｚは、第１修正回路１２１と第２
修正回路１２２と切り替え回路１２３とから構成されて
いるが、上記実施例に用いた学習アルゴリズムを用いる
のであれば、修正回路１２Ｘ，１２Ｙ，１２Ｚは、図３
に示した構成とすることができる。
２ Ｘ，１２Ｙ，１２Ｚは、第１修正回路１２１と第２
修正回路１２２と切り替え回路１２３とから構成されて
いるが、上記実施例に用いた学習アルゴリズムを用いる
のであれば、修正回路１２Ｘ，１２Ｙ，１２Ｚは、図３
に示した構成とすることができる。
【００２７】次に図３を参照しながら、本発明の第２の
実施例について説明する。図３において、１２４は入力
毎の誤差のシナプス荷重に関する変分、
実施例について説明する。図３において、１２４は入力
毎の誤差のシナプス荷重に関する変分、
【００２８】d Ｅ／d Ｗji｜pattern を計算する変分計算部であり、１２５はカウンター１２
６からの信号を受けるまで変分結果を積算する積算部で
ある。１２７はモード切り替え時にはリセットされる前
回更新量、
６からの信号を受けるまで変分結果を積算する積算部で
ある。１２７はモード切り替え時にはリセットされる前
回更新量、
【００２９】ΔＷji old する更新量バッファ部であり、１２８は積算部１２５か
ら出力される積算変分に積算回数に応じた学習レイトμ
を掛けて、
ら出力される積算変分に積算回数に応じた学習レイトμ
を掛けて、
【００３０】μ・Σd Ｅ／d Ｗji｜pattern を出力する学習レイト換算部であり、１２９は前回更新
量にモーメンタムパラメータαを掛けて、
量にモーメンタムパラメータαを掛けて、
【００３１】α・ΔＷji old を出力するモーメンタム換算部である。カウンター１２
６は、制御回路１４からの制御信号を受けて積算回数を
定め、変分計算部１２４の出力をカウントし、設定回数
に至ったとき出力を行なうように、積算部１２５と更新
量バッファ部１２７に信号を送る。
６は、制御回路１４からの制御信号を受けて積算回数を
定め、変分計算部１２４の出力をカウントし、設定回数
に至ったとき出力を行なうように、積算部１２５と更新
量バッファ部１２７に信号を送る。
【００３２】以下、上記第２実施例の動作について説明
する。学習アルゴリズムとして入力毎にシナプス荷重を
修正するものを用いる場合、制御回路１４からの制御信
号によりカウンター１２６の設定値は１となり、もう一
方の学習アルゴリズムを用いる場合には、入力空間を統
計的に推定できる程度の数Ｎになる。
する。学習アルゴリズムとして入力毎にシナプス荷重を
修正するものを用いる場合、制御回路１４からの制御信
号によりカウンター１２６の設定値は１となり、もう一
方の学習アルゴリズムを用いる場合には、入力空間を統
計的に推定できる程度の数Ｎになる。
【００３３】情報処理装置の前向き計算の過程におい
て、変分計算部１２４には前段の信号変換回路１２Ｘ，
１２Ｙの出力が入力される。後ろ向き計算の場合は、変
分計算部１２４には、誤差計算回路１３からの誤差信号
が入力され、入力毎の誤差のシナプス荷重に関する変
分、
て、変分計算部１２４には前段の信号変換回路１２Ｘ，
１２Ｙの出力が入力される。後ろ向き計算の場合は、変
分計算部１２４には、誤差計算回路１３からの誤差信号
が入力され、入力毎の誤差のシナプス荷重に関する変
分、
【００３４】d Ｅ／d Ｗji｜pattern と次の修正回路１２Ｙまたは１２Ｘに送る誤差信号が求
められ、それぞれ積算部１２５、カウンター１２６と次
の修正回路１２Ｙまたは１２Ｘに送られる。カウンター
１２６は、変分計算部１２４から送られてくる信号の数
をカウントし、それが制御回路１４からの信号によって
定められた設定値（１またはＮ）と等しくなるまでは、
積算部１２５と更新量バッファ部１２７を信号が出力し
ないように止めておく。カウント数が設定値に等しくな
ると、カウンター１２６は積算部１２５と更新量バッフ
ァ部１２７に、積算結果、
められ、それぞれ積算部１２５、カウンター１２６と次
の修正回路１２Ｙまたは１２Ｘに送られる。カウンター
１２６は、変分計算部１２４から送られてくる信号の数
をカウントし、それが制御回路１４からの信号によって
定められた設定値（１またはＮ）と等しくなるまでは、
積算部１２５と更新量バッファ部１２７を信号が出力し
ないように止めておく。カウント数が設定値に等しくな
ると、カウンター１２６は積算部１２５と更新量バッフ
ァ部１２７に、積算結果、
【００３５】Σd Ｅ／d Ｗji｜pattern と前回更新量、
【００３６】ΔＷji old をそれぞれ学習レイト換算部１２８とモーメンタム換算
部１２９に出力し、いずれも内部をセットする。学習レ
イト換算部１２８は、積算部１２５における積算結果に
制御回路１４からの信号によって定められた学習レイト
μを掛けて出力する。モーメンタム換算部１２９は、前
回更新量にモーメンタムパラメータαを掛けて出力す
る。この２つの出力は加算されて、更新量、
部１２９に出力し、いずれも内部をセットする。学習レ
イト換算部１２８は、積算部１２５における積算結果に
制御回路１４からの信号によって定められた学習レイト
μを掛けて出力する。モーメンタム換算部１２９は、前
回更新量にモーメンタムパラメータαを掛けて出力す
る。この２つの出力は加算されて、更新量、
【００３７】 ΔＷji＝μ・Σd Ｅ／d Ｗji｜pattern ＋α・ΔＷji old となり、信号変換回路１１Ｘ，１１Ｙ，１１Ｚと更新量
バッファ部１２７に送られる。
バッファ部１２７に送られる。
【００３８】このように、上記第２実施例では、二つの
学習モードの切り替えは、カウンター１２６の設定値と
学習レイトの大きさを制御回路１４によって制御するこ
とにより実現されている。
学習モードの切り替えは、カウンター１２６の設定値と
学習レイトの大きさを制御回路１４によって制御するこ
とにより実現されている。
【００３９】なお、説明の煩雑さを避けるために、上記
第２実施例の説明では、学習レイトだけを学習モード変
更時に変えるようにしたが、モーメンタムパラメータも
同時にまたは独立に変えることができる。
第２実施例の説明では、学習レイトだけを学習モード変
更時に変えるようにしたが、モーメンタムパラメータも
同時にまたは独立に変えることができる。
【００４０】また第１および第２実施例の説明は、多層
パーセプトロンを誤差逆伝播法で学習させる場合を例に
して説明されているが、本発明は神経回路を模した情報
処理装置として多層パーセプトロンに限定するものでは
なく、学習アルゴリズムも誤差逆伝播法に限るものでは
ない。例えば、学習ベクトル量子化法などにも本発明は
適用でき、当然のことながら、学習モードも複数であれ
ば、いくつでもよい。
パーセプトロンを誤差逆伝播法で学習させる場合を例に
して説明されているが、本発明は神経回路を模した情報
処理装置として多層パーセプトロンに限定するものでは
なく、学習アルゴリズムも誤差逆伝播法に限るものでは
ない。例えば、学習ベクトル量子化法などにも本発明は
適用でき、当然のことながら、学習モードも複数であれ
ば、いくつでもよい。
【００４１】さらにまた、制御信号は設定された値以下
になったとき出力されるものとしたが、誤差の範囲に応
じて制御信号を発生するようにしてもよい。
になったとき出力されるものとしたが、誤差の範囲に応
じて制御信号を発生するようにしてもよい。
【００４２】
【発明の効果】以上のように、本発明によれば、複数の
シナプス荷重を持った神経素子を有する神経回路網を模
した情報処理装置において、前記シナプス荷重を修正す
る複数個の学習モードを有し、前記神経素子の出力誤差
に応じて前記複数個の学習モードを切り替えるようにし
たので、学習初期に適した学習モードと学習後期に適し
た学習モードとを切り替えることができ、より効率のよ
い学習を行なうことができる。
シナプス荷重を持った神経素子を有する神経回路網を模
した情報処理装置において、前記シナプス荷重を修正す
る複数個の学習モードを有し、前記神経素子の出力誤差
に応じて前記複数個の学習モードを切り替えるようにし
たので、学習初期に適した学習モードと学習後期に適し
た学習モードとを切り替えることができ、より効率のよ
い学習を行なうことができる。
【図１】本発明の第１の実施例の概略構成を示すブロッ
ク図
ク図
【図２】本発明の第１の実施例における修正回路の具体
的な構成例を示すブロック図
的な構成例を示すブロック図
【図３】本発明の第２の実施例における修正回路の具体
的な構成例を示すブロック図
的な構成例を示すブロック図
【図４】従来の神経回路を模した情報処理装置の概略構
成を示すブロック図
成を示すブロック図
１１Ｘ，１１Ｙ，１１Ｚ 信号変換回路 １２Ｘ，１２Ｙ，１２Ｚ 修正回路 １３ 誤差計算回路 １４ 制御回路 １２１ 第１修正回路 １２２ 第２修正回路 １２３ 切り替え回路 １２４ 変分計算部 １２５ 積算部 １２６ カウンター １２７ 更新量バッファ部 １２８ 学習レイト換算部 １２９ モーメンタム換算部
フロントページの続き (56)参考文献 特開 平２−77961（ＪＰ，Ａ) 特開 平２−277180（ＪＰ，Ａ) 特開 平１−271888（ＪＰ，Ａ) 森江隆・他，「誤差逆伝搬学習機能組 込み型アナログニューロＬＳＩの回路的 検討」，電子情報通信学会技術研究報 告，日本，社団法人電子情報通信学会・ 発行，1990年10月25日，Ｖｏｌ．90，Ｎ ｏ．273（ＣＰＳＹ90−64〜74），ｐｐ. 43−48，（特許庁ＣＳＤＢ文献番号：Ｃ ＳＮＴ199900846006) (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 1/00 - 7/00 G06G 7/60 ＣＳＤＢ（日本国特許庁) ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (5)
- 【請求項１】 複数のシナプス荷重を持った神経素子を
有する神経回路網を模した情報処理装置であって、前記
シナプス荷重を修正する複数個の学習モードを有し、該
複数個の学習モードは、一つの入力信号が入力される毎
に結合の強さを修正するモードと、設定された複数回数
だけ入力信号が入力されたときに結合の強さを修正する
モードとであり、前記神経素子の出力誤差に応じて前記
複数個の学習モードを切り替えることを特徴とする情報
処理装置。 - 【請求項２】 学習モードの切り替えは、出力誤差が設
定された値以下になったときに行われる請求項１記載の
情報処理装置。 - 【請求項３】 学習モードの切り替えは、出力誤差が学
習開始時の出力誤差の設定された割合以下となったとき
に行われる請求項１記載の情報処理装置。 - 【請求項４】 学習モードの切り替えは、結合重みの変
化量が設定された値以下になったときに行われる請求項
１記載の情報処理装置。 - 【請求項５】 入力信号をシナプス荷重により変換出力
する複数の神経素子を有する神経回路網を模した情報処
理装置であって、前記シナプス荷重を修正する複数個の
学習モードを有する神経素子と、前記神経素子の出力信
号と教師信号との出力誤差を計算する誤差計算回路と、
その出力誤差に応じて前記複数個の学習モードを切り替
える制御信号を出力する制御回路とを有し、前記複数個
の学習モードは、一つの入力信号が入力される毎に結合
の強さを修正するモードと、設定された複数回数だけ入
力信号が入力されたときに結合の強さを修正するモード
とであることを特徴とする神経回路網を模した情報処理
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP40225290A JP3262340B2 (ja) | 1990-12-14 | 1990-12-14 | 情報処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP40225290A JP3262340B2 (ja) | 1990-12-14 | 1990-12-14 | 情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04215171A JPH04215171A (ja) | 1992-08-05 |
| JP3262340B2 true JP3262340B2 (ja) | 2002-03-04 |
Family
ID=18512078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP40225290A Expired - Fee Related JP3262340B2 (ja) | 1990-12-14 | 1990-12-14 | 情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3262340B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3303032B2 (ja) * | 1992-04-24 | 2002-07-15 | 株式会社日立製作所 | ニューラルネット学習装置 |
| JP5880440B2 (ja) * | 2010-10-28 | 2016-03-09 | 日本電気株式会社 | 携帯端末装置、通知方法およびプログラム |
| US20230040914A1 (en) * | 2019-12-25 | 2023-02-09 | Nec Corporation | Learning device, learning method, and learning program |
-
1990
- 1990-12-14 JP JP40225290A patent/JP3262340B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 森江隆・他，「誤差逆伝搬学習機能組込み型アナログニューロＬＳＩの回路的検討」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会・発行，１９９０年１０月２５日，Ｖｏｌ．９０，Ｎｏ．２７３（ＣＰＳＹ９０−６４〜７４），ｐｐ．４３−４８，（特許庁ＣＳＤＢ文献番号：ＣＳＮＴ１９９９００８４６００６） |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04215171A (ja) | 1992-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3178884B2 (ja) | ニューラルネットワーク装置 | |
| US4912653A (en) | Trainable neural network | |
| JPH07282168A (ja) | カオスリカレント神経回路網とその学習方法 | |
| JP3262340B2 (ja) | 情報処理装置 | |
| Anderson et al. | Reinforcement learning with modular neural networks for control | |
| JPH05101028A (ja) | 複数特徴量の統合判定方法 | |
| JPH0451384A (ja) | ニューラルネットワークの構築方法 | |
| JPH07121498A (ja) | ニューラルネットワーク構築方法 | |
| JPH06231106A (ja) | リカレント型ニューラルネットワーク学習方法及び装置 | |
| JP3318958B2 (ja) | 学習型波形認識処理装置 | |
| JPH05204885A (ja) | ニューラルネットワークの学習高速化装置及び方法 | |
| JP3328953B2 (ja) | 非線形シナプスニューロン、そのデバイス及びそれを用いた予測方法 | |
| JPH05128082A (ja) | 階層ネツトワーク構成データ処理装置とその学習処理方法 | |
| JPH04215170A (ja) | 情報処理装置 | |
| Zhu et al. | Nonlinear system identification using genetic algorithm based recurrent neural networks | |
| JP2639028B2 (ja) | 神経回路の学習装置および学習方法 | |
| JP2559879B2 (ja) | ファジィ制御器 | |
| JPH0451386A (ja) | ニューラルネットワーク及びその構築方法 | |
| JPH0784983A (ja) | 時系列データの予測装置 | |
| JP2621916B2 (ja) | 神経回路網の学習方法 | |
| JP3383713B2 (ja) | 神経回路網学習方法および神経回路網学習装置 | |
| JPH03266065A (ja) | ニューラルネットワークにおける誤差学習方法 | |
| JPH05324598A (ja) | ニューラル・ネットワーク学習装置における学習方式 | |
| JP2559878B2 (ja) | ファジィ制御器 | |
| JPH03147173A (ja) | ニューラルネットワーク |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |