JP3203675B2 - ニューラルネットワークの学習方法 - Google Patents
ニューラルネットワークの学習方法Info
- Publication number
- JP3203675B2 JP3203675B2 JP09004191A JP9004191A JP3203675B2 JP 3203675 B2 JP3203675 B2 JP 3203675B2 JP 09004191 A JP09004191 A JP 09004191A JP 9004191 A JP9004191 A JP 9004191A JP 3203675 B2 JP3203675 B2 JP 3203675B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- input data
- learning
- teacher
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、ニューラルネットワー
クの学習方法に関する。詳しくは、ニューラルネットワ
ークを使用して行く中で、入力データとその入力データ
に対応する教師データを蓄積し、その蓄積されたデータ
を用いて、逐次、ニューラルネットワークを学習させる
方法に関する。特に、入力データと教師データを効率良
く蓄積し、その蓄積されたデータにより効率の良い学習
を行う方法に関する。
クの学習方法に関する。詳しくは、ニューラルネットワ
ークを使用して行く中で、入力データとその入力データ
に対応する教師データを蓄積し、その蓄積されたデータ
を用いて、逐次、ニューラルネットワークを学習させる
方法に関する。特に、入力データと教師データを効率良
く蓄積し、その蓄積されたデータにより効率の良い学習
を行う方法に関する。
【０００２】
【従来の技術】ニューラルネットワークは、理論的な解
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を学習してお
き、任意の入力に対して妥当な出力が直接的に得られる
ようにした回路網である。
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を学習してお
き、任意の入力に対して妥当な出力が直接的に得られる
ようにした回路網である。
【０００３】
【発明が解決しようとする課題】しかし、ニューラルネ
ットワークを全ての考え得る事象に対応できるように学
習させておくことは困難である。むしろ、学習済のニュ
ーラルネットワークを実際に使用して新たな事象が発生
して適性な出力が得られない場合に、その事象を含む学
習を行うことが通常である。
ットワークを全ての考え得る事象に対応できるように学
習させておくことは困難である。むしろ、学習済のニュ
ーラルネットワークを実際に使用して新たな事象が発生
して適性な出力が得られない場合に、その事象を含む学
習を行うことが通常である。
【０００４】ところが、新たにニューラルネットワーク
の学習が必要となった場合には、学習すべき新たな入力
データとそれに対応した教師データだけを用いて学習さ
せることはできない。何故ならば、その新たな学習の結
果、既学習事項がニューラルネットワークから消去され
てしまうからである。従って、新たにニューラルネット
ワークを学習させる場合には、以前の学習に使用した全
ての入力データとその入力データに対応した全ての教師
データを含めて学習させることが必要である。
の学習が必要となった場合には、学習すべき新たな入力
データとそれに対応した教師データだけを用いて学習さ
せることはできない。何故ならば、その新たな学習の結
果、既学習事項がニューラルネットワークから消去され
てしまうからである。従って、新たにニューラルネット
ワークを学習させる場合には、以前の学習に使用した全
ての入力データとその入力データに対応した全ての教師
データを含めて学習させることが必要である。
【０００５】このような結果、過去の学習に使用した全
ての入力データと教師データを保存する必要があり、ニ
ューラルネットワークを長く使用するに伴い、記憶装置
の容量が膨大となるという問題がある。又、学習に使用
される入力データと教師データとが膨大となることか
ら、学習時間が長くなるという問題がある。
ての入力データと教師データを保存する必要があり、ニ
ューラルネットワークを長く使用するに伴い、記憶装置
の容量が膨大となるという問題がある。又、学習に使用
される入力データと教師データとが膨大となることか
ら、学習時間が長くなるという問題がある。
【０００６】本発明は上記課題を解決するために成され
たものであり、その目的は、一定量の教師データによる
学習を、等価的に範囲の広い多数の教師データによる学
習と同等にすることである。
たものであり、その目的は、一定量の教師データによる
学習を、等価的に範囲の広い多数の教師データによる学
習と同等にすることである。
【０００７】
【課題を解決するための手段】上記課題を解決するため
の発明の構成は、入力データとそれに対応する教師デー
タとを蓄積したデータベースを更新させつつ、その更新
されたデータベースを用いてニューラルネットワークを
学習させる方法において、任意に選択された２つの入力
データで構成される組の全てに対して、入力データが相
互に類似している程度を表す類似度を演算し、類似度の
最も高い組の２つの入力データを、その２つの入力デー
タに基づいて１つの入力データに縮退させ、さらに、対
応する２つの教師データを、その２つの教師データに基
づいて１つの教師データに縮退させ、縮退によって生じ
た入力データ又は教師データの縮退回数を、縮退させら
れた２つのデータの過去の縮退回数に基づいて演算し
て、その縮退回数を記憶し、結合係数の学習時には、各
教師データを用いた結合係数の補正演算において、各教
師データの各縮退回数に応じて、結合係数の補正量を変
化させることを特徴とするニューラルネットワークの学
習方法である。
の発明の構成は、入力データとそれに対応する教師デー
タとを蓄積したデータベースを更新させつつ、その更新
されたデータベースを用いてニューラルネットワークを
学習させる方法において、任意に選択された２つの入力
データで構成される組の全てに対して、入力データが相
互に類似している程度を表す類似度を演算し、類似度の
最も高い組の２つの入力データを、その２つの入力デー
タに基づいて１つの入力データに縮退させ、さらに、対
応する２つの教師データを、その２つの教師データに基
づいて１つの教師データに縮退させ、縮退によって生じ
た入力データ又は教師データの縮退回数を、縮退させら
れた２つのデータの過去の縮退回数に基づいて演算し
て、その縮退回数を記憶し、結合係数の学習時には、各
教師データを用いた結合係数の補正演算において、各教
師データの各縮退回数に応じて、結合係数の補正量を変
化させることを特徴とするニューラルネットワークの学
習方法である。
【０００８】
【作用】入力データの中から任意に選択された２つの入
力データの組に関して、その２つの入力データが相互に
類似している程度を示す類似度が演算される。その類似
度の最も高い組において、２つの入力データをその２つ
の入力データに基づいて１つの入力データに縮退させ
る。それと共に、その２つの入力データに対応する２つ
の教師データも、その２つの教師データに基づいて１つ
の教師データに縮退させる。縮退によって生じた入力デ
ータ又は教師データの縮退回数は、縮退させられた２つ
のデータの過去の縮退回数に基づいて演算される。そし
て、その縮退回数は、各入力データ又は各教師データ毎
に記憶される。ニューラルネットワークの結合係数の学
習時には、各教師データを用いた結合係数の補正演算に
おいて、各教師データの各縮退回数に応じて、結合係数
の収束速度が変化される。
力データの組に関して、その２つの入力データが相互に
類似している程度を示す類似度が演算される。その類似
度の最も高い組において、２つの入力データをその２つ
の入力データに基づいて１つの入力データに縮退させ
る。それと共に、その２つの入力データに対応する２つ
の教師データも、その２つの教師データに基づいて１つ
の教師データに縮退させる。縮退によって生じた入力デ
ータ又は教師データの縮退回数は、縮退させられた２つ
のデータの過去の縮退回数に基づいて演算される。そし
て、その縮退回数は、各入力データ又は各教師データ毎
に記憶される。ニューラルネットワークの結合係数の学
習時には、各教師データを用いた結合係数の補正演算に
おいて、各教師データの各縮退回数に応じて、結合係数
の収束速度が変化される。
【０００９】
【発明の効果】このようなデータベースの記憶容量の制
御により、蓄積されるデータの量が所定量を越えること
が内容にすることが可能である。しかも、データベース
に蓄積されるデータは類似度が最も高い２つのデータが
１つに縮退されることから、データベースは、データの
記憶量が一定とすれば、最も分散されたデータの集合と
なる。よって、ニューラルネットワークの効果的な学習
が達成される。更に、縮退回数の多い教師データは、そ
の教師データに類似の教師データが、それだけ多くデー
タベースに加えられたことを意味している。即ち、縮退
回数の多い教師データ程、重要な教師データであり、学
習後のニューラルネットワークは、その教師データによ
って教示された特性を強く示す方が望ましい。従って、
本発明によれば、全教師データにより結合係数を学習さ
せる時、各教師データの縮退回数に応じて結合係数の収
束速度を変化させるように学習させていることから、縮
退回数の多い教師データによる学習が縮退回数の少ない
教師データによる学習より効果的に実行されることにな
る。よって、ニューラルネットワークの入出力特性は、
限定された数の教師データによる学習であるにも拘わら
ず、過去の使用において発生された教師データを全て含
むような効果的な特性となる。
御により、蓄積されるデータの量が所定量を越えること
が内容にすることが可能である。しかも、データベース
に蓄積されるデータは類似度が最も高い２つのデータが
１つに縮退されることから、データベースは、データの
記憶量が一定とすれば、最も分散されたデータの集合と
なる。よって、ニューラルネットワークの効果的な学習
が達成される。更に、縮退回数の多い教師データは、そ
の教師データに類似の教師データが、それだけ多くデー
タベースに加えられたことを意味している。即ち、縮退
回数の多い教師データ程、重要な教師データであり、学
習後のニューラルネットワークは、その教師データによ
って教示された特性を強く示す方が望ましい。従って、
本発明によれば、全教師データにより結合係数を学習さ
せる時、各教師データの縮退回数に応じて結合係数の収
束速度を変化させるように学習させていることから、縮
退回数の多い教師データによる学習が縮退回数の少ない
教師データによる学習より効果的に実行されることにな
る。よって、ニューラルネットワークの入出力特性は、
限定された数の教師データによる学習であるにも拘わら
ず、過去の使用において発生された教師データを全て含
むような効果的な特性となる。
【００１０】
【実施例】1.ニューラルネットワーク 本実施例のニューラルネットワーク１０は、図１に示す
ように、入力層ＬI と出力層ＬO と中間層ＬM の３層構
造に構成されている。入力層ＬI はｅ個の入力素子を有
し、出力層ＬO はｇ個の出力素子を有し、中間層ＬM は
ｆ個の出力素子を有している。
ように、入力層ＬI と出力層ＬO と中間層ＬM の３層構
造に構成されている。入力層ＬI はｅ個の入力素子を有
し、出力層ＬO はｇ個の出力素子を有し、中間層ＬM は
ｆ個の出力素子を有している。
【００１１】多層構造のニューラルネットワークは、一
般的に、次の演算を行う装置として定義される。第i 層
の第j 番目の素子の出力Oi j は、次式で演算される。但
し、i ≧2 である。
般的に、次の演算を行う装置として定義される。第i 層
の第j 番目の素子の出力Oi j は、次式で演算される。但
し、i ≧2 である。
【００１２】
【数１】 Oi j =f(Ii j) （１）
【数２】
【数３】 f(x)=1/｛1+exp(-x)｝ （３）
【００１３】但し、Vi j は第i 層の第j 番目の演算素子
のバイアス、Wi-1 k, i jは、第i-1層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第j 番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層（第１層）の第j 番目の素子の入力値でもある。
のバイアス、Wi-1 k, i jは、第i-1層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第j 番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層（第１層）の第j 番目の素子の入力値でもある。
【００１４】次に、図１に示す３層構造のニューラルネ
ットワーク１０の具体的な演算手順について図２を参照
して説明する。ステップ１００において、中間層（第２
層）の第j 番目の素子は、入力層（第１層）の各素子か
らの出力値O1 j （第１層の入力データ）を入力して、
（２）式を層番号と第１層の素子数を用いて具体化した
次式の積和演算を行なう。
ットワーク１０の具体的な演算手順について図２を参照
して説明する。ステップ１００において、中間層（第２
層）の第j 番目の素子は、入力層（第１層）の各素子か
らの出力値O1 j （第１層の入力データ）を入力して、
（２）式を層番号と第１層の素子数を用いて具体化した
次式の積和演算を行なう。
【数４】
【００１５】次に、ステップ１０２において、次式によ
り、（４）式の入力値の積和関数値のシグモイド関数に
より、中間層（第２層）の各素子の出力が演算される。
第２層の第j 番目の素子の出力値は次式で演算される。
り、（４）式の入力値の積和関数値のシグモイド関数に
より、中間層（第２層）の各素子の出力が演算される。
第２層の第j 番目の素子の出力値は次式で演算される。
【００１６】
【数５】 O2 j=f(I2 j )=1/｛1+exp(-I2 j) ｝ （５） この出力値 O2 j は出力層（第３層）の各素子の入力値
となる。次に、ステップ１０４において、出力層（第３
層）の各素子の入力値の積和演算が実行される。
となる。次に、ステップ１０４において、出力層（第３
層）の各素子の入力値の積和演算が実行される。
【００１７】
【数６】 次に、ステップ１０６において、（５）式と同様に、
シグモイド関数により、出力層の各素子の出力値O3 jが
演算される。
シグモイド関数により、出力層の各素子の出力値O3 jが
演算される。
【００１８】
【数７】 O3 j=f(I3 j)=1/｛1+exp(-I3 j)｝ （７）
【００１９】2.ニューラルネットワークの学習このニュ
ーラルネットワークは、初期学習として、図３に示す手
順で学習される。結合係数は良く知られたバックプロパ
ーゲーション法により実行される。この学習は、各種の
事象に関する多数の入力データに対して、それぞれの出
力が、それぞれの最適な教師データとなるように、繰り
返し実行される。
ーラルネットワークは、初期学習として、図３に示す手
順で学習される。結合係数は良く知られたバックプロパ
ーゲーション法により実行される。この学習は、各種の
事象に関する多数の入力データに対して、それぞれの出
力が、それぞれの最適な教師データとなるように、繰り
返し実行される。
【００２０】図３のステップ２００において、次式によ
り出力層の各素子の学習信号が演算される。
り出力層の各素子の学習信号が演算される。
【数８】 Y3 j=(Tj-δj)・f'(I3 j) （８） 但し、Tj は任意の出力δjに対する教師データであ
り、外部から付与される。又、f'(x) はジグモイド関数
の導関数である。
り、外部から付与される。又、f'(x) はジグモイド関数
の導関数である。
【００２１】次に、ステップ２０２において、中間層の
学習データY が次式で演算される。
学習データY が次式で演算される。
【数９】
【００２２】次に、ステップ２０４において、
出力層の各結合係数が補正される。補正量は次式で求め
られる。
出力層の各結合係数が補正される。補正量は次式で求め
られる。
【数１０】 Δω2 i, 3 j(t)=P・Y3 j・f(I2 i)+Q・Δω2 i, 3 j(t-1) （１０） 但し、Δω2 i, 3 j(t) は、出力層の第j 番目の素子と中
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。尚、
P が大きい程、結合係数の補正量が大きいので、学習感
度、あるいは学習速度( 収束速度) が大きくなるが、振
動する可能性が生じ易くなる。又、Q が大きい程、前回
の補正量が反映されるので、結合係数の変化の安定性が
高くなり、結果として収束は速くなる。
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。尚、
P が大きい程、結合係数の補正量が大きいので、学習感
度、あるいは学習速度( 収束速度) が大きくなるが、振
動する可能性が生じ易くなる。又、Q が大きい程、前回
の補正量が反映されるので、結合係数の変化の安定性が
高くなり、結果として収束は速くなる。
【００２３】補正された結合係数は、上記の補正量を用
いて、
いて、
【数１１】 W2 i, 3 j+Δω2 i, 3 j(t) →W2 i, 3 j （１１） により、求められる。次に、ステップ２０６へ移行し
て、中間層の各素の結合係数が補正される。その結合係
数の補正量は出力層の場合と同様に、次式で求められ
る。
て、中間層の各素の結合係数が補正される。その結合係
数の補正量は出力層の場合と同様に、次式で求められ
る。
【００２４】
【数１２】 Δω1 i, 2 j(t)=P・Y2 j・f(I1 i)+Q・Δω1 i, 2 j(t-1) （１２） よって、結合係数は、
【数１３】 W1 i, 2 j + Δω1 i, 2 j(t) →W1 i, 2 j （１３） により、補正された結合係数が求められる。
【００２５】次に、ステップ２０８において、学習対象
の全ての入力データに対して１回の学習が完了したか否
が判定される。全ての入力データに対する学習が終了し
ていない場合には、ステップ２１０へ移行して、次の入
力データとその入力データに対応する教師データが学習
対象データとして設定される。そして、ステップ２００
に戻り、次の入力データに関する学習が実行される。こ
のようにして、全入力データに関して１回の学習が完了
すると、ステップ２０８の判定結果がYES となり、ステ
ップ２１２へ移行する。
の全ての入力データに対して１回の学習が完了したか否
が判定される。全ての入力データに対する学習が終了し
ていない場合には、ステップ２１０へ移行して、次の入
力データとその入力データに対応する教師データが学習
対象データとして設定される。そして、ステップ２００
に戻り、次の入力データに関する学習が実行される。こ
のようにして、全入力データに関して１回の学習が完了
すると、ステップ２０８の判定結果がYES となり、ステ
ップ２１２へ移行する。
【００２６】ステップ２１２では、ニューラルネットワ
ークの出力値と教師信号との差( 誤差) が十分に小さく
なったか否かが判定される。誤差が十分に小さくなって
いなければ、ステップ２１４に移行して、全入力データ
に関する第２回目の学習を実行するために、最初の入力
データとそれに対応する教師データとが学習対象データ
として設定される。そして、ステップ２００に戻り、上
記した学習演算が繰り返し実行される。このようにし
て、ステップ２１２において、誤差が所定の値以下とな
るまで、上記の学習演算が繰り返し実行される。この結
果、初期の広範囲の事象に関して初期学習されたニュー
ラルネットワークが完成される。
ークの出力値と教師信号との差( 誤差) が十分に小さく
なったか否かが判定される。誤差が十分に小さくなって
いなければ、ステップ２１４に移行して、全入力データ
に関する第２回目の学習を実行するために、最初の入力
データとそれに対応する教師データとが学習対象データ
として設定される。そして、ステップ２００に戻り、上
記した学習演算が繰り返し実行される。このようにし
て、ステップ２１２において、誤差が所定の値以下とな
るまで、上記の学習演算が繰り返し実行される。この結
果、初期の広範囲の事象に関して初期学習されたニュー
ラルネットワークが完成される。
【００２７】3.データベースの更新 ニューラルネットワークの更新学習に使用されるデータ
は、図５に示すようなデータベースに構成されている。
入力データは、Ｄ1,…，Ｄn であり、対応する教師デー
タは、Ｅ1,…，Ｅn である。このｎ個の入力データ及び
教師データは、ニューラルネットワークの初期学習又は
初期学習後のニューラルネットワークを現実に使用した
過程で蓄積されたデータである。この入力データは、次
のように定義される。ｅ個の入力素子のそれぞれに与え
るｅ個のデータを１組のデータとして考える。そして、
任意の第ｍ番目の１組の入力データをＤm で表し、その
組に属する第ｊ番目の入力素子に対する入力データをｄ
mjで表す。Ｄm はベクトルを表し、ｄmjはそのベクトル
の成分である。即ち、Ｄm は次式で定義される。
は、図５に示すようなデータベースに構成されている。
入力データは、Ｄ1,…，Ｄn であり、対応する教師デー
タは、Ｅ1,…，Ｅn である。このｎ個の入力データ及び
教師データは、ニューラルネットワークの初期学習又は
初期学習後のニューラルネットワークを現実に使用した
過程で蓄積されたデータである。この入力データは、次
のように定義される。ｅ個の入力素子のそれぞれに与え
るｅ個のデータを１組のデータとして考える。そして、
任意の第ｍ番目の１組の入力データをＤm で表し、その
組に属する第ｊ番目の入力素子に対する入力データをｄ
mjで表す。Ｄm はベクトルを表し、ｄmjはそのベクトル
の成分である。即ち、Ｄm は次式で定義される。
【００２８】
【数１４】 Ｄm ＝（ｄm1, ｄm2, …，ｄme-1, ｄme） （１４） 又、ｎ組の入力データはＤ1,Ｄ2,…，Ｄn-1,Ｄn で表さ
れる。以下、全ｎ組の入力データ群は、入力データ群Ｄ
と表記される。
れる。以下、全ｎ組の入力データ群は、入力データ群Ｄ
と表記される。
【００２９】同様に、Ｅ1,…, Ｅn は、次のように定義
される。出力層ＬO に関して、ｇ個の出力素子のそれぞ
れからの出力に対する教師データを１組のデータとして
考える。そして、任意の第ｍ番目の１組の教師データを
Ｅm で表し、その組に属する第ｊ番目の出力素子に対す
る教師データをｅmjで表す。Ｅm はベクトルを表し、ｅ
mjはそのベクトルの成分である。即ち、Ｅm は次式で定
義される。
される。出力層ＬO に関して、ｇ個の出力素子のそれぞ
れからの出力に対する教師データを１組のデータとして
考える。そして、任意の第ｍ番目の１組の教師データを
Ｅm で表し、その組に属する第ｊ番目の出力素子に対す
る教師データをｅmjで表す。Ｅm はベクトルを表し、ｅ
mjはそのベクトルの成分である。即ち、Ｅm は次式で定
義される。
【００３０】
【数１５】 Ｅm ＝（ｅm1, ｅm2, …，ｅmg-1, ｅmg） （１５） 又、ｎ組の教師データはＥ1,Ｅ2,…，Ｅn-1,Ｅn で表さ
れる。以下、全ｎ組の教師データ群は、教師データ群Ｅ
と表記される。又、それぞれのデータに対して、カウン
ト値Ｃm が与えられている。このカウント値Ｃm は、後
述するように、データの縮退回数を示す。その初期値は
１である。
れる。以下、全ｎ組の教師データ群は、教師データ群Ｅ
と表記される。又、それぞれのデータに対して、カウン
ト値Ｃm が与えられている。このカウント値Ｃm は、後
述するように、データの縮退回数を示す。その初期値は
１である。
【００３１】次に、データベースの更新手順について説
明する。図 4はこのデータベースの更新手順を示したフ
ローチャートである。このデータベースの更新は、ｎ個
の入力データ群Ｄとｎ個の教師データ群Ｅを記憶したデ
ータベースに、全体としてｎ個のデータ容量を増加させ
ることなく、新しく追加される入力データＤn+1 とその
入力データに対応した教師データＥn+1 を学習データと
して加えることである。
明する。図 4はこのデータベースの更新手順を示したフ
ローチャートである。このデータベースの更新は、ｎ個
の入力データ群Ｄとｎ個の教師データ群Ｅを記憶したデ
ータベースに、全体としてｎ個のデータ容量を増加させ
ることなく、新しく追加される入力データＤn+1 とその
入力データに対応した教師データＥn+1 を学習データと
して加えることである。
【００３２】ステップ３００において、図６の(a) に示
すように、データベースに記憶された入力データ群（Ｄ
1,…，Ｄn ）に、新規入力データＤn+1 を加えて、入力
データ群（Ｄ1,…，Ｄn+1 ）を考える。同様に、新規教
師データＥn+1 を加えた教師データ群（Ｅ1,…，
Ｅn+1 ）が導入される。又、新規データに対するカウン
タ値（縮退回数）Ｃn+1 は１である。次に、ステップ３
０２において、入力データ群（Ｄ1,…，Ｄn+1 ）の中か
ら任意の２つのデータから成る入力データ組（Ｄ
p,Ｄq ）を生成する。次に、ステップ３０４において、
入力データＤp と入力データＤq の類似度Ｚpqを計算す
る。類似度Ｚpqは、本実施例では、Ｄp ベクトルとＤq
ベクトル間のユークリッド距離の大きさで求めている。
すように、データベースに記憶された入力データ群（Ｄ
1,…，Ｄn ）に、新規入力データＤn+1 を加えて、入力
データ群（Ｄ1,…，Ｄn+1 ）を考える。同様に、新規教
師データＥn+1 を加えた教師データ群（Ｅ1,…，
Ｅn+1 ）が導入される。又、新規データに対するカウン
タ値（縮退回数）Ｃn+1 は１である。次に、ステップ３
０２において、入力データ群（Ｄ1,…，Ｄn+1 ）の中か
ら任意の２つのデータから成る入力データ組（Ｄ
p,Ｄq ）を生成する。次に、ステップ３０４において、
入力データＤp と入力データＤq の類似度Ｚpqを計算す
る。類似度Ｚpqは、本実施例では、Ｄp ベクトルとＤq
ベクトル間のユークリッド距離の大きさで求めている。
【００３３】よって、類似度Ｚpqは次式で定義される。
【数１６】 Ｚpq＝｜Ｄp −Ｄq ｜ （１６） ＝（（ｄp1−ｄq1）2 ＋（ｄp2−ｄq2）2 ＋…＋（ｄpn−ｄqn）2 ）1/2 次に、ステップ３０６において、全ての２つの入力デー
タの組合わせに関して類似度が演算されたか否かが判定
される。全組に関して類似度が演算されていない場合に
は、ステップ３０８において、選択される入力データの
インデックスp,q を変化させて、ステップ３０２へ戻
る。ステップ３０２からは、同様な処理が繰り返し実行
されて、類似度が演算される。このようにして、図 6の
(b) に示すように、任意の２つの入力データから成る全
てのデータ組の類似度Ｚpqが演算される。
タの組合わせに関して類似度が演算されたか否かが判定
される。全組に関して類似度が演算されていない場合に
は、ステップ３０８において、選択される入力データの
インデックスp,q を変化させて、ステップ３０２へ戻
る。ステップ３０２からは、同様な処理が繰り返し実行
されて、類似度が演算される。このようにして、図 6の
(b) に示すように、任意の２つの入力データから成る全
てのデータ組の類似度Ｚpqが演算される。
【００３４】次に、ステップ３１０において、全データ
組の中から、類似度Ｚpqが最小値Ｚabをとるデータ組
（Ｄa , Ｄb ）が決定される。次に、ステップ３１２に
おいて、入力データＤa , Ｄb とその入力データに対応
する教師データＥa , Ｅb に関して、カウンタ値（縮退
回数）Ｃa ，Ｃb を加重係数として加重平均された合成
入力データＤh と加重平均された合成教師データＥh が
演算される。
組の中から、類似度Ｚpqが最小値Ｚabをとるデータ組
（Ｄa , Ｄb ）が決定される。次に、ステップ３１２に
おいて、入力データＤa , Ｄb とその入力データに対応
する教師データＥa , Ｅb に関して、カウンタ値（縮退
回数）Ｃa ，Ｃb を加重係数として加重平均された合成
入力データＤh と加重平均された合成教師データＥh が
演算される。
【００３５】即ち、合成入力データＤh と合成教師デー
タＥh は、次式で演算される。
タＥh は、次式で演算される。
【数１７】 Ｄh ＝（Ｃa ・Ｄa ＋Ｃb ・Ｄb ）／（Ｃa ＋Ｃb ） （１７）
【数１８】 Ｅh ＝（Ｃa ・Ｅa ＋Ｃb ・Ｅb ）／（Ｃa ＋Ｃb ） （１８）
【００３６】次に、ステップ３１４において、カウンタ
値Ｃa とＣb が加算されて、合成入力データ及び合成教
師データＤh,Ｅh に対する合成カウンタ値（縮退回数）
Ｃh が求められる。次に、ステップ３１６において、図
6の(c) に示すように、入力データ群（Ｄ1,…，Ｄn,Ｄ
n+1 ）において、入力データ（Ｄa,Ｄb ）が削除され、
加重平均により合成された合成入力データＤh が追加さ
れる。同様に、教師データ群（Ｅ1,…，Ｅn,Ｅn+1 ）に
おいて、教師データ（Ｅa,Ｅb ）が削除され、加重平均
により合成された合成教師データＥh が追加される。
又、その合成入力データ及び合成教師データＤh,Ｅh に
対応するカウンタ値は合成カウンタ値（縮退回数）Ｃh
とされる。
値Ｃa とＣb が加算されて、合成入力データ及び合成教
師データＤh,Ｅh に対する合成カウンタ値（縮退回数）
Ｃh が求められる。次に、ステップ３１６において、図
6の(c) に示すように、入力データ群（Ｄ1,…，Ｄn,Ｄ
n+1 ）において、入力データ（Ｄa,Ｄb ）が削除され、
加重平均により合成された合成入力データＤh が追加さ
れる。同様に、教師データ群（Ｅ1,…，Ｅn,Ｅn+1 ）に
おいて、教師データ（Ｅa,Ｅb ）が削除され、加重平均
により合成された合成教師データＥh が追加される。
又、その合成入力データ及び合成教師データＤh,Ｅh に
対応するカウンタ値は合成カウンタ値（縮退回数）Ｃh
とされる。
【００３７】このようなデータベースの更新の結果、入
力データ数と教師データ数はｎ個であり、新しい入力デ
ータＤn+1 と新しい教師データＥn+1 が加わっても、デ
ータベースの大きさは変化しない。即ち、２つの入力デ
ータ（Ｄa,Ｄb ）は合成入力データＤhに縮退し、２つ
の教師データ（Ｅa,Ｅb ）は合成教師データＥh に縮退
したことになる。そして、カウンタ値（縮退回数）Ｃh
は、それぞれの入力データＤa とＤb の現在までの縮退
回数の和となる。例えば、２つの入力データが初めて縮
退する場合には、合成入力データの縮退回数Ｃh は２と
なる。又、縮退回数Ｃa が２の入力データと縮退回数Ｃ
b が３の入力データが縮退すれば、合成入力データの縮
退回数Ｃh は５となる。
力データ数と教師データ数はｎ個であり、新しい入力デ
ータＤn+1 と新しい教師データＥn+1 が加わっても、デ
ータベースの大きさは変化しない。即ち、２つの入力デ
ータ（Ｄa,Ｄb ）は合成入力データＤhに縮退し、２つ
の教師データ（Ｅa,Ｅb ）は合成教師データＥh に縮退
したことになる。そして、カウンタ値（縮退回数）Ｃh
は、それぞれの入力データＤa とＤb の現在までの縮退
回数の和となる。例えば、２つの入力データが初めて縮
退する場合には、合成入力データの縮退回数Ｃh は２と
なる。又、縮退回数Ｃa が２の入力データと縮退回数Ｃ
b が３の入力データが縮退すれば、合成入力データの縮
退回数Ｃh は５となる。
【００３８】このようにして、ニューラルネットワーク
の使用の過程において、入力データ及び教師データが新
規に何回発生しても、データベースに蓄積される入力デ
ータと教師データはｎ組を越えることがない。このデー
タベースに蓄積されたｎ組の入力データ群Ｄと教師デー
タ群Ｅとを用いて、上述した、図３のフローチャートに
従って、ニューラルネットワークの更新学習が実行され
る。ただし、（８）式におけるTjは、ある教師データＥ
m の第j 成分ｅmjのことである。また、教師データＥm
に関する学習の時、（１０）式及び（１２）式における
係数P は、次式で与えられる。
の使用の過程において、入力データ及び教師データが新
規に何回発生しても、データベースに蓄積される入力デ
ータと教師データはｎ組を越えることがない。このデー
タベースに蓄積されたｎ組の入力データ群Ｄと教師デー
タ群Ｅとを用いて、上述した、図３のフローチャートに
従って、ニューラルネットワークの更新学習が実行され
る。ただし、（８）式におけるTjは、ある教師データＥ
m の第j 成分ｅmjのことである。また、教師データＥm
に関する学習の時、（１０）式及び（１２）式における
係数P は、次式で与えられる。
【数１９】 P＝α・Ｃm （１９） 但し、αは係数、Ｃm は教師データＥm のカウント値
（縮退回数）である。この係数P が大きい程、その教師
データＥm に対する誤差が同一ならば、結合係数の変化
量は大きくなる。即ち、縮退回数の大きい教師データ
程、学習感度、あるいは収束速度が大きいと言える。こ
のように、縮退回数に応じた感度で結合係数を学習させ
ることで、縮退回数の大きな教師データに基づく学習効
果を高めることができる。
（縮退回数）である。この係数P が大きい程、その教師
データＥm に対する誤差が同一ならば、結合係数の変化
量は大きくなる。即ち、縮退回数の大きい教師データ
程、学習感度、あるいは収束速度が大きいと言える。こ
のように、縮退回数に応じた感度で結合係数を学習させ
ることで、縮退回数の大きな教師データに基づく学習効
果を高めることができる。
【００３９】このように、ｎ個の入力データ及び教師デ
ータに１つの入力データ及び教師データが付け加えられ
る場合には、入力データにおいて最も類似度の高い２つ
の入力データの組と、その入力データの組に対応した教
師データの組が消去されて、１つの合成入力データ及び
合成教師データに縮退される。したがって、更新された
データベースのｎ個の入力データは、現段階で最も離散
的な入力データの集合となり、入力データ及び教師デー
タの数をｎ個に固定した状態で、ニューラルネットワー
クの幅広い入力事象に対する効果的な学習が可能とな
る。
ータに１つの入力データ及び教師データが付け加えられ
る場合には、入力データにおいて最も類似度の高い２つ
の入力データの組と、その入力データの組に対応した教
師データの組が消去されて、１つの合成入力データ及び
合成教師データに縮退される。したがって、更新された
データベースのｎ個の入力データは、現段階で最も離散
的な入力データの集合となり、入力データ及び教師デー
タの数をｎ個に固定した状態で、ニューラルネットワー
クの幅広い入力事象に対する効果的な学習が可能とな
る。
【００４０】しかも、合成入力データ及び合成教師デー
タは、２つのデータを、それぞれのデータに関する縮退
回数で重み付けて加重平均して求めているので、縮退回
数の大きい入力データの成分が合成データの成分に大き
く反映される。即ち、ある入力データの現在の縮退回数
（カウント値）は、現段階までにおいて縮退されてしま
い、結局、その入力データに姿を代えてしまった入力デ
ータの数を表している。従って、縮退回数で重み付けて
加重平均をとることは、過去の縮退された入力データの
特性が全くデータベースから削除されるのではなく、頂
点に立つ合成入力データに反映されていることを意味し
ている。更に、各教師データの縮退回数に応じて学習感
度を変化させていることから、縮退回数の大きい教師デ
ータ程学習効果が高い。従って、ｎ組の入力データと教
師データとを用いてニューラルネットワークを学習させ
ことは、新規に発生する入力データ及び教師データを全
て蓄積した入力データと教師データで、ニューラルネッ
トワークを学習させるのと、ほぼ等価となる。
タは、２つのデータを、それぞれのデータに関する縮退
回数で重み付けて加重平均して求めているので、縮退回
数の大きい入力データの成分が合成データの成分に大き
く反映される。即ち、ある入力データの現在の縮退回数
（カウント値）は、現段階までにおいて縮退されてしま
い、結局、その入力データに姿を代えてしまった入力デ
ータの数を表している。従って、縮退回数で重み付けて
加重平均をとることは、過去の縮退された入力データの
特性が全くデータベースから削除されるのではなく、頂
点に立つ合成入力データに反映されていることを意味し
ている。更に、各教師データの縮退回数に応じて学習感
度を変化させていることから、縮退回数の大きい教師デ
ータ程学習効果が高い。従って、ｎ組の入力データと教
師データとを用いてニューラルネットワークを学習させ
ことは、新規に発生する入力データ及び教師データを全
て蓄積した入力データと教師データで、ニューラルネッ
トワークを学習させるのと、ほぼ等価となる。
【００４１】尚、上記実施例においては、類似度Ｚpqを
入力データＤp と入力データＤq 間の距離で定義した
が、他に、クラスタリング手法で用いられている各種の
類似度を用いても良い。又、上記の実施例では、ｎ個の
データ組を記憶できる容量のデータベースから１組のデ
ータを記憶できる空き領域を作成させるようにしてい
る。しかし、更新学習に新規に使用される入力データ及
び教師データの組数が複数の場合には、入力データ間の
類似度の高い組から順に、必要な組数だけ入力データ及
び教師データを縮退させるようにしてもよい。又、上記
実施例では、（１０）式及び（１２）式の係数P を教師
データの縮退回数に比例させて変化させているが、この
係数Pと縮退回数との関係は任意の関数で設定しても良
い。更に、結合係数の補正量を縮退回数が多い程、大き
くするように補正するれば良いので、（１０）式及び
（１２）式の係数Q を縮退回数が多い程小さい値にする
ようにしても良い。
入力データＤp と入力データＤq 間の距離で定義した
が、他に、クラスタリング手法で用いられている各種の
類似度を用いても良い。又、上記の実施例では、ｎ個の
データ組を記憶できる容量のデータベースから１組のデ
ータを記憶できる空き領域を作成させるようにしてい
る。しかし、更新学習に新規に使用される入力データ及
び教師データの組数が複数の場合には、入力データ間の
類似度の高い組から順に、必要な組数だけ入力データ及
び教師データを縮退させるようにしてもよい。又、上記
実施例では、（１０）式及び（１２）式の係数P を教師
データの縮退回数に比例させて変化させているが、この
係数Pと縮退回数との関係は任意の関数で設定しても良
い。更に、結合係数の補正量を縮退回数が多い程、大き
くするように補正するれば良いので、（１０）式及び
（１２）式の係数Q を縮退回数が多い程小さい値にする
ようにしても良い。
【図１】本発明の具体的な実施例に係るニューラルネッ
トワークの構成を示した構成図。
トワークの構成を示した構成図。
【図２】同実施例に係るニューラルネットワークの演算
手順を示したフローチャート。
手順を示したフローチャート。
【図３】同実施例に係るニューラルネットワークの学習
手順を示したフローチャート。
手順を示したフローチャート。
【図４】同実施例に係るニューラルネットワークの更新
学習に用いられる入力データ及び教師データを有するデ
ータベースの更新手順を示したフローチャート。
学習に用いられる入力データ及び教師データを有するデ
ータベースの更新手順を示したフローチャート。
【図５】同実施例に係るニューラルネットワークの更新
学習に用いられるデータベースをデータ構成を示した構
成図。
学習に用いられるデータベースをデータ構成を示した構
成図。
【図６】同実施例に係るニューラルネットワークの更新
学習に用いられるデータベースの更新手順の概念を示し
た説明図。
学習に用いられるデータベースの更新手順の概念を示し
た説明図。
１０…ニューラルネットワーク ＬI …入力層 ＬM …中間層 Ｌo …出力層
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−184668（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 1/00 - 7/00 G06G 7/60 ＪＩＣＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)
Claims (1)
- 【請求項１】 入力データとそれに対応する教師データ
とを蓄積したデータベースを更新させつつ、その更新さ
れたデータベースを用いてニューラルネットワークを学
習させる方法において、前記入力データの中から任意に
選択された２つの入力データで構成される組の全てに対
して、その２つの入力データが相互に類似している程度
を表す類似度を演算し、前記類似度の最も高い組の２つ
の入力データを、その２つの入力データに基づいて１つ
の入力データに縮退させ、さらに、その２つの入力デー
タに対応する２つの教師データを、その２つの教師デー
タに基づいて１つの教師データに縮退させ、縮退によっ
て生じた前記入力データ又は前記教師データの縮退回数
を、縮退させられた２つのデータの過去の縮退回数に基
づいて演算し、その縮退回数を前記入力データ又は前記
教師データ毎に記憶し、前記教師データを用いた前記ニ
ューラルネットワークの結合係数の学習時には、各教師
データを用いた前記結合係数の補正演算において、各教
師データの前記各縮退回数に応じて、前記結合係数の補
正量を変化させることを特徴とするニューラルネットワ
ークの学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09004191A JP3203675B2 (ja) | 1991-03-27 | 1991-03-27 | ニューラルネットワークの学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09004191A JP3203675B2 (ja) | 1991-03-27 | 1991-03-27 | ニューラルネットワークの学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04299445A JPH04299445A (ja) | 1992-10-22 |
| JP3203675B2 true JP3203675B2 (ja) | 2001-08-27 |
Family
ID=13987564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09004191A Expired - Lifetime JP3203675B2 (ja) | 1991-03-27 | 1991-03-27 | ニューラルネットワークの学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3203675B2 (ja) |
-
1991
- 1991-03-27 JP JP09004191A patent/JP3203675B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04299445A (ja) | 1992-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lagaris et al. | Artificial neural network methods in quantum mechanics | |
| Abreu et al. | Toward a theory of discounted repeated games with imperfect monitoring | |
| Meilă et al. | Tractable Bayesian learning of tree belief networks | |
| CN110674850A (zh) | 一种基于注意力机制的图像描述生成方法 | |
| Lisboa et al. | Complete solution of the local minima in the XOR problem | |
| JP3374476B2 (ja) | ニューラルネットワーク構築方法 | |
| CN118503533A (zh) | 基于图神经网络的校园舆情隐藏群体检测方法 | |
| JP3203675B2 (ja) | ニューラルネットワークの学習方法 | |
| JP3236635B2 (ja) | ニューラルネットワークの学習方法 | |
| JP2862337B2 (ja) | ニューラルネットワークの構築方法 | |
| JP3229624B2 (ja) | 多層神経回路網及びその回路設計方法 | |
| JP3203674B2 (ja) | ニューラルネットワークの学習方法 | |
| JP3232595B2 (ja) | ニューラルネットワークの学習データ記憶装置 | |
| CN112686736A (zh) | 一种系统推荐方法 | |
| JPH07210534A (ja) | ニューラルネットワーク | |
| Nakamura et al. | Special solutions of the Toda chain and combinatorial numbers | |
| Tatsuhiko Sunayama et al. | Cellular νMOS circuits performing edge detection with difference-of-Gaussian filters | |
| US20060276996A1 (en) | Fast tracking system and method for generalized LARS/LASSO | |
| Hoda et al. | A gradient-based approach for computing Nash equilibria of large sequential games | |
| US20220114232A1 (en) | Imputation method and electrical device for symmetric and nonnegative matrix | |
| JP3337504B2 (ja) | ニューラルネットワーク | |
| CN119005261B (zh) | 神经网络模型压缩方法 | |
| JP3412700B2 (ja) | 神経回路網型パターン学習方法およびパターン処理装置 | |
| JP3132027B2 (ja) | ニューラル・ネットワークの評価方法 | |
| US20250036951A1 (en) | Neural network generation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080629 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090629 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 9 |