JP3312042B2 - 学習機械 - Google Patents
学習機械Info
- Publication number
- JP3312042B2 JP3312042B2 JP20846992A JP20846992A JP3312042B2 JP 3312042 B2 JP3312042 B2 JP 3312042B2 JP 20846992 A JP20846992 A JP 20846992A JP 20846992 A JP20846992 A JP 20846992A JP 3312042 B2 JP3312042 B2 JP 3312042B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- data
- input
- parameter
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、文字認識，画像認識，
音声認識等の認識装置、株価予測等の予測装置、あるい
は運動制御，機械動作制御等の制御装置などのように、
与えられた入力から望ましい出力を得るような装置全般
に利用される学習機械に関する。
音声認識等の認識装置、株価予測等の予測装置、あるい
は運動制御，機械動作制御等の制御装置などのように、
与えられた入力から望ましい出力を得るような装置全般
に利用される学習機械に関する。
【０００２】
【従来の技術】ニューラルネットワークを含む一般の学
習機械においては、入力が与えられたときに、この入力
に対して望ましい出力が得られるようにパラメータの学
習がなされる。この学習方式として、従来では、例えば
文献「バックプロパゲーション麻生英樹著 コンピュー
トロール２４ 特集ニューロコンピュータ（コロナ
社）」に示されているようなバックプロパゲーション法
が知られている。
習機械においては、入力が与えられたときに、この入力
に対して望ましい出力が得られるようにパラメータの学
習がなされる。この学習方式として、従来では、例えば
文献「バックプロパゲーション麻生英樹著 コンピュー
トロール２４ 特集ニューロコンピュータ（コロナ
社）」に示されているようなバックプロパゲーション法
が知られている。
【０００３】
【発明が解決しようとする課題】ところで、この種の学
習機械を例えば文字認識に適用する場合、パラメータを
学習した後に、実際の文字認識を行なわせた結果、ある
文字について誤認識したときには、この文字についても
正しく認識がなされるようパラメータの再学習が望まれ
る。しかしながら、従来では、パラメータの再学習につ
いては何らの考慮もなされていなかった。これは、１つ
には、上述の例において、誤認識を生じた文字を正しく
認識させるような再学習がなされるときには（すなわ
ち、望ましくない出力を出すデータｘ0を新たに学習し
たいデータとし、この新たに学習したいデータだけを用
いて再学習を行なうと）、いままで正しく認識されてい
た他の文字に誤認識が生じ、悪影響を及ぼす場合が多い
という問題があるためと考えられる。本願の発明者は、
この問題が、新たに学習したいデータｘ0だけを入力デ
ータとして用いて再学習を行なうときに生じるものであ
り、初期学習時の学習データ全体の分布に対するこのデ
ータｘ0の比重が不明なために生じると判断した。従っ
て、この問題を解決するために、初期の学習に使用した
学習データを再び用意し、初期の学習データと特定のデ
ータｘ0との和集合が全体の分布からのより精度良い標
本，すなわち入力データであるとして、これを再学習に
用いる方法を当初考えた。しかしながら、この方法で
は、初期の学習データを常に保持しなければならず、工
学的な応用においては、初期の学習データを常に保持す
ることは記憶容量の点で不利であり、実用性に欠けると
いう問題があった。
習機械を例えば文字認識に適用する場合、パラメータを
学習した後に、実際の文字認識を行なわせた結果、ある
文字について誤認識したときには、この文字についても
正しく認識がなされるようパラメータの再学習が望まれ
る。しかしながら、従来では、パラメータの再学習につ
いては何らの考慮もなされていなかった。これは、１つ
には、上述の例において、誤認識を生じた文字を正しく
認識させるような再学習がなされるときには（すなわ
ち、望ましくない出力を出すデータｘ0を新たに学習し
たいデータとし、この新たに学習したいデータだけを用
いて再学習を行なうと）、いままで正しく認識されてい
た他の文字に誤認識が生じ、悪影響を及ぼす場合が多い
という問題があるためと考えられる。本願の発明者は、
この問題が、新たに学習したいデータｘ0だけを入力デ
ータとして用いて再学習を行なうときに生じるものであ
り、初期学習時の学習データ全体の分布に対するこのデ
ータｘ0の比重が不明なために生じると判断した。従っ
て、この問題を解決するために、初期の学習に使用した
学習データを再び用意し、初期の学習データと特定のデ
ータｘ0との和集合が全体の分布からのより精度良い標
本，すなわち入力データであるとして、これを再学習に
用いる方法を当初考えた。しかしながら、この方法で
は、初期の学習データを常に保持しなければならず、工
学的な応用においては、初期の学習データを常に保持す
ることは記憶容量の点で不利であり、実用性に欠けると
いう問題があった。
【０００４】本発明は、初期の学習データを常時保持せ
ずとも、他のデータに対して悪影響を及ぼすことの少な
い再学習の可能な学習機械を提供することを目的として
いる。
ずとも、他のデータに対して悪影響を及ぼすことの少な
い再学習の可能な学習機械を提供することを目的として
いる。
【０００５】
【課題を解決するための手段および作用】上記目的を達
成するために、請求項１記載の発明は、入出力空間上の
確率分布を表わすパラメータを保持するパラメータ記憶
手段と、入力が与えられたときにパラメータ記憶手段に
保持されているパラメータに従って、出力の確率分布を
計算する出力確率計算手段と、入力とそれに対する望ま
しい出力との組を学習データとして用いてパラメータを
学習し、パラメータ記憶手段に設定するパラメータ学習
手段と、出力が与えられたときにパラメータ記憶手段に
保持されているパラメータに従って、入力の確率分布を
計算する入力確率計算手段と、入力確率計算手段で計算
された確率分布に従う入力標本と新たに学習したいデー
タとの和集合およびそれらに対する望ましい出力の組を
再学習データとして用いてパラメータ学習手段によりパ
ラメータの再学習を行なわせ、再学習のなされたパラメ
ータをパラメータ記憶手段に再設定する再学習手段とを
有していることを特徴としている。入力確率計算回路を
用いて発生させた入力標本は、初期の学習データを良好
に近似したものとなるので、この入力標本と新たに学習
したいデータｘ0との和集合を用いて再学習を行なうこ
とにより、初期の学習データを常に保持することなく、
かつ他のデータに対して悪影響を及ぼすことの少ない再
学習を行なうことが可能となる。
成するために、請求項１記載の発明は、入出力空間上の
確率分布を表わすパラメータを保持するパラメータ記憶
手段と、入力が与えられたときにパラメータ記憶手段に
保持されているパラメータに従って、出力の確率分布を
計算する出力確率計算手段と、入力とそれに対する望ま
しい出力との組を学習データとして用いてパラメータを
学習し、パラメータ記憶手段に設定するパラメータ学習
手段と、出力が与えられたときにパラメータ記憶手段に
保持されているパラメータに従って、入力の確率分布を
計算する入力確率計算手段と、入力確率計算手段で計算
された確率分布に従う入力標本と新たに学習したいデー
タとの和集合およびそれらに対する望ましい出力の組を
再学習データとして用いてパラメータ学習手段によりパ
ラメータの再学習を行なわせ、再学習のなされたパラメ
ータをパラメータ記憶手段に再設定する再学習手段とを
有していることを特徴としている。入力確率計算回路を
用いて発生させた入力標本は、初期の学習データを良好
に近似したものとなるので、この入力標本と新たに学習
したいデータｘ0との和集合を用いて再学習を行なうこ
とにより、初期の学習データを常に保持することなく、
かつ他のデータに対して悪影響を及ぼすことの少ない再
学習を行なうことが可能となる。
【０００６】また、請求項２記載の発明は、出力確率計
算手段および入力確率計算手段が、可逆構成の１つのニ
ューラルネットワークによって実現されている。これに
より、簡単な構成の下で良好な入力標本を容易に得るこ
とができる。
算手段および入力確率計算手段が、可逆構成の１つのニ
ューラルネットワークによって実現されている。これに
より、簡単な構成の下で良好な入力標本を容易に得るこ
とができる。
【０００７】また、請求項３記載の発明は、初期の学習
データの個数を保持する学習データ数記憶手段をさらに
有し、再学習手段は、入力確率計算手段で計算された確
率分布に従う入力標本のうち、学習データ数記憶手段に
保持されている個数と同数の標本を抽出し、該標本と新
たに学習したいデータとの和集合およびそれらに対する
望ましい出力の組を再学習データとして用いてパラメー
タ学習手段によりパラメータの再学習を行なわせること
を特徴としている。このような構成では、初期の学習デ
ータの個数分の入力標本が得られるので、初期学習時の
学習データをより良好に近似した入力標本を得ることが
でき、この入力標本と新たに学習したいデータとの和集
合および、それらに対する望ましい出力の組を再学習デ
ータとして、再学習を行なうことにより、より良好な再
学習を行なうことができる。
データの個数を保持する学習データ数記憶手段をさらに
有し、再学習手段は、入力確率計算手段で計算された確
率分布に従う入力標本のうち、学習データ数記憶手段に
保持されている個数と同数の標本を抽出し、該標本と新
たに学習したいデータとの和集合およびそれらに対する
望ましい出力の組を再学習データとして用いてパラメー
タ学習手段によりパラメータの再学習を行なわせること
を特徴としている。このような構成では、初期の学習デ
ータの個数分の入力標本が得られるので、初期学習時の
学習データをより良好に近似した入力標本を得ることが
でき、この入力標本と新たに学習したいデータとの和集
合および、それらに対する望ましい出力の組を再学習デ
ータとして、再学習を行なうことにより、より良好な再
学習を行なうことができる。
【０００８】また、請求項４記載の発明は、再学習手段
で再学習が行なわれた後に、用いられた再学習データの
個数を保持する学習データ数記憶手段をさらに有し、再
学習手段は、入力確率計算手段で計算された確率分布に
従う入力標本のうち、学習データ数記憶手段に保持され
ている個数と同数の標本を抽出し、該標本と新たに学習
したいデータとの和集合およびそれらに対する望ましい
出力の組を再学習データとして用いてパラメータ学習手
段によりパラメータの再学習を行なわせることを特徴と
している。これにより、再学習の際に、初期の学習デ−
タと新たに学習したいデ−タとの学習頻度の比率を自動
的に決定することができ、より外界のデ−タの分布に忠
実な学習が可能となる。
で再学習が行なわれた後に、用いられた再学習データの
個数を保持する学習データ数記憶手段をさらに有し、再
学習手段は、入力確率計算手段で計算された確率分布に
従う入力標本のうち、学習データ数記憶手段に保持され
ている個数と同数の標本を抽出し、該標本と新たに学習
したいデータとの和集合およびそれらに対する望ましい
出力の組を再学習データとして用いてパラメータ学習手
段によりパラメータの再学習を行なわせることを特徴と
している。これにより、再学習の際に、初期の学習デ−
タと新たに学習したいデ−タとの学習頻度の比率を自動
的に決定することができ、より外界のデ−タの分布に忠
実な学習が可能となる。
【０００９】また、請求項５記載の発明は、再学習デー
タの学習強度を表わす学習率記憶手段をさらに有し、再
学習手段は、入力確率計算手段で計算された確率分布に
従う入力標本の個数と新たに学習したいデータの個数と
の比が、学習率記憶手段に保持されている値に従って決
定された比率に一致するように再学習デ−タを決定し該
再学習データを用いてパラメータ学習手段によりパラメ
ータの再学習を行なわせることを特徴としている。これ
により、再学習の際に、初期の学習デ−タと新たに学習
したいデ−タとの学習頻度の比率をオペレ−タなどが任
意に決定することができ、特定のデ−タだけを強く学習
することが可能となる。
タの学習強度を表わす学習率記憶手段をさらに有し、再
学習手段は、入力確率計算手段で計算された確率分布に
従う入力標本の個数と新たに学習したいデータの個数と
の比が、学習率記憶手段に保持されている値に従って決
定された比率に一致するように再学習デ−タを決定し該
再学習データを用いてパラメータ学習手段によりパラメ
ータの再学習を行なわせることを特徴としている。これ
により、再学習の際に、初期の学習デ−タと新たに学習
したいデ−タとの学習頻度の比率をオペレ−タなどが任
意に決定することができ、特定のデ−タだけを強く学習
することが可能となる。
【００１０】
【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明に係る学習機械の第１の実施例の構
成図である。図１の学習機械は、入出力空間（ｘ，ｙ）
上の確率分布を表わすパラメータｗを保持するパラメー
タ記憶部１０と、入力ｘが与えられたときにパラメータ
記憶部１０に保持されているパラメータｗに従って、出
力ｙの確率分布を出力する階層型のニューラルネットワ
ークＮＷと、入力とそれに対する望ましい出力との組か
らなる学習データに基づきパラメータｗの学習を行な
い、学習のなされたパラメータｗをパラメータ記憶部１
０に設定するパラメータ学習部１１と、パラメータｗの
再学習を行ない、再学習のなされたパラメータｗをパラ
メータ記憶部１０に設定する再学習部１２とを有してい
る。
する。図１は本発明に係る学習機械の第１の実施例の構
成図である。図１の学習機械は、入出力空間（ｘ，ｙ）
上の確率分布を表わすパラメータｗを保持するパラメー
タ記憶部１０と、入力ｘが与えられたときにパラメータ
記憶部１０に保持されているパラメータｗに従って、出
力ｙの確率分布を出力する階層型のニューラルネットワ
ークＮＷと、入力とそれに対する望ましい出力との組か
らなる学習データに基づきパラメータｗの学習を行な
い、学習のなされたパラメータｗをパラメータ記憶部１
０に設定するパラメータ学習部１１と、パラメータｗの
再学習を行ない、再学習のなされたパラメータｗをパラ
メータ記憶部１０に設定する再学習部１２とを有してい
る。
【００１１】ここで、階層型のニューラルネットワーク
ＮＷは、入力素子１と、第１の中間層２と、正規化細胞
３と、第２の中間層４と、出力素子５とを備えており、
このニューラルネットワークＮＷは、可逆的に構成され
ている。すなわち、入力ｘが入力素子１に加わったとき
には、出力素子５からは、入力ｘが与えられたときの出
力ｙの確率分布が得られるとともに、出力ｙが出力素子
５に加わったときには、入力素子１からは、出力ｙが与
えられたときの入力ｘの確率分布が得られるようになっ
ている。従って、このニューラルネットワークＮＷは、
入力ｘが与えられたときに、パラメータ記憶部１０に保
持されているパラメータｗに従って出力ｙの確率分布を
計算する出力確率計算回路として機能するとともに、出
力ｙが与えられたときにパラメータ記憶部１０に保持さ
れているパラメータｗに従って入力ｘの確率分布を計算
する入力確率計算回路としても機能するようになってい
る。
ＮＷは、入力素子１と、第１の中間層２と、正規化細胞
３と、第２の中間層４と、出力素子５とを備えており、
このニューラルネットワークＮＷは、可逆的に構成され
ている。すなわち、入力ｘが入力素子１に加わったとき
には、出力素子５からは、入力ｘが与えられたときの出
力ｙの確率分布が得られるとともに、出力ｙが出力素子
５に加わったときには、入力素子１からは、出力ｙが与
えられたときの入力ｘの確率分布が得られるようになっ
ている。従って、このニューラルネットワークＮＷは、
入力ｘが与えられたときに、パラメータ記憶部１０に保
持されているパラメータｗに従って出力ｙの確率分布を
計算する出力確率計算回路として機能するとともに、出
力ｙが与えられたときにパラメータ記憶部１０に保持さ
れているパラメータｗに従って入力ｘの確率分布を計算
する入力確率計算回路としても機能するようになってい
る。
【００１２】通常の動作時には、このニューラルネット
ワークＮＷは、出力確率計算回路として機能し、入力素
子１に入力ｘが加わったときに、パラメータ記憶部１０
に保持されているパラメータｗに従って、出力ｙの確率
分布を計算し、出力素子５から出力するようになってい
る。すなわち、パラメータｗの学習時（初期学習時）に
は、入力とそれに対する望ましい出力との組からなる学
習データに基づき、パラメータ学習部１１によりパラメ
ータｗを学習し、入力ｘに対して望ましい出力ｙが出さ
れるよう、パラメータ記憶部１０内のパラメータｗを更
新するようになっている。また、パラメータｗの学習が
パラメータ学習部１１によりなされ、パラメータ記憶部
１０に望ましいパラメータｗが設定されたときには、こ
のニューラルネットワークＮＷを実際の文字認識，音声
認識等に使用し、未知の入力ｘに対して出力ｙを得るこ
とができる。
ワークＮＷは、出力確率計算回路として機能し、入力素
子１に入力ｘが加わったときに、パラメータ記憶部１０
に保持されているパラメータｗに従って、出力ｙの確率
分布を計算し、出力素子５から出力するようになってい
る。すなわち、パラメータｗの学習時（初期学習時）に
は、入力とそれに対する望ましい出力との組からなる学
習データに基づき、パラメータ学習部１１によりパラメ
ータｗを学習し、入力ｘに対して望ましい出力ｙが出さ
れるよう、パラメータ記憶部１０内のパラメータｗを更
新するようになっている。また、パラメータｗの学習が
パラメータ学習部１１によりなされ、パラメータ記憶部
１０に望ましいパラメータｗが設定されたときには、こ
のニューラルネットワークＮＷを実際の文字認識，音声
認識等に使用し、未知の入力ｘに対して出力ｙを得るこ
とができる。
【００１３】しかしながら、パラメータｗの学習がなさ
れ、パラメータ記憶部１０に望ましいと思われるパラメ
ータｗが設定された場合にも、文字認識などにおいて誤
認識する文字等が発生することがある。例えば、ある特
定の入力ｘ0に対する出力が不適切となることがある。
このような場合に、図１の学習機械では、再学習部１２
によってパラメータｗを再学習し、特定の入力ｘ0に対
しても適切な出力が返るようにすることを意図してお
り、この再学習を行なう際に、ニューラルネットワーク
ＮＷを入力確率計算回路としても機能させるようになっ
ている。
れ、パラメータ記憶部１０に望ましいと思われるパラメ
ータｗが設定された場合にも、文字認識などにおいて誤
認識する文字等が発生することがある。例えば、ある特
定の入力ｘ0に対する出力が不適切となることがある。
このような場合に、図１の学習機械では、再学習部１２
によってパラメータｗを再学習し、特定の入力ｘ0に対
しても適切な出力が返るようにすることを意図してお
り、この再学習を行なう際に、ニューラルネットワーク
ＮＷを入力確率計算回路としても機能させるようになっ
ている。
【００１４】すなわち、再学習を行なう場合には、前述
のように、初期の学習時に使用した学習データと特定の
データ（すなわち新たに学習したいデータ）ｘ0との和
集合を入力データとして用いるのが望ましいが、初期の
学習時に使用した学習データを保持することは記憶容量
の点で不利である。そこで、この第１の実施例では、初
期の学習時に使用した学習データを保持するかわりに、
再学習部１２は、初期学習時に出力として教えた教師信
号（入力に対する望ましい出力）を発生させ、これらを
出力素子５に加えて、入力素子１から入力ベクトルの標
本（入力標本）を出力させて、入力素子１から出力され
た入力標本と特定のデータ（新たに学習したいデータ）
ｘ0との和集合およびそれらに対する望ましい出力の組
を再学習データとして、パラメータ学習部１１により再
学習させるようになっている。このように、初期の学習
データのかわりの入力標本を発生させるときに、ニュー
ラルネットワークＮＷを入力確率計算回路として機能さ
せるようになっている。
のように、初期の学習時に使用した学習データと特定の
データ（すなわち新たに学習したいデータ）ｘ0との和
集合を入力データとして用いるのが望ましいが、初期の
学習時に使用した学習データを保持することは記憶容量
の点で不利である。そこで、この第１の実施例では、初
期の学習時に使用した学習データを保持するかわりに、
再学習部１２は、初期学習時に出力として教えた教師信
号（入力に対する望ましい出力）を発生させ、これらを
出力素子５に加えて、入力素子１から入力ベクトルの標
本（入力標本）を出力させて、入力素子１から出力され
た入力標本と特定のデータ（新たに学習したいデータ）
ｘ0との和集合およびそれらに対する望ましい出力の組
を再学習データとして、パラメータ学習部１１により再
学習させるようになっている。このように、初期の学習
データのかわりの入力標本を発生させるときに、ニュー
ラルネットワークＮＷを入力確率計算回路として機能さ
せるようになっている。
【００１５】次にこのような構成の学習機械の処理動作
についてより詳細に説明する。通常の処理動作時には、
ニューラルネットワークＮＷは、出力確率計算回路とし
て機能し、入力素子１には、例えばＭ次元入力ベクトル
データｘが外部の装置（図示せず）から加わる。例えば
文字認識に適用される場合には、外部装置で抽出された
文字の特徴ベクトルなどが入力として使われる。入力素
子１に入力ベクトルデータｘが加わると、このニューラ
ルネットワーク，すなわち出力確率計算回路は、与えら
れた入力ｘに従って、ｘが与えられた時のＮ次元出力ベ
クトルデータｙの条件付き確率分布を計算する。ここ
で、入出力（ｘ，ｙ）の満足する確率分布は、パラメー
タ記憶部１０に保持されるパラメータｗを用いて、確率
密度関数ｐ(ｗ；ｘ，ｙ）によって推定される。このと
き、出力確率算出回路は、パラメータ記憶部１０に保持
されているパラメータｗを用いて、入力ｘが入力された
ときの出力ｙの条件付き確率ｐ(ｗ；ｙ｜ｘ）を次式に
従って数値演算する。
についてより詳細に説明する。通常の処理動作時には、
ニューラルネットワークＮＷは、出力確率計算回路とし
て機能し、入力素子１には、例えばＭ次元入力ベクトル
データｘが外部の装置（図示せず）から加わる。例えば
文字認識に適用される場合には、外部装置で抽出された
文字の特徴ベクトルなどが入力として使われる。入力素
子１に入力ベクトルデータｘが加わると、このニューラ
ルネットワーク，すなわち出力確率計算回路は、与えら
れた入力ｘに従って、ｘが与えられた時のＮ次元出力ベ
クトルデータｙの条件付き確率分布を計算する。ここ
で、入出力（ｘ，ｙ）の満足する確率分布は、パラメー
タ記憶部１０に保持されるパラメータｗを用いて、確率
密度関数ｐ(ｗ；ｘ，ｙ）によって推定される。このと
き、出力確率算出回路は、パラメータ記憶部１０に保持
されているパラメータｗを用いて、入力ｘが入力された
ときの出力ｙの条件付き確率ｐ(ｗ；ｙ｜ｘ）を次式に
従って数値演算する。
【００１６】
【数１】
【００１７】いま、例えば、Ｒ(ｘ），Ｓ(ｙ）をそれぞ
れＲM，ＲN上の確率密度関数とし、ξ∈ＲM，η∈ＲN，
ρ，σ≧０に対し、次式のように定義する。
れＲM，ＲN上の確率密度関数とし、ξ∈ＲM，η∈ＲN，
ρ，σ≧０に対し、次式のように定義する。
【００１８】
【数２】
【００１９】この場合、確率密度関数ｐ(ｗ；ｘ，ｙ）
としては、ｗ＝(θh，ξh，ρh，ηh，σh）（１≦ｈ≦
Ｈ）をパラメータとして、次式を用いることができる。
としては、ｗ＝(θh，ξh，ρh，ηh，σh）（１≦ｈ≦
Ｈ）をパラメータとして、次式を用いることができる。
【００２０】
【数３】
【００２１】以下では、Ｒ，Ｓが次式のようなガウス分
布で表わされるものとする。
布で表わされるものとする。
【００２２】
【数４】
【００２３】このとき、条件付き確率ｐ(ｗ；ｙ｜ｘ）
は、次式のようになる。
は、次式のようになる。
【００２４】
【数５】
【００２５】数５で表わされる確率分布ｐ(ｗ；ｙ｜
ｘ）に従って出力ｙを発生させるため、ニューラルネッ
トワークＮＷでは、具体的には、以下の処理がなされ
る。先づ、第１の中間層２は、パラメータξh，ρh，θ
hと入力ベクトルｘとを用い、各素子の出力Ｏh (1)(ｘ）
を次式のように算出する。
ｘ）に従って出力ｙを発生させるため、ニューラルネッ
トワークＮＷでは、具体的には、以下の処理がなされ
る。先づ、第１の中間層２は、パラメータξh，ρh，θ
hと入力ベクトルｘとを用い、各素子の出力Ｏh (1)(ｘ）
を次式のように算出する。
【００２６】
【数６】
【００２７】次に正規化細胞３は、第１の中間層２の各
素子の出力Ｏh (1)(ｘ）の総和Ｏ（ｘ）を次式により求
め、出力する。
素子の出力Ｏh (1)(ｘ）の総和Ｏ（ｘ）を次式により求
め、出力する。
【００２８】
【数７】
【００２９】ここで、αh(ｘ）＝Ｏh (1)(ｘ）／Ｏ(ｘ）
は、次式を満たす。
は、次式を満たす。
【００３０】
【数８】
【００３１】従って、｛α1(ｘ），α2(ｘ），…，α
H(ｘ）｝は、Ｈ個の離散集合｛１，２，…，Ｈ｝上の確
率を表わす。この離散分布に基づいて、集合｛１，２，
…，Ｈ｝から１つの要素ｈ0を選び出し、第２の中間層
４の出力値を、（００，…，１，…，０）とおく。すな
わち、１つの要素ｈ0に対応した出力値だけを“１”と
する。
H(ｘ）｝は、Ｈ個の離散集合｛１，２，…，Ｈ｝上の確
率を表わす。この離散分布に基づいて、集合｛１，２，
…，Ｈ｝から１つの要素ｈ0を選び出し、第２の中間層
４の出力値を、（００，…，１，…，０）とおく。すな
わち、１つの要素ｈ0に対応した出力値だけを“１”と
する。
【００３２】出力素子５は、ニューラルネットワークＮ
Ｗの出力ｙを、ガウス分布Ｓ(ηh0，σh0；ｙ）に従う
サンプルとして確率的に１つ決定する。このようにし
て、出力確率計算回路は、出力値ｙを数５の確率分布に
従う標本として発生させることができる。
Ｗの出力ｙを、ガウス分布Ｓ(ηh0，σh0；ｙ）に従う
サンプルとして確率的に１つ決定する。このようにし
て、出力確率計算回路は、出力値ｙを数５の確率分布に
従う標本として発生させることができる。
【００３３】望ましい確率分布に従って、出力ｙが得ら
れるようになるためには、出力確率計算回路においてパ
ラメータｗを適切な値に決定することが必要となる。こ
の学習はパラメータ学習部１１により行なわれる。先
づ、学習に際して、学習データと呼ばれる、入力とそれ
に対する望ましい出力の組の例｛（ｘs，ｙs）｜（１≦
ｓ≦Ｓ）｝が用意される。例えば、このニューラルネッ
トワークＮＷを文字認識に応用する場合には、文字
「あ」、「い」、「う」…に対する特徴ベクトルをｘs
とし、また、それらに対応する出力ｙsを（１，０，
０，…），（０，１，０，…），（０，０，１，…），
…とすれば良い。
れるようになるためには、出力確率計算回路においてパ
ラメータｗを適切な値に決定することが必要となる。こ
の学習はパラメータ学習部１１により行なわれる。先
づ、学習に際して、学習データと呼ばれる、入力とそれ
に対する望ましい出力の組の例｛（ｘs，ｙs）｜（１≦
ｓ≦Ｓ）｝が用意される。例えば、このニューラルネッ
トワークＮＷを文字認識に応用する場合には、文字
「あ」、「い」、「う」…に対する特徴ベクトルをｘs
とし、また、それらに対応する出力ｙsを（１，０，
０，…），（０，１，０，…），（０，０，１，…），
…とすれば良い。
【００３４】乱数を用いるなどの方法によりパラメータ
ｗを初期化した後、パラメータ学習部１１は、最急上昇
法による最尤推定を行なう。すなわち、次式のように、
対数尤度関数Ｌ(ｗ）の値がなるべく大きくなるよう
に、パラメータｗの値を次の最急上昇法の規則に従って
更新していく。
ｗを初期化した後、パラメータ学習部１１は、最急上昇
法による最尤推定を行なう。すなわち、次式のように、
対数尤度関数Ｌ(ｗ）の値がなるべく大きくなるよう
に、パラメータｗの値を次の最急上昇法の規則に従って
更新していく。
【００３５】
【数９】
【００３６】ガウス分布を用いた場合には、ｐs＝ｐ
(ｗ；ｘs，ｙs）と書くとき、次式に従って逐次的にパ
ラメータｗの更新を行ない、パラメータｗの変化量があ
る閾値より小さくなったところで更新を停止し、パラメ
ータ記憶部１０に書き込む。
(ｗ；ｘs，ｙs）と書くとき、次式に従って逐次的にパ
ラメータｗの更新を行ない、パラメータｗの変化量があ
る閾値より小さくなったところで更新を停止し、パラメ
ータ記憶部１０に書き込む。
【００３７】
【数１０】
【００３８】以上のように決定され、パラメータ記憶部
１０内に最終的に記憶されたパラメータｗが実際の文字
認識などの動作の際に出力確率計算回路によって使用さ
れる。
１０内に最終的に記憶されたパラメータｗが実際の文字
認識などの動作の際に出力確率計算回路によって使用さ
れる。
【００３９】ところで、学習によってパラメータｗを設
定した後、実際の文字認識などの動作を行なうときに、
文字の誤認識などが生じる場合がある。このような場合
に、すなわち入力ベクトルｘ0に対する出力が不適切で
ある場合に、適切な出力が返るように再学習したいとす
る。このとき再学習部１２は、ニューラルネットワーク
ＮＷを入力確率計算回路として機能させ、初期学習に出
力として教えた教師信号を発生させて、これらに対する
入力ベクトルの標本を入力確率計算回路から発生させ
る。
定した後、実際の文字認識などの動作を行なうときに、
文字の誤認識などが生じる場合がある。このような場合
に、すなわち入力ベクトルｘ0に対する出力が不適切で
ある場合に、適切な出力が返るように再学習したいとす
る。このとき再学習部１２は、ニューラルネットワーク
ＮＷを入力確率計算回路として機能させ、初期学習に出
力として教えた教師信号を発生させて、これらに対する
入力ベクトルの標本を入力確率計算回路から発生させ
る。
【００４０】すなわち、入力確率計算回路は、出力ベク
トルｙが与えられた時の入力ベクトルｘの条件付き確率
ｐ(ｗ；ｘ｜ｙ）を、次式に従って数値演算する。
トルｙが与えられた時の入力ベクトルｘの条件付き確率
ｐ(ｗ；ｘ｜ｙ）を、次式に従って数値演算する。
【００４１】
【数１１】
【００４２】数１１で表わされる確率分布ｐ(ｗ；ｘ｜
ｙ）に従って入力ｘを発生させるため、ニューラルネッ
トワークＮＷでは、具体的には、以下の処理がなされ
る。すなわち、先づ、第２の中間層４は、パラメータη
h，σh，θhと出力ベクトルｙとを用い、各素子の出力
ｒh (1)(ｘ）を次式のように算出する。
ｙ）に従って入力ｘを発生させるため、ニューラルネッ
トワークＮＷでは、具体的には、以下の処理がなされ
る。すなわち、先づ、第２の中間層４は、パラメータη
h，σh，θhと出力ベクトルｙとを用い、各素子の出力
ｒh (1)(ｘ）を次式のように算出する。
【００４３】
【数１２】
【００４４】次に正規化細胞３は、第２の中間層４の各
素子の出力の総和ｒ(ｘ）を次式により求め、出力す
る。
素子の出力の総和ｒ(ｘ）を次式により求め、出力す
る。
【００４５】
【数１３】
【００４６】ここで、βh(ｘ）＝ｒh (1)(ｘ）／ｒ(ｘ）
は、次式を満たす。
は、次式を満たす。
【００４７】
【数１４】
【００４８】従って、｛β1(ｘ），β2(ｘ），…，β
H(ｘ）｝は、Ｈ個の離散集合｛１，２，…，Ｈ｝上の確
率を表わす。この離散分布に基づいて、集合｛１，２，
…，Ｈ｝から１つの要素ｈ0を選び出し、第１の中間層
２の出力値を（０，０，…，１，…，０）とおく。すな
わち、１つの要素ｈ0に対応した出力値だけを“１”と
する。入力素子１は、ニューラルネットワークＮＷの逆
方向の出力をガウス分布Ｒ(ξh0，ρh0；ｘ）に従うサ
ンプルとして確率的に１つ決定する。このようにして、
入力確率計算回路は、出力確率計算回路の場合と同様の
仕方で、但し、各素子の計算順序を反対にして、数１１
の確率分布に従う入力標本を発生させることができる。
H(ｘ）｝は、Ｈ個の離散集合｛１，２，…，Ｈ｝上の確
率を表わす。この離散分布に基づいて、集合｛１，２，
…，Ｈ｝から１つの要素ｈ0を選び出し、第１の中間層
２の出力値を（０，０，…，１，…，０）とおく。すな
わち、１つの要素ｈ0に対応した出力値だけを“１”と
する。入力素子１は、ニューラルネットワークＮＷの逆
方向の出力をガウス分布Ｒ(ξh0，ρh0；ｘ）に従うサ
ンプルとして確率的に１つ決定する。このようにして、
入力確率計算回路は、出力確率計算回路の場合と同様の
仕方で、但し、各素子の計算順序を反対にして、数１１
の確率分布に従う入力標本を発生させることができる。
【００４９】再学習部１２は、これらの入力標本と新た
に学習したいベクトルデータｘ0との和集合および、そ
れらに対する望ましい出力の組を再学習データとして、
初期学習時と同様に、パラメータ学習部１１によりパラ
メータｗの再学習を行なわせる。
に学習したいベクトルデータｘ0との和集合および、そ
れらに対する望ましい出力の組を再学習データとして、
初期学習時と同様に、パラメータ学習部１１によりパラ
メータｗの再学習を行なわせる。
【００５０】このような処理において、入力確率計算回
路を用いて発生させた入力標本は、初期の学習データを
良好に近似したものとなるので、この入力標本と新たに
学習したいデータｘ0との和集合およびそれらに対する
望ましい出力の組を再学習デ−タとして用いて再学習を
行なうことにより、他のデータに対して悪影響を及ぼす
ことの少ない再学習を行なうことが可能となる。
路を用いて発生させた入力標本は、初期の学習データを
良好に近似したものとなるので、この入力標本と新たに
学習したいデータｘ0との和集合およびそれらに対する
望ましい出力の組を再学習デ−タとして用いて再学習を
行なうことにより、他のデータに対して悪影響を及ぼす
ことの少ない再学習を行なうことが可能となる。
【００５１】また、初期の学習デ−タのうち、入力デ−
タについては、上述したように、これのかわりに入力確
率計算回路を用いて入力標本が得られるので、これを常
に保持しておく必要がない。また、初期の学習デ−タの
うち、望ましい出力（教師信号）についても、これを簡
単な回路もしくはＣＰＵ等により規則的に作成可能であ
り、望ましい出力（教師信号）が簡単な回路等によって
自動的に作成される場合には、これを保持する必要がな
い。より具体的には前述の例に示したようなパタ−ン認
識においては、識別すべきカテゴリの数だけ出力素子を
用意し、ある入力ｘに対する望ましい出力（教師信号）
として、（０，…，１，…０）のように、入力ｘが属す
るカテゴリに対する出力素子だけを“１”にしたベクト
ルを設定する方法が良く用いられる。このような場合に
は、再学習用の入力デ−タ（入力標本）を発生させると
きに、教師信号として、（１，０，…，０），（０，
１，０，…，０），（０，０，１，０，…，０），…を
出力素子に与えて入力デ−タを発生させれば良く、実際
には、これらは簡単な回路もしくはＣＰＵ等により規則
的に作成可能である。従って、この実施例によれば、入
力とその望ましい出力との組からなる初期の学習デ−タ
を常時保持することなく、かつ、他のデ−タに対して悪
影響を及ぼすことの少ない再学習を行なうことが可能と
なる。
タについては、上述したように、これのかわりに入力確
率計算回路を用いて入力標本が得られるので、これを常
に保持しておく必要がない。また、初期の学習デ−タの
うち、望ましい出力（教師信号）についても、これを簡
単な回路もしくはＣＰＵ等により規則的に作成可能であ
り、望ましい出力（教師信号）が簡単な回路等によって
自動的に作成される場合には、これを保持する必要がな
い。より具体的には前述の例に示したようなパタ−ン認
識においては、識別すべきカテゴリの数だけ出力素子を
用意し、ある入力ｘに対する望ましい出力（教師信号）
として、（０，…，１，…０）のように、入力ｘが属す
るカテゴリに対する出力素子だけを“１”にしたベクト
ルを設定する方法が良く用いられる。このような場合に
は、再学習用の入力デ−タ（入力標本）を発生させると
きに、教師信号として、（１，０，…，０），（０，
１，０，…，０），（０，０，１，０，…，０），…を
出力素子に与えて入力デ−タを発生させれば良く、実際
には、これらは簡単な回路もしくはＣＰＵ等により規則
的に作成可能である。従って、この実施例によれば、入
力とその望ましい出力との組からなる初期の学習デ−タ
を常時保持することなく、かつ、他のデ−タに対して悪
影響を及ぼすことの少ない再学習を行なうことが可能と
なる。
【００５２】また、上記例において、新たに学習したい
データｘ0としては、これが１つの場合に限らず、複数
個存在する場合であっても良い。この場合にも、全く同
様の手順により、他のデータに対して悪影響を及ぼすこ
との少ない再学習を行なうことができる。
データｘ0としては、これが１つの場合に限らず、複数
個存在する場合であっても良い。この場合にも、全く同
様の手順により、他のデータに対して悪影響を及ぼすこ
との少ない再学習を行なうことができる。
【００５３】図２は本発明に係る学習機械の第２の実施
例の構成図である。なお、図２において図１と同様の箇
所には同じ符号を付している。この第２の実施例では、
初期の学習時に用いられた学習データの個数を記憶する
学習データ数記憶部１３がさらに設けられており、再学
習部１２は、初期学習時に出力として教えた教師信号
を、学習データ数記憶部１３に保持された学習データ個
数分だけ発生させ、これらに対応した入力標本を入力確
率計算回路に発生させ、パラメータ学習部１１によって
再学習を行なわせるようになっている。
例の構成図である。なお、図２において図１と同様の箇
所には同じ符号を付している。この第２の実施例では、
初期の学習時に用いられた学習データの個数を記憶する
学習データ数記憶部１３がさらに設けられており、再学
習部１２は、初期学習時に出力として教えた教師信号
を、学習データ数記憶部１３に保持された学習データ個
数分だけ発生させ、これらに対応した入力標本を入力確
率計算回路に発生させ、パラメータ学習部１１によって
再学習を行なわせるようになっている。
【００５４】このような構成では、初期学習時に出力と
して教えた教師信号のうち、学習データ数記憶部１３に
保持された個数分のデータに対応した個数の入力標本が
得られるので、初期学習時の学習データをより良好に近
似した入力標本を得ることができ、この入力標本と新た
に学習したいデータｘ0との和集合および、それらに対
する望ましい出力の組を再学習データとして、再学習を
行なうことにより、より良好なパラメータｗを得ること
ができる。
して教えた教師信号のうち、学習データ数記憶部１３に
保持された個数分のデータに対応した個数の入力標本が
得られるので、初期学習時の学習データをより良好に近
似した入力標本を得ることができ、この入力標本と新た
に学習したいデータｘ0との和集合および、それらに対
する望ましい出力の組を再学習データとして、再学習を
行なうことにより、より良好なパラメータｗを得ること
ができる。
【００５５】図３は本発明に係る学習機械の第３の実施
例の構成図である。この第３の実施例では、再学習部１
２で再学習が行なわれた後に、再学習データの個数を記
憶する学習データ数記憶部１４が設けられており、再学
習部１２は、初期学習時に出力として教えた教師信号を
学習データ数記憶部１４に保持された個数だけ発生さ
せ、これらに対する入力標本を入力確率計算回路に発生
させ、パラメータ学習部１１によって再学習を行なわせ
るようになっている。
例の構成図である。この第３の実施例では、再学習部１
２で再学習が行なわれた後に、再学習データの個数を記
憶する学習データ数記憶部１４が設けられており、再学
習部１２は、初期学習時に出力として教えた教師信号を
学習データ数記憶部１４に保持された個数だけ発生さ
せ、これらに対する入力標本を入力確率計算回路に発生
させ、パラメータ学習部１１によって再学習を行なわせ
るようになっている。
【００５６】このような構成では、再学習が終了したと
きに、再学習データの個数を学習データ数記憶部１４に
書き込む。これにより、学習データ数記憶部１４に保持
された値は、今までに学習したデータの総数になる。こ
れにより、再学習部１２では、初期学習時に出力として
教えた教師信号を今までに学習したデータの総数だけ発
生させ、これらに対する入力標本と新たに学習したいデ
ータｘ0の和集合および、それらに対する望ましい出力
の組を再学習データとして、再学習を行なう。このよう
に、第３の実施例では、一旦学習が行なわれた後のニュ
ーラルネットワークを再学習する際に、今までに学習し
たデータと新たに学習したいデータとの学習頻度の比率
を自動的に決定することができ、より外界のデータの分
布に忠実な学習が可能となる。
きに、再学習データの個数を学習データ数記憶部１４に
書き込む。これにより、学習データ数記憶部１４に保持
された値は、今までに学習したデータの総数になる。こ
れにより、再学習部１２では、初期学習時に出力として
教えた教師信号を今までに学習したデータの総数だけ発
生させ、これらに対する入力標本と新たに学習したいデ
ータｘ0の和集合および、それらに対する望ましい出力
の組を再学習データとして、再学習を行なう。このよう
に、第３の実施例では、一旦学習が行なわれた後のニュ
ーラルネットワークを再学習する際に、今までに学習し
たデータと新たに学習したいデータとの学習頻度の比率
を自動的に決定することができ、より外界のデータの分
布に忠実な学習が可能となる。
【００５７】図４は本発明に係る学習機械の第４の実施
例の構成図である。この第４の実施例では、オペレータ
の指示などにより決定された学習強度Ｇを保持する学習
率記憶部１５が設けられており、再学習部１２は、初期
学習時に出力として教えた教師信号を発生するが、この
とき、新たに学習したいデータｘ0と発生する教師信号
との比率がＧ：１になるように教師信号の発生個数を決
定し、これら教師信号に対する入力標本を入力確率計算
回路に発生させ、パラメータ学習部１１によって再学習
を行なわせるようになっている。
例の構成図である。この第４の実施例では、オペレータ
の指示などにより決定された学習強度Ｇを保持する学習
率記憶部１５が設けられており、再学習部１２は、初期
学習時に出力として教えた教師信号を発生するが、この
とき、新たに学習したいデータｘ0と発生する教師信号
との比率がＧ：１になるように教師信号の発生個数を決
定し、これら教師信号に対する入力標本を入力確率計算
回路に発生させ、パラメータ学習部１１によって再学習
を行なわせるようになっている。
【００５８】このような構成では、一旦学習が行なわれ
た後のニューラルネットワークを再学習する際に、初期
の学習データと新たに学習したいデータとの学習頻度の
比率をオペレータなどが任意に決定することができ、特
定のデータ，すなわち新たに学習したいデータだけを強
く学習することが可能となる。
た後のニューラルネットワークを再学習する際に、初期
の学習データと新たに学習したいデータとの学習頻度の
比率をオペレータなどが任意に決定することができ、特
定のデータ，すなわち新たに学習したいデータだけを強
く学習することが可能となる。
【００５９】
【発明の効果】以上に説明したように、請求項１記載の
発明によれば、再学習を行なうときに、再学習手段は、
入力確率計算手段に出力を与えてパラメータ記憶手段に
保持されているパラメータに従って入力の確率分布を計
算させるようになっており、この場合、入力確率計算手
段を用いて発生させた入力標本は、初期の学習データを
良好に近似したものとなるので、この入力標本と新たに
学習したいデータとの和集合を用いて再学習を行なうこ
とにより、初期の学習データを常時保持することなく、
かつ他のデータに対して悪影響を及ぼすことの少ない再
学習を行なうことができる。また、請求項２記載のよう
に、出力確率計算手段および入力確率計算手段が、可逆
構成の１つのニューラルネットワークによって実現され
ていることにより、簡単な構成の下で、良好な入力標本
を容易に得ることができる。
発明によれば、再学習を行なうときに、再学習手段は、
入力確率計算手段に出力を与えてパラメータ記憶手段に
保持されているパラメータに従って入力の確率分布を計
算させるようになっており、この場合、入力確率計算手
段を用いて発生させた入力標本は、初期の学習データを
良好に近似したものとなるので、この入力標本と新たに
学習したいデータとの和集合を用いて再学習を行なうこ
とにより、初期の学習データを常時保持することなく、
かつ他のデータに対して悪影響を及ぼすことの少ない再
学習を行なうことができる。また、請求項２記載のよう
に、出力確率計算手段および入力確率計算手段が、可逆
構成の１つのニューラルネットワークによって実現され
ていることにより、簡単な構成の下で、良好な入力標本
を容易に得ることができる。
【００６０】また、請求項３記載の発明によれば、初期
の学習データの個数を保持する学習データ数記憶手段を
さらに有し、再学習手段は、入力確率計算手段で計算さ
れた確率分布に従う入力標本のうち、学習データ数記憶
手段に保持されている個数と同数の標本を抽出し、該標
本と新たに学習したいデータとの和集合およびそれらに
対する望ましい出力の組を再学習データとして用いてパ
ラメータ学習手段によりパラメータの再学習を行なわせ
るようにしているので、初期学習時の学習データをより
良好に近似した入力標本を得ることができ、この入力標
本を用いてより良好な再学習を行なうことができる。
の学習データの個数を保持する学習データ数記憶手段を
さらに有し、再学習手段は、入力確率計算手段で計算さ
れた確率分布に従う入力標本のうち、学習データ数記憶
手段に保持されている個数と同数の標本を抽出し、該標
本と新たに学習したいデータとの和集合およびそれらに
対する望ましい出力の組を再学習データとして用いてパ
ラメータ学習手段によりパラメータの再学習を行なわせ
るようにしているので、初期学習時の学習データをより
良好に近似した入力標本を得ることができ、この入力標
本を用いてより良好な再学習を行なうことができる。
【００６１】また、請求項４記載の発明によれば、再学
習手段で再学習が行なわれた後に、用いられた再学習デ
ータの個数を保持する学習データ数記憶手段をさらに有
し、再学習手段は、入力確率計算手段で計算された確率
分布に従う入力標本のうち、学習データ数記憶手段に保
持されている個数と同数の標本を抽出し、該標本と新た
に学習したいデータとの和集合およびそれらに対する望
ましい出力の組を再学習データとして用いてパラメータ
学習手段によりパラメータの再学習を行なわせるように
しているので、再学習の際に、初期の学習デ−タと新た
に学習したいデ−タとの学習頻度の比率を自動的に決定
することができ、より外界のデ−タの分布に忠実な学習
が可能となる。
習手段で再学習が行なわれた後に、用いられた再学習デ
ータの個数を保持する学習データ数記憶手段をさらに有
し、再学習手段は、入力確率計算手段で計算された確率
分布に従う入力標本のうち、学習データ数記憶手段に保
持されている個数と同数の標本を抽出し、該標本と新た
に学習したいデータとの和集合およびそれらに対する望
ましい出力の組を再学習データとして用いてパラメータ
学習手段によりパラメータの再学習を行なわせるように
しているので、再学習の際に、初期の学習デ−タと新た
に学習したいデ−タとの学習頻度の比率を自動的に決定
することができ、より外界のデ−タの分布に忠実な学習
が可能となる。
【００６２】また、請求項５記載の発明によれば、再学
習データの学習強度を表わす学習率記憶手段をさらに有
し、再学習手段は、入力確率計算手段で計算された確率
分布に従う入力標本の個数と新たに学習したいデータの
個数との比が、学習率記憶手段に保持されている値に従
って決定された比率に一致するように再学習デ−タを決
定し該再学習データを用いてパラメータ学習手段により
パラメータの再学習を行なわせるようにしているので、
再学習の際に、初期の学習デ−タと新たに学習したいデ
−タとの学習頻度の比率をオペレ−タなどが任意に決定
することができ、これによって、特定のデ−タだけを強
く学習することが可能となる。
習データの学習強度を表わす学習率記憶手段をさらに有
し、再学習手段は、入力確率計算手段で計算された確率
分布に従う入力標本の個数と新たに学習したいデータの
個数との比が、学習率記憶手段に保持されている値に従
って決定された比率に一致するように再学習デ−タを決
定し該再学習データを用いてパラメータ学習手段により
パラメータの再学習を行なわせるようにしているので、
再学習の際に、初期の学習デ−タと新たに学習したいデ
−タとの学習頻度の比率をオペレ−タなどが任意に決定
することができ、これによって、特定のデ−タだけを強
く学習することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る学習機械の第１の実施例の構成図
である。
である。
【図２】本発明に係る学習機械の第２の実施例の構成図
である。
である。
【図３】本発明に係る学習機械の第３の実施例の構成図
である。
である。
【図４】本発明に係る学習機械の第４の実施例の構成図
である。
である。
１ 入力素子 ２ 第１の中間層 ３ 正規化細胞 ４ 第２の中間層 ５ 出力素子 １０ パラメ−タ記憶部 １１ パラメ−タ学習部 １２ 再学習部 １３，１４ 学習データ数記憶部 １５ 学習率記憶部 ＮＷ ニュ−ラルネットワ−ク
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 渡辺澄夫、福水健次，「ニューラルネ ットワークの統一理論と新しいモデルの 提案」，電子情報通信学会技術研究報 告，日本，社団法人電子情報通信学会・ 発行，1992年 ３月18日，Ｖｏｌ．91, Ｎｏ．529（ＮＣ91−98〜131），ｐｐ. 179−186 (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 1/00 - 7/08 G06F 9/44 G06F 19/00 G06K 9/00 - 9/82 G10L 15/00 - 17/00 G06T 7/00 - 7/60 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)
Claims (5)
- 【請求項１】 入出力空間上の確率分布を表わすパラメ
ータを保持するパラメータ記憶手段と、入力が与えられ
たときにパラメータ記憶手段に保持されているパラメー
タに従って、出力の確率分布を計算する出力確率計算手
段と、入力とそれに対する望ましい出力との組を学習デ
ータとして用いてパラメータを学習し、前記パラメータ
記憶手段に設定するパラメータ学習手段と、出力が与え
られたときに前記パラメータ記憶手段に保持されている
パラメータに従って、入力の確率分布を計算する入力確
率計算手段と、入力確率計算手段で計算された確率分布
に従う入力標本と新たに学習したいデータとの和集合お
よびそれらに対する望ましい出力の組を再学習データと
して用いて前記パラメータ学習手段によりパラメータの
再学習を行なわせ、再学習のなされたパラメータを前記
パラメータ記憶手段に再設定する再学習手段とを有して
いることを特徴とする学習機械。 - 【請求項２】 請求項１記載の学習機械において、前記
出力確率計算手段および前記入力確率計算手段は、可逆
構成の１つのニューラルネットワークによって実現され
ていることを特徴とする学習機械。 - 【請求項３】 請求項１記載の学習機械において、初期
の学習データの個数を保持する学習データ数記憶手段を
さらに有し、前記再学習手段は、入力確率計算手段で計
算された確率分布に従う入力標本のうち、前記学習デー
タ数記憶手段に保持されている個数と同数の標本を抽出
し、該標本と新たに学習したいデータとの和集合および
それらに対する望ましい出力の組を再学習データとして
用いて前記パラメータ学習手段によりパラメータの再学
習を行なわせるようになっていることを特徴とする学習
機械。 - 【請求項４】 請求項１記載の学習機械において、前記
再学習手段で再学習が行なわれた後に、用いられた再学
習データの個数を保持する学習データ数記憶手段をさら
に有し、前記再学習手段は、入力確率計算手段で計算さ
れた確率分布に従う入力標本のうち、前記学習データ数
記憶手段に保持されている個数と同数の標本を抽出し、
該標本と新たに学習したいデータとの和集合およびそれ
らに対する望ましい出力の組を再学習データとして用い
て前記パラメータ学習手段によりパラメータの再学習を
行なわせるようになっていることを特徴とする学習機
械。 - 【請求項５】 請求項１記載の学習機械において、再学
習データの学習強度を表わす学習率記憶手段をさらに有
し、前記再学習手段は、入力確率計算手段で計算された
確率分布に従う入力標本の個数と新たに学習したいデー
タの個数との比が、学習率記憶手段に保持されている値
に従って決定された比率に一致するように再学習デ−タ
を決定し該再学習データを用いて前記パラメータ学習手
段によりパラメータの再学習を行なわせるようになって
いることを特徴とする学習機械。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20846992A JP3312042B2 (ja) | 1992-07-13 | 1992-07-13 | 学習機械 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20846992A JP3312042B2 (ja) | 1992-07-13 | 1992-07-13 | 学習機械 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0635887A JPH0635887A (ja) | 1994-02-10 |
| JP3312042B2 true JP3312042B2 (ja) | 2002-08-05 |
Family
ID=16556699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20846992A Expired - Fee Related JP3312042B2 (ja) | 1992-07-13 | 1992-07-13 | 学習機械 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3312042B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11995539B2 (en) | 2017-06-09 | 2024-05-28 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for re-learning trained model |
| KR102102772B1 (ko) * | 2017-06-09 | 2020-05-29 | 한국과학기술원 | 전자 장치 및 학습 모델 생성 방법 |
| US20220068479A1 (en) * | 2020-08-26 | 2022-03-03 | Biosense Webster (Israel) Ltd. | Separating abnormal heart activities into different classes |
-
1992
- 1992-07-13 JP JP20846992A patent/JP3312042B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 渡辺澄夫、福水健次，「ニューラルネットワークの統一理論と新しいモデルの提案」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会・発行，１９９２年 ３月１８日，Ｖｏｌ．９１，Ｎｏ．５２９（ＮＣ９１−９８〜１３１），ｐｐ．１７９−１８６ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0635887A (ja) | 1994-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kurach et al. | Neural random-access machines | |
| CN112990444B (zh) | 一种混合式神经网络训练方法、系统、设备及存储介质 | |
| US5724487A (en) | Neural network for maximum likelihood classification with supervised and unsupervised training capability | |
| Niles et al. | Combining hidden Markov model and neural network classifiers | |
| Song et al. | A self-organizing neural tree for large-set pattern classification | |
| CN112699247A (zh) | 一种基于多类交叉熵对比补全编码的知识表示学习框架 | |
| JP2001101154A (ja) | 外れ値度計算装置及びそれに用いる確率密度推定装置並びに忘却型ヒストグラム計算装置 | |
| Bengio et al. | Credit assignment through time: Alternatives to backpropagation | |
| Vasco et al. | MHVAE: a human-inspired deep hierarchical generative model for multimodal representation learning | |
| Sun et al. | Deterministic and discriminative imitation (d2-imitation): revisiting adversarial imitation for sample efficiency | |
| CN110009091B (zh) | 学习网络在等价类空间中的优化 | |
| CN114943330A (zh) | 一种神经网络模型的训练方法、装置、设备及存储介质 | |
| JP3312042B2 (ja) | 学習機械 | |
| CN117541723B (zh) | 一种基于元宇宙的职业教育具身场景构建方法及系统 | |
| JP2907486B2 (ja) | ニューラルネットワーク装置 | |
| CN112116088A (zh) | 一种自适应确定隐层节点数的增量半监督超限学习机系统 | |
| Alihodzic et al. | Extreme learning machines for data classification tuning by improved bat algorithm | |
| CN118822657A (zh) | 商品推荐方法、装置、设备以及存储介质 | |
| Brouwer | A fuzzy recurrent artificial neural network (frann) for pattern classification | |
| Aguilar et al. | Recognition algorithm using evolutionary learning on the random neural networks | |
| JP4662702B2 (ja) | 外れ値度計算装置 | |
| CN116563882B (zh) | 基于分组感知标签的自适应记忆无监督行人重识别方法 | |
| CN121009372B (zh) | 基于自适应扩散模型的知识追踪数据增强方法 | |
| Paternain et al. | Learning policies for markov decision processes in continuous spaces | |
| CN115577617A (zh) | 在噪声环境下小采样的多智能体系统策略评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080524 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090524 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |