JP2966076B2 - 学習装置の自己学習方法 - Google Patents

Description

【発明の詳細な説明】 ［目次］ 概要 産業上の利用分野 従来の技術（第10図〜第13図） 発明が解決しようとする課題 課題を解決するための手段（第１図） 作用（第１図） 実施例 （ａ）本発明の一実施例 イ．全体的構成（第２図、第３図） ロ．全体的動作（第２図、第３図） ハ．評価値の決定法（第４図） ニ．学習結果（第５図〜第９図） （ｂ）本発明の他の実施例 発明の効果 ［概要］ 学習装置の行動に対して外部から与えられる評価に基
づいて教師パターンを作成し、該教師パターンに基づい
て学習する学習装置の自己学習方法に関し、 外部からの評価に対するインタフェースを持ち、学習
装置の応用分野に応じてその都度自己評価基準を作成し
て取替える必要がない学習装置の学習方法を提供するこ
と、及び簡単な方法で学習装置の行動に対して外部評価
ができ、しかも適当な時間間隔で外部評価ができる学習
装置の自己学習方法を提供すること、並びに過去の行動
を教師パターンとして用いることができ、しかも適度の
数の教師パターンの選択が可能な学習装置の学習方法を
提供することを目的とし、 学習装置の行動に対して外部から外部評価が与えられ
た時、該外部評価に基づいて過去の行動に対し、過去に
遡るほど絶対値が小さくなるように第１の評価値を演算
して与えると共に、１ステップ前における過去の各行動
の総合評価値を所定忘却率により弱めて第２の評価値を
演算し、前記外部評価に対する第１の評価値と所定忘却
率により弱められた第２の評価値との和を現時点におけ
る過去の行動の総合評価値として各行動に対して求め、
総合評価値が設定値以上の行動をそれぞれ教師パターン
として選定し、該教師パターンに基づいて学習し、学習
後の学習装置の行動に対し、前記教師パターン生成処理
及び学習処理を実行するように構成する。

［産業上の利用分野］ 本発明はニューラル・ネットワーク等の学習装置にお
ける自己学習方法に係わり、特に学習装置の行動に対し
て外部から与えられる評価に基づいて教師パターンを作
成し、該教師パターンに基づいて学習する学習装置の自
己学習方法に関する。

近年、ニューラル・ネットワーク等で構成された学習
装置は、アルファベット認識や画像認識等のパターン認
識、適応フィルタ、ロボット等の各種制御に応用される
ようになっている。かかる学習装置は教師データを用い
て学習を行い、学習結果に基づいて入力信号に対して所
望の結果を出力するようになっている。

しかしながら、教師データを必要とする学習方法で
は、人間の手で教師データを作成するのが困難、又は不
可能な場合が多く、自動的に外部環境に適応した学習を
行える学習方法が望まれるようになっている。

［従来の技術］ ニューラル・ネットワーク等で構成された学習装置
は、ある入力パターン（入力データ）に対して正しい出
力パターン（出力データ）を出力できるようにするため
に、教師パターンを用いた学習が行われる。すなわち、
ある入力パターンに対して正しい出力パターンを出力で
きるように、予め用意した教師パターンを用いてバック
プロパゲーション法（BP法）によって、ニューラル・ネ
ットワーク内の重みの決定がなされる。

かかる教師パターンは、従来、人間が予め用意するも
のであった。しかし、学習装置の実際のアプリケーショ
ンに応じて、その都度教師パターンを作成しなければな
らず、しかもアプリケーションよっては、教師パターン
として時系列パターンが必要になったり、教師パターン
自体が変化するパターンが必要になったり、予測不可能
な状態に対するパターンが必要なったりして、教師パタ
ーンの種類や数が多くなり、これらを全て予め用意して
おくことは困難であり、しかも作成に非常に長い時間が
かかる問題があった。

このため、本願出願人は学習装置の出力結果（行動）
を学習装置内に保持している自己評価基準に従って評価
し、評価が高い時の入力パターンに対する出力パターン
の対応（入出力パターン）を教師パターンとして取り込
み、該教師パターンを用いて自己学習する方法を特願平
１−244409号（出願日：平成１年９月20日、発明の名
称：学習装置のための自己学習処理方式）として提案し
ている。

第10図はかかる出願済みの自己学習方式に係わる学習
装置の構成図であり、21はセンサ（例えばロボットの視
覚センサ）により検出された信号（外部情報）Saを後段
で処理可能な形式の入力パターン（一般には複数ビット
の情報）Sbに変換する入力部、22はニューラル・ネット
ワークである処理部であり、教師パターンTPNに基づい
てBP法により学習し、学習結果に基づいて入力パターン
Sbに対して所定の出力データScを出力する。23は教師パ
ターンを試行錯誤的に発見する目的でノイズSdを発生し
て処理部22の出力データScに付加するノイズ発生部、2
3′は加算器、24は加算器出力（出力パターン）Seに基
づいて図示しないモータ等を駆動して制御対象（例えば
ロボット）を移動させる出力部、25は入出力パターン対
応部である。この入出力パターン対応部25は、入力パタ
ーンSbとそれに対応する出力パターンSeをペアにして、
入出力パターンSfを作成、出力する。26は評価部であ
り、直前の入出力パターンと現入出力パターンを比較
し、内蔵の自己評価基準に従って該直前の入出力パター
ンを教師パターンとして取り込むか否かを示す評価信号
（良または否）を出力する。27は教師パターンテーブル
部であり、評価部26から「良」の評価信号が出力された
時、直前の入出力パターンを教師パターンとして取り込
んで記憶する。

評価部26は、第11図に示すように、直前の入出力パタ
ーンSf′を記憶する短期記憶部31と、現入出力パターン
Sfと直前の入出力パターンSf′から評価の対象となる情
報を抽出して評価入力パターンSgを出力する評価入部32
と、予め用意されている自己評価基準に従って評価入力
パターンSgを評価し、評価結果に基づいて評価信号Shを
出力する自己評価部33と、評価信号Shが「良」の場合、
直前の入出力パターンSf′を教師パターンとして教師パ
ターンテーブル部27に蓄える評価出力部34を有してい
る。

かかる学習装置において、教師パターン作成の起動が
かかると、入力部21は外部情報Saを入力パターンSbに変
換して処理部22に入力する。処理部22は未学習状態でニ
ューラル・ネットワークの処理を行い、加算器23′は処
理結果Scにノイズ発生部23から発生するノイズSdを加算
して出力パターンSeとし、出力部24を介して学習装置の
外部に出力する。これと並行して、装置内部では入力パ
ターンSbと加算器23′から出力される出力パターンSeと
が入出力パターン対応部25によって対応付けられて入出
力パターンSfとして評価部26に入力される。

以上の動作が時刻ｔにおいて行われたものとすると、
外部出力によって外部の環境が変わり、時刻（ｔ＋１）
においては新しい外部情報が入力部21に与えられる。こ
の結果、時刻（ｔ＋１）において、時刻ｔにおけると同
様に入出力パターンが入出力パターン対応部25から評価
部26に与えられる。

一方、時刻ｔにおける入出力パターンSf′は短期記憶
部31に一時記憶されており、時刻（ｔ＋１）における入
出力パターンSfと短期記憶部31の出力、すなわち時刻ｔ
における入出力パターンSf′とが評価入部32に入力さ
れ、評価入部32から時刻ｔにおける入出力パターンSf′
と時刻（ｔ＋１）における入力パターンSbとを含む評価
入力パターンSgが自己評価部33に与えられる。自己評価
部33は入力された評価入力パターンSgを自己評価基準に
従って評価し、良又は否を示す評価信号Shを評価出力部
34に出力し、評価出力部34は評価信号Shが良であれば、
時刻ｔにおける入出力パターンSf′を教師パターンとし
て教師パターンテーブル部27に入力して記憶させる。

例えば、11個の視覚センサEYS（第12図（ａ）参照）
を備えたロボットによりターゲットを視覚的に捕らえて
捕獲する場合を考えると、第12図（ａ）はターゲットを
捕らえていない状態、第12図（ｂ）は２つの視覚センサ
E1,E2がターゲットの右端部を捕らえている場合、第12
図（ｃ）は視覚センサE10,E11がターゲットの左端部を
捕らえている場合、第12図（ｄ）はターゲットの全体を
捕らえている場合である。そして、第13図に示すよう
に、時刻t,（ｔ＋１）において入力パターンがそれぞれ 10000000000 11100000000 とすれば、時刻ｔにおける出力パターン（モータの指令
回転角度）θｔによりロボットはターゲットをよりよく
捕らえる方向に回転したことになるから、時刻ｔにおけ
る入出力パターンには良評価を与え、教師パターンとし
て取り込む。しかし、時刻（ｔ＋２）における入力パタ
ーンは 00000000000 となり、（ｔ＋１）における出力パターンθｔ＋１によ
り、それまでターゲットを捕らえていたのが捕らえられ
なくなったから、悪い評価を与え、教師パターンとして
取り込まない。

以後、上記処理を所定時間繰り返して多数の教師パタ
ーンを生成すれば、該教師パターンを用いてBP法により
処理部22は１回目の学習を行う。学習後、上記教師パタ
ーンの生成処理と、生成された教師パターンに基づく学
習を繰返し、誤差が許容範囲になった時、あるいは所定
時間経過した時学習を終了し、学習装置を実際の応用に
適用する。

［発明が解決しようとする課題］ 以上のように、上記出願済みの学習方法では、自動的
に教師パターンを作成できる利点がある。しかし、かか
る学習方法では、外部からの評価を受け取るインタフェ
ースを持たないため、自己評価基準を予め一定のものと
して装置に組み込んでおく必要がある。このため、学習
装置を様々な分野で応用する場合には応用分野ごとに自
己評価基準を作成して取替えなければならず、柔軟性に
欠ける問題があった。

従って、本発明の第１の目的は、外部からの評価に対
応するインタフェースを持ち、学習装置の行動に対する
外部からの評価に従って教師パターンを作成し、直ちに
該教師パターンに基づいて自己学習し、自己学習後の学
習装置の行動に対して上記処理を繰り返すリアルタイム
の自己学習方法を提供することである。

本発明の第２の目的は、外部からの評価に対するイン
タフェースを持ち、学習装置の応用分野に応じてその都
度自己評価基準を作成して取替える必要がない学習装置
の学習方法を提供することである。

ところで、外部評価に対するインタフェースを備えた
学習装置の学習方法において、外部評価は例えば人間が
学習装置の行動を観察しながら評価することになら。こ
のため、学習装置の全行動を１つ１つ、しかも数段階の
レベルできめ細かく評価するとなると大変な作業とな
る。

又、行動と同時にリアルタイムで学習する学習方法で
は過去の行動を教師パターンとして用いる必要がある
が、BP法を含めニューラル・ネットワークの学習では、
新しい教師パターンを学習すると過去の教師パターンは
再生不可能となってしまい問題である。このため、単純
に考えれば、学習装置が成長するまで過去の行動を繰返
し教師パターンとして提示すれば良いが、これではあま
りにも教師パターンが多くなりすぎ、学習に時間がかか
てしまい、リアルタイムの学習には不向きである。

以上から、本発明の第３の目的は、簡単な方法で学習
装置の行動に対して外部評価ができ、しかも適当な時間
間隔で外部評価ができる学習装置の自己学習方法を提供
することである。

本発明の第４の目的は、外部評価を良・悪の２種類の
信号で簡単に行うことができる学習装置の自己学習方法
を提供することである。

本発明の第５の目的は、過去の行動を教師パターンと
して用いることができ、しかも適度の数の教師パターン
の選択が可能な学習装置の学習方法を提供することであ
る。

本発明の第６の目的は、外部評価を過去の行動に反映
すると共に、該評価値を過去にゆくほど小さくし、また
過去の行動の評価を時間の経過に応じて減衰させること
により、過去の行動の適度な数を教師パターンにできる
学習装置の学習方法を提供することである。

本発明の第７の目的は、学習を終了する条件を評価が
高いほど厳しくできる、すなわち最大許容誤差を小さく
できる学習装置の学習方法を提供することである。

［課題を解決するための手段］ 第１図は本発明の原理説明図である。

３はニューラル・ネットワーク等の処理部、８は学習
装置の行動に対して「良い」、「悪い」の外部評価を入
力する外部評価入力部、９は外部評価に基づいて学習装
置の各ステップにおける行動の評価を行って教師パター
ンを作成する教師パターン作成部である。教師パターン
作成部９において、11は学習装置の行動を入力パターン
と出力パターンのペアで表現する入出力パターン対応
部、12は現ステップ（第ｓステップ）と１つ前の第（ｓ
−１）ステップにおける過去の各行動に対する総合評価
値を記憶する評価記憶部、13は外部評価に基づいて各行
動に対し、過去に遡るほど絶対値が小さくなるように評
価値を演算して付与する外部評価変換部、14は現ステッ
プより１ステップ前における過去の各行動の総合評価値
を所定忘却率により弱める忘却処理部、15は各行動に対
し、外部評価に対する第１の評価値Ａ（s,p）と所定忘
却率により弱められた第２の評価値Ｂ（s,p）との和を
過去の行動の総合評価値Ｒ（s,p）として求め、評価記
憶部12に記憶する演算部、16は総合評価値が設定値以上
の過去の行動をそれぞれ教師パターンとして選定する教
師パターン決定部、18は各教師パターンを収束条件（最
大許容誤差）と共に記憶する教師パターン記憶部であ
る。

［作用］ 学習装置の行動に対して外部評価入力部８から外部評
価値Ｃが与えられた時、外部評価変換部13は外部評価値
Ｃ（良い場合は＋1,悪い場合は−１）に基づいて過去の
各行動に対し、過去に遡るほど絶対値が小さくなるよう
に評価値を演算する。又、忘却処理部14は１ステップ前
における過去の各行動の総合評価値Ｒ（ｓ−1,p）を所
定忘却率により弱め、加算器15は外部評価に対する第１
の評価値Ａ（s,p）と所定忘却率により弱められた第２
の評価値Ｂ（s,p）との和を現時点における過去の行動
の総合評価値Ｒ（s,p）として過去の各行動に対して求
め、評価記憶部12に記憶する。ついで、教師パターン決
定部16は総合評価値Ｒ（s,p）が設定値以上の過去の行
動をそれぞれ教師パターンとして選択し、教師パターン
記憶部18に記憶すれば、教師パターンの生成処理が完了
する。

以後、ニューラル・ネットワークの処理部３は、教師
パターンTPNに基づいてBP法により学習を行う。そし
て、学習後の学習装置に次のステップの行動を起こさ
せ、該学習装置の行動に対して前記教師パターン生成処
理及び学習を実行させ、各教師パターンに対する出力誤
差が最大許容誤差以下になった時、学習を終了する。

以上から、本発明の学習装置は外部からの評価に対す
るインタフェースを持ち、自分の行動に対する外部から
評価に従って教師パターンを作成し、直ちに該教師パタ
ーンに基づいて学習し、学習後の行動に対して上記処理
を繰り返してリアルタイムで学習ができる。従って、学
習装置の応用分野に応じてその都度自己評価基準を作成
して取替える必要はない。

又、外部評価は良・悪の２種類でよく、しかも、ステ
ップ毎に評価する必要はなく、適当な時間間隔で外部評
価をしても良く、従って外部評価を簡単に行うことがで
きる。

更に、過去の行動を教師パターンとして用いることが
でき、この場合、外部評価を過去の行動に反映すると共
に、該評価値を過去にゆくほど小さくし、また過去の行
動の評価を時間の経過に応じて減衰させることにより、
教師パターンとして採用の対象となる過去の行動数を限
定でき、教師パターンの数を適度にできる。

又、各教師パターンに対応して出力データの最大許容
誤差を決定しておき、全教師パターンに対して出力デー
タが最大許容誤差以下になった時、学習を終了するよう
にし、この場合総合評価値が大きい教師パターンほど、
最大許容誤差を小さくして収束条件を厳しくすれば、学
習装置に十分な学習が施すことができ、実際の応用にお
いて誤差の少ない処理ができる。

［実施例］ （ａ）本発明の一実施例 イ．全体的構成 第２図は本発明の一実施例である学習装置の構成図で
あり、ロボットによりターゲットを追跡する場合が示さ
れている。

１はロボットであり、ロボット本体1aにはターゲット
を捕捉するための36個の視覚センサ1bが設けられてい
る。尚、視覚センサが反応した部分のうち、ターゲット
の境界線を捕らえた部分は、捕らえた量の割合に応じて
アナログ値に変換し、それ以外は１とし、また反応しな
い部分は０とする。２は視覚センサ1bから入力された外
部信号Saを学習装置が処理できる形の入力パターンSbに
変換する入力部である。３は階層のニューラル・ネット
ワークで構成された処理部であり、教師パターンTPNに
基づいてBP法により学習し、学習結果に基づいてフィー
ドフォワードに入力パターンSbを計算して出力データSc
を出力するもの、４は教師パターンを試行錯誤的に発見
する目的で一様乱数のノイズSdを発生して処理部３の出
力データScに付加するノイズ発生部、５は処理部３の出
力ScとノイズSdを加算する加算器、６は加算器出力（出
力パターン）Seに基づいてロボットの移動距離指令及び
回転角度指令を発生する出力部、７はロボットの各種モ
ータを制御するモータ制御部、８は学習装置の行動を観
察して良・悪の外部評価値Ｃ（良ならばＣ＝１、悪なら
ばＣ＝−１）を入力する外部評価入力部、９は外部評価
値に基づいて学習装置の過去の行動の評価を行って教師
パターンを作成する教師パターン作成部である。

処理部３ 処理部３は、たとえばパーセプトロン型の階層ニュー
ラル・ネットワークで構成され、入力層、中間層、出力
層を有し、入力層に対する入力パターンに対して出力層
から出力パターンを出力するようになっている。かかる
階層ニューラル・ネットワークの学習は周知のBP法によ
り行われる。BP法は、実際の出力と教師パターンが示す
出力間の誤差により結合の重みを変更するものであり、
例えば入力層のユニットｊからの中間層ｉへの結合の重
みWjiは次式 ΔWij（ｎ＋１）＝β・δｊ・Oi＋α・ΔWji（ｎ） ・・（４） で決まる量だけ更新される。但し、ΔWji（ｎ）はｎ回
目の重み更新時における更新量、δｊはユニットｊの誤
差、Oiはユニットｉの出力である。又、βは学習定数で
あり、大きいほど１回の重み更新量は大きくなり、学習
速度を高速にできるが振動が生じる。αは学習速度定数
であり、１回前の重みの更新量が今回の重みの更新量に
与える影響の大きさを決めるものである。尚、β＝0.
1、α＝0.05としている。

教師パターン作成部９ 第３図は教師パターン作成部９の実施例構成図であ
る。尚、以下の表記においてＰ（ｓ）は第ｓステップに
おける行動を意味し、Ａ（s,p）は第ｐステップに生じ
た行動に対して第ｓステップで与えられた外部評価を反
映した時の評価値を意味し、Ｂ（s,p）は第ｐステップ
に生じた行動の第（ｓ−１）ステップにおける総合評価
を忘却率に応じて減衰させた第ｓステップの評価値を意
味し、Ｒ（s,p）は第ｐステップに生じた行動の第ｓス
テップにおける総合評価値を意味する。

第３図において、11は学習装置の行動を入力パターン
と出力パターンのペアで表現する入出力パターン対応
部、12は少なくとも現ステップ（第ｓステップ）におけ
る過去の行動Ｐ（ｓ−１）,P（ｓ−２）,P（ｓ−３），
・・・に対する総合評価及び１つ前の第（ｓ−１）ステ
ップにおける過去の行動Ｐ（ｓ−２）,P（ｓ−３），・
・・に対する総合評価を記憶する評価記憶部、13は外部
評価値Ｃに基づいて１つ前の第（ｓ−１）ステップより
ｎステップ前までの過去の行動Ｐ（ｓ−１）,P（ｓ−
２）,P（ｓ−３），・・・Ｐ（ｓ−ｎ）に対し、過去に
遡るほど絶対値が小さくなるように評価値Ａ（s,p）,A
（s,p−１）,A（s,p−２）・・・Ａ（s,p−ｎ＋１）
（但しｐ＝ｓ−１）を演算する外部評価変換部、14は現
ステップ（第ｓステップ）より１ステップ前における過
去の行動Ｐ（ｓ−２）,P（ｓ−３），・・・の総合評価
値Ｒ（ｓ−1,p）,R（ｓ−1,p−１），・・・（但しｐ＝
ｓ−２）を所定忘却率ｂ（＝0.8）により弱める忘却処
理部、15は外部評価に対する第１の評価値Ａ（s,p）と
所定忘却率により弱められた第２の評価値Ｂ（s,p）と
の和を現ステップ（第ｓステップ）における総合評価値
Ｒ（s,p）として各行動に対して求め、評価記憶部12に
記憶する演算部、16は総合評価値Ｒ（s,p）（ｐ≦ｓ−
１）が設定値以上、例えば0.2以上の過去の行動をそれ
ぞれ教師パターンとして選定する教師パターン決定部、
17は各教師パターンの収束条件（最大許容誤差）を決定
する収束条件決定部、18は教師パターンと収束条件を記
憶する教師パターン記憶部である。

外部評価変換部13 外部評価変換部13は、前述のように外部評価値Ｃに基
づいて１つ前の第（ｓ−１）ステップよりｎステップ前
までの過去の行動Ｐ（ｓ−１）,P（ｓ−２）,P（ｓ−
３），・・・Ｐ（ｓ−ｎ）に対し、過去に遡るほど絶対
値が小さくなるように評価値Ａ（s,p）,A（s,p−１）,A
（s,p−２）・・・Ａ（s,p−ｎ＋１）（但しｐ＝ｓ−
１）を演算して付与するものである。

従来のアルゴリズムでは、学習装置内の自己評価部
が、自分の起こした行動を１つ１つ評価していたが、本
発明では、外部、例えば人間が学習装置の行動を観察し
ながら評価する。このため、装置の行動を１つ１つ評価
するのは大変である。そこで、外部から適当な間隔で評
価できるようなアルゴリズムが必要となる。本発明で
は、外部から学習装置の行動を観察しながら適当なタイ
ミングで評価すると、外部評価変換部13はその外部評価
を現在に至る過去の一連の行動の１つ１つに反映するよ
うにしている。すなわち、外部からの評価信号Ｃ（良い
は１、悪いは−１）は、評価されたすぐ直前の行動に対
してつけられたものであるが、直前の行動が良かったか
ら、あるいは悪かったから与えられるものではない。適
当なタイミングで外部評価するということは、学習装置
が起こした一連の行動を観察して評価を与えるというこ
とである。そこで、外部評価変換部13は、評価信号を指
数関数的に弱めて、直前の行動から遡った一連の行動に
対して評価値をつける。このようにして、直前の行動に
対しては絶対値が一番高い評価値を与え、過去に遡るに
従って評価値を弱くして行く。評価値を弱めるのに指数
関数を用いたのは人間の脳の記憶が指数関数的に弱まっ
ているという理由による。これを式で表すと、 dA（ｔ）/dt＝−α・Ａ（ｔ） となる。但し、ｔは遡ったステップ数を表し、αは指数
関数の計数であり、例えば0.3である。従って、ステッ
プｓにおいて与えられた評価信号Ｃから計算される第ｐ
ステップに生じた行動Ｐ（ｐ）の評価値Ａ（s,p）（但
し、ｐ≦ｓ−１）は、次式 Ａ（s,p）＝Ｃ・exp［−α（ｓ−ｐ−１）］ ・・・（１） で与えられ、外部評価変換部13で演算される。尚、外部
評価値Ｃはステップ毎に与えられるとは限らない。

忘却処理部14 忘却処理部14は、前述のように現ステップ（第ｓステ
ップ）より１ステップ前の第（ｓ−１）ステップにおけ
る過去の行動Ｐ（ｓ−２）,P（ｓ−３），・・・の総合
評価値Ｒ（ｓ−1,p）,R（ｓ−1,p−１），・・・（但し
ｐ＝ｓ−２）を所定忘却率ｂ（＝0.8）により弱めるも
のである。

ニューラル・ネットワークの学習は一般的にBP法も含
め、新しい教師パターンを学習すると過去の教師パター
ンは再生不可能になってしまうことが多い。又、行動と
同時に学習を行うリアルタイムの学習では、次々と教師
パターンが変化する。このため、リアルタイム学習では
過去の行動を教師パターンとして使用することができな
くなり、これが大きな問題となる。そこで、単純に考え
れば、学習装置が学習により成長する迄過去の行動を繰
返し教師パターンとして提示すれば良いわけであるが、
これではあまりにも教師パターンが多くなりすぎ、学習
に時間が掛ってしまい、リアルタイムの学習に不向きで
ある。つまり、適度な過去の教師パターンの選択が必要
である。そこで、本発明では評価の記憶という概念に加
えて忘却という概念を導入している。

すなわち、本発明では、過去の行動の評価値を記憶し
ている。この評価値は高ければ良い行動として鮮明に記
憶しており、評価値が正で低ければ良い行動として記憶
しているが、その記憶は薄い。逆に、評価値が負で高け
れば、悪い行動として鮮明に記憶しており、評価値が負
で低ければ悪い行動として記憶しているが、その記憶は
薄い。以上から、「評価値を時間が経過する毎に弱め
る」ということは、良い行動であれ悪い行動であれ、
「行動の記憶を弱めている」ということを意味する。

このような方法により、ある期間教師パターンを提示
しておくことができ、又あまりにも過去の教師パターン
は自然と排除されるため、大量に教師パターンができる
ことがなくなる。これを式で表現すると次のようにな
る。すなわち、 現ステップ（第ｓステップ）より１ステップ前におけ
る過去の行動Ｐ（ｓ−２）,P（ｓ−３），・・・の総合
評価値Ｒ（ｓ−1,p）,R（ｓ−1,p−１），・・・（但し
ｐ＝ｓ−２）であるならば、それらはステップｓにおい
て次式 Ｂ（s,p）＝ｂ・Ｒ（ｓ−1,p） ・・・（２） に従って弱められ、忘却処理部14で演算される。

演算部15 演算部15は次式 Ｒ（s,p）＝Ａ（s,p）＋Ｂ（s,p） （３） により（ｐ≦ｓ−１）、外部評価に対する第１の評価値
Ａ（s,p）と所定忘却率ｂにより弱められた第２の評価
値Ｂ（s,p）との和を演算し、現ステップ（第ｓステッ
プ）における過去の行動Ｐ（ｓ−１）,P（ｓ−２）,P
（ｓ−３），・・・の総合評価値Ｒ（s,p）（ｐ≦ｓ−
１）として求め評価記憶部12に記憶する。

収束条件決定部17 収束条件決定部17は、総合評価値Ｒ（s,p）（ｐ≦ｓ
−１）の大きさにより収束条件を変える。すなわち、高
い評価を受けている行動の教師パターンは収束条件（最
大許容誤差）を厳しくし、低い評価のものは収束条件を
緩くする。例えば、総合評価値が1.0（最高値）の場合
には最大許容誤差Ｅ（s,p）を0.05とし、評価値が0.2
（最低値）の場合には0.2として、その間は直線補間し
て最大許容誤差を演算する。このようにすることによ
り、簡単に収束条件を満足して学習を終了しないように
でき、しかも相当回数の学習により収束条件を満たして
学習を終了するようにできる。

ロ．全体的動作 現ステップ（第ｓステップ）において外部信号Saが入
力されると、入力部２は外部情報Saを入力パターンSbに
変換して処理部３に入力する。処理部３はニューラル・
ネットワークの処理を行い、加算器５は処理結果Scにノ
イズ発生部４から発生するノイズSdを加算して出力パタ
ーンSeを出力する。この出力パターンSeは、出力部６を
介して移動距離指令、回転角度指令となってモータ制御
部７に入力される。これと並行して装置内部では入力パ
ターンSbと加算器５から出力される出力パターンSeとが
入出力パターン対応部11（第３図）によって対応付けら
れて入出力パターンＰ（ｓ）となる。

かかる状態において、外部評価入力部８から評価信号
Ｃが送られてきたとすると、外部評価変換部13は（１）
式に従って過去の行動Ｐ（ｓ−１）,P（ｓ−２）,P（ｓ
−３）・・・に対し、過去に遡るほど絶対値が小さくな
るように評価値Ａ（s,p）（但しｐ≦ｓ−１）を演算し
て付与する。

又、忘却処理部14は第（ｓ−１）ステップにおける過
去の行動Ｐ（ｓ−２）,P（ｓ−３）・・・の総合評価値
Ｒ（ｓ−1,p）（但しｐ≦ｓ−２）を所定忘却率ｂによ
り（２）式に従って弱める。

加算器15は外部評価に対する第１の評価値Ａ（s,p）
と所定忘却率により弱められた第２の評価値Ｂ（s,p）
との和を（３）式に従って演算し、演算結果を現ステッ
プにおける過去の行動（第ｐステップに生じた行動）に
対する総合評価値Ｒ（s,p）（Ｐ≦ｓ−１）として求
め、評価記憶部12に記憶する。

ついで、教師パターン決定部16は総合評価値Ｒ（s,
p）（ｐ≦ｓ−１）が設定値（＝0.2）以上の過去の行動
をそれぞれ教師パターンとして選択し、収束条件決定部
17は総合評価値Ｒ（s,p）に基づいて収束条件（最大許
容誤差）Ｅ（s,p）を決定し、教師パターンと収束条件
をペアにして教師パターン記憶部18に記憶する。

以上により、第ｓステップにおける教師パターンが生
成されると、以後、ニューラル・ネットワークの処理部
３は教師パターン記憶部18に記憶されている教師パター
ンTPNに基づいてBP法により学習を行う。そして、学習
後の学習装置に次の第（ｓ＋１）ステップの行動を起こ
させると共に、該第（ｓ＋１）ステップにおける行動に
対して前記教師パターン生成処理及び学習処理を実行さ
せる。

以後、同様な処理を繰返し、あるステップにおける各
教師パターンに対する出力誤差が最大許容誤差以下にな
った時、あるいは、設定されている学習時間が経過した
時学習を終了する。尚、教師パターンにはそれぞれ収束
条件がつけられているから、その収束条件を満たしたパ
ターンには関しては学習を行わない。

ハ．評価値の決定法 次に第４図に従って、教師パターン作成部９における
総合評価値の決定法を具体的に説明する。尚、第４図は
過去の行動Ｐ（ｓ）に対する評価値の変化を示し、縦に
各ステップにおける第１の評価値Ａ（s,p）、第２の評
価値Ｂ（s,p）、総合評価値Ｒ（s,p）が示され、横に過
去の行動Ｐ（ｓ）が示されている。まず、ステップ０は
初期状態を表す。ステップ０での環境から入力された情
報を処理して、行動を決定する。この決定した行動を黒
丸で表す。以下、黒丸はそのステップでの行動を表すこ
とにする。これに従って次の状態に移る。

ステップ１では、ステップ０の行動を白丸で表す。以
下白丸は過去の行動を表すことにする。ステップ０で起
こした行動（ステップ１では白丸で示される）により例
えばロボットが移動して環境が変化する。これを外部が
観察して評価を与えるが、この例では、ステップ１では
外部評価はないものとする。外部評価がないということ
は、評価値において０（Ｃ＝０）を意味する。つまり、
ステップ１におけるステップ０の行動の外部からの評価
値（第１評価値）は0.0となる。また、過去の行動の記
憶に対する忘却に関しては、まだ行動を起こしたばかり
で過去の行動の記憶（総合評価値の記憶）がないので第
２の評価値Ｂ（s,p）は計算されない。これら２つの合
計が、ステップ１におけるステップ０において生じた行
動Ｐ（０）の総合評価値となり、その値は0.0である。

以下、同様にステップ２、ステップ３と進み、この間
外部からの評価は与えられないものとする。従って、第
１の評価値は0.0がつけられる。

ステップ３で起こした行動の結果ステップ４の状態に
なる。この時外部から「良い（Ｃ＝１）」という評価が
与えられるものとする。すると、過去の行動には（１）
式にしたがって第１の評価値がつけられる。これが第４
図の１段目に書かれる値である。ステップ４で「良い」
という評価を受けたので、ステップ３で起こした行動Ｐ
（３）に対して1.0という第１の評価値がつけられる。
以下、ステップ２で起こした行動Ｐ（２）に対しては0.
74、ステップ１で起こした行動Ｐ（１）に対しては0.5
5、ステップ０で起こした行動Ｐ（０）に対しては0.41
となる。これは、（１）式から計算した値である。一
方、過去の評価の忘却に関しては、ステップ３において
各行動の評価値は0.0であるため、（２）式を用いて計
算しても0.0である。結局、ステップ４においてはこの
外部からの評価値が、このステップにおける各行動Ｐ
（０）〜Ｐ（３）の最終的な総合評価値となる。

ステップ５に進むと、ここでは外部評価が与えられな
いかので１段目の第１の評価値は0.0である。しかし、
ステップ４で各行動に対する総合評価がつけられたの
で、その忘却を計算しなければならない。（２）式を用
いて計算した結果がステップ５の２段目にかかれている
値である。

このようにして値が変化してゆく。

ステップ７では外部から「悪い」という評価（Ｃ＝−
１）が与えられているが、これは上記の説明の外部評価
からの評価値の計算を負にしただけで、あとは同様の処
理である。

以上説明したように、学習装置は未学習あるいは学習
された処理部３において、外部情報を処理した行動を起
こす。もし、その時外部から評価を与えられたら、学習
装置は、その評価を一連の行動に反映させるため、外部
評価変換部13において、過去の行動に対するこの外部評
価信号の影響を計算し、第１の評価値Ａ（s,p）に変換
する。又、忘却処理部14においては、１ステップ前に計
算された各パターンに対する総合評価値の忘却度Ｂ（s,
p）を計算する。そして、外部評価変換部13から求めた
第１の評価値Ａ（s,p）と、忘却処理部14から求めた第
２の評価値Ｂ（s,p）を加算した結果が、現在の各パタ
ーン（過去の行動）に対する総合評価値Ｒ（s,p）とな
る。このようにして求められた総合評価値Ｒ（s,p）
（ｐ≦ｓ−１）を用い、教師パターン決定部16において
教師パターンを選択する。すなわち、教師パターン決定
部16では、総合評価値がある一定の基準値（＝0.2）以
上のものを教師パターンとして選択し、収束条件決定部
17は総合評価値の高さにより収束条件を変える。高い評
価を受けている行動（入出力パターン）は収束条件を厳
しくし、低い評価のものは収束条件を緩くする。このよ
うな処理により生成された教師パターンと収束条件を処
理部３に提示すると、処理部３はこれらを用いて学習を
行う。

そして、学習がある程度進んでくると、処理部３では
外部の評価基準にあった行動ができるようになり、外部
からの評価も「良い」評価が多くなる。

このように本発明の学習方法を用いれば、外部からは
学習装置の振舞のみ観察し、「良い」「悪い」という簡
単な信号により評価を与えるだけで良く、装置の自己評
価基準を取替える必要がなくなる。又、リアルタイムの
学習が行えるため、その場その場の状況に応じた学習が
可能である。その上、外部評価方法を「良い」「悪い」
という２種類の評価信号を用いたため、汎用性も十分備
えている。

ニ．学習結果 第５図はターゲットの移動軌跡の説明図で、TGはター
ゲット、Psはターゲット移動開始点、RTはターゲットの
移動軌跡、WLは周壁であり、同図（ａ）はターゲットが
直線的に移動する場合、同図（ｂ）はターゲットが逆４
の字状に移動する場合、同図（ｃ）はターゲットが反時
計方向に回転する場合、同図（ｄ）はターゲットが時計
方向に回転する場合のターゲットの移動軌跡である。

第６図はターゲットTGが直線的に移動する場合におい
て、ロボットRBをターゲットTGに追従させる場合のロボ
ット追従軌跡RRを示す図であり、同図（ａ）はノイズを
加算した場合、同図（ｂ）はノイズを加算しない場合で
ある。尚、Ps′はロボット移動開始点である。

第７図はターゲットTGが逆４の字状に移動する場合に
おいて、ロボットRBをターゲットTGに追従させる場合の
ロボット追従軌跡RRを示す図であり、同図（ａ）はノイ
ズを加算した場合、同図（ｂ）はノイズを加算しない場
合である。

第８図はターゲットTGが反時計方向に移動する場合に
おいて、ロボットRBをターゲットTGに追従させる場合の
ロボット追従軌跡RRを示す図であり、同図（ａ）はノイ
ズを加算した場合、同図（ｂ）はノイズを加算しない場
合である。

第９図はターゲットTGが時計方向に移動する場合にお
いて、ロボットRBをターゲットTGに追従させる場合のロ
ボット追従軌跡RRを示す図であり、同図（ａ）はノイズ
を加算した場合、同図（ｂ）はノイズを加算しない場合
である。

尚、学習に際しては、ロボットRBがスタート点Ps′か
ら始めて、ターゲットTGに衝突するか、壁WLに衝突する
と再びスタート点に戻ってやり直し、またターゲットTG
が第５図に示す移動を完了した時もスタート点に戻して
やりなおす。そして、これらを１トライと定義すると、
第６図〜第９図に示す結果は各々1000トライ学習した結
果である。いずれのパターンに関しても、なかなかうま
くターゲットを追従していることがわかる。この中でも
直線は良く追従しているが、ターゲットが円を描いて移
動すると追従は少し難しいようである。又、ノイズは小
さ目にしたせいか、ノイズによる学習結果への影響はあ
まり見られなかった。

（ｂ）本発明の他の実施例 以上では、（１）式により、外部評価を過去の行動に
対して反映したが、本発明は（１）式に限らず、別の減
衰関数を用いても良い。

又、過去の行動の評価を（２）式に従って忘却させる
ようにしたが、本発明は（２）式に限らず別の関数を用
いることもできる。

更に、以上ではロボットによるターゲットの追跡につ
いて学習させ、学習後実際にターゲットを追跡させる場
合について説明したが本発明はかかる場合に限らず別の
アプリケーションに適用できるものである。

以上、本発明を実施例により説明したが、本発明は請
求の範囲に記載した本発明の主旨に従い種々の変形が可
能であり、本発明はこれらを排除するものではない。

［発明の効果］ 以上本発明によれば、外部からの評価に対するインタ
フェースを持ち、自分の行動に対する外部からの評価に
従って教師パターンを作成し、直ちに該教師パターンに
基づいて自己学習し、自己学習後の行動に対して上記処
理を繰り返してリアルタイムで学習ができるようになっ
た。このため、学習装置の応用分野に応じてその都度自
己評価基準を作成して取替える必要はなく柔軟性があ
る。

又、外部評価は良・悪の２種類でよく、しかも、ステ
ップ毎に評価する必要はなく、適当な時間間隔で外部評
価しても良く、従って外部評価を簡単に行うことがで
き、しかも汎用性がある。

更に、過去の行動を教師パターンとして用いることが
でき、この場合、外部評価を過去の行動に反映すると共
に、該評価値を過去にゆくほど小さくし、また過去の行
動の評価を時間の経過に応じて減衰させることにより、
教師パターンとして採用の対象となる過去の行動数を限
定でき、教師パターンの数を適度にできる。

又、各教師パターンに対応して出力データの最大許容
誤差を決定しておき、全教師パターンに対して出力デー
タが最大許容誤差以下になった時、学習を終了するよう
にし、この場合総合評価値が大きい教師パターンほど、
最大許容誤差を小さくして収束条件を厳しくしたから、
学習装置に十分な学習が施すことができ、実際の応用に
おいて誤差の少ない処理ができる。

【図面の簡単な説明】

第１図は本発明の原理説明図、 第２図は本発明の一実施例構成図、 第３図は教師パターン作成部の実施例構成図、 第４図は過去の行動に対する評価値の変化を示す説明
図、 第５図はターゲットの移動軌跡の説明図、 第６図はターゲットが直線的に移動する場合におけるロ
ボット追従軌跡説明図、 第７図はターゲットが逆４の字状に移動する場合におけ
るロボット追従軌跡説明図、 第８図はターゲットが反時計方向に移動する場合におけ
るロボット追従軌跡説明図、 第９図はターゲットが時計方向に移動する場合における
ロボット追従軌跡説明図、 第10図は出願済みの自己学習方式に係わる学習装置の構
成図、 第11図は第10図における評価部の構成図、 第12図は視覚センサの説明図、 第13図は評価の概念説明図表である。 ３……処理部（ニューラル・ネットワーク） ８……外部評価入力部 ９……教師パターン作成部 11……入出力パターン対応部 12……評価記憶部 13……外部評価変換部 14……忘却処理部 15……演算部 16……教師パターン決定部 17……収束条件決定部 18……教師パターン記憶部

フロントページの続き (72)発明者 関口 実 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 管坂玉美，佐賀一繁，関口実，長田茂 美，「教師信号の自己生成機能を持つ学 習システム」，1990年電子情報通信学会 秋季全国大会講演論文集（６）Ｐ．６− 455〜６−456（1990．９．15) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/18 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】学習装置の行動に対して外部から与えられ
   る評価に基づいて教師パターンを作成し、該教師パター
   ンに基づいて学習する学習装置の自己学習方法におい
   て、 学習装置の行動に対して外部から外部評価が与えられた
   時、該外部評価に基づいて過去の行動に対し、過去に遡
   るほど絶対値が小さくなるように第１の評価値を演算し
   て与えると共に、１ステップ前における過去の各行動の
   総合評価値を所定忘却率により弱めて第２の評価値を演
   算し、 前記外部評価に対する第１の評価値と所定忘却率により
   弱められた第２の評価値との和を現時点における過去の
   行動の総合評価値として各行動に対して求め、 総合評価値が設定値以上の行動をそれぞれ教師パターン
   として選定し、 該教師パターンに基づいて学習し、 学習後の学習装置の行動に対し、前記教師パターン生成
   処理及び学習処理を実行することを特徴とする学習装置
   の自己学習方法。
2. 【請求項２】外部評価は良い評価と悪い評価の２つと
   し、前者の外部評価値を＋１、後者の外部評価値を−１
   とすることを特徴とする請求項１記載の学習装置の自己
   学習方法。
3. 【請求項３】現ステップを第ｓステップとする時、第ｐ
   ステップ（ｐ≦ｓ−１）に生じた過去の行動に対する前
   記第１の評価値Ａ（s,p）を次式 Ａ（s,p）＝Ｃ・exp［−α（ｓ−ｐ−１）］ により演算することを特徴とする請求項２記載の学習装
   置の自己学習方法。
4. 【請求項４】現ステップより１ステップ前における第ｐ
   ステップ（ｐ≦ｓ−１）に生じた行動の総合評価値をＲ
   （ｓ−1,p）、忘却率をｂとするとき、前記第２の評価
   値Ｂ（s,p）を次式 Ｂ（s,p）＝ｂ・Ｒ（ｓ−1,p） により演算することを特徴とする請求項３記載の学習装
   置の自己学習方法。
5. 【請求項５】前記行動を学習装置への入力パターンと出
   力パターンのペアで表現することを特徴とする請求項１
   記載の学習装置の自己学習方法。
6. 【請求項６】前記教師パターンに対応して出力パターン
   の最大許容誤差を決定し、該教師パターンに基づいた学
   習時、学習装置から出力される実際の出力パターンと該
   教師パターンに含まれる出力パターン間の誤差が所定の
   最大許容誤差以下になった時、該教師パターン対しては
   学習を行わず、 全教師パターンに対して出力パターンが最大許容誤差以
   下になった時、学習を終了することを特徴とする請求項
   ５記載の学習装置の自己学習方法。
7. 【請求項７】教師パターンとなる行動の総合評価値が大
   きいほど、最大許容誤差を小さくする請求項６記載の学
   習装置の自己学習方法。