JPH0752438B2 - ダイナミックプログラミング・ニューラルネットワーク - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は音声等のパターン認識システムに利用されるニ
ューラルネットワークの改良に関する。

（従来の技術） 生物の神経回路を模擬した情報処理機構であるニューラ
ルネットワークはパターン認識等の諸問題の解決に有望
と期待され、世界中で研究開発が盛んに行なわれてい
る。

ニューラルネットワークに関しては日経エレクトロニク
ス誌、第427号の第115頁（昭和62年８月10日発行）に
「ニューラルネットワークをパターン認識、知識処理に
使う」と題して発表された記事（以下文献（１）と呼
ぶ）に分り易く解説されている。それによると、ニュー
ラルネットワークの基本構成要素はニューロンユニット
（以下ユニットと略す）と呼ばれる素子で、複数の入力
の荷重和を計算し、それに応じた出力を発生する。ニュ
ーラルネットワークは多層構造をとり、典型的には入力
層、中間層、出力層の３層構成となる。入力層の各ユニ
ットの出力は中間層の各ユニットに伝達され、それらへ
の入力となる。中間層の各ユニットの出力は出力層の各
ユニットに伝達され、それらへの入力となる。

音声認識に例をとると、入力層では計測と制御第22巻第
１号（昭和58年１号発行）の第99頁に「音声認識におけ
るパターンマッチング手法」と題して発表された論文
（以下文献（２）と呼ぶ）の図２に示される如き音声パ
ターンを入力信号として受け取る。ここに図２の行列の
各元を入力層の各ユニットに対応させるものとする。出
力層の各ユニットは認識対象語いの各単語に対応する。
最大の出力を示す出力層ユニットに対応する単語が認識
結果となる。出力層が１個のユニットより成る場合も有
る。このようなニューラルネットワークは全体として、
入力パターンが、ある単語である確からしさを示す量
（マッチング量）を算出するパターンマッチング手段と
して動作する。出力ユニットの出力がマッチング量とな
るのである。

このような認識動作ないしはパターンマッチング動作を
有効に機能さすためには、あらかじめ各ユニットの入力
に付せられる荷重の係数を学習する必要がある。これに
は前記文献（１）の第118頁に詳述されるバックプロパ
ゲーション法を用いることができる。

（発明が解決しようとする問題点） 以上の如き構成と機能を有するニューラルネットワーク
は理論的に解決が不可能なパターン認識問題に対して、
学習という高度な機能を発揮して、対処可能な解放を与
えるものと期待されている。しかし現在までに提案され
ているニューラルネットワークは、文献（１）の図２に
示されるように、層間では、ユニット間で全く自由な係
合が行なわれている点で極めて一般的な形態のものであ
る。それゆえ万能であるかも知れないが、特定の問題を
扱かう場合には能率が悪い。

音声認識の例を考えると、文献（２）の第3.1節に記さ
れる如く、音声パターンには時間軸の伸縮変動が存在す
る。この変動は複雑な非線形性を有し、極めて大量の歪
みパターンを発生する。これら総てを対象として学習を
行なうことは計算時間的に見て不可能である。かと言っ
て少量の学習パターンを対象として学習を済ませたので
は、学習していない型の歪みパターンが入力されたとき
誤認識を生じる恐れがある。

すなわち、従来提案されているニューラルネットワーク
は、一般的ではあるが、伸縮変動を処理するのに適して
いないという欠点があった。本発明はこの点を改善する
ことを目的として、ダイナミックプログラミング機能を
有するニューラルネットワーク構成を提案するものであ
る。

（問題点を解決するための手段） 本発明によるダイナミックプログラミング・ニューラル
ネットワークは、少なくとも入力層、中間層、出力層よ
り成り、入力層と中間層のユニット配列及び層間接続を
時系列的に構成し、入力層時系列上の各時刻に対して入
力パターン時系列中のベクトルを停留と追越しを許す関
係で対応づけ、出力層ユニットの出力を最大とする処理
をダイナミックプログラミングにより行なう機能を有す
ることを特徴とする。

（作用） 第１図を引用して本発明の原理を説明する。第１図のニ
ューラルネットワークは入力層、中間層、出力層の３層
より成る。入力層は時刻ｊで指定される時系列的構成を
とり、その入力線上の信号をベクトル で示す。この時系列 全体が入力層への入力となる。入力層のユニットはこれ
らを受け入れるべくＫ×Ｊ個の行列状の配置となってい
る。これらを ｛入力ユニット（k,j）｝ （３） とする。また入力ユニット（ｊ）というときは時刻ｊの
入力ユニット（k,j）の組を意味する。

中間層はＬ×Ｊ個の行列状の配置となっている。

これらを ｛中間ユニット（l,j）｝ （４） とする。中間ユニット（ｊ）と記すときは時刻ｊの中間
ユニット（l,j）の組を意味する。これらのユニット間
では、中間ユニット（l,j）に対しては同時刻ｊの近傍
の入力ユニット１列あるいは複数列が接続される。図で
は第ｊ列と第ｊ−１との２列が接続される。

このような時系列的構成が本発明の特徴である。これら
の接続によって入力ユニット（k,j）から中間ユニット
（l,j）に入力がなされるとき次のような荷重づけがな
される。

β_0j（k,l）・x_kj β_1j（k,l）・x_kj-1 （５） それゆえ中間層ユニット（l,j）への入力和は となる。これによって中間層ユニット（l,j）からは出
力 ｙ（l,j）＝ｆ（net（l,j）） （７） が発生される。関数ｆとしては文献（１）の（３）式に
示される如きsigmoid関数 ｆ（net（l,j））＝1/（１＋exp（−net（l,j） ＋θ（l,j）） （８） を用いることができる。以上の（５）〜（７）式を次の
ように略記することとする。

ここに であり、ベクトルとベクトルとの積“・”は内積を意味
する。

出力層は一般には（1,2…ｎ…Ｎ）のＮユニットより成
る。以下でユニット（ｎ）に着目して動作を説明する。
中間ユニット（l,j）の出力ｙ（l,1）が入力となる。こ
れらには係数▲αⁿ _j▼（ｌ）が荷重され、それらの和 が計算され、これにsigmoid関数をかけたものが出力ユ
ニット（ｎ）の出力Ｚ（ｎ）となる。

Ｚ（ｎ）＝1/（１＋exp（−Net（ｎ）＋Θ_ｎ） （11） ここで（９）式と同様に記法の整理を行なっておく。

ここに、 である。

以上の如く入力層と中間層を時系列的構成をとることに
よって文献（２）の図２の如き時系列的パターンを扱か
うのに適したニューラルネットワークを構成することが
できる。特に入力層と中間層の接続を、時刻ｊの中間層
ユニットに対して、その近傍時刻の複数個の入力ユニッ
トを接続した構成は一種のマッチドフィルタとなり、音
素等の局所的な特徴を抽出する機構となり、音声認識に
適したものとなる。

本発明の最大の特徴は、入力ユニットを入力パターン時
系列中のベクトルと最適に組み合わせるという機構を有
することにある。さらには、このための処理を動的計画
法によって行なうことを特徴とする。

いま入力パターンをＫ次元のベクトル で示す。この時間軸ｉと入力ユニットの時間軸ｊの間に
写像ｉ＝ｉ（ｊ）で入力パターンの を入力ユニット（ｊ）の とするという時間軸変換を行なうこととする。この写像
は単語（ｎ）の音声パターンを学習して荷重係数｛▲α
ⁿ _j▼（ｌ），β_0j（k,l），β_1j（k,l）｝として抽象化
されて記憶されているものに最もよく一致するように行
なう。すなわち、出力ユニット（ｎ）の出力である（1
2）式が最大となるように行なうのである。

sigmoid関数が単調増加であることから、（12）式の最
大化のためには、（10）式のNet（ｎ）すなわち を最大とすればよい。これに（９）式を代入して なる変換を行なうのと次の如き最大化問題に帰着され
る。

ここに なるベクトルであって このベクトル（i,j）は入力ユニット（ｊ）に を、入力ユニット（ｊ−１）に を対応づけた場合、出力ユニット（ｊ）に発生する出力
である。

なる量は（n,i（ｊ）,i（ｊ−１）,j）の組みを与える
と定まる量であるので と置くと、（14）式は と簡略表現ができる。

以上の如き解析の結果、この時系列構造を有するニュー
ラルネットワークの時間軸歪補正の問題は（17）式の如
く、ｒ（n,i（ｊ）,i（ｊ−１）,j）の総和をｉ＝ｉ
（ｊ）に関して最大にする問題と定式化ができた。この
ことから以下の如く動的計画法（ダイナミックプログラ
ミング）の適用が可能なことが知られる。解放の一例は
以下の如くである。

（初期条件） （漸化式） （ｉ＝1,2,…I;j＝1,2…Ｊ） これによって出力ユニット（ｎ）の出力は Ｚ（ｎ）＝Ｈ（ｇ（n,I,J）） （20） と定まる。

（19）式の計算は第２図の格子点状で正順に行なわれ
る。ｉ（ｊ−１）とｉ（ｊ）の間には、増加が0,1,2,の
３種の自由度が許される。これらの内、増加０はｉ軸上
で停留（重複）することを意味し、増加２は１点分だけ
追越すことを意味する。このような自由度の対応づけを
「入力パターンベクトルの停留、追越しを許す対応」と
呼ぶ。

（実施例） 第３図に本発明を音声認識に応用した一実施例を示す。
第１図、第２図で説明した本発明の原理をマイクロプロ
セッサで実行する場合の例である。

入力パターンバッファ10には（13）式の如き入力パター
ンが保持され、中間層処理部20より がアクセスできるようになっている。このバッファはRA
Mで構成される。中間層係数記憶部30には荷重係数群
｛β_0j（k,l）｝，｛β_1j（k,l）｝及び閾値群｛θ（l,
j）｝が記憶される。マイクロプロセッサより成る中間
層処理部20では以下のような３系統の中間層出力群が計
算される。

の が入力ユニット（ｊ）に、同じ が入力ユニット（ｊ−１）に対応づけられたときの中間
ユニット（ｊ）の出力である。の が入力ユニット（ｊ）に、 が入力ユニット（ｊ−１）に対応づけられたときの中間
層（ｊ）の出力である。の が入力ユニット（ｊ）に、 が入力ユニット（ｊ−１）に対応づけられたときの中間
層（ｊ）の出力である。これらは必要な（i,j）の組み
に対して計算され、中間層出力バッファ40に出力され記
憶される。

マイクロプロセッサよりなる動的計画法処理部50では出
力層係数記憶部に記憶される係数の群｛▲αⁿ _j▼
（ｌ）｝、閾値群｛Θ（ｎ）｝と前記中間層出力バッフ
ァ40に記憶される中間層出力を参照しつつ（18），（1
9），（20）の動的計画法演算を行なう。（19）式右辺
のｒ（n,i,i,j）等は（21−ａ）〜（21−ｃ）式の中間
層出力をもとにして次のように計算され使用される。

これらによってｒ（n,i,i,j）等の算出しつつ（19）式
の漸化式計算を進めることによってｇ（n,I,J）が得ら
れる。sigmoid関数が単調増加であることに着目して、
これを省略して Ｚ（ｎ）＝ｇ（n,I,J）−Θ（ｎ） （23） を出力ユニット（ｎ）の出力とする。

以上の動的計画法処理は出力ユニット（ｎ＝1,2,…Ｎ）
のそれぞれに対して行なわれ、それぞれに対して出力層
出力ｚ（ｎ）が出力される。

判定処理部70では動的計画法処理50より出力される出力
層出力Ｚ（ｎ）を相互比較して、Ｚ（ｎ）が最大となる
ｎ＝を認識結果として出力する。

以上、本発明の原理、作用を実施例に基づいて説明した
がこれらの記載は本願の権利範囲を限定するものではな
い。例えば、中間層処理はマイクプロセッサによらず、
第１図そのままの分散型プロセッサによって行なう構成
も考えられる。また本願発明によってニューラルネット
ワークと動的計画法の結合が可能となったが、これに応
じて従来音声認識の分野でDPマッチング法として研究さ
れてきた分野の各種の工夫が本発明のダイナミックニュ
ーラルネットワークでも採用できることになった。例え
ば文献（２）の図５に示される「整合窓」の手法、日経
エレクトロニクス誌、第329号（昭和58年11月７日発
行）の第184頁、表１に記載される傾斜制限などの手法
である。これらの組込みは本願発明の権利範囲内であ
る。

（効果） 以上述べた構成によると、時間軸歪みを補正する能力を
有するので、少数の学習パターンで学習した場合でも良
好な認識性能を得ることができる。しかも、動的計画法
の採によって処理は高速に実行できる。

【図面の簡単な説明】

第１図と第２図は原理説明図、第３図は実施例である。 図において、 10……入力パターンバッファ、20……中間層処理部、 30……中間層係数記憶部、40……中間層出力バッファ、 50……動的計画法処理部、60……出力層係数記憶部、 70……判定部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】音声などの入力時系列パターンを認識処理
   する、少なくとも入力層と中間層および出力層とより成
   るニューラルネットワークにおいて、入力層と中間層の
   ニューラルユニットを時間軸に沿って配列し、その層間
   の接続は時間的に近傍のみに限定した時系列的に構成
   し、入力層のニューラルユニットに対して入力パターン
   時系列中のベクトルを停留と追越を許す関係で対応付け
   て入力して出力層ユニットの出力を得る際に、出力層ユ
   ニットの出力を最大とするような対応付けをダイナミッ
   クプログラミング法を用いて探索する機能を有すること
   を特徴とするダイナミックプログラミング・ニューラル
   ネットワーク。