JPH0638196B2 - 時系列パターン用ダイナミック・ニューラルネットワーク - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は音声等の時系列パターン認識システムに利用さ
れるニューラルネットワークの改良に関する。

（従来の技術） 生物の神経回路を模擬した情報処理機構であるニューラ
ルネットワークは、パターン認識等の諸問題の解決に有
望と考えられ、近年世界中で研究開発が盛んに行なわれ
ている。

ニューラルネットワークに関しては「日経エレクトロニ
クス誌、no.427,(昭和62年8月10日発行)のpp.115-124に
“ニューラルネットワークをパターン認識、知識処理に
使う”と題して発表された解説」(以下文献(1)と呼ぶ)
に分り易く説明されている。それによると、ニューラル
ネットワークの基本構成要素はニューロンユニットと呼
ばれる素子で、複数の入力の荷重和を計算しそれに応じ
た出力を発生する。ニューラルネットワークは多層構造
をとり、典型的には入力層、中間層、出力層の3階層構
成となる。

入力層の各ニューラルユニットの出力は中間層の各ニュ
ーラルユニットに伝達され、それらへの入力となる。中
間層の各ニューラルユニットの出力は出力層の各ニュー
ラルユニットに伝達され、それらへの入力となる。

音声認識に例を取ると、入力層では「計測と制御誌、第
22巻、第1号(昭和58年１月発行)のpp.99-pp.105に“音
声認識におけるパターンマッチング手法”と題して発表
された論文」(以下文献(2)と呼ぶ)の図２に示される如
き音声パターンを入力信号として受ける。ここに図2の
行列の各元を入力層の各ニューラルユニットに対応させ
るものとする。出力層の各ニューラルユニットは、認識
対象語彙の各単語が対応する最大の出力が得られるニュ
ーラルユニットに対応する単語が認識結果となる。

このような認識動作を有効に機能さすためには、あらか
じめニューラルユニットの入力に付せられる荷重の係数
を学習する必要がある。これには前記文献(1)の第118頁
に詳述されるバックプロパゲーション法を用いることが
できる。

（発明が解決しようとする問題点） 以上の如き構成と機能を有するニューラルネットワーク
は、理論的に定式化が不可能なパターン認識問題に対し
て、学習という高度な機能を発揮して、対処可能な解決
を与えるものと期待されている。しかし、文献(1)の図2
に示されるように、現在までに提案されているニューラ
ルネットワークは、層間のニューラルユニット間ではま
ったく自由な結合が行なわれている点で、極めて一般的
な形態のものである。それゆえ万能ではあるかも知れな
いが特殊な問題を扱かう場合には能率が悪い。

時系列パターンを扱かう代表例として音声認識の例を考
える。文献(2)の第3.1節に記される如く音声パターンに
は時間軸の伸縮が存在する。この伸縮は複雑な非線形性
を有し、極めて大量の歪みパターンを生じる。これら総
てを対象として学習を行なうのは計算時間的に言って不
可能である。

以上の例からパターンの学習には多量パターンが必要な
ことが分る。しかし、学習パターンを少なくすると認識
率が低下することは明白である。

すなわち、従来提案されているニューラルネットワーク
は、一般的ではあるが、伸縮歪の変動を処理するには適
していないという欠点があった。本発明はこれを改善す
るためダイナミックなニューラルネットワークの構成を
実現せんとするものである。

（問題点を解決するための手段） 本発明によるダイナミック・ニューラルネットワーク
は、入力層と中間層を時系列的に構成し各時刻の中間層
ユニットに対して近傍時刻の入力層ユニットの出力を伝
達する構成とし、出力層の各ユニットの出力が最大とな
るよう中間層出力と出力層入力との結合をダイナミック
に切り換えるスイッチング層を有することを特徴とす
る。

（作用） かくの如き構成によると入力層では時系列パターンを受
理することができ、かつ時間構造を保存したままで中間
に出力することができる。中間層では各時刻の近傍の入
力パターンから局所的な特徴を時系列として抽出するこ
とができる。中間層と出力層の結合の最適化によって、
入力時系列パターンに存在した時系列歪を正規化するこ
とができる。

（実施例） 第1図は本発明の原理に基づく音声認識システムの構成
列である。

参照数字11〜14は入力層で、各16個のユニット(図では
４個で省略)よりなり時刻iに対応して時系列構成となっ
ている。前記文献(2)の図2の如き16次元のスペクトラム
ベクトルの時系列{x_im}(時刻方向がi、周波数方向がｍ)
を入力され、それを中間層(参照数字21〜24)に送る。入
力層と中間層の結合は図に示す如く、中間層の第i例の
ユニットには入力層の第i-1、第i、第i+1の３者のユニ
ットが結合される。中間層のi例内の各ユニットはk＝1,
2,3の行番号で指定される。これら2層間ではmとkに関し
てはあらゆる結合が許される。

入力層の(i,m)ユニットから中間層の(i,k)ユニットへの
結合にはβ_i,i,m,kなる係数が荷重され、入力層の(i-1,
m)ユニットから中間層の(i,k)ユニットへの結合にはβ
_i-1,i,m,kなる係数が荷重される。同様に入力層の(i+1,
m)ユニットから中間層の(i,k)ユニットにはβ_i+1,i,m,k
なる係数が荷重される。よって中間層の(i,k)ユニット
への入力信号和は (θはユニットの内部で発生されるバイアスファクタ) となる。これを受けて中間層の(i,k)ユニットは なる出力を発生する。(1)式の信号は時刻iの近傍の入力
x_ikに対してβ_i-1,i,m,k,β_i,i,m,k,β_i+1,i,m,kなる係
数群を荷重するというフィルタリング処理を施したもの
であり、係数群の学習を適当に行なっておくことにより
スペクトラム形状と変化傾向に対応した音声的特徴を表
現する量となる。(2)式はそれをsigmoid関数で変換して
(0,1)なる値域に正規化したものである。結果として中
間層の時刻iにおけるユニット(i,1)〜(i,3)の出力y_i＝
(y_i1y_i2y_i3)は、この時刻iの近傍における入力の音声的
特徴の検出結果となる。

参照数字51〜54は出力層である。認識対象語彙の単語1,
2,…n…Ｎのそれぞれに対応してユニットが設けられて
いる。(特殊な場合として出力層のユニットは１個でも
よい。その場合にはニューラルネットワーク全体は特定
語の検出器としてのみ機能する。)従来技術による構成
では、各ユニットnは中間層の各ユニット(i,k)に接続さ
れ、α▲ⁿ _ik▼なる係数で荷重された入力和 を受け、これに応じて出力 なる出力を発生する。0(n)が最大となるユニットｎが 本発明の特徴として中間層と出力層の間にスイッチング
層30,40がある。このスイッチング層は中間層の時刻iと
出力層の時刻jとの間の最適な結合を行なう機能を有す
る。

文献(2)の3.1節に関連して前述した如く、音声パターン
は時間方向に非線形に伸数する。このために入力パター
ンの時刻iすなわち中間層の時刻iとの間に非線形な関数
j＝j(i)による写像を時間軸ｉと時間軸ｊとの間に設け
る。これを最適化するには(4)式の出力が最大となる写
像を定めればよいが(4)式のsigmoid関数が増加関数であ
ること、及び(3)式の右辺のθがj(i)に無関係であるこ
とから なる一次結合の最大化問題を計算すればよいことにな
る。

このような問題は文献(2)でも行なわれているが如く、
動的計画法によって計算することができる。すなわち、 g(1,1)＝r(1,1) (6) なる初期条件のもとに なる漸化式を各(i,j)格子点を正順に計算することによ
り f(n)＝g(I,J) (8) と最大化が達成される。ここに、(5),(6)式において である。

以上の(5)〜(9)式の処理は第2図の如き(i,j)平面で明解
に説明される。横軸(i)には中間層よりの出力y_ikが並ん
でいる。縦軸(j)には荷重係数α▲ⁿ _jk▼が並んでいる各
(i,j)格子点では(9)式のr(i,j)が算出される。これをも
とにして、まず(6)式の初期条件設定が(1,1)点になされ
る。以後(i,j)が増加する方向に(i,j)を変化させながら
(7)式の漸化式を計算し格子点にg(i,j)の値を詰めて行
く。最後にg(i,j)が得られた時点で処理が終了する。

かくの如く動作するスイッチング層と出力層の構成は第
3図に示す如きマイクロコンピュータによって構成され
る。図においてバッファ35には中間層よりの出力群
{y_ik}が保持される。荷重記憶部45には前記の係数群{α
▲ⁿ _jk▼}か記憶される。マイクロプロセッサ部50は、ワ
ークメモリ55上のテーブルg(i,j)を利用して、各出力ユ
ニットnに対して(6)から(9)式の計算を行なって、それ
ぞれの出力0(n)を計算する。そのためマイクロプロセッ
サ部で実行される処理プログラムは第4図に示す如くで
ある。この処理中(7)式の計算において右辺のgの座標と
して負あるいは0が生じたときはg＝−∞と見なすものと
する。

なお、認識システムとしては、第4図の処理によって順
次算出される0(n)が最大となる を決定して認識結果とするという処理も、このマイクロ
プロセッサ部50で実行される。

第3図、第4図の処理機能を同等なことは、例えばプロミ
ーティングス オブ ジ アイ・イーイーイーインターナシ
ョナル コンファレンス オン アコースティクス スピー
チ アンド シグナル プロセッシング(Proceedings of I
EEE International Conference on Acoustics,Speech a
nd Signal Processing)(1981年３月発行のpp.471-474に
「ア ハイ スピード アレイ コンピュータ フォーダイ
ナミック タイム ワーピング(A High Speed Array Comp
uter for Dynamic Time Warping)」）と題して発表され
た論文に示される如き、並列型の回路を用いて行なうこ
ともできる。

以上の本発明の原理・作用を実施例に基づいて説明した
が、これらの記載は本発明の範囲を限定するものではな
い。例えば、上記実施例では中間層を1層としたが、必
要に応じて2層、3層としてもよい。スイッチング部はこ
れらの層最後と出力層の間に設けられる。また、出力層
のニューロンユニットの個数は一般的にN個としたが、
特殊な場合としてＮ＝1であってもよい。この場合には
認識システムとしてではなく、パターンマッチング装
置、あるいはパターン検出装置として動作する。

（効果） 入力層と中間層とを時系列的に構成することにより音声
等の時系列パターンを効果的に処理でき、かつ中間層の
各ユニットに入力層の近傍のユニットを結合しているの
で音声等のローカルな特徴(音韻性)を効果的に抽出でき
る。かつ中間層と出力層の結合を動的計画法で最適化す
ることによって時間歪を効率的に正規化することができ
る。それゆえ本発明によるダイナミックニューラルネッ
トワークによると、小数の学習パターンで高精度、かつ
高速に動作する(音声等の)の時系列パターン認識システ
ムを安価に実現することができる。

【図面の簡単な説明】

第1図は本発明の一実施例を示す図である。第2図はその
動作説明図である。第3図は第1図実施例の要部の構成例
であり、第4図はその動作説明図である。 図において、 11,12,13,14……入力層ニューラルユニット、21,22,23,
24……中間層ニューラルユニット、30……中間層出力、
40……出力層入力、51,52,53,54……出力層ニューラル
ユニット、31……バッファ、45……荷重記憶部、50……
マイクロプロセッサ、55……ワークメモリ。

Claims (2)

【特許請求の範囲】
1. 【請求項１】入力の荷重和に応じて出力を発生するニュ
   ーラルユニットの群により層を多層式に構成し、隣接す
   る層の下位層から上位層へ該出力を伝播するニューラル
   ネットワークにおいて、入力層と中間層を時系列的に構
   成し、各時刻の中間層ユニットに対して近傍時刻の入力
   層ユニットの出力を伝達する構成とし、出力層の各ユニ
   ットの出力が最大となるよう中間層出力と出力層入力と
   の結合をダイナミックに切り換えるスイッチング層を有
   することを特徴とするダイナミック・ニューラルネット
   ワーク。
2. 【請求項２】上記中間層出力と出力層入力との結合を動
   的計画法によって行なうことを特徴とする特許請求の範
   囲第１項記載のダイナミック・ニューラルネットワー
   ク。