JPH0752439B2 - ダイナミックプログラミング機能を有するニューラルネットワーク - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は音声等のパターン認識システムに利用されるニ
ューラルネットワークの改良に関する。

（従来の技術） 生物の神経回路を模擬した情報処理機構であるニューラ
ルネットワークはパターン認識等の諸問題の解決に有望
と期待され、世界中で研究開発が盛んに行なわれてい
る。

ニューラルネットワークに関しては日経エレクトロニク
ス誌、第427号の第115頁（昭和62年８月10日発行）に
「ニューラルネットワークをパターン認識」知識処理に
使うと題して発表された記事（以下文献（１）と呼ぶ）
に分り易く解説されている。それによると、ニューラル
ネットワークの基本構成要素はニューロンユニット（以
下ユニット略す）と呼ばれる素子で、複数の入力の荷重
和を計算し、それに応じた出力を発生する。ニューラル
ネットワークは多層構造をとり、典型的には入力層、中
間層、出力層の３層構成となる。入力層の各ユニットの
出力は中間層の各ユニットに伝達され、それらへの入力
となる。中間層の各ユニットの出力は出力層の各ユニッ
トに伝達され、それらへの入力となる。

音声認識に例をとると、入力層では計測と制御、第22巻
第１号（昭和58年１号発行）の第99頁に「音声認識にお
けるパターンマッチング手法」と題して発表された論文
（以下文献（２）と呼ぶ）の図２に示される如き音声パ
ターンを入力信号として受け取る。ここに図２の行列の
各元を入力層の各ユニットに対応させるものとする。出
力層の各ユニットは認識対象語いの各単語に対応する。
最大の出力を示す出力層ユニットに対応する単語が認識
結果となる。出力層が１個のユニットより成る場合も有
る。このようなニューラルネットワークは全体として、
入力パターンが、ある単語である確からしさを示す量
（マッチング量）を算出するパターンマッチング手段と
して動作する。出力ユニットの出力がマッチング量とな
るのである。

このような認識動作ないしはパターンマッチング動作を
有効に機能さすためには、あらかじめ各ユニットの入力
に付せられる荷重の係数を学習する必要がある。これに
は前記文献（１）の第118頁に詳述されるバックプロパ
ゲーション法を用いることができる。

（発明が解決しようとする問題点） 以上の如き構成と機能を有するニューラルネットワーク
は理論的に解決が不可能なパターン認識問題に対して、
学習という高度な機能を発揮して、対処可能な解法を与
えるものと期待されている。しかし現在までに提案され
ているニューラルネットワークは、文献（１）の図２に
示されるように、層間では、ユニット間で全く自由な結
合が行なわれている点で極めて一般的な形態のものであ
る。それゆえ万能であるかも知れないが、特定の問題を
扱かう場合には能率が悪い。

音声認識の例を考えると、文献（２）の第3.1節に記さ
れる如く、音声パターンには時間軸の伸縮変動が存在す
る。この変動は複雑な非線形性を有し、極めて大量の歪
みパターンを発生する。これら総てを対象として学習を
行なうことは計算時間的に見て不可能である。かと言っ
て少量の学習パターンを対象として学習を済ませたので
は、学習していない型の歪みパターンが入力されたとき
誤認識を生じる恐れがある。

すなわち、従来提案されているニューラルネットワーク
は、一般的ではあるが、伸縮変動を処理するのに適して
いないという欠点があった。本発明はこの点を改善する
ことを目的として、ダイナミックプログラミング機能を
有するニューラルネットワーク構成を提案するものであ
る。

（問題点を解決するための手段） 本発明によるニューラルネットワークは、少なくとも入
力層、中間層及び出力層とよりなり、入力層と中間層の
ユニット配列及び層間の接続を時系列的に構成し、この
時系列上の各時刻に対して入力パターン時系列中のベク
トルを重複と跳越しを許す関係で対応づけ、出力層ユニ
ットの出力を最大とする処理をダイナミックプログラミ
ングによって行なう機能を有することを特徴とする。

（作用） 第１図を引用して本発明の原理を説明する。第１図のニ
ューラルネットワークは入力層、中間層、出力層の３層
よりなる。入力層は時刻ｊで指定される時系列的構成を
とり、その入力洗浄の信号をベクトル で示す。この時系列 全体が入力層への入力となる。入力層のユニットはこれ
らを受け入れるべくＫ×Ｊ個の行列状の配置となってい
る。これらを ｛入力ユニット（k,j）｝ （３） とする。また入力ユニット（ｊ）というときは時刻ｊの
入力ユニット（k,j）の組を意味する。

中間層はＬ×Ｊ個の行列状の配置となっている。

これらを ｛中間ユニット（l,j）｝ （４） とする。中間ユニット（ｊ）と記すときは時刻ｊの中間
ユニット（l,j）の組を意味する。これらのユニット間
では、中間ユニット（l,j）に対しては同時刻ｊの近傍
の入力ユニット１列あるいは複数列が接続される。図で
は第ｊ列と第ｊ−１との２列が接続される。

このような時系列的構成が本発明の特徴である。これら
の接続によって入力ユニット（k,j）から中間ユニット
（l,j）に入力がなされるとき次のような荷重づけがな
される。

β_0j（k,l）・x_kj β_1j（k,l）・x_kj-1 （５） それゆえ中間層ユニット（l,j）への入力和は となる。これによって中間層ユニット（l,j）からは出
力 ｙ（l,j）＝ｆ（net（l,j）） （７） が発生される。関数ｆとしては文献（１）の（３）式に
示される如きsigmoid関数 ｆ（net（l,j））＝1/（１＋exp（−net（l,j） ＋θ（l,j）） （８） を用いることができる。以上の（５）〜（７）式を次の
ように略記することとする。

ここに であり、ベクトルとベクトルとの積“・”は内積を意味
する。

出力層は一般には（1,2…ｎ…Ｎ）のＮユニットより成
る。以下でユニット（ｎ）に着目して動作を説明する。
中間ユニット（l,j）の出力ｙ（l,l）が入力となる。こ
れらには係数▲αⁿ _j▼（ｌ）が加重され、それらの和 が計算され、これにsigmoid関数をかけたものが出力ユ
ニット（ｎ）の出力Ｚ（ｎ）となる。

Ｚ（ｎ）＝1/（１＋exp（−Net（ｎ）＋Θ_ｎ） （11） ここで（９）式と同様に記法の整理を行なっておく。

ここに、 である。

以上の如く入力層と中間層を時系列的構成をとることに
よって文献（２）の図２の如き時系列的パターンを扱か
うのに適したニューラルネットワークを構成することが
できる。特に入力層と中間層の接続を、時刻ｊの中間層
ユニットに対して、その近傍時刻の複数個の入力ユニッ
トを接続した構成は一種のマッチドフィルタとなり、音
素等の局所的な特徴を抽出する機構となり、音声認識に
適したものとなる。

本発明の最大の特徴は、中間ユニットと入力ユニットの
組みを入力パターンの特徴と最適に組み合わせると機構
を有することにある。さらにはこのための処理を動的計
画法によって行なうことを特徴とする。いま入力パター
ンをＫ次元のベクトル で示す。この時間軸ｉと時間軸ｊの間に写像ｉ＝ｉ
（ｊ）で入力パターンの を入力ユニット（ｊ）の とするという時間軸の変換を行なうこととする。

この写像は単語（ｎ）の音声パターンを学習して荷重係
数｛▲αⁿ _j▼（ｌ），β_0j（k,l），β_1j（k,l）｝とし
て抽象化されて記憶されているものに最もよく一致する
ように行なう。すなわち、出力ユニット（ｎ）の出力で
ある（12）式が最大となるように行なうのである。

Sigmoid関数が単調増加であることから、（12）式の最
大化のためには、（10）式のNet（ｎ）すなわち を最大とすればよい。これに（９）式を代入して なる変換を行なうのと次の如き最大化問題に帰着され
る。

ここに なるベクトルであって この は入力ユニット（ｊ）に を、入力ユニット（ｊ−１）に を対応づけた場合、出力ユニット（ｊ）に発生する出力
である。

なる値は（n,i,j）の組みを与えると定まる量であるの
で と置くと、（14）式は と簡略表現ができる。

以上の如き解析の結果、この時系列構造を有するニュー
ラルネットワークの時間軸歪除去の問題は（17）式の如
くｒ（n,i,j）の総和をｉ＝ｉ（ｊ）に関して最大にす
る問題と簡単化できた。このことから文献（２）と同様
に、動的計画法（ダイナミックプログラミング）の適用
が可能なことが知られる。解放の一例は以下の如くであ
る。

（初期条件） ｇ（n,i,j）＝ｒ（n,1,1） （18） （漸化式） （ｉ＝1,2,…I;j＝1,2…Ｊ） これによって出力ユニット（ｎ）の出力は Ｚ（ｎ）＝Ｈ（ｇ（n,I,J）） （20） と定まる。

（19）式の計算は第２図の格子点上で正順に行なわれ
る。ｉ（ｊ−１）とｉ（ｊ）の間には、増加が0,1,2の
３種の自由度が許される。これらの内、増加０はｉ軸上
で停留することを意味し、増加２は１点分だけ追越すこ
とを意味する。このような自由度の対応づけを「入力パ
ターンベクトルの停留、追越しを許す対応」と呼ぶ。

（実施例） 第３図に本発明を音声認識に応用した一実施例を示す。
本実施例は第１図、第２図で説明した本発明の作用をマ
イクロプロセッサで実行する場合の例である。

入力パターンバッファ10には（13）式の如き入力パター
ンが保持され、中間層処理部20より がアクセスできるようになっている。この部分は通常の
RAMで構成される。中間層係数記憶部30には荷重係数の
群｛β_0j（k,l），β_1j（k,l）｝及び閾値群｛θ（l,
j）｝が記憶される。

マイクロプロセッサよりなる中間層処理部20では以下の
ような処理が行なわれる。

これらが を構成することは（14）式（15）式に関連して説明した
通りであり、入力ユニット（ｊ）に を入力ユニット（ｊ−１）に を対応づけたときに中間ユニット（ｊ）に生じる出力で
ある。この は必要な（i,j）の組みに対して計算され、中間層出力
バッファ40に記憶される。

マイクロプロセッサより成る動的計画法処理部50では出
力層係数記憶部に記憶される係数の群｛▲αⁿ _j▼
（ｌ）｝、閾値群｛Θ（ｎ）｝と前記中間層出力バッフ
ァ40に記憶される中間層出力を参照しつつ（18），（1
9），（20）式の動的計画法演算を行なう。（19）式の
ｒ（n,i,j）は次の式によって計算される。

これによってｒ（n,i,j）を算出しつつ（19）式の漸化
式計算を進めることによってｇ（n,I,J）が得られる。s
igmoid関数が単調増加であることに着目して、sigmoid
関数を省略して Ｚ（ｎ）＝ｇ（n,I,J）−Θ（ｎ） （23） を出力とする。

この動的計画法処理は出力ユニット（ｎ＝1,2,…Ｎ）の
それぞれに関して行なわれ、それぞれに対して出力層出
力ｚ（ｎ）が出力される。

判定処理部70では、上記出力層ｚ（ｎ）を相互比較して
ｚ（ｎ）が最大となるｎ＝を認識結果として出力す
る。

以上、本発明の原理、作用を実施例に基づいて説明した
がこれらの記載は本願の権利範囲を限定するものではな
い。例えば、中間層処理はマイクロプロセッサによら
ず、第１図そのままの分散型プロセッサによって行なう
構成も考えられる。また本願発明によってニューラルネ
ットワークと動的計画法の結合が可能となったが、これ
に応じて従来音声認識の分野でDPマッチング法として研
究されてきた分野の各種の工夫が本発明のダイナミック
ニューラルネットワークでも採用できることになった。
例えば文献（２）の図５に示される「整合窓」の手法、
「日経エレクトロニクス誌、第329号（昭和58年11月７
日発行）の第184頁、表１」に記載される傾斜制限、
「白井良明編“パターン理解”（オーム社、昭和62年８
月25日発行）」の第210頁に記される連続DP法、などの
手法である。これらの組込みは本願発明の権利範囲内で
ある。

（効果） 以上述べた構成によると時間軸歪みを補正する能力を有
するので、少数の学習パターンで学習した場合でも良効
な認識性能を得ることができる。しかも、動的計画法の
採によって処理は高速に実行できる。

【図面の簡単な説明】

第１図と第２図は原理説明図、第３図は実施例である。 図において、 10……入力パターンバッファ、20……中間層処理部、 30……中間層係数記憶部、40……中間層出力バッファ、 50……動的計画法処理部、60……出力層係数記憶部、 70……判定部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】音声などの入力時系列パターンを認識処理
   する、少なくとも入力層と中間層および出力層とより成
   るニューラルネットワークにおいて、入力層と中間層の
   ニューラルユニットを時間軸に沿って配列し、その層間
   の接続は時間的に近傍のみに限定した時系列的に構成
   し、この時系列上の各時刻に対して入力パターン時系列
   中のベクトルを停留と追越を許す関係で対応づけて入力
   して出力層ユニットの出力を得る際に、出力層ユニット
   の出力を最大とするような対応付けをダイナミックプロ
   グラミング法を用いて探索する機能を有することを特徴
   とするダイナミックプログラミング機能を有するニュー
   ラルネットワーク。