JPH0355869B2 - - Google Patents

Description

【発明の詳細な説明】 〔発明の技術分野〕 本発明の文字や音声等の入力パターンを効果的
に認識できる実用性の高いパターン認識装置に関
する。

〔発明の技術的背景〕

計算機システムを用いた情報入力手段の基礎技
術として、パターン認識が種々研究されている。
その中でも類似度法は、パターン認識における重
要な役割を果し、従来より文字認識や音声認識の
分野で広く用いられている。この類似度法は、予
め辞書に登録された標準パターンと入力パターン
との類似度を計算し、基本的には最大類似度値を
得る標準パターンのカテゴリを上記入力パターン
の認識結果として得るものである。このような類
似度法では辞書の設計の自動化が図れる上、入力
パターンの局所的雑音に殆んど影響されることな
くパターン認識を行い得ると云う、優れた利点を
有している。

〔背景技術の問題点〕

ところが、上記類似度法は入力パターンの特殊
な変形に弱いと云う問題を有する。例えば手書文
字にあつては筆記者の癖による特異な変形パター
ンが存在し、また音声にあつては発声者の癖によ
つて音声パターンが大きく変形することがある。
このようなパターン変形があると、上記類似度法
では誤認識が生じ易く、従つて手書文字や音声の
認識への応用には困難があつた。

そこで従来、パターンの変形に影響され難い類
似度法として、例えば特公昭49−12778号公報に
紹介される複合類似度法や、特開昭56−19656号
公報等に紹介される混合類似度法が開発されてい
る。然し乍ら、これらの方式にて十分な認識性能
を得る為には辞書の容量や計算時間が多く必要と
なり、実用に供するには性能やコストの面等で幾
つかの問題があつた。

〔発明の目的〕

本発明はこのような事情の考慮してなされたも
ので、その目的とするところは、辞書の作成が容
易で、しかも入力パターンの変形に対して十分に
対処してパターン認識を行つて、その認識率の向
上を図ることのできる実用性の高いパターン認識
装置を提供することにある。

〔発明の概要〕

本発明のカテゴリの既知なる標準パターンと、
この標準パターンに直交する上記カテゴリの付加
的標準パターンとを用いて、カテゴリの未知なる
入力パターンとの類似度を計算し、これらの類似
度値を加算してなる値を用いて上記入力パターン
が属するカテゴリを識別して入力パターンを認識
するようにしたものである。

〔発明の効果〕

従つて本発明によれば、入力パターンの変形に
対処する標準パターンに直交する付加的標準パタ
ーンを作成し、この付加的標準パターンとの類似
度および上記標準パターンとの類似度を総合して
入力パターンを識別するので、入力パターンの変
形に拘らず常に制度の高い認識が可能となり、手
書文字や音声の認識に絶大なる効果を奏する。

〔発明の実施例〕

以下、図面を参照して本発明の一実施例につき
説明する。

第１図は実施例装置の概略構成図であり、同時
にその処理の流れを示している。入力部１は
CCDセンサやマイクロホン、特徴抽出回路等か
らなり、これらを介して入力された手書文字信号
や音声信号をＡ／Ｄ変換すると共に、必要に応じ
て周波数分析等の特徴抽出を行つて、その入力パ
ターンを抽出するものである。この入力パターン
は、例えば入力信号の特徴パラメータの時系列と
して示される。前処理部２は、上記の如く入力さ
れた入力パターンを必要に応じて時間正規化等の
処理を施こしたり、また入力パターンの検出切出
し等の処理を行うものである。しかして、この入
力パターンのベクトルｆは類似度計算部３に与え
られ、共通辞書４に登録された既知のカテゴリｌ
の標準パターン｛φ_n ^(l)｝および付加的辞書５に登
録された上記カテゴリの付加的標準パターン
｛Ψ_o ^(l)｝との類似度がそれぞれ計算される。判定
部６は、上記類似度計算部３で計算されたカテゴ
リｌに対する類似度の値、つまり標準パターンお
よび付加的標準パターンと入力パターンとの間で
それぞれ求められた類似度の値を加算した情報と
同様にして他のカテゴリについて求められた類似
度の情報とを相互に比較して、前記入力パターン
が属するカテゴリを識別している。尚、上記標準
パターン｛φ_n ^(l)｝と付加的標準パターン｛Ψ_o ^(l)｝
とは、互いに直交関係となるように定められてい
る。このように標準パターン｛φ_n ^(l)｝に対して直
交関係にある付加的標準パターン｛Ψ_o ^(l)｝は判定
部６の指令を受ける等して、付加的辞書作成部７
にて作成される。そして、この作成された付加的
標準パターン｛Ψ_n ^(l)｝が、前記付加的辞書５にそ
のカテゴリを対応させて登録されることになる。

さて、次にこのように構成された本装置におけ
る認識処理につき説明する。類似度計算部３は、
先ず入力パターンのベクトルｆと辞書４に登録さ
れた各カテゴリの標準パターン｛φ_nとの類似度
をそれぞれ計算する。この類似度の計算は、例え
ば複合・混合類似度法により両パターンのベクト
ルの内積演算を行い、その内積値の組から計算す
ることにより行われる。即ち、カテゴリｌに対す
る類似度S^l〔ｆ〕は S^l〔ｆ〕＝_M ^(l) 〓^m=1 a_n ^(l)（ｆ、φ_n ^(l)）²／‖ｆ‖² ……(1) として計算される。尚、この第(1)式において、
｛φ_n ^(l)｝は一つのカテゴリｌについて互いに直交
するＭ個の標準パターンベクトル、つまり辞書パ
ターンを示しており、｛a_n ^(l)｝は各標準パターン
ベクトルにそれぞれ対応した係数を示している。
また（，）は内積を示し、‖ ‖はノルムを示して
いる。但し、‖φ_n ^(l)‖＝１として定義される。こ
の第(1)式に示される入力パターンと標準パターン
との類似度計算については、従来装置においても
行われており、従来装置ではこの類似度計算結果
をそのまま用いて入力パターンに認識が行われて
いたのである。

しかるに本装置では、類似度計算部３におい
て、入力パターンと付加的標準パターンとの類似
度も計算され、上記標準パターンとの間で計算さ
れた類似度値Ｓ（１） 〔ｆ〕に加算して、これを認識に
利用する類似度値Ｔ（１） 〔ｆ〕としている。即ち、 Ｔ（１） 〔ｆ〕＝Ｓ（１） 〔ｆ〕 ＋_N ^(l) 〓ⁿ⁼¹ b_o ^(l)（ｆ、Ψ_o ^(l)）²／‖ｆ‖² ……(2) として、入力パターンｆのカテゴリｌに対する類
似度値が求められている。尚、上記第(2)式におい
て、｛Ψ_o ^(l)｝はカテゴリｌについて互いに直交し、
且つ標準パターン｛φ_n ^(l)｝に対しても直交する関
係を有した付加的標準パターンを示し、｛b_o ^(l)｝
はその定数を示している。但し、‖Ψ_o ^(l)‖＝１と
して定義される。ここで、本発明と複合類似度法
とを組合わせた例について、標準パターン｛φ_n ^(l
）｝と、付加的標準パターン｛Ψ_o ^(l)｝と、入力パ
ターンｆとの立体的な位置関係を第４図を参照し
ながら説明する。第４図では３次元として示され
ており、実際にはこれに高い次元まで使用され
る。複合類似度法においては、あるカテゴリｌに
属する互いに直交する２つの標準パターン
｛φ₁ ^(l)｝，｛φ₂ ^(l)｝を結ぶ面と入力パターンｆとの
角
度θを、 ｛（ｆ、φ₁ ^(l)）²＋（ｆ、φ₂ ^(l)）²） ／‖f²‖＝cos²θ の形で求め、このcos²θから類似度を求めている。
本発明では、この同一カテゴリｌに属する標準パ
ターン｛φ₁ ^(l)｝，｛φ₁ ^(l)｝に対して直交するように
付加的標準パターン｛Ψ₁ ^(l)｝を設定し、この付加
的標準パターン｛Ψ₁ ^(l)｝に対する類似度も求めて
いるのである。上記説明は３次元に限つたもので
あるが、さらに高い次元についても考慮する場合
には、同じカテゴリｌについて、標準パターン
｛φ_n ^(l)｝がM^(l)個用意され、付加的標準パターン
｛Ψ_o ^(l)｝がN^(l)個用意される。なお、定数｛b_o ^(l)｝
は、｛a_n ^(l)｝と同じように決定される。たとえば、
a_n≡１、b_o≡１やa_n＝λm／λo、b_o≡0.5（ただし、
λmは設計時に計算された固有値）等、実験によ
つても決定される。

このようにして、辞書４に登録されたカテゴリ
についてそれぞれ求められた類似度値Ｔ（１） 〔ｆ〕に
従つて、判定部６にて入力パターンが属するカテ
ゴリの識別が行われることになる。第２図は、上
述した類似度計算を行う類似度計算部３の構成例
を示したものである。第２図において、１１は入
力パターンｆを格納したバツフアメモリを示し、
１２_-1〜１２_-l〜１２_-Lは、カテゴリ１〜ｌ〜Ｌ
にそれぞれ対応した類似度計算回路を示してい
る。今、カテゴリｌに対する類似度計算回路１２
_−ｌについて説明すれば、メモリ１３は共通辞書４
に相当したもので、カテゴリｌの互いに直交する
M^(l)個の標準パターン｛φ_n ^(l)｝と、その係数｛a_n ^(l
）｝をそれぞれ格納している。またメモリ１４は
付加的辞書５に相当したもので、カテゴリｌの
N^(l)個の付加的標準パターン｛Ψ_o ^(l)｝とその係数
｛b_o ^(l)｝をそれぞれ格納している。これらのメモ
リ１３，１４に格納されたデータと、前記バツフ
アメモリ１１に格納された入力パターンｆとが、
内積演算部１５，１６にてそれぞれ内積演算され
たのち、加算器１７にてその総和が求められるよ
うになつている。一方、入力パターンｆはノルム
計算回路１８にてそのノルムが求められ、除数と
して除算器１９に与えられている。この除算器１
９にて、前記加算器１７で求められた内積値の総
和が除算され、その結果が類似度値Ｔ（１） 〔ｆ〕とし
て出力されるようになつている。他のカテゴリに
対する類似度計算回路１２も同様に構成され、こ
れにより各カテゴリに対する入力パターンの類似
度値Ｔがそれぞれ求められている。

ところで、上記類似度計算に用いられる付加的
標準パターン｛Ψ_o ^(l)｝は次のようにして作成され
る。今、入力パターンがカテゴリＡに属し、特殊
な変形を有するものとする。従来にあつては、こ
の入力パターンの変形に対する配慮がなされてい
ないことから、従来の複合・混合類似法によつて
その類似度を求めたとき、カテゴリＡに対する類
似度Ｓ（Ａ） 〔ｆ〕と、別のカテゴリＢに対して求めら
れた類似度Ｓ（Ｂ） 〔ｆ〕とが Ｓ（Ａ） 〔ｆ〕＜Ｓ（Ｂ） 〔ｆ〕 なる関係となることがある。この場合には、従来
にあつては単純に類似度の高いものを答えとする
から入力パターンが属するカテゴリがＢであると
誤認識されることになる。この誤認識に対して、
オペレータの指示等により、付加的標準パターン
の作成が次のように行われる。例えば、付加的辞
書作成部７にて なるベクトルを作成し、これを付加的標準パター
ンとする。このようにして作成された付加的標準
パターン｛Ψ₁ ^(A)｝を用いて、カテゴリＡに対す
る類似度Ｔ（Ａ） 〔ｆ〕を前記第(2)式に従い、且つN^(A)
＝１として計算すると、その類似度は b₁ ^(A)（ｆ、Ψ₁ ^(A)）²／‖ｆ‖² ……(4) だけ大きくなる。従つて係数b₁ ^(A)の値を適当に定
めれば、カテゴリＡに対する類似度Ｔ（Ａ） 〔ｆ〕をカ
テゴリＢに対する類似度Ｔ（Ｂ） 〔ｆ〕より大きくする
ことができる。従つて入力パターンの変形を配慮
したパターン認識により、上記入力パターンが属
するカテゴリを正しく識別することが可能とな
る。

なお、(3)式は｛Ψ₁ ^(A)｝の作成式を示している
が、たとえば、｛Ψ₂ ^(A)、｛Ψ_o ^(A)｝の作成式は次の
ようになる。

Ψ₂ ^(A)＝［ｆ−_M 〓 〓^m=1 ｛（ｆ、φ_n ^(A)）φ_n ^(A)｝−（ｆ、Ψ₁ ^(A)）Ψ₁ ^(A)
］ ／‖［ｆ−_M 〓 〓^m=1 ｛ｆ、φ_n ^(A)）φ_n ^(A)｝−（ｆ、Ψ₁ ^(A)）Ψ₁ ^(A)］
‖ Ψ_o ^(A)＝［ｆ−_M 〓^m=1 ｜｛ｆ、φ_n ^(A)）φ_n ^(A)｝−_M 〓^m=1 ｛（ｆ、Ψ_k ^(A)）Ψ_k ^(A)｝］ ／‖［ｆ−_M 〓^m=1 ｛ｆ、φ_n ^(A)）φ_n ^(A)｝−_M 〓^m=1 ｛（ｆ、Ψ_k ^(A)）Ψ_k ^(A)｝］‖ 第３図はこのようにして付加的標準パターン
｛Ψ₁ ^(A)｝を作成する付加的辞書作成部７の構成例
を示すものである。即ち、指示されたカテゴリｌ
の標準パターン｛φ_n ^(l)｝をレジスタ２１_-1，２１
_-2〜２１_-Mより得、レジスタ２２から与えられる
入力パターンｆとの内積演算を演算器２３_-1，２
３_-2〜２３_-Mにてそれぞれ行い、これを演算器２
４_-1，２４_-2〜２４_-Mにより前記標準パターン
｛φ_n ^(l)｝の各ベクトルに乗算する。そして各標準
パターン毎に上記乗算値の総和を加算器２５_-1，
２５_-2〜２５_-Mにて求め、これを加算器２６_-1，
２６_-2〜２６_-Mにて入力パターンｆの各ベクトル
要素から差引いている。そしてこれらの減算器２
６_-1，２６_-2〜２６_-Mの出力から、ノルム計算回
路２７にてそのノルムを計算し、これを除数とし
て除算器２８_-1，２８_-2〜２８_-Mにて上記減算器
出力をそれぞれ除算することにより、付加的標準
パターン｛Ψ_o ^(l)｝を作成出力する如く構成され
る。このようにして、標準パターン｛φ_n ^(l)｝か
ら、同一のカテゴリｌに対する直交関係を有した
付加的標準パターン｛Ψ_o ^(l)｝が得られる。

さて、付加的標準パターンを次のようにして作
成することも可能である。即ち、誤認識されたカ
テゴリＢに着目し、前述した第(3)式に代えて、 なるベクトルを作成し、これをカテゴリＢに付加
的標準パターンとしてもよい。この付加的標準パ
ターンΨ₁ ^(B)を用いて、前記第(2)式に従い、その
類似度T₁ ^(B)を、N^(B)＝１として計算すれば、係数
b₁ ^(B)を負として得られる上記類似度T₁ ^(B)は前記第
(1)式に比べて b₁ ^(B)（ｆ、Ψ₁ ^(B)）²／‖ｆ‖……(6
) だけ小さくなる。従つて、係数b₁ ^(B)の値を適当に
設定すれば、入力パターンｆのカテゴリＢに対す
る類似度を、カテゴリＡに対する類似度より小さ
くすることができる。従つて、誤認識を招くこと
なく、変形した入力パターンを正しく認識するこ
とが可能となる。

尚、これらのカテゴリＡおよびカテゴリＢに対
する付加的標準パターンの作成と、それを用いた
類似度計算を同時に採用してパターン認識するこ
とも勿論可能である。

ところで、標準パターンから作成される付加的
標準パターンは一種類に限定されるものではな
い。例えば前記第(3)式に示されるパターン変形処
理または第(5)式に示されるパターン変形処理を順
次繰返して実行して複数種類の直交関係にある付
加的標準パターンを作成するようにしてもよい。
即ち、第１の変形パターンf₁に対して第(3)式を適
用して付加的標準パターンΨ₁ ^(A)を作成し、この
パターンΨ₁ ^(A)と標準パターンφ_n ^(A)とを合わせた
ものを新たな標準パターンとし、第２の変形パタ
ーンf₂に対するパターン変形を行うようにすれば
よい。このことは第(1)式および第(2)式に示される
標準パターンが同じ型式であることを利用して行
われるものであり、これによつて複数の変形パタ
ーンに対処し得る同一カテゴリの標準パターンを
得ることが可能となる。

またパターンの変形については、変形パターン
の集合に対してＫ−Ｌ展開を応用することも可能
である。例えばカテゴリＡに属するR^(A)個の変形
されたパターンの各々について前記第(3)式を用い
て付加的標準パターン｛Ψ′_n ^(A)｝を計算する。そ
して、このパターンΨ′_n ^(A)｝を H^(A)＝_M 〓^m=1 ω_r ^(A)＜Ψ′_r ^(A)、Ψ′_r ^(A)＞ ……(7) に代入して特性核と称される行列H^(A)を求める。
但し、第(7)式において｛ω_r ^(A)｝は重みを示し、＜，
＞はダイアド（dyad）を示している。

しかして、 μ_o ^(A)Ψ_o ^(A)＝H^(A)Ψ_o ^(A) ……(8) なる固有値問題を解析し、これによつて得られた
固有ベクトルのうちの大きいものから適当な個数
を選び、これを付加的な辞書とすればよい。この
ようにしてＫ−Ｌ変換を応用して入力パターンの
変形に対処する標準パターンの付加的標準パター
ンを作成していくことも可能である。

以上説明したように本装置によれば、標準パタ
ーンに直交する付加的標準パターンを作成し、こ
れを用いて類似度計算を行うので入力パターンの
変形に十分対処することができる。しかも、辞書
の作成が上述したように容易であり、入力パター
ンの変形に対して柔軟に、且つ精度良く認識する
ことができる。従つて、手書文字や音声に対する
パターン認識を効率良く行い得、その認識率の向
上を図ることが可能である。

尚、本発明は上述した実施例にのみ限定される
ものではない。例えば前記第(5)式やＫ−Ｌ展開に
よつて複数種類の付加的辞書を作成することも勿
論可能である。また付加的辞書の作成を、誤認識
結果により自動的に行わせるようにしてもよい。
即ち、予め定められた順序で規定パターンを入力
し、装置の移動前に付加的辞書を作成してしまう
ようにしてもよい。要するに本発明は、その要旨
を逸脱しない範囲で種々変形して実施することが
できる。

【図面の簡単な説明】

第１図は本発明の一実施例装置の概略構成図、
第２図は実施例装置における類似度計算部の構成
例を示す図、第３図は同実施例装置における付加
的辞書作成部の構成例を示す図、第４図は本発明
で用いる標準パターンと付加的標準パターンとの
立体的位置関係を説明するための図である。 １……入力部、２……前処理部、３……類似度
計算部、４……共通辞書、５……付加的辞書、６
……判定部、７……付加的辞書作成部。

Claims (1)

1. 【特許請求の範囲】 １ カテゴリがそれぞれ既知である複数の標準パ
   ターンを記憶した辞書と、上記各カテゴリの標準
   パターンに対して直交する付加的標準パターンを
   各カテゴリ毎に作成する手段と、作成された付加
   的標準パターンを前記各カテゴリに対応させて記
   憶する付加的辞書と、カテゴリが未知の入力パタ
   ーンと前記辞書から読出された標準パターンとの
   類似度および上記入力パターンと前記付加的辞書
   から読出された付加的標準パターンとの類似度を
   それぞれカテゴリ毎に計算する手段と、同一カテ
   ゴリの標準パターンおよび付加的標準パターンに
   対して計算された類似度の値をそれぞれ加算する
   手段と、この手段で各カテゴリ毎に得られた加算
   値を相互に比較して前記入力パターンが属するカ
   テゴリを識別する手段とを具備してなることを特
   徴とするパターン認識装置。 ２ １つの既知カテゴリの標準パターンに対する
   付加的標準パターンは、複数個作成され、これら
   付加的標準パターンは互いに直交関係にあり、か
   つ上記標準パターンに対しても直交関係にあるこ
   とを特徴とする特許請求の範囲第１項記載のパタ
   ーン認識装置。 ３ 前記類似度の計算は、入力パターンと標準パ
   ターンあるいは付加的標準パターンとの内積演算
   された内積値の組みから計算されるものであるこ
   とを特徴とする特許請求の範囲第１項記載のパタ
   ーン認識装置。