JP3578166B2 - Simple hierarchical pattern classification device and simplified hierarchical pattern classification device with priority - Google Patents

Description

【０００７】
ここで、ａ（−１＜ａ＜１）は親パターンの偏りである。ここで、ｘの平均をＥ［ｘ］で表すことにすると、親パターンの偏りはａ＝Ｅ［Ｓｕｉ］で定義される。また、δ［ｘ］はｘ＝０のとき値１をとり、それ以外の場合は値０をとる。
【０００８】
次に、各親パターンＳｕに対し、Ｐ２個の学習パターンＳｕｖ（ｖ＝１〜Ｐ２）を生成する。学習パターンＳｕｖの各要素Ｓｕｖｉ（ｉ＝１〜Ｄ）は以下の確率Ｐｒ２（Ｓｕｖｉ）で±１の値をとる。
【０００９】
【数２】

【００１０】
ここで、ｂ（０＜ｂ＜１）は親パターンと学習パターンとの間の相関の強さを示す相関パラメータである。
【００１１】
この様にして生成された学習パターンを用いて、従来の階層型概念継承連想記憶装置について、学習モードにおける動作を説明する。
【００１２】
学習モードでは、概念形成連想記憶装置６１は、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）を受け、その内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）を
【００１３】
【数３】

【００１４】
のように更新する。ここで、ｄ１（Ｗｉｊ）は定数でも概念形成連想記憶重みＷｉｊの関数でもよく、０から１までの値をとるものとする。例えば、ｄ１（Ｗｉｊ）は
【００１５】
【数４】

【００１６】
と書くことができる。ｄ２（Ｗｉｊ）も同様に定数でも概念形成連想記憶重みＷｉｊの関数でもよく、例えば、
【００１７】
【数５】

【００１８】
と書くことができる。これらの更新式に従ってＰ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）を学習させる。この学習により、学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）が親パターンＳｕ（ｕ＝１〜Ｐ１）と相関を持って作られた構造を持つパターンである場合、その親パターンＳｕ（ｕ＝１〜Ｐ１）にほぼ等しいパターンＳ’ｕ（ｕ＝１〜Ｐ１）が概念形成連想記憶部６１に記憶される。以降、概念形成連想記憶部６１に記憶されているパターンＳ’ｕ（ｕ＝１〜Ｐ１）を概念と呼ぶことにする。このことから、概念Ｓ’ｕ（ｕ＝１〜Ｐ１）に近い学習パターンＳｕｖ（ｖ＝１〜Ｐ２）が外部入力信号Ｓとして概念形成連想記憶部６１に入力された場合、概念形成連想記憶部６１は概念形成連想記憶信号Ｘ（ｔ）を更新しつづけ、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する。このとき、安定概念連想記憶信号Ｘはある概念Ｓ’ｕとなる。簡単のため、以降は親パターンＳｕと概念Ｓ’ｕは等しい（Ｓｕｉ＝Ｓ’ｕｉ ，ｕ＝１〜Ｐ１，ｉ＝１〜Ｄ）として、概念をＳｕ（ｕ＝１〜Ｐ１）で表すことにする。
【００１９】
つぎに、概念継承連想記憶部６２は、学習パターンＳｕｖとその学習パターンＳｕｖを概念形成連想記憶部６１に入力したときの安定概念連想記憶信号Ｘである概念Ｓｕとを受けて、その内部に保持される概念継承連想記憶重みＷ１ｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）を
【００２０】
【数６】

【００２１】
のように更新する。この概念継承連想記憶重みＷ１ｉｊの更新式から、概念継承連想記憶部６２はＳ’ｕｖｉ（＝ＳｕｖｉＳｕｉ， ｉ＝１〜Ｄ）を要素に持った継承パターンＳ’ｕｖを記憶していることがわかる。概念Ｓｕと学習パターンＳｕｖとの相関は非常に強いため、継承パターンＳ’ｕｖの多くの要素が１をとることになり、継承パターンＳ’ｕｖはスパースなパターンとなる。
【００２２】
このように設定された重みを持つ階層型概念継承連想記憶装置の想起モードにおける動作を以下に示す。
【００２３】
想起モード時には外部入力信号Ｓが概念形成連想記憶部６１に入力される。この入力をトリガーとし、概念形成連想記憶部６１ではその内部に保持する概念形成連想記憶重みＷｉｊに従って概念形成連想記憶信号Ｘ（ｔ）を以下の式に従って更新する。
【００２４】
【数７】

【００２５】
【数８】

【００２６】
【数９】

【００２７】
【数１０】

【００２８】
ここで、Ｘｉ（ｔ）は時刻ｔにおける概念形成連想記憶信号Ｘ（ｔ）のｉ番目の要素を示し、Ｕｉ（ｔ）は時刻ｔにおける概念形成ポテンシャル信号Ｕ（ｔ）のｉ番目の要素を示す。ここで、概念形成連想記憶信号Ｘ（ｔ）が安定化したとき（Ｘ（ｔ−１）＝Ｘ（ｔ））、概念形成連想記憶部６１は安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する。この安定概念形成連想記憶信号Ｘは外部入力信号Ｓに最も類似した概念Ｓｕとなる。
【００２９】
概念形成連想記憶部６１が安定化すると、安定概念形成連想記憶信号Ｘと外部入力信号Ｓとが概念継承連想記憶部６２に入力される。ここで、安定概念形成連想記憶信号Ｘが概念Ｓｕとなったことを仮定する。これらの入力をトリガーとし、概念継承連想記憶部６２ではその内部に保持する概念継承連想記憶重みＷ１ｉｊに従って、概念継承連想記憶信号Ｘ１（ｔ）を以下の式に従って更新する。
【００３０】
【数１１】

【００３１】
【数１２】

【００３２】
【数１３】

【００３３】
ここで、Ｕ１ｉ（ｔ）は時刻ｔにおける概念継承ポテンシャル信号Ｕ１（ｔ）のｉ番目の要素を示す。この動作により概念継承連想記憶信号Ｘ１（ｔ）が安定化したとき、概念継承連想記憶部６２は安定概念継承連想記憶信号Ｘ１（＝Ｘ１（ｔ−１）＝Ｘ１（ｔ））を出力する。すなわち、外部入力信号Ｓに類似した学習パターンＳｕｖに対応する継承パターンＳ’ｕｖが概念継承連想記憶部６２に想起されることになる。
【００３４】
このように、概念継承連想記憶部６２はスパースなパターンである継承パターンＳ’ｕｖを記憶している。記憶するパターンがスパースである場合、記憶容量が飛躍的に増大することが知られており、よって、概念継承連想記憶部６２は非常に大きな記憶容量を持っていることになる。
【００３５】
概念形成連想記憶部６１が安定概念形成連想記憶信号Ｘを出力し、概念継承連想記憶部６２が安定概念継承連想記憶信号Ｘ１すると、出力信号生成部６３は以下の式に基づいて、出力信号Ｒを計算する。
【００３６】
【数１４】

【００３７】
ここで、Ｒｉは出力信号Ｒのｉ番目の要素を示す。このように、出力信号生成部６３は外部入力信号Ｓに類似した学習パターンＳｕｖを想起することができる。
【００３８】
【発明が解決しようとする課題】
しかしながら、上記従来の階層型概念継承連想記憶装置では、継承パターンが概念継承連想記憶部６２に一様に重ね合わされた形で記憶されるため、記憶事項間の関係、すなわち、階層構造を取り出すことができず、入力パターンがどのカテゴリーに属するのかといったパターンの分類に関する情報を得ることができないため、ユーザーに記憶事項間の関係を提供することができないという課題と、系統的かつ効率的で目的に応じた検索をするための充分な機能を持っていないという課題を有していた。
【００３９】
本発明は上記従来の課題を解決するもので、与えられた記憶すべき記憶事項間相互の類似性に基づきそれらの間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に目的に応じて記憶事項を検索することができる階層型パターン分類装置と簡略階層型パターン分類装置と優先順位付き簡略階層型パターン分類装置を提供することを目的とする。
【００４０】
【課題を解決するための手段】
この目的を達成するために本発明の階層型パターン分類装置は、外部入力信号を受けて安定概念形成連想記憶信号を出力する概念形成連想記憶部と、安定概念形成連想記憶信号を分類するカテゴリー検出部と、カテゴリー検出部からの出力信号を受けることにより動作可能となり、外部入力信号と安定概念形成連想記憶信号とを受けて安定概念継承連想記憶信号を出力する複数の概念継承連想記憶部と、安定概念継承連想記憶信号を分類する複数のサブカテゴリー検出部と、安定概念形成連想記憶信号と安定概念継承連想記憶信号を受けて出力信号を生成する出力信号生成部とからなる構成を有している。
【００４１】
この構成によって、本発明の階層型パターン分類装置は、同じカテゴリーに属す継承パターン（実施の形態１参照）は同じ概念継承連想記憶部に記憶されるため、記憶事項間の関係を明示的に取り出すことができ、入力パターンがどのカテゴリーに属するのかといったパターンの分類に関する情報を得ることができる。すなわち、与えられた記憶すべき事項（学習パターン）間相互の類似性に基づき、それらの事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ柔軟に記憶事項を検索することができる。さらに、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。
【００４２】
【発明の実施の形態】
（実施の形態１）
以下、第１の実施の形態（階層型パターン分類装置）について図面を参照しながら説明する。
【００４３】
図１において、１１はその内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ，Ｄは次元）によって動作が規定され、外部入力信号Ｓをトリガーとして概念形成連想記憶信号Ｘ（ｔ）を更新し、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する概念形成連想記憶部であり、１２は概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘとその内部に保持されるカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）との重みづけ総和を活性値として持つＮ個のセルｉ（ｉ＝１〜Ｎ）から構成され、少なくとも一つ以上のセルが１を出力するカテゴリー検出部であり、１３ｉ（ｉ＝１〜Ｎ）はカテゴリー検出部１２のセルｉが１を出力している場合のみ動作可能となり、その内部に保持される概念継承連想記憶重みＷｉｊｋ（ｊ＝１〜Ｄ，ｋ＝１〜Ｄ）によって動作が規定され、外部入力信号Ｓと概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘをトリガーとして概念継承連想記憶信号Ｘｉ（ｔ）を更新し、Ｘｉ（ｔ−１）とＸｉ（ｔ）が等しくなったとき安定概念継承連想記憶信号Ｘｉ（＝Ｘｉ（ｔ−１）＝Ｘｉ（ｔ））を出力する概念継承連想記憶部であり、１４ｉ（ｉ＝１〜Ｎ）は概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉとその内部に保持されるサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）との重みづけ総和を活性値として持つＮｉ個のセルｉ（ｉ＝１〜Ｎｉ）から構成され、少なくとも１つ以上のセルが１を出力するサブカテゴリー検出部であり、１５は概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘと概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉを受けて出力信号Ｒを生成する出力信号生成部である。
【００４４】
なお、本実施の形態では簡単のため階層型パターン分類装置の階層数を２として説明しているが、この制限は本質的な問題ではなく、３以上の階層数を持つ階層型パターン分類装置にも容易に拡張することができる。また、外部入力信号Ｓの次元の数をＤとし、外部入力信号Ｓの各要素Ｓｉ（ｉ＝１〜Ｄ）の値は±１とする。
【００４５】
まず、学習を行うためのＰ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１、ｖ＝１〜Ｐ２）の生成方法について述べる。学習パターンＳｕｖ（ｕ＝１〜Ｐ１、ｖ＝１〜Ｐ２）の生成に先立ち、Ｐ１個の親パターンＳｕ（ｕ＝１〜Ｐ１）を生成する。親パターンＳｕ（ｕ＝１〜Ｐ１）の各要素Ｓｕｉ（ｉ＝１〜Ｄ）は以下の確率Ｐｒ１（Ｓｕｉ）で±１の値をとる。
【００４６】
【数１５】

【００４７】
ここで、ａ（−１＜ａ＜１）は親パターンの偏りであり、Ｅ［Ｓｕｉ］＝ａ（Ｅは平均値）で定義される。また、δ［ｘ］はｘ＝０のとき値１をとり、それ以外の場合は値０をとる。
【００４８】
次に、各親パターンＳｕに対し、Ｐ２個の学習パターンＳｕｖ（ｖ＝１〜Ｐ２）を生成する。学習パターンＳｕｖの各要素Ｓｕｖｉ（ｉ＝１〜Ｄ）は以下の確率Ｐｒ２（Ｓｕｖｉ）で±１の値をとる。
【００４９】
【数１６】

【００５０】
ここで、ｂ（０＜ｂ＜１）は親パターンと学習パターンとの間の相関パラメータである。
【００５１】
この様にして生成された学習パターンを用いて、図１の階層型パターン分類装置について、学習モードにおける動作を説明する。
【００５２】
学習モードでは、概念形成連想記憶装置１１は、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）を受け、その内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）を
【００５３】
【数１７】

【００５４】
のように更新する。ここで、ｄ１（Ｗｉｊ）は定数でも概念形成連想記憶重みＷｉｊの関数でもよく、０から１までの値をとるものとする。例えば、ｄ１（Ｗｉｊ）は
【００５５】
【数１８】

【００５６】
と書くことができる。ｄ２（Ｗｉｊ）も同様に定数でも概念形成連想記憶重みＷｉｊの関数でもよく、例えば、
【００５７】
【数１９】

【００５８】
と書くことができる。これらの更新式に従ってＰ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）を学習させる。この学習により、学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）が親パターンＳｕ（ｕ＝１〜Ｐ１）と相関を持って作られた構造を持つパターンである場合、その親パターンＳｕ（ｕ＝１〜Ｐ１）にほぼ等しいパターンＳ’ｕ（ｕ＝１〜Ｐ１）が概念形成連想記憶部１１に記憶される。以降、概念形成連想記憶部１１に記憶されているパターンＳ’ｕ（ｕ＝１〜Ｐ１）を概念と呼ぶことにする。これにより、概念Ｓ’ｕ（ｕ＝１〜Ｐ１）に近い学習パターンＳｕｖが外部入力信号Ｓとして概念形成連想記憶部１１に入力された場合、概念形成連想記憶部１１は概念形成連想記憶信号Ｘ（ｔ）を更新しつづけ、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する。このときの安定概念連想記憶信号Ｘは概念Ｓ’ｕとなる。簡単のため、以降は親パターンＳｕと概念Ｓ’ｕは等しい（Ｓｕｉ＝Ｓ’ｕｉ ，ｕ＝１〜Ｐ１，ｉ＝１〜Ｄ）として、概念をＳｕ（ｕ＝１〜Ｐ１）で表すことにする。
【００５９】
概念形成連想記憶部１１の学習が終わると、カテゴリー検出部１２の学習が始まる。
【００６０】
まず、カテゴリー検出部１２のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）は充分小さな乱数に初期設定される。また、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の平均パターンに充分小さな乱数を加えることでカテゴリー検出部１２のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）を初期設定することにより、学習速度および学習結果の向上が実現できる。つぎに、学習パターンＳｕｖが概念形成連想記憶部１１に入力され、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕを出力する。カテゴリー検出部１２はこの概念Ｓｕを学習することになる。この場合、カテゴリー検出部１２では重みづけ総和が計算され、カテゴリー検出部１２のセルｉの活性値ｕｉは
【００６１】
【数２０】

【００６２】
となる。ここで、ｈｉはカテゴリー検出部１２のセルｉの可変の閾値である。この活性値に基づいて、カテゴリー検出部１２のセルｉの出力値ｏｉは
【００６３】
【数２１】

【００６４】
となる。ここで、ｃ（０＜ｃ≦１）は定数である。このことから、カテゴリー検出部１２では最大活性値をもつセルおよび最大活性値と同等の活性値を持つセルが１を出力することがわかる。セルの出力値が決まると、カテゴリー検出部１２のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）は以下の重み更新式に従って更新される。
【００６５】
【数２２】

【００６６】
ここで、Ａは充分小さな正の実数とする。このことから、カテゴリー検出部１２では１を出力したセルに結合する重みのみが更新されることがわかる。また、カテゴリー検出部１２のセルの閾値は以下の式に基づいて更新される。
【００６７】
【数２３】

【００６８】
ここで、Ａ１は１以下の充分小さな正の実数とする。この様な学習を、全ての学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して充分繰り返し行うことで、カテゴリー検出部１２の学習が終了する。
【００６９】
カテゴリー検出部１２の学習が終了すると、概念継承連想記憶部１３ｉ（ｉ＝１〜Ｎ）の学習が行われる。
【００７０】
学習パターンＳｕｖを学習することを考える。まず、学習パターンＳｕｖが概念形成連想記憶部１１に入力され、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕを出力する。カテゴリー検出部１２はこの概念Ｓｕを学習しており、カテゴリー検出部１２のセルｉが１を出力したものと仮定する。このとき、カテゴリー検出部１２のセルｉに結合する概念継承連想記憶部１３ｉが動作可能の状態となる。この場合、概念継承連想記憶部１３ｉは、学習パターンＳｕｖとその学習パターンＳｕｖを概念形成連想記憶部１１に入力したときの安定概念連想記憶信号Ｘである概念Ｓｕとを受けて、その内部に保持される概念継承連想記憶重みＷｉｊｋ（ｊ＝１〜Ｄ，ｋ＝１〜Ｄ）を
【００７１】
【数２４】

【００７２】
のように更新する。この概念継承連想記憶重みＷｉｊｋの更新式から、概念継承連想記憶部１３ｉはＳ’ｕｖｊ（＝ＳｕｖｊＳｕｊ， ｊ＝１〜Ｄ）を要素に持った継承パターンＳ’ｕｖを記憶していることがわかる。概念Ｓｕｊと学習パターンＳｕｖｊとの相関は非常に強いため、継承パターンＳ’ｕｖの多くの要素が１をとることになり、継承パターンＳ’ｕｖはスパースなパターンとなる。この様な学習を、全ての学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して行うことで、概念継承連想記憶部１３ｉの学習が終了する。
【００７３】
このように、学習パターンＳｕｖに類似した外部入力信号Ｓが階層型パターン分類装置に入力された場合、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘとして概念Ｓｕを出力し、概念継承連想記憶部１３ｉは安定概念継承連想記憶信号Ｘｉとして継承パターンＳ’ｕｖを出力する。
【００７４】
次に、サブカテゴリー検出部１４ｉの学習について説明する。この学習は概念継承連想記憶部１３ｉの学習と同時に進行させることができるが、以下では概念継承連想記憶部１３ｉの学習が終了したものとして説明する。
【００７５】
まず、サブカテゴリー検出部１４ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）は充分小さな乱数に初期設定される。ここで、学習パターンＳｕｖを学習することについて考える。まず、学習パターンＳｕｖが概念形成連想記憶部１１に入力され、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕを出力する。カテゴリー検出部１２はこの概念Ｓｕを学習しており、カテゴリー検出部１２のセルｉが１を出力したものと仮定する。このとき、カテゴリー検出部１２のセルｉに結合する概念継承連想記憶部１３ｉが動作可能の状態となり、概念継承連想記憶部１３ｉは安定概念継承連想記憶信号Ｘｉとして継承パターンＳ’ｕｖを出力する。サブカテゴリー検出部１４ｉはこの継承パターンＳ’ｕｖを学習することになる。この場合、サブカテゴリー検出部１４ｉでは重みづけ総和が計算され、サブカテゴリー検出部１４ｉのセルｊの活性値ｕｉｊは
【００７６】
【数２５】

【００７７】
となる。ここで、ｈｉｊはサブカテゴリー検出部１４ｉのセルｊの可変の閾値である。この活性値に基づいて、サブカテゴリー検出部１４ｉのセルｊの出力値ｏｉｊは
【００７８】
【数２６】

【００７９】
となる。ここで、ｃｉ（０＜ｃｉ≦１）は定数である。このことから、サブカテゴリー検出部１４ｉでは最大活性値のｃｉ倍以上の活性値をもつセルが１を出力することがわかる。セルの出力値が決まると、サブカテゴリー検出部１４ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）は以下の重み更新式に従って更新される。
【００８０】
【数２７】

【００８１】
ここで、Ａｉは充分小さな正の定数とする。このことから、サブカテゴリー検出部１４ｉでは１を出力したセルに結合する重みのみが更新されることがわかる。また、サブカテゴリー検出部１４ｉのセルの閾値は以下の式に基づいて更新される。
【００８２】
【数２８】

【００８３】
ここで、Ａ２ｉは１以下の充分小さな正の実数とする。この様な学習を全ての学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して充分繰り返し行うことで、サブカテゴリー検出部１４ｉの学習が終了する。
【００８４】
このように設定された重みを持つ階層型パターン分類装置の想起モードにおける動作を以下に示す。
【００８５】
想起モード時には外部入力信号Ｓが概念形成連想記憶部１１に入力される。この入力をトリガーとし、概念形成連想記憶部１１ではその内部に保持する概念形成連想記憶重みＷｉｊに従って概念形成連想記憶信号Ｘ（ｔ）を以下の式に従って更新する。
【００８６】
【数２９】

【００８７】
【数３０】

【００８８】
【数３１】

【００８９】
【数３２】

【００９０】
ここで、Ｘｉ（ｔ）は時刻ｔにおける概念形成連想記憶信号Ｘ（ｔ）のｉ番目の要素を示し、Ｕｉ（ｔ）は時刻ｔにおける概念形成ポテンシャル信号Ｕ（ｔ）のｉ番目の要素を示す。ここで、概念形成連想記憶信号Ｘ（ｔ）が安定化したとき、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する。この安定概念形成連想記憶信号Ｘは外部入力信号Ｓに最も類似した概念Ｓｕ（ｕ＝１〜Ｐ１）となることが期待できる。以降、外部入力信号Ｓが概念形成連想記憶部１１に入力されたときの安定概念形成連想記憶信号Ｘが概念Ｓｕとなることを仮定する。
【００９１】
次に、概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕがカテゴリー検出部１２に入力され、（数２０）および（数２１）からカテゴリー検出部１２のセルの出力値が計算される。ここで、カテゴリー検出部１２のセルｉが１を出力したと仮定する。
【００９２】
このとき、カテゴリー検出部１２のセルｉに結合する概念継承連想記憶部１３ｉが動作可能の状態となり、外部入力信号Ｓと概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕが概念継承連想記憶部１３ｉに入力される。これらの入力をトリガーとし、概念継承連想記憶部１３ｉではその内部に保持する概念継承連想記憶重みＷｉｊｋに従って、概念継承連想記憶信号Ｘｉ（ｔ）を以下の式に従って更新する。
【００９３】
【数３３】

【００９４】
【数３４】

【００９５】
【数３５】

【００９６】
ここで、Ｕｉｊ（ｔ）は時刻ｔにおける概念継承ポテンシャル信号Ｕｉｊ（ｔ）のｊ番目の要素を示す。この動作により概念継承連想記憶信号Ｘｉ（ｔ）が安定化したとき、概念継承連想記憶部１３ｉは安定概念継承連想記憶信号Ｘｉ（＝Ｘｉ（ｔ−１）＝Ｘｉ（ｔ））を出力する。すなわち、外部入力信号Ｓに類似した学習パターンＳｕｖに対応する継承パターンＳ’ｕｖが概念継承連想記憶部１３ｉに想起されることになる。
【００９７】
このように、概念継承連想記憶部１３ｉはスパースなパターンである継承パターンＳ’ｕｖを記憶している。記憶するパターンがスパースである場合、記憶容量が飛躍的に増大することが知られており、よって、概念継承連想記憶部１３ｉは非常に大きな記憶容量を持っていることになる。
【００９８】
次に、概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉ、すなわち、概念Ｓ’ｕｖがサブカテゴリー検出部１４ｉに入力され、（数２５）および（数２６）からサブカテゴリー検出部１４ｉのセルの出力値が計算され、サブカテゴリー検出部１４ｉの１つのセルが１を出力する。
【００９９】
このことから、外部入力信号Ｓがカテゴリー検出部１２、すなわち、第１階層レベルでどのカテゴリーに属し、また、サブカテゴリー検出部１３ｉ、すなわち、第２階層レベルでどのサブカテゴリーに属するのかを判断することができる。
【０１００】
また、出力信号生成部１５は概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕと、概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉ、すなわち、継承パターンＳ’ｕｖを受けることにより、出力信号Ｒを以下の式に基づいて計算する。
【０１０１】
【数３６】

【０１０２】
ここで、Ｒｉは出力信号Ｒのｉ番目の要素を示す。このように、出力信号生成部１５では、外部入力信号Ｓに最も類似した学習パターンＳｕｖが生成される。
【０１０３】
また、カテゴリー検出部１２の機能を拡張することにより学習や検索の高速化およびメモリーの削減が実現できる。例えば、カテゴリー検出部１２の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉの要素数が０である場合、カテゴリー検出部１２のセルｉに関係する概念継承連想記憶部１３ｉおよびサブカテゴリー検出部１４ｉを削除することによって実現される。
【０１０４】
さらに、Ｄ次元の学習パターンＳｕｖがＴ個の部分学習パターンＳｕｖｊ（ｊ＝１〜Ｔ）（部分学習パターンＳｕｖｊの次元をＤｊとする。）に分割できる場合、カテゴリー検出部１２の機能を拡張することにより、概念継承連想記憶部１３ｉが記憶する継承パターンＳ’ｕｖの次元を削減することができる。例えば、カテゴリー検出部１２の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉに含まれる全ての学習パターンのある部分学習パターンが学習パターンサブ集合ｉに含まれる全ての学習パターンと等しい場合、その部分学習パターンを各学習パターンから削除し（すなわち、その部分学習パターンに対応する部分継承パターンを削除する）、カテゴリー検出部１２以降の概念継承連想記憶部１３ｉおよびサブカテゴリー検出部１４ｉに学習させることにより継承パターンの次元削減が実現できる。
【０１０５】
同様にサブカテゴリー検出部１４ｉの機能を上述したように拡張すれば、さらに、継承パターンの次元削減が可能となる。
【０１０６】
なお、本実施の形態では簡単のため階層型パターン分類装置の階層数を２として説明したが、この制限は本質的な問題ではなく、３以上の階層数を持つ階層型パターン分類装置にも容易に拡張することができる。階層数が３の場合の階層型パターン分類装置の略図（出力生成部を除く）を図２に示す。図２において、２１は概念形成連想記憶部１１とカテゴリー検出部１２とをひとまとめにしたモジュールＡであり、２２ｉ（ｉ＝１〜Ｎ）は継承パターン用概念形成連想記憶部（その動作は概念形成連想記憶部１１と同じであり、概念形成連想記憶部１１は学習パターンそのものを学習するのに対し、継承パターン用概念形成連想記憶部は学習パターンの継承パターンを学習する）とカテゴリー検出部（その動作はカテゴリー検出部１２と同じであり、継承パターン用概念形成連想記憶部の出力する安定パターンを学習する）とをひとまとめにしたモジュールＢであり、２３ｉｊ（ｊ＝１〜Ｎｉ）は概念継承連想記憶部１２ｉとサブカテゴリー検出部１２ｉとをひとまとめにしたモジュールＣである。図２では簡単のため、モジュールＡ２１からモジュールＢ２２ｉへの入力線を１本としているが、実際にはモジュールＡ２１内部の概念形成連想記憶部が出力する安定概念形成連想記憶信号とカテゴリー検出部のセルからの出力信号の２種類の信号がモジュールＢ２２ｉに入ることになる。同様に、モジュールＢ２２ｉからモジュールＣ２３ｉｊへの入力線を１本としているが、実際にはモジュールＢ２２ｉ内部の継承パターン用概念形成連想記憶部が出力する安定概念形成連想記憶信号とカテゴリー検出部のセルからの出力信号の２種類の信号がモジュールＣ２３ｉｊに入ることになる。このように３以上の階層数を持つ階層型パターン分類装置に容易に拡張することができる。
【０１０７】
以上のように本実施の形態によれば、同じカテゴリーに属す継承パターン（実施の形態１参照）は同じ概念継承記憶部に記憶されるため、記憶事項間の関係を明示的に取り出すことができ、入力パターンがどのカテゴリーに属するのかといったパターンの分類に関する情報を得ることができる。すなわち、与えられた記憶すべき事項（学習パターン）間相互の類似性に基づき、それらの事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に記憶事項を検索することができる。さらに、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。
【０１０８】
（実施の形態２）
以下、本発明の第２の実施の形態（簡略階層型パターン分類装置）について図面を参照しながら説明する。
【０１０９】
図３において、３１は外部入力信号Ｓ（各要素をＳｉ（ｉ＝１〜Ｄ）で表す）とその内部に保持されるカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）との重みづけ総和を活性値として持つＮ個のセルｉ（ｉ＝１〜Ｎ）から構成され、少なくとも１つ以上のセルが１を出力するカテゴリー検出部であり、３１ｉ（ｉ＝１〜Ｎ）はカテゴリー検出部３１のセルｉが１を出力している場合のみ動作可能となり、外部入力信号Ｓとその内部に保持されるサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）との重みづけ総和を活性値として持つＮｉ個のセルから構成され、少なくとも１つ以上のセルが１を出力するサブカテゴリー検出部であり、３２はカテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）に充分小さな乱数を与えることにより初期化し、また、学習後のカテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）を考慮してサブカテゴリー検出部３１ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）を初期設定する初期重み設定部であり、３３はサブカテゴリー検出部３１ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）を受けて出力信号Ｒを生成する出力信号生成部である。
【０１１０】
なお、本実施の形態では簡単のため簡略階層型パターン分類装置の階層数を２として説明しているが、この制限は本質的な問題ではなく、３以上の階層数を持つ簡略階層型パターン分類装置にも容易に拡張することができる（後述）。
【０１１１】
以上のように構成された２階層の簡略階層型パターン分類装置について、学習における動作を説明する。学習モードでは、カテゴリー検出部３１の学習から始まることになる。
【０１１２】
まず、カテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）は初期重み設定部３２によって充分小さな乱数に初期設定される。また、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の平均パターンに充分小さな乱数を加えることでカテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）を初期設定することにより、学習速度および学習結果の向上が実現できる。つぎに、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）がカテゴリー検出部３１に順に入力され、逐次的に学習が行われる。学習パターンＳｕｖがカテゴリー検出部３１に入力された場合を考える。この場合、カテゴリー検出部３１では重みづけ総和が計算され、カテゴリー検出部３１のセルｉの活性値ｕｉは
【０１１３】
【数３７】

【０１１４】
となる。ここで、ｈｉはカテゴリー検出部３１のセルｉの可変の閾値である。この活性値に基づいて、カテゴリー検出部３１のセルｉの出力値ｏｉは
【０１１５】
【数３８】

【０１１６】
となる。ｃは１以下の正の定数とする。このことから、カテゴリー検出部３１では最大活性値をもつセルおよびそれと同等の活性値を持つセルが１を出力することがわかる。セルの出力値が決まると、カテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）は以下の重み更新式に従って更新される。
【０１１７】
【数３９】

【０１１８】
ここで、Ａは充分小さな正の実数とする。このことから、カテゴリー検出部３１では１を出力したセルに結合する重みのみが更新されることがわかる。また、カテゴリー検出部３１のセルの閾値は以下の式に基づいて更新される。
【０１１９】
【数４０】

【０１２０】
ここで、Ａ１は１以下の充分小さな正の実数とする。この様な学習を、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して、充分繰り返し行うことで、カテゴリー検出部３１の学習が終了する。
【０１２１】
カテゴリー検出部３１の学習が終了すると、サブカテゴリー検出部３１ｉ（ｉ＝１〜Ｎ）の学習が行われる。
【０１２２】
まず、サブカテゴリー検出部３１ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）は初期重み設定部３２によって以下のように初期設定される。
【０１２３】
【数４１】

【０１２４】
ここで、αは充分小さな乱数である。これにより、サブカテゴリー検出部３１ｉの持つサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）はカテゴリー検出部３１の持つカテゴリー検出重みＣｉｊ（ｊ＝１〜Ｄ）を中心として分布することになる。
【０１２５】
サブカテゴリー検出部３１ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）の初期設定が終わると、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の学習が行われる。ここで、学習パターンＳｕｖの学習について考える。この場合、まず、学習パターンＳｕｖはカテゴリー検出部３１に入力される。カテゴリー検出部３１では（数３７）および（数３８）に基づいて、セルの出力値を計算する。ここで、学習パターンＳｕｖがカテゴリー検出部３１に入力されたとき、１を出力したセルをセルｉとする。これにより、サブカテゴリー検出部３１ｉが動作可能となり、サブカテゴリー検出部３１ｉが学習パターンＳｕｖを学習する。この場合、サブカテゴリー検出部３１ｉでは重みづけ総和が計算され、サブカテゴリー検出部３１ｉのセルｊの活性値ｕｉｊは
【０１２６】
【数４２】

【０１２７】
となる。ここで、ｈｉｊはサブカテゴリー検出部３１ｉのセルｊの可変の閾値である。この活性値に基づいて、サブカテゴリー検出部３１ｉのセルｊの出力値ｏｉｊは
【０１２８】
【数４３】

【０１２９】
となる。ｃｉは１以下の正の定数とする。このことから、サブカテゴリー検出部３１ｉでは最大活性値のｃｉ倍以上の活性値をもつセルが１を出力することがわかる。セルの出力値が決まると、サブカテゴリー検出部３１ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）は以下の重み更新式に従って更新される。
【０１３０】
【数４４】

【０１３１】
ここで、Ａｉは充分小さな正の定数とする。このことから、サブカテゴリー検出部３１ｉでは１を出力したセルに結合する重みのみが更新されることがわかる。また、サブカテゴリー検出部３１ｉのセルの閾値は以下の式に基づいて更新される。
【０１３２】
【数４５】

【０１３３】
ここで、Ａ２ｉは１以下の充分小さな正の実数とする。この様な学習を、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して、充分繰り返し行うことで、サブカテゴリー検出部３１ｉの学習が終了する。
【０１３４】
このように設定された重みを持つ簡略階層型パターン分類装置の想起モードにおける動作を以下に示す。
【０１３５】
想起モード時には外部入力信号Ｓがカテゴリー検出部３１に入力され、（数３７）および（数３８）からカテゴリー検出部３１のセルの出力値が計算される。ここで、カテゴリー検出部３１のセルｉが１を出力したと仮定する。
【０１３６】
この場合、サブカテゴリー検出部３１ｉが動作可能となり、外部入力信号Ｓがサブカテゴリー検出部３１ｉに入力される。サブカテゴリー検出部３１ｉでは、（数４２）および（数４３）からサブカテゴリー検出部３１ｉのセルの出力値が計算され、サブカテゴリー検出部３１ｉの１つのセルが１を出力する。
【０１３７】
このことから、外部入力信号Ｓがカテゴリー検出部３１、すなわち、第１階層レベルでどのカテゴリーに属し、また、サブカテゴリー検出部３１ｉ、すなわち、第２階層レベルでどのサブカテゴリーに属するのかを判断することができる。
【０１３８】
また、外部入力信号Ｓが入力されたときに、サブカテゴリー検出部３１ｉのセルｊが１を出力したとすると、出力信号生成部３３は出力信号Ｒ
【０１３９】
【数４６】

【０１４０】
を出力する。この様に、簡略階層型パターン分類装置は外部入力信号Ｓに類似した学習パターンＳｕｖを想起することもできる。
【０１４１】
また、カテゴリー検出部３１の機能を拡張することにより学習や検索の高速化およびメモリーの削減が実現できる。例えば、カテゴリー検出部３１の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉの要素数が０である場合、カテゴリー検出部３１のセルｉに関係するサブカテゴリー検出部３１ｉを削除することによって実現される。
【０１４２】
さらに、Ｄ次元の学習パターンＳｕｖがＴ個の部分学習パターンＳｕｖｊ（ｊ＝１〜Ｔ）（部分学習パターンＳｕｖｊの次元をＤｊとする。）に分割できる場合、カテゴリー検出部３１の機能を拡張することにより、学習パターンＳｕｖの次元を削減することができる。例えば、カテゴリー検出部３１の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉに含まれる全ての学習パターンのある部分学習パターンが学習パターンサブ集合ｉに含まれる全ての学習パターンと等しい場合、その部分学習パターンを各学習パターンから削除し、その部分学習パターンをカテゴリー検出部３１以降のサブカテゴリー検出部３１ｉに学習させることにより学習パターンの次元削減が実現できる。
【０１４３】
同様にサブカテゴリー検出部１２ｉの機能を上述したように拡張すれば、さらに、学習パターンの次元削減が可能となる。
【０１４４】
なお、本実施の形態では簡単のため簡略階層型パターン分類装置の階層数を２として説明したが、この制限は本質的な問題ではなく、３以上の階層数を持つ簡略階層型パターン分類装置にも容易に拡張することができる。階層数が３の場合の簡略階層型パターン分類装置の略図（出力生成部と初期重み設定部を除く）を図４に示す。図４において、４１はカテゴリー検出部３１と同じであり、４１ｉ（ｉ＝１〜Ｎ）はサブカテゴリー検出部３１ｉと同じであり、４１ｉｊ（ｊ＝１〜Ｎｉ）はサブカテゴリー検出部３１ｉと同じ機能を持つサブ２カテゴリー検出部である。このように３以上の階層数を持つ簡略階層型パターン分類装置に容易に拡張することができる。
【０１４５】
以上のように本実施の形態によれば、与えられた記憶事項（学習パターン）間相互の類似性に基づきそれらの記憶事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に目的に応じて記憶事項を検索することができる。また、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。さらに、実施の形態１の階層型パターン分類装置よりも、階層構造の生成及び学習パターンの検索を高速に実現することができ、さらに少ないメモリーでインプリメントできる。
【０１４６】
（実施の形態３）
以下、本発明の第３の実施の形態（優先順位付き簡略階層型パターン分類装置）について図面を参照しながら説明する。
【０１４７】
図５において、５１はカテゴリー検出部用優先順位信号ｐｉ（ｉ＝１〜Ｔ）及びサブカテゴリー検出部用優先順位信号ｐｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ）を制御する優先順位制御部であり、５２はＴ個の属性信号Ｓｉ（ｉ＝１〜Ｔ）から構成される外部入力信号Ｓとその内部に保持されるカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）との重みづけ総和を活性値として持つＮ個のセルｉ（ｉ＝１〜Ｎ）から構成され、少なくとも１つ以上のセルが１を出力するカテゴリー検出部であり、５２ｉ（ｉ＝１〜Ｎ）はカテゴリー検出部５２のセルｉが１を出力している場合のみ動作可能となり、外部入力信号Ｓとその内部に保持されるサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）との重みづけ総和を活性値として持つＮｉ個のセルから構成され、少なくとも１つ以上のセルが１を出力するサブカテゴリー検出部であり、５３はカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）に充分小さな乱数を与えることにより初期化し、また、学習後のカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）を考慮してサブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）を初期設定する初期重み設定部であり、５４はサブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）を受けて出力信号Ｒを生成する出力信号生成部である。
【０１４８】
なお、本実施の形態では簡単のため優先順位付き簡略階層型パターン分類装置の階層数を２として説明しているが、この制限は本質的な問題ではなく、３以上の階層数を持つ優先順位付き簡略階層型パターン分類装置にも容易に拡張することができる（実施の形態２参照）。また、外部入力信号ＳはＴ個の属性信号Ｓｉ（ｉ＝１〜Ｔ）から構成されることを仮定し、各学習パターンＳｕｖも同様にＴ個の属性信号Ｓｕｖｉ（ｉ＝１〜Ｔ）から構成される（つまり部分学習パターンに分割可能である）ことを仮定する。さらに、属性信号Ｓｉの次元をＤｉで表す。これにより、外部入力信号Ｓの次元ＤはΣＤｉと表すことができる。
【０１４９】
以上のように構成された２階層の優先順位付き簡略階層型パターン分類装置について、その動作を説明する。
【０１５０】
まず、優先順位制御部５１はユーザーからのカテゴリー検出部用優先順位信号ｐｉ（ｉ＝１〜Ｔ）（ｐｉ≧０）を記憶し、カテゴリー検出部用優先順位信号ｐｉ（ｉ＝１〜Ｔ）は
【０１５１】
【数４７】

【０１５２】
に従って更新される。
【０１５３】
つぎに、学習モードにおける動作を説明する。学習モードでは、カテゴリー検出部５２の学習から始まることになる。
【０１５４】
まず、カテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）は初期重み設定部５３によって充分小さな乱数に初期設定される。また、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の平均パターンに充分小さな乱数を加えることでカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）を初期設定することにより、学習速度および学習結果の向上が実現できる。つぎに、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）がカテゴリー検出部５２に順に入力され、逐次的に学習が行われる。学習パターンＳｕｖがカテゴリー検出部５２に入力された場合を考える。この場合、カテゴリー検出部５２では重みづけ総和が計算され、カテゴリー検出部５２のセルｉの活性値ｕｉは
【０１５５】
【数４８】

【０１５６】
となる。ここで、ｈｉはカテゴリー検出部５２のセルｉの可変の閾値である。この活性値に基づいて、カテゴリー検出部５２のセルｉの出力値ｏｉは
【０１５７】
【数４９】

【０１５８】
となる。ここで、ｃは１以下の正の定数とする。このことから、カテゴリー検出部５２では最大活性値をもつセルおよびそれと同等の活性値を持つセルが１を出力することがわかる。セルの出力値が決まると、カテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）は以下の重み更新式に従って更新される。
【０１５９】
【数５０】

【０１６０】
ここで、Ａは充分小さな正の実数とする。このことから、カテゴリー検出部５２では１を出力したセルに結合する重みのみが更新されることがわかる。さらに、カテゴリー検出部用優先順位信号ｐｊ（ｊ＝１〜Ｔ）が大きい属性信号Ｓｕｖｊほど優先されて学習されることが分かる。また、カテゴリー検出部５２のセルの閾値は以下の式に基づいて更新される。
【０１６１】
【数５１】

【０１６２】
ここで、Ａ１は１以下の充分小さな正の実数とする。この様な学習を、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して、充分繰り返し行うことで、カテゴリー検出部５２の学習が終了する。
【０１６３】
カテゴリー検出部５２の学習が終了すると、優先順位制御部５１は以下のようにサブカテゴリー検出部用優先順位信号ｐｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ）を設定する。サブカテゴリー検出部５２ｉのサブカテゴリー検出部用優先順位信号ｐｉｊ（ｊ＝１〜Ｔ）を設定することを考える。カテゴリー検出部用優先順位信号ｐｊがｐｊ＜１の場合、
【０１６４】
【数５２】

【０１６５】
と設定する。また、カテゴリー検出部用優先順位信号ｐｊがｐｊ＝１の場合、優先順位制御部５１はカテゴリー検出部５２のセルｉに出力１を与える学習パターンの集合ＳＥＴｉを作り、集合ＳＥＴｉに含まれる全ての学習パターンＳｕｖの属性信号Ｓｕｖｊが等しければ、
【０１６６】
【数５３】

【０１６７】
そうでなければ、
【０１６８】
【数５４】

【０１６９】
と設定する。つぎに、以下の式に従って、サブカテゴリー検出部用優先順位信号ｐｉｊ（ｊ＝１〜Ｔ）が正規化される。
【０１７０】
【数５５】

【０１７１】
この様にして、サブカテゴリー検出部用優先順位信号ｐｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ）の設定が終了した後に、サブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）の学習が行われる。
【０１７２】
まず、サブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）は初期重み設定部５３によって以下のように初期設定される。
【０１７３】
【数５６】

【０１７４】
ここで、αは充分小さな乱数である。これにより、サブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）はカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）を中心として分布することになる。
【０１７５】
サブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）の初期設定が終わると、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の学習が行われる。ここで、学習パターンＳｕｖの学習について考える。この場合、まず、学習パターンＳｕｖはカテゴリー検出部５２に入力される。カテゴリー検出部５２では（数４８）および（数４９）に基づいて、セルの出力値を計算する。ここで、学習パターンＳｕｖがカテゴリー検出部５２に入力されたとき、１を出力したセルをセルｉとする。これにより、サブカテゴリー検出部５２ｉが動作可能となり、サブカテゴリー検出部５２ｉのみが学習パターンＳｕｖを学習する。この場合、サブカテゴリー検出部５２ｉでは重みづけ総和が計算され、サブカテゴリー検出部５２ｉのセルｊの活性値ｕｉｊは
【０１７６】
【数５７】

【０１７７】
となる。ここで、ｈｉｊはサブカテゴリー検出部５２ｉのセルｊの可変の閾値である。この活性値に基づいて、サブカテゴリー検出部５２ｉのセルｊの出力値ｏｉｊは
【０１７８】
【数５８】

【０１７９】
となる。ｃｉは１以下の正の定数とする。このことから、サブカテゴリー検出部５２ｉでは最大活性値をもつセルおよび最大活性値と同等な活性値を持つセルが１を出力することがわかる。セルの出力値が決まると、サブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）は以下の重み更新式に従って更新される。
【０１８０】
【数５９】

【０１８１】
ここで、Ａｉは充分小さな正の定数とする。このことから、サブカテゴリー検出部５２ｉでは１を出力したセルに結合する重みのみが更新されることがわかる。さらに、サブカテゴリー検出部用優先順位信号ｐｉｋ（ｋ＝１〜Ｔ）が大きい属性信号Ｓｕｖｋほど優先されて学習されることが分かる。また、サブカテゴリー検出部５２ｉのセルの閾値は以下の式に基づいて更新される。
【０１８２】
【数６０】

【０１８３】
ここで、Ａ２ｉは１以下の充分小さな正の実数とする。この様な学習を、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して、充分繰り返し行うことで、サブカテゴリー検出部５２ｉの学習が終了する。
【０１８４】
このように設定された重みを持つ優先順位付き簡略階層型パターン分類装置の想起モードにおける動作を以下に示す。
【０１８５】
想起モード時には外部入力信号Ｓがカテゴリー検出部５２に入力され、（数４８）および（数４９）からカテゴリー検出部５２のセルの出力値が計算される。ここで、カテゴリー検出部５２のセルｉが１を出力したと仮定する。
【０１８６】
この場合、サブカテゴリー検出部５２ｉが動作可能となり、外部入力信号Ｓがサブカテゴリー検出部５２ｉに入力される。サブカテゴリー検出部５２ｉでは、（数５７）および（数５８）からサブカテゴリー検出部５２ｉのセルの出力値が計算され、サブカテゴリー検出部５２ｉの１つのセルが１を出力する。
【０１８７】
このことから、外部入力信号Ｓがカテゴリー検出部５２、すなわち、第１階層レベルでどのカテゴリーに属し、また、サブカテゴリー検出部５２ｉ、すなわち、第２階層レベルでどのサブカテゴリーに属するのかを判断することができる。
【０１８８】
また、外部入力信号Ｓが入力されたときに、サブカテゴリー検出部５２ｉのセルｊが１を出力したとすると、出力信号生成部５４は出力信号Ｒ
【０１８９】
【数６１】

【０１９０】
を出力する。この様に、優先順位付き簡略階層型パターン分類装置は外部入力信号Ｓに類似した学習パターンＳｕｖを想起することもできる。
【０１９１】
また、カテゴリー検出部５２の機能を拡張することにより学習や検索の高速化およびメモリーの削減が実現できる。例えば、カテゴリー検出部５２の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉの要素数が０である場合、カテゴリー検出部５２のセルｉに関係するサブカテゴリー検出部５２ｉを削除することによって実現できる。
【０１９２】
さらに、カテゴリー検出部用優先順位信号ｐｊ（ｊ＝１〜Ｔ）やサブカテゴリー検出部用優先順位信号ｐｉｋ（ｉ＝１〜Ｎ，ｋ＝１〜Ｔ）から、以下に示すように、学習パターンＳｕｖの次元を削減することができ、学習や検索の高速化およびメモリーの削減が実現できる。
【０１９３】
カテゴリー検出部用優先順位信号ｐｊが０である場合、外部入力信号Ｓの属性信号Ｓｊはカテゴリー検出部５２の学習モードおよび想起モードの動作に影響を与えないことが（数４８）からわかる。同様に、サブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出部用優先順位信号ｐｉｋが０である場合、外部入力信号Ｓの属性信号Ｓｋはサブカテゴリー検出部５２ｉの学習モードおよび想起モードの動作に影響を与えないことが（数５７）からわかる。
【０１９４】
このことから、カテゴリー検出部用優先順位信号ｐｊが０である場合、外部入力信号Ｓの属性信号Ｓｊに結合するカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｋ＝１〜Ｄｊ）を取り除くことができ、カテゴリー検出部５２の学習や検索の高速化およびメモリーの削減が実現できる。同様に、サブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出部用優先順位信号ｐｉｋが０である場合、外部入力信号Ｓの属性信号Ｓｋに結合するサブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｌ＝１〜Ｄｋ）を取り除くことができ、サブカテゴリー検出部５２ｉの学習や検索の高速化およびメモリーの削減が実現できる。
【０１９５】
以上のように本実施の形態によれば、与えられた記憶事項（学習パターン）間相互の類似性およびユーザーからの優先順位信号に基づきそれらの記憶事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に目的に応じて記憶事項を検索することができる。また、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。さらに、実施の形態１の階層型パターン分類装置よりも、階層構造の生成及び学習パターンの検索を高速に実現することができ、少ないメモリーでインプリメントできる。
【０１９６】
【発明の効果】
以上のように本発明は、の内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）によって動作が規定され、外部入力信号Ｓをトリガーとして概念形成連想記憶信号Ｘ（ｔ）を更新し、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する概念形成連想記憶部１１と、概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘとその内部に保持されるカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）との重みづけ総和を活性値として持つＮ個のセルｉ（ｉ＝１〜Ｎ）から構成され、少なくとも一つ以上のセルが１を出力するカテゴリー検出部１２と、カテゴリー検出部１２のセルｉが１を出力している場合のみ動作可能となり、その内部に保持される概念継承連想記憶重みＷｉｊｋ（ｊ＝１〜Ｄ，ｋ＝１〜Ｄ）によって動作が規定され、外部入力信号Ｓと概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘをトリガーとして概念継承連想記憶信号Ｘｉ（ｔ）を更新し、Ｘｉ（ｔ−１）とＸｉ（ｔ）が等しくなったとき安定概念継承連想記憶信号Ｘｉ（＝Ｘｉ（ｔ−１）＝Ｘｉ（ｔ））を出力する概念継承連想記憶部１３ｉ（ｉ＝１〜Ｎ）と、概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉとその内部に保持されるサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）との重みづけ総和を活性値として持つＮｉ個のセルｉ（ｉ＝１〜Ｎｉ）から構成され、少なくとも１つ以上のセルが１を出力するサブカテゴリー検出部１４ｉ（ｉ＝１〜Ｎ）と、概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘと概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉを受けて出力信号Ｒを生成する出力信号生成部１５とを設けることにより、同じカテゴリーに属す継承パターンは同じ概念継承記憶部に記憶されるため、記憶事項間の関係を明示的に取り出すことができ、入力パターンがどのカテゴリーに属するのかといったパターンの分類に関する情報を得ることができる。すなわち、与えられた記憶すべき事項（学習パターン）間相互の類似性に基づき、それらの事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ柔軟に記憶事項を検索することができる。また、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における階層型パターン分類装置（２階層）のブロック結線図
【図２】本発明の第１の実施の形態における階層型パターン分類装置（３階層）のブロック結線図
【図３】本発明の第２の実施の形態における簡略階層型パターン分類装置（２階層）のブロック結線図
【図４】本発明の第２の実施の形態における簡略階層型パターン分類装置（３階層）のブロック結線図
【図５】本発明の第３の実施の形態における優先順位付き簡略階層型パターン分類装置のブロック結線図
【図６】従来の階層型概念継承連想記憶装置のブロック結線図
【符号の説明】
１１ 概念形成連想記憶部
１２ カテゴリー検出部
１３ｉ 概念継承連想記憶部
１４ｉ サブカテゴリー検出部
１５ 出力信号生成部
２１ モジュールＡ
２２ｉ モジュールＢ
２３ｉｊ モジュールＣ
３１ カテゴリー検出部
３１ｉ サブカテゴリー検出部
３２ 初期重み設定部
３３ 出力信号生成部
４１ カテゴリー検出部
４２ｉ サブカテゴリー検出部
４３ｉｊ サブ２カテゴリー検出部
５１ 優先順位制御部
５２ カテゴリー検出部
５２ｉ サブカテゴリー検出部
５３ 初期重み設定部
５４ 出力信号生成部
６１ 概念形成連想記憶部
６２ 概念継承連想記憶部
６３ 出力信号生成部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention generates and stores a hierarchical structure between items based on given similarities between items to be stored, and uses the hierarchical structure to systematically, efficiently, and flexibly meet objectives. The present invention relates to a storage device capable of retrieving stored items by using a storage device.
[0002]
[Prior art]
In recent years, as a storage device, not only a device for quickly and accurately searching for a storage at which an address specified explicitly and a content whose content completely matches a search key, but also when a search key does not completely match a storage item However, a device that can perform associative and flexible retrieval according to the contents of stored items, and when a stored item is given, automatically creates and stores a hierarchical structure between those items based on the similarity between those items. There is a need for a device that can display the hierarchical structure to a user and that can systematically and efficiently search for the purpose using the hierarchical structure.
[0003]
Hereinafter, a conventional hierarchical concept inheritance associative memory device (Hirahara, Oka, Kinmichi: “Cascade associative memory model for storing hierarchically correlated patterns”, IEICE, NC94-58, 1994) will be described. . FIG. 6 shows a conventional hierarchical concept inheritance associative storage device. In FIG. 6, the operation 61 is defined by the concept formation associative memory weight Wij (i = 1 to D, j = 1 to D) held therein, and the concept formation associative memory at time t is triggered by the external input signal S. The storage signal X (t) is updated, and when X (t-1) becomes equal to X (t), a stable concept formation associative storage signal X (= X (t-1) = X (t)) is output. The concept formation associative storage unit 62 has an operation defined by a concept inheritance associative memory weight W1ij (i = 1 to D, j = 1 to D) held therein, and has an external input signal S and a concept formation associative memory. The concept inheritance associative memory signal X1 (t) is updated using the stable concept forming associative memory signal X output from the unit 61 as a trigger, and when X1 (t-1) and X1 (t) become equal, the stable concept inheritance associative memory signal is output. X1 (= X1 (t-1) = X1 (t)) A concept succession associative storage unit 63 for outputting the output signal R from the stable concept formation associative storage signal X output from the concept formation associative storage unit 61 and the stable concept inheritance associative storage signal X1 output from the concept inheritance associative storage unit 62. It is an output signal generation unit to generate.
[0004]
Here, the number of dimensions of the external input signal S is D, and the value of each element Si (i = 1 to D) of the external input signal S is ± 1. Also, for simplicity, the number of cascade levels will be described as two.
[0005]
First, a method of generating P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2) for performing learning will be described. Prior to generation of the learning patterns Suv (u = 1 to P1, v = 1 to P2), P1 parent patterns Su (u = 1 to P1) are generated. Each element Sui (i = 1 to D) of the parent pattern Su (u = 1 to P1) takes a value of ± 1 with the following probability Pr1 (Sui).
[0006]
(Equation 1)

[0007]
Here, a (-1 <a <1) is the bias of the parent pattern. Here, if the average of x is represented by E [x], the bias of the parent pattern is defined by a = E [Sui]. Δ [x] takes a value of 1 when x = 0, and takes a value of 0 otherwise.
[0008]
Next, P2 learning patterns Suv (v = 1 to P2) are generated for each parent pattern Su. Each element Subi (i = 1 to D) of the learning pattern Suv takes a value of ± 1 with the following probability Pr2 (Subi).
[0009]
(Equation 2)

[0010]
Here, b (0 <b <1) is a correlation parameter indicating the strength of the correlation between the parent pattern and the learning pattern.
[0011]
The operation in the learning mode of the conventional hierarchical concept inheritance associative storage device will be described using the learning pattern generated in this manner.
[0012]
In the learning mode, the concept formation associative storage device 61 receives P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2), and stores therein the concept formation associative memory weight Wij (i). = 1 to D, j = 1 to D)
[0013]
(Equation 3)

[0014]
Update as follows. Here, d1 (Wij) may be a constant or a function of the concept formation associative memory weight Wij, and assumes a value from 0 to 1. For example, d1 (Wij) is
[0015]
(Equation 4)

[0016]
Can be written. Similarly, d2 (Wij) may be a constant or a function of the concept formation associative memory weight Wij.
[0017]
(Equation 5)

[0018]
Can be written. According to these updating formulas, P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2) are learned. When the learning pattern Suv (u = 1 to P1, v = 1 to P2) is a pattern having a structure created in correlation with the parent pattern Su (u = 1 to P1), the parent pattern A pattern S′u (u = 1 to P1) substantially equal to Su (u = 1 to P1) is stored in the concept formation associative storage unit 61. Hereinafter, the pattern S′u (u = 1 to P1) stored in the concept formation associative storage unit 61 will be referred to as a concept. Therefore, when a learning pattern Suv (v = 1 to P2) close to the concept S′u (u = 1 to P1) is input to the concept formation associative storage unit 61 as the external input signal S, the concept formation associative storage unit 61 continuously updates the concept forming associative memory signal X (t), and when X (t-1) and X (t) become equal, the stable concept forming associative memory signal X (= X (t-1) = X ( t)) is output. At this time, the stable concept associative memory signal X becomes a certain concept S'u. For simplicity, hereinafter, the parent pattern Su and the concept S'u are assumed to be equal (Sui = S'ui, u = 1 to P1, i = 1 to D), and the concept is represented by Su (u = 1 to P1). To
[0019]
Next, the concept inheritance associative storage unit 62 receives the learning pattern Suv and the concept Su which is the stable concept associative storage signal X when the learning pattern Suv is input to the concept forming associative storage unit 61, and holds the received concept therein. Of the associated concept inheritance associative memory weight W1ij (i = 1 to D, j = 1 to D)
[0020]
(Equation 6)

[0021]
Update as follows. From the updating formula of the concept inheritance associative memory weight W1ij, it can be seen that the concept inheritance associative storage unit 62 stores the inheritance pattern S'uv having S'uvi (= SubiSui, i = 1 to D) as elements. . Since the correlation between the concept Su and the learning pattern Suv is very strong, many elements of the inherited pattern S'uv take 1, and the inherited pattern S'uv is a sparse pattern.
[0022]
The operation in the recall mode of the hierarchical concept inheritance associative storage device having the weights set as described above will be described below.
[0023]
In the recall mode, the external input signal S is input to the concept formation associative storage unit 61. Using this input as a trigger, the concept formation associative storage unit 61 updates the concept formation associative memory signal X (t) according to the following formula according to the concept formation associative memory weight Wij held therein.
[0024]
(Equation 7)

[0025]
(Equation 8)

[0026]
(Equation 9)

[0027]
(Equation 10)

[0028]
Here, Xi (t) indicates the ith element of the concept formation associative memory signal X (t) at time t, and Ui (t) indicates the ith element of the concept formation potential signal U (t) at time t. Show. Here, when the concept formation associative storage signal X (t) is stabilized (X (t−1) = X (t)), the concept formation associative storage unit 61 outputs the stable concept formation associative storage signal X (= X (t) -1) = X (t)). This stable concept formation associative memory signal X is a concept Su most similar to the external input signal S.
[0029]
When the concept formation associative storage unit 61 is stabilized, the stable concept formation associative storage signal X and the external input signal S are input to the concept inheritance associative storage unit 62. Here, it is assumed that the stable concept formation associative memory signal X has become the concept Su. With these inputs as triggers, the concept inheritance associative storage unit 62 updates the concept inheritance associative storage signal X1 (t) according to the following equation according to the concept inheritance associative memory weight W1ij held therein.
[0030]
(Equation 11)

[0031]
(Equation 12)

[0032]
(Equation 13)

[0033]
Here, U1i (t) indicates the i-th element of the concept succession potential signal U1 (t) at time t. When the concept inheritance associative storage signal X1 (t) is stabilized by this operation, the concept inheritance associative storage unit 62 outputs the stable concept inheritance associative storage signal X1 (= X1 (t-1) = X1 (t)). That is, the inheritance pattern S'uv corresponding to the learning pattern Suv similar to the external input signal S is recalled in the concept inheritance associative storage unit 62.
[0034]
As described above, the concept inheritance associative storage unit 62 stores the inheritance pattern S'uv which is a sparse pattern. It is known that when the pattern to be stored is sparse, the storage capacity is dramatically increased. Therefore, the concept inheritance associative storage unit 62 has a very large storage capacity.
[0035]
When the concept formation associative storage unit 61 outputs the stable concept formation associative storage signal X and the concept inheritance associative storage unit 62 outputs the stable concept inheritance associative storage signal X1, the output signal generation unit 63 outputs the output signal R based on the following equation. Is calculated.
[0036]
[Equation 14]

[0037]
Here, Ri indicates the i-th element of the output signal R. As described above, the output signal generating unit 63 can recall a learning pattern Suv similar to the external input signal S.
[0038]
[Problems to be solved by the invention]
However, in the above-described conventional hierarchical concept inheritance associative storage device, since the inheritance pattern is stored in the concept inheritance associative storage unit 62 in a uniformly superimposed manner, the relationship between the stored items, that is, the hierarchical structure is not taken out. The problem is that it is not possible to provide information on the pattern classification such as which category the input pattern belongs to, so it is not possible to provide the user with the relationship between the stored items. There is a problem that it does not have a sufficient function for performing a search corresponding to the search.
[0039]
The present invention solves the above-mentioned conventional problem, and generates and stores a hierarchical structure between given storage items to be stored based on mutual similarity, and systematically utilizes the hierarchical structure. It is an object of the present invention to provide a hierarchical pattern classifying device, a simplified hierarchical pattern classifying device, and a simplified hierarchical pattern classifying device with priority, which can efficiently and flexibly retrieve stored items according to purpose.
[0040]
[Means for Solving the Problems]
In order to achieve this object, a hierarchical pattern classification device according to the present invention includes a concept formation associative storage unit that receives an external input signal and outputs a stable concept formation associative memory signal, and a category detection that classifies the stable concept formation associative memory signal. A plurality of concept inheritance associative storage units, which become operable by receiving an output signal from the category detection unit and receive an external input signal and a stable concept formation associative memory signal and output a stable concept inheritance associative memory signal, A plurality of sub-category detection units for classifying the stable concept inheritance associative memory signal, and an output signal generating unit for receiving the stable concept forming associative memory signal and the stable concept inheritance associative memory signal and generating an output signal; I have.
[0041]
With this configuration, in the hierarchical pattern classification device of the present invention, the inheritance patterns belonging to the same category (see Embodiment 1) are stored in the same concept inheritance associative storage unit, so that the relationship between the stored items is explicitly extracted. Thus, it is possible to obtain information on pattern classification such as to which category the input pattern belongs. That is, based on the similarity between given items to be stored (learning patterns), a hierarchical structure between those items is generated and stored, and the stored items are systematically and flexibly stored using the hierarchical structure. Can be searched. Further, by displaying the generated hierarchical structure, the user can easily understand the relationship between the stored items.
[0042]
BEST MODE FOR CARRYING OUT THE INVENTION
(Embodiment 1)
Hereinafter, a first embodiment (a hierarchical pattern classification device) will be described with reference to the drawings.
[0043]
In FIG. 1, reference numeral 11 denotes an operation defined by a concept formation associative memory weight Wij (i = 1 to D, j = 1 to D, and D is a dimension) held therein, and the concept formation is triggered by an external input signal S. Updates the associative memory signal X (t), and outputs a stable concept forming associative memory signal X (= X (t-1) = X (t)) when X (t-1) and X (t) become equal. Reference numeral 12 denotes a stable concept formation associative storage signal X output from the concept formation associative storage section 11 and a category detection weight Cij (i = 1 to N, j = 1 to D) held therein. ) Is a category detection unit composed of N cells i (i = 1 to N) having an active value as a weighted sum, and at least one cell outputs 1 as 13i (i = 1 to 1). N) indicates that the cell i of the category detection unit 12 outputs 1 Only the operation is enabled, the operation is defined by the concept inheritance associative memory weight Wijk (j = 1 to D, k = 1 to D) held therein, and the external input signal S and the concept forming associative memory unit 11 output. The concept inheritance associative memory signal Xi (t) is updated with the stable concept forming associative memory signal X as a trigger. When Xi (t-1) and Xi (t) become equal, the stable concept inheritance associative memory signal Xi (= Xi ( t-1) = Xi (t)) is a concept inheritance associative storage unit that outputs a stable concept inheritance associative storage signal Xi output from the concept inheritance associative storage unit 13i and 14i (i = 1 to N). It is composed of Ni cells i (i = 1 to Ni) each having an active value as a weighted sum with the held subcategory detection weight Cijk (j = 1 to Ni, k = 1 to D), and at least one The above cells output 1 The sub-category detecting unit 15 receives the stable concept forming associative memory signal X output from the concept forming associative memory unit 11 and the stable concept inheriting associative memory signal Xi output from the concept inheriting associative memory unit 13i to generate an output signal R. It is an output signal generation unit to generate.
[0044]
In this embodiment, for simplicity, the number of layers of the hierarchical pattern classification device is described as two, but this limitation is not an essential problem, and the present invention is applied to a hierarchical pattern classification device having three or more layers. Can be easily extended. Further, the number of dimensions of the external input signal S is D, and the value of each element Si (i = 1 to D) of the external input signal S is ± 1.
[0045]
First, a method of generating P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2) for performing learning will be described. Prior to generation of the learning patterns Suv (u = 1 to P1, v = 1 to P2), P1 parent patterns Su (u = 1 to P1) are generated. Each element Sui (i = 1 to D) of the parent pattern Su (u = 1 to P1) takes a value of ± 1 with the following probability Pr1 (Sui).
[0046]
(Equation 15)

[0047]
Here, a (-1 <a <1) is the bias of the parent pattern, and is defined by E [Sui] = a (E is an average value). Δ [x] takes a value of 1 when x = 0, and takes a value of 0 otherwise.
[0048]
Next, P2 learning patterns Suv (v = 1 to P2) are generated for each parent pattern Su. Each element Subi (i = 1 to D) of the learning pattern Suv takes a value of ± 1 with the following probability Pr2 (Subi).
[0049]
(Equation 16)

[0050]
Here, b (0 <b <1) is a correlation parameter between the parent pattern and the learning pattern.
[0051]
The operation in the learning mode of the hierarchical pattern classification device of FIG. 1 will be described using the learning pattern generated in this manner.
[0052]
In the learning mode, the concept formation associative storage device 11 receives P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2), and stores therein the concept formation associative memory weight Wij (i). = 1 to D, j = 1 to D)
[0053]
[Equation 17]

[0054]
Update as follows. Here, d1 (Wij) may be a constant or a function of the concept formation associative memory weight Wij, and assumes a value from 0 to 1. For example, d1 (Wij) is
[0055]
(Equation 18)

[0056]
Can be written. Similarly, d2 (Wij) may be a constant or a function of the concept formation associative memory weight Wij.
[0057]
[Equation 19]

[0058]
Can be written. According to these updating formulas, P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2) are learned. When the learning pattern Suv (u = 1 to P1, v = 1 to P2) is a pattern having a structure created in correlation with the parent pattern Su (u = 1 to P1), the parent pattern A pattern S′u (u = 1 to P1) substantially equal to Su (u = 1 to P1) is stored in the concept formation associative storage unit 11. Hereinafter, the pattern S′u (u = 1 to P1) stored in the concept formation associative storage unit 11 will be referred to as a concept. Accordingly, when a learning pattern Suv close to the concept S′u (u = 1 to P1) is input to the concept formation associative storage unit 11 as the external input signal S, the concept formation associative storage unit 11 outputs the concept formation associative storage signal X. (T) is continuously updated, and when X (t-1) becomes equal to X (t), a stable concept formation associative memory signal X (= X (t-1) = X (t)) is output. At this time, the stable concept associative memory signal X becomes the concept S'u. For simplicity, hereinafter, the parent pattern Su and the concept S'u are assumed to be equal (Sui = S'ui, u = 1 to P1, i = 1 to D), and the concept is represented by Su (u = 1 to P1). To
[0059]
When the learning of the concept formation associative storage unit 11 ends, the learning of the category detection unit 12 starts.
[0060]
First, the category detection weight Cij (i = 1 to N, j = 1 to D) of the category detection unit 12 is initialized to a sufficiently small random number. Further, by adding a sufficiently small random number to the average pattern of the P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2), the category detection weight Cij (i = 1 to N, By initially setting j = 1 to D), the learning speed and the learning result can be improved. Next, the learning pattern Suv is input to the concept formation associative storage unit 11, and the concept formation associative storage unit 11 outputs the stable concept formation associative storage signal X, that is, the concept Su. The category detection unit 12 learns this concept Su. In this case, the category detector 12 calculates the weighted sum, and the activity value ui of the cell i of the category detector 12 is
[0061]
(Equation 20)

[0062]
It becomes. Here, hi is a variable threshold value of the cell i of the category detection unit 12. Based on this activation value, the output value oi of the cell i of the category detection unit 12 is
[0063]
(Equation 21)

[0064]
It becomes. Here, c (0 <c ≦ 1) is a constant. From this, it is understood that the category detection unit 12 outputs 1 for the cell having the maximum activity value and the cell having the activity value equivalent to the maximum activity value. When the output value of the cell is determined, the category detection weight Cij (i = 1 to N, j = 1 to D) of the category detection unit 12 is updated according to the following weight update formula.
[0065]
(Equation 22)

[0066]
Here, A is a sufficiently small positive real number. From this, it can be seen that the category detection unit 12 updates only the weights associated with the cells that output 1s. In addition, the cell threshold of the category detection unit 12 is updated based on the following equation.
[0067]
(Equation 23)

[0068]
Here, A1 is a sufficiently small positive real number of 1 or less. By performing such learning sufficiently for all the learning patterns Suv (u = 1 to P1, v = 1 to P2), the learning of the category detecting unit 12 is completed.
[0069]
When the learning of the category detecting unit 12 is completed, the learning of the concept inheritance associative storage unit 13i (i = 1 to N) is performed.
[0070]
Consider learning a learning pattern Suv. First, the learning pattern Suv is input to the concept formation associative storage unit 11, and the concept formation associative storage unit 11 outputs a stable concept formation associative storage signal X, that is, the concept Su. It is assumed that the category detection unit 12 has learned this concept Su, and that the cell i of the category detection unit 12 outputs 1. At this time, the concept inheritance associative storage unit 13i coupled to the cell i of the category detection unit 12 becomes operable. In this case, the concept inheritance associative storage unit 13i receives the learning pattern Suv and the concept Su, which is the stable concept associative storage signal X when the learning pattern Suv is input to the concept forming associative storage unit 11, and holds the received concept therein. Of the concept inheritance associative memory weight Wijk (j = 1 to D, k = 1 to D)
[0071]
(Equation 24)

[0072]
Update as follows. From the expression for updating the concept inheritance associative memory weight Wijk, it is understood that the concept inheritance associative storage unit 13i stores an inheritance pattern S'uv having S'uvj (= SuvjSuji, j = 1 to D) as an element. . Since the correlation between the concept Suj and the learning pattern Suvj is very strong, many elements of the inherited pattern S'uv take 1, and the inherited pattern S'uv is a sparse pattern. By performing such learning for all learning patterns Suv (u = 1 to P1, v = 1 to P2), the learning of the concept inheritance associative storage unit 13i is completed.
[0073]
As described above, when the external input signal S similar to the learning pattern Suv is input to the hierarchical pattern classification device, the concept formation associative storage unit 11 outputs the concept Su as the stable concept formation associative storage signal X, and the concept inheritance associative. The storage unit 13i outputs the inheritance pattern S'uv as the stable concept inheritance associative memory signal Xi.
[0074]
Next, the learning of the sub-category detecting unit 14i will be described. This learning can proceed at the same time as the learning of the concept inheritance associative storage unit 13i, but the following description will be made on the assumption that the learning of the concept inheritance associative storage unit 13i has been completed.
[0075]
First, the sub-category detection weight Cijk (j = 1 to Ni, k = 1 to D) of the sub-category detection unit 14i is initialized to a sufficiently small random number. Here, the learning of the learning pattern Suv is considered. First, the learning pattern Suv is input to the concept formation associative storage unit 11, and the concept formation associative storage unit 11 outputs a stable concept formation associative storage signal X, that is, the concept Su. It is assumed that the category detection unit 12 has learned this concept Su, and that the cell i of the category detection unit 12 outputs 1. At this time, the concept inheritance associative storage unit 13i coupled to the cell i of the category detection unit 12 becomes operable, and the concept inheritance associative storage unit 13i outputs the inheritance pattern S'uv as the stable concept inheritance associative storage signal Xi. The sub-category detecting unit 14i learns the inherited pattern S'uv. In this case, the weighted sum is calculated in the sub-category detection unit 14i, and the activation value uij of the cell j of the sub-category detection unit 14i is
[0076]
(Equation 25)

[0077]
It becomes. Here, hij is a variable threshold value of the cell j of the sub-category detecting unit 14i. Based on this activation value, the output value oij of the cell j of the sub-category detection unit 14i is
[0078]
(Equation 26)

[0079]
It becomes. Here, ci (0 <ci ≦ 1) is a constant. From this, it is understood that the cell having an activity value equal to or more than ci times the maximum activity value outputs 1 in the sub-category detection unit 14i. When the output value of the cell is determined, the subcategory detection weight Cijk (j = 1 to Ni, k = 1 to D) of the subcategory detection unit 14i is updated according to the following weight update formula.
[0080]
[Equation 27]

[0081]
Here, Ai is a sufficiently small positive constant. From this, it can be seen that the sub-category detection unit 14i updates only the weights associated with the cells that output 1s. The cell threshold of the sub-category detection unit 14i is updated based on the following equation.
[0082]
[Equation 28]

[0083]
Here, A2i is a sufficiently small positive real number of 1 or less. By repeating such learning sufficiently for all the learning patterns Suv (u = 1 to P1, v = 1 to P2), the learning of the sub-category detecting unit 14i ends.
[0084]
The operation in the recall mode of the hierarchical pattern classification device having the weights set as described above will be described below.
[0085]
In the recall mode, the external input signal S is input to the concept formation associative storage unit 11. With this input as a trigger, the concept formation associative storage unit 11 updates the concept formation associative storage signal X (t) according to the following formula according to the concept formation associative memory weight Wij held therein.
[0086]
(Equation 29)

[0087]
[Equation 30]

[0088]
[Equation 31]

[0089]
(Equation 32)

[0090]
Here, Xi (t) indicates the ith element of the concept formation associative memory signal X (t) at time t, and Ui (t) indicates the ith element of the concept formation potential signal U (t) at time t. Show. Here, when the concept formation associative storage signal X (t) is stabilized, the concept formation associative storage unit 11 outputs a stable concept formation associative storage signal X (= X (t-1) = X (t)). This stable concept formation associative memory signal X can be expected to be the concept Su (u = 1 to P1) most similar to the external input signal S. Hereinafter, it is assumed that the stable concept formation associative storage signal X when the external input signal S is input to the concept formation associative storage unit 11 becomes the concept Su.
[0091]
Next, the stable concept formation associative storage signal X output from the concept formation associative storage unit 11, that is, the concept Su, is input to the category detection unit 12, and from (Equation 20) and (Equation 21), the cell of the category detection unit 12 is obtained. The output value is calculated. Here, it is assumed that the cell i of the category detection unit 12 outputs 1.
[0092]
At this time, the concept inheritance associative storage unit 13i coupled to the cell i of the category detection unit 12 becomes operable, and the external input signal S and the stable concept formation associative storage signal X output from the concept formation associative storage unit 11, that is, The concept Su is input to the concept inheritance associative storage unit 13i. With these inputs as triggers, the concept inheritance associative storage unit 13i updates the concept inheritance associative memory signal Xi (t) according to the following equation according to the concept inheritance associative memory weight Wijk held therein.
[0093]
[Equation 33]

[0094]
(Equation 34)

[0095]
(Equation 35)

[0096]
Here, Uij (t) indicates the j-th element of the concept succession potential signal Uij (t) at time t. When the concept inheritance associative storage signal Xi (t) is stabilized by this operation, the concept inheritance associative storage unit 13i outputs a stable concept inheritance associative storage signal Xi (= Xi (t-1) = Xi (t)). That is, the inheritance pattern S'uv corresponding to the learning pattern Suv similar to the external input signal S is recalled in the concept inheritance associative storage unit 13i.
[0097]
As described above, the concept inheritance associative storage unit 13i stores the inheritance pattern S'uv which is a sparse pattern. It is known that when the pattern to be stored is sparse, the storage capacity is dramatically increased. Therefore, the concept inheritance associative storage unit 13i has a very large storage capacity.
[0098]
Next, the stable concept inheritance associative storage signal Xi output from the concept inheritance associative storage unit 13i, that is, the concept S'uv, is input to the sub-category detection unit 14i. The output value of the cell 14i is calculated, and one cell of the sub-category detecting unit 14i outputs 1.
[0099]
From this, it is determined which category the external input signal S belongs to in the category detector 12, ie, the first hierarchical level, and which sub-category 13i, ie, which sub-category belongs in the second hierarchical level. be able to.
[0100]
In addition, the output signal generation unit 15 outputs the stable concept formation associative storage signal X output from the concept formation associative storage unit 11, that is, the concept Su, and the stable concept inheritance associative storage signal Xi output from the concept inheritance associative storage unit 13i. By receiving the inherited pattern S'uv, the output signal R is calculated based on the following equation.
[0101]
[Equation 36]

[0102]
Here, Ri indicates the i-th element of the output signal R. Thus, the output signal generation unit 15 generates the learning pattern Suv most similar to the external input signal S.
[0103]
Further, by expanding the function of the category detection unit 12, it is possible to realize faster learning and retrieval and reduce memory. For example, in each cell i of the category detection unit 12, a learning pattern subset i for giving an output 1 to the cell i is stored. When the number of elements of the learning pattern sub-set i is 0, this is realized by deleting the concept inheritance associative storage unit 13i and the sub-category detection unit 14i related to the cell i of the category detection unit 12.
[0104]
Further, when the D-dimensional learning pattern Suv can be divided into T partial learning patterns Suvj (j = 1 to T) (the dimension of the partial learning pattern Suvj is Dj), the function of the category detection unit 12 is extended. Thereby, the dimension of the inheritance pattern S'uv stored in the concept inheritance associative storage unit 13i can be reduced. For example, in each cell i of the category detection unit 12, a learning pattern subset i for giving an output 1 to the cell i is stored. If a certain partial learning pattern of all the learning patterns included in the learning pattern subset i is equal to all the learning patterns included in the learning pattern subset i, the partial learning pattern is deleted from each learning pattern (that is, The partial inheritance pattern corresponding to the partial learning pattern is deleted), and the concept inheritance associative storage unit 13i and the sub-category detection unit 14i after the category detection unit 12 learn so that the dimension of the inheritance pattern can be reduced.
[0105]
Similarly, if the function of the sub-category detection unit 14i is extended as described above, the dimension of the inherited pattern can be further reduced.
[0106]
In this embodiment, for simplicity, the number of layers of the hierarchical pattern classification device is described as two, but this limitation is not an essential problem, and the present invention is also applicable to a hierarchical pattern classification device having three or more layers. Can be extended to FIG. 2 shows a schematic diagram (excluding the output generation unit) of the hierarchical pattern classification device when the number of layers is three. In FIG. 2, reference numeral 21 denotes a module A in which the concept formation associative storage unit 11 and the category detection unit 12 are grouped together, and 22i (i = 1 to N) denotes a succession pattern concept formation associative storage unit (the operation of which is conceptual formation). This is the same as the associative storage unit 11, and the concept formation associative storage unit 11 learns the learning pattern itself, whereas the concept formation associative storage unit for inherited patterns learns the inherited pattern of the learning pattern. The operation is the same as that of the category detection unit 12, and learns a stable pattern output from the concept formation associative storage unit for inherited patterns.) The module B collectively includes 23ij (j = 1 to Ni). This is a module C in which the storage unit 12i and the sub-category detection unit 12i are put together. In FIG. 2, for simplicity, one input line is connected from the module A21 to the module B22i. However, in practice, a stable concept formation associative storage signal output from the concept formation associative storage unit inside the module A21 and a cell of the category detection unit are output. Are output to the module B22i. Similarly, the number of input lines from the module B22i to the module C23ij is one. However, in practice, a stable concept formation associative storage signal output by the inheritance pattern concept associative storage unit inside the module B22i and a cell of the category detection unit are used. Are output to the module C23ij. In this way, the present invention can be easily extended to a hierarchical pattern classification device having three or more layers.
[0107]
As described above, according to the present embodiment, since the inheritance patterns belonging to the same category (see Embodiment 1) are stored in the same concept inheritance storage unit, the relationship between the stored items can be explicitly extracted. , It is possible to obtain information on pattern classification such as to which category the input pattern belongs. That is, based on the similarity between given items (learning patterns) to be stored, a hierarchical structure between those items is generated and stored, and the hierarchical structure is used to systematically, efficiently, and flexibly. You can search for stored items. Further, by displaying the generated hierarchical structure, the user can easily understand the relationship between the stored items.
[0108]
(Embodiment 2)
Hereinafter, a second embodiment (simplified hierarchical pattern classification device) of the present invention will be described with reference to the drawings.
[0109]
In FIG. 3, reference numeral 31 denotes an external input signal S (each element is represented by Si (i = 1 to D)) and a category detection weight Cij (i = 1 to N, j = 1 to D) held therein. Is a category detection unit which is composed of N cells i (i = 1 to N) having a weighted sum as an activation value, and at least one cell outputs 1 and 31i (i = 1 to N) Becomes operable only when the cell i of the category detector 31 outputs 1, and the external input signal S and the sub-category detection weight Cijk (j = 1 to Ni, k = 1 to D) held therein are output. Is a sub-category detection unit that is composed of Ni cells having an active value as a weighted sum of at least one cell and outputs at least one cell, and 32 is a category detection weight Cij (i = 1 to N, j = 1 to D Is given by giving a sufficiently small random number to the sub-category detection unit 31i (i = 1 to N, j = 1 to D). 1 to N) is an initial weight setting unit that initially sets sub-category detection weights Cijk (j = 1 to Ni, k = 1 to D). Reference numeral 33 denotes a sub-category of the sub-category detection unit 31i (i = 1 to N). An output signal generation unit that receives the category detection weight Cijk (j = 1 to Ni, k = 1 to D) and generates an output signal R.
[0110]
In the present embodiment, the number of layers of the simplified hierarchical pattern classification device is described as two for simplicity, but this limitation is not an essential problem, and the simplified hierarchical pattern classification device having three or more layers is used. The device can be easily extended (described later).
[0111]
The operation in learning will be described for the simplified hierarchical pattern classification device having the two layers configured as described above. In the learning mode, it starts with the learning of the category detecting unit 31.
[0112]
First, the category detection weight Cij (i = 1 to N, j = 1 to D) of the category detection unit 31 is initialized to a sufficiently small random number by the initial weight setting unit 32. Further, by adding a sufficiently small random number to the average pattern of the P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2), the category detection weight Cij (i = 1 to N, By initially setting j = 1 to D), the learning speed and the learning result can be improved. Next, P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2) are sequentially input to the category detection unit 31, and learning is sequentially performed. It is assumed that the learning pattern Suv is input to the category detection unit 31. In this case, the category detector 31 calculates the weighted sum, and the activity value ui of the cell i of the category detector 31 is
[0113]
(37)

[0114]
It becomes. Here, hi is a variable threshold value of the cell i of the category detection unit 31. Based on this activation value, the output value oi of the cell i of the category detection unit 31 is
[0115]
[Equation 38]

[0116]
It becomes. c is a positive constant of 1 or less. From this, it is understood that the cell having the maximum activity value and the cell having the activity value equivalent thereto output 1 in the category detection unit 31. When the output value of the cell is determined, the category detection weight Cij (i = 1 to N, j = 1 to D) of the category detection unit 31 is updated according to the following weight update formula.
[0117]
[Equation 39]

[0118]
Here, A is a sufficiently small positive real number. From this, it can be seen that the category detection unit 31 updates only the weights associated with cells that output 1s. In addition, the cell threshold of the category detection unit 31 is updated based on the following equation.
[0119]
(Equation 40)

[0120]
Here, A1 is a sufficiently small positive real number of 1 or less. By repeating such learning sufficiently for P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2), the learning of the category detecting unit 31 is completed.
[0121]
When the learning of the category detecting unit 31 is completed, the learning of the sub-category detecting unit 31i (i = 1 to N) is performed.
[0122]
First, the sub-category detection weight Cijk (j = 1 to Ni, k = 1 to D) of the sub-category detection unit 31i is initialized by the initial weight setting unit 32 as follows.
[0123]
(Equation 41)

[0124]
Here, α is a sufficiently small random number. Thus, the sub-category detection weights Cijk (j = 1 to Ni, k = 1 to D) of the sub-category detection unit 31i are distributed around the category detection weights Cij (j = 1 to D) of the category detection unit 31. Will do.
[0125]
When the initial setting of the subcategory detection weight Cijk (j = 1 to Ni, k = 1 to D) of the subcategory detection unit 31i is completed, P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to Learning of P2) is performed. Here, the learning of the learning pattern Suv is considered. In this case, first, the learning pattern Suv is input to the category detection unit 31. The category detector 31 calculates the output value of the cell based on (Equation 37) and (Equation 38). Here, when the learning pattern Suv is input to the category detection unit 31, a cell that outputs 1 is defined as a cell i. Thereby, the sub-category detecting unit 31i becomes operable, and the sub-category detecting unit 31i learns the learning pattern Suv. In this case, the weighted sum is calculated in the sub-category detecting unit 31i, and the activation value uij of the cell j of the sub-category detecting unit 31i is
[0126]
(Equation 42)

[0127]
It becomes. Here, hij is a variable threshold value of the cell j of the sub-category detecting unit 31i. Based on this activation value, the output value oij of the cell j of the sub-category detection unit 31i is
[0128]
[Equation 43]

[0129]
It becomes. ci is a positive constant of 1 or less. From this, it is understood that the cell having an activity value equal to or more than ci times the maximum activity value outputs 1 in the sub-category detection unit 31i. When the output value of the cell is determined, the subcategory detection weight Cijk (j = 1 to Ni, k = 1 to D) of the subcategory detection unit 31i is updated according to the following weight update formula.
[0130]
[Equation 44]

[0131]
Here, Ai is a sufficiently small positive constant. From this, it can be seen that the sub-category detecting unit 31i updates only the weights associated with the cells that output 1s. The cell threshold of the sub-category detection unit 31i is updated based on the following equation.
[0132]
[Equation 45]

[0133]
Here, A2i is a sufficiently small positive real number of 1 or less. By repeating such learning sufficiently for P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2), the learning of the sub-category detecting unit 31i is completed.
[0134]
The operation in the recall mode of the simplified hierarchical pattern classification device having the weights set as described above will be described below.
[0135]
In the recall mode, the external input signal S is input to the category detection unit 31, and the output value of the cell of the category detection unit 31 is calculated from (Expression 37) and (Expression 38). Here, it is assumed that the cell i of the category detection unit 31 outputs 1.
[0136]
In this case, the sub-category detection unit 31i becomes operable, and the external input signal S is input to the sub-category detection unit 31i. In the sub-category detection unit 31i, the output value of the cell of the sub-category detection unit 31i is calculated from (Equation 42) and (Equation 43), and one cell of the sub-category detection unit 31i outputs 1.
[0137]
From this, it is determined which category the external input signal S belongs to in the category detector 31, ie, the first hierarchy level, and which sub-category in the sub-category detector 31i, ie, the second hierarchy level. be able to.
[0138]
When the cell j of the sub-category detecting unit 31i outputs 1 when the external input signal S is input, the output signal generating unit 33 outputs the output signal R
[0139]
[Equation 46]

[0140]
Is output. In this way, the simplified hierarchical pattern classification device can also recall a learning pattern Suv similar to the external input signal S.
[0141]
Further, by expanding the function of the category detection unit 31, it is possible to realize faster learning and retrieval and reduce memory. For example, in each cell i of the category detection unit 31, a learning pattern subset i for giving an output 1 to the cell i is stored. When the number of elements of the learning pattern sub-set i is 0, this is realized by deleting the sub-category detecting unit 31i related to the cell i of the category detecting unit 31.
[0142]
Further, when the D-dimensional learning pattern Suv can be divided into T partial learning patterns Suvj (j = 1 to T) (the dimension of the partial learning pattern Suvj is Dj), the function of the category detection unit 31 is extended. Thus, the dimension of the learning pattern Suv can be reduced. For example, in each cell i of the category detection unit 31, a learning pattern subset i for giving an output 1 to the cell i is stored. When a partial learning pattern of all the learning patterns included in the learning pattern subset i is equal to all the learning patterns included in the learning pattern subset i, the partial learning pattern is deleted from each learning pattern, and the partial learning pattern is deleted. By making the sub-category detection unit 31i after the category detection unit 31 learn the pattern, the dimension of the learning pattern can be reduced.
[0143]
Similarly, if the function of the sub-category detection unit 12i is extended as described above, the dimension of the learning pattern can be further reduced.
[0144]
In the present embodiment, for simplicity, the number of layers of the simplified hierarchical pattern classification device has been described as two, but this limitation is not an essential problem. Can be easily extended. FIG. 4 is a schematic diagram of the simplified hierarchical pattern classification device when the number of layers is three (excluding the output generation unit and the initial weight setting unit). In FIG. 4, reference numeral 41 denotes the same as the category detection unit 31, 41i (i = 1 to N) denotes the same as the sub category detection unit 31i, and 41ij (j = 1 to Ni) denotes the same as the sub category detection unit 31i. This is a sub-two category detection unit having a function. As described above, the present invention can be easily extended to a simplified hierarchical pattern classification device having three or more layers.
[0145]
As described above, according to the present embodiment, based on the similarity between given stored items (learning patterns), a hierarchical structure between the stored items is generated and stored, and the hierarchical structure is used by using the hierarchical structure. Stored items can be systematically, efficiently and flexibly searched according to the purpose. Also, by displaying the generated hierarchical structure, the user can easily understand the relationship between the stored items. Furthermore, the generation of the hierarchical structure and the search for the learning pattern can be realized at a higher speed than the hierarchical pattern classification device of the first embodiment, and the implementation can be performed with a smaller memory.
[0146]
(Embodiment 3)
Hereinafter, a third embodiment (simplified hierarchical pattern classification apparatus with priority order) of the present invention will be described with reference to the drawings.
[0147]
In FIG. 5, reference numeral 51 denotes a priority control for controlling the priority signal pi (i = 1 to T) for the category detection unit and the priority signal pij (i = 1 to N, j = 1 to T) for the sub-category detection unit. And 52, an external input signal S composed of T attribute signals Si (i = 1 to T) and a category detection weight Cijk (i = 1 to N, j = 1 to T) held therein. , K = 1 to Dj), and is a category detection unit composed of N cells i (i = 1 to N) having an active value as a weighted sum and at least one or more cells output 1. 52i (i = 1 to N) becomes operable only when the cell i of the category detection unit 52 outputs 1, and the external input signal S and the subcategory detection weight Cijkl (j = 1 to Ni, k = 1 to T, l = 1 to Dk) A sub-category detecting unit which is composed of Ni cells having the sum total as an activation value and at least one cell outputs 1 and 53 is a category detection weight Cijk (i = 1 to 1) of the category detecting unit 52 Initialization is performed by giving a sufficiently small random number to N, j = 1 to T, k = 1 to Dj, and the category detection weight Cijk (i = 1 to N, j = 1 to 1) of the category detection unit 52 after learning. Considering T, k = 1 to Dj, the subcategory detection weights Cijkl (j = 1 to Ni, k = 1 to T, l = 1 to Dk) of the subcategory detection unit 52i (i = 1 to N) are calculated. 54 is an initial weight setting unit for initial setting, and 54 is a sub-category detection weight Cijkl (j = 1 to Ni, k = 1 to T, l = 1 to Dk) of the sub category detection unit 52i (i = 1 to N). Receiving the output signal R An output signal generator for forming.
[0148]
In the present embodiment, for simplicity, the number of layers of the simplified hierarchical pattern classification device with priority is described as two, but this limitation is not an essential problem, and the priority having three or more layers is preferred. The present invention can be easily extended to a simple hierarchical pattern classification device with a tag (see Embodiment 2). Further, it is assumed that the external input signal S is composed of T attribute signals Si (i = 1 to T), and each learning pattern Suv is similarly derived from the T attribute signals Suvi (i = 1 to T). Assume that it is composed (that is, it can be divided into partial learning patterns). Further, the dimension of the attribute signal Si is represented by Di. Thus, the dimension D of the external input signal S can be represented as ΣDi.
[0149]
The operation of the simplified hierarchical pattern classification apparatus with two layers of priorities configured as described above will be described.
[0150]
First, the priority control unit 51 stores the category detection unit priority signals pi (i = 1 to T) (pi ≧ 0) from the user, and stores the category detection unit priority signals pi (i = 1 to T). Is
[0151]
[Equation 47]

[0152]
It is updated according to.
[0153]
Next, the operation in the learning mode will be described. In the learning mode, it starts with the learning of the category detection unit 52.
[0154]
First, the category detection weight Cijk (i = 1 to N, j = 1 to T, k = 1 to Dj) of the category detection unit 52 is initialized to a sufficiently small random number by the initial weight setting unit 53. Further, by adding a sufficiently small random number to the average pattern of the P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2), the category detection weight Cijk (i = 1 to N, By initially setting (j = 1 to T, k = 1 to Dj), the learning speed and the learning result can be improved. Next, P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2) are sequentially input to the category detection unit 52, and learning is sequentially performed. It is assumed that the learning pattern Suv is input to the category detection unit 52. In this case, the category detector 52 calculates the weighted sum, and the activity value ui of the cell i of the category detector 52 is
[0155]
[Equation 48]

[0156]
It becomes. Here, hi is a variable threshold value of the cell i of the category detection unit 52. Based on this activation value, the output value oi of the cell i of the category detection unit 52 is
[0157]
[Equation 49]

[0158]
It becomes. Here, c is a positive constant of 1 or less. From this, it is understood that the cell having the maximum activity value and the cell having the same activity value output 1 in the category detection unit 52. When the output value of the cell is determined, the category detection weight Cijk (i = 1 to N, j = 1 to T, k = 1 to Dj) of the category detection unit 52 is updated according to the following weight update formula.
[0159]
[Equation 50]

[0160]
Here, A is a sufficiently small positive real number. From this, it can be seen that the category detection unit 52 updates only the weights associated with cells that output 1s. Further, it can be seen that the higher the attribute signal Suvj, the higher the priority signal pj (j = 1 to T) for the category detection unit, and the higher the priority signal is learned. The cell threshold of the category detection unit 52 is updated based on the following equation.
[0161]
(Equation 51)

[0162]
Here, A1 is a sufficiently small positive real number of 1 or less. Such learning is sufficiently repeated for P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2), whereby the learning of the category detection unit 52 is completed.
[0163]
When the learning of the category detection unit 52 is completed, the priority control unit 51 sets the sub-category detection unit priority signals pij (i = 1 to N, j = 1 to T) as follows. Consider setting the priority signal pij (j = 1 to T) for the sub category detection unit of the sub category detection unit 52i. When the priority signal pj for the category detector is pj <1,
[0164]
(Equation 52)

[0165]
Set. When the priority signal pj for the category detection unit is pj = 1, the priority control unit 51 creates a set of learning patterns SETi that gives an output 1 to the cell i of the category detection unit 52, and sets all the sets included in the set SETi. If the attribute signals Suvj of the learning patterns Suv are equal,
[0166]
(Equation 53)

[0167]
Otherwise,
[0168]
(Equation 54)

[0169]
Set. Next, the sub-category detection unit priority signals pij (j = 1 to T) are normalized according to the following equation.
[0170]
[Equation 55]

[0171]
In this manner, after the setting of the sub-category detection unit priority signal pij (i = 1 to N, j = 1 to T) is completed, the learning of the sub-category detection unit 52i (i = 1 to N) is performed. Is
[0172]
First, the sub-category detection weights Cijkl (j = 1 to Ni, k = 1 to T, l = 1 to Dk) of the sub category detection unit 52i are initialized by the initial weight setting unit 53 as follows.
[0173]
[Equation 56]

[0174]
Here, α is a sufficiently small random number. As a result, the sub-category detection weights Cijkl (j = 1 to Ni, k = 1 to T, l = 1 to Dk) of the sub-category detection unit 52i are changed to the category detection weights Cijk (i = 1 to N, k = 1 to T, l = 1 to Dk).
[0175]
After the initial setting of the sub-category detection weight Cijkl (j = 1 to Ni, k = 1 to T, l = 1 to Dk) of the sub category detection unit 52i is completed, P1 × P2 learning patterns Suv (u = 1 to Learning of P1, v = 1 to P2) is performed. Here, the learning of the learning pattern Suv is considered. In this case, first, the learning pattern Suv is input to the category detection unit 52. The category detector 52 calculates the output value of the cell based on (Equation 48) and (Equation 49). Here, when the learning pattern Suv is input to the category detection unit 52, a cell that outputs 1 is defined as a cell i. Thereby, the sub-category detection unit 52i becomes operable, and only the sub-category detection unit 52i learns the learning pattern Suv. In this case, the sub-category detection unit 52i calculates the weighted sum, and the activation value uij of the cell j of the sub-category detection unit 52i is
[0176]
[Equation 57]

[0177]
It becomes. Here, hij is a variable threshold value of the cell j of the sub-category detection unit 52i. Based on this activation value, the output value oij of the cell j of the sub-category detection unit 52i is
[0178]
[Equation 58]

[0179]
It becomes. ci is a positive constant of 1 or less. This indicates that the cell having the maximum activity value and the cell having the activity value equivalent to the maximum activity value output 1 in the sub-category detection unit 52i. When the output value of the cell is determined, the sub-category detection weight Cijkl (j = 1 to Ni, k = 1 to T, l = 1 to Dk) of the sub category detection unit 52i is updated according to the following weight update formula.
[0180]
[Equation 59]

[0181]
Here, Ai is a sufficiently small positive constant. This indicates that the sub-category detecting unit 52i updates only the weights associated with the cells that output 1s. Further, it can be seen that the higher the attribute signal Suvk of the sub-category detection unit priority signal pik (k = 1 to T) is, the higher the priority signal is learned. The cell threshold of the sub-category detection unit 52i is updated based on the following equation.
[0182]
[Equation 60]

[0183]
Here, A2i is a sufficiently small positive real number of 1 or less. Such learning is sufficiently repeated for P1 × P2 learning patterns Suv (u = 1 to P1, v = 1 to P2), whereby the learning of the sub-category detecting unit 52i is completed.
[0184]
The operation in the recall mode of the simplified hierarchical pattern classification device with priority having the weights set as described above will be described below.
[0185]
In the recall mode, the external input signal S is input to the category detection unit 52, and the output value of the cell of the category detection unit 52 is calculated from (Equation 48) and (Equation 49). Here, it is assumed that the cell i of the category detection unit 52 outputs 1.
[0186]
In this case, the sub-category detection unit 52i becomes operable, and the external input signal S is input to the sub-category detection unit 52i. In the sub-category detection unit 52i, the output value of the cell of the sub-category detection unit 52i is calculated from (Equation 57) and (Equation 58), and one cell of the sub-category detection unit 52i outputs 1.
[0187]
From this, it is determined which category the external input signal S belongs to in the category detector 52, ie, the first hierarchical level, and which sub-category, i.e., which sub-category belongs in the second hierarchical level. be able to.
[0188]
When the cell j of the sub-category detecting unit 52i outputs 1 when the external input signal S is input, the output signal generating unit 54 outputs the output signal R
[0189]
[Equation 61]

[0190]
Is output. In this way, the simplified hierarchical pattern classification device with priority can also recall a learning pattern Suv similar to the external input signal S.
[0191]
In addition, by expanding the function of the category detection unit 52, it is possible to realize faster learning and retrieval and reduce memory. For example, in each cell i of the category detection unit 52, a learning pattern subset i for giving an output 1 to the cell i is stored. When the number of elements of the learning pattern sub-set i is 0, this can be realized by deleting the sub-category detecting unit 52i related to the cell i of the category detecting unit 52.
[0192]
Further, based on the priority signal pj (j = 1 to T) for the category detection unit and the priority signal pik (i = 1 to N, k = 1 to T) for the sub category detection unit, the learning pattern is The dimension of Suv can be reduced, and learning and retrieval can be speeded up and memory can be reduced.
[0193]
When the priority signal pj for the category detection unit is 0, it can be seen from Expression 48 that the attribute signal Sj of the external input signal S does not affect the operation of the category detection unit 52 in the learning mode and the recall mode. Similarly, when the sub-category detection unit priority signal pik of the sub-category detection unit 52i (i = 1 to N) is 0, the attribute signal Sk of the external input signal S is set to the learning mode and the recall of the sub-category detection unit 52i. (Equation 57) shows that the operation of the mode is not affected.
[0194]
Accordingly, when the priority signal pj for the category detection unit is 0, the category detection weight Cijk (i = 1 to N, k = 1 to Dj) of the category detection unit 52 coupled to the attribute signal Sj of the external input signal S ) Can be eliminated, and speeding up of learning and searching of the category detecting section 52 and reduction of memory can be realized. Similarly, when the sub-category detection unit priority signal pik of the sub-category detection unit 52i (i = 1 to N) is 0, the sub-category of the sub-category detection unit 52i coupled to the attribute signal Sk of the external input signal S The detection weight Cijkl (j = 1 to Ni, l = 1 to Dk) can be removed, and the learning and search of the subcategory detecting unit 52i can be speeded up and the memory can be reduced.
[0195]
As described above, according to the present embodiment, a hierarchical structure between stored items (learning patterns) is generated and stored based on similarity between the stored items (learning patterns) and a priority signal from a user, By using the hierarchical structure, stored items can be systematically, efficiently and flexibly searched according to the purpose. Also, by displaying the generated hierarchical structure, the user can easily understand the relationship between the stored items. Furthermore, the generation of the hierarchical structure and the search for the learning pattern can be realized at a higher speed than in the hierarchical pattern classification device of the first embodiment, and can be implemented with a small memory.
[0196]
【The invention's effect】
As described above, in the present invention, the operation is defined by the concept formation associative memory weight Wij (i = 1 to D, j = 1 to D) held therein, and the concept formation associative memory is triggered by the external input signal S. A concept of updating the signal X (t) and outputting a stable concept formation associative memory signal X (= X (t-1) = X (t)) when X (t-1) and X (t) become equal. Weights of the formation associative storage unit 11, the stable concept formation associative storage signal X output from the concept formation associative storage unit 11, and the category detection weight Cij (i = 1 to N, j = 1 to D) held therein. The category detection unit 12 is composed of N cells i (i = 1 to N) having the sum total as an active value, and at least one cell outputs 1 and the cell i of the category detection unit 12 is 1 Operation is possible only when output is being performed, and the The operation is defined by the concept inheritance associative memory weight Wijk (j = 1 to D, k = 1 to D), and the external input signal S and the stable concept forming associative memory signal X output from the concept forming associative storage unit 11 are used as triggers. The concept inheritance associative memory signal Xi (t) is updated. When Xi (t-1) becomes equal to Xi (t), the stable concept inheritance associative memory signal Xi (= Xi (t-1) = Xi (t)) , A stable concept inheritance associative storage signal Xi output by the concept inheritance associative storage unit 13i, and a sub-category detection weight Cijk (j = 1) held therein. Sub-category detection unit composed of Ni cells i (i = 1 to Ni) having an active value of a weighted sum of 〜Ni, k = 1 ＝ D) and at least one of the cells outputs 1 14i (i = 1 to N) An output signal generation unit 15 that receives the stable concept formation associative memory signal X output from the concept formation associative memory unit 11 and the stable concept inheritance associative memory signal Xi output from the concept inheritance associative memory unit 13i and generates an output signal R. By providing, the inheritance patterns belonging to the same category are stored in the same concept inheritance storage unit, so that the relationship between the stored items can be explicitly extracted, and information on the pattern classification such as which category the input pattern belongs to. Can be obtained. That is, based on the similarity between given items to be stored (learning patterns), a hierarchical structure between those items is generated and stored, and the stored items are systematically and flexibly stored using the hierarchical structure. Can be searched. Also, by displaying the generated hierarchical structure, the user can easily understand the relationship between the stored items.
[Brief description of the drawings]
FIG. 1 is a block diagram of a hierarchical pattern classification device (two layers) according to a first embodiment of the present invention;
FIG. 2 is a block diagram of a hierarchical pattern classification device (three layers) according to the first embodiment of the present invention;
FIG. 3 is a block diagram of a simplified hierarchical pattern classification device (two layers) according to a second embodiment of the present invention;
FIG. 4 is a block diagram of a simplified hierarchical pattern classification device (three layers) according to a second embodiment of the present invention;
FIG. 5 is a block diagram of a simplified hierarchical pattern classification device with priority according to a third embodiment of the present invention;
FIG. 6 is a block diagram of a conventional hierarchical concept inheritance associative storage device.
[Explanation of symbols]
11 Concept formation associative memory
12 Category detector
13i Associative memory for concept inheritance
14i sub-category detector
15 Output signal generator
21 Module A
22i module B
23ij module C
31 Category detector
31i Sub-category detector
32 Initial weight setting unit
33 output signal generator
41 Category detector
42i sub-category detector
43ij Sub 2 category detector
51 Priority control unit
52 Category detector
52i sub-category detector
53 Initial weight setting unit
54 Output signal generator
61 Concept Formation Associative Memory
62 Concept Succession Associative Memory
63 Output signal generator

Claims (8)

A first layer comprising a number N of cells having an active value as a weighted sum of an external input signal and a category detection weight held therein, and at least one or more cells having a category detection unit outputting 1 , And only when the i-th cell of the category detection section outputs 1, the number of Ni cells having an active value as a weighted sum of an external input signal and a sub-category detection weight held inside ( A second layer including N (N is an integer of 1 or more) sub-category detection units, each of which is composed of Ni (an integer of 1 or more) cells, wherein at least one or more cells output 1; initializes by providing sufficiently small random weights, initial setting to by adding small enough random the subcategories detected weight to the category detection weight after learning An initial weight setting unit, the sub-category receives a detection weight consisting of the output signal generator for generating an output signal simplified hierarchical pattern classifier. Simplified hierarchical pattern classification apparatus according to claim 1, wherein the number of layers is 3 or more. Each cell i (i is an integer of 1 or more and Ni or less) of the category detection unit stores a learning pattern that gives an output 1 to the cell i as a learning pattern subset i. When the number of elements of the learning pattern subset i is 0, 3. The simplified hierarchical pattern classification device according to claim 1, wherein the sub-category detection unit related to the cell i of the category detection unit is deleted. Each cell i (i is an integer of 1 or more and Ni or less) of the category detection unit stores a learning pattern that gives an output 1 to the cell i as a learning pattern subset i, and is common to all the learning patterns in the learning pattern subset i. 4. The simplified hierarchical pattern classification device according to claim 1, wherein a partial learning pattern is detected, and the partial learning pattern is deleted from all the learning patterns in the learning pattern subset i. Each cell i (i is an integer of 1 or more and Ni or less) of the sub-category detection unit stores a learning pattern that gives an output 1 to the cell i as a learning pattern subset i, and is common to all the learning patterns in the learning pattern subset i 5. The simplified hierarchical pattern classification apparatus according to claim 1, wherein a partial learning pattern is detected, and the partial learning pattern is deleted from all the learning patterns in the learning pattern subset i. A priority control unit for controlling the priority signal for the category detection unit and the priority signal for the sub-category detection unit; an external input signal composed of T attribute signals; and a category detection unit assigned to each attribute signal. It is composed of N cells i ( i = 1 to N, N is an integer of 1 or more) having an active value as a weighted sum of a priority signal and a category detection weight held therein , and at least one or more cells i. And a first layer having a category detector that outputs 1 in the first layer, and can operate only when the cell i in the category detector outputs 1, and an external input comprising T attribute signals active signal and the priority signal subcategories detector assigned to each attribute signal for cell i of the category detecting unit, a weighted sum of the subcategories detection weight retained therein Ni pieces have as a value (Ni is an integer of 1 or more) is composed of a cell, and a second hierarchy having N sub category detecting unit at least one or more cells to output a 1, the category detection weight Initializing by giving a sufficiently small random number, the sub-category detection weight is calculated using the learned category detection weight, the category detection unit priority signal, the sub-category detection priority signal, and a sufficiently small random number. A simplified hierarchical pattern classification device with priority order , comprising: an initial weight setting unit for initializing; and an output signal generation unit for receiving the sub-category detection weight and generating an output signal. 7. The simplified hierarchical pattern classification device with priority according to claim 6, wherein the number of hierarchies is three or more. Each cell i (i is an integer of 1 or more and Ni or less) of the category detection unit stores a learning pattern that gives an output 1 to the cell i as a learning pattern subset i. When the number of elements of the learning pattern subset i is 0, 8. The simplified hierarchical pattern classification device with priority order according to claim 6, wherein the sub-category detection unit related to the cell i of the category detection unit is deleted.

Images