JP3578166B2 - 簡略階層型パターン分類装置及び優先順位付き簡略階層型パターン分類装置 - Google Patents
簡略階層型パターン分類装置及び優先順位付き簡略階層型パターン分類装置 Download PDFInfo
- Publication number
- JP3578166B2 JP3578166B2 JP2003144484A JP2003144484A JP3578166B2 JP 3578166 B2 JP3578166 B2 JP 3578166B2 JP 2003144484 A JP2003144484 A JP 2003144484A JP 2003144484 A JP2003144484 A JP 2003144484A JP 3578166 B2 JP3578166 B2 JP 3578166B2
- Authority
- JP
- Japan
- Prior art keywords
- category
- learning
- category detection
- detection unit
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、与えられた記憶すべき事項間相互の類似性に基づきそれらの事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に目的に応じて記憶事項を検索することを可能にした記憶装置に関するものである。
【０００２】
【従来の技術】
近年、記憶装置としては、明示的に指定された番地の記憶や内容が完全に検索キーと一致する記憶を高速かつ正確に検索する装置だけではなく、検索キーが記憶事項と完全に一致しない場合でも記憶事項の内容に応じて連想的に柔軟な検索ができる装置や、記憶事項を与えるとそれらの事項間相互の類似性に基づいてそれら事項間の階層構造を自動的に生成して記憶し、その階層構造をユーザに表示することとその階層構造を利用して系統的かつ効率的に目的に応じて検索することができる装置が求められている。
【０００３】
以下に、従来の階層型概念継承連想記憶装置（平原、岡、金道：”階層的に相関を持つパターンを記憶するカスケード連想記憶モデル”、信学技法、ＮＣ９４−５８、１９９４）について説明する。図６は従来の階層型概念継承連想記憶装置を示すものである。図６において、６１はその内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）によって動作が規定され、外部入力信号Ｓをトリガーとして時刻ｔにおける概念形成連想記憶信号Ｘ（ｔ）を更新し、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する概念形成連想記憶部であり、６２はその内部に保持される概念継承連想記憶重みＷ１ｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）によって動作が規定され、外部入力信号Ｓと概念形成連想記憶部６１が出力する安定概念形成連想記憶信号Ｘをトリガーとして概念継承連想記憶信号Ｘ１（ｔ）を更新し、Ｘ１（ｔ−１）とＸ１（ｔ）が等しくなったとき安定概念継承連想記憶信号Ｘ１（＝Ｘ１（ｔ−１）＝Ｘ１（ｔ））を出力する概念継承連想記憶部であり、６３は概念形成連想記憶部６１が出力する安定概念形成連想記憶信号Ｘと概念継承連想記憶部６２が出力する安定概念継承連想記憶信号Ｘ１から出力信号Ｒを生成する出力信号生成部である。
【０００４】
ここでは、外部入力信号Ｓの次元の数をＤとし、外部入力信号Ｓの各要素Ｓｉ（ｉ＝１〜Ｄ）の値は±１とする。また、簡単のためカスケードのレベルの数を２として説明する。
【０００５】
まず、学習を行うためのＰ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１、ｖ＝１〜Ｐ２）の生成方法について述べる。学習パターンＳｕｖ（ｕ＝１〜Ｐ１、ｖ＝１〜Ｐ２）の生成に先立ち、Ｐ１個の親パターンＳｕ（ｕ＝１〜Ｐ１）を生成する。親パターンＳｕ（ｕ＝１〜Ｐ１）の各要素Ｓｕｉ（ｉ＝１〜Ｄ）は以下の確率Ｐｒ１（Ｓｕｉ）で±１の値をとる。
【０００６】
【数１】
【０００７】
ここで、ａ（−１＜ａ＜１）は親パターンの偏りである。ここで、ｘの平均をＥ［ｘ］で表すことにすると、親パターンの偏りはａ＝Ｅ［Ｓｕｉ］で定義される。また、δ［ｘ］はｘ＝０のとき値１をとり、それ以外の場合は値０をとる。
【０００８】
次に、各親パターンＳｕに対し、Ｐ２個の学習パターンＳｕｖ（ｖ＝１〜Ｐ２）を生成する。学習パターンＳｕｖの各要素Ｓｕｖｉ（ｉ＝１〜Ｄ）は以下の確率Ｐｒ２（Ｓｕｖｉ）で±１の値をとる。
【０００９】
【数２】
【００１０】
ここで、ｂ（０＜ｂ＜１）は親パターンと学習パターンとの間の相関の強さを示す相関パラメータである。
【００１１】
この様にして生成された学習パターンを用いて、従来の階層型概念継承連想記憶装置について、学習モードにおける動作を説明する。
【００１２】
学習モードでは、概念形成連想記憶装置６１は、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）を受け、その内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）を
【００１３】
【数３】
【００１４】
のように更新する。ここで、ｄ１（Ｗｉｊ）は定数でも概念形成連想記憶重みＷｉｊの関数でもよく、０から１までの値をとるものとする。例えば、ｄ１（Ｗｉｊ）は
【００１５】
【数４】
【００１６】
と書くことができる。ｄ２（Ｗｉｊ）も同様に定数でも概念形成連想記憶重みＷｉｊの関数でもよく、例えば、
【００１７】
【数５】
【００１８】
と書くことができる。これらの更新式に従ってＰ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）を学習させる。この学習により、学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）が親パターンＳｕ（ｕ＝１〜Ｐ１）と相関を持って作られた構造を持つパターンである場合、その親パターンＳｕ（ｕ＝１〜Ｐ１）にほぼ等しいパターンＳ’ｕ（ｕ＝１〜Ｐ１）が概念形成連想記憶部６１に記憶される。以降、概念形成連想記憶部６１に記憶されているパターンＳ’ｕ（ｕ＝１〜Ｐ１）を概念と呼ぶことにする。このことから、概念Ｓ’ｕ（ｕ＝１〜Ｐ１）に近い学習パターンＳｕｖ（ｖ＝１〜Ｐ２）が外部入力信号Ｓとして概念形成連想記憶部６１に入力された場合、概念形成連想記憶部６１は概念形成連想記憶信号Ｘ（ｔ）を更新しつづけ、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する。このとき、安定概念連想記憶信号Ｘはある概念Ｓ’ｕとなる。簡単のため、以降は親パターンＳｕと概念Ｓ’ｕは等しい（Ｓｕｉ＝Ｓ’ｕｉ ，ｕ＝１〜Ｐ１，ｉ＝１〜Ｄ）として、概念をＳｕ（ｕ＝１〜Ｐ１）で表すことにする。
【００１９】
つぎに、概念継承連想記憶部６２は、学習パターンＳｕｖとその学習パターンＳｕｖを概念形成連想記憶部６１に入力したときの安定概念連想記憶信号Ｘである概念Ｓｕとを受けて、その内部に保持される概念継承連想記憶重みＷ１ｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）を
【００２０】
【数６】
【００２１】
のように更新する。この概念継承連想記憶重みＷ１ｉｊの更新式から、概念継承連想記憶部６２はＳ’ｕｖｉ（＝ＳｕｖｉＳｕｉ， ｉ＝１〜Ｄ）を要素に持った継承パターンＳ’ｕｖを記憶していることがわかる。概念Ｓｕと学習パターンＳｕｖとの相関は非常に強いため、継承パターンＳ’ｕｖの多くの要素が１をとることになり、継承パターンＳ’ｕｖはスパースなパターンとなる。
【００２２】
このように設定された重みを持つ階層型概念継承連想記憶装置の想起モードにおける動作を以下に示す。
【００２３】
想起モード時には外部入力信号Ｓが概念形成連想記憶部６１に入力される。この入力をトリガーとし、概念形成連想記憶部６１ではその内部に保持する概念形成連想記憶重みＷｉｊに従って概念形成連想記憶信号Ｘ（ｔ）を以下の式に従って更新する。
【００２４】
【数７】
【００２５】
【数８】
【００２６】
【数９】
【００２７】
【数１０】
【００２８】
ここで、Ｘｉ（ｔ）は時刻ｔにおける概念形成連想記憶信号Ｘ（ｔ）のｉ番目の要素を示し、Ｕｉ（ｔ）は時刻ｔにおける概念形成ポテンシャル信号Ｕ（ｔ）のｉ番目の要素を示す。ここで、概念形成連想記憶信号Ｘ（ｔ）が安定化したとき（Ｘ（ｔ−１）＝Ｘ（ｔ））、概念形成連想記憶部６１は安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する。この安定概念形成連想記憶信号Ｘは外部入力信号Ｓに最も類似した概念Ｓｕとなる。
【００２９】
概念形成連想記憶部６１が安定化すると、安定概念形成連想記憶信号Ｘと外部入力信号Ｓとが概念継承連想記憶部６２に入力される。ここで、安定概念形成連想記憶信号Ｘが概念Ｓｕとなったことを仮定する。これらの入力をトリガーとし、概念継承連想記憶部６２ではその内部に保持する概念継承連想記憶重みＷ１ｉｊに従って、概念継承連想記憶信号Ｘ１（ｔ）を以下の式に従って更新する。
【００３０】
【数１１】
【００３１】
【数１２】
【００３２】
【数１３】
【００３３】
ここで、Ｕ１ｉ（ｔ）は時刻ｔにおける概念継承ポテンシャル信号Ｕ１（ｔ）のｉ番目の要素を示す。この動作により概念継承連想記憶信号Ｘ１（ｔ）が安定化したとき、概念継承連想記憶部６２は安定概念継承連想記憶信号Ｘ１（＝Ｘ１（ｔ−１）＝Ｘ１（ｔ））を出力する。すなわち、外部入力信号Ｓに類似した学習パターンＳｕｖに対応する継承パターンＳ’ｕｖが概念継承連想記憶部６２に想起されることになる。
【００３４】
このように、概念継承連想記憶部６２はスパースなパターンである継承パターンＳ’ｕｖを記憶している。記憶するパターンがスパースである場合、記憶容量が飛躍的に増大することが知られており、よって、概念継承連想記憶部６２は非常に大きな記憶容量を持っていることになる。
【００３５】
概念形成連想記憶部６１が安定概念形成連想記憶信号Ｘを出力し、概念継承連想記憶部６２が安定概念継承連想記憶信号Ｘ１すると、出力信号生成部６３は以下の式に基づいて、出力信号Ｒを計算する。
【００３６】
【数１４】
【００３７】
ここで、Ｒｉは出力信号Ｒのｉ番目の要素を示す。このように、出力信号生成部６３は外部入力信号Ｓに類似した学習パターンＳｕｖを想起することができる。
【００３８】
【発明が解決しようとする課題】
しかしながら、上記従来の階層型概念継承連想記憶装置では、継承パターンが概念継承連想記憶部６２に一様に重ね合わされた形で記憶されるため、記憶事項間の関係、すなわち、階層構造を取り出すことができず、入力パターンがどのカテゴリーに属するのかといったパターンの分類に関する情報を得ることができないため、ユーザーに記憶事項間の関係を提供することができないという課題と、系統的かつ効率的で目的に応じた検索をするための充分な機能を持っていないという課題を有していた。
【００３９】
本発明は上記従来の課題を解決するもので、与えられた記憶すべき記憶事項間相互の類似性に基づきそれらの間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に目的に応じて記憶事項を検索することができる階層型パターン分類装置と簡略階層型パターン分類装置と優先順位付き簡略階層型パターン分類装置を提供することを目的とする。
【００４０】
【課題を解決するための手段】
この目的を達成するために本発明の階層型パターン分類装置は、外部入力信号を受けて安定概念形成連想記憶信号を出力する概念形成連想記憶部と、安定概念形成連想記憶信号を分類するカテゴリー検出部と、カテゴリー検出部からの出力信号を受けることにより動作可能となり、外部入力信号と安定概念形成連想記憶信号とを受けて安定概念継承連想記憶信号を出力する複数の概念継承連想記憶部と、安定概念継承連想記憶信号を分類する複数のサブカテゴリー検出部と、安定概念形成連想記憶信号と安定概念継承連想記憶信号を受けて出力信号を生成する出力信号生成部とからなる構成を有している。
【００４１】
この構成によって、本発明の階層型パターン分類装置は、同じカテゴリーに属す継承パターン（実施の形態１参照）は同じ概念継承連想記憶部に記憶されるため、記憶事項間の関係を明示的に取り出すことができ、入力パターンがどのカテゴリーに属するのかといったパターンの分類に関する情報を得ることができる。すなわち、与えられた記憶すべき事項（学習パターン）間相互の類似性に基づき、それらの事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ柔軟に記憶事項を検索することができる。さらに、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。
【００４２】
【発明の実施の形態】
（実施の形態１）
以下、第１の実施の形態（階層型パターン分類装置）について図面を参照しながら説明する。
【００４３】
図１において、１１はその内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ，Ｄは次元）によって動作が規定され、外部入力信号Ｓをトリガーとして概念形成連想記憶信号Ｘ（ｔ）を更新し、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する概念形成連想記憶部であり、１２は概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘとその内部に保持されるカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）との重みづけ総和を活性値として持つＮ個のセルｉ（ｉ＝１〜Ｎ）から構成され、少なくとも一つ以上のセルが１を出力するカテゴリー検出部であり、１３ｉ（ｉ＝１〜Ｎ）はカテゴリー検出部１２のセルｉが１を出力している場合のみ動作可能となり、その内部に保持される概念継承連想記憶重みＷｉｊｋ（ｊ＝１〜Ｄ，ｋ＝１〜Ｄ）によって動作が規定され、外部入力信号Ｓと概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘをトリガーとして概念継承連想記憶信号Ｘｉ（ｔ）を更新し、Ｘｉ（ｔ−１）とＸｉ（ｔ）が等しくなったとき安定概念継承連想記憶信号Ｘｉ（＝Ｘｉ（ｔ−１）＝Ｘｉ（ｔ））を出力する概念継承連想記憶部であり、１４ｉ（ｉ＝１〜Ｎ）は概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉとその内部に保持されるサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）との重みづけ総和を活性値として持つＮｉ個のセルｉ（ｉ＝１〜Ｎｉ）から構成され、少なくとも１つ以上のセルが１を出力するサブカテゴリー検出部であり、１５は概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘと概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉを受けて出力信号Ｒを生成する出力信号生成部である。
【００４４】
なお、本実施の形態では簡単のため階層型パターン分類装置の階層数を２として説明しているが、この制限は本質的な問題ではなく、３以上の階層数を持つ階層型パターン分類装置にも容易に拡張することができる。また、外部入力信号Ｓの次元の数をＤとし、外部入力信号Ｓの各要素Ｓｉ（ｉ＝１〜Ｄ）の値は±１とする。
【００４５】
まず、学習を行うためのＰ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１、ｖ＝１〜Ｐ２）の生成方法について述べる。学習パターンＳｕｖ（ｕ＝１〜Ｐ１、ｖ＝１〜Ｐ２）の生成に先立ち、Ｐ１個の親パターンＳｕ（ｕ＝１〜Ｐ１）を生成する。親パターンＳｕ（ｕ＝１〜Ｐ１）の各要素Ｓｕｉ（ｉ＝１〜Ｄ）は以下の確率Ｐｒ１（Ｓｕｉ）で±１の値をとる。
【００４６】
【数１５】
【００４７】
ここで、ａ（−１＜ａ＜１）は親パターンの偏りであり、Ｅ［Ｓｕｉ］＝ａ（Ｅは平均値）で定義される。また、δ［ｘ］はｘ＝０のとき値１をとり、それ以外の場合は値０をとる。
【００４８】
次に、各親パターンＳｕに対し、Ｐ２個の学習パターンＳｕｖ（ｖ＝１〜Ｐ２）を生成する。学習パターンＳｕｖの各要素Ｓｕｖｉ（ｉ＝１〜Ｄ）は以下の確率Ｐｒ２（Ｓｕｖｉ）で±１の値をとる。
【００４９】
【数１６】
【００５０】
ここで、ｂ（０＜ｂ＜１）は親パターンと学習パターンとの間の相関パラメータである。
【００５１】
この様にして生成された学習パターンを用いて、図１の階層型パターン分類装置について、学習モードにおける動作を説明する。
【００５２】
学習モードでは、概念形成連想記憶装置１１は、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）を受け、その内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）を
【００５３】
【数１７】
【００５４】
のように更新する。ここで、ｄ１（Ｗｉｊ）は定数でも概念形成連想記憶重みＷｉｊの関数でもよく、０から１までの値をとるものとする。例えば、ｄ１（Ｗｉｊ）は
【００５５】
【数１８】
【００５６】
と書くことができる。ｄ２（Ｗｉｊ）も同様に定数でも概念形成連想記憶重みＷｉｊの関数でもよく、例えば、
【００５７】
【数１９】
【００５８】
と書くことができる。これらの更新式に従ってＰ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）を学習させる。この学習により、学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）が親パターンＳｕ（ｕ＝１〜Ｐ１）と相関を持って作られた構造を持つパターンである場合、その親パターンＳｕ（ｕ＝１〜Ｐ１）にほぼ等しいパターンＳ’ｕ（ｕ＝１〜Ｐ１）が概念形成連想記憶部１１に記憶される。以降、概念形成連想記憶部１１に記憶されているパターンＳ’ｕ（ｕ＝１〜Ｐ１）を概念と呼ぶことにする。これにより、概念Ｓ’ｕ（ｕ＝１〜Ｐ１）に近い学習パターンＳｕｖが外部入力信号Ｓとして概念形成連想記憶部１１に入力された場合、概念形成連想記憶部１１は概念形成連想記憶信号Ｘ（ｔ）を更新しつづけ、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する。このときの安定概念連想記憶信号Ｘは概念Ｓ’ｕとなる。簡単のため、以降は親パターンＳｕと概念Ｓ’ｕは等しい（Ｓｕｉ＝Ｓ’ｕｉ ，ｕ＝１〜Ｐ１，ｉ＝１〜Ｄ）として、概念をＳｕ（ｕ＝１〜Ｐ１）で表すことにする。
【００５９】
概念形成連想記憶部１１の学習が終わると、カテゴリー検出部１２の学習が始まる。
【００６０】
まず、カテゴリー検出部１２のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）は充分小さな乱数に初期設定される。また、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の平均パターンに充分小さな乱数を加えることでカテゴリー検出部１２のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）を初期設定することにより、学習速度および学習結果の向上が実現できる。つぎに、学習パターンＳｕｖが概念形成連想記憶部１１に入力され、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕを出力する。カテゴリー検出部１２はこの概念Ｓｕを学習することになる。この場合、カテゴリー検出部１２では重みづけ総和が計算され、カテゴリー検出部１２のセルｉの活性値ｕｉは
【００６１】
【数２０】
【００６２】
となる。ここで、ｈｉはカテゴリー検出部１２のセルｉの可変の閾値である。この活性値に基づいて、カテゴリー検出部１２のセルｉの出力値ｏｉは
【００６３】
【数２１】
【００６４】
となる。ここで、ｃ（０＜ｃ≦１）は定数である。このことから、カテゴリー検出部１２では最大活性値をもつセルおよび最大活性値と同等の活性値を持つセルが１を出力することがわかる。セルの出力値が決まると、カテゴリー検出部１２のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）は以下の重み更新式に従って更新される。
【００６５】
【数２２】
【００６６】
ここで、Ａは充分小さな正の実数とする。このことから、カテゴリー検出部１２では１を出力したセルに結合する重みのみが更新されることがわかる。また、カテゴリー検出部１２のセルの閾値は以下の式に基づいて更新される。
【００６７】
【数２３】
【００６８】
ここで、Ａ１は１以下の充分小さな正の実数とする。この様な学習を、全ての学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して充分繰り返し行うことで、カテゴリー検出部１２の学習が終了する。
【００６９】
カテゴリー検出部１２の学習が終了すると、概念継承連想記憶部１３ｉ（ｉ＝１〜Ｎ）の学習が行われる。
【００７０】
学習パターンＳｕｖを学習することを考える。まず、学習パターンＳｕｖが概念形成連想記憶部１１に入力され、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕを出力する。カテゴリー検出部１２はこの概念Ｓｕを学習しており、カテゴリー検出部１２のセルｉが１を出力したものと仮定する。このとき、カテゴリー検出部１２のセルｉに結合する概念継承連想記憶部１３ｉが動作可能の状態となる。この場合、概念継承連想記憶部１３ｉは、学習パターンＳｕｖとその学習パターンＳｕｖを概念形成連想記憶部１１に入力したときの安定概念連想記憶信号Ｘである概念Ｓｕとを受けて、その内部に保持される概念継承連想記憶重みＷｉｊｋ（ｊ＝１〜Ｄ，ｋ＝１〜Ｄ）を
【００７１】
【数２４】
【００７２】
のように更新する。この概念継承連想記憶重みＷｉｊｋの更新式から、概念継承連想記憶部１３ｉはＳ’ｕｖｊ（＝ＳｕｖｊＳｕｊ， ｊ＝１〜Ｄ）を要素に持った継承パターンＳ’ｕｖを記憶していることがわかる。概念Ｓｕｊと学習パターンＳｕｖｊとの相関は非常に強いため、継承パターンＳ’ｕｖの多くの要素が１をとることになり、継承パターンＳ’ｕｖはスパースなパターンとなる。この様な学習を、全ての学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して行うことで、概念継承連想記憶部１３ｉの学習が終了する。
【００７３】
このように、学習パターンＳｕｖに類似した外部入力信号Ｓが階層型パターン分類装置に入力された場合、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘとして概念Ｓｕを出力し、概念継承連想記憶部１３ｉは安定概念継承連想記憶信号Ｘｉとして継承パターンＳ’ｕｖを出力する。
【００７４】
次に、サブカテゴリー検出部１４ｉの学習について説明する。この学習は概念継承連想記憶部１３ｉの学習と同時に進行させることができるが、以下では概念継承連想記憶部１３ｉの学習が終了したものとして説明する。
【００７５】
まず、サブカテゴリー検出部１４ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）は充分小さな乱数に初期設定される。ここで、学習パターンＳｕｖを学習することについて考える。まず、学習パターンＳｕｖが概念形成連想記憶部１１に入力され、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕを出力する。カテゴリー検出部１２はこの概念Ｓｕを学習しており、カテゴリー検出部１２のセルｉが１を出力したものと仮定する。このとき、カテゴリー検出部１２のセルｉに結合する概念継承連想記憶部１３ｉが動作可能の状態となり、概念継承連想記憶部１３ｉは安定概念継承連想記憶信号Ｘｉとして継承パターンＳ’ｕｖを出力する。サブカテゴリー検出部１４ｉはこの継承パターンＳ’ｕｖを学習することになる。この場合、サブカテゴリー検出部１４ｉでは重みづけ総和が計算され、サブカテゴリー検出部１４ｉのセルｊの活性値ｕｉｊは
【００７６】
【数２５】
【００７７】
となる。ここで、ｈｉｊはサブカテゴリー検出部１４ｉのセルｊの可変の閾値である。この活性値に基づいて、サブカテゴリー検出部１４ｉのセルｊの出力値ｏｉｊは
【００７８】
【数２６】
【００７９】
となる。ここで、ｃｉ（０＜ｃｉ≦１）は定数である。このことから、サブカテゴリー検出部１４ｉでは最大活性値のｃｉ倍以上の活性値をもつセルが１を出力することがわかる。セルの出力値が決まると、サブカテゴリー検出部１４ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）は以下の重み更新式に従って更新される。
【００８０】
【数２７】
【００８１】
ここで、Ａｉは充分小さな正の定数とする。このことから、サブカテゴリー検出部１４ｉでは１を出力したセルに結合する重みのみが更新されることがわかる。また、サブカテゴリー検出部１４ｉのセルの閾値は以下の式に基づいて更新される。
【００８２】
【数２８】
【００８３】
ここで、Ａ２ｉは１以下の充分小さな正の実数とする。この様な学習を全ての学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して充分繰り返し行うことで、サブカテゴリー検出部１４ｉの学習が終了する。
【００８４】
このように設定された重みを持つ階層型パターン分類装置の想起モードにおける動作を以下に示す。
【００８５】
想起モード時には外部入力信号Ｓが概念形成連想記憶部１１に入力される。この入力をトリガーとし、概念形成連想記憶部１１ではその内部に保持する概念形成連想記憶重みＷｉｊに従って概念形成連想記憶信号Ｘ（ｔ）を以下の式に従って更新する。
【００８６】
【数２９】
【００８７】
【数３０】
【００８８】
【数３１】
【００８９】
【数３２】
【００９０】
ここで、Ｘｉ（ｔ）は時刻ｔにおける概念形成連想記憶信号Ｘ（ｔ）のｉ番目の要素を示し、Ｕｉ（ｔ）は時刻ｔにおける概念形成ポテンシャル信号Ｕ（ｔ）のｉ番目の要素を示す。ここで、概念形成連想記憶信号Ｘ（ｔ）が安定化したとき、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する。この安定概念形成連想記憶信号Ｘは外部入力信号Ｓに最も類似した概念Ｓｕ（ｕ＝１〜Ｐ１）となることが期待できる。以降、外部入力信号Ｓが概念形成連想記憶部１１に入力されたときの安定概念形成連想記憶信号Ｘが概念Ｓｕとなることを仮定する。
【００９１】
次に、概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕがカテゴリー検出部１２に入力され、（数２０）および（数２１）からカテゴリー検出部１２のセルの出力値が計算される。ここで、カテゴリー検出部１２のセルｉが１を出力したと仮定する。
【００９２】
このとき、カテゴリー検出部１２のセルｉに結合する概念継承連想記憶部１３ｉが動作可能の状態となり、外部入力信号Ｓと概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕが概念継承連想記憶部１３ｉに入力される。これらの入力をトリガーとし、概念継承連想記憶部１３ｉではその内部に保持する概念継承連想記憶重みＷｉｊｋに従って、概念継承連想記憶信号Ｘｉ（ｔ）を以下の式に従って更新する。
【００９３】
【数３３】
【００９４】
【数３４】
【００９５】
【数３５】
【００９６】
ここで、Ｕｉｊ（ｔ）は時刻ｔにおける概念継承ポテンシャル信号Ｕｉｊ（ｔ）のｊ番目の要素を示す。この動作により概念継承連想記憶信号Ｘｉ（ｔ）が安定化したとき、概念継承連想記憶部１３ｉは安定概念継承連想記憶信号Ｘｉ（＝Ｘｉ（ｔ−１）＝Ｘｉ（ｔ））を出力する。すなわち、外部入力信号Ｓに類似した学習パターンＳｕｖに対応する継承パターンＳ’ｕｖが概念継承連想記憶部１３ｉに想起されることになる。
【００９７】
このように、概念継承連想記憶部１３ｉはスパースなパターンである継承パターンＳ’ｕｖを記憶している。記憶するパターンがスパースである場合、記憶容量が飛躍的に増大することが知られており、よって、概念継承連想記憶部１３ｉは非常に大きな記憶容量を持っていることになる。
【００９８】
次に、概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉ、すなわち、概念Ｓ’ｕｖがサブカテゴリー検出部１４ｉに入力され、（数２５）および（数２６）からサブカテゴリー検出部１４ｉのセルの出力値が計算され、サブカテゴリー検出部１４ｉの１つのセルが１を出力する。
【００９９】
このことから、外部入力信号Ｓがカテゴリー検出部１２、すなわち、第１階層レベルでどのカテゴリーに属し、また、サブカテゴリー検出部１３ｉ、すなわち、第２階層レベルでどのサブカテゴリーに属するのかを判断することができる。
【０１００】
また、出力信号生成部１５は概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕと、概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉ、すなわち、継承パターンＳ’ｕｖを受けることにより、出力信号Ｒを以下の式に基づいて計算する。
【０１０１】
【数３６】
【０１０２】
ここで、Ｒｉは出力信号Ｒのｉ番目の要素を示す。このように、出力信号生成部１５では、外部入力信号Ｓに最も類似した学習パターンＳｕｖが生成される。
【０１０３】
また、カテゴリー検出部１２の機能を拡張することにより学習や検索の高速化およびメモリーの削減が実現できる。例えば、カテゴリー検出部１２の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉの要素数が０である場合、カテゴリー検出部１２のセルｉに関係する概念継承連想記憶部１３ｉおよびサブカテゴリー検出部１４ｉを削除することによって実現される。
【０１０４】
さらに、Ｄ次元の学習パターンＳｕｖがＴ個の部分学習パターンＳｕｖｊ（ｊ＝１〜Ｔ）（部分学習パターンＳｕｖｊの次元をＤｊとする。）に分割できる場合、カテゴリー検出部１２の機能を拡張することにより、概念継承連想記憶部１３ｉが記憶する継承パターンＳ’ｕｖの次元を削減することができる。例えば、カテゴリー検出部１２の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉに含まれる全ての学習パターンのある部分学習パターンが学習パターンサブ集合ｉに含まれる全ての学習パターンと等しい場合、その部分学習パターンを各学習パターンから削除し（すなわち、その部分学習パターンに対応する部分継承パターンを削除する）、カテゴリー検出部１２以降の概念継承連想記憶部１３ｉおよびサブカテゴリー検出部１４ｉに学習させることにより継承パターンの次元削減が実現できる。
【０１０５】
同様にサブカテゴリー検出部１４ｉの機能を上述したように拡張すれば、さらに、継承パターンの次元削減が可能となる。
【０１０６】
なお、本実施の形態では簡単のため階層型パターン分類装置の階層数を２として説明したが、この制限は本質的な問題ではなく、３以上の階層数を持つ階層型パターン分類装置にも容易に拡張することができる。階層数が３の場合の階層型パターン分類装置の略図（出力生成部を除く）を図２に示す。図２において、２１は概念形成連想記憶部１１とカテゴリー検出部１２とをひとまとめにしたモジュールＡであり、２２ｉ（ｉ＝１〜Ｎ）は継承パターン用概念形成連想記憶部（その動作は概念形成連想記憶部１１と同じであり、概念形成連想記憶部１１は学習パターンそのものを学習するのに対し、継承パターン用概念形成連想記憶部は学習パターンの継承パターンを学習する）とカテゴリー検出部（その動作はカテゴリー検出部１２と同じであり、継承パターン用概念形成連想記憶部の出力する安定パターンを学習する）とをひとまとめにしたモジュールＢであり、２３ｉｊ（ｊ＝１〜Ｎｉ）は概念継承連想記憶部１２ｉとサブカテゴリー検出部１２ｉとをひとまとめにしたモジュールＣである。図２では簡単のため、モジュールＡ２１からモジュールＢ２２ｉへの入力線を１本としているが、実際にはモジュールＡ２１内部の概念形成連想記憶部が出力する安定概念形成連想記憶信号とカテゴリー検出部のセルからの出力信号の２種類の信号がモジュールＢ２２ｉに入ることになる。同様に、モジュールＢ２２ｉからモジュールＣ２３ｉｊへの入力線を１本としているが、実際にはモジュールＢ２２ｉ内部の継承パターン用概念形成連想記憶部が出力する安定概念形成連想記憶信号とカテゴリー検出部のセルからの出力信号の２種類の信号がモジュールＣ２３ｉｊに入ることになる。このように３以上の階層数を持つ階層型パターン分類装置に容易に拡張することができる。
【０１０７】
以上のように本実施の形態によれば、同じカテゴリーに属す継承パターン（実施の形態１参照）は同じ概念継承記憶部に記憶されるため、記憶事項間の関係を明示的に取り出すことができ、入力パターンがどのカテゴリーに属するのかといったパターンの分類に関する情報を得ることができる。すなわち、与えられた記憶すべき事項（学習パターン）間相互の類似性に基づき、それらの事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に記憶事項を検索することができる。さらに、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。
【０１０８】
（実施の形態２）
以下、本発明の第２の実施の形態（簡略階層型パターン分類装置）について図面を参照しながら説明する。
【０１０９】
図３において、３１は外部入力信号Ｓ（各要素をＳｉ（ｉ＝１〜Ｄ）で表す）とその内部に保持されるカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）との重みづけ総和を活性値として持つＮ個のセルｉ（ｉ＝１〜Ｎ）から構成され、少なくとも１つ以上のセルが１を出力するカテゴリー検出部であり、３１ｉ（ｉ＝１〜Ｎ）はカテゴリー検出部３１のセルｉが１を出力している場合のみ動作可能となり、外部入力信号Ｓとその内部に保持されるサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）との重みづけ総和を活性値として持つＮｉ個のセルから構成され、少なくとも１つ以上のセルが１を出力するサブカテゴリー検出部であり、３２はカテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）に充分小さな乱数を与えることにより初期化し、また、学習後のカテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）を考慮してサブカテゴリー検出部３１ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）を初期設定する初期重み設定部であり、３３はサブカテゴリー検出部３１ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）を受けて出力信号Ｒを生成する出力信号生成部である。
【０１１０】
なお、本実施の形態では簡単のため簡略階層型パターン分類装置の階層数を２として説明しているが、この制限は本質的な問題ではなく、３以上の階層数を持つ簡略階層型パターン分類装置にも容易に拡張することができる（後述）。
【０１１１】
以上のように構成された２階層の簡略階層型パターン分類装置について、学習における動作を説明する。学習モードでは、カテゴリー検出部３１の学習から始まることになる。
【０１１２】
まず、カテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）は初期重み設定部３２によって充分小さな乱数に初期設定される。また、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の平均パターンに充分小さな乱数を加えることでカテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）を初期設定することにより、学習速度および学習結果の向上が実現できる。つぎに、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）がカテゴリー検出部３１に順に入力され、逐次的に学習が行われる。学習パターンＳｕｖがカテゴリー検出部３１に入力された場合を考える。この場合、カテゴリー検出部３１では重みづけ総和が計算され、カテゴリー検出部３１のセルｉの活性値ｕｉは
【０１１３】
【数３７】
【０１１４】
となる。ここで、ｈｉはカテゴリー検出部３１のセルｉの可変の閾値である。この活性値に基づいて、カテゴリー検出部３１のセルｉの出力値ｏｉは
【０１１５】
【数３８】
【０１１６】
となる。ｃは１以下の正の定数とする。このことから、カテゴリー検出部３１では最大活性値をもつセルおよびそれと同等の活性値を持つセルが１を出力することがわかる。セルの出力値が決まると、カテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）は以下の重み更新式に従って更新される。
【０１１７】
【数３９】
【０１１８】
ここで、Ａは充分小さな正の実数とする。このことから、カテゴリー検出部３１では１を出力したセルに結合する重みのみが更新されることがわかる。また、カテゴリー検出部３１のセルの閾値は以下の式に基づいて更新される。
【０１１９】
【数４０】
【０１２０】
ここで、Ａ１は１以下の充分小さな正の実数とする。この様な学習を、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して、充分繰り返し行うことで、カテゴリー検出部３１の学習が終了する。
【０１２１】
カテゴリー検出部３１の学習が終了すると、サブカテゴリー検出部３１ｉ（ｉ＝１〜Ｎ）の学習が行われる。
【０１２２】
まず、サブカテゴリー検出部３１ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）は初期重み設定部３２によって以下のように初期設定される。
【０１２３】
【数４１】
【０１２４】
ここで、αは充分小さな乱数である。これにより、サブカテゴリー検出部３１ｉの持つサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）はカテゴリー検出部３１の持つカテゴリー検出重みＣｉｊ（ｊ＝１〜Ｄ）を中心として分布することになる。
【０１２５】
サブカテゴリー検出部３１ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）の初期設定が終わると、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の学習が行われる。ここで、学習パターンＳｕｖの学習について考える。この場合、まず、学習パターンＳｕｖはカテゴリー検出部３１に入力される。カテゴリー検出部３１では（数３７）および（数３８）に基づいて、セルの出力値を計算する。ここで、学習パターンＳｕｖがカテゴリー検出部３１に入力されたとき、１を出力したセルをセルｉとする。これにより、サブカテゴリー検出部３１ｉが動作可能となり、サブカテゴリー検出部３１ｉが学習パターンＳｕｖを学習する。この場合、サブカテゴリー検出部３１ｉでは重みづけ総和が計算され、サブカテゴリー検出部３１ｉのセルｊの活性値ｕｉｊは
【０１２６】
【数４２】
【０１２７】
となる。ここで、ｈｉｊはサブカテゴリー検出部３１ｉのセルｊの可変の閾値である。この活性値に基づいて、サブカテゴリー検出部３１ｉのセルｊの出力値ｏｉｊは
【０１２８】
【数４３】
【０１２９】
となる。ｃｉは１以下の正の定数とする。このことから、サブカテゴリー検出部３１ｉでは最大活性値のｃｉ倍以上の活性値をもつセルが１を出力することがわかる。セルの出力値が決まると、サブカテゴリー検出部３１ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）は以下の重み更新式に従って更新される。
【０１３０】
【数４４】
【０１３１】
ここで、Ａｉは充分小さな正の定数とする。このことから、サブカテゴリー検出部３１ｉでは１を出力したセルに結合する重みのみが更新されることがわかる。また、サブカテゴリー検出部３１ｉのセルの閾値は以下の式に基づいて更新される。
【０１３２】
【数４５】
【０１３３】
ここで、Ａ２ｉは１以下の充分小さな正の実数とする。この様な学習を、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して、充分繰り返し行うことで、サブカテゴリー検出部３１ｉの学習が終了する。
【０１３４】
このように設定された重みを持つ簡略階層型パターン分類装置の想起モードにおける動作を以下に示す。
【０１３５】
想起モード時には外部入力信号Ｓがカテゴリー検出部３１に入力され、（数３７）および（数３８）からカテゴリー検出部３１のセルの出力値が計算される。ここで、カテゴリー検出部３１のセルｉが１を出力したと仮定する。
【０１３６】
この場合、サブカテゴリー検出部３１ｉが動作可能となり、外部入力信号Ｓがサブカテゴリー検出部３１ｉに入力される。サブカテゴリー検出部３１ｉでは、（数４２）および（数４３）からサブカテゴリー検出部３１ｉのセルの出力値が計算され、サブカテゴリー検出部３１ｉの１つのセルが１を出力する。
【０１３７】
このことから、外部入力信号Ｓがカテゴリー検出部３１、すなわち、第１階層レベルでどのカテゴリーに属し、また、サブカテゴリー検出部３１ｉ、すなわち、第２階層レベルでどのサブカテゴリーに属するのかを判断することができる。
【０１３８】
また、外部入力信号Ｓが入力されたときに、サブカテゴリー検出部３１ｉのセルｊが１を出力したとすると、出力信号生成部３３は出力信号Ｒ
【０１３９】
【数４６】
【０１４０】
を出力する。この様に、簡略階層型パターン分類装置は外部入力信号Ｓに類似した学習パターンＳｕｖを想起することもできる。
【０１４１】
また、カテゴリー検出部３１の機能を拡張することにより学習や検索の高速化およびメモリーの削減が実現できる。例えば、カテゴリー検出部３１の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉの要素数が０である場合、カテゴリー検出部３１のセルｉに関係するサブカテゴリー検出部３１ｉを削除することによって実現される。
【０１４２】
さらに、Ｄ次元の学習パターンＳｕｖがＴ個の部分学習パターンＳｕｖｊ（ｊ＝１〜Ｔ）（部分学習パターンＳｕｖｊの次元をＤｊとする。）に分割できる場合、カテゴリー検出部３１の機能を拡張することにより、学習パターンＳｕｖの次元を削減することができる。例えば、カテゴリー検出部３１の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉに含まれる全ての学習パターンのある部分学習パターンが学習パターンサブ集合ｉに含まれる全ての学習パターンと等しい場合、その部分学習パターンを各学習パターンから削除し、その部分学習パターンをカテゴリー検出部３１以降のサブカテゴリー検出部３１ｉに学習させることにより学習パターンの次元削減が実現できる。
【０１４３】
同様にサブカテゴリー検出部１２ｉの機能を上述したように拡張すれば、さらに、学習パターンの次元削減が可能となる。
【０１４４】
なお、本実施の形態では簡単のため簡略階層型パターン分類装置の階層数を２として説明したが、この制限は本質的な問題ではなく、３以上の階層数を持つ簡略階層型パターン分類装置にも容易に拡張することができる。階層数が３の場合の簡略階層型パターン分類装置の略図（出力生成部と初期重み設定部を除く）を図４に示す。図４において、４１はカテゴリー検出部３１と同じであり、４１ｉ（ｉ＝１〜Ｎ）はサブカテゴリー検出部３１ｉと同じであり、４１ｉｊ（ｊ＝１〜Ｎｉ）はサブカテゴリー検出部３１ｉと同じ機能を持つサブ２カテゴリー検出部である。このように３以上の階層数を持つ簡略階層型パターン分類装置に容易に拡張することができる。
【０１４５】
以上のように本実施の形態によれば、与えられた記憶事項（学習パターン）間相互の類似性に基づきそれらの記憶事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に目的に応じて記憶事項を検索することができる。また、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。さらに、実施の形態１の階層型パターン分類装置よりも、階層構造の生成及び学習パターンの検索を高速に実現することができ、さらに少ないメモリーでインプリメントできる。
【０１４６】
（実施の形態３）
以下、本発明の第３の実施の形態（優先順位付き簡略階層型パターン分類装置）について図面を参照しながら説明する。
【０１４７】
図５において、５１はカテゴリー検出部用優先順位信号ｐｉ（ｉ＝１〜Ｔ）及びサブカテゴリー検出部用優先順位信号ｐｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ）を制御する優先順位制御部であり、５２はＴ個の属性信号Ｓｉ（ｉ＝１〜Ｔ）から構成される外部入力信号Ｓとその内部に保持されるカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）との重みづけ総和を活性値として持つＮ個のセルｉ（ｉ＝１〜Ｎ）から構成され、少なくとも１つ以上のセルが１を出力するカテゴリー検出部であり、５２ｉ（ｉ＝１〜Ｎ）はカテゴリー検出部５２のセルｉが１を出力している場合のみ動作可能となり、外部入力信号Ｓとその内部に保持されるサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）との重みづけ総和を活性値として持つＮｉ個のセルから構成され、少なくとも１つ以上のセルが１を出力するサブカテゴリー検出部であり、５３はカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）に充分小さな乱数を与えることにより初期化し、また、学習後のカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）を考慮してサブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）を初期設定する初期重み設定部であり、５４はサブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）を受けて出力信号Ｒを生成する出力信号生成部である。
【０１４８】
なお、本実施の形態では簡単のため優先順位付き簡略階層型パターン分類装置の階層数を２として説明しているが、この制限は本質的な問題ではなく、３以上の階層数を持つ優先順位付き簡略階層型パターン分類装置にも容易に拡張することができる（実施の形態２参照）。また、外部入力信号ＳはＴ個の属性信号Ｓｉ（ｉ＝１〜Ｔ）から構成されることを仮定し、各学習パターンＳｕｖも同様にＴ個の属性信号Ｓｕｖｉ（ｉ＝１〜Ｔ）から構成される（つまり部分学習パターンに分割可能である）ことを仮定する。さらに、属性信号Ｓｉの次元をＤｉで表す。これにより、外部入力信号Ｓの次元ＤはΣＤｉと表すことができる。
【０１４９】
以上のように構成された２階層の優先順位付き簡略階層型パターン分類装置について、その動作を説明する。
【０１５０】
まず、優先順位制御部５１はユーザーからのカテゴリー検出部用優先順位信号ｐｉ（ｉ＝１〜Ｔ）（ｐｉ≧０）を記憶し、カテゴリー検出部用優先順位信号ｐｉ（ｉ＝１〜Ｔ）は
【０１５１】
【数４７】
【０１５２】
に従って更新される。
【０１５３】
つぎに、学習モードにおける動作を説明する。学習モードでは、カテゴリー検出部５２の学習から始まることになる。
【０１５４】
まず、カテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）は初期重み設定部５３によって充分小さな乱数に初期設定される。また、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の平均パターンに充分小さな乱数を加えることでカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）を初期設定することにより、学習速度および学習結果の向上が実現できる。つぎに、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）がカテゴリー検出部５２に順に入力され、逐次的に学習が行われる。学習パターンＳｕｖがカテゴリー検出部５２に入力された場合を考える。この場合、カテゴリー検出部５２では重みづけ総和が計算され、カテゴリー検出部５２のセルｉの活性値ｕｉは
【０１５５】
【数４８】
【０１５６】
となる。ここで、ｈｉはカテゴリー検出部５２のセルｉの可変の閾値である。この活性値に基づいて、カテゴリー検出部５２のセルｉの出力値ｏｉは
【０１５７】
【数４９】
【０１５８】
となる。ここで、ｃは１以下の正の定数とする。このことから、カテゴリー検出部５２では最大活性値をもつセルおよびそれと同等の活性値を持つセルが１を出力することがわかる。セルの出力値が決まると、カテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）は以下の重み更新式に従って更新される。
【０１５９】
【数５０】
【０１６０】
ここで、Ａは充分小さな正の実数とする。このことから、カテゴリー検出部５２では１を出力したセルに結合する重みのみが更新されることがわかる。さらに、カテゴリー検出部用優先順位信号ｐｊ（ｊ＝１〜Ｔ）が大きい属性信号Ｓｕｖｊほど優先されて学習されることが分かる。また、カテゴリー検出部５２のセルの閾値は以下の式に基づいて更新される。
【０１６１】
【数５１】
【０１６２】
ここで、Ａ１は１以下の充分小さな正の実数とする。この様な学習を、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して、充分繰り返し行うことで、カテゴリー検出部５２の学習が終了する。
【０１６３】
カテゴリー検出部５２の学習が終了すると、優先順位制御部５１は以下のようにサブカテゴリー検出部用優先順位信号ｐｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ）を設定する。サブカテゴリー検出部５２ｉのサブカテゴリー検出部用優先順位信号ｐｉｊ（ｊ＝１〜Ｔ）を設定することを考える。カテゴリー検出部用優先順位信号ｐｊがｐｊ＜１の場合、
【０１６４】
【数５２】
【０１６５】
と設定する。また、カテゴリー検出部用優先順位信号ｐｊがｐｊ＝１の場合、優先順位制御部５１はカテゴリー検出部５２のセルｉに出力１を与える学習パターンの集合ＳＥＴｉを作り、集合ＳＥＴｉに含まれる全ての学習パターンＳｕｖの属性信号Ｓｕｖｊが等しければ、
【０１６６】
【数５３】
【０１６７】
そうでなければ、
【０１６８】
【数５４】
【０１６９】
と設定する。つぎに、以下の式に従って、サブカテゴリー検出部用優先順位信号ｐｉｊ（ｊ＝１〜Ｔ）が正規化される。
【０１７０】
【数５５】
【０１７１】
この様にして、サブカテゴリー検出部用優先順位信号ｐｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ）の設定が終了した後に、サブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）の学習が行われる。
【０１７２】
まず、サブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）は初期重み設定部５３によって以下のように初期設定される。
【０１７３】
【数５６】
【０１７４】
ここで、αは充分小さな乱数である。これにより、サブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）はカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）を中心として分布することになる。
【０１７５】
サブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）の初期設定が終わると、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の学習が行われる。ここで、学習パターンＳｕｖの学習について考える。この場合、まず、学習パターンＳｕｖはカテゴリー検出部５２に入力される。カテゴリー検出部５２では（数４８）および（数４９）に基づいて、セルの出力値を計算する。ここで、学習パターンＳｕｖがカテゴリー検出部５２に入力されたとき、１を出力したセルをセルｉとする。これにより、サブカテゴリー検出部５２ｉが動作可能となり、サブカテゴリー検出部５２ｉのみが学習パターンＳｕｖを学習する。この場合、サブカテゴリー検出部５２ｉでは重みづけ総和が計算され、サブカテゴリー検出部５２ｉのセルｊの活性値ｕｉｊは
【０１７６】
【数５７】
【０１７７】
となる。ここで、ｈｉｊはサブカテゴリー検出部５２ｉのセルｊの可変の閾値である。この活性値に基づいて、サブカテゴリー検出部５２ｉのセルｊの出力値ｏｉｊは
【０１７８】
【数５８】
【０１７９】
となる。ｃｉは１以下の正の定数とする。このことから、サブカテゴリー検出部５２ｉでは最大活性値をもつセルおよび最大活性値と同等な活性値を持つセルが１を出力することがわかる。セルの出力値が決まると、サブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）は以下の重み更新式に従って更新される。
【０１８０】
【数５９】
【０１８１】
ここで、Ａｉは充分小さな正の定数とする。このことから、サブカテゴリー検出部５２ｉでは１を出力したセルに結合する重みのみが更新されることがわかる。さらに、サブカテゴリー検出部用優先順位信号ｐｉｋ（ｋ＝１〜Ｔ）が大きい属性信号Ｓｕｖｋほど優先されて学習されることが分かる。また、サブカテゴリー検出部５２ｉのセルの閾値は以下の式に基づいて更新される。
【０１８２】
【数６０】
【０１８３】
ここで、Ａ２ｉは１以下の充分小さな正の実数とする。この様な学習を、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して、充分繰り返し行うことで、サブカテゴリー検出部５２ｉの学習が終了する。
【０１８４】
このように設定された重みを持つ優先順位付き簡略階層型パターン分類装置の想起モードにおける動作を以下に示す。
【０１８５】
想起モード時には外部入力信号Ｓがカテゴリー検出部５２に入力され、（数４８）および（数４９）からカテゴリー検出部５２のセルの出力値が計算される。ここで、カテゴリー検出部５２のセルｉが１を出力したと仮定する。
【０１８６】
この場合、サブカテゴリー検出部５２ｉが動作可能となり、外部入力信号Ｓがサブカテゴリー検出部５２ｉに入力される。サブカテゴリー検出部５２ｉでは、（数５７）および（数５８）からサブカテゴリー検出部５２ｉのセルの出力値が計算され、サブカテゴリー検出部５２ｉの１つのセルが１を出力する。
【０１８７】
このことから、外部入力信号Ｓがカテゴリー検出部５２、すなわち、第１階層レベルでどのカテゴリーに属し、また、サブカテゴリー検出部５２ｉ、すなわち、第２階層レベルでどのサブカテゴリーに属するのかを判断することができる。
【０１８８】
また、外部入力信号Ｓが入力されたときに、サブカテゴリー検出部５２ｉのセルｊが１を出力したとすると、出力信号生成部５４は出力信号Ｒ
【０１８９】
【数６１】
【０１９０】
を出力する。この様に、優先順位付き簡略階層型パターン分類装置は外部入力信号Ｓに類似した学習パターンＳｕｖを想起することもできる。
【０１９１】
また、カテゴリー検出部５２の機能を拡張することにより学習や検索の高速化およびメモリーの削減が実現できる。例えば、カテゴリー検出部５２の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉの要素数が０である場合、カテゴリー検出部５２のセルｉに関係するサブカテゴリー検出部５２ｉを削除することによって実現できる。
【０１９２】
さらに、カテゴリー検出部用優先順位信号ｐｊ（ｊ＝１〜Ｔ）やサブカテゴリー検出部用優先順位信号ｐｉｋ（ｉ＝１〜Ｎ，ｋ＝１〜Ｔ）から、以下に示すように、学習パターンＳｕｖの次元を削減することができ、学習や検索の高速化およびメモリーの削減が実現できる。
【０１９３】
カテゴリー検出部用優先順位信号ｐｊが０である場合、外部入力信号Ｓの属性信号Ｓｊはカテゴリー検出部５２の学習モードおよび想起モードの動作に影響を与えないことが（数４８）からわかる。同様に、サブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出部用優先順位信号ｐｉｋが０である場合、外部入力信号Ｓの属性信号Ｓｋはサブカテゴリー検出部５２ｉの学習モードおよび想起モードの動作に影響を与えないことが（数５７）からわかる。
【０１９４】
このことから、カテゴリー検出部用優先順位信号ｐｊが０である場合、外部入力信号Ｓの属性信号Ｓｊに結合するカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｋ＝１〜Ｄｊ）を取り除くことができ、カテゴリー検出部５２の学習や検索の高速化およびメモリーの削減が実現できる。同様に、サブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出部用優先順位信号ｐｉｋが０である場合、外部入力信号Ｓの属性信号Ｓｋに結合するサブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｌ＝１〜Ｄｋ）を取り除くことができ、サブカテゴリー検出部５２ｉの学習や検索の高速化およびメモリーの削減が実現できる。
【０１９５】
以上のように本実施の形態によれば、与えられた記憶事項（学習パターン）間相互の類似性およびユーザーからの優先順位信号に基づきそれらの記憶事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に目的に応じて記憶事項を検索することができる。また、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。さらに、実施の形態１の階層型パターン分類装置よりも、階層構造の生成及び学習パターンの検索を高速に実現することができ、少ないメモリーでインプリメントできる。
【０１９６】
【発明の効果】
以上のように本発明は、の内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）によって動作が規定され、外部入力信号Ｓをトリガーとして概念形成連想記憶信号Ｘ（ｔ）を更新し、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する概念形成連想記憶部１１と、概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘとその内部に保持されるカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）との重みづけ総和を活性値として持つＮ個のセルｉ（ｉ＝１〜Ｎ）から構成され、少なくとも一つ以上のセルが１を出力するカテゴリー検出部１２と、カテゴリー検出部１２のセルｉが１を出力している場合のみ動作可能となり、その内部に保持される概念継承連想記憶重みＷｉｊｋ（ｊ＝１〜Ｄ，ｋ＝１〜Ｄ）によって動作が規定され、外部入力信号Ｓと概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘをトリガーとして概念継承連想記憶信号Ｘｉ（ｔ）を更新し、Ｘｉ（ｔ−１）とＸｉ（ｔ）が等しくなったとき安定概念継承連想記憶信号Ｘｉ（＝Ｘｉ（ｔ−１）＝Ｘｉ（ｔ））を出力する概念継承連想記憶部１３ｉ（ｉ＝１〜Ｎ）と、概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉとその内部に保持されるサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）との重みづけ総和を活性値として持つＮｉ個のセルｉ（ｉ＝１〜Ｎｉ）から構成され、少なくとも１つ以上のセルが１を出力するサブカテゴリー検出部１４ｉ（ｉ＝１〜Ｎ）と、概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘと概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉを受けて出力信号Ｒを生成する出力信号生成部１５とを設けることにより、同じカテゴリーに属す継承パターンは同じ概念継承記憶部に記憶されるため、記憶事項間の関係を明示的に取り出すことができ、入力パターンがどのカテゴリーに属するのかといったパターンの分類に関する情報を得ることができる。すなわち、与えられた記憶すべき事項（学習パターン）間相互の類似性に基づき、それらの事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ柔軟に記憶事項を検索することができる。また、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における階層型パターン分類装置（２階層）のブロック結線図
【図２】本発明の第１の実施の形態における階層型パターン分類装置（３階層）のブロック結線図
【図３】本発明の第２の実施の形態における簡略階層型パターン分類装置（２階層）のブロック結線図
【図４】本発明の第２の実施の形態における簡略階層型パターン分類装置（３階層）のブロック結線図
【図５】本発明の第３の実施の形態における優先順位付き簡略階層型パターン分類装置のブロック結線図
【図６】従来の階層型概念継承連想記憶装置のブロック結線図
【符号の説明】
１１ 概念形成連想記憶部
１２ カテゴリー検出部
１３ｉ 概念継承連想記憶部
１４ｉ サブカテゴリー検出部
１５ 出力信号生成部
２１ モジュールＡ
２２ｉ モジュールＢ
２３ｉｊ モジュールＣ
３１ カテゴリー検出部
３１ｉ サブカテゴリー検出部
３２ 初期重み設定部
３３ 出力信号生成部
４１ カテゴリー検出部
４２ｉ サブカテゴリー検出部
４３ｉｊ サブ２カテゴリー検出部
５１ 優先順位制御部
５２ カテゴリー検出部
５２ｉ サブカテゴリー検出部
５３ 初期重み設定部
５４ 出力信号生成部
６１ 概念形成連想記憶部
６２ 概念継承連想記憶部
６３ 出力信号生成部
【発明の属する技術分野】
本発明は、与えられた記憶すべき事項間相互の類似性に基づきそれらの事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に目的に応じて記憶事項を検索することを可能にした記憶装置に関するものである。
【０００２】
【従来の技術】
近年、記憶装置としては、明示的に指定された番地の記憶や内容が完全に検索キーと一致する記憶を高速かつ正確に検索する装置だけではなく、検索キーが記憶事項と完全に一致しない場合でも記憶事項の内容に応じて連想的に柔軟な検索ができる装置や、記憶事項を与えるとそれらの事項間相互の類似性に基づいてそれら事項間の階層構造を自動的に生成して記憶し、その階層構造をユーザに表示することとその階層構造を利用して系統的かつ効率的に目的に応じて検索することができる装置が求められている。
【０００３】
以下に、従来の階層型概念継承連想記憶装置（平原、岡、金道：”階層的に相関を持つパターンを記憶するカスケード連想記憶モデル”、信学技法、ＮＣ９４−５８、１９９４）について説明する。図６は従来の階層型概念継承連想記憶装置を示すものである。図６において、６１はその内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）によって動作が規定され、外部入力信号Ｓをトリガーとして時刻ｔにおける概念形成連想記憶信号Ｘ（ｔ）を更新し、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する概念形成連想記憶部であり、６２はその内部に保持される概念継承連想記憶重みＷ１ｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）によって動作が規定され、外部入力信号Ｓと概念形成連想記憶部６１が出力する安定概念形成連想記憶信号Ｘをトリガーとして概念継承連想記憶信号Ｘ１（ｔ）を更新し、Ｘ１（ｔ−１）とＸ１（ｔ）が等しくなったとき安定概念継承連想記憶信号Ｘ１（＝Ｘ１（ｔ−１）＝Ｘ１（ｔ））を出力する概念継承連想記憶部であり、６３は概念形成連想記憶部６１が出力する安定概念形成連想記憶信号Ｘと概念継承連想記憶部６２が出力する安定概念継承連想記憶信号Ｘ１から出力信号Ｒを生成する出力信号生成部である。
【０００４】
ここでは、外部入力信号Ｓの次元の数をＤとし、外部入力信号Ｓの各要素Ｓｉ（ｉ＝１〜Ｄ）の値は±１とする。また、簡単のためカスケードのレベルの数を２として説明する。
【０００５】
まず、学習を行うためのＰ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１、ｖ＝１〜Ｐ２）の生成方法について述べる。学習パターンＳｕｖ（ｕ＝１〜Ｐ１、ｖ＝１〜Ｐ２）の生成に先立ち、Ｐ１個の親パターンＳｕ（ｕ＝１〜Ｐ１）を生成する。親パターンＳｕ（ｕ＝１〜Ｐ１）の各要素Ｓｕｉ（ｉ＝１〜Ｄ）は以下の確率Ｐｒ１（Ｓｕｉ）で±１の値をとる。
【０００６】
【数１】
ここで、ａ（−１＜ａ＜１）は親パターンの偏りである。ここで、ｘの平均をＥ［ｘ］で表すことにすると、親パターンの偏りはａ＝Ｅ［Ｓｕｉ］で定義される。また、δ［ｘ］はｘ＝０のとき値１をとり、それ以外の場合は値０をとる。
【０００８】
次に、各親パターンＳｕに対し、Ｐ２個の学習パターンＳｕｖ（ｖ＝１〜Ｐ２）を生成する。学習パターンＳｕｖの各要素Ｓｕｖｉ（ｉ＝１〜Ｄ）は以下の確率Ｐｒ２（Ｓｕｖｉ）で±１の値をとる。
【０００９】
【数２】
ここで、ｂ（０＜ｂ＜１）は親パターンと学習パターンとの間の相関の強さを示す相関パラメータである。
【００１１】
この様にして生成された学習パターンを用いて、従来の階層型概念継承連想記憶装置について、学習モードにおける動作を説明する。
【００１２】
学習モードでは、概念形成連想記憶装置６１は、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）を受け、その内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）を
【００１３】
【数３】
のように更新する。ここで、ｄ１（Ｗｉｊ）は定数でも概念形成連想記憶重みＷｉｊの関数でもよく、０から１までの値をとるものとする。例えば、ｄ１（Ｗｉｊ）は
【００１５】
【数４】
と書くことができる。ｄ２（Ｗｉｊ）も同様に定数でも概念形成連想記憶重みＷｉｊの関数でもよく、例えば、
【００１７】
【数５】
と書くことができる。これらの更新式に従ってＰ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）を学習させる。この学習により、学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）が親パターンＳｕ（ｕ＝１〜Ｐ１）と相関を持って作られた構造を持つパターンである場合、その親パターンＳｕ（ｕ＝１〜Ｐ１）にほぼ等しいパターンＳ’ｕ（ｕ＝１〜Ｐ１）が概念形成連想記憶部６１に記憶される。以降、概念形成連想記憶部６１に記憶されているパターンＳ’ｕ（ｕ＝１〜Ｐ１）を概念と呼ぶことにする。このことから、概念Ｓ’ｕ（ｕ＝１〜Ｐ１）に近い学習パターンＳｕｖ（ｖ＝１〜Ｐ２）が外部入力信号Ｓとして概念形成連想記憶部６１に入力された場合、概念形成連想記憶部６１は概念形成連想記憶信号Ｘ（ｔ）を更新しつづけ、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する。このとき、安定概念連想記憶信号Ｘはある概念Ｓ’ｕとなる。簡単のため、以降は親パターンＳｕと概念Ｓ’ｕは等しい（Ｓｕｉ＝Ｓ’ｕｉ ，ｕ＝１〜Ｐ１，ｉ＝１〜Ｄ）として、概念をＳｕ（ｕ＝１〜Ｐ１）で表すことにする。
【００１９】
つぎに、概念継承連想記憶部６２は、学習パターンＳｕｖとその学習パターンＳｕｖを概念形成連想記憶部６１に入力したときの安定概念連想記憶信号Ｘである概念Ｓｕとを受けて、その内部に保持される概念継承連想記憶重みＷ１ｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）を
【００２０】
【数６】
のように更新する。この概念継承連想記憶重みＷ１ｉｊの更新式から、概念継承連想記憶部６２はＳ’ｕｖｉ（＝ＳｕｖｉＳｕｉ， ｉ＝１〜Ｄ）を要素に持った継承パターンＳ’ｕｖを記憶していることがわかる。概念Ｓｕと学習パターンＳｕｖとの相関は非常に強いため、継承パターンＳ’ｕｖの多くの要素が１をとることになり、継承パターンＳ’ｕｖはスパースなパターンとなる。
【００２２】
このように設定された重みを持つ階層型概念継承連想記憶装置の想起モードにおける動作を以下に示す。
【００２３】
想起モード時には外部入力信号Ｓが概念形成連想記憶部６１に入力される。この入力をトリガーとし、概念形成連想記憶部６１ではその内部に保持する概念形成連想記憶重みＷｉｊに従って概念形成連想記憶信号Ｘ（ｔ）を以下の式に従って更新する。
【００２４】
【数７】
【数８】
【数９】
【数１０】
ここで、Ｘｉ（ｔ）は時刻ｔにおける概念形成連想記憶信号Ｘ（ｔ）のｉ番目の要素を示し、Ｕｉ（ｔ）は時刻ｔにおける概念形成ポテンシャル信号Ｕ（ｔ）のｉ番目の要素を示す。ここで、概念形成連想記憶信号Ｘ（ｔ）が安定化したとき（Ｘ（ｔ−１）＝Ｘ（ｔ））、概念形成連想記憶部６１は安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する。この安定概念形成連想記憶信号Ｘは外部入力信号Ｓに最も類似した概念Ｓｕとなる。
【００２９】
概念形成連想記憶部６１が安定化すると、安定概念形成連想記憶信号Ｘと外部入力信号Ｓとが概念継承連想記憶部６２に入力される。ここで、安定概念形成連想記憶信号Ｘが概念Ｓｕとなったことを仮定する。これらの入力をトリガーとし、概念継承連想記憶部６２ではその内部に保持する概念継承連想記憶重みＷ１ｉｊに従って、概念継承連想記憶信号Ｘ１（ｔ）を以下の式に従って更新する。
【００３０】
【数１１】
【数１２】
【数１３】
ここで、Ｕ１ｉ（ｔ）は時刻ｔにおける概念継承ポテンシャル信号Ｕ１（ｔ）のｉ番目の要素を示す。この動作により概念継承連想記憶信号Ｘ１（ｔ）が安定化したとき、概念継承連想記憶部６２は安定概念継承連想記憶信号Ｘ１（＝Ｘ１（ｔ−１）＝Ｘ１（ｔ））を出力する。すなわち、外部入力信号Ｓに類似した学習パターンＳｕｖに対応する継承パターンＳ’ｕｖが概念継承連想記憶部６２に想起されることになる。
【００３４】
このように、概念継承連想記憶部６２はスパースなパターンである継承パターンＳ’ｕｖを記憶している。記憶するパターンがスパースである場合、記憶容量が飛躍的に増大することが知られており、よって、概念継承連想記憶部６２は非常に大きな記憶容量を持っていることになる。
【００３５】
概念形成連想記憶部６１が安定概念形成連想記憶信号Ｘを出力し、概念継承連想記憶部６２が安定概念継承連想記憶信号Ｘ１すると、出力信号生成部６３は以下の式に基づいて、出力信号Ｒを計算する。
【００３６】
【数１４】
ここで、Ｒｉは出力信号Ｒのｉ番目の要素を示す。このように、出力信号生成部６３は外部入力信号Ｓに類似した学習パターンＳｕｖを想起することができる。
【００３８】
【発明が解決しようとする課題】
しかしながら、上記従来の階層型概念継承連想記憶装置では、継承パターンが概念継承連想記憶部６２に一様に重ね合わされた形で記憶されるため、記憶事項間の関係、すなわち、階層構造を取り出すことができず、入力パターンがどのカテゴリーに属するのかといったパターンの分類に関する情報を得ることができないため、ユーザーに記憶事項間の関係を提供することができないという課題と、系統的かつ効率的で目的に応じた検索をするための充分な機能を持っていないという課題を有していた。
【００３９】
本発明は上記従来の課題を解決するもので、与えられた記憶すべき記憶事項間相互の類似性に基づきそれらの間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に目的に応じて記憶事項を検索することができる階層型パターン分類装置と簡略階層型パターン分類装置と優先順位付き簡略階層型パターン分類装置を提供することを目的とする。
【００４０】
【課題を解決するための手段】
この目的を達成するために本発明の階層型パターン分類装置は、外部入力信号を受けて安定概念形成連想記憶信号を出力する概念形成連想記憶部と、安定概念形成連想記憶信号を分類するカテゴリー検出部と、カテゴリー検出部からの出力信号を受けることにより動作可能となり、外部入力信号と安定概念形成連想記憶信号とを受けて安定概念継承連想記憶信号を出力する複数の概念継承連想記憶部と、安定概念継承連想記憶信号を分類する複数のサブカテゴリー検出部と、安定概念形成連想記憶信号と安定概念継承連想記憶信号を受けて出力信号を生成する出力信号生成部とからなる構成を有している。
【００４１】
この構成によって、本発明の階層型パターン分類装置は、同じカテゴリーに属す継承パターン（実施の形態１参照）は同じ概念継承連想記憶部に記憶されるため、記憶事項間の関係を明示的に取り出すことができ、入力パターンがどのカテゴリーに属するのかといったパターンの分類に関する情報を得ることができる。すなわち、与えられた記憶すべき事項（学習パターン）間相互の類似性に基づき、それらの事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ柔軟に記憶事項を検索することができる。さらに、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。
【００４２】
【発明の実施の形態】
（実施の形態１）
以下、第１の実施の形態（階層型パターン分類装置）について図面を参照しながら説明する。
【００４３】
図１において、１１はその内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ，Ｄは次元）によって動作が規定され、外部入力信号Ｓをトリガーとして概念形成連想記憶信号Ｘ（ｔ）を更新し、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する概念形成連想記憶部であり、１２は概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘとその内部に保持されるカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）との重みづけ総和を活性値として持つＮ個のセルｉ（ｉ＝１〜Ｎ）から構成され、少なくとも一つ以上のセルが１を出力するカテゴリー検出部であり、１３ｉ（ｉ＝１〜Ｎ）はカテゴリー検出部１２のセルｉが１を出力している場合のみ動作可能となり、その内部に保持される概念継承連想記憶重みＷｉｊｋ（ｊ＝１〜Ｄ，ｋ＝１〜Ｄ）によって動作が規定され、外部入力信号Ｓと概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘをトリガーとして概念継承連想記憶信号Ｘｉ（ｔ）を更新し、Ｘｉ（ｔ−１）とＸｉ（ｔ）が等しくなったとき安定概念継承連想記憶信号Ｘｉ（＝Ｘｉ（ｔ−１）＝Ｘｉ（ｔ））を出力する概念継承連想記憶部であり、１４ｉ（ｉ＝１〜Ｎ）は概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉとその内部に保持されるサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）との重みづけ総和を活性値として持つＮｉ個のセルｉ（ｉ＝１〜Ｎｉ）から構成され、少なくとも１つ以上のセルが１を出力するサブカテゴリー検出部であり、１５は概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘと概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉを受けて出力信号Ｒを生成する出力信号生成部である。
【００４４】
なお、本実施の形態では簡単のため階層型パターン分類装置の階層数を２として説明しているが、この制限は本質的な問題ではなく、３以上の階層数を持つ階層型パターン分類装置にも容易に拡張することができる。また、外部入力信号Ｓの次元の数をＤとし、外部入力信号Ｓの各要素Ｓｉ（ｉ＝１〜Ｄ）の値は±１とする。
【００４５】
まず、学習を行うためのＰ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１、ｖ＝１〜Ｐ２）の生成方法について述べる。学習パターンＳｕｖ（ｕ＝１〜Ｐ１、ｖ＝１〜Ｐ２）の生成に先立ち、Ｐ１個の親パターンＳｕ（ｕ＝１〜Ｐ１）を生成する。親パターンＳｕ（ｕ＝１〜Ｐ１）の各要素Ｓｕｉ（ｉ＝１〜Ｄ）は以下の確率Ｐｒ１（Ｓｕｉ）で±１の値をとる。
【００４６】
【数１５】
ここで、ａ（−１＜ａ＜１）は親パターンの偏りであり、Ｅ［Ｓｕｉ］＝ａ（Ｅは平均値）で定義される。また、δ［ｘ］はｘ＝０のとき値１をとり、それ以外の場合は値０をとる。
【００４８】
次に、各親パターンＳｕに対し、Ｐ２個の学習パターンＳｕｖ（ｖ＝１〜Ｐ２）を生成する。学習パターンＳｕｖの各要素Ｓｕｖｉ（ｉ＝１〜Ｄ）は以下の確率Ｐｒ２（Ｓｕｖｉ）で±１の値をとる。
【００４９】
【数１６】
ここで、ｂ（０＜ｂ＜１）は親パターンと学習パターンとの間の相関パラメータである。
【００５１】
この様にして生成された学習パターンを用いて、図１の階層型パターン分類装置について、学習モードにおける動作を説明する。
【００５２】
学習モードでは、概念形成連想記憶装置１１は、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）を受け、その内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）を
【００５３】
【数１７】
のように更新する。ここで、ｄ１（Ｗｉｊ）は定数でも概念形成連想記憶重みＷｉｊの関数でもよく、０から１までの値をとるものとする。例えば、ｄ１（Ｗｉｊ）は
【００５５】
【数１８】
と書くことができる。ｄ２（Ｗｉｊ）も同様に定数でも概念形成連想記憶重みＷｉｊの関数でもよく、例えば、
【００５７】
【数１９】
と書くことができる。これらの更新式に従ってＰ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）を学習させる。この学習により、学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）が親パターンＳｕ（ｕ＝１〜Ｐ１）と相関を持って作られた構造を持つパターンである場合、その親パターンＳｕ（ｕ＝１〜Ｐ１）にほぼ等しいパターンＳ’ｕ（ｕ＝１〜Ｐ１）が概念形成連想記憶部１１に記憶される。以降、概念形成連想記憶部１１に記憶されているパターンＳ’ｕ（ｕ＝１〜Ｐ１）を概念と呼ぶことにする。これにより、概念Ｓ’ｕ（ｕ＝１〜Ｐ１）に近い学習パターンＳｕｖが外部入力信号Ｓとして概念形成連想記憶部１１に入力された場合、概念形成連想記憶部１１は概念形成連想記憶信号Ｘ（ｔ）を更新しつづけ、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する。このときの安定概念連想記憶信号Ｘは概念Ｓ’ｕとなる。簡単のため、以降は親パターンＳｕと概念Ｓ’ｕは等しい（Ｓｕｉ＝Ｓ’ｕｉ ，ｕ＝１〜Ｐ１，ｉ＝１〜Ｄ）として、概念をＳｕ（ｕ＝１〜Ｐ１）で表すことにする。
【００５９】
概念形成連想記憶部１１の学習が終わると、カテゴリー検出部１２の学習が始まる。
【００６０】
まず、カテゴリー検出部１２のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）は充分小さな乱数に初期設定される。また、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の平均パターンに充分小さな乱数を加えることでカテゴリー検出部１２のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）を初期設定することにより、学習速度および学習結果の向上が実現できる。つぎに、学習パターンＳｕｖが概念形成連想記憶部１１に入力され、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕを出力する。カテゴリー検出部１２はこの概念Ｓｕを学習することになる。この場合、カテゴリー検出部１２では重みづけ総和が計算され、カテゴリー検出部１２のセルｉの活性値ｕｉは
【００６１】
【数２０】
となる。ここで、ｈｉはカテゴリー検出部１２のセルｉの可変の閾値である。この活性値に基づいて、カテゴリー検出部１２のセルｉの出力値ｏｉは
【００６３】
【数２１】
となる。ここで、ｃ（０＜ｃ≦１）は定数である。このことから、カテゴリー検出部１２では最大活性値をもつセルおよび最大活性値と同等の活性値を持つセルが１を出力することがわかる。セルの出力値が決まると、カテゴリー検出部１２のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）は以下の重み更新式に従って更新される。
【００６５】
【数２２】
ここで、Ａは充分小さな正の実数とする。このことから、カテゴリー検出部１２では１を出力したセルに結合する重みのみが更新されることがわかる。また、カテゴリー検出部１２のセルの閾値は以下の式に基づいて更新される。
【００６７】
【数２３】
ここで、Ａ１は１以下の充分小さな正の実数とする。この様な学習を、全ての学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して充分繰り返し行うことで、カテゴリー検出部１２の学習が終了する。
【００６９】
カテゴリー検出部１２の学習が終了すると、概念継承連想記憶部１３ｉ（ｉ＝１〜Ｎ）の学習が行われる。
【００７０】
学習パターンＳｕｖを学習することを考える。まず、学習パターンＳｕｖが概念形成連想記憶部１１に入力され、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕを出力する。カテゴリー検出部１２はこの概念Ｓｕを学習しており、カテゴリー検出部１２のセルｉが１を出力したものと仮定する。このとき、カテゴリー検出部１２のセルｉに結合する概念継承連想記憶部１３ｉが動作可能の状態となる。この場合、概念継承連想記憶部１３ｉは、学習パターンＳｕｖとその学習パターンＳｕｖを概念形成連想記憶部１１に入力したときの安定概念連想記憶信号Ｘである概念Ｓｕとを受けて、その内部に保持される概念継承連想記憶重みＷｉｊｋ（ｊ＝１〜Ｄ，ｋ＝１〜Ｄ）を
【００７１】
【数２４】
のように更新する。この概念継承連想記憶重みＷｉｊｋの更新式から、概念継承連想記憶部１３ｉはＳ’ｕｖｊ（＝ＳｕｖｊＳｕｊ， ｊ＝１〜Ｄ）を要素に持った継承パターンＳ’ｕｖを記憶していることがわかる。概念Ｓｕｊと学習パターンＳｕｖｊとの相関は非常に強いため、継承パターンＳ’ｕｖの多くの要素が１をとることになり、継承パターンＳ’ｕｖはスパースなパターンとなる。この様な学習を、全ての学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して行うことで、概念継承連想記憶部１３ｉの学習が終了する。
【００７３】
このように、学習パターンＳｕｖに類似した外部入力信号Ｓが階層型パターン分類装置に入力された場合、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘとして概念Ｓｕを出力し、概念継承連想記憶部１３ｉは安定概念継承連想記憶信号Ｘｉとして継承パターンＳ’ｕｖを出力する。
【００７４】
次に、サブカテゴリー検出部１４ｉの学習について説明する。この学習は概念継承連想記憶部１３ｉの学習と同時に進行させることができるが、以下では概念継承連想記憶部１３ｉの学習が終了したものとして説明する。
【００７５】
まず、サブカテゴリー検出部１４ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）は充分小さな乱数に初期設定される。ここで、学習パターンＳｕｖを学習することについて考える。まず、学習パターンＳｕｖが概念形成連想記憶部１１に入力され、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕを出力する。カテゴリー検出部１２はこの概念Ｓｕを学習しており、カテゴリー検出部１２のセルｉが１を出力したものと仮定する。このとき、カテゴリー検出部１２のセルｉに結合する概念継承連想記憶部１３ｉが動作可能の状態となり、概念継承連想記憶部１３ｉは安定概念継承連想記憶信号Ｘｉとして継承パターンＳ’ｕｖを出力する。サブカテゴリー検出部１４ｉはこの継承パターンＳ’ｕｖを学習することになる。この場合、サブカテゴリー検出部１４ｉでは重みづけ総和が計算され、サブカテゴリー検出部１４ｉのセルｊの活性値ｕｉｊは
【００７６】
【数２５】
となる。ここで、ｈｉｊはサブカテゴリー検出部１４ｉのセルｊの可変の閾値である。この活性値に基づいて、サブカテゴリー検出部１４ｉのセルｊの出力値ｏｉｊは
【００７８】
【数２６】
となる。ここで、ｃｉ（０＜ｃｉ≦１）は定数である。このことから、サブカテゴリー検出部１４ｉでは最大活性値のｃｉ倍以上の活性値をもつセルが１を出力することがわかる。セルの出力値が決まると、サブカテゴリー検出部１４ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）は以下の重み更新式に従って更新される。
【００８０】
【数２７】
ここで、Ａｉは充分小さな正の定数とする。このことから、サブカテゴリー検出部１４ｉでは１を出力したセルに結合する重みのみが更新されることがわかる。また、サブカテゴリー検出部１４ｉのセルの閾値は以下の式に基づいて更新される。
【００８２】
【数２８】
ここで、Ａ２ｉは１以下の充分小さな正の実数とする。この様な学習を全ての学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して充分繰り返し行うことで、サブカテゴリー検出部１４ｉの学習が終了する。
【００８４】
このように設定された重みを持つ階層型パターン分類装置の想起モードにおける動作を以下に示す。
【００８５】
想起モード時には外部入力信号Ｓが概念形成連想記憶部１１に入力される。この入力をトリガーとし、概念形成連想記憶部１１ではその内部に保持する概念形成連想記憶重みＷｉｊに従って概念形成連想記憶信号Ｘ（ｔ）を以下の式に従って更新する。
【００８６】
【数２９】
【数３０】
【数３１】
【数３２】
ここで、Ｘｉ（ｔ）は時刻ｔにおける概念形成連想記憶信号Ｘ（ｔ）のｉ番目の要素を示し、Ｕｉ（ｔ）は時刻ｔにおける概念形成ポテンシャル信号Ｕ（ｔ）のｉ番目の要素を示す。ここで、概念形成連想記憶信号Ｘ（ｔ）が安定化したとき、概念形成連想記憶部１１は安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する。この安定概念形成連想記憶信号Ｘは外部入力信号Ｓに最も類似した概念Ｓｕ（ｕ＝１〜Ｐ１）となることが期待できる。以降、外部入力信号Ｓが概念形成連想記憶部１１に入力されたときの安定概念形成連想記憶信号Ｘが概念Ｓｕとなることを仮定する。
【００９１】
次に、概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕがカテゴリー検出部１２に入力され、（数２０）および（数２１）からカテゴリー検出部１２のセルの出力値が計算される。ここで、カテゴリー検出部１２のセルｉが１を出力したと仮定する。
【００９２】
このとき、カテゴリー検出部１２のセルｉに結合する概念継承連想記憶部１３ｉが動作可能の状態となり、外部入力信号Ｓと概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕが概念継承連想記憶部１３ｉに入力される。これらの入力をトリガーとし、概念継承連想記憶部１３ｉではその内部に保持する概念継承連想記憶重みＷｉｊｋに従って、概念継承連想記憶信号Ｘｉ（ｔ）を以下の式に従って更新する。
【００９３】
【数３３】
【数３４】
【数３５】
ここで、Ｕｉｊ（ｔ）は時刻ｔにおける概念継承ポテンシャル信号Ｕｉｊ（ｔ）のｊ番目の要素を示す。この動作により概念継承連想記憶信号Ｘｉ（ｔ）が安定化したとき、概念継承連想記憶部１３ｉは安定概念継承連想記憶信号Ｘｉ（＝Ｘｉ（ｔ−１）＝Ｘｉ（ｔ））を出力する。すなわち、外部入力信号Ｓに類似した学習パターンＳｕｖに対応する継承パターンＳ’ｕｖが概念継承連想記憶部１３ｉに想起されることになる。
【００９７】
このように、概念継承連想記憶部１３ｉはスパースなパターンである継承パターンＳ’ｕｖを記憶している。記憶するパターンがスパースである場合、記憶容量が飛躍的に増大することが知られており、よって、概念継承連想記憶部１３ｉは非常に大きな記憶容量を持っていることになる。
【００９８】
次に、概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉ、すなわち、概念Ｓ’ｕｖがサブカテゴリー検出部１４ｉに入力され、（数２５）および（数２６）からサブカテゴリー検出部１４ｉのセルの出力値が計算され、サブカテゴリー検出部１４ｉの１つのセルが１を出力する。
【００９９】
このことから、外部入力信号Ｓがカテゴリー検出部１２、すなわち、第１階層レベルでどのカテゴリーに属し、また、サブカテゴリー検出部１３ｉ、すなわち、第２階層レベルでどのサブカテゴリーに属するのかを判断することができる。
【０１００】
また、出力信号生成部１５は概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘ、すなわち、概念Ｓｕと、概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉ、すなわち、継承パターンＳ’ｕｖを受けることにより、出力信号Ｒを以下の式に基づいて計算する。
【０１０１】
【数３６】
ここで、Ｒｉは出力信号Ｒのｉ番目の要素を示す。このように、出力信号生成部１５では、外部入力信号Ｓに最も類似した学習パターンＳｕｖが生成される。
【０１０３】
また、カテゴリー検出部１２の機能を拡張することにより学習や検索の高速化およびメモリーの削減が実現できる。例えば、カテゴリー検出部１２の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉの要素数が０である場合、カテゴリー検出部１２のセルｉに関係する概念継承連想記憶部１３ｉおよびサブカテゴリー検出部１４ｉを削除することによって実現される。
【０１０４】
さらに、Ｄ次元の学習パターンＳｕｖがＴ個の部分学習パターンＳｕｖｊ（ｊ＝１〜Ｔ）（部分学習パターンＳｕｖｊの次元をＤｊとする。）に分割できる場合、カテゴリー検出部１２の機能を拡張することにより、概念継承連想記憶部１３ｉが記憶する継承パターンＳ’ｕｖの次元を削減することができる。例えば、カテゴリー検出部１２の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉに含まれる全ての学習パターンのある部分学習パターンが学習パターンサブ集合ｉに含まれる全ての学習パターンと等しい場合、その部分学習パターンを各学習パターンから削除し（すなわち、その部分学習パターンに対応する部分継承パターンを削除する）、カテゴリー検出部１２以降の概念継承連想記憶部１３ｉおよびサブカテゴリー検出部１４ｉに学習させることにより継承パターンの次元削減が実現できる。
【０１０５】
同様にサブカテゴリー検出部１４ｉの機能を上述したように拡張すれば、さらに、継承パターンの次元削減が可能となる。
【０１０６】
なお、本実施の形態では簡単のため階層型パターン分類装置の階層数を２として説明したが、この制限は本質的な問題ではなく、３以上の階層数を持つ階層型パターン分類装置にも容易に拡張することができる。階層数が３の場合の階層型パターン分類装置の略図（出力生成部を除く）を図２に示す。図２において、２１は概念形成連想記憶部１１とカテゴリー検出部１２とをひとまとめにしたモジュールＡであり、２２ｉ（ｉ＝１〜Ｎ）は継承パターン用概念形成連想記憶部（その動作は概念形成連想記憶部１１と同じであり、概念形成連想記憶部１１は学習パターンそのものを学習するのに対し、継承パターン用概念形成連想記憶部は学習パターンの継承パターンを学習する）とカテゴリー検出部（その動作はカテゴリー検出部１２と同じであり、継承パターン用概念形成連想記憶部の出力する安定パターンを学習する）とをひとまとめにしたモジュールＢであり、２３ｉｊ（ｊ＝１〜Ｎｉ）は概念継承連想記憶部１２ｉとサブカテゴリー検出部１２ｉとをひとまとめにしたモジュールＣである。図２では簡単のため、モジュールＡ２１からモジュールＢ２２ｉへの入力線を１本としているが、実際にはモジュールＡ２１内部の概念形成連想記憶部が出力する安定概念形成連想記憶信号とカテゴリー検出部のセルからの出力信号の２種類の信号がモジュールＢ２２ｉに入ることになる。同様に、モジュールＢ２２ｉからモジュールＣ２３ｉｊへの入力線を１本としているが、実際にはモジュールＢ２２ｉ内部の継承パターン用概念形成連想記憶部が出力する安定概念形成連想記憶信号とカテゴリー検出部のセルからの出力信号の２種類の信号がモジュールＣ２３ｉｊに入ることになる。このように３以上の階層数を持つ階層型パターン分類装置に容易に拡張することができる。
【０１０７】
以上のように本実施の形態によれば、同じカテゴリーに属す継承パターン（実施の形態１参照）は同じ概念継承記憶部に記憶されるため、記憶事項間の関係を明示的に取り出すことができ、入力パターンがどのカテゴリーに属するのかといったパターンの分類に関する情報を得ることができる。すなわち、与えられた記憶すべき事項（学習パターン）間相互の類似性に基づき、それらの事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に記憶事項を検索することができる。さらに、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。
【０１０８】
（実施の形態２）
以下、本発明の第２の実施の形態（簡略階層型パターン分類装置）について図面を参照しながら説明する。
【０１０９】
図３において、３１は外部入力信号Ｓ（各要素をＳｉ（ｉ＝１〜Ｄ）で表す）とその内部に保持されるカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）との重みづけ総和を活性値として持つＮ個のセルｉ（ｉ＝１〜Ｎ）から構成され、少なくとも１つ以上のセルが１を出力するカテゴリー検出部であり、３１ｉ（ｉ＝１〜Ｎ）はカテゴリー検出部３１のセルｉが１を出力している場合のみ動作可能となり、外部入力信号Ｓとその内部に保持されるサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）との重みづけ総和を活性値として持つＮｉ個のセルから構成され、少なくとも１つ以上のセルが１を出力するサブカテゴリー検出部であり、３２はカテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）に充分小さな乱数を与えることにより初期化し、また、学習後のカテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）を考慮してサブカテゴリー検出部３１ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）を初期設定する初期重み設定部であり、３３はサブカテゴリー検出部３１ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）を受けて出力信号Ｒを生成する出力信号生成部である。
【０１１０】
なお、本実施の形態では簡単のため簡略階層型パターン分類装置の階層数を２として説明しているが、この制限は本質的な問題ではなく、３以上の階層数を持つ簡略階層型パターン分類装置にも容易に拡張することができる（後述）。
【０１１１】
以上のように構成された２階層の簡略階層型パターン分類装置について、学習における動作を説明する。学習モードでは、カテゴリー検出部３１の学習から始まることになる。
【０１１２】
まず、カテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）は初期重み設定部３２によって充分小さな乱数に初期設定される。また、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の平均パターンに充分小さな乱数を加えることでカテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）を初期設定することにより、学習速度および学習結果の向上が実現できる。つぎに、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）がカテゴリー検出部３１に順に入力され、逐次的に学習が行われる。学習パターンＳｕｖがカテゴリー検出部３１に入力された場合を考える。この場合、カテゴリー検出部３１では重みづけ総和が計算され、カテゴリー検出部３１のセルｉの活性値ｕｉは
【０１１３】
【数３７】
となる。ここで、ｈｉはカテゴリー検出部３１のセルｉの可変の閾値である。この活性値に基づいて、カテゴリー検出部３１のセルｉの出力値ｏｉは
【０１１５】
【数３８】
となる。ｃは１以下の正の定数とする。このことから、カテゴリー検出部３１では最大活性値をもつセルおよびそれと同等の活性値を持つセルが１を出力することがわかる。セルの出力値が決まると、カテゴリー検出部３１のカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）は以下の重み更新式に従って更新される。
【０１１７】
【数３９】
ここで、Ａは充分小さな正の実数とする。このことから、カテゴリー検出部３１では１を出力したセルに結合する重みのみが更新されることがわかる。また、カテゴリー検出部３１のセルの閾値は以下の式に基づいて更新される。
【０１１９】
【数４０】
ここで、Ａ１は１以下の充分小さな正の実数とする。この様な学習を、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して、充分繰り返し行うことで、カテゴリー検出部３１の学習が終了する。
【０１２１】
カテゴリー検出部３１の学習が終了すると、サブカテゴリー検出部３１ｉ（ｉ＝１〜Ｎ）の学習が行われる。
【０１２２】
まず、サブカテゴリー検出部３１ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）は初期重み設定部３２によって以下のように初期設定される。
【０１２３】
【数４１】
ここで、αは充分小さな乱数である。これにより、サブカテゴリー検出部３１ｉの持つサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）はカテゴリー検出部３１の持つカテゴリー検出重みＣｉｊ（ｊ＝１〜Ｄ）を中心として分布することになる。
【０１２５】
サブカテゴリー検出部３１ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）の初期設定が終わると、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の学習が行われる。ここで、学習パターンＳｕｖの学習について考える。この場合、まず、学習パターンＳｕｖはカテゴリー検出部３１に入力される。カテゴリー検出部３１では（数３７）および（数３８）に基づいて、セルの出力値を計算する。ここで、学習パターンＳｕｖがカテゴリー検出部３１に入力されたとき、１を出力したセルをセルｉとする。これにより、サブカテゴリー検出部３１ｉが動作可能となり、サブカテゴリー検出部３１ｉが学習パターンＳｕｖを学習する。この場合、サブカテゴリー検出部３１ｉでは重みづけ総和が計算され、サブカテゴリー検出部３１ｉのセルｊの活性値ｕｉｊは
【０１２６】
【数４２】
となる。ここで、ｈｉｊはサブカテゴリー検出部３１ｉのセルｊの可変の閾値である。この活性値に基づいて、サブカテゴリー検出部３１ｉのセルｊの出力値ｏｉｊは
【０１２８】
【数４３】
となる。ｃｉは１以下の正の定数とする。このことから、サブカテゴリー検出部３１ｉでは最大活性値のｃｉ倍以上の活性値をもつセルが１を出力することがわかる。セルの出力値が決まると、サブカテゴリー検出部３１ｉのサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）は以下の重み更新式に従って更新される。
【０１３０】
【数４４】
ここで、Ａｉは充分小さな正の定数とする。このことから、サブカテゴリー検出部３１ｉでは１を出力したセルに結合する重みのみが更新されることがわかる。また、サブカテゴリー検出部３１ｉのセルの閾値は以下の式に基づいて更新される。
【０１３２】
【数４５】
ここで、Ａ２ｉは１以下の充分小さな正の実数とする。この様な学習を、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して、充分繰り返し行うことで、サブカテゴリー検出部３１ｉの学習が終了する。
【０１３４】
このように設定された重みを持つ簡略階層型パターン分類装置の想起モードにおける動作を以下に示す。
【０１３５】
想起モード時には外部入力信号Ｓがカテゴリー検出部３１に入力され、（数３７）および（数３８）からカテゴリー検出部３１のセルの出力値が計算される。ここで、カテゴリー検出部３１のセルｉが１を出力したと仮定する。
【０１３６】
この場合、サブカテゴリー検出部３１ｉが動作可能となり、外部入力信号Ｓがサブカテゴリー検出部３１ｉに入力される。サブカテゴリー検出部３１ｉでは、（数４２）および（数４３）からサブカテゴリー検出部３１ｉのセルの出力値が計算され、サブカテゴリー検出部３１ｉの１つのセルが１を出力する。
【０１３７】
このことから、外部入力信号Ｓがカテゴリー検出部３１、すなわち、第１階層レベルでどのカテゴリーに属し、また、サブカテゴリー検出部３１ｉ、すなわち、第２階層レベルでどのサブカテゴリーに属するのかを判断することができる。
【０１３８】
また、外部入力信号Ｓが入力されたときに、サブカテゴリー検出部３１ｉのセルｊが１を出力したとすると、出力信号生成部３３は出力信号Ｒ
【０１３９】
【数４６】
を出力する。この様に、簡略階層型パターン分類装置は外部入力信号Ｓに類似した学習パターンＳｕｖを想起することもできる。
【０１４１】
また、カテゴリー検出部３１の機能を拡張することにより学習や検索の高速化およびメモリーの削減が実現できる。例えば、カテゴリー検出部３１の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉの要素数が０である場合、カテゴリー検出部３１のセルｉに関係するサブカテゴリー検出部３１ｉを削除することによって実現される。
【０１４２】
さらに、Ｄ次元の学習パターンＳｕｖがＴ個の部分学習パターンＳｕｖｊ（ｊ＝１〜Ｔ）（部分学習パターンＳｕｖｊの次元をＤｊとする。）に分割できる場合、カテゴリー検出部３１の機能を拡張することにより、学習パターンＳｕｖの次元を削減することができる。例えば、カテゴリー検出部３１の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉに含まれる全ての学習パターンのある部分学習パターンが学習パターンサブ集合ｉに含まれる全ての学習パターンと等しい場合、その部分学習パターンを各学習パターンから削除し、その部分学習パターンをカテゴリー検出部３１以降のサブカテゴリー検出部３１ｉに学習させることにより学習パターンの次元削減が実現できる。
【０１４３】
同様にサブカテゴリー検出部１２ｉの機能を上述したように拡張すれば、さらに、学習パターンの次元削減が可能となる。
【０１４４】
なお、本実施の形態では簡単のため簡略階層型パターン分類装置の階層数を２として説明したが、この制限は本質的な問題ではなく、３以上の階層数を持つ簡略階層型パターン分類装置にも容易に拡張することができる。階層数が３の場合の簡略階層型パターン分類装置の略図（出力生成部と初期重み設定部を除く）を図４に示す。図４において、４１はカテゴリー検出部３１と同じであり、４１ｉ（ｉ＝１〜Ｎ）はサブカテゴリー検出部３１ｉと同じであり、４１ｉｊ（ｊ＝１〜Ｎｉ）はサブカテゴリー検出部３１ｉと同じ機能を持つサブ２カテゴリー検出部である。このように３以上の階層数を持つ簡略階層型パターン分類装置に容易に拡張することができる。
【０１４５】
以上のように本実施の形態によれば、与えられた記憶事項（学習パターン）間相互の類似性に基づきそれらの記憶事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に目的に応じて記憶事項を検索することができる。また、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。さらに、実施の形態１の階層型パターン分類装置よりも、階層構造の生成及び学習パターンの検索を高速に実現することができ、さらに少ないメモリーでインプリメントできる。
【０１４６】
（実施の形態３）
以下、本発明の第３の実施の形態（優先順位付き簡略階層型パターン分類装置）について図面を参照しながら説明する。
【０１４７】
図５において、５１はカテゴリー検出部用優先順位信号ｐｉ（ｉ＝１〜Ｔ）及びサブカテゴリー検出部用優先順位信号ｐｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ）を制御する優先順位制御部であり、５２はＴ個の属性信号Ｓｉ（ｉ＝１〜Ｔ）から構成される外部入力信号Ｓとその内部に保持されるカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）との重みづけ総和を活性値として持つＮ個のセルｉ（ｉ＝１〜Ｎ）から構成され、少なくとも１つ以上のセルが１を出力するカテゴリー検出部であり、５２ｉ（ｉ＝１〜Ｎ）はカテゴリー検出部５２のセルｉが１を出力している場合のみ動作可能となり、外部入力信号Ｓとその内部に保持されるサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）との重みづけ総和を活性値として持つＮｉ個のセルから構成され、少なくとも１つ以上のセルが１を出力するサブカテゴリー検出部であり、５３はカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）に充分小さな乱数を与えることにより初期化し、また、学習後のカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）を考慮してサブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）を初期設定する初期重み設定部であり、５４はサブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）を受けて出力信号Ｒを生成する出力信号生成部である。
【０１４８】
なお、本実施の形態では簡単のため優先順位付き簡略階層型パターン分類装置の階層数を２として説明しているが、この制限は本質的な問題ではなく、３以上の階層数を持つ優先順位付き簡略階層型パターン分類装置にも容易に拡張することができる（実施の形態２参照）。また、外部入力信号ＳはＴ個の属性信号Ｓｉ（ｉ＝１〜Ｔ）から構成されることを仮定し、各学習パターンＳｕｖも同様にＴ個の属性信号Ｓｕｖｉ（ｉ＝１〜Ｔ）から構成される（つまり部分学習パターンに分割可能である）ことを仮定する。さらに、属性信号Ｓｉの次元をＤｉで表す。これにより、外部入力信号Ｓの次元ＤはΣＤｉと表すことができる。
【０１４９】
以上のように構成された２階層の優先順位付き簡略階層型パターン分類装置について、その動作を説明する。
【０１５０】
まず、優先順位制御部５１はユーザーからのカテゴリー検出部用優先順位信号ｐｉ（ｉ＝１〜Ｔ）（ｐｉ≧０）を記憶し、カテゴリー検出部用優先順位信号ｐｉ（ｉ＝１〜Ｔ）は
【０１５１】
【数４７】
に従って更新される。
【０１５３】
つぎに、学習モードにおける動作を説明する。学習モードでは、カテゴリー検出部５２の学習から始まることになる。
【０１５４】
まず、カテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）は初期重み設定部５３によって充分小さな乱数に初期設定される。また、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の平均パターンに充分小さな乱数を加えることでカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）を初期設定することにより、学習速度および学習結果の向上が実現できる。つぎに、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）がカテゴリー検出部５２に順に入力され、逐次的に学習が行われる。学習パターンＳｕｖがカテゴリー検出部５２に入力された場合を考える。この場合、カテゴリー検出部５２では重みづけ総和が計算され、カテゴリー検出部５２のセルｉの活性値ｕｉは
【０１５５】
【数４８】
となる。ここで、ｈｉはカテゴリー検出部５２のセルｉの可変の閾値である。この活性値に基づいて、カテゴリー検出部５２のセルｉの出力値ｏｉは
【０１５７】
【数４９】
となる。ここで、ｃは１以下の正の定数とする。このことから、カテゴリー検出部５２では最大活性値をもつセルおよびそれと同等の活性値を持つセルが１を出力することがわかる。セルの出力値が決まると、カテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ，ｋ＝１〜Ｄｊ）は以下の重み更新式に従って更新される。
【０１５９】
【数５０】
ここで、Ａは充分小さな正の実数とする。このことから、カテゴリー検出部５２では１を出力したセルに結合する重みのみが更新されることがわかる。さらに、カテゴリー検出部用優先順位信号ｐｊ（ｊ＝１〜Ｔ）が大きい属性信号Ｓｕｖｊほど優先されて学習されることが分かる。また、カテゴリー検出部５２のセルの閾値は以下の式に基づいて更新される。
【０１６１】
【数５１】
ここで、Ａ１は１以下の充分小さな正の実数とする。この様な学習を、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して、充分繰り返し行うことで、カテゴリー検出部５２の学習が終了する。
【０１６３】
カテゴリー検出部５２の学習が終了すると、優先順位制御部５１は以下のようにサブカテゴリー検出部用優先順位信号ｐｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ）を設定する。サブカテゴリー検出部５２ｉのサブカテゴリー検出部用優先順位信号ｐｉｊ（ｊ＝１〜Ｔ）を設定することを考える。カテゴリー検出部用優先順位信号ｐｊがｐｊ＜１の場合、
【０１６４】
【数５２】
と設定する。また、カテゴリー検出部用優先順位信号ｐｊがｐｊ＝１の場合、優先順位制御部５１はカテゴリー検出部５２のセルｉに出力１を与える学習パターンの集合ＳＥＴｉを作り、集合ＳＥＴｉに含まれる全ての学習パターンＳｕｖの属性信号Ｓｕｖｊが等しければ、
【０１６６】
【数５３】
そうでなければ、
【０１６８】
【数５４】
と設定する。つぎに、以下の式に従って、サブカテゴリー検出部用優先順位信号ｐｉｊ（ｊ＝１〜Ｔ）が正規化される。
【０１７０】
【数５５】
この様にして、サブカテゴリー検出部用優先順位信号ｐｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｔ）の設定が終了した後に、サブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）の学習が行われる。
【０１７２】
まず、サブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）は初期重み設定部５３によって以下のように初期設定される。
【０１７３】
【数５６】
ここで、αは充分小さな乱数である。これにより、サブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）はカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）を中心として分布することになる。
【０１７５】
サブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）の初期設定が終わると、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）の学習が行われる。ここで、学習パターンＳｕｖの学習について考える。この場合、まず、学習パターンＳｕｖはカテゴリー検出部５２に入力される。カテゴリー検出部５２では（数４８）および（数４９）に基づいて、セルの出力値を計算する。ここで、学習パターンＳｕｖがカテゴリー検出部５２に入力されたとき、１を出力したセルをセルｉとする。これにより、サブカテゴリー検出部５２ｉが動作可能となり、サブカテゴリー検出部５２ｉのみが学習パターンＳｕｖを学習する。この場合、サブカテゴリー検出部５２ｉでは重みづけ総和が計算され、サブカテゴリー検出部５２ｉのセルｊの活性値ｕｉｊは
【０１７６】
【数５７】
となる。ここで、ｈｉｊはサブカテゴリー検出部５２ｉのセルｊの可変の閾値である。この活性値に基づいて、サブカテゴリー検出部５２ｉのセルｊの出力値ｏｉｊは
【０１７８】
【数５８】
となる。ｃｉは１以下の正の定数とする。このことから、サブカテゴリー検出部５２ｉでは最大活性値をもつセルおよび最大活性値と同等な活性値を持つセルが１を出力することがわかる。セルの出力値が決まると、サブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｔ，ｌ＝１〜Ｄｋ）は以下の重み更新式に従って更新される。
【０１８０】
【数５９】
ここで、Ａｉは充分小さな正の定数とする。このことから、サブカテゴリー検出部５２ｉでは１を出力したセルに結合する重みのみが更新されることがわかる。さらに、サブカテゴリー検出部用優先順位信号ｐｉｋ（ｋ＝１〜Ｔ）が大きい属性信号Ｓｕｖｋほど優先されて学習されることが分かる。また、サブカテゴリー検出部５２ｉのセルの閾値は以下の式に基づいて更新される。
【０１８２】
【数６０】
ここで、Ａ２ｉは１以下の充分小さな正の実数とする。この様な学習を、Ｐ１×Ｐ２個の学習パターンＳｕｖ（ｕ＝１〜Ｐ１，ｖ＝１〜Ｐ２）に対して、充分繰り返し行うことで、サブカテゴリー検出部５２ｉの学習が終了する。
【０１８４】
このように設定された重みを持つ優先順位付き簡略階層型パターン分類装置の想起モードにおける動作を以下に示す。
【０１８５】
想起モード時には外部入力信号Ｓがカテゴリー検出部５２に入力され、（数４８）および（数４９）からカテゴリー検出部５２のセルの出力値が計算される。ここで、カテゴリー検出部５２のセルｉが１を出力したと仮定する。
【０１８６】
この場合、サブカテゴリー検出部５２ｉが動作可能となり、外部入力信号Ｓがサブカテゴリー検出部５２ｉに入力される。サブカテゴリー検出部５２ｉでは、（数５７）および（数５８）からサブカテゴリー検出部５２ｉのセルの出力値が計算され、サブカテゴリー検出部５２ｉの１つのセルが１を出力する。
【０１８７】
このことから、外部入力信号Ｓがカテゴリー検出部５２、すなわち、第１階層レベルでどのカテゴリーに属し、また、サブカテゴリー検出部５２ｉ、すなわち、第２階層レベルでどのサブカテゴリーに属するのかを判断することができる。
【０１８８】
また、外部入力信号Ｓが入力されたときに、サブカテゴリー検出部５２ｉのセルｊが１を出力したとすると、出力信号生成部５４は出力信号Ｒ
【０１８９】
【数６１】
を出力する。この様に、優先順位付き簡略階層型パターン分類装置は外部入力信号Ｓに類似した学習パターンＳｕｖを想起することもできる。
【０１９１】
また、カテゴリー検出部５２の機能を拡張することにより学習や検索の高速化およびメモリーの削減が実現できる。例えば、カテゴリー検出部５２の各セルｉに、セルｉに出力１を与える学習パターンサブ集合ｉを記憶させる。この学習パターンサブ集合ｉの要素数が０である場合、カテゴリー検出部５２のセルｉに関係するサブカテゴリー検出部５２ｉを削除することによって実現できる。
【０１９２】
さらに、カテゴリー検出部用優先順位信号ｐｊ（ｊ＝１〜Ｔ）やサブカテゴリー検出部用優先順位信号ｐｉｋ（ｉ＝１〜Ｎ，ｋ＝１〜Ｔ）から、以下に示すように、学習パターンＳｕｖの次元を削減することができ、学習や検索の高速化およびメモリーの削減が実現できる。
【０１９３】
カテゴリー検出部用優先順位信号ｐｊが０である場合、外部入力信号Ｓの属性信号Ｓｊはカテゴリー検出部５２の学習モードおよび想起モードの動作に影響を与えないことが（数４８）からわかる。同様に、サブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出部用優先順位信号ｐｉｋが０である場合、外部入力信号Ｓの属性信号Ｓｋはサブカテゴリー検出部５２ｉの学習モードおよび想起モードの動作に影響を与えないことが（数５７）からわかる。
【０１９４】
このことから、カテゴリー検出部用優先順位信号ｐｊが０である場合、外部入力信号Ｓの属性信号Ｓｊに結合するカテゴリー検出部５２のカテゴリー検出重みＣｉｊｋ（ｉ＝１〜Ｎ，ｋ＝１〜Ｄｊ）を取り除くことができ、カテゴリー検出部５２の学習や検索の高速化およびメモリーの削減が実現できる。同様に、サブカテゴリー検出部５２ｉ（ｉ＝１〜Ｎ）のサブカテゴリー検出部用優先順位信号ｐｉｋが０である場合、外部入力信号Ｓの属性信号Ｓｋに結合するサブカテゴリー検出部５２ｉのサブカテゴリー検出重みＣｉｊｋｌ（ｊ＝１〜Ｎｉ，ｌ＝１〜Ｄｋ）を取り除くことができ、サブカテゴリー検出部５２ｉの学習や検索の高速化およびメモリーの削減が実現できる。
【０１９５】
以上のように本実施の形態によれば、与えられた記憶事項（学習パターン）間相互の類似性およびユーザーからの優先順位信号に基づきそれらの記憶事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ効率的かつ柔軟に目的に応じて記憶事項を検索することができる。また、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。さらに、実施の形態１の階層型パターン分類装置よりも、階層構造の生成及び学習パターンの検索を高速に実現することができ、少ないメモリーでインプリメントできる。
【０１９６】
【発明の効果】
以上のように本発明は、の内部に保持される概念形成連想記憶重みＷｉｊ（ｉ＝１〜Ｄ，ｊ＝１〜Ｄ）によって動作が規定され、外部入力信号Ｓをトリガーとして概念形成連想記憶信号Ｘ（ｔ）を更新し、Ｘ（ｔ−１）とＸ（ｔ）が等しくなったとき安定概念形成連想記憶信号Ｘ（＝Ｘ（ｔ−１）＝Ｘ（ｔ））を出力する概念形成連想記憶部１１と、概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘとその内部に保持されるカテゴリー検出重みＣｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｄ）との重みづけ総和を活性値として持つＮ個のセルｉ（ｉ＝１〜Ｎ）から構成され、少なくとも一つ以上のセルが１を出力するカテゴリー検出部１２と、カテゴリー検出部１２のセルｉが１を出力している場合のみ動作可能となり、その内部に保持される概念継承連想記憶重みＷｉｊｋ（ｊ＝１〜Ｄ，ｋ＝１〜Ｄ）によって動作が規定され、外部入力信号Ｓと概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘをトリガーとして概念継承連想記憶信号Ｘｉ（ｔ）を更新し、Ｘｉ（ｔ−１）とＸｉ（ｔ）が等しくなったとき安定概念継承連想記憶信号Ｘｉ（＝Ｘｉ（ｔ−１）＝Ｘｉ（ｔ））を出力する概念継承連想記憶部１３ｉ（ｉ＝１〜Ｎ）と、概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉとその内部に保持されるサブカテゴリー検出重みＣｉｊｋ（ｊ＝１〜Ｎｉ，ｋ＝１〜Ｄ）との重みづけ総和を活性値として持つＮｉ個のセルｉ（ｉ＝１〜Ｎｉ）から構成され、少なくとも１つ以上のセルが１を出力するサブカテゴリー検出部１４ｉ（ｉ＝１〜Ｎ）と、概念形成連想記憶部１１が出力する安定概念形成連想記憶信号Ｘと概念継承連想記憶部１３ｉが出力する安定概念継承連想記憶信号Ｘｉを受けて出力信号Ｒを生成する出力信号生成部１５とを設けることにより、同じカテゴリーに属す継承パターンは同じ概念継承記憶部に記憶されるため、記憶事項間の関係を明示的に取り出すことができ、入力パターンがどのカテゴリーに属するのかといったパターンの分類に関する情報を得ることができる。すなわち、与えられた記憶すべき事項（学習パターン）間相互の類似性に基づき、それらの事項間の階層構造を生成して記憶し、その階層構造を利用して系統的かつ柔軟に記憶事項を検索することができる。また、生成した階層構造を表示することで、ユーザーは記憶事項間の関係を容易に理解できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における階層型パターン分類装置（２階層）のブロック結線図
【図２】本発明の第１の実施の形態における階層型パターン分類装置（３階層）のブロック結線図
【図３】本発明の第２の実施の形態における簡略階層型パターン分類装置（２階層）のブロック結線図
【図４】本発明の第２の実施の形態における簡略階層型パターン分類装置（３階層）のブロック結線図
【図５】本発明の第３の実施の形態における優先順位付き簡略階層型パターン分類装置のブロック結線図
【図６】従来の階層型概念継承連想記憶装置のブロック結線図
【符号の説明】
１１ 概念形成連想記憶部
１２ カテゴリー検出部
１３ｉ 概念継承連想記憶部
１４ｉ サブカテゴリー検出部
１５ 出力信号生成部
２１ モジュールＡ
２２ｉ モジュールＢ
２３ｉｊ モジュールＣ
３１ カテゴリー検出部
３１ｉ サブカテゴリー検出部
３２ 初期重み設定部
３３ 出力信号生成部
４１ カテゴリー検出部
４２ｉ サブカテゴリー検出部
４３ｉｊ サブ２カテゴリー検出部
５１ 優先順位制御部
５２ カテゴリー検出部
５２ｉ サブカテゴリー検出部
５３ 初期重み設定部
５４ 出力信号生成部
６１ 概念形成連想記憶部
６２ 概念継承連想記憶部
６３ 出力信号生成部
Claims (8)
- 外部入力信号と内部に保持されるカテゴリー検出重みとの重みづけ総和を活性値として持つＮ個のセルから構成され、少なくとも１つ以上のセルが１を出力するカテゴリー検出部を有する第１の階層と、前記カテゴリー検出部のｉ番目のセルが１を出力している場合のみ動作可能となり、外部入力信号と内部に保持されるサブカテゴリー検出重みとの重みづけ総和を活性値として持つＮｉ個（Ｎｉは１以上の整数）のセルから構成され、少なくとも１つ以上のセルが１を出力するＮ個（Ｎは１以上の整数）のサブカテゴリー検出部を有する第２の階層と、前記カテゴリー検出重みを充分小さな乱数を与えることにより初期化し、前記サブカテゴリー検出重みを学習後の前記カテゴリー検出重みに充分小さな乱数を加えることにより初期設定する初期重み設定部と、前記サブカテゴリー検出重みを受けて出力信号を生成する出力信号生成部とからなる簡略階層型パターン分類装置。
- 階層数が３以上であることを特徴とする請求項１記載の簡略階層型パターン分類装置。
- カテゴリー検出部の各セルｉ（ｉは１以上Ｎｉ以下の整数）はセルｉに出力１を与える学習パターンを学習パターンサブ集合ｉとして記憶し、学習パターンサブ集合ｉの要素数が０の場合、カテゴリー検出部のセルｉに関係するサブカテゴリー検出部を削除することを特徴とする請求項１又は２に記載の簡略階層型パターン分類装置。
- カテゴリー検出部の各セルｉ（ｉは１以上Ｎｉ以下の整数）はセルｉに出力１を与える学習パターンを学習パターンサブ集合ｉとして記憶し、学習パターンサブ集合ｉ中の全学習パターンに共通な部分学習パターンを検出し、学習パターンサブ集合ｉ中の全学習パターンから前記部分学習パターンを削除することを特徴とする請求項１ないし３のいずれかに記載の簡略階層型パターン分類装置。
- サブカテゴリー検出部の各セルｉ（ｉは１以上Ｎｉ以下の整数）はセルｉに出力１を与える学習パターンを学習パターンサブ集合ｉとして記憶し、学習パターンサブ集合ｉ中の全学習パターンに共通な部分学習パターンを検出し、学習パターンサブ集合ｉ中の全学習パターンから前記部分学習パターンを削除することを特徴とする請求項１ないし４のいずれかに記載の簡略階層型パターン分類装置。
- カテゴリー検出部用優先順位信号およびサブカテゴリー検出部用優先順位信号を制御する優先順位制御部と、Ｔ個の属性信号から構成される外部入力信号と、各属性信号に付与されたカテゴリー検出部用優先順位信号と、内部に保持されるカテゴリー検出重みとの重みづけ総和を活性値として持つＮ個のセルｉ（ i=1 〜Ｎ、Ｎは１以上の整数）から構成され、少なくとも１つ以上のセルが１を出力するカテゴリー検出部とを有する第１の階層と、前記カテゴリー検出部のセルｉが１を出力している場合のみ動作可能となり、T 個の属性信号から構成される外部入力信号と、前記カテゴリー検出部のセル i について各属性信号に付与されたサブカテゴリー検出部用優先順位信号と、内部に保持されるサブカテゴリー検出重みとの重みづけ総和を活性値として持つＮｉ個（Ｎｉは１以上の整数）のセルから構成され、少なくとも１つ以上のセルが１を出力するＮ個のサブカテゴリー検出部を有する第２の階層と、前記カテゴリー検出重みを、充分小さな乱数を与えることにより初期化し、前記サブカテゴリー検出重みを、学習後の前記カテゴリー検出重みと前記カテゴリー検出部用優先順位信号と前記サブカテゴリー検出用優先順位信号と充分小さな乱数を用いて初期化する初期重み設定部と、前記サブカテゴリー検出重みを受けて出力信号を生成する出力信号生成部とからなる優先順位付き簡略階層型パターン分類装置。
- 階層数が３以上であることを特徴とする請求項６記載の優先順位付き簡略階層型パターン分類装置。
- カテゴリー検出部の各セルｉ（ｉは１以上Ｎｉ以下の整数）はセルｉに出力１を与える学習パターンを学習パターンサブ集合ｉとして記憶し、学習パターンサブ集合ｉの要素数が０の場合、カテゴリー検出部のセルｉに関係するサブカテゴリー検出部を削除することを特徴とする請求項６又は７に記載の優先順位付き簡略階層型パターン分類装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003144484A JP3578166B2 (ja) | 2003-05-22 | 2003-05-22 | 簡略階層型パターン分類装置及び優先順位付き簡略階層型パターン分類装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003144484A JP3578166B2 (ja) | 2003-05-22 | 2003-05-22 | 簡略階層型パターン分類装置及び優先順位付き簡略階層型パターン分類装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15897095A Division JP3467914B2 (ja) | 1995-06-26 | 1995-06-26 | 階層型パターン分類装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004005680A JP2004005680A (ja) | 2004-01-08 |
| JP3578166B2 true JP3578166B2 (ja) | 2004-10-20 |
Family
ID=30438141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003144484A Expired - Fee Related JP3578166B2 (ja) | 2003-05-22 | 2003-05-22 | 簡略階層型パターン分類装置及び優先順位付き簡略階層型パターン分類装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3578166B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4539221B2 (ja) * | 2004-08-16 | 2010-09-08 | Ｋｄｄｉ株式会社 | 相互連想記憶装置とそのソフトウェア |
-
2003
- 2003-05-22 JP JP2003144484A patent/JP3578166B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004005680A (ja) | 2004-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12544671B2 (en) | Method and apparatus for training recommendation model, computer device, and storage medium | |
| CN110853666A (zh) | 一种说话人分离方法、装置、设备及存储介质 | |
| US20220067488A1 (en) | Feedback mechanisms in sequence learning systems with temporal processing capability | |
| CN112396185A (zh) | 一种事实验证方法、系统、计算机设备和存储介质 | |
| CN107102981A (zh) | 词向量生成方法和装置 | |
| CN110968692B (zh) | 一种文本分类方法及系统 | |
| US11651277B2 (en) | Sparse distributed representation for networked processing in predictive system | |
| CN104035996A (zh) | 基于Deep Learning的领域概念抽取方法 | |
| CN107678531B (zh) | 应用清理方法、装置、存储介质及电子设备 | |
| CN112632984B (zh) | 基于描述文本词频的图模型移动应用分类方法 | |
| CN109961075A (zh) | 用户性别预测方法、装置、介质及电子设备 | |
| US20170255861A1 (en) | Union processing of sequences of patterns | |
| CN113806580A (zh) | 基于层次语义结构的跨模态哈希检索方法 | |
| Yuan et al. | An effective pattern-based Bayesian classifier for evolving data stream | |
| CN109961163A (zh) | 性别预测方法、装置、存储介质及电子设备 | |
| US20230214674A1 (en) | Method Of Training Object Prediction Models Using Ambiguous Labels | |
| JP3578166B2 (ja) | 簡略階層型パターン分類装置及び優先順位付き簡略階層型パターン分類装置 | |
| KR20250031042A (ko) | 자연어 입력과 대응되는 이미지를 추출하는 방법 | |
| CN120470150B (zh) | 一种数字孪生模型构件数据的存储方法、设备及介质 | |
| Nabil et al. | An efficient binary clonal selection algorithm with optimum path forest for feature selection | |
| Jarollahi et al. | Algorithm and architecture of fully-parallel associative memories based on sparse clustered networks | |
| JP3467914B2 (ja) | 階層型パターン分類装置 | |
| CN107330513B (zh) | 一种提取深度信念网络中隐含节点语义的方法 | |
| KR102791501B1 (ko) | 능동적 학습을 위한 데이터 샘플링 방법 | |
| CN114118880A (zh) | 一种寄递风险人物识别方法、系统、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040705 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070723 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |