JP4088398B2 - Time encoding device - Google Patents

Description

【０００８】
本発明では、以上の点に鑑み、Ｗｅｂｅｒの法則を再現し、生体が行う時間的情報処理における時間間隔Ｔをネットワークの時間変化として符号化（表現）することを目的とする。また、本発明は、ネットワークとして符号化（表現）される時間間隔Ｔを、予め定めるパラメーターの値を調節することにより、変化させる又は設定できるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
本発明の解決手段によると、
ノイズ、初期時刻の状態、第１及び第２のパラメーターが与えられ、第２の状態と第１の状態との間を遷移状態を経て確率過程に従い遷移し、第１又は第２の状態及び遷移状態に応じて信号を出力する複数のユニットと、
各々の前記ユニットにノイズを与えるノイズ入力部と、
初期時刻に第２の状態に設定する前記ユニットの数をＮ個に定める初期設定入力部と、
各前記ユニットに第１及び第２のパラメータを設定するパラメータ調節部と
を備え、
各前記ユニットには、各々の前記ユニットの出力信号が複数入力されるように前記ユニットを複数相互結合して相互結合ネットワークを構成し、
各前記ユニットは、
１又は０の値をとる第１の変数と第２の変数を有し、第１及び第２の変数がともに０であることが第１の状態を示し、第１及び第２の変数がともに１であることが第２の状態を示し、第１及び第２の変数の一方が１で他方が０であることが第１の状態と第２の状態の間の遷移状態を示し、
第１及び第２の変数がともに１又は状態が第２の状態であれば１を出力信号として出力し、第１及び第２の変数がともに０又は状態が第１の状態であれば０を出力信号として出力し、第１及び第２の変数の一方が１で他方が０であれば又は状態が遷移状態であれば、状態の遷移方向を判断して１又は０を出力信号として出力し、
各々の前記ユニットの出力信号１又は０が複数入力されて、該入力の和が、設定される第２のパラメータにより定まる値よりも大きいと第１の状態及び第２の状態の双方をとりうる双安定になり、該入力の和が、設定される第２のパラメータにより定まる前記値よりも小さいと第２の状態の前記ユニットが第１の状態に遷移する単安定になり、
さらに各前記ユニットは、
各々の前記ユニットの出力信号が複数入力され、前記パラメータ調整部により設定される第１のパラメータに基づき前記入力の和を演算して出力する第１の処理部と、
前記第１の処理部の出力、前記ノイズ入力部から入力されたノイズ及び前記パラメータ調整部により設定される第２のパラメータに基づき、予め定められた確率過程の遷移規則に従いユニットの状態を求め、求められた状態に応じて１又は０を出力する第２の処理部と
を有し、
前記初期設定入力部は、前記Ｎ個の前記ユニットを、該ユニットの第１及び第２の変数をともに１とすることで第２の状態に設定し、
前記ユニットの前記第２の処理部は、
第１の変数と第２の変数のどちらかを選択することと、
予め定められた確率過程の遷移規則に従い、前記第１の処理部の出力と、前記パラメータ調整部により設定された第２のパラメータと、第１及び第２の変数と、前記ノイズ入力部により与えられるノイズとに基づく確率で、選択された第１又は第２の変数の値を変更させることと、
第１及び第２の変数がともに１又は状態が第２の状態であれば１を出力し、第１及び第２の変数がともに０又は状態が第１の状態であれば０を出力することと、
前記選択すること、前記変更させること、及び、前記出力することを繰り返すことと
を含み、
初期時刻で前記Ｎ個のユニットが第２の状態に設定されることで各前記ユニットが双安定になり、第２の状態に設定された前記Ｎ個のユニットの一部は、前記確率に従って第１及び第２の変数が変更されて第２の状態から第１の状態へ遷移し、及び、第２の状態にある前記ユニットが減るにつれて各前記ユニットの入力の和が減り単安定になって、第２の状態に設定された他の前記ユニットが第２の状態から第１の状態へ遷移し、
前記ユニットに入力されるノイズ及び第１のパラメータ及び第２のパラメータにより、前記複数のユニットが第２の状態から第１の状態へ遷移する時間間隔を調整するようにした時間符号化装置が提供される。
【００１０】
本発明は、例えば、
ノイズ、初期時刻の状態、所定パラメーターが与えられ、第２の状態と第１の状態との間を遷移状態を経て確率過程に従い遷移し、第１又は第２の状態及び遷移過程に応じて信号を出力するユニットを複数備え、前記ユニットには、各々の前記ユニットの出力信号が複数入力され、各々の前記ユニットへ出力信号を供給するように前記ユニットを複数相互結合したネットワークにおいて、
前記各ユニットに、ノイズ及び第１及び第２のパラメータを与え、
第１のパラメータに基づき複数の入力の和を演算し、
演算された和及び第２のパラメータに基づきエネルギーを演算し、
演算されたエネルギーに基づき、予め定められた確率過程の遷移規則に従い求められた状態に対応した信号を出力することにより、
第２の状態から第１の状態へ遷移する時間間隔を調整する。
【００１１】
【発明の実施の形態】
図１に、ニューラルネットワークの構成図を示す。また、図２に、各ユニットの状態についての説明図を示す。この例では、複数（Ｌ個）のユニット１−１〜Ｌが構成する相互結合ネットワーク（リカレントネットワーク）を考える。各ユニット１−１〜Ｌは、他ユニットからの入力（リカレント入力）が十分あるならば、安定状態を二つ持つ（双安定）。各ユニット１−１〜Ｌは、例えば、状態２にあるならば所定の値、’１’等を出力する。状態１にあるならば出力しない又は所定の値、’０’等を出力するものとする。なお、各状態に対応する出力は、適宜定めることができ、この逆の出力でもよい。
【００１２】
また、リカレント入力が十分な大きさに達しないならば、各ユニットは状態１だけを安定状態として持つ（単安定）。このとき各ユニットは出力しない又は所定の値、’０’等を出力する。
【００１３】
図３に、ノイズ初期設定及びパラメータ調整可能なネットワークの構成図を示す。
各ユニットは、ノイズ入力部２−１〜Ｌおよび初期設定入力部３−１〜Ｌを備える。ノイズ入力部２−１〜Ｌは、ホワイトノイズ、有色ノイズ（ｃｏｌｏｒｅｄ ｎｏｉｓｅ）、ポアソンノイズ等の適宜のノイズを独立にユニット１−１〜Ｌに与える。なお、各ノイズ入力部２−１〜Ｌは、複数のユニット１−１〜Ｌにひとつのノイズ入力部２−１〜Ｌを設けるようにして、共通にノイズを与えるようにしても良い。初期設定入力部３−１〜Ｌは、Ｌ個のユニット１−１〜Ｌのうち、いくつのユニットを初期時刻（ｔ＝０）に状態２に設定するかを定める（すなわち、Ｎの値を定める）。さらに、パラメータ調節部４は、各ユニット１−１〜Ｌに共通なパラメーター（例えば、後述するような、ｗ、θあるいはＧ等）を調節する。パラメータ調節部４は、各々の又は複数のユニット１−１〜Ｌに共通に設けられてもよい。
【００１４】
このようなネットワーク構成において、初期時刻にＮ個のユニット１−１〜Ｌを状態２にセットする。ただし、Ｎは各ユニット１−１〜Ｌを双安定にできるだけの（すなわち、十分大きなリカレント入力を生成できるだけの）十分大きな数である。各ユニット１−１〜Ｌは、例えば、初期時刻で状態２にあると、ある時間間隔Ｔが経過すると状態１に遷移する。また、この逆に状態１から状態２に遷移する場合もある。
【００１５】
図４に、ユニットの入出力の関係についての説明図を示す。図示のように、入出力はヒステリシス特性を有する。また、出力０部分、ヒステリシス特性部分、出力１部分の各状態が、単安定、双安定、単安定にそれぞれ対応する。この実施の形態では、使用レンジとしてヒステリシス特性部分の双案定状態と、その左側部分の単安定状態を用い、初期状態でいずれかを設定する。
【００１６】
図５に、ネットワークの作動原理についての説明図を示す。ここでは、一例として、状態１は左側の谷に相当し（白丸）、状態２は右側の谷に相当する（黒丸）。
【００１７】
ステージ１では、初期状態においてＯＮ状態にあるユニットの数がＮ個であることを示す（なお、ここでは、簡略化のため、ユニット数Ｌ＝８、Ｎ＝８の例を挙げて説明する。）
ここで、Ｉ＝（Ｇ／Ｎ）・Ｎである。初期時刻に状態２にセットされたユニットが状態１に遷移する確率は、もしノイズ等の要因がなければ０である。すなわち、ユニットは永遠に状態２に留まる。しかしながら、上述のようなネットワーク構成においてはノイズ等の要因があるため、状態２から状態１に遷移する確率が（非常に小さい場合もはあるが）０ではない。
【００１８】
ステージ２では、この０ではない遷移確率に従って、初期時刻に状態２にセットされたＮ個のユニットは、徐々に一つ一つ状態１に遷移してゆく。この例では、最初にＩ＝（Ｇ／Ｎ）・（Ｎ−１）となり、さらにＩ＝（Ｇ／Ｎ）・（Ｎ−３）と遷移する様子が示される。これらの状態では、双安定である。また、ノイズを与えることで、状態１と状態２との間の山の高さが低くなり、遷移しやすくなる。また、状態２にあるユニットの数が減るにつれ、各ユニットへのリカレント入力も減る。リカレント入力が減ってくると、各ユニットは双安定を保つことが難しくなってくる。
【００１９】
ステージ３では、ついに状態２にあるユニットの数が一定の数を越え、各ユニットは双安定から単安定に転移する。このとき、まだ状態２に残っていたユニットはなだれをうって状態１に遷移する。従って、初期時刻に励起されたネットワーク全体の活動は、ステージ２において漸減しながらしばらく持続した後、ステージ３において突然静止する。ここでは、Ｉ＝０である。
【００２０】
このように、初期時刻から活動静止までの時間間隔Ｔは、試行ごとにノイズ（乱数列）が変われば、ばらつく。そこでそれらの時間間隔Ｔの平均値をμとする。上述の構成は平均時間間隔μをネットワーク活動の時間変化として符号化（表現）していると解釈することができる（ただしノイズ（乱数列）に由来するバラツキを伴う）。平均時間間隔μはネットワークを定める各種パラメーターの値に依存して変化する。従って、各パラメーターの値を調整すれば、所望の時間間隔Ｔをこの装置上に符号化（表現）することができる。平均時間間隔μとパラメーターとの具体的関係は、後述のように各ネットワーク毎に適宜定めることができる。
【００２１】
図６に、ユニットの構成図を示す。ユニット１−ｎは、第１処理部１１及び第２処理部１２を備える。
【００２２】
まず、第１処理部１１の処理について説明する。第１処理部１１には、各ユニット１−１〜Ｌの出力信号が入力され、和信号Ｉを演算して出力する。和信号Ｉは、図中の式の通りである。ここで、Ｇは、パラメータ調整部４から供給されるパラメータである。Ｎは、初期状態で、例えば、状態２にセットしたユニット数である。したがって、Ｎ個のユニット１は状態２で、その出力Ｏ_ｎ＝１である。また、Ｌ−Ｎ個の他のユニットは、Ｏ_ｎ＝０である。
【００２３】
つぎに、各ユニットにおける第２処理部１２の処理について説明する。
図１及び図２のリカレントネットワークにおいて、第ｎ番目ユニットを（１）式のエネルギー関数で定義される２スピン・イジング系で記述する。
【００２４】
【数２】

【００２５】
ここで、ｓ_ｉ ^（ｎ）（ｉ＝１，２）はスピン変数であり、１または０の値をとる。Ｉはリカレント入力であり、（２）式で与えられる。ただし、Ｎ_２は状態２にあるユニットの総数であり、初期設定入力部３−１〜Ｎにより与えられる。（１）式および（２）式において、ｗ、θおよびＧは正のパラメーターであり、パラメータ調整部４により与えられる。
【００２６】
図７及び図８に、単安定及び双安定におけるエネルギーついての説明図を示す。
ここで、（ｓ_１ ^（ｎ），ｓ_２ ^（ｎ））は、（０，０）、（１，０） （０，１）および（１，１）のいずれかをとる。本実施の形態において、２スピン・イジング系は、（ｓ_１ ^（ｎ），ｓ_２ ^（ｎ））＝（１，１）および（ｓ_１ ^（ｎ），ｓ_２ ^（ｎ））＝（０，０）の、二つの安定状態を持つ。一例として、図７に示すように、状態２を前者に、状態１を後者に割り当て、（１，０）、（０，１）を通過点に割り当てる。そして、ｓ_１ ^（ｎ）とｓ_２ ^（ｎ）は一方のみ変更（更新）可能とすることにより、状態１と状態２との間の遷移の際に、必ず通過点を通るものとする。
【００２７】
（１）式より、状態１、通過点及び状態２のそれぞれの場合の（ｓ_１ ^（ｎ），ｓ_２ ^（ｎ））及びエネルギーＨ^（ｎ）は（Ｅ_ａ、Ｅ_ｂ，Ｅ_ｃ）は、図８のようになる。すなわち、
ｉ）Ｉ＜θ−ｗ のとき、Ｅ_ａ＜Ｅ_ｂ＜Ｅ_ｃ であり、従って、単安定。
ｉｉ）θ−ｗ＜Ｉ＜θ のとき、Ｅ_ａ＜Ｅ_ｂ＞Ｅ_ｃ であり、従って、双安定。
ｉｉｉ）θ＜Ｉ のとき、Ｅ_ａ＞Ｅ_ｂ＞Ｅ_ｃ であり、従って、単安定。
【００２８】
よって、条件 ｉｉ）が満たされるならば、上述の２スピン・イジング系は、（ｓ_１ ^（ｎ），ｓ_２ ^（ｎ））＝（１，１）および（ｓ_１ ^（ｎ），ｓ_２ ^（ｎ））＝（０，０）の、二つの安定状態を持つ。このように、各ユニットを２スピン・イジング系で記述することにより、ニューラルネットワーク構成の第１の要件である双安定性を導くことができる。
【００２９】
ｓ_ｉ ^（ｎ）（ｔ）（ｉ＝１，２；ｎ＝１，…，Ｌ）からｓ_ｉ ^（ｎ）（ｔ＋Δｔ）（ｉ＝１，２；ｎ＝１，…，Ｌ）を定める遷移規則は、次の確率過程（４ａ）式〜（４ｃ）式で与えられる。
これら確率過程（４ａ）式〜（４ｃ）式は、ボルツマンマシンで用いられている遷移規則に他ならない。このような確率的遷移規則を採用することにより、ニューラルネットワーク構成の第２の要件であるノイズも取り込むことができる。
【００３０】
【数３】

【００３１】
図９に、各ユニットにおける処理のフローチャートを示す。
まず、パラメータ調節部４によりパラメータ値（ｗ、θ、Ｇ等）を設定する（Ｓ１０１）。次に初期設定入力部２により、Ｎ個のユニットを状態２に設定する（Ｓ１０３）。すなわち、Ｎ個のユニットは、（ｓ_１ ^（ｎ），ｓ_２ ^（ｎ））＝（１，１）とする。時刻を初期時刻に設定する（Ｓ１０５）。つぎに、ｉ＝１として、さらに５０％の確率でｉ＝２とすることにより、ｓ_１ ^（ｎ）とｓ_２ ^（ｎ）を５０％の確立で発生する（Ｓ１０７、Ｓ１０９）。すなわち、ｓ_１ ^（ｎ）とｓ_２ ^（ｎ）のどちらと変化させるかを選択する。
【００３２】
ここで、（１）式及び（２）式に従い、エネルギーＨ^（ｎ）を計算する（Ｓ１１１）。ここで、時間Δｔ後における、ｓ_ｉ ^（ｎ）（ｔ＋Δｔ）を確率ｐ_ｉ ^（ｎ）で与える。そのために、まず、ｓ_ｉ ^（ｎ）（ｔ＋Δｔ）＝０とし（Ｓ１１３）、（４ａ）式に従い、確率ｐ_ｉ ^（ｎ）でｓ_ｉ ^（ｎ）（ｔ＋Δｔ）＝１とする（Ｓ１１５）。すなわち、一方を変化させ通過点（ｓ_１ ^（ｎ），ｓ_２ ^（ｎ））＝（１，０），（０，１）に遷移させる。つぎに、ｓ_ｉ ^（ｎ）（ｔ）を ｓ_ｉ ^（ｎ）（ｔ＋Δｔ）に置き換え（Ｓ１１７）、ｔをｔ＋Δｔに置き換える（Ｓ１１９）。
【００３３】
これらステップＳ１０７〜Ｓ１１７の処理は、ｎ＝１，２，〜，Ｌについて並列処理することができる。第２処理部１２は、（ｓ_１ ^（ｎ），ｓ_２ ^（ｎ））の値に従い上述のように出力０_ｎを出力する。すなわち、出力は、（１，１）であれば１、（０，０）であれば０、（１，０）及び（０，１）であれば、上述のヒステリシス特性に従い状態の遷移方向を判断して１又は０を出力する。
【００３４】
図１０に、ネットワーク活動の時間変化の説明図を示す。
本実施の形態の動作を、コンピュータ・シミュレーションにより確認した。初期時刻に励起されたネットワークの活動はしばらく持続し（ステージ２）、突然静止する（ステージ３）。このように、本実施の形態は期待通りのネットワーク活動の時間間隔Ｔを与える。この例では、時間間隔Ｔは約１．４５Ｓである。
【００３５】
なお、ネットワークの活動度Ｐは状態２にあるユニット総数Ｎ_２をユニット総数Ｌで割ったもので定義した。すなわち、Ｐ＝Ｎ_２／Ｌ。Ｐの時間変化をコンピュータ・シミュレーションにより求めた。シミュレーションで用いたパラメータ値は以下の通りである。すなわち、Ｎ＝５００； Ｗ＝１０； θ＝３０； β＝２．０； Δｔ＝０．００２ｓ； Ｇ＝２４．８。
【００３６】
図１１に、ネットワークの時間間隔Ｔの分布図を示す。ここでは、図１０と同様のシミュレーションを、ノイズ（乱数）を変えて５００回行い、時間間隔Ｔの分布を求めた。そして、活動の持続時間である時間間隔Ｔはｗ、θ、ＧおよびＮの値を固定しても、試行毎に確率遷移に用いる乱数を変えればばらつく。しかしながら、その平均時間間隔μについては、これを（５）式のように近似的に表すことができる。従って、ｗ、θ、ＧおよびＮの値をこの式に基づいて調節することにより、所望の平均時間間隔μを実現することができる。
【００３７】
【数４】

【００３８】
つぎに、平均時間間隔μについて（５）式が成り立つことを説明する。
時刻ｔに状態２にあるユニットの数がｎである確率をＰ_ｎ（ｔ）とする。このとき、Ｐ_ｎ（ｔ）の時間発展は次の（Ａ１−１）から（Ａ１−５）の方程式で与えられることが示される。また、時間間隔Ｔの分布ｆ_ｎｃ（ｔ）はこの方程式の解を用いて（Ａ１−６）式のように与えられる。このとき、時間間隔Ｔの平均値μは（Ａ１−７）式
となる。
【００３９】
【数５】

【００４０】
ここで、（Ａ１−８）式とおくと、（Ａ１−９）式であるから、（Ａ１−１０）式となる。
従って、（Ａ１−１１）式となるような十分大きなｎに対しては（Ａ１−１２）式となる。特性方程式ｘ＝exp（−ｐα）ｘ＋１の解はｘ＝１／（exp（−ｐα）ｘ＋１）であるから（Ａ１−１３）式となる。
【００４１】
【数６】

【００４２】
従って、Ｎが十分大きければ（Ａ１−１４）式となる。そして、α＝βＧ、ｎ_ｃ＝（Ｈ−Ｊ）／Ｇであるから、（Ａ１−１５）式となる。また、μ＝Ｓ_Ｎ ^（１）であるから、（５）式となる。以上のように、（５）式が証明された。
【００４３】
【数７】

【００４４】
つぎに、本発明において、Ｗｅｂｅｒの法則が成立することについて説明する。
平均時間間隔μは、上述のように、（５）式で与えられる。また、平均時間間隔μの導出と同様の証明により、時間間隔Ｔの標準偏差σが（Ａ２−２）式で与えられることが示される。これらの式から、Ｗｅｂｅｒ比は（Ａ２−３）式となる。パラメータｗあるいはθ変化させると、（５）式から平均時間間隔μも変化するが、（Ａ２−３）式のＷｅｂｅｒ比 σ／μ は、一定である。従って、Ｗｅｂｅｒの法則が成り立つ。
【００４５】
【数８】

【００４６】
【発明の効果】
本発明によると、以上の点に鑑み、Ｗｅｂｅｒの法則を再現し、生体が行う時間的情報処理における時間間隔Ｔをネットワークの時間変化として符号化（表現）することができる。また、本発明によると、ネットワークとして符号化（表現）される時間間隔Ｔを、予め定めるパラメーターの値を調節することにより、変化させる又は設定できるようにすることができる。
【図面の簡単な説明】
【図１】ニューラルネットワークの構成図。
【図２】各ユニットの状態についての説明図。
【図３】ノイズ、初期設定及びパラメータ調整可能なネットワークの構成図。
【図４】ユニットの入出力の関係についての説明図。
【図５】ネットワークの作動原理についての説明図。
【図６】ユニットの構成図。
【図７】単安定及び双安定におけるエネルギーついての説明図（１）。
【図８】単安定及び双安定におけるエネルギーついての説明図（２）。
【図９】各ユニットにおける処理のフローチャート。
【図１０】ネットワーク活動の時間変化の説明図。
【図１１】ネットワークの時間間隔Ｔの分布図。
【符号の説明】
１−１〜Ｌ ユニット
２−１〜Ｌ ノイズ入力部
３−１〜Ｌ 初期設定入力部
４ パラメータ調節部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a time encoding device and a time encoding method, and more particularly to a time encoding device and a time encoding method in the field of neural network information processing technology.
[0002]
[Prior art]
The goal of neural network information processing technology is to engineer the complex information processing that living organisms perform, for example, by learning from the nervous system of living organisms. In general, encoding of time intervals into the nervous system is considered to be an important element process in temporal information processing of organisms. Therefore, the present invention is expected to be an elemental technology for engineeringly realizing temporal information processing that is performed by an actual living body.
[0003]
Here, the time interval is, for example, an appropriate time performed by the living body, such as the time from the initial time to the stationary or start of the activity, the reaction time, the duration of the activity or the state.
[0004]
[Problems to be solved by the invention]
In human and animal time interval recognition, it is known that the standard deviation σ of the variation distribution of the time interval T such as reaction time is proportional to the average reaction time σ, that is, the Weber ratio σ / μ is constant with respect to μ. (Sensual / Perceptual Psychology Handbook, Seishin Shobo 1994).
[0005]
In the encoding of the time interval T in the conventional neural network information processing technology, a method using a pacemaker is generally used. In this method, the time interval T is represented by the number N of signals emitted from the pacemaker. That is, if the time interval unit carried by one signal is T _U , T = T _U × N
It is.
[0006]
However, as shown below, a method using a pacemaker cannot reproduce Weber's law. Variation of the time interval T in the method of using a pacemaker is believed to be derived from the variation in the time interval units T _U. That is, the time interval units T _U carrying the signal emitted each time, rather than a usual completely fixed, it is considered that little variation. If the mean value and standard deviation of the time interval unit T _U are μ _U and σ _U , respectively, and the mean value and standard deviation of the time interval T are μ and σ, respectively, become that way. From these, the Weber ratio σ / μ is expressed by the following equation and depends on N (that is, depends on μ). Therefore, Weber's law does not hold.
[0007]
[Expression 1]

[0008]
In view of the above points, an object of the present invention is to reproduce Weber's law and encode (represent) a time interval T in temporal information processing performed by a living body as a time change of a network. It is another object of the present invention to change or set the time interval T encoded (represented) as a network by adjusting the value of a predetermined parameter.
[0009]
[Means for Solving the Problems]
According to resolve means of the present invention,
Noise, initial time state, first and second parameters are given, transition between the second state and the first state through a transition state according to a stochastic process, first or second state and transition A plurality of units that output signals according to the state ;
A noise input unit for applying noise to each of the units;
An initial setting input unit for determining the number of units to be set to the second state at the initial time as N;
A parameter adjuster for setting first and second parameters in each of the units;
With
Each said unit, to configure the interconnection network a plurality interconnecting said unit so that the output signal of each of the units is a multiple-input,
Each said unit is
The first state has a first variable and a second variable that take a value of 1 or 0, and both the first and second variables are 0, indicating that the first state and the first and second variables are both 1 indicates a second state, one of the first and second variables is 1 and the other is 0 indicates a transition state between the first state and the second state,
If both the first and second variables are 1 or if the state is the second state, 1 is output as an output signal, and if both the first and second variables are 0 or if the state is the first state, 0 is output. Output as an output signal. If one of the first and second variables is 1 and the other is 0, or if the state is a transition state, the state transition direction is determined and 1 or 0 is output as the output signal. ,
When a plurality of output signals 1 or 0 of each unit are input and the sum of the inputs is larger than a value determined by the second parameter to be set, both the first state and the second state can be taken. When the sum of the inputs is smaller than the value determined by the second parameter to be set, the unit in the second state becomes monostable to transition to the first state,
Furthermore, each said unit
A plurality of output signals from each of the units; a first processing unit that calculates and outputs the sum of the inputs based on a first parameter set by the parameter adjustment unit;
Based on the output of the first processing unit, the noise input from the noise input unit and the second parameter set by the parameter adjustment unit, obtain the state of the unit according to a transition rule of a predetermined stochastic process, A second processing unit that outputs 1 or 0 according to the obtained state;
Have
The initial setting input unit sets the N units to a second state by setting both the first and second variables of the units to 1,
The second processing unit of the unit is
Selecting either the first variable or the second variable;
According to a predetermined transition rule of the stochastic process, the output of the first processing unit, the second parameter set by the parameter adjustment unit, the first and second variables, and the noise input unit Changing the value of the selected first or second variable with a probability based on the generated noise;
Output 1 if both the first and second variables are 1 or if the state is the second state, and output 0 if both the first and second variables are the first state. When,
Repeating the selecting, the changing, and the outputting;
Including
Each of the units becomes bistable by setting the N units to the second state at the initial time, and some of the N units set to the second state are in accordance with the probability. The first and second variables are changed to transition from the second state to the first state, and as the number of units in the second state decreases, the sum of the inputs of each unit decreases and becomes monostable. The other units set in the second state transition from the second state to the first state,
Provided is a time encoding device that adjusts the time interval during which the plurality of units transition from the second state to the first state according to the noise input to the unit and the first parameter and the second parameter. Is done.
[0010]
The present invention is, for example,
Noise, initial time state, given parameters, transition between the second state and the first state through the transition state according to the stochastic process, and the signal according to the first or second state and the transition process a plurality of units for outputting, to the unit, the output signal of each of the units is a multiple-input, Oite the unit to provide an output signal to each of the units into a plurality interconnected networks,
Giving each unit a noise and first and second parameters;
Calculate the sum of multiple inputs based on the first parameter,
Calculate energy based on the calculated sum and the second parameter,
Based on the calculated energy, by outputting a signal corresponding to the state obtained according to a predetermined transition rule of a stochastic process,
Adjust the time interval for transition from the second state to the first state.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a configuration diagram of a neural network. FIG. 2 shows an explanatory diagram of the state of each unit. In this example, an interconnected network (recurrent network) constituted by a plurality (L) of units 1-1 to L is considered. Each unit 1-1 to L has two stable states (bistable) if there are sufficient inputs (recurrent inputs) from other units. Each unit 1-1 to L, for example, outputs a predetermined value, '1', etc. if it is in state 2. If it is in the state 1, it is not output or a predetermined value such as “0” is output. In addition, the output corresponding to each state can be determined as appropriate, and may be the reverse output.
[0012]
Also, if the recurrent input does not reach a sufficient magnitude, each unit has only state 1 as a stable state (monostable). At this time, each unit does not output or outputs a predetermined value such as “0”.
[0013]
FIG. 3 shows a configuration diagram of a network capable of noise initial setting and parameter adjustment.
Each unit includes noise input units 2-1 to L and initial setting input units 3-1 to L. The noise input units 2-1 to 2 -L independently apply appropriate noises such as white noise, colored noise, and Poisson noise to the units 1-1 to L. In addition, each noise input part 2-1 to L may provide noise in common by providing one noise input part 2-1 to L to the plurality of units 1-1 to L. The initial setting input units 3-1 to L determine how many of the L units 1-1 to L are set to the state 2 at the initial time (t = 0) (that is, the value of N is set). Define). Further, the parameter adjusting unit 4 adjusts parameters common to the units 1-1 to L (for example, w, θ, G, etc. as described later). The parameter adjustment unit 4 may be provided in common to each or the plurality of units 1-1 to L.
[0014]
In such a network configuration, N units 1-1 to L are set to state 2 at the initial time. However, N is a sufficiently large number that can make each unit 1-1 to L bistable (that is, can generate a sufficiently large recurrent input). For example, if the units 1-1 to L are in the state 2 at the initial time, they transition to the state 1 when a certain time interval T elapses. On the other hand, there may be a transition from state 1 to state 2.
[0015]
FIG. 4 shows an explanatory diagram of the input / output relationship of the unit. As shown, the input / output has a hysteresis characteristic. The states of the output 0 portion, the hysteresis characteristic portion, and the output 1 portion correspond to monostable, bistable, and monostable, respectively. In this embodiment, the double range of the hysteresis characteristic portion and the monostable state of the left side portion are used as the use range, and either one is set in the initial state.
[0016]
FIG. 5 shows an explanatory diagram of the operation principle of the network. Here, as an example, state 1 corresponds to the left trough (white circle), and state 2 corresponds to the right trough (black circle).
[0017]
Stage 1 indicates that the number of units that are in the ON state in the initial state is N (here, for the sake of simplicity, an example in which the number of units L = 8 and N = 8 will be described). )
Here, I = (G / N) · N. The probability that a unit set to state 2 at the initial time transitions to state 1 is 0 if there are no noise or other factors. That is, the unit remains in state 2 forever. However, since there are factors such as noise in the network configuration as described above, the probability of transition from state 2 to state 1 is not 0 (although it may be very small).
[0018]
In stage 2, according to the non-zero transition probability, the N units set to state 2 at the initial time gradually transition to state 1 one by one. In this example, first, I = (G / N) · (N−1), and further a transition state is shown as I = (G / N) · (N−3). In these states, it is bistable. Moreover, by giving noise, the height of the mountain between the state 1 and the state 2 is lowered, and the transition is facilitated. Also, as the number of units in state 2 decreases, the recurrent input to each unit also decreases. As the recurrent input decreases, it becomes difficult for each unit to maintain bistability.
[0019]
In stage 3, the number of units in state 2 finally exceeds a certain number, and each unit transitions from bistable to monostable. At this time, the unit still remaining in the state 2 changes over to the state 1 through the avalanche. Accordingly, the activity of the entire network excited at the initial time continues for a while while gradually decreasing in the stage 2, and then suddenly stops in the stage 3. Here, I = 0.
[0020]
As described above, the time interval T from the initial time to the stationary activity varies if the noise (random number sequence) changes for each trial. Therefore, the average value of these time intervals T is μ. The above-described configuration can be interpreted as encoding (representing) the average time interval μ as a time change of network activity (however, accompanied by variations derived from noise (random number sequence)). The average time interval μ varies depending on the values of various parameters that define the network. Therefore, if the value of each parameter is adjusted, a desired time interval T can be encoded (represented) on this apparatus. The specific relationship between the average time interval μ and the parameters can be appropriately determined for each network as described later.
[0021]
FIG. 6 shows a configuration diagram of the unit. The unit 1-n includes a first processing unit 11 and a second processing unit 12.
[0022]
First, the process of the 1st process part 11 is demonstrated. The first processing unit 11 receives the output signals of the units 1-1 to L, calculates the sum signal I, and outputs it. The sum signal I is as shown in the equation in the figure. Here, G is a parameter supplied from the parameter adjustment unit 4. N is the number of units set in the initial state, for example, in the second state. Accordingly, N number of unit 1 in the state 2, which is the output _O n = 1. In addition, L _n other units have O _n = 0.
[0023]
Next, processing of the second processing unit 12 in each unit will be described.
In the recurrent network shown in FIGS. 1 and 2, the n-th unit is described by a two-spin Ising system defined by the energy function of equation (1).
[0024]
[Expression 2]

[0025]
Here, s _i ⁽ⁿ⁾ (i = 1, 2) is a spin variable and takes a value of 1 or 0. I is a recurrent input and is given by equation (2). However, _{N 2} is the total number of units in the state 2, is given by the initial setting input unit 3-1～N. In the equations (1) and (2), w, θ, and G are positive parameters and are given by the parameter adjustment unit 4.
[0026]
FIG. 7 and FIG. 8 are explanatory diagrams of energy in monostable and bistable.
Here, (s ₁ ⁽ⁿ⁾ , s ₂ ⁽ⁿ⁾ ) is any one of (0, 0), (1, 0) (0, 1) and (1, 1). In the present embodiment, the two-spin Ising system includes (s ₁ ⁽ⁿ⁾ , s ₂ ⁽ⁿ⁾ ) = (1, 1) and (s ₁ ⁽ⁿ⁾ , s ₂ ⁽ⁿ⁾ ) = (0, 0), which has two stable states. As an example, as shown in FIG. 7, state 2 is assigned to the former, state 1 is assigned to the latter, and (1, 0) and (0, 1) are assigned to passing points. Then, by allowing only _one of s ₁ ⁽ⁿ⁾ and s ₂ ⁽ⁿ⁾ to be changed (updated), the transition point between the state 1 and the state 2 always passes through the passing point.
[0027]
From the equation (1), (s ₁ ⁽ⁿ⁾ , s ₂ ⁽ⁿ⁾ ) and energy H ⁽ⁿ⁾ in each case of state 1, passing point and state 2 are (E _a , E _b , E _c ) As shown in FIG. That is,
i) When I <θ−w, E _a <E _b <E _c and therefore monostable.
ii) When θ−w <I <θ, E _a <E _b > E _c and therefore bistable.
iii) When θ <I, E _a > E _b > E _c and therefore monostable.
[0028]
Therefore, if the condition ii) is satisfied, the above-described two-spin Ising system can be expressed as (s ₁ ⁽ⁿ⁾ , s ₂ ⁽ⁿ⁾ ) = (1, 1) and (s ₁ ⁽ⁿ⁾ , s ₂ ^{( n)} has two stable states:) = (0,0). In this way, by describing each unit with a 2-spin Ising system, bistability, which is the first requirement of the neural network configuration, can be derived.
[0029]
^{_{s i (n) (t)}} (i = 1,2; n = 1, ..., L) from ^{_{s i (n) (t +}} Δt) (i = 1,2; n = 1, ..., L) defining a transition The rule is given by the following stochastic processes (4a) to (4c).
These stochastic processes (4a) to (4c) are nothing but transition rules used in Boltzmann machines. By adopting such a probabilistic transition rule, it is possible to capture noise, which is the second requirement of the neural network configuration.
[0030]
[Equation 3]

[0031]
FIG. 9 shows a flowchart of processing in each unit.
First, parameter values (w, θ, G, etc.) are set by the parameter adjustment unit 4 (S101). Next, the initial setting input unit 2 sets N units to state 2 (S103). That is, N units are set to (s ₁ ⁽ⁿ⁾ , s ₂ ⁽ⁿ⁾ ) = (1, 1). The time is set to the initial time (S105). Next, by setting i = 1 and further setting i = 2 with a probability of 50%, s ₁ ⁽ⁿ⁾ and s ₂ ⁽ⁿ⁾ are generated with a probability of 50% (S107, S109). That is, it is selected which of s ₁ ⁽ⁿ⁾ and s ₂ ⁽ⁿ⁾ is changed.
[0032]
Here, the energy H ⁽ⁿ⁾ is calculated according to the equations (1) and (2) (S111). Here, s _i ⁽ⁿ⁾ (t + Δt) after time Δt is given by probability p _i ⁽ⁿ⁾ . For this purpose, first, s _i ⁽ⁿ⁾ (t + Δt) = 0 is set (S113), and s _i ⁽ⁿ⁾ (t + Δt) = 1 is set with probability p _i ⁽ⁿ⁾ according to equation (4a) (S115). That is, one is changed to transit to the passing points (s ₁ ⁽ⁿ⁾ , s ₂ ⁽ⁿ⁾ ) = (1, 0), (0, 1). Next, s _i ⁽ⁿ⁾ (t) is replaced with s _i ⁽ⁿ⁾ (t + Δt) (S117), and t is replaced with t + Δt (S119).
[0033]
These processes in steps S107 to S117 can be performed in parallel for n = 1, 2,. The second processing unit 12 outputs the output 0 _n as described above according to the values of (s ₁ ⁽ⁿ⁾ , s ₂ ⁽ⁿ⁾ ). That is, the output is 1 for (1, 1), 0 for (0, 0), and (1,0) and (0, 1) for the state transition direction according to the hysteresis characteristics described above. Judgment is made and 1 or 0 is output.
[0034]
FIG. 10 is an explanatory diagram of the time change of the network activity.
The operation of the present embodiment was confirmed by computer simulation. The network activity excited at the initial time continues for a while (stage 2) and suddenly stops (stage 3). Thus, the present embodiment gives a time interval T of network activity as expected. In this example, the time interval T is about 1.45S.
[0035]
Note that activity P of the network was defined by a value obtained by dividing the unit total number N ₂ which is in state 2 the unit total number L. That is, P = N ₂ / L. The time change of P was obtained by computer simulation. The parameter values used in the simulation are as follows. That is, N = 500; W = 10; θ = 30; β = 2.0; Δt = 0.002 s; G = 24.8.
[0036]
FIG. 11 shows a distribution diagram of the time interval T of the network. Here, the same simulation as in FIG. 10 was performed 500 times while changing the noise (random number), and the distribution of the time interval T was obtained. The time interval T, which is the duration of the activity, varies even if the values of w, θ, G, and N are fixed and the random number used for the probability transition is changed for each trial. However, the average time interval μ can be approximately expressed as in equation (5). Therefore, a desired average time interval μ can be realized by adjusting the values of w, θ, G, and N based on this expression.
[0037]
[Expression 4]

[0038]
Next, it will be described that the equation (5) holds for the average time interval μ.
Let P _n (t) be the probability that the number of units in state 2 at time t is n. At this time, it is shown that the time evolution of P _n (t) is given by the following equations (A1-1) to (A1-5). Further, the distribution f _nc (t) of the time interval T is given by the equation (A1-6) using the solution of this equation. At this time, the average value μ of the time interval T is expressed by equation (A1-7).
[0039]
[Equation 5]

[0040]
Here, the expression (A1-8) is the expression (A1-9), and hence the expression (A1-10).
Therefore, for a sufficiently large n such that the expression (A1-11) is established, the expression (A1-12) is obtained. Since the solution of the characteristic equation x = exp (−pα) x + 1 is x = 1 / (exp (−pα) x + 1), the equation (A1-13) is obtained.
[0041]
[Formula 6]

[0042]
Therefore, if N is sufficiently large, the formula (A1-14) is obtained. Since α = βG and n _c = (H−J) / G, the equation (A1-15) is obtained. Further, since μ = S _N ⁽¹⁾ , Equation (5) is obtained. As described above, the expression (5) was proved.
[0043]
[Expression 7]

[0044]
Next, the fact that Weber's law is established in the present invention will be described.
The average time interval μ is given by the equation (5) as described above. In addition, the proof similar to the derivation of the average time interval μ shows that the standard deviation σ of the time interval T is given by the equation (A2-2). From these equations, the Weber ratio becomes the equation (A2-3). When the parameter w or θ is changed, the average time interval μ also changes from the equation (5), but the Weber ratio σ / μ in the equation (A2-3) is constant. Therefore, Weber's law holds.
[0045]
[Equation 8]

[0046]
【The invention's effect】
According to the present invention, in view of the above points, Weber's law can be reproduced, and the time interval T in temporal information processing performed by a living body can be encoded (represented) as a time change of the network. Further, according to the present invention, the time interval T encoded (represented) as a network can be changed or set by adjusting the value of a predetermined parameter.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a neural network.
FIG. 2 is an explanatory diagram of the state of each unit.
FIG. 3 is a configuration diagram of a network capable of adjusting noise, initial settings, and parameters.
FIG. 4 is an explanatory diagram regarding the relationship between input and output of a unit.
FIG. 5 is an explanatory diagram of the operation principle of the network.
FIG. 6 is a configuration diagram of a unit.
FIG. 7 is an explanatory diagram (1) of energy in monostable and bistable states.
FIG. 8 is an explanatory diagram (2) of energy in monostable and bistable states.
FIG. 9 is a flowchart of processing in each unit.
FIG. 10 is an explanatory diagram of changes over time in network activity.
FIG. 11 is a distribution diagram of a time interval T of the network.
[Explanation of symbols]
1-1 to L unit 2-1 to L Noise input unit 3-1 to L Initial setting input unit 4 Parameter adjustment unit

Claims (4)

Noise, initial time state, first and second parameters are given, transition between the second state and the first state through a transition state according to a stochastic process, first or second state and transition A plurality of units that output signals according to the state ;
A noise input unit for applying noise to each of the units;
An initial setting input unit for determining the number of units to be set to the second state at the initial time as N;
A parameter adjuster for setting first and second parameters in each of the units;
With
Each said unit, to configure the interconnection network a plurality interconnecting said unit so that the output signal of each of the units is a multiple-input,
Each said unit is
The first state has a first variable and a second variable that take a value of 1 or 0, and both the first and second variables are 0, indicating that the first state and the first and second variables are both 1 indicates a second state, one of the first and second variables is 1 and the other is 0 indicates a transition state between the first state and the second state,
If both the first and second variables are 1 or if the state is the second state, 1 is output as an output signal, and if both the first and second variables are 0 or if the state is the first state, 0 is output. Output as an output signal. If one of the first and second variables is 1 and the other is 0, or if the state is a transition state, the state transition direction is determined and 1 or 0 is output as the output signal. ,
When a plurality of output signals 1 or 0 of each unit are input and the sum of the inputs is larger than a value determined by the second parameter to be set, both the first state and the second state can be taken. When the sum of the inputs is smaller than the value determined by the second parameter to be set, the unit in the second state becomes monostable to transition to the first state,
Furthermore, each said unit
A plurality of output signals from each of the units; a first processing unit that calculates and outputs the sum of the inputs based on a first parameter set by the parameter adjustment unit;
Based on the output of the first processing unit, the noise input from the noise input unit and the second parameter set by the parameter adjustment unit, obtain the state of the unit according to a transition rule of a predetermined stochastic process, A second processing unit that outputs 1 or 0 according to the obtained state;
Have
The initial setting input unit sets the N units to a second state by setting both the first and second variables of the units to 1,
The second processing unit of the unit is
Selecting either the first variable or the second variable;
According to a predetermined transition rule of the stochastic process, the output of the first processing unit, the second parameter set by the parameter adjustment unit, the first and second variables, and the noise input unit Changing the value of the selected first or second variable with a probability based on the generated noise;
Output 1 if both the first and second variables are 1 or if the state is the second state, and output 0 if both the first and second variables are the first state. When,
Repeating the selecting, the changing, and the outputting;
Including
Each of the units becomes bistable by setting the N units to the second state at the initial time, and some of the N units set to the second state are in accordance with the probability. The first and second variables are changed to transition from the second state to the first state, and as the number of units in the second state decreases, the sum of the inputs of each unit decreases and becomes monostable. The other units set in the second state transition from the second state to the first state,
A time encoding apparatus that adjusts a time interval during which the plurality of units transition from the second state to the first state based on noise, a first parameter, and a second parameter input to the unit .   The time encoding apparatus according to claim 1, wherein the noise input unit includes a plurality of noise input units corresponding to the units.   The time encoding apparatus according to claim 1, wherein the initial setting input unit is a plurality of initial setting input units corresponding to the units.   The second parameter includes a parameter θ and a parameter w,
  The unit is monostable when the input sum is smaller than the difference between the parameter θ and the parameter w, and bistable when the input sum is greater than the difference between the parameter θ and the parameter w and smaller than the parameter θ. The time encoding apparatus according to any one of claims 1 to 3.

Images