Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456

Fair skys
with intermittent Neuron[II]

4/20

晴れときどきニューロン[II]

おたより紹介

　議論を呼んだニューラルネットと残像の話、CAD製作を生業とされている田中さんからお手紙をいただきましたので紹介いたします。

CADをこしらえている田中という者です。

Prejudiceいつも楽しみにしています。
積極的に理論を吸収するshi3zさんのスタンス、
多いに共感するところがあります。

ところで、こないだの「ニューラルネット再び」で、

> 実は、そのほかのニューラルネットというものは、
> 基本的に時間軸において変化するものに対して非常に
> 脆弱な側面があって、たとえば有名な逆伝播法
> (バック・プロパゲーション）は既に論外としても、
> 手書き文字認識などに使われるニューラルネットにしろ、
> どこかしらその学習過程で時間軸を別の信号的概念に変換
> しなくてはなりませんでした(例えば書き順などに)。

とのことですが、まさに時間軸に着目したNNとして、
リカーレント（再帰型）NNというものがあります。
これはネットワークの出力を再び入力に戻してやることで、
時間的な遅延を表現しています。

また、バックプロパゲーションは学習のアルゴリズムであって、
ネットワークの構造をもって時間軸を考慮しているかどうかを
区分すべきではないでしょうか。例えばリカーレントNNも学習則は
バックプロバゲーションの変形を主に用いています。


> むしろニューラルネットワークの数学的性質に着目した研究
> (巡回サラリーマン問題など)が進んでいました。

これは、巡回セールスマン問題、の方が通りがいいと思います。


テーマが発散しないようにあえてリカーレントに言及されなかった
のでしたらごめんなさい。僕も以前進化システムとかいう怪しげな
研究テーマを追いかけていて、ちょっとNNもかじっていたので、
あまりにうれしかったのでした。


//たなか
tanaka@nagoya.caelum.co.jp

　ぎゃふん。

　確かにおっしゃる通りです。バックプロパゲーション（逆伝播法）は単なる学習アルゴリズムなので減衰するかどうかとは直接関係ありません。巡回サラリーマン問題は間違いで巡回セールスマン問題でした。ああ、いい恥かいた(^^;ゝ。

　どーもセールスマン＝サラリーマンと昔から変換する癖があるようで、またやっちまいました。

　さて、リカーレントＮＮというのは初耳でした。僕の勉強不足です。資料を探さねば。

　えーと、一応なぜ言い間違ったかという言い訳をしながら前回の補足を致すことにします。

　バックプロパゲーションはパーセプトロンの発展としての多層パーセプトロンの学習則として考え出されたアルゴリズムです。これはしかし入力した瞬間に出力が発生してしまうので時間軸というものは原理上考えられません。

　それで、今思い出したのですが、リカーレントＮＮというのは、人工生命(A-Life)の参考書などで良く目にする、出力ニューロンから一部の入力ニューロンへフィードバックするタイプのニューラルネットワークのことを指すのでしょうか。

　もうひとつ、バックプロパゲーションというものそれ自体が、不自然なものではないかと思うのです。

　というのは、あくまでこれは感じ方として、なんですけど、ニューラルネットワークというのはニューロン単体に細胞（セル）としての機能を持たせた、変則的なセル・オートマトン世界だと言えると思います。

　ところがバックプロパゲーションは最終的な出力を評価関数が真または偽と判定して、超自然的な力でシナプシスを細めたり太くしたりするものです。

　セル・オートマトン世界なのに、学習ということにだけついて超自然的な力が作用するという考え方はどうもなじめません。

　そこで、「蓄積・減衰するニューロン」を応用するとしたら、従来の多層パーセプトロンのような一過的なものではなくてむしろアソシアトロンのような相互作用的なネットワークなのではないか、と。アソシアトロンにはバックプロパゲーションのような高度な学習則は必要ありませんし、パターン認識能力に於いても人間の記憶と似た性質を持っています。

　おぼろげな記憶で申し訳ないのですが、バックプロパゲーションはもともと量子物理のスピンの計算をするために考え出されたものと聞きます。つまりバックプロパゲーションが適用できるネットワークというのは「答え」が確実に見つけることのできるネットワークだけなのではないでしょうか。

　人間の脳細胞（ニューロン）は他のニューロンに対して電気的な刺激と物理的な刺激（刺激物質の搬送）の二種類の刺激を出すと言われています。

　コンピュータのニューラルネットにも二種類の刺激があっても良いのではないかと思うのです。

　まだ推測の域を出ないのですが、例えば刺激物質がシナプシスの抑制・増大に寄与するものとして、電子的な刺激をニューロン自体の出力する信号に置き換えるとします。

　そうすると、もしかしたら、バックプロパゲーションを使わずにこの手のネットワークを学習させることができるかもしれません。

　要するに、学習刺激をニューロン自身に行わせるのです。あれ？そんな話、どこかで聞きましたね。もうニューラルネットの勉強をサボッているので忘れてしまいました。学会誌も購読してるのですが、じっくり読む時間がなくて残念です。ちょっと時間を見つけてまた勉強してみることにします。