JP4352340B2 - ニューラルネットワークの出力値の評価方法及び記憶媒体 - Google Patents

Description

本発明は、ニューラルネットワークの出力値の信頼性評価及び評価の根拠を示す（以下このことを説明するともいう）ニューラルネットワークの評価方法に関する。

ニューラルネットワークは学習能力を持ち、非線形性、パターンマッチングに優れているなどの特性から、現在制御、予測、診断など多くの分野において用いられている。

ニューラルネットワークは種々な構造のものが提案されているが、実用化されているその多くは３階層型のネットワーク構造のものである。３階層型のニューラルネットワークは、通常はバックプロパゲーション法と呼ばれるアルゴリズムにより事前に学習を行い、内部の結合状態を調整しておく。この学習は、与えられたデータに基づいて所望の機能を獲得するようにニューラルネットワーク内部の結合荷重を調節するもので、入力に対して正しい出力が決まっている場合にはニューラルネットワークが正しく出力したかどうかを判定し、間違いが無くなるように、結合荷重を調節することにより行われる。

こうして学習したニューラルネットワークでは、学習時に与えた学習データと同一の入力データを与えると、学習データの時と同一のデータを出力する。また学習データに近い入力データを与えると、学習データに近い出力を行う特徴を持つ。よって入力される事例が学習時に与えられたものと同じであれば、その出力値は十分に信頼できるが、学習に用いられた事例と異なるものであれば１００％信頼できるわけではない。よって、与えられた入力事例に対して得られた出力値が適切なものかどうか評価する出力値の信頼性評価が重要となる。

従来のニューラルネットワーク出力値の信頼性の評価方法としては、例えば特願平４−２６５６２号（特開平５−２２５１６３号）「ニューラルネットワークシステムおよびニューラルネットの学習方法」が提案されている。

この公報に開示されている評価方法は、通常用いるニューラルネットワークとは別に、その信頼性を評価するための評価用のニューラルネットワークを設けることを特徴としている。この評価用のニューラルネットワークは、学習済みのデータが入力されると０を、未学習のデータが入力されると１を出力する。よって、評価用ニューラルネットワークが０に近い値を出力するときには、その入力データのパターンは学習済みのパターンであるため、ニューラルネットワークの出力値は通常信頼性が高く、評価用ニューラルネットワークが１に近い値を出力するときには、その入力データのパターンは未学習のパターンであるため、信頼性が低いと評価する。

またニューラルネットワークの別の評価方法として、特開平５−２８２２７６号「ニューラルネットワーク出力状態の信頼性レベルの決定方法および決定システム」に開示されている方法がある。

この評価方法は、パターン認識に特化したニューラルネットワークに対する評価方法であり、その出力がデジタル的かつ多出力で、１つの出力のみが１、その他の出力が全て０になる場合において信頼性を評価することができる評価方法である。この評価方法では、全出力中１つの出力値だけが１に近く、それ以外の出力値が０に近い場合を信頼性の高い出力結果であると判断する。

また出力値に対する根拠を説明する方式の出力評価方法としては、特開平１０−７４１８８号「データ学習装置およびプラント制御装置」に開示されている方法がある。

この評価方法は、ニューラルネットワークの出力値を事前に蓄積された学習事例の中から類似データを検索し、類似データが見つかった場合はこれを予測の根拠とし、見つからなかった場合には、例外的データであるとして、出力値を説明するものである。

ニューラルネットワークは、その学習能力、非線形能力、パターンマッチング能力などのため多くの分野において利用されているが、内部構造が非線形かつ複雑なため、ニューラルネットワークの出力値が信頼性の高いものであるかを判定評価することは難しかった。またその出力値がどうして出力されたのか容易に説明することも困難であった。

例えば上述した従来の各評価方法において、まず１番目の「ニューラルネットワークシステムおよびニューラルネットの学習方法」に開示されている方法では、入力パターンを学習済みか未学習かを判定する評価用ニューラルネットワークを別途用意する必要があるため、システムが複雑になるという欠点を持つ。また評価用ニューラルネットワーク自体の信頼性についての問題があり、例えば評価用ニューラルネットワークの学習が良好にできていなければ、信頼性の評価値自体が信頼度の低いものになってしまう。

また上述した２番目の「ニューラルネットワーク出力状態の信頼性レベルの決定方法および決定システム」に開示されている方法では、ニューラルネットワークの構造が多出力であり、その１つの出力のみ１もしくは０．９、他の全ての出力が０もしくは０．１になるようなデジタル的な場合に特化した場合にのみ用いることが出来る評価方法であり、他の構造を持つニューラルネットワークに対しては適用することが出来ない。

更に上述した３番目の「データ学習装置およびプラント制御装置」に開示されている評価方法では、説明対象の入力データと過去事例の入力データとの類似度をユークリッド距離より算出する方法であり、簡便かつ運用者への説明が容易な方法ではある。しかし、複数ある入力データの重み付けが考慮されていないため、ニューラルネットワークの出力値に対する類似事例として抽出した事例の出力値が実際値とは大きく異なってしまう可能性がある。

この点を説明する簡単な例として、回帰式を用いた問題例を挙げる。回帰式ｙ＝１００＊ｘ１＋ｘ２（ｘ１，ｘ２ともに０〜１の範囲）において、説明対象事例を（ｘ１，ｘ２）＝（１，１）とし、過去事例を事例１（ｘ１，ｘ２）＝（１，０）、事例２（ｘ１，ｘ２）＝（０．５，１）とした場合、ユークリッド距離により判断すると事例２の方が事例１より説明対象事例に近いため、事例２の方が類似事例とされてしまう問題がある。これを回避するためには、回帰式では入力因子ｘ２の重要度はｘ１に比べ１／１００であることを考慮し、入力因子ｘ１を重視した検索を行う必要があることが分かる。

本発明は、上記問題点を鑑みたニューラルネットワーク出力値の説明・評価のための１手法を提供することを課題とする。また運用者に対し簡単にニューラルネットワーク出力値の根拠を示すことができるニューラルネットワークの評価方法を提供することを課題とする。

本発明は、コンピュータを用いて、学習事例を入力として学習済みのニューラルネットワークから出力される出力値を評価対象事例と前記学習事例との類似度として評価を行う評価方法であって、前記コンピュータが、前記ニューラルネットワークの学習に用いられた複数の前記学習事例をメモリに記憶し、前記ニューラルネットワークの結合状態から前記ニューラルネットワークの入力を構成する各入力因子の重要度を求め、前記評価対象事例と前記メモリに記憶されている各学習事例との類似度を前記重要度を用いて求めることを特徴とする。

また本発明は、コンピュータにより使用された時、複数の事例を学習事例として学習済みのニューラルネットワークの結合状態を抽出し、前記結合状態から前記ニューラルネットワークの各入力因子の重要度を求め、前記重要度に基づいて評価対象となる前記ニューラルネットワークへの入力事例と前記学習事例との類似度を求め、前記類似度に基づいて、評価対象事例に対する類似事例を抽出することを前記コンピュータに行わせるためのプログラムを記憶した前記コンピュータが読み出し可能な記録媒体である。

本発明によれば、内部状態が複雑な為、出力値がどうして算出されたか容易に説明することは困難であったニューラルネットワークにおいて、その出力値を説明する手法の１つを提供することが出来る。

また本発明では、入力事例の類似事例をニューラルネットワークの学習事例から抽出するので、抽出した類似事例から、例えば「学習データの中に○○の類似事例があるために、××の出力値になる」と出力結果の根拠を説明することができる。更には、出力結果に対する信頼性の指標として、類似事例との類似度を示すことが出来る。

また本発明では、類似例の抽出を、ニューラルネットワークの結合状態からニューラルネットワーク入力因子に対する重要度の判定を行い、入力データの重要性の度合いに応じて類似事例を抽出することができる。そのため精度の高い説明・評価が可能となる。

図１は、本実施形態に置けるニューラルネットワークの評価装置の基本構成を示す図である。

ニューラルネットワーク２０は、入力と出力が対になった多数の事例を事前に学習してから用いられる。学習済みのニューラルネットワーク２０はその学習事例と同じ入力データを入力すると、学習事例と同じ出力値を出力する。また、入力されたデータが学習事例にないパターンであっても、そのパターンに近い入力値の学習事例の出力値に近い値を出力する特徴がある。本実施形態の評価装置１０では、この特徴を利用して、ニューラルネットワーク２０が学習に用いた事例の中から入力データの類似事例を検索し抽出する。

ニューラルネットワーク２０は学習により、内部の結合状態を変化させる。ある重要な入力データに対しては内部状態の結合が強くなり、また不要な入力データに対しては内部状態の結合が弱く、もしくは結合が無くなるという特徴がある。つまり、必ずしも全ての入力データを同じ様に用いて計算しているのではなく、各入力データには出力結果に大きく影響するものとあまり影響がないものとがある。この点を考慮し、本実施形態では、類似事例の抽出をこのニューラルネットワーク内部の結合状態からニューラルネットワークの各入力因子に対する重要度判定を行い、この重要度に基づいて類似度を求めて行う。これにより、重要度の高い入力因子に重きを置き、重要度の低い入力因子を軽視した類似事例の検索を可能とする。

そしてこの検索により、入力パターンに非常に近い類似事例が学習データの中に見つかれば、ニューラルネットワークの出力値の信頼性は高いものとし、またその類似事例が既に学習されているためその値を出力したと説明することが可能である。また逆に類似度の高い類似事例が見つからなければ、ニューラルネットワークの出力値の信頼性は低いものとし、また学習事例に類似した入力パターンがないためにその値を出力したと説明可能となる。

図１の評価装置１０は、重要度判定部１１、類似度計算部１２、学習事例記憶部１３及び出力評価部１４を備えている。

学習事例記憶部１３は、出力値の評価を行うニューラルネットワーク２０の学習時に用いられた複数の学習事例を入力値（ｘ_{1 ,}ｘ₂ ，．．ｘ_i ）とその結果として出力された出力値（ｙ₁ ，ｙ₂ ，．．ｙ_o ）を対応させて記憶している。重要度判定部１１は、ニューラルネットワーク２０内部の結合状態を読みだし、この内部結合の状態からニューラルネットワーク２０の各入力因子ｘ₁ 〜ｘ_i に対する重要度を求める。尚ニューラルネットワーク２０は既に学習が完了しておりその結合状態は変化しないので、重要度判定部１１は、ニューラルネットワーク２０の結合状態をニューラルネットワーク２０から読み出すのではなく、事前に記憶しておく構成としてよい。類似度計算部１２は、評価を行う事例と学習事例記憶部１３に記憶されている各学習事例との類似度を、重要度判定部１１が求めた各入力因子ｘ₁ 〜ｘ_i に対する重要度を用いて求める。

出力値評価部１４は、類似度計算部１２が求めた類似度が最も高い学習事例、あるいは類似度が一定値以上の学習事例を類似事例とし、その類似度と共に出力値の評価として出力する。

尚本実施形態では、評価を行うニューラルネットワーク２０は、図２に示す様な入力層素子ｉ個、中間層素子ｈ個、出力層素子ｏ個からなる構成の３層階層型ニューラルネットワークに対する出力値の信頼性の評価を行うことを前提条件としている。

また以下の説明は、ｘはニューラルネットワークへの入力データ、ｙは出力データを示す。また図２に示した入力数ｉ、出力数ｏのニューラルネットワーク２０の学習に用いられるｎ個の学習データを
ｘ₁₁〜ｘ_1i，ｙ₁₁〜ｙ_1o
：
：
ｘ_n1〜ｘ_ni，ｙ_n1〜ｙ_no
とし、これらが学習事例として学習事例記憶部１３に記憶されているものとする。そしてこの学習事例によって学習されているニューラルネットワーク２０に入力データｘ₁ 〜ｘ_i とこの入力データが与えられたときに出力された出力データｙ₁ 〜ｙ_o を説明対象の事例とし、その評価として、類似事例とその類似度を出力して出力値に対する説明を行うものとする。

評価装置１０では、まず重要度判定部１１がニューラルネットワーク２０の結合状態からニューラルネットワーク２０の各入力因子ｘ₁ 〜ｘ_i に対する重要度の判定を行う。そして、この重要度を用いて類似度計算部１２が学習事例記憶部１３内の各学習事例の類似度を求める。これによりニューラルネットワーク２０内部の結合度に基づいた類似事例の検索が可能となり、重要度の高い入力因子に重きを置き、重要度の低い入力因子を軽視した類似事例の抽出を行える。

この重要度の判定方法としては種々なものが考えられるが、その一例を以下に示す。図２の入力層素子ｉ個、中間層素子ｈ個、出力層素子ｏ個からなり、各層間の結合をｗ、ｖとするニューラルネットワークの場合、入力因子ｘ_k （ｋ＝１〜ｉ）の重要度は例えば以下の式により表記できる。

ここで、式(1) は、入力層と中間層の結合状態のみに注目して重要度を表した式であり、また式(2) は入力層と中間層、中間層と出力層の２つの結合状態に着目して重要度を表した式である。この式(1) 、(2) のいずれによる判定方法においても良好な重要度判定が可能である。重要度判定部１１は、ニューラルネットワーク２０から内部の結合状態を読みだし、各上記式等によって各入力因子の重要度を求める。

こうして求めた重要度を用いて類似度計算部１２は、学習事例記憶部１３に記憶してあるニューラルネットワーク２０の各学習事例と説明対象となっている入力事例との類似度を計算する。類似度は比較する入力因子ｘの差分とその入力因子の重要度から算出出来、その具体的な算出式は種々なものが考えられるが、その一例を以下に示す。

上記式(3) 〜(6) は、入力事例ｘ₁ 〜ｘ_i と学習事例記憶部１３内に記憶されている各学習事例ｘ_j1〜ｘ_ji（ｊ＝１〜ｎ）との類似度ｊを表す式である。この式(3) 〜(6) では、類似度ｊは値が大きいほど類似性が高いことを意味している。この式(3) 〜(6) のいずれを用いて類似度を求めても、各入力因子の重要度を考慮した類似度の算出が可能となる。

またこの式(3) 〜(6) で表した類似度ｊからは、値が大きい方が類似度合いが高いことは分かるが、マイナスの値で示される為、どの程度類似しているのかまでは運用者には感覚的に分かりづらい。そこで、この点を考慮して、類似の度合いをパーセンテージで表すことで、運用者に対しより分かりやすい出力値とすることが考えられる。このための計算式は種々のものが考えられるが、例えば上記式(4) から以下の式が求まる。

この様な式によって、入力事例と各学習事例との類似度は０〜１００％の度合いで表わされ、この類似度合いを各学習事例と共に表示出力することによって、運用者は、対象となっている事例と類似した事例が学習事例としてどの程度類似したものがどれだけ存在するか容易に把握出来るようになる。尚この式(7) では、入力データｘは０〜１の値に正規化されているものとする。

類似度計算部１２から、各学習事例が説明対象事例との類似度と共に評価部１４に出力され、評価部１４ではこれらの中から最も類似度の高い事例、若しくは類似度が一定値以上の学習事例を類似事例としてその類似度と共に出力値に対する評価として出力する。

また上記構成では、類似度が一定値より高い事例を単に抽出していたが、この方法の場合、類似度が同じか若しくはほとんど同じ類似事例が複数あるときは複数の事例が出力されるため、運用者はこのうちのどの事例の出力値を信じればよいかが分からない。また１つの事例のみを類似事例として抽出する構成の場合には、学習事例の出力値とニューラルネットワークの実際の出力値が一致しないこともある。

このことに対処する構成として、評価部１４が類似度合いの高い複数の類似事例を抽出してこれらを平均し、これを説明結果である値として出力にする構成とすることも出来る。この抽出の仕方としては、類似度が一定値以上のもの、最大の類似度にする類似度の割合が特定以上のもの、類似度の高い順に上位から特定数のものなどが考えられる。

この構成の場合、類似度合いの高い複数の類似事例の平均値を取るため、説明結果である値が１つになる特徴を持つ。またこれによりニューラルネットワークの出力と説明結果の一致度合いが高くなる。

図３は、評価装置１０による入力事例の評価処理を示すフローチャートである。

評価装置１０では、まず説明対象となるニューラルネットワーク２０への入力データｘ（ｘ₁ 〜ｘ_i ）が入力されると、ステップＳ１としてネットワーク２０から内部の結合状態を読み出す。そしてこの結合状態から式(1) 等によってニューラルネットワーク２０の各入力因子に対する重要度を算出する（ステップＳ２）。

次に、ステップＳ３として学習事例記憶部１３からニューラルネットワーク２０の学習に用いた事例を順次読みだし、ステップＳ２で求めた各入力因子に対する重要度を用いて、式(3) 〜(7) 等によってニューラルネットワーク２０の入力値ｘとの類似度を算出する。そしてステップＳ５として、類似度が最も大きなもの若しくは類似度が一定値以上のものを類似事例として出力する。

図４は、複数の類似事例の平均をとり、説明結果である値を１つ出力する構成の場合の評価装置の処理を示すフローチャートである。

図４の処理では、ニューラルネットワーク２０に入力データｘが入力されてから、この入力事例と学習事例記憶部１３内の各事例との類似事例を求めるステップＳ１１からステップＳ１４までの処理動作は、図３の場合のステップＳ１からステップＳ４までの処理と同じなので説明は省略する。

ステップＳ１４までの処理で、入力事例と各学習事例との類似度が求まった後、次にステップＳ１５として類似事例を抽出するための類似度合いの範囲を設定する。この類似度合いは、運用者の入力によって例えば類似度９０％以上というように決定され、この範囲にある類似度の学習事例をステップＳ１６として検索して抽出する。そして、ステップＳ１７としてこれら複数の類似事例をその類似度によって荷重平均を行い、結果を出力する。

次に、これまで説明した本実施形態による評価装置１０を用いたより具体的なシステム構成例及び実施例を説明する。

以下の説明は、ダムへの水の流入量予測をニューラルネットワークで行うシステムに図１の評価装置を用いた場合を例にしている。

図５は、この予測システムの構成例を示す図である。

この予測システム１００は、各測定地から通信ネットワーク２００を介して収集された流量や雨量の計測データからダムへの流入量をニューラルネットワーク２０により予測するシステムで、ニューラルネットワーク２０による予測結果と共に評価装置１０による評価結果を運用者に表示する。

この予測システム１００は、評価装置１１０とニューラルネットワーク１２０、データ集積部１３０、計測データ記憶部１４０、出力処理部１５０、表示部１６０及び予測結果記憶部１７０を備えている。このうち評価部１１０及びニューラルネットワーク１２０は、図１の評価装置１０及びニューラルネットワーク２０と同じものである。またニューラルネットワーク１２０は、過去の事例によって各測定データからダムの流入量の差分を予測結果として出力するように事前に学習されている。

またデータ集積部１３０は、通信ネットワーク２００を介して各測定地から集められてくる計測データを管理し、計測データ記憶部１４０に記憶してゆくものである。またデータ集積部１３０は、通信ネットワーク２００からの現在値の測定データとデータ集積部１３０内の過去の測定データをニューラルネットワーク１２０への入力データとして出力する。出力処理部１５０は、ニューラルネットワーク１２０及び評価装置１１０からの出力データを予測結果記憶部１７０に記憶してゆくと共に、グラフ形式等の画像データに加工して表示部１６０に出力表示する。予測結果記憶部１７０は、ニューラルネットワーク１２０による予測結果と評価装置１１０によるその評価を対応させて記憶するもので、この予測結果記憶部１７０に記憶されたデータはニューラルネットワーク１２０の再教育等に用いられる。

図６は、予測システム１００内のニューラルネットワーク１２０の入力因子と出力因子を示すものである。同図中（０）は現在時刻の計測値、（−１）、（−２）、．．は１時間前、２時間前、．．の計測値を示している。

本実施形態の予測システム１００では、現在時刻から２０時間前までの雨量及び３時間前までのダムへの流入量とダムの上流にある河川１、河川２及び河川３からの流量をニューラルネットワーク１２０への入力因子とし、これらのデータがデータ集積部１３０からニューラルネットワーク１２０に入力される。そしてニューラルネットワーク１２０の出力因子としてダムへの流入量の差分を出力して、１時間先のダムの流入量変化分を予測する。またその予測値と共に、その信頼性と予測結果の根拠を説明するものとしてニューラルネットワーク１２０の学習に用いられた過去事例の中から類似事例を抽出して示す。

図７は図６に示したニューラルネットワーク１２０の各入力因子ｘ_k （ｋ＝１〜３５）それぞれに対する重要度を示す図である。予測システム１００ではこの重要度の値に基づいて、説明対象となっている入力事例と各学習事例との類似度を求めている。尚同図の重要度は式(1) を用いて求めてある。

また類似度は、この図７の重要度を用いて次式から求まる。

またこの式(8) をパーセンテージで類似度を表すようにしたものが次式となる。

ただし、式(9) では、入力値ｘは０〜１の値に正規化してある。

図８及び図９に表示部１６０に表示される予測結果とその根拠となる類似事例の表示例を示す。図８は２１時に行った予測結果の表示例で、予測の為の入力データとして用いられた過去約２０時間分の流域の状態を示すデータと共に１時間後のダムへの流量の予測値がグラフ表示されている。同図中棒グラフが各時間での雨量を示し、折れ線グラフがダムの流量及び上流の各河川での流量を示している。また図中の×部分が現在時点（２１時の時点）を示しており、ここから過去２０時間分（１〜２１時）の測定データ及び１時間先（２２時の時点）の流入量の変化分の予測値が示されている。

図９は、図８の予測結果の根拠となる類似事例を示すもので、学習事例として用いられたものの中から類似度合いが最も高い過去事例が抽出されて図８の予測結果と同じ形式でグラフ表示されている。

もし抽出した類似事例が説明対象の入力事例と似ている場合には、ニューラルネットワークの出力値は類似事例に近いものを示し、また抽出した類似事例が説明対象の入力事例に似ていない場合には、ニューラルネットワークの出力値は、過去事例と異なる傾向を示す。この図８と図９の事例の場合、式(8) から求めた類似度は９６．７１％であり、予測に用いられた入力データと抽出した事例との類似度は高いものとなっている。また１時間後（２２時）のダムへの流入量の変化量も共に１００［ｍ³ ／ｓ］強であり、非常に似通ったものとなっている。この結果から、運用者は図８の予測結果は信頼性が高いものと判断できる。尚上記例では図８の予測値に対し、１つの類似事例のみを表示出力していたが、特定値以上の類似度をもつ複数の類似事例を表示出力する構成としても良い。

このように、本実施形態の予測システムでは、ニューラルネットワーク１２０による出力（予測値）を学習事例（過去事例）により説明し信頼性を評価することができる。例えば上記図８の予測結果に対しては図９を類似事例として「学習事例の中にある類似事例の流入量の変化量が１００［ｍ³ ／ｓ］強であるので、ニューラルネットワーク１２０による予測値も約１００［ｍ³ ／ｓ］になる」と説明することが可能である。また学習事例の中から抽出した類似事例との類似度合いもパーセンテージで表わすことが出来るので、信頼性の指標としてこの値を用いることが出来、運用者は予測値の信頼性を容易に把握することが出来る。

次に、上述したように最も類似度が高い例を単に出力するのではなく、類似事例として複数の事例を抽出し、これらを平均したものをニューラルネットワークによる予測結果に対する評価とする場合を説明する。

この事例の抽出の仕方としては、入力事例と各学習事例との類似度を求めた後、例えば類似度が最も高いものから順に（上位３事例等）、類似度が特定値以上（９０％以上等）のもの、類似例の最大の類似度に対してある割合以上のもの（例えば類似度が大きい事例の類似度が９０％であったときその９０％、つまり８１％以上等）などの方法により行うことが出来る。

以下に簡単な例として、２入力１出力の足し算を学習データにもつニューラルネットワークの出力値を説明することを考える。ただし、類似度の判定式は次式

とした。また簡単のため入力１、入力２の重要度は共に１としている。

上記前提において、説明対象となる入力事例を図１０に、またニューラルネットワークの学習事例を図１１に示す。図１１には各学習事例と式(10)から求めた図１０の説明対象事例との類似度が示してある。同図中事例２及び事例３が類似度−１で最も類似度が高い事例であり、２つの学習事例が同じ類似度となっている。また事例２の出力値は２、事例３の出力値は４であり、どちらの事例の場合でも図１０で示す説明対象におけるニューラルネットワークの出力値である３．０とは異なる。

類似度が最も高いこの２つの事例に対し、類似度合いを重みとした荷重平均を取ると、出力値（過去事例からの説明値）＝［｜事例２の類似度｜×事例２の出力値＋｜事例３の類似度｜×事例３の出力値］／｜事例２の類似度＋事例３の類似度｜＝３．０
となりニューラルネットワークの出力値と一致する。

この様に、類似度合いを重みとした荷重平均により説明することにより、過去事例による説明結果は良好な値（ニューラルネットワークの出力値により近い値）になる。

図１２は、本実施形態における評価装置やニューラルネットワークによる予測システムが構築される情報処理システムのシステム環境を示す図である。

この情報処理システムは、図１２の様にＣＰＵ３０１、主記憶装置３０２、ハードディスク装置３０３、ディスプレイ、キーボード、マウス等を備えた入出力装置３０４、モデム、ＬＡＮアダプタ等のネットワーク接続装置３０５及びＣＤ、ＤＶＤ、光ディスク、フロッピーディスクなどの可搬記憶媒体３０７が装着され、それから記憶内容を読み出す媒体読取り装置３０６を有し、これらが互いにバス３０８により接続される構成となっている。

図１２の情報処理システムでは、媒体読取り装置３０６により可搬記憶媒体３０７に記憶されているプログラム、データを読み出し、これを主記憶装置３０２またはハードディスク３０３にロードまたは格納する。そして本実施形態による各処理は、ＣＰＵ３０１がこのプログラムやデータを主記憶装置３０２上にロードして実行することにより、ソフトウエア的に実現することが可能である。

また、この情報処理システムでは、可搬記憶媒体３０７を用いてアプリケーションソフトの交換が行われる場合がある。よって、本発明は、ニューラルネットワークの出力値の評価装置やニューラルネットワークによる予測システムに限らず、コンピュータにより使用されたときに、上述の本発明の実施の形態の機能をコンピュータに行わせるためのコンピュータが読み出し可能な記憶媒体として構成することもできる。

この場合、「記憶媒体」としては、例えば図１３に示されるように、ＣＤ−ＲＯＭ、フロッピーディスク（あるいはＭＯ、ＤＶＤ、リムーバブル磁気ディスク等であってもよい）等の媒体駆動装置４０７に脱着可能な可搬記憶媒体４０６や、ネットワーク回線４０３経由で送信される外部の情報提供業者が保有する情報提処理装置（サーバ等）内の記憶デバイス（データベース等）４０２、あるいは情報処理装置４０１の本体４０４内のメモリ（ＲＡＭ又は外部記憶装置）４０５等が含まれる。可搬記憶媒体４０６や記憶デバイス（データベース等）４０２に記憶されているプログラムは、本体４０４内のメモリ（ＲＡＭ又は外部記憶装置等）４０５にロードされて、実行され、上述した本実施形態の各機能を実現する。

評価装置の構成を示す図である。 前提となるニューラルネットワークの構成を示す図である。 評価装置による入力事例の評価処理を示すフローチャートである。 複数の類似事例を平均し、説明結果である値を１つ出力する構成の場合の評価装置の処理を示すフローチャートである。 ダムの流入量を予測する予測システムの構成例を示す図である。 予測システム内のニューラルネットワークの入力因子と出力因子を示す図である。 各入力因子に対する重要度を示す図である。 表示部に表示される予測結果の例を示す図である。 表示部に表示される予測結果の根拠となる類似事例を示す図である。 説明対象となる入力事例を示す図である。 ニューラルネットワークの学習事例を示す図である。 本システムが用いられる情報処理システムの環境図である。 記憶媒体の例を示す図である。

符号の説明

１０ 評価装置
１１ 重要度判定部
１２ 類似度計算部
１３ 学習事例記憶部
１４ 評価部
２０、１２０ ニューラルネットワーク
１００ 予測システム
１１０ 評価部
１２０ ニューラルネットワーク
１３０ データ集積部
１４０ 計測データ記憶部
１５０ 出力処理部
１６０ 表示部
１７０ 予測結果記憶部
２００ 通信ネットワーク

Claims (2)

1. コンピュータを用いて、学習事例を入力として学習済みのニューラルネットワークから出力される出力値を評価対象事例と前記学習事例との類似度として評価を行う評価方法であって、
   前記コンピュータが、
   前記ニューラルネットワークの学習に用いられた複数の前記学習事例をメモリに記憶し、前記ニューラルネットワークの結合状態から前記ニューラルネットワークの入力を構成
   する各入力因子の重要度を求め、
   前記評価対象事例と前記メモリに記憶されている各学習事例との類似度を前記重要度を用いて求めることを特徴とするニューラルネットワークの出力値の評価方法。
2. コンピュータにより使用された時、
   複数の事例を学習事例として学習済みのニューラルネットワークの結合状態を抽出し、
   前記結合状態から前記ニューラルネットワークの各入力因子の重要度を求め、
   前記重要度に基づいて、評価対象となる前記ニューラルネットワークへの入力事例と前記学習事例との類似度を求め、
   前記類似度に基づいて、評価対象事例に対する類似事例を抽出することを前記コンピュータに行わせるためのプログラムを記憶した前記コンピュータが読み出し可能な記録媒体。