JP5532052B2 - 評価モデル分析システム、評価モデル分析方法およびプログラム - Google Patents

Description

本発明は、評価モデル分析システム、評価モデル分析方法および評価モデル分析プログラムに関し、特に、実システムに対応するシステムモデルから生成された実システムの評価モデルを分析する評価モデル分析システム、評価モデル分析方法および評価モデル分析プログラムに関する。

実際に開発され運用されるシステムを実システムと記す。個々の実システムを個別に開発すると、設計等に多くの工程を要する。そのため、実システムを抽象化して表現したモデルを用意しておき、他の実システムを開発するときに、そのモデルを再利用することで設計等の工程数を削減することが行われている。以下、実システムの構成および動作を抽象化して表現したモデルをシステムモデルと記す。

また、種々のモデルを作成してシステムの評価を行う装置が提案されている（例えば、特許文献１，２参照）。特許文献１には、半導体装置の機能をモデル化した機能モデルと、半導体装置の物理アーキテクチャをモデル化したアーキテクチャモデルとを用いて半導体装置の性能を評価する性能評価装置が記載されている。

特許文献２には、計算機リソース構成図情報とシーケンス図情報とから計算機システムにて業務を実行するためのシミュレーションモデル情報を作成し、そのシミュレーションモデル情報を用いて、与えられた負荷条件で業務のシミュレーションを実行して、計算機システムにおける応答時間特性とリソースの利用率とを含む性能評価を行う性能評価装置が記載されている。

また、特許文献３には、ＵＭＬ（Unified Modeling Language ）で記述されたＵＭＬモデルを解析し、その解析結果を変換規則に従って変換して性能評価モデルを生成する性能評価モデル生成装置が記載されている。

また、特許文献４には、正常時の分散トランザクションシステムにおける複数の時系列データの相関関係を調べ、時系列データがその相関関係から逸脱していることを検知することでシステムの故障を検知する技術が記載されている。

特開２００４−３１８６５４号公報（段落００１３） 特開２００７−１８８１７９号公報（段落００１０） 特開２００１−３１８８１２号公報（段落０００８） 米国特許出願公開第２００７／０１７９７４６号明細書

実システムを評価するために評価モデルを作成し、その評価モデルに基づいて実システムを評価したとしても、評価モデルの精度が低ければ、評価結果の精度も低くなってしまう。例えば、評価モデルに含まれているパラメータの値が適切な値に設定されていない場合、評価モデルから求めた評価結果の精度は低下する。また、適切な評価を行うために考慮すべきパラメータが評価モデルに反映されていない場合にも、評価モデルから求めた評価の精度は低下する。

そこで、本発明は、実システムを評価するための評価モデルの精度向上に資することができる評価モデル分析システム、評価モデル分析方法および評価モデル分析プログラムを提供することを目的とする。

本発明による評価モデル分析システムは、実際に運用される実システムを表すモデルであるシステムモデルに基づいて、実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成する評価モデル生成手段と、運用中の実システムにおける実際のパラメータの値を含む運用情報と、評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する評価モデル分析手段とを備え、評価モデル分析手段が、運用情報から得られる各パラメータの値に基づいて、運用情報から得られるパラメータ同士の相関の有無を判定し、相関があると判定したパラメータ同士の組のうち、一方のパラメータが評価モデルの式に使用され、もう一方のパラメータが評価モデルの式で使用されていないパラメータの組を特定することを特徴とする。

また、本発明による評価モデル分析方法は、実際に運用される実システムを表すモデルであるシステムモデルに基づいて、実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成し、運用中の実システムにおける実際のパラメータの値を含む運用情報と、評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析し、評価モデルの精度を向上可能なパラメータを分析するときに、運用情報から得られる各パラメータの値に基づいて、運用情報から得られるパラメータ同士の相関の有無を判定し、相関があると判定したパラメータ同士の組のうち、一方のパラメータが評価モデルの式に使用され、もう一方のパラメータが評価モデルの式で使用されていないパラメータの組を特定することを特徴とする。

また、本発明による評価モデル分析プログラムは、コンピュータに、実際に運用される実システムを表すモデルであるシステムモデルに基づいて、実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成する評価モデル生成処理、および、運用中の実システムにおける実際のパラメータの値を含む運用情報と、評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する評価モデル分析処理を実行させ、評価モデル分析処理で、運用情報から得られる各パラメータの値に基づいて、運用情報から得られるパラメータ同士の相関の有無を判定させ、相関があると判定したパラメータ同士の組のうち、一方のパラメータが評価モデルの式に使用され、もう一方のパラメータが評価モデルの式で使用されていないパラメータの組を特定させることを特徴とする。

本発明によれば、実システムを評価するための評価モデルの精度向上に資することができる。

本発明の第１の実施形態の評価モデル分析システムの例を示すブロック図である。 第１の実施形態の評価モデル分析システムの処理経過の例を示すフローチャートである。 システムモデルの例を示す説明図である。 本発明の第２の実施形態の評価モデル分析システムの例を示すブロック図である。 第２の実施形態の評価モデル分析システムの処理経過の例を示すフローチャートである。 本発明の第３の実施形態の評価モデル分析システムの例を示すブロック図である。 本発明の第４の実施形態の評価モデル分析システムの例を示すブロック図である。 本発明の最小構成の例を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明の第１の実施形態の評価モデル分析システムの例を示すブロック図である。第１の実施形態の評価モデル分析システム１は、モデル入力手段２と、モデル編集手段３と、システムモデルリポジトリ４と、評価関数・パラメータリポジトリ５と、評価モデル生成手段６と、アプリケーション依存パラメータ入力手段７（以下、ＡＰ依存パラメータ入力手段７と記す。）と、評価手段８と、監視手段９と、評価モデル分析手段１０と、出力手段１１とを備える。

モデル入力手段２は、評価モデル分析システム１のユーザであるシステムエンジニア（以下、ＳＥと記す。）がシステムモデルの生成操作を行うための入力デバイスである。モデル入力手段２は、例えば、キーボードやマウス等によって実現されるが、他の入力デバイスによって実現されてもよい。

なお、既に説明したように、システムモデルは、実際に開発され運用される実システムの構成および動作を抽象化して表現したモデルである。システムモデルは、実システムの構成として、どのようなソフトウェアやハードウェアが設けられているかを表現し、また、そのハードウェアがどのように動作するかを表現している。システムモデルは、例えば、ＵＭＬ（Unified Modeling Language ）やＳｙｓＭＬ（Systems Modeling Language）等の機械処理可能なモデリング言語によって記述される。ただし、システムモデルを記述する言語はＵＭＬやＳｙｓＭＬに限定されず、システムモデルは他の言語で記述されていてもよい。機械処理可能な言語とは、表現した内容に対して情報処理を行うことができる言語を意味する。

システムモデルリポジトリ４は、生成されたシステムモデルを記憶する記憶装置である。システムモデルリポジトリ４は、過去に生成されたシステムモデルや、モデル編集手段３によって新規に生成されたシステムモデルを記憶する。

モデル編集手段３は、モデル入力手段２で行われるＳＥの操作に応じて、システムモデルを生成し、生成したシステムモデルをシステムモデルリポジトリ４に記憶させ、また、評価モデル生成手段６に入力する。モデル編集手段３は、ＳＥの操作に応じて新規にシステムモデルを生成してもよく、あるいは、ＳＥの操作に応じて、システムモデルリポジトリ４に記憶されている既存のシステムモデルを流用して変更を加えたり、既存のシステムモデルを組み合わせたりすることによって新たなシステムモデルを生成してもよい。モデル編集手段３が、例えばＳｙｓＭＬ等で記述されたシステムモデルをユーザの操作に従って生成するアルゴリズムとしては、公知のアルゴリズムを採用すればよい。

ＳＥは、生成したシステムモデルに基づいて、実システム２０の開発を行う。

評価関数・パラメータリポジトリ５は、評価モデルを生成するために用いられる評価関数群や、種々のパラメータの値を記憶する記憶装置である。評価モデルは、評価項目に関する評価結果を導出する式と、その式で用いられるパラメータの値の組合せとして生成される。評価モデルに含まれる式は、例えば、パラメータを用いた多項式として表されるが、評価モデルに含まれる式の形式は多項式に限定されず、漸化式等の種々の表現形式で表現されていてもよい。また、本実施形態では、評価モデルが、システムの性能や可用性等の非機能要件に関する評価結果を導く場合を例にする。

評価関数・パラメータリポジトリ５が記憶する評価関数群は、評価モデルに含まれる式を生成するためのいわば部品として用いられる式である。

また、評価関数・パラメータリポジトリ５が記憶するパラメータは、プラットフォーム依存パラメータと、アプリケーション依存パラメータとに分類することができる。以下、プラットフォーム依存パラメータをＰＦ依存パラメータと記し、アプリケーション依存パラメータをＡＰ依存パラメータと記す。

ＰＦ依存パラメータは、実システムの物理リソースの特性を表すパラメータである。ＰＦ依存パラメータの例として、例えば、実システム２０に設けられたディスクのスループット等が挙げられる。評価関数・パラメータリポジトリ５は、各種ＰＦ依存パラメータの値を記憶する。

ＡＰ依存パラメータは、実システムの機能を実現するためのアプリケーションに依存する値である。ＡＰ依存パラメータの例として、例えば、データベースサーバへのＳＱＬ発行数等が挙げられる。評価関数・パラメータリポジトリ５は、各種ＡＰ依存パラメータのデフォルト値を記憶する。ただし、ＳＥによって、ＡＰ依存パラメータ入力手段７にＡＰ依存パラメータの値が入力されたならば、評価モデル生成手段６は、そのＡＰ依存パラメータの値を用いて、評価モデルを生成する。評価モデル生成に必要なＡＰ依存パラメータの値がＡＰ依存パラメータ入力手段７に入力されなかった場合には、評価モデル生成手段６は、予め評価関数・パラメータリポジトリ５に記憶されたＡＰ依存パラメータのデフォルト値を用いて、評価モデルを生成する。

ＡＰ依存パラメータ入力手段７は、評価モデル生成に用いるＡＰ依存パラメータの値を入力するための入力デバイスである。ＡＰ依存パラメータ入力手段７は、例えば、キーボードやマウスによって実現されるが、他の入力デバイスによって実現されてもよい。また、ＡＰ依存パラメータ入力手段７とモデル入力手段２とが共通の入力デバイスで実現されていてもよい。

評価モデル生成手段６は、モデル編集手段３に入力されたシステムモデルに応じて、評価関数・パラメータリポジトリ５に記憶されている評価関数を組み合わせて評価モデルとなる式を生成する。さらに、評価モデル生成手段６は、その式に用いられるＰＦ依存パラメータの値と、ＡＰ依存パラメータの値と、その式との組合せを評価モデルとして生成する。上述のように、ＡＰ依存パラメータの値が入力されない場合には、評価関数・パラメータリポジトリ５に予め記憶されたＡＰ依存パラメータのデフォルト値を用いて、評価モデルを生成する。

また、ここでは、評価モデル生成手段６にモデル編集手段３からシステムモデルが入力される場合を説明したが、評価モデル生成手段６は、実システム２０に対応するシステムモデルを参照する構成であればよい。例えば、評価モデル生成手段６は、モデル編集手段３からシステムモデルを与えられる代わりに、システムモデルリポジトリ４から実システム２０に対応するシステムモデルを読み込み、そのシステムモデルに応じた評価モデルを生成してもよい。

評価モデル生成手段６には、システムモデル内で表される情報処理装置の接続関係や、各情報処理装置の動作の流れに応じて、どのような評価関数をどのように組み合わせればよいかを表すルールが設定されている。例えば、第１サーバにおける処理結果の一部を第２サーバに入力し、残りを第３サーバに入力し、第２サーバ、第３サーバがそれぞれ入力された情報に対して処理を行うという関係が、システムモデルで表現されているとする。例えば、評価モデル生成手段６は、第１サーバに関する評価結果を導く評価関数や、その評価関数の結果を利用して、第２サーバや第３サーバに関する評価結果を導く評価関数を、評価関数・パラメータリポジトリ５から抽出し、それらの評価関数を組み合わせて、評価モデルに含まれる式を生成すればよい。また、このとき、評価モデル生成手段６は、各評価関数に含まれるＡＰ依存パラメータやＰＦ依存パラメータの具体的な値と、生成した式との組み合わせを生成する。本実施形態では、システムモデルに基づいて生成した式と、各パラメータの値との組合せを評価モデルとする。

なお、評価モデル生成手段６が、予め設定されたルールに従って、システムモデルに表される構成に応じて、評価関数を組み合わせて評価モデルに含まれる式を生成する場合を例示したが、評価モデルの生成方法は、特に限定されず、上記以外の方法で評価モデルを生成してもよい。

評価手段８は、評価モデル生成手段６によって生成された評価モデルに基づいて、評価結果を算出する。評価手段８は、評価モデルに含まれる式に、評価モデルに含まれているＡＰ依存パラメータおよびＰＦ依存パラメータの値を代入して計算することによって、評価結果を求めればよい。評価結果は、評価対象となるパラメータの予測値であるということができる。評価手段８は、計算した評価結果を評価モデル分析手段１０に入力する。

出力手段１１は、評価手段８が算出した評価結果を出力する出力装置である。出力手段１１は、例えば、評価結果を表示するディスプレイ装置によって実現される。ただし、評価結果の出力態様は、表示出力に限定されず、出力手段１１は、評価結果を印刷する印刷装置のような、ディスプレイ装置以外の出力デバイスで実現されていてもよい。

監視手段９は、実システム２０の運用状態を監視して、実システムの運用状態を表す時系列データをログとして生成する。例えば、監視手段９は、実システム２０に含まれる各情報処理装置（例えば、各サーバ）の運用状態を監視して、各サーバＣＰＵの占有率（負荷）を表す時系列データをログとして生成する。ここではＣＰＵの占有率を例示したが、ログに含まれる時系列データは、ＣＰＵの占有率に限定されない。監視手段９が実システム２０の運用状態を監視してログを生成するアルゴリズムとしては、公知のアルゴリズムを採用すればよい。以下、監視手段９が生成するログを運用情報と記す。

監視手段９は、実システム２０の一部として設けられていてもよい。あるいは、監視手段９は、実システム２０の外部から実システム２０に対して運用状態を表す時系列データの値を問い合わせ、その問い合わせにより実システム２０から得た結果を運用情報として評価モデル分析手段１０に入力する構成であってもよい。

評価モデル分析手段１０は、評価手段８が評価モデルにより計算した評価結果と、運用情報から得られる、その評価結果に相当するパラメータの実際の値とを比較し、両者に閾値以上の差が生じていれば、いずれかのＡＰ依存パラメータ、ＰＦ依存パラメータの値が正確でないと判定する。そして、評価モデル分析手段１０は、正確でないと判定したＡＰ依存パラメータまたはＰＦ依存パラメータに関して、正確な値を、評価モデルおよび運用情報に基づいて計算し、評価関数・パラメータリポジトリ５に記憶されているパラメータの値を正確な値に更新する。

なお、実際の値と閾値以上の差が生じた評価結果の種類に応じて、値が正確でないと判定されるパラメータの種類を予め定めておけばよい。例えば、ＣＰＵの占有率の評価結果が実際の値と異なっているならば、「サーバのメッセージサイズ当たりの処理時間」というパラメータの値が正確でないと判定する等のルールを定めておけばよい。評価モデル分析手段１０は、このようなルールに従って、値が正確でないパラメータの種類を特定すればよい。

また、評価モデル分析手段１０は、評価モデルに含まれる式において、値が正確でないと判定されたパラメータを変数とし、その他のパラメータの値としては、運用情報に含まれる値を用いて、変数としたパラメータの値を計算すればよい。一部のパラメータに関しては、評価結果算出に用いた値を用いてもよい。ただし、運用情報に含まれる値は時系列データであり、時間の経過とともに変化するので、個々の時刻毎に、変数となるパラメータの値を計算することが好ましい。そして、変数としたパラメータの値を、時刻毎の計算結果から統計的に定めることが好ましい。

モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９および評価モデル分析手段１０は、例えば、評価モデル分析プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、例えば、コンピュータのプログラム記憶装置（図示せず）が評価モデル分析プログラムを記憶し、ＣＰＵがそのプログラムを読み込み、そのプログラムに従って、モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９および評価モデル分析手段１０として動作すればよい。

また、モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９および評価モデル分析手段１０が、それぞれ別のユニットで実現されていてもよい。また、既に説明したように、監視手段９は、実システム２０内に設けられていてもよい。

次に、動作について説明する。
図２は、第１の実施形態の評価モデル分析システムの処理経過の例を示すフローチャートである。評価モデル生成手段６には、実システム２０を表すシステムモデルが入力されているものとする。

まず、評価モデル生成手段６には、ＡＰ依存パラメータ入力手段７を介して、ＡＰ依存パラメータの値が入力される（ステップＳ１）。ステップＳ１で入力されるＡＰ依存パラメータの値は、ＳＥによって推定された値である。

次に、評価モデル生成手段６は、システムモデルに記述された実システム２０の構成および動作に応じて、評価関数・パラメータリポジトリ５に記憶された評価関数を組合せることで、評価モデルに含まれる式を生成する。既に説明したように、システムモデルの記述内容に応じて、どの評価関数とどの評価関数とを組み合わせていけばよいかを示すルールを予め評価モデル生成手段６に設定しておき、評価モデル生成手段６は、そのルールに従って、システムモデルに応じて評価関数を組み合わせることで評価モデルに含まれる式を生成すればよい。また、ステップＳ２において、評価モデル生成手段６は、生成した式で用いられているＰＦ依存パラメータの値を、評価関数・パラメータリポジトリ５から特定する。さらに、評価モデル生成手段６は、生成した式で用いられているＡＰ依存パラメータとして、ステップＳ１で入力された値があれば、その値をそのＡＰ依存パラメータの値として決定する。ステップＳ１で値が入力されていなければ、ＡＰ依存パラメータの値として、評価関数・パラメータリポジトリ５に記憶されているデフォルト値を用いる。評価モデル生成手段６は、生成した式と、その式で用いているＡＰ依存パラメータおよびＰＦ依存パラメータの各値との組合せを評価モデルとする（ステップＳ２）。

ステップＳ２の後に、評価手段８は、評価モデルに含まれる式に、その式で用いられているＡＰ依存パラメータおよびＰＦ依存パラメータの各値を代入して計算することによって、評価結果を算出する（ステップＳ３）。このとき、評価手段８は、算出した評価結果を出力手段１１に出力させる（例えば、表示させる）。

また、監視手段９は、実システム２０の運用中に、実システム２０の運用状態に合わせて、各種時系列データを含む運用情報を評価モデル分析手段１０に入力している。評価モデル分析手段１０は、ステップＳ３で計算された評価結果と、運用情報から得られる、その評価結果に相当するパラメータの実際の値とを比較し、両者の差分が閾値以上であるか否かを判定する（ステップＳ４）。このとき、運用情報には、時系列データとして種々のパラメータの値が含まれている。監視手段９は、実際の値として、ある時刻における値を用いるのではなく、複数の時刻における値の平均値を求め、その値を実際の値として用いることが好ましい。ここでは、平均値を計算する場合を例にしたが、最頻値やメディアンを計算し、その値を実際の値として用いてもよい。また、ステップＳ４で用いる閾値は、予め定めておけばよい。

例えば、ステップＳ３で、実システム２０に含まれるサーバのＣＰＵ占有率の評価結果が計算されているとする。評価モデル分析手段１０は、運用情報から、複数の時刻におけるそのサーバのＣＰＵ占有率の値を抽出し、その平均値を計算する。そして、評価モデル分析手段１０は、複数の時刻における実際のＣＰＵ占有率の平均値と、評価結果として算出したＣＰＵ占有率との間に、閾値以上の差が生じているか否かを判定する。ここでは、ＣＰＵ占有率を例にして説明したが、評価結果として計算されるパラメータは、ＣＰＵ占有率に限定されない。

ステップＳ４において、評価結果と実際の値とに閾値以上の差分が生じていなければ（ステップＳ４のＮｏ）、評価モデルは適切であり、評価結果も適切な値であったことを意味する。この場合、そのまま処理を終了すればよい。

一方、評価結果と実際の値とに閾値以上の差分が生じている場合（ステップＳ４のＹｅｓ）、評価モデルで用いた各ＰＦ依存パラメータや各ＡＰ依存パラメータのいずれかの値が不正確であったことを意味する。この場合、評価モデル分析手段１０は、値が不正確であったパラメータを特定する。どのパラメータの値が不正確であるかという判定は、実際の値と閾値以上の差が生じた評価結果の種類に基づいて行えばよい。そして、評価モデル分析手段１０は、不正確であると判定したＡＰ依存パラメータまたはＰＦ依存パラメータに関して、正確な値を、評価モデルおよび運用情報に基づいて計算し、評価関数・パラメータリポジトリ５に記憶されている値を更新する（ステップＳ５）。

評価モデルに含まれる式には、値が不正確であると判定されたパラメータ、および、他のパラメータが含まれている。ステップＳ５において、評価モデル分析手段１０は、値が不正確であると判定されたパラメータ以外のパラメータの値として、運用情報から得た値を用いて、値が不正確であると判定されたパラメータの値を計算すればよい。また、一部のパラメータについては、ステップＳ３で評価結果を計算したときに用いた値をそのまま用いてもよい。具体的には、運用情報から得られていないパラメータの値に関しては、ステップＳ３で評価結果を計算したときに用いた値をそのまま用いればよい。

運用情報から得た値は、時刻毎に変動するので、値が不正確であると判定したパラメータの値を、複数の時刻に関して計算し、統計的に値を求めることが好ましい。例えば、複数の時刻に関して計算した値の平均値を計算したり、最頻値やメディアンを計算したりすればよい。時刻の違いによるパラメータの値の分布が正規分布から大きく外れている場合には、最頻値やメディアンを計算することが好ましい。これは、外れ値の影響を受けにくいためである。

また、値が正確でないと判定したパラメータが、ＳＥによって値が指定されたＡＰ依存パラメータである場合、評価モデル分析手段１０は、ＳＥによる値の推定が不正確であった可能性がある旨を、出力手段１１に出力（例えば表示）させてもよい。

次に、値が不正確であると判定されたパラメータの値を計算する処理の具体例を説明する。図３に例示するシステムモデルが与えられたとする。図３に例示するシステムモデルは、複数のサーバがクライアントからリクエストを受け、リクエストに応じて処理を行うことを表している。評価モデル生成手段６が、予め設定されたルールに従って、図３に例示するシステムモデルから、以下の式１に示す評価モデルの式を生成したとする。

ρ＝λ・ｍ・τ／ｎ （式１）

本例において、式１の左辺のρは、各サーバの占有率（負荷）である。ρは、評価対象となる非機能要件として式１によって計算される。なお、占有率は、ロードアベレージと称されることもある。

本例において、式１の右辺のλ，ｎ，ｍは、ＡＰ依存パラメータである。λは、１秒当たりに受信すると想定されるリクエスト受信数であり、以下、リクエスト到着率と記す。ｎは、サーバの台数である。ｍは、各サーバへのメッセージサイズである。

また、本例において、式１の右辺のτは、ＰＦ依存パラメータである。τは、サーバのメッセージサイズ当たりの処理時間である。

評価モデル生成手段６は、式１と、各パラメータλ，ｎ，ｍ，τの値との組合せを評価モデルとして定める。そして、評価手段８は、式１にλ，ｎ，ｍ，τの値を代入して計算することによって、ρの値を計算する。このρは、性能評価結果（換言すれば、性能の予測値）である。

また、監視手段９が、実際に計測したサーバのロードアベレージ（ρ’と記す。）と、ρ’の計測時刻における実際のメッセージ到着率（λ’と記す。）および実際のメッセージサイズ（ｍ’と記す。）の各時系列データを運用情報（ログ）として評価モデル分析手段１０に入力しているとする。

評価モデル分析手段１０は、ρとρ’との差が閾値未満であれば、ρの評価結果が適切であると判定する。一方、ρとρ’との差が閾値以上であれば、式１の右辺のパラメータのいずれかの値が不正確であると判定する。ここでは、ρとρ’との差が閾値以上である場合、τの値が不正確と判断するルールが定められており、そのルールに従って、評価モデル分析手段１０は、τの値が不正確であると判定するものとする。そして、評価モデル分析手段１０は、τ＝ｎ・ρ’／（ｍ’・λ’）を計算して、τを求めればよい。そして、評価モデル分析手段１０は、評価関数・パラメータリポジトリ５に記憶されているτの値を更新する。サーバ台数ｎとして、ρ計算時に用いたｎの値をそのまま用いればよい。

ただし、実際に計測されるρ’，ｍ’，λ’は、時刻の経過とともに変動する。そのため、τ＝ｎ・ρ’／（ｍ’・λ’）によりある時刻におけるτのみを求めるのではなく、以下のようにτを計算することが好ましい。時刻ｔにおけるρ’，ｍ’，λ’をそれぞれ、ρ’（ｔ），ｍ’（ｔ），λ’（ｔ）と記す。また、その時刻ｔにおけるパラメータρ’（ｔ），ｍ’（ｔ），λ’（ｔ）から求められるτをτ（ｔ）と記す。評価モデル分析手段１０は、τ（ｔ_１）＝ｎ・ρ’（ｔ_１）／（ｍ’（ｔ_１）・λ’（ｔ_１））を計算し、時刻ｔ_１におけるτ（ｔ_１）を計算する。同様に他の時刻に関しても、評価モデル分析手段１０は、τ（ｔ_２），τ（ｔ_３），・・・を計算する。評価モデル分析手段１０は、各時刻に関して計算したτ（ｔ_１），τ（ｔ_２），τ（ｔ_３），・・・の平均値を求め、その値をτの正確な値としてもよい。また、τ（ｔ_１），τ（ｔ_２），τ（ｔ_３），・・・に関して、平均値ではなく、最頻値やメディアンを計算し、その値をτの正確な値としてもよい。

評価モデル分析手段１０は、計算により求めたτの値で、評価関数・パラメータリポジトリ５に記憶されているτの値を更新する。

他の例について説明する。上記の例では、監視手段９が、ρ’，λ’，ｍ’の時系列データを評価モデル分析手段１０に入力する場合を例にしたが、以下に示す例では、監視手段９が、ρ’およびλ’の時系列データを評価モデル分析手段１０に入力する場合を例にする。

この場合においても、評価モデル分析手段１０は、ρとρ’との差が閾値未満であれば、ρの評価結果が適切であると判定する。

一方、ρとρ’との差が閾値以上であれば、式１の右辺のパラメータのいずれかの値が不正確であると判定する。この場合、ＰＦ依存パラメータであるτか、ＡＰ依存パラメータであるｍのいずれかが不正確であると考えることができる。一般に、ＡＰ依存パラメータの方がＰＦ依存パラメータよりも誤差が大きいので、ρとρ’との差が閾値以上であり、ρ’およびλ’の計測値が得られる場合には、リクエスト到着率ｍの値が不正確であると判断するというルールを定めていたとする。評価モデル分析手段１０は、ρとρ’との差が閾値以上である場合、このルールに従って、式１におけるリクエスト到着率ｍの値が不正確であると判定する。

また、リクエスト到着率ｍの値が、ＳＥによってＡＰ依存パラメータ入力手段７に入力された値である場合、評価モデル分析手段１０は、ＳＥによる値の推定が不正確であった可能性がある旨を、出力手段１１に出力させてもよい。

本例では、評価モデル分析手段１０は、時刻ｔ_１におけるリクエスト到着率ｍ（ｔ_１）を、ｍ（ｔ_１）＝ｎ・ρ’（ｔ_１）／（τ・λ’（ｔ_１））の計算により算出する。この計算において、ｎおよびτは、ρ計算時に用いたｎおよびτをそのまま用いればよい。評価モデル分析手段１０は、同様に他の時刻に関しても、ｍ（ｔ_２），ｍ（ｔ_３），・・・を計算する。評価モデル分析手段１０は、各時刻に関して計算したｍ（ｔ_１），ｍ（ｔ_２），ｍ（ｔ_３），・・・の平均値を求め、その値をリクエスト到着率ｍの正確な値とする。また、ｍ（ｔ_１），ｍ（ｔ_２），ｍ（ｔ_３），・・・に関して、平均値ではなく、最頻値やメディアンを計算し、その値をリクエスト到着率ｍの正確な値としてもよい。既に説明したように、時刻の違いによるパラメータの値の分布が正規分布から大きく外れている場合には、最頻値やメディアンを計算することが好ましい。

評価モデル分析手段１０は、計算により求めたリクエスト到着率ｍの値で、評価関数・パラメータリポジトリ５に記憶されているｍの値を更新する。

本実施形態によれば、評価モデル分析手段１０が、評価モデルから算出した評価結果と、実際の運用におけるその評価結果に相当する計測値とを比較し、両者の差が閾値以上であれば、予め定められたルールによって特定されるパラメータに関して値が不正確であると判定する。そして、評価モデル分析手段１０が、そのパラメータの値を、運用情報に含まれる値に基づいて計算する。従って、評価モデルとして用いるパラメータの値を較正し、評価モデルの精度を向上させることができる。その結果、評価手段８が計算する実システムの評価の精度を向上させることができる。

実施形態２．
図４は、本発明の第２の実施形態の評価モデル分析システムの例を示すブロック図である。第１の実施形態と同様の構成要素に関しては、図１と同一の符号を付し説明を省略する。第２の実施形態の評価モデル分析システム１ａは、モデル入力手段２と、モデル編集手段３と、システムモデルリポジトリ４と、評価関数・パラメータリポジトリ５と、評価モデル生成手段６と、ＡＰ依存パラメータ入力手段７と、評価手段８と、監視手段９と、評価モデル分析手段１０ａと、出力手段１１とを備える。

モデル入力手段２、モデル編集手段３、システムモデルリポジトリ４、評価関数・パラメータリポジトリ５、評価モデル生成手段６、ＡＰ依存パラメータ入力手段７、評価手段８、監視手段９および出力手段１１は、第１の実施形態と同様である。なお、第２の実施形態では、評価手段８は、評価結果を評価モデル分析手段１０ａに入力しなくてよい。

第２の実施形態において、評価モデル分析手段１０ａは、監視手段９から入力された運用情報に含まれる時系列データのうち、相関がある時系列データを特定する。そして、相関がある時系列データに相当するパラメータの組合せにおいて、一方のパラメータが評価モデルに含まれ、もう一方のパラメータが評価モデルに含まれていない場合に、そのパラメータの組合せを出力手段１１に出力させる。例えば、ディスプレイ装置に表示させる。

相関があるパラメータのうち、一方が評価モデルに含まれていて、もう一方が評価モデルに含まれていないとする。この場合、評価モデルに含まれているパラメータと相関を有するもう一方のパラメータも評価モデルの式に組み入れることにより、より評価モデルの式の精度が高くなると言える。第２の実施形態では、相関を有するパラメータ同士の組合せであって、一方が評価モデルに含まれ、もう一方が評価モデルに含まれていないパラメータの組合せを評価モデル分析手段１０ａが特定し、その組合せを出力手段１１に出力させることで、評価関数の管理者に、評価モデルの式の見直しを促すことができる。すなわち、評価関数の管理者は、出力されたパラメータの組合せを確認して、システムモデルに応じた評価モデルの式を生成するルールの見直しをすることができる。第２の実施形態において、評価モデル分析手段１０ａが出力手段１１に出力させるパラメータの組合せは、評価関数の管理者に対して、システムモデルに応じた評価モデルの式を生成するルールの見直しを促す勧告であるということができる。

モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９および評価モデル分析手段１０ａは、例えば、評価モデル分析プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、例えば、コンピュータのプログラム記憶装置（図示せず）が評価モデル分析プログラムを記憶し、ＣＰＵがそのプログラムを読み込み、そのプログラムに従って、モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９および評価モデル分析手段１０ａとして動作すればよい。

また、モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９および評価モデル分析手段１０ａが、それぞれ別のユニットで実現されていてもよい。また、第１の実施形態で説明したように、監視手段９は、実システム２０内に設けられていてもよい。

次に、動作について説明する。
図５は、第２の実施形態の評価モデル分析システムの処理経過の例を示すフローチャートである。評価モデル生成手段６には、実システム２０を表すシステムモデルが入力されているものとする。

まず、評価モデル生成手段６には、ＡＰ依存パラメータ入力手段７を介して、ＡＰ依存パラメータの値が入力される（ステップＳ１）。次に、評価モデル生成手段６は、システムモデルに記述された実システム２０の構成および動作に応じて、評価関数・パラメータリポジトリ５に記憶された評価関数を組合せることで、評価モデルに含まれる式を生成する。そして、生成した式と、その式で用いているＡＰ依存パラメータおよびＰＦ依存パラメータの各値との組合せを評価モデルとする（ステップＳ２）。ステップＳ１，Ｓ２の処理は、第１の実施形態と同様である。

また、監視手段９は、実システム２０の運用中に、実システム２０の運用状態に合わせて、各種時系列データを含む運用情報を評価モデル分析手段１０ａに入力している。評価モデル分析手段１０ａは、運用情報に含まれている時系列データ同士の各組合せに関して、相関があるか否かを判定する（ステップＳ１１）。ステップＳ１１では、監視手段９は、２種類の時系列データの組合せをそれぞれ定め、各組合せにおいて、２種類の時系列データ間に相関があるか否かを判定する。個々の時系列データは、それぞれ一つのパラメータに関して時間経過とともに計測された値のデータ列である。よって、時系列データ間に相関があるか否かを判定するということは、パラメータ間に相関があるか否かを判定することを意味する。

例えば、あるサーバ上で計測された性能関連測定データとして、（Ｘ_１，Ｘ_２，・・・，Ｘ_ｎ）というデータが運用情報に含まれていたとする。Ｘ_１，Ｘ_２，・・・は、それぞれ、あるパラメータに関する時系列データである。例えば、Ｘ_ｉは、Ｘ_ｉ＝｛ｘ_ｉ１，ｘ_ｉ２，・・・，ｘ_ｉｍ｝という時系列データである。より具体的な例を挙げると、Ｘ_１は、例えば、ＣＰＵのロードの時系列データである。同様に、Ｘ_２は、例えば、Ｗｅｂアプリケーションサーバのメモリ使用量の時系列データである。Ｘ_３は、例えば、Ｗｅｂアプリケーションサーバの負荷の時系列データである。Ｘ_４は、例えば、Ｗｅｂアプリケーションサーバのスレッドプール使用率の時系列データである。Ｘ_５は、例えば、Ｗｅｂアプリケーションサーバへのリクエスト到着率の時系列データである。

このような種々のパラメータの時系列データが運用情報に含まれている場合、評価モデル分析手段１０ａは、Ｘ_１とＸ_２の組合せ、Ｘ_１とＸ_３の組合せ等の各組合せ毎に、時系列データの相関（すなわち、パラメータの相関）の有無を判定する。

評価モデル分析手段１０ａは、相関の有無を、以下のように判定すればよい。すなわち、評価モデル分析手段１０ａは、２つの時系列データの相関係数を算出し、その相関係数の絶対値が予め定めた閾値以上であれば、２つの時系列データに相関があると判定すればよい。また、相関係数の絶対値が予め定めた閾値未満であれば、２つの時系列データに相関がないと判定すればよい。時系列データ同士の相関係数は、公知の相関係数算出式を用いればよい。ただし、相関の有無の判定方法は、この方法に限定されず、他の方法で相関の有無を判定してもよい。

ステップＳ１１の次に、評価モデル分析手段１０ａは、相関があると判定した時系列データ同士に相当するパラメータ同士の組合せにおいて、一方のパラメータが評価モデルに含まれていて、もう一方のパラメータが評価モデルに含まれていないパラメータの組合せを、評価モデルを参照して特定する。例えば、一方のパラメータが評価モデルの式において評価対象パラメータとなっていて、もう一方のパラメータが評価モデルの式で用いられていないならば、そのパラメータの組合せを出力する組み合わせとして選択する。そして、評価モデル分析手段１０ａは、そのパラメータの組合せを出力手段１１に出力させる（ステップＳ１２）。

出力したパラメータの組合せを参照した評価関数の管理者は、評価モデルに含まれていない方のパラメータも評価モデルの式で使われるように、評価モデルを生成するルールを見直す。ただし、評価関数の管理者が、必ずこのような見直しをしなくてはならないわけではない。例えば、Ｘ_１，Ｘ_３間に相関があったとしても、Ｘ_１，Ｘ_３は実質的に同じパラメータを表していると言えると管理者が判断した場合には、評価モデルの生成ルールに何ら変更を加えなくてよい。

なお、図５では、図示を省略しているが、ステップＳ２の後、評価手段８が、評価モデルに含まれる式に、その式で用いられているＡＰ依存パラメータおよびＰＦ依存パラメータの各値を代入して計算することによって、評価結果を算出する。そして、評価手段８は、算出した評価結果を出力手段１１に出力させる（例えば、表示させる）。この動作は、第１の実施形態におけるステップＳ３と同様である。

次に、第２の実施形態において、評価モデル分析手段１０ａが、評価関数の管理者に対する勧告としてパラメータの組合せを提示する具体例を説明する。評価モデル生成手段６が、与えられたシステムモデルから、以下の式２に示す評価モデルの式を生成したとする。

ρ＝λ・ｔ （式２）

式２の左辺のρは、Ｗｅｂアプリケーションサーバの占有率である。このρは、Ｗｅｂアプリケーションサーバの性能評価対象となっている。

本例において、式２の右辺のｔは、そのＷｅｂアプリケーションサーバのＯＳ上で計測される１リクエスト当たりのＣＰＵ時間である。また、式２の右辺のλは、そのＷｅｂアプリケーションサーバへのリクエストの到着率である。すなわち、単位時間当たりに到着するリクエスト数である。

また、監視手段９から評価モデル分析手段１０ａに入力される運用情報は、５種類の時系列データＸ_１〜Ｘ_５を含んでいるとする。ここで、Ｘ_１は、ＣＰＵのロードの時系列データであるとする。Ｘ_２は、Ｗｅｂアプリケーションサーバのメモリ使用量の時系列データであるとする。Ｘ_３は、Ｗｅｂアプリケーションサーバの負荷の時系列データであるとする。Ｘ_４は、Ｗｅｂアプリケーションサーバのスレッドプール使用率の時系列データであるとする。Ｘ_５は、Ｗｅｂアプリケーションサーバへのリクエスト到着率の時系列データであるとする。

評価モデル分析手段１０ａは、ステップＳ１１において、Ｘ_１〜Ｘ_５から２種類の時系列データの組合せをそれぞれ定め、各組合せにおいて、２種類の時系列データ間に相関があるか否かを判定する。本例では、「Ｘ_１とＸ_３」、「Ｘ_１とＸ_４」、「Ｘ_１とＸ_５」の組合せに関して、相関があると判定したものとする。これらの組合せにおけるＸ_１は、性能評価対象ρとして、評価モデルに含まれている。しかし、Ｘ_３，Ｘ_４，Ｘ_５に相当するパラメータは評価モデルの式で用いられていない。そこで、評価モデル分析手段１０ａは、「ＣＰＵのロードとＷｅｂアプリケーションサーバの負荷」、「ＣＰＵのロードとＷｅｂアプリケーションサーバのスレッドプール使用率」、および「ＣＰＵのロードとＷｅｂアプリケーションサーバへのリクエスト到着率」というパラメータの組合せを、出力手段１１に出力させる。

評価関数の管理者は、出力されたパラメータの組合せを確認し、評価モデルの式を生成するルールを変更する必要があるかを検討し、変更の必要があると判断した場合には、使われていなかったパラメータが評価モデルの式で使用されるように、評価モデルの式を生成するルールを変更する。この検討は、評価関数の管理者が、自身の知識や経験に基づいて行えばよい。例えば、本例では、評価関数の管理者は、Ｘ_３（Ｗｅｂアプリケーションサーバの負荷）およびＸ_５（Ｗｅｂアプリケーションサーバへのリクエスト到着率）は、実質的に評価モデルに組み込まれていると判断して、これらのパラメータを式に追加するような変更は行わないと決定してもよい。

また、評価関数の管理者は、Ｘ_４（Ｗｅｂアプリケーションサーバのスレッドプール使用率）は、ボトルネックになると判断し、このパラメータが評価モデルの式に含まれるように、評価モデルの生成ルールを見直し、見直したルールを評価モデル生成手段６に対して設定すればよい。

本実施形態によれば、評価モデル分析手段１０ａが、相関があると判定したパラメータ同士の組合せにおいて、一方のパラメータが評価モデルに含まれていて、もう一方のパラメータが評価モデルに含まれていない場合、そのパラメータの組合せを、出力手段１１に出力させる。評価関数の管理者は、そのパラメータの組合せを確認することで、評価モデル生成手段６における評価モデル生成ルールを見直して、評価モデルの精度を向上させることができる。また、その結果、評価手段８が算出する評価結果の精度も向上させることができる。

なお、本実施形態において、評価モデル分析手段１０ａは、引用文献４に記載された故障検知方法と同様に、実システム２０における故障を検知してもよい。すなわち、評価モデル分析手段１０ａは、相関があると判定した時系列データの組合せに関して、相関が失われた場合に、実システム２０に故障が生じたと判定してもよい。このとき、評価モデル分析手段１０ａは、実システム２０に故障が生じた旨を出力手段１１に出力させる（例えば、表示させる）。そのような構成により、実システム２０の故障監視も行いつつ、評価関数の管理者に評価モデルの式の見直しを促すことができる。そして、この構成では、評価関数の管理者に勧告を行うために実行する相関判定と、故障検知のための相関判定とを共通化しているので、故障検知のための相関判定を別途行う必要がない。従って、実システム２０の故障監視も行いつつ、評価関数の管理者に対する勧告を行うことを効率的に（換言すれば、高速に）実現することができる。

実施形態３．
図６は、本発明の第３の実施形態の評価モデル分析システムの例を示すブロック図である。第１の実施形態と同様の構成要素に関しては、図１と同一の符号を付し説明を省略する。第３の実施形態の評価モデル分析システム１ｂは、モデル入力手段２と、モデル編集手段３と、システムモデルリポジトリ４と、評価関数・パラメータリポジトリ５ｂと、評価モデル生成手段６と、ＡＰ依存パラメータ入力手段７と、評価手段８と、監視手段９と、評価モデル分析手段１０と、出力手段１１と、アプリケーション依存パラメータ値検索手段１２（以下、ＡＰ依存パラメータ値検索手段１２と記す。）とを備える。

モデル入力手段２、モデル編集手段３、システムモデルリポジトリ４、評価モデル生成手段６、ＡＰ依存パラメータ入力手段７、評価手段８、監視手段９、評価モデル分析手段１０および出力手段１１は、第１の実施形態と同様である。

本実施の形態において、評価関数・パラメータリポジトリ５ｂは、ＡＰ依存パラメータのデフォルト値と、アプリケーションの属性を表す属性情報とを対応付けて記憶する。例えば、実システム２０におけるアプリケーションの一つにＷｅｂサーバがあるとする。この場合、そのＷｅｂサーバに関するＡＰ依存パラメータのデフォルト値に対して、そのアプリケーションに関する属性を対応付けて、予め評価関数・パラメータリポジトリ５ｂに記憶させておく。デフォルト値は、経験を積んだシステム開発者等が予め定めておけばよい。

属性情報の種類は特に限定されない。例えば、ＷｅｂサーバのＡＰ依存パラメータに対応付けられる属性情報の例として、「情報の表示のみ行うＷｅｂページを提供する」、「フォームを含むＷｅｂページを提供する」等の属性があり得る。また、「画像を含むＷｅｂページを提供する」、「画像を含まないＷｅｂページを提供する」等の属性もあり得る。また、「Ｊａｖａ（登録商標）プラットフォームのＷｅｂページを提供する」、「ＰｅｒｌプラットフォームのＷｅｂページを提供する」、「ＰＨＰプラットフォームのＷｅｂページを提供する」等の属性もあり得る。このように、ＡＰ依存パラメータに対応付ける属性情報として、種々の例が考えられる。

ＡＰ依存パラメータ値検索手段１２は、評価モデル分析システムのユーザ（例えば評価関数の管理者）によって、ＡＰ依存パラメータの種類（例えば、リクエスト到着率やメッセージサイズ等）とともに、属性情報を指定されると、そのＡＰ依存パラメータの種類および属性情報をキーとして、評価関数・パラメータリポジトリ５ｂからそのＡＰ依存パラメータのデフォルト値を検索する。ＡＰ依存パラメータ値検索手段１２は、検索したＡＰ依存パラメータのデフォルト値を、出力手段１１に出力させ（例えば、表示させ）、また、検索したデフォルト値を評価モデル生成手段６に入力する。

評価モデル生成手段６は、第１の実施形態と同様に、システムモデルに基づいて生成した式と、その式で用いられるパラメータの値との組合せを評価モデルとする。このとき、ＡＰ依存パラメータ値検索手段１２によってデフォルト値が検索されたＡＰ依存パラメータがその式で用いられているならば、評価モデル生成手段６は、そのＡＰ依存パラメータの値として、ＡＰ依存パラメータ値検索手段１２に検索されたデフォルト値を評価モデルに含める。ただし、評価モデル生成手段６は、ＡＰ依存パラメータの値として、ＡＰ依存パラメータ値検索手段１２に検索されたデフォルト値のみを評価モデルに含めるとは限らない。システムモデルに基づいて生成した式で用いられているＡＰ依存パラメータの値が、ＡＰ依存パラメータ値検索手段１２によって検索されておらず、ＡＰ依存パラメータ入力手段７から入力されている場合には、評価モデル生成手段６は、ＡＰ依存パラメータ入力手段７から入力された値を評価モデルに含めればよい。また、システムモデルに基づいて生成した式で用いられているＡＰ依存パラメータの値が、ＡＰ依存パラメータ値検索手段１２によって検索されておらず、また、ＡＰ依存パラメータ入力手段７から入力されてもいない場合には、評価関数・パラメータリポジトリ５ｂからそのＡＰ依存パラメータのデフォルト値を読み込めばよい。

本実施形態では、ＡＰ依存パラメータの値の指定態様が第１の実施形態よりも増えている。本実施形態では、ステップＳ１（図２参照）でＡＰ依存パラメータの値が入力される態様の他に、ＡＰ依存パラメータの種類および属性情報をキーとして、そのＡＰ依存パラメータの値を検索することで、ＡＰ依存パラメータの値を指定することを可能としている。ステップＳ２（図２参照）では、評価モデル生成手段６は、上記のように、検索されたＡＰ依存パラメータの値も用いて評価モデルを生成すればよい。その後のステップＳ３以降の動作は、第１の実施形態と同様であり、説明を省略する。

ＡＰ依存パラメータ値検索手段１２は、例えば、評価モデル分析プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵが、例えば、評価モデル分析プログラムに従って、モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９、評価モデル分析手段１０およびＡＰ依存パラメータ値検索手段１２として動作すればよい。また、これらの各手段が、それぞれ別々のユニットで実現されていてもよい。

一般に、ＡＰ依存パラメータの値は、システム開発等の経験を十分に積んだ者でないと見積もりすることが困難である。従って、そのような経験を積んでいない者にとっては、ＡＰ依存パラメータ入力手段７に適切な値を入力することが困難になる。そのような場合でも、実システムにおけるアプリケーションの属性を見積もることは容易である。本実施形態では、ＡＰ依存パラメータ値検索手段１２が、指定されたＡＰ依存パラメータの種類および属性情報をキーとして、そのＡＰ依存パラメータのデフォルト値を検索するので、ユーザにとって見積もりにくい具体的なＡＰ依存パラメータ値を、ユーザにとって見積もりやすいアプリケーションの属性から特定することができる。そして、その値を用いて、評価モデルを生成し、第１の実施形態と同様に、実システム２０の評価を行ったり、評価モデルとして用いるパラメータの値を較正し、評価モデルの精度を向上させたりすることができる。

実施形態４．
図７は、本発明の第４の実施形態の評価モデル分析システムの例を示すブロック図である。第１、第２および第３の実施形態と同様の構成要素に関しては、図１、図４および図６と同一の符号を付し詳細な説明を省略する。第４の実施形態は、第２の実施形態に、第３の実施形態と同様の評価関数・パラメータリポジトリ５ｂおよびＡＰ依存パラメータ値検索手段１２を適用した実施形態である。

第４の実施形態の評価モデル分析システム１ｃは、モデル入力手段２と、モデル編集手段３と、システムモデルリポジトリ４と、評価関数・パラメータリポジトリ５ｂと、評価モデル生成手段６と、ＡＰ依存パラメータ入力手段７と、評価手段８と、監視手段９と、評価モデル分析手段１０ａと、出力手段１１と、ＡＰ依存パラメータ値検索手段１２とを備える。

モデル入力手段２、モデル編集手段３、システムモデルリポジトリ４、評価モデル生成手段６、ＡＰ依存パラメータ入力手段７、評価手段８、監視手段９および出力手段１１は、第１の実施形態や第２の実施形態と同様である。評価モデル分析手段１０ａは、第２の実施形態と同様である。

評価関数・パラメータリポジトリ５ｂおよびＡＰ依存パラメータ値検索手段１２は、第３の実施形態と同様である。すなわち、ＡＰ依存パラメータのデフォルト値と、アプリケーションの属性を表す属性情報とを対応付けて記憶する。また、ＡＰ依存パラメータ値検索手段１２は、評価モデル分析システムのユーザによって、ＡＰ依存パラメータの種類（例えば、リクエスト到着率やメッセージサイズ等）とともに、属性情報を指定されると、そのＡＰ依存パラメータの種類および属性情報をキーとして、評価関数・パラメータリポジトリ５ｂからそのＡＰ依存パラメータのデフォルト値を検索する。そして、ＡＰ依存パラメータ値検索手段１２は、検索したＡＰ依存パラメータのデフォルト値を、出力手段１１に出力させ（例えば、表示させ）、また、検索したデフォルト値を評価モデル生成手段６に入力する。

評価モデル生成手段６は、第３の実施形態と同様に、ＡＰ依存パラメータ値検索手段１２によって検索されたＡＰ依存パラメータの値も用いて評価モデルを生成する。ただし、本実施形態では、評価モデル生成手段６は、システムモデルに基づいて生成した式に含まれるパラメータの属性情報も、評価モデルに含める。ＡＰ依存パラメータ１２が、ＡＰ依存パラメータの種類および属性情報をキーにしてＡＰ依存パラメータの値を検索し、評価モデル生成手段６が、その値を評価モデルに含める場合には、その値に対応付けて、検索キーとして用いられた属性情報も評価モデルに含めればよい。また、ユーザが、ＡＰ依存パラメータ入力手段７からＡＰ依存パラメータの値を入力するときには、その属性情報も合わせて入力し、評価モデル生成手段６は、入力されたＡＰ依存パラメータの値に対応付けて、その属性情報も評価モデルに含めればよい。

また、本実施形態において、監視手段９は、第１や第２の実施形態等と同様に、種々のパラメータの時系列データを含む運用情報を評価モデル分析手段１０ａに入力する。ただし、本実施形態では、監視手段９は、ＡＰ依存パラメータの時系列情報とともに、そのＡＰ依存パラメータの属性情報も実システム２０から収集し、その時系列情報に対応付けて属性情報も運用情報内に含める。

評価モデル分析手段１０ａは、第２の実施形態と同様に、ＡＰ依存パラメータおよびＰＦ依存パラメータの各時系列データに関して、相関の有無を判定する。このとき、評価モデル分析手段１０ａは、ＡＰ依存パラメータの時系列データに関しては、同種のＡＰ依存パラメータであっても、属性情報が異なれば、別個のＡＰ依存パラメータとして扱う。例えば、監視手段９が、実システム２０内のＷｅｂサーバであって「動画を含まないＷｅｂページを提供する」という属性を有するＷｅｂサーバから、「動画を含まないＷｅｂページを提供する」という属性情報と対応付けられたスループットの時系列データを収集したとする。また、同様に、「動画を含むＷｅｂページを提供する」という属性を有するＷｅｂサーバから、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットの時系列データを収集したとする。この場合、評価モデル分析手段１０ａは、属性情報が異なるこの２種類の「スループット」を別個のＡＰ依存パラメータとして扱い、他のパラメータとの相関の有無を判定する。

例えば、「動画を含まないＷｅｂページを提供する」という属性を有するＷｅｂサーバから収集された各種時系列データには、「動画を含まないＷｅｂページを提供する」という属性情報と対応付けられたスループットの時系列データと、ＣＰＵ性能の時系列データとが含まれているとする。同様に、「動画を含むＷｅｂページを提供する」という属性を有するＷｅｂサーバから収集された各種時系列データには、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットの時系列データと、ＣＰＵ性能の時系列データと、ディスクＩ／Ｏ性能の時系列データとが含まれているとする。この場合、評価モデル分析手段１０ａは、属性情報が異なるスループットを別個のパラメータとして扱い、「動画を含まないＷｅｂページを提供する」という属性情報と対応付けられたスループットとＣＰＵ性能との相関の有無を判定する他に、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットとＣＰＵ性能との相関や、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットとディスクＩ／Ｏ性能との相関の有無を判定する。

また、評価モデル分析手段１０ａは、相関があるパラメータの組合せにおいて、一方のパラメータが評価モデルに含まれ、もう一方のパラメータが評価モデルに含まれない場合に、そのパラメータの組合せを出力手段１１に出力させる。パラメータが評価モデルに含まれるか否かの判断においても、属性情報の一致も考慮する。すなわち、運用情報に基づいて、相関があると判定されたパラメータの組におけるパラメータであって、そのパラメータの属性情報と同じ属性情報を有するパラメータが評価モデルの式に用いられている場合、そのパラメータが評価モデルに含まれていると判定する。一方、相関があると判定されたパラメータの組におけるパラメータと同じパラメータが評価モデルに含まれていない場合、あるいは、相関があると判定されたパラメータの組におけるパラメータと同じパラメータが評価モデルに含まれているとしても、属性情報が異なる場合には、そのパラメータが評価モデルに含まれていないと判定する。

上記の例において、評価モデル分析手段１０ａが、「動画を含まないＷｅｂページを提供する」という属性情報と対応付けられたスループットとＣＰＵ性能との相関はないと判定したとする。また、評価モデル分析手段１０ａが、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットとＣＰＵ性能との相関や、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットとディスクＩ／Ｏ性能との相関に関しては、相関があると判定したとする。この場合、例えば、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットが評価モデルに含まれ、ＣＰＵ性能に関しては評価モデルに含まれていない場合、その２つのパラメータを出力手段１１に出力させればよい。同様に、例えば、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットが評価モデルに含まれ、ディスクＩ／Ｏ性能に関しては評価モデルに含まれていない場合、その２つのパラメータを出力手段１１に出力させればよい。評価関数の管理者は、このような出力結果を参照して、評価モデルの式を生成するルールの見直しを検討すればよい。

本実施形態によれば、第３の実施形態と同様に、ユーザにとって見積もりにくい具体的なＡＰ依存パラメータ値を、ユーザにとって見積もりやすいアプリケーションの属性から特定することができる。また、相関を有するパラメータを評価モデルに組み入れるように、評価関数の管理者に促すことができる。特に、属性情報が異なるパラメータを別個のパラメータとして扱うことで、評価関数の管理者に対して、評価モデルに組み入れた方がよい可能性があるパラメータを属性情報とともに、より詳細に提示することができる。

その結果、例えば、既に「動画を含まないＷｅｂページを提供する」という属性情報と対応付けられたスループットが評価モデルに組み入れられている場合であっても、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットに関する検討を管理者に促すことができる。

次に、本発明の最小構成について説明する。図８は、本発明の最小構成の例を示すブロック図である。本発明の評価モデル分析システムは、評価モデル生成手段７１と、評価モデル分析手段７２とを備える。

評価モデル生成手段７１は、実際に運用される実システムを表すモデルであるシステムモデルに基づいて、実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成する。

評価モデル分析手段７２は、運用中の実システムにおける実際のパラメータの値を含む運用情報と、評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する。

そのような構成により、実システムを評価するための評価モデルの精度向上に資することができる。

上記の実施形態には、以下の（１）〜（１２）に示すような評価モデル分析システムの特徴的構成が示されている。

（１）評価モデル分析システムは、実際に運用される実システムを表すモデルであるシステムモデルに基づいて、実システムを評価するための式と当該式に含まれるパラメータ（例えば、ＡＰ依存パラメータおよびＰＦ依存パラメータ）の値とを含む評価モデルを生成する評価モデル生成手段（例えば、評価モデル生成手段６）と、運用中の実システムにおける実際のパラメータの値を含む運用情報と、評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する評価モデル分析手段（例えば、評価モデル分析手段１０，１０ａ）とを備えることを特徴とする。

（２）評価モデル分析システムは、評価モデルに含まれる式のパラメータに、当該パラメータの値を代入して計算することにより、評価項目を計算する評価手段（例えば、評価手段８）を備え、評価モデル分析手段（例えば、評価モデル分析手段１０）が、評価手段に計算された評価項目の値と、運用情報から得られるその評価項目に相当する項目の値との差が閾値以上である場合に、所定のパラメータの値が不正確であると判定し、評価モデルに含まれる式と、当該式に含まれるパラメータの運用情報における値とから、所定のパラメータの値を計算する構成であってもよい。そのような構成によれば、評価モデルに用いるパラメータを較正することができる。

（３）評価モデル分析システムは、システムモデルの内容に応じて実システムを評価するための式を生成する際に、当該式の構成要素として用いられる関数群（例えば、評価関数群）と、その式に用いられるパラメータの値として予め定められた値とを記憶するとともに、少なくとも一部のパラメータ（例えば、ＡＰ依存パラメータ）に関してはパラメータの値とともに当該パラメータの属性情報を記憶する評価モデル作成用情報記憶手段（例えば、評価関数・パラメータリポジトリ５ｂ）と、ユーザに指定されたパラメータの種類と属性情報をキーとして、パラメータの値を検索するパラメータ値検索手段（例えば、ＡＰ依存パラメータ値検索手段１２）とを備え、評価モデル生成手段が、実システムを評価するための式に、パラメータ値検索手段に値が検索されたパラメータが含まれている場合、検索された値を評価モデルに含める構成であってもよい。

（４）評価モデル分析手段（例えば、評価モデル分析手段１０ａ）が、運用情報から得られる各パラメータの値に基づいて、運用情報から得られるパラメータ同士の相関の有無を判定し、相関があると判定したパラメータ同士の組のうち、一方のパラメータが評価モデルの式に使用され、もう一方のパラメータが評価モデルの式で使用されていないパラメータの組を特定する構成であってもよい。そのような構成により、管理者に、評価モデルの見直しを促すことができる。

（５）評価モデル分析システムは、システムモデルの内容に応じて実システムを評価するための式を生成する際に、当該式の構成要素として用いられる関数群（例えば、評価関数群）と、その式に用いられるパラメータの値として予め定められた値とを記憶するとともに、少なくとも一部のパラメータ（例えば、ＡＰ依存パラメータ）に関してはパラメータの値とともに当該パラメータの属性情報を記憶する評価モデル作成用情報記憶手段（例えば、評価関数・パラメータリポジトリ５ｂ）と、ユーザに指定されたパラメータの種類と属性情報をキーとして、パラメータの値を検索するパラメータ値検索手段（例えば、ＡＰ依存パラメータ値検索手段１２）とを備え、評価モデル生成手段が、実システムを評価するための式に、パラメータ値検索手段に値が検索されたパラメータが含まれている場合、検索された値および検索に用いた属性情報を評価モデルに含め、評価モデル分析手段が、運用情報から得られるパラメータ同士の相関の有無を判定するときに、属性情報が異なる同種のパラメータについては別個のパラメータとして扱ってパラメータ同士の相関の有無を判定し、相関があると判定したパラメータの組のうち、一方のパラメータと同種のパラメータであって属性情報も同じパラメータが評価モデルの式に使用され、もう一方のパラメータに関しては評価モデルに含まれていないか、あるいは含まれていても属性情報が異なるという条件を満たすパラメータの組を特定する構成であってもよい。

（６）評価モデル分析手段が、相関があると判定したパラメータの組における相関が失われたときに、実システムに故障が生じたと判定する構成であってもよい。そのような構成によれば、実システム２０の故障監視も行いつつ、管理者に評価モデルの見直しを促すことを、効率的に実現することができる。

（７）評価モデル分析システムは、実際に運用される実システムを表すモデルであるシステムモデルに基づいて、前記実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成する評価モデル生成部と、運用中の実システムにおける実際のパラメータの値を含む運用情報と、前記評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する評価モデル分析部とを備える構成であってもよい。

（８）評価モデル分析システムは、評価モデルに含まれる式のパラメータに、当該パラメータの値を代入して計算することにより、評価項目を計算する評価部を備え、評価モデル分析部が、評価部に計算された前記評価項目の値と、運用情報から得られる前記評価項目に相当する項目の値との差が閾値以上である場合に、所定のパラメータの値が不正確であると判定し、評価モデルに含まれる式と、当該式に含まれるパラメータの運用情報における値とから、前記所定のパラメータの値を計算する構成であってもよい。

（９）評価モデル分析システムは、システムモデルの内容に応じて実システムを評価するための式を生成する際に、当該式の構成要素として用いられる関数群と、前記式に用いられるパラメータの値として予め定められた値とを記憶するとともに、少なくとも一部のパラメータに関してはパラメータの値とともに当該パラメータの属性情報を記憶する評価モデル作成用情報記憶部と、ユーザに指定されたパラメータの種類と属性情報をキーとして、パラメータの値を検索するパラメータ値検索部とを備え、評価モデル生成部が、実システムを評価するための式に、パラメータ値検索部に値が検索されたパラメータが含まれている場合、検索された値を評価モデルに含める構成であってもよい。

（１０）評価モデル分析部が、運用情報から得られる各パラメータの値に基づいて、運用情報から得られるパラメータ同士の相関の有無を判定し、相関があると判定したパラメータ同士の組のうち、一方のパラメータが評価モデルの式に使用され、もう一方のパラメータが評価モデルの式で使用されていないパラメータの組を特定する構成であってもよい。

（１１）評価モデル分析システムは、システムモデルの内容に応じて実システムを評価するための式を生成する際に、当該式の構成要素として用いられる関数群と、前記式に用いられるパラメータの値として予め定められた値とを記憶するとともに、少なくとも一部のパラメータに関してはパラメータの値とともに当該パラメータの属性情報を記憶する評価モデル作成用情報記憶部と、ユーザに指定されたパラメータの種類と属性情報をキーとして、パラメータの値を検索するパラメータ値検索部とを備え、評価モデル生成部が、実システムを評価するための式に、パラメータ値検索部に値が検索されたパラメータが含まれている場合、検索された値および検索に用いた属性情報を評価モデルに含め、評価モデル分析部が、運用情報から得られるパラメータ同士の相関の有無を判定するときに、属性情報が異なる同種のパラメータについては別個のパラメータとして扱ってパラメータ同士の相関の有無を判定し、相関があると判定したパラメータの組のうち、一方のパラメータと同種のパラメータであって属性情報も同じパラメータが評価モデルの式に使用され、もう一方のパラメータに関しては評価モデルに含まれていないか、あるいは含まれていても属性情報が異なるという条件を満たすパラメータの組を特定する構成であってもよい。

（１２）評価モデル分析部が、相関があると判定したパラメータの組における相関が失われたときに、実システムに故障が生じたと判定する構成であってもよい。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００９年１０月３０日に出願された日本特許出願２００９−２５１０７７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

産業上の利用の可能性

本発明は、実システムに対応するシステムモデルから生成された実システムの評価モデルを分析する評価モデル分析システムに好適に適用される。

１，１ａ，１ｂ，１ｃ 評価モデル分析システム
２ モデル入力手段
３ モデル編集手段
４ システムモデルリポジトリ
５，５ｂ 評価関数・パラメータリポジトリ
６ 評価モデル生成手段
７ ＡＰ依存パラメータ入力手段
８ 評価手段
９ 監視手段
１０，１０ａ 評価モデル分析手段
１１ 出力手段
１２ ＡＰ依存パラメータ値検索手段
２０ 実システム

Claims (9)

1. 実際に運用される実システムを表すモデルであるシステムモデルに基づいて、前記実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成する評価モデル生成手段と、
   運用中の実システムにおける実際のパラメータの値を含む運用情報と、前記評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する評価モデル分析手段とを備え、
   評価モデル分析手段は、
   運用情報から得られる各パラメータの値に基づいて、運用情報から得られるパラメータ同士の相関の有無を判定し、相関があると判定したパラメータ同士の組のうち、一方のパラメータが評価モデルの式に使用され、もう一方のパラメータが評価モデルの式で使用されていないパラメータの組を特定する
   ことを特徴とする評価モデル分析システム。
2. 評価モデルに含まれる式のパラメータに、当該パラメータの値を代入して計算することにより、評価項目を計算する評価手段を備え、
   評価モデル分析手段は、評価手段に計算された前記評価項目の値と、運用情報から得られる前記評価項目に相当する項目の値との差が閾値以上である場合に、所定のパラメータの値が不正確であると判定し、評価モデルに含まれる式と、当該式に含まれるパラメータの運用情報における値とから、前記所定のパラメータの値を計算する
   請求項１に記載の評価モデル分析システム。
3. システムモデルの内容に応じて実システムを評価するための式を生成する際に、当該式の構成要素として用いられる関数群と、前記式に用いられるパラメータの値として予め定められた値とを記憶するとともに、少なくとも一部のパラメータに関してはパラメータの値とともに当該パラメータの属性情報を記憶する評価モデル作成用情報記憶手段と、
   ユーザに指定されたパラメータの種類と属性情報をキーとして、パラメータの値を検索するパラメータ値検索手段とを備え、
   評価モデル生成手段は、実システムを評価するための式に、パラメータ値検索手段に値が検索されたパラメータが含まれている場合、検索された値を評価モデルに含める
   請求項２に記載の評価モデル分析システム。
4. システムモデルの内容に応じて実システムを評価するための式を生成する際に、当該式の構成要素として用いられる関数群と、前記式に用いられるパラメータの値として予め定められた値とを記憶するとともに、少なくとも一部のパラメータに関してはパラメータの値とともに当該パラメータの属性情報を記憶する評価モデル作成用情報記憶手段と、
   ユーザに指定されたパラメータの種類と属性情報をキーとして、パラメータの値を検索するパラメータ値検索手段とを備え、
   評価モデル生成手段は、実システムを評価するための式に、パラメータ値検索手段に値が検索されたパラメータが含まれている場合、検索された値および検索に用いた属性情報を評価モデルに含め、
   評価モデル分析手段は、
   運用情報から得られるパラメータ同士の相関の有無を判定するときに、属性情報が異なる同種のパラメータについては別個のパラメータとして扱ってパラメータ同士の相関の有無を判定し、相関があると判定したパラメータの組のうち、一方のパラメータと同種のパラメータであって属性情報も同じパラメータが評価モデルの式に使用され、もう一方のパラメータに関しては評価モデルに含まれていないか、あるいは含まれていても属性情報が異なるという条件を満たすパラメータの組を特定する
   請求項１から請求項３のうちのいずれか１項に記載の評価モデル分析システム。
5. 評価モデル分析手段は、
   相関があると判定したパラメータの組における相関が失われたときに、実システムに故障が生じたと判定する
   請求項１から請求項４のうちのいずれか１項に記載の評価モデル分析システム。
6. 実際に運用される実システムを表すモデルであるシステムモデルに基づいて、前記実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成し、
   運用中の実システムにおける実際のパラメータの値を含む運用情報と、前記評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析し、
   評価モデルの精度を向上可能なパラメータを分析するときに、運用情報から得られる各パラメータの値に基づいて、運用情報から得られるパラメータ同士の相関の有無を判定し、相関があると判定したパラメータ同士の組のうち、一方のパラメータが評価モデルの式に使用され、もう一方のパラメータが評価モデルの式で使用されていないパラメータの組を特定する
   ことを特徴とする評価モデル分析方法。
7. 評価モデルに含まれる式のパラメータに、当該パラメータの値を代入して計算することにより、評価項目を計算し、
   計算した前記評価項目の値と、運用情報から得られる前記評価項目に相当する項目の値との差が閾値以上である場合に、所定のパラメータの値が不正確であると判定し、評価モデルに含まれる式と、当該式に含まれるパラメータの運用情報における値とから、前記所定のパラメータの値を計算する
   請求項６に記載の評価モデル分析方法。
8. コンピュータに、
   実際に運用される実システムを表すモデルであるシステムモデルに基づいて、前記実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成する評価モデル生成処理、および、
   運用中の実システムにおける実際のパラメータの値を含む運用情報と、前記評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する評価モデル分析処理
   を実行させ、
   評価モデル分析処理で、
   運用情報から得られる各パラメータの値に基づいて、運用情報から得られるパラメータ同士の相関の有無を判定させ、相関があると判定したパラメータ同士の組のうち、一方のパラメータが評価モデルの式に使用され、もう一方のパラメータが評価モデルの式で使用されていないパラメータの組を特定させる
   ための評価モデル分析プログラム。
9. コンピュータに、
   評価モデルに含まれる式のパラメータに、当該パラメータの値を代入して計算することにより、評価項目を計算する評価処理を実行させ、
   評価モデル分析処理で、
   評価処理で計算された前記評価項目の値と、運用情報から得られる前記評価項目に相当する項目の値との差が閾値以上である場合に、所定のパラメータの値が不正確であると判定させ、評価モデルに含まれる式と、当該式に含まれるパラメータの運用情報における値とから、前記所定のパラメータの値を計算させる
   請求項８に記載の評価モデル分析プログラム。

Images