JP7513864B2 - 負荷制御装置および負荷制御方法 - Google Patents

Description

本発明は、負荷制御装置および負荷制御方法に関する。

複数のサーバを用いた分散処理システムは、処理能力の必要性に応じた拡張性の高さや、可用性の高さといったメリットを有することから、広く普及している。分散処理システムでは、各サーバの負荷状況に応じてサーバ間で処理が振り分けられる。また、近年では、サーバ機能を仮想マシンで実現した仮想サーバを用いて分散処理システムを構築することも多くなっている。

分散処理に関しては、例えば、各サーバによる過去の処理特性に基づいて予測したサーバの負荷量と、収集された各サーバの負荷量とに基づいて、リクエスト先となるサーバを選択するシステムが提案されている。また、データセンタ内の仮想マシンの負荷情報を収集し、収集された負荷情報を用いて、増設対象の仮想マシンと増設先のデータセンタとを決定し、増設対象の仮想マシンを増設先のデータセンタにおいて複製するように指示する管理装置を備えたシステムも提案されている。

特開２０１１－１７０７５１号公報 特開２０１９－２８６７３号公報

仮想サーバを用いた分散処理システムにおいて、各仮想サーバの処理負荷を示す負荷情報を収集する方法の一例として、負荷情報を計測するエージェントを各仮想サーバにインストールしておく方法がある。この方法では、負荷分散を制御する負荷制御装置は、各仮想サーバのエージェントから負荷情報を収集し、収集した負荷情報に基づいて仮想サーバ間で処理を振り分けることができる。

しかし、分散処理システム内に、エージェントが動作している仮想サーバと動作していない仮想サーバとが混在する状況が発生する場合がある。例えば、エージェントがインストールされている仮想サーバにおいて、異常の発生によりエージェントの動作が停止する場合がある。あるいは、エージェントがインストールされている仮想サーバのＯＳ（Operating System）が更新されたために、元のエージェントが動作できなくなる場合もある。さらに、仮想サーバの仕様によってはエージェントをインストールできない場合もある。このような原因によってエージェントが動作していない仮想サーバが存在する状況になると、負荷制御装置は、それらの仮想サーバからは負荷情報を収集できなくなり、負荷情報に応じた負荷分散制御を実行できなくなってしまう。

１つの側面では、本発明は、負荷情報を計測するエージェントが動作していない仮想サーバが含まれていても仮想サーバ間で負荷を分散させることが可能な負荷制御装置および負荷制御方法を提供することを目的とする。

１つの案では、次のような処理部を有する負荷制御装置が提供される。この負荷制御装置において、処理部は、物理装置上で動作する複数の仮想サーバのそれぞれにおいて、処理負荷を示す負荷情報を計測するエージェントが動作しているかを判定し、複数の仮想サーバのうちエージェントが動作している第１の仮想サーバについての負荷情報を、第１の仮想サーバのエージェントから収集し、複数の仮想サーバのうちエージェントが動作していない第２の仮想サーバについての負荷情報を、物理装置が有する、複数の仮想サーバの動作を管理する仮想化管理部から収集し、複数の仮想サーバのそれぞれから収集した負荷情報に基づいて、複数の仮想サーバの間で処理を分散させる。

また、１つの案では、上記の負荷制御装置と同様の処理をコンピュータが実行する負荷制御方法が提供される。

１つの側面では、負荷情報を計測するエージェントが動作していない仮想サーバが含まれていても仮想サーバ間で負荷を分散させることができる。

第１の実施の形態に係る負荷制御装置の構成例および処理例を示す図である。 第２の実施の形態に係る情報処理システムの構成例を示す図である。 ホスト装置のハードウェア構成例を示す図である。 ホスト装置で動作する仮想サーバの構成例を示す図である。 ホスト装置が備える処理機能の構成例を示す図である。 負荷情報の収集処理例を示す第１の図である。 負荷情報の収集処理例を示す第２の図である。 負荷分散制御を実行する仮想サーバの内部構成例を示す図である。 エージェント管理データの構成例を示す図である。 負荷情報収集処理の例を示すシーケンス図（その１）である。 負荷情報収集処理の例を示すシーケンス図（その２）である。 負荷分散制御処理の例を示すシーケンス図である。 収集された負荷情報の利用方法の例を示す図である。

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る負荷制御装置の構成例および処理例を示す図である。図１に示す負荷制御装置１は、物理装置上で動作する複数の仮想サーバ（図１の例では仮想サーバＶＳ１，ＶＳ２）の間における処理の負荷分散を制御する装置である。負荷制御装置１は、処理部２を有し、この処理部２によって負荷分散の制御が実行される。なお、処理部２は、例えば、負荷制御装置１が備える図示しないプロセッサとして実現される。

また、図１に示す仮想化管理部３は、物理装置に備えられ、その物理装置上で構築される仮想サーバＶＳ１，ＶＳ２の動作を管理する。仮想サーバＶＳ１，ＶＳ２は、仮想化管理部３による管理の下で構築される。

図１の例では、仮想サーバＶＳ１、ＶＳ２は負荷制御装置１において動作するものとする。この場合、仮想化管理部３は負荷制御装置１に備えられ、負荷制御装置１のリソースを用いて仮想サーバＶＳ１，ＶＳ２が構築される。また、この場合には、仮想化管理部３の処理は、負荷制御装置１が備える図示しないプロセッサが、所定のプログラム（ハイパバイザプログラム、仮想化ソフトウェアなど）を実行することで実現される。

ただし、仮想サーバＶＳ１，ＶＳ２が動作する物理装置は、負荷制御装置１とは別の装置であってもよい。この場合、仮想化管理部３は、負荷制御装置１とは別の物理装置に備えられ、その物理装置のリソースを用いて仮想サーバＶＳ１，ＶＳ２が構築される。また、この場合には、仮想化管理部３の処理は、物理装置が備えるプロセッサが上記のプログラムを実行することで実現される。

ここで、負荷制御装置１による制御対象の仮想サーバでは、処理負荷を示す負荷情報を計測するエージェントが動作している場合がある。この場合、負荷制御装置１の処理部２は、エージェントから、そのエージェントが動作している仮想サーバについての負荷情報を収集して、負荷分散の制御に利用できる。なお、負荷情報としては、例えば、仮想プロセッサの使用率や仮想メモリの使用率が計測される。

図１の例では、仮想サーバＶＳ１，ＶＳ２にそれぞれエージェント１１，１２がインストールされているとする。したがって、エージェント１１，１２が正常に動作していれば、処理部２は、エージェント１１，１２から、それぞれ仮想サーバＶＳ１，ＶＳ２についての負荷情報を収集できる。

以下、処理部２による負荷分散の制御処理手順について説明する。以下の処理は、例えば、一定時間ごとに実行される。
処理部２は、仮想サーバＶＳ１，ＶＳ２において、それぞれエージェント１１，１２が動作しているかを判定する。ここで、エージェント１２が動作していないと判定されたとする。例えば、異常発生によってエージェント１２の動作が停止したとする。この場合、処理部２は、エージェント１１が動作している仮想サーバＶＳ１についての負荷情報を、エージェント１１から収集する。一方、処理部２は、エージェント１２が動作していない仮想サーバＶＳ２についての負荷情報を、仮想化管理部３から収集する。

仮想化管理部３は、仮想サーバＶＳ１，ＶＳ２の動作を管理するために、仮想サーバＶＳ１，ＶＳ２によるリソースの使用状況を監視している。仮想化管理部３は、この監視機能を用いて、仮想サーバＶＳ２についての負荷情報を処理部２に通知できる。

処理部２は、仮想サーバＶＳ１，ＶＳ２のそれぞれから収集した負荷情報に基づいて、仮想サーバＶＳ１，ＶＳ２の間で処理を分散させる。例えば、処理部２は、収集した負荷情報に基づき、仮想サーバＶＳ１，ＶＳ２の間で処理負荷が分散するように、処理のリクエストを仮想サーバＶＳ１，ＶＳ２のどちらに入力するかを決定する。

以上の処理により、負荷制御装置１は、制御対象の仮想サーバの中に、エージェントが動作している仮想サーバと動作していない仮想サーバとが混在している場合でも、すべての仮想サーバから負荷情報を収集できる。そして、負荷制御装置１は、すべての仮想サーバから収集した負荷情報に基づいて、仮想サーバ間で負荷を分散させることができる。

仮想サーバでエージェントが動作していないケースとしては、例えば、エージェントの動作が異常のために停止しているケースが考えられる。あるいは、仮想サーバのＯＳが更新されたために、その仮想サーバにインストールされていたエージェントが動作できなくなったケースも考えられる。さらに、仮想サーバの仕様により、その仮想サーバにエージェントをインストールできないケースも考えられる。

このような理由により、制御対象の仮想サーバの中にエージェントが動作していない仮想サーバが存在している場合でも、負荷制御装置１は、制御対象のすべての仮想サーバから負荷情報を収集し、それらの負荷情報を用いて負荷分散の制御を実行できる。

〔第２の実施の形態〕
図２は、第２の実施の形態に係る情報処理システムの構成例を示す図である。図２に示す情報処理システムは、ホスト装置１００とクライアント装置２０１，２０２，２０３，・・・を含む。ホスト装置１００とクライアント装置２０１，２０２，２０３，・・・との間は、ネットワーク２１０を介して接続されている。

ホスト装置１００は、クライアント装置２０１，２０２，２０３，・・・に対してサービスを提供するサーバ装置として動作する。後述するように、ホスト装置１００では仮想サーバ（仮想マシン）が動作し、クライアント装置２０１，２０２，２０３，・・・に対するサーバ機能が仮想サーバによって実現される。クライアント装置２０１，２０２，２０３，・・・は、サービスを利用するユーザに利用される端末装置である。

図３は、ホスト装置のハードウェア構成例を示す図である。ホスト装置１００は、例えば、図３に示すような構成のコンピュータとして実現される。
図３に示すホスト装置１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、グラフィックインタフェース（Ｉ／Ｆ）１０４、入力インタフェース（Ｉ／Ｆ）１０５、読み取り装置１０６およびネットワークインタフェース（Ｉ／Ｆ）１０７を有する。

プロセッサ１０１は、ホスト装置１００全体を統括的に制御する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

ＲＡＭ１０２は、ホスト装置１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。

ＨＤＤ１０３は、ホスト装置１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。

グラフィックインタフェース１０４には、表示装置１０４ａが接続されている。グラフィックインタフェース１０４は、プロセッサ１０１からの命令にしたがって、画像を表示装置１０４ａに表示させる。表示装置としては、液晶ディスプレイや有機ＥＬ（ElectroLuminescence）ディスプレイなどがある。

入力インタフェース１０５には、入力装置１０５ａが接続されている。入力インタフェース１０５は、入力装置１０５ａから出力される信号をプロセッサ１０１に送信する。入力装置１０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

読み取り装置１０６には、可搬型記録媒体１０６ａが脱着される。読み取り装置１０６は、可搬型記録媒体１０６ａに記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１０６ａとしては、光ディスク、半導体メモリなどがある。

ネットワークインタフェース１０７は、ネットワーク２１０を介して、クライアント装置２０１，２０２，２０３，・・・などの他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、ホスト装置１００の処理機能を実現することができる。

図４は、ホスト装置で動作する仮想サーバの構成例を示す図である。図４に示すように、本実施の形態では例として、ホスト装置１００において５台の仮想サーバ１１０，１２０，１３０，１４０，１５０が動作するものとする。仮想サーバ１１０は、仮想ネットワーク（仮想通信路）を介して仮想サーバ１３０に接続されている。仮想サーバ１２０は、仮想ネットワークを介して仮想サーバ１４０に接続されている。仮想サーバ１５０は、仮想ネットワークを介して仮想サーバ１１０，１２０に接続されている。さらに、仮想サーバ１５０は、外部のネットワーク２１０に接続され、クライアント装置２０１，２０２，２０３，・・・（以下、「クライアント装置」と略称する）と通信可能になっている。

ホスト装置１００では、２系統のサーバ群（仮想サーバ１１０，１３０と、仮想サーバ１２０，１４０）によって分散処理が行われる分散処理システムが構築されている。一方のサーバ群において、仮想サーバ１１０は、クライアント装置から送信されるリクエストに応じて処理を実行するＷｅｂサーバであり、仮想サーバ１３０は、仮想サーバ１１０からのリクエストに応じて処理を実行するＷｅｂサーバである。また、他方のサーバ群でも同様に、仮想サーバ１２０は、クライアント装置から送信されるリクエストに応じて処理を実行するＷｅｂサーバであり、仮想サーバ１４０は、仮想サーバ１２０からのリクエストに応じて処理を実行するＷｅｂサーバである。

本実施の形態では例として、仮想サーバ１１０，１２０は、クライアントからのリクエストに応じた処理を実行するアプリケーション（ＡＰＬ）サーバとして動作し、仮想サーバ１３０，１４０は、データベース２２０を管理するデータベース（ＤＢ）サーバとして動作する。この場合、例えば、仮想サーバ１１０は、クライアントからのリクエストに応じて、仮想サーバ１３０にデータの取得を要求する。仮想サーバ１３０は、データベース２２０からデータを取得して仮想サーバ１１０に返送する。仮想サーバ１１０は、返送されたデータを用いて処理を実行し、処理結果をクライアントに送信する。また、同様に、仮想サーバ１２０は、クライアントからのリクエストに応じて、仮想サーバ１４０にデータの取得を要求する。仮想サーバ１４０は、データベース２２０からデータを取得して仮想サーバ１２０に返送する。仮想サーバ１２０は、返送されたデータを用いて処理を実行し、処理結果をクライアントに送信する。

仮想サーバ１５０は、クライアント装置からのリクエストを受け付け、リクエストを仮想サーバ１１０，１２０のいずれかに振り分ける負荷制御装置（ロードバランサ）として動作する。リクエストの振り分け先は、仮想サーバ１１０，１２０，１３０，１４０における処理負荷の状況によって決定される。これにより、仮想サーバ１１０，１３０を含むサーバ群と、仮想サーバ１２０，１４０を含むサーバ群との間で処理負荷が分散される。また、仮想サーバ１５０は、仮想サーバ１１０，１２０から送信されるクライアント宛ての処理結果を、クライアント装置に送信する。

図５は、ホスト装置が備える処理機能の構成例を示す図である。
ホスト装置１００は、仮想化基盤部１６０を備える。仮想化基盤部１６０の処理は、ハイパバイザプログラムや仮想化ソフトウェアなどのプログラムをプロセッサ１０１が実行することで実現される。仮想化基盤部１６０は、ホスト装置１００のリソースを用いて仮想サーバ１１０，１２０，１３０，１４０，１５０を構築し、それらの動作を管理する。

また、仮想化基盤部１６０は、仮想サーバ１１０，１２０，１３０，１４０，１５０に割り当てる物理リソースを管理するリソース管理部１６１を備えている。リソース管理部１６１は、仮想サーバ１１０，１２０，１３０，１４０，１５０のそれぞれに対して割り当てられたリソースの負荷を計測可能になっている。計測可能な負荷としては、例えば、仮想プロセッサの使用率を示すＣＰＵ使用率や、仮想メモリの使用率を示すメモリ使用率などがある。

仮想サーバ１１０は、アプリケーションサーバとしての処理を実行するアプリケーション（ＡＰＬ）サーバ処理部１１１を備えている。仮想サーバ１２０も同様に、アプリケーションサーバとしての処理を実行するアプリケーション（ＡＰＬ）サーバ処理部１２１を備えている。また、仮想サーバ１３０は、データベースサーバとしての処理を実行するデータベース（ＤＢ）サーバ処理部１３１を備えている。仮想サーバ１４０も同様に、データベースサーバとしての処理を実行するデータベース（ＤＢ）サーバ処理部１４１を備えている。

なお、アプリケーションサーバ処理部１１１，１２１の処理は、例えば、それぞれ仮想サーバ１１０，１２０が備える仮想プロセッサがゲストＯＳ上で所定のアプリケーションプログラムを実行することで実現される。また、データベースサーバ処理部１３１，１４１の処理は、例えば、それぞれ仮想サーバ１３０，１４０が備える仮想プロセッサがゲストＯＳ上で所定のアプリケーションプログラムを実行することで実現される。実体的には、これらの処理は、ホスト装置１００のプロセッサ１０１によって実現される。

さらに、仮想サーバ１１０，１２０は、それぞれ負荷計測エージェント１１２，１２２を備えている。負荷計測エージェント１１２，１２２は、それぞれ仮想サーバ１１０，１２０の処理負荷を計測し、その計測結果を負荷情報として他の仮想サーバ（ここでは仮想サーバ１５０）に通知する。なお、負荷計測エージェント１１２，１２２の処理は、例えば、それぞれ仮想サーバ１１０，１２０が備える仮想プロセッサがゲストＯＳ上で所定のエージェントプログラムを実行することで実現される。

本実施の形態では、負荷分散制御の対象となる仮想サーバ１１０，１２０，１３０，１４０のうち、仮想サーバ１１０，１２０には負荷計測エージェントが実装されているが、仮想サーバ１３０，１４０には実装されていない。換言すると、仮想サーバ１１０，１２０にはエージェントプログラムがインストールされているが、仮想サーバ１３０，１４０にはインストールされていない。

この理由は、仮想サーバ１１０，１２０が、負荷情報の通知先である仮想サーバ１５０と直接的に通信可能であるのに対し、仮想サーバ１３０，１４０が、それぞれ仮想サーバ１１０，１２０を介して仮想サーバ１５０に接続されていることにある。仮想サーバ１３０，１４０に負荷計測エージェントを実装した場合、その負荷計測エージェントからの負荷情報を仮想サーバ１５０に伝送するための特別な仕組みが必要となる。例えば、仮想サーバ１１０，１２０に負荷情報の転送機能を設けること、あるいは、仮想サーバ１３０，１４０と仮想サーバ１５０とを直接的に接続する仮想ネットワークを追加することが必要となる。

しかし、ホスト装置１００では構成や処理の単純化のためにそのような仕組みを設けておらず、そのため、仮想サーバ１３０，１４０には負荷計測エージェントが実装されていない。また、仮想サーバ１３０，１４０に負荷計測エージェントが実装されていない理由は、例えば、仕様上の問題から、仮想サーバ１３０，１４０にエージェントプログラムをインストールできないことであってもよい。例えば、仮想サーバ１３０，１４０のゲストＯＳがエージェントプログラムをサポートしていない場合が考えられる。このような理由から、負荷分散制御の対象となる仮想サーバ１１０，１２０，１３０，１４０の中に、負荷計測エージェントが実装されている（エージェントプログラムがインストールされている）仮想サーバと実装されていない仮想サーバとが混在する可能性がある。

また、負荷計測エージェントの動作が停止する場合もある。例えば、異常の発生により負荷計測エージェントの動作が停止する場合がある。あるいは、負荷計測エージェントが実装されている仮想サーバ１１０におけるゲストＯＳの更新により、負荷計測エージェントの更新が必要な状態になり、更新後のゲストＯＳがサポートしていない元の負荷計測エージェントの動作が停止してしまう場合もある。

したがって、仮想サーバ１１０，１２０，１３０，１４０の中に、負荷計測エージェントが動作している仮想サーバと、動作していない仮想サーバとが混在する場合があり得る。後者の仮想サーバには、エージェントプログラムがインストールされていない仮想サーバと、負荷計測エージェントの動作が停止した仮想サーバとが含まれ得る。

仮想サーバ１５０は、負荷分散処理部１５１を備える。負荷分散処理部１５１の処理は、例えば、仮想サーバ１５０の仮想プロセッサがゲストＯＳ上で所定のアプリケーションプログラムを実行することで実現される。実体的には、負荷分散処理部１５１の処理は、ホスト装置１００のプロセッサ１０１によって実現される。

負荷分散処理部１５１は、仮想サーバ１１０，１２０，１３０，１４０のそれぞれから負荷情報を収集し、収集した負荷情報に基づいて、クライアント装置からのリクエストを仮想サーバ１１０，１２０のいずれかに振り分ける。このとき、リクエストの振り分け先は、仮想サーバ１１０，１３０を含むサーバ群と、仮想サーバ１２０，１４０を含むサーバ群との間で処理負荷が分散されるように決定される。

負荷分散処理部１５１は、負荷計測エージェントが動作している仮想サーバについての負荷情報を、その仮想サーバの負荷計測エージェントから収集する。一方、負荷分散処理部１５１は、負荷計測エージェントが動作していない仮想サーバについての負荷情報を、仮想化基盤部１６０のリソース管理部１６１から収集する。

より具体的には、負荷分散処理部１５１は、負荷計測エージェントが実装されている仮想サーバ（図５では仮想サーバ１１０，１２０）については、負荷計測エージェントの動作状態を監視する。そして、負荷分散処理部１５１は、負荷計測エージェントが正常に動作している場合、その負荷計測エージェントから負荷情報を収集する。一方、負荷分散処理部１５１は、負荷計測エージェントの動作が停止している場合、その負荷計測エージェントが実装されている仮想サーバについての負荷情報を、仮想化基盤部１６０のリソース管理部１６１から収集する。このように、負荷分散処理部１５１は、仮想サーバ上の負荷計測エージェントの動作が停止した場合には、負荷情報の収集元を負荷計測エージェントから仮想化基盤部１６０に切り替える。

また、負荷分散処理部１５１は、負荷計測エージェントが実装されていない仮想サーバ１３０，１４０については、負荷情報を仮想化基盤部１６０のリソース管理部１６１から収集する。

このようにして、負荷分散処理部１５１は、負荷分散制御の対象となる仮想サーバの中に、負荷計測エージェントが動作している仮想サーバと動作していない仮想サーバとが混在している場合でも、すべての仮想サーバについての負荷情報を収集できる。すなわち、負荷分散処理部１５１は、負荷計測エージェントが動作していない仮想サーバについての負荷情報を、仮想化基盤部１６０から収集できる。そして、負荷分散処理部１５１は、それらの負荷情報を用いて負荷分散の制御を実行できる。

仮に、負荷計測エージェントが動作していない仮想サーバから負荷情報を収集できない場合、負荷分散処理部１５１による負荷分散の精度が低下し、場合によっては負荷分散の制御自体が不可能になる。本実施の形態によれば、そのような事態の発生を防止でき、負荷分散の制御を常に高精度で実行できる。

次に、図６、図７を用いて、負荷情報の収集処理の具体例について説明する。
図６は、負荷情報の収集処理例を示す第１の図である。
仮想サーバ１５０の負荷分散処理部１５１は、一定時間ごとに各仮想サーバについての負荷情報を収集する。負荷情報の収集タイミングにおいて、負荷分散処理部１５１は、まず、負荷計測エージェント１１２，１２２が実装されている仮想サーバ１１０，１２０について、負荷計測エージェント１１２，１２２が動作しているかを判定する。

図６の例では、負荷計測エージェント１１２，１２２のいずれも正常に動作しているとする。この場合、負荷分散処理部１５１は、負荷計測エージェント１１２，１２２に対して負荷情報の通知を要求する。負荷計測エージェント１１２，１２２は、それぞれ仮想サーバ１１０，１２０の負荷を計測し、計測結果を示す負荷情報を負荷分散処理部１５１に通知する。

次に、負荷分散処理部１５１は、負荷計測エージェントが実装されていない仮想サーバ１３０，１４０についての負荷情報を通知するように、仮想化基盤部１６０のリソース管理部１６１に要求する。リソース管理部１６１は、仮想サーバ１３０，１４０についての負荷情報を収集し、負荷分散処理部１５１に通知する。

負荷分散処理部１５１は、このようにして仮想サーバ１１０，１２０，１３０，１４０のすべてから収集した負荷情報に基づいて、クライアント装置からのリクエストを仮想サーバ１１０，１２０のどちらに振り分けるかを決定する。負荷分散処理部１５１は、決定された振り分け先にリクエストを送信する。

図７は、負荷情報の収集処理例を示す第２の図である。
負荷情報の収集タイミングにおいて、負荷分散処理部１５１は、まず、負荷計測エージェント１１２，１２２が実装されている仮想サーバ１１０，１２０について、負荷計測エージェント１１２，１２２が動作しているかを判定する。図７の例では、負荷計測エージェント１１２は正常に動作しているが、負荷計測エージェント１２２は異常により停止しているものとする。

この場合、負荷分散処理部１５１は、負荷計測エージェント１１２に対して負荷情報の通知を要求する。負荷計測エージェント１１２は、仮想サーバ１１０の負荷を計測し、計測結果を示す負荷情報を負荷分散処理部１５１に通知する。また、負荷分散処理部１５１は、仮想サーバ１２０についての負荷情報を通知するように、仮想化基盤部１６０のリソース管理部１６１に要求する。リソース管理部１６１は、仮想サーバ１２０についての負荷情報を収集し、負荷分散処理部１５１に通知する。

次に、負荷分散処理部１５１は、図６の場合と同様の手順で、負荷計測エージェントが実装されていない仮想サーバ１３０，１４０についての負荷情報を、仮想化基盤部１６０のリソース管理部１６１から収集する。負荷分散処理部１５１は、このようにして仮想サーバ１１０，１２０，１３０，１４０のすべてから収集した負荷情報に基づいて、クライアント装置からのリクエストを仮想サーバ１１０，１２０のどちらに振り分けるかを決定する。負荷分散処理部１５１は、決定された振り分け先にリクエストを送信する。

以上の図６、図７に示したように、負荷分散処理部１５１は、負荷計測エージェントが正常に動作している仮想サーバについての負荷情報を、その仮想サーバの負荷計測エージェントから収集できる。また、負荷分散処理部１５１は、負荷計測エージェントの動作が停止している仮想サーバや、負荷計測エージェントが実装されていない仮想サーバについての負荷情報を、仮想化基盤部１６０から収集できる。

特に、負荷分散処理部１５１は、負荷計測エージェントの動作が停止した仮想サーバについては、負荷情報の収集元を、その仮想サーバの負荷計測エージェントから仮想化基盤部１６０に切り替えることができる。また、負荷分散処理部１５１は、仮想サーバ１３０，１４０のように仮想サーバ１５０が直接的に通信できない仮想サーバについての負荷情報も、仮想化基盤部１６０の機能を用いることで収集できる。したがって、仮想サーバ間を接続する仮想ネットワークの構成に関係なく、負荷分散制御の対象となるすべての仮想サーバから負荷情報を収集できる。

図８は、負荷分散制御を実行する仮想サーバの内部構成例を示す図である。仮想サーバ１５０は、前述した負荷分散処理部１５１に加えて、記憶部１７０を備える。記憶部１７０は、例えば、仮想サーバ１５０の仮想メモリまたは仮想ディスクによって実現される。実体的には、記憶部１７０は、ＲＡＭ１０２やＨＤＤ１０３など、仮想サーバ１５０が備える記憶装置によって実現される。

記憶部１７０は、エージェント管理データ１７１、負荷情報管理テーブル１７２および負荷分散ルールデータ１７３を記憶する。
エージェント管理データ１７１は、どの仮想サーバに負荷計測エージェントが実装されているかを示すデータである。

負荷情報管理テーブル１７２には、仮想サーバから収集された負荷情報が蓄積される。例えば、負荷情報管理テーブル１７２は、負荷情報の収集対象の仮想サーバごとのレコードを含み、各レコードに対して、収集された負荷情報と収集時刻とが順次登録される。

負荷分散ルールデータ１７３は、収集された負荷情報に応じてクライアント装置からのリクエストの振り分け先を決定するためのルールを示すデータである。例えば、負荷分散ルールデータ１７３は、振り分け先のサーバ群の間での負荷情報の値の比率と、各振り分け先に対してリクエストを振り分ける確率との対応関係を示す。

また、負荷分散処理部１５１は、負荷情報収集部１８１，１８２と負荷分散制御部１８３とを含む。
負荷情報収集部１８１は、負荷計測エージェント１１２，１２２から負荷情報を収集する。負荷情報収集部１８２は、仮想化基盤部１６０のリソース管理部１６１から負荷情報を収集する。負荷分散制御部１８３は、負荷情報を負荷計測エージェントと仮想化基盤部１６０のどちらから収集するかを仮想サーバごとに決定し、その決定に基づき、負荷情報収集部１８１，１８２に負荷情報を収集させる。負荷分散制御部１８３は、収集された負荷情報を負荷情報管理テーブル１７２に登録する。負荷分散制御部１８３は、収集された負荷情報に基づき、負荷分散ルールデータ１７３にしたがってリクエストの振り分け先を決定する。

図９は、エージェント管理データの構成例を示す図である。図９に示すように、エージェント管理データ１７１は、例えば、負荷情報の収集対象の仮想サーバごとのレコードを含む。各レコードには、仮想サーバＩＤとエージェントフラグとが登録される。仮想サーバＩＤは、仮想サーバを識別する情報である。エージェントフラグは、仮想サーバに負荷計測エージェントが実装されているか否かを示すフラグ情報である。例えば、負荷計測エージェントが実装されている（エージェントプログラムがインストールされている）場合、エージェントフラグは「１」に設定され、実装されていない、エージェントフラグは「０」に設定される。

次に、ホスト装置１００の処理についてシーケンス図を用いて説明する。
図１０、図１１は、負荷情報収集処理の例を示すシーケンス図である。
［ステップＳ１１］仮想サーバ１５０の負荷分散制御部１８３は、エージェント管理データ１７１に基づき、負荷情報の収集対象の仮想サーバの中から負荷計測エージェントが実装されている仮想サーバを抽出する。そして、ループ端（ステップＳ１８）までの処理が、抽出された仮想サーバのそれぞれを処理対象として実行される。

［ステップＳ１２］仮想サーバ１５０の負荷情報収集部１８１は、処理対象の仮想サーバ上の負荷計測エージェントに対して負荷情報の通知を要求する。要求された仮想サーバ上の負荷計測エージェント１１２は、仮想サーバの負荷を計測し、計測結果を示す負荷情報を仮想サーバ１５０に通知する。

［ステップＳ１３］仮想サーバ１５０の負荷情報収集部１８１は、通知された負荷情報を受信し（すなわち、負荷情報を収集し）、負荷情報管理テーブル１７２に格納する。
［ステップＳ１４］仮想サーバ１５０の負荷分散制御部１８３は、処理対象の仮想サーバ上の負荷計測エージェントの動作が停止しているかを判定する。動作が停止している場合、処理がステップＳ１５に進められ、正常に動作している場合、処理がステップＳ１８に進められる。

ステップＳ１４では、例えば、ステップＳ１２での負荷情報収集部１８１からの通知要求に応じて負荷情報が通知されなかった場合に、負荷計測エージェントの動作が停止していると判定される。

また、例えば、図１０、図１１の処理とは非同期で、仮想サーバ上の負荷計測エージェントから一定間隔で負荷情報が通知され、負荷情報管理テーブル１７２に蓄積されてもよい。この場合、ステップＳ１２，Ｓ１３の処理はスキップされる。そして、ステップＳ１４では、例えば、負荷情報管理テーブル１７２に基づき、直近の所定回数の通知タイミングにおいて負荷情報が通知されていない場合に、負荷計測エージェントの動作が停止していると判定される。

［ステップＳ１５］仮想サーバ１５０の負荷情報収集部１８２は、仮想化基盤部１６０に対して、処理対象の仮想サーバについての負荷情報の通知を要求する。
［ステップＳ１６］仮想化基盤部１６０のリソース管理部１６１は、処理対象の仮想サーバについての負荷情報を収集し、仮想サーバ１５０に通知する。

［ステップＳ１７］仮想サーバ１５０の負荷情報収集部１８２は、通知された負荷情報を受信し、負荷情報管理テーブル１７２に格納する。このとき、負荷情報が仮想化基盤部１６０から収集されたものであることが識別可能な情報も、負荷情報管理テーブル１７２に登録される。

［ステップＳ１８］負荷計測エージェントが実装されているすべての仮想サーバについてステップＳ１２～Ｓ１７の処理が実行された場合、処理がステップＳ１９に進められる。

［ステップＳ１９］仮想サーバ１５０の負荷分散制御部１８３は、エージェント管理データ１７１に基づき、負荷情報の収集対象の仮想サーバの中に負荷計測エージェントが実装されていない仮想サーバがあるかを判定する。負荷計測エージェントが実装されていない仮想サーバがある場合、処理がステップＳ２０に進められ、負荷計測エージェントが実装されていない仮想サーバがない場合、負荷情報収集処理は終了される。

［ステップＳ２０］ループ端（ステップＳ２４）までの処理が、負荷計測エージェントが実装されていない仮想サーバのそれぞれを処理対象として実行される。
［ステップＳ２１］仮想サーバ１５０の負荷情報収集部１８２は、仮想化基盤部１６０に対して、処理対象の仮想サーバについての負荷情報の通知を要求する。

［ステップＳ２２］仮想化基盤部１６０のリソース管理部１６１は、処理対象の仮想サーバについての負荷情報を収集し、仮想サーバ１５０に通知する。
［ステップＳ２３］仮想サーバ１５０の負荷情報収集部１８２は、通知された負荷情報を受信し、負荷情報管理テーブル１７２に格納する。

［ステップＳ２４］負荷計測エージェントが実装されていないすべての仮想サーバについてステップＳ２１～Ｓ２３の処理が実行された場合、負荷情報収集処理は終了される。
図１２は、負荷分散制御処理の例を示すシーケンス図である。

［ステップＳ３１］クライアント装置（ここでは例としてクライアント装置２０１とする）は、処理の実行のためのリクエストを送信する。例えば、Ｗｅｂページを閲覧するためのリクエストが送信される。

［ステップＳ３２］仮想サーバ１５０の負荷分散制御部１８３は、リクエストを受信すると、負荷情報管理テーブル１７２に格納された負荷情報に基づいて、リクエストの送信先（振り分け先）サーバを決定する。この決定処理では、例えば、負荷情報管理テーブル１７２に格納された、仮想サーバ１１０，１２０，１３０，１４０のそれぞれについての最新の負荷情報が用いられ、負荷分散ルールデータ１７３に基づいてリクエストの送信先サーバが決定される。

なお、実際の処理としては、例えば、仮想サーバ１１０，１２０，１３０，１４０のそれぞれについての最新の負荷情報に基づき、負荷分散ルールデータ１７３にしたがって、振り分け先の仮想サーバ１１０，１２０のそれぞれに対してリクエストを振り分ける確率が算出される。この確率の算出は、図１０、図１１の負荷情報収集処理が実行された直後のリクエスト受信タイミングにのみ実行されればよい。ステップＳ３２では、算出された確率に基づき、この確率でリクエストが振り分けられるように振り分け先が決定される。例えば、仮想サーバ１１０，１２０のそれぞれに対する振り分けの確率が２０％、８０％の場合、連続して受信した５つのリクエストのうち、１つが仮想サーバ１１０に振り分けられ、４つが仮想サーバ１２０に振り分けられる。

［ステップＳ３３］仮想サーバ１５０の負荷分散制御部１８３は、ステップＳ３２で決定された送信先サーバに、クライアント装置２０１からのリクエストを送信する。ここでは例として、仮想サーバ１１０に対してリクエストが送信されたものとする。

［ステップＳ３４］仮想サーバ１１０のアプリケーションサーバ処理部１１１は、リクエストに応じた処理を実行するために、データベース２２０にアクセスするためのリクエストを仮想サーバ１３０に送信する。例えば、Ｗｅｂページの閲覧が要求された場合、Ｗｅｂページを構築するためのデータを参照するためのリクエストが送信される。

［ステップＳ３５］仮想サーバ１３０のデータベースサーバ処理部１３１は、リクエストに応じてデータベース２２０を参照し、レスポンスを仮想サーバ１１０に送信する。例えば、参照が要求されたデータがデータベース２２０から読み出され、仮想サーバ１１０に送信される。

［ステップＳ３６］仮想サーバ１１０のアプリケーションサーバ処理部１１１は、レスポンスに応じて所定の処理を実行し、実行結果を示すレスポンスを仮想サーバ１５０に送信する。例えば、データベース２２０から読み出されたデータを処理することでＷｅｂページのデータが構築され、仮想サーバ１５０に送信される。

［ステップＳ３７］仮想サーバ１５０の負荷分散制御部１８３は、仮想サーバ１１０からのレスポンスをクライアント装置２０１に送信する。
［ステップＳ３８］クライアント装置２０１は、レスポンスを受信する。例えば、クライアント装置２０１は、レスポンスとしてＷｅｂページのデータを受信し、受信したデータに基づいてＷｅｂページを表示装置に表示させる。

なお、図１２に示したアプリケーションサーバ処理部１１１およびデータベースサーバ処理部１３１の処理や、リクエストおよびレスポンスは、あくまで一例である。
図１３は、収集された負荷情報の利用方法の例を示す図である。

仮想サーバ１５０の負荷分散処理部１５１は、仮想サーバ１１０，１３０を含むサーバ群と、仮想サーバ１２０，１４０を含むサーバ群との間で負荷が分散するように制御する。図１３では、前者のサーバ群を「サーバグループＡ」とし、後者のサーバ群を「サーバグループＢ」としている。また、サーバグループＡ，Ｂに含まれる仮想サーバのうち、仮想サーバ１５０から見て前段に位置する仮想サーバ１１０，１２０を「前段サーバ」と呼び、仮想サーバ１５０から見て後段に位置する仮想サーバ１３０，１４０を「後段サーバ」と呼ぶことにする。

負荷分散制御の方法としては、例えば、前段サーバの負荷だけに基づいてリクエストの振り分け先を決定する方法を適用可能である。例えば、仮想サーバ１１０について負荷情報（例えばＣＰＵ使用率）が３０％であり、仮想サーバ１２０についての負荷情報が５０％であったとする。この場合、負荷分散処理部１５１は、例えば、仮想サーバ１１０と仮想サーバ１２０とに対して３：５の比率でリクエストを振り分ける。

しかし、サーバグループＡ，Ｂのそれぞれにおいては、例えば、前段サーバの負荷が小さくても後段サーバの負荷が大きい場合があり得る。逆に、前段サーバの負荷が大きくても後段サーバの負荷が小さい場合もあり得る。このため、前段サーバだけでなく後段サーバの負荷も用いてリクエストの振り分け先を決定する方が、全体として高精度の負荷分散制御を実行できる。

図１３に示す負荷収集テーブル１７４は、負荷情報の収集タイミングにおいて仮想サーバ１１０，１２０，１３０，１４０から収集された負荷情報を表したものである。この例では、サーバグループＡにおいては、前段サーバ（仮想サーバ１１０）についての負荷情報が３０％であり、後段サーバ（仮想サーバ１３０）についての負荷情報が９０％であったとする。また、サーバグループＢにおいては、前段サーバ（仮想サーバ１２０）についての負荷情報が５０％であり、後段サーバ（仮想サーバ１４０）についての負荷情報が５０％であったとする。

負荷分散処理部１５１は、例えば、サーバグループごとに、前段サーバについての負荷情報の値と後段サーバについての負荷情報の値との合計値を算出する。図１３の例では、サーバグループＡについての合計値は１２０％と算出され、サーバグループＢについての合計値は１００％と算出される。負荷分散処理部１５１は、このように算出された負荷情報の合計値に基づいてリクエストの振り分け先を決定する。例えば、負荷分散処理部１５１は、仮想サーバ１１０と仮想サーバ１２０とに対して６：５の比率でリクエストを振り分ける。これにより、前段サーバの負荷だけを用いた場合と比較して、負荷分散制御の精度を向上させることができる。

ここで、後段サーバは仮想サーバ１５０と直接通信できないことから、後段サーバに負荷計測エージェントを実装して、その負荷計測エージェントから負荷情報を仮想サーバ１５０に通知させることは難しい。通知を可能にするためには、例えば、前段サーバに負荷情報の転送機能を設けること、あるいは、後段サーバと仮想サーバ１５０とを直接的に接続する仮想ネットワークを追加することが必要となる。このため、前段サーバの処理や仮想ネットワークの構成が複雑化し、開発コストが高くなり、設定作業や保守作業が煩雑になる。

これに対して、本実施の形態では、仮想サーバ１５０の負荷分散処理部１５１は、後段サーバに負荷計測エージェントを実装しておかなくても、後段サーバについての負荷情報を仮想化基盤部１６０から収集できる。したがって、前段サーバの処理や仮想ネットワークの構成が単純な状態のまま、前段サーバだけでなく後段サーバの負荷も用いて負荷分散制御を実行できるようになる。

なお、上記の各実施の形態に示した装置（例えば、負荷制御装置１、ホスト装置１００、クライアント装置２０１，２０２，２０３，・・・）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

１ 負荷制御装置
２ 処理部
３ 仮想化管理部
１１，１２ エージェント
ＶＳ１，ＶＳ２ 仮想サーバ

Claims (6)

1. 物理装置上で動作する複数の仮想サーバのそれぞれにおいて、処理負荷を示す負荷情報を計測するエージェントが動作しているかを判定し、
   前記複数の仮想サーバのうち前記エージェントが動作している第１の仮想サーバについての前記負荷情報を、前記第１の仮想サーバの前記エージェントから収集し、
   前記複数の仮想サーバのうち前記エージェントが動作していない第２の仮想サーバについての前記負荷情報を、前記物理装置が有する、前記複数の仮想サーバの動作を管理する仮想化管理部から収集し、
   前記複数の仮想サーバのそれぞれから収集した前記負荷情報に基づいて、前記複数の仮想サーバの間で処理を分散させる、処理部、
   を有する負荷制御装置。
2. 前記判定において、前記複数の仮想サーバのうち前記エージェントが実装されていた仮想サーバの中に、前記エージェントの動作が停止している第３の仮想サーバがあると判定された場合、前記第３の仮想サーバについての前記負荷情報の収集元が、前記第３の仮想サーバの前記エージェントから前記仮想化管理部に切り替えられる、
   請求項１記載の負荷制御装置。
3. 前記判定では、前記複数の仮想サーバのうち前記エージェントが実装されていない仮想サーバを、前記エージェントが動作していない前記第２の仮想サーバと判定する、
   請求項１または２記載の負荷制御装置。
4. 前記複数の仮想サーバは、前記負荷制御装置上で動作し、
   前記処理部の処理は、前記負荷制御装置上で動作する仮想マシンによって実行され、
   前記判定では、前記複数の仮想サーバのうち、他の仮想サーバを介して前記仮想マシンと接続された仮想サーバを、前記エージェントが動作していない前記第２の仮想サーバと判定する、
   請求項１記載の負荷制御装置。
5. 前記処理部は、さらに、前記複数の仮想サーバのうち、前記仮想マシンと直接通信可能な第４の仮想サーバについて、前記第４の仮想サーバに実装されている前記エージェントの動作状態を監視し、
   前記判定では、前記監視の結果に基づき、前記第４の仮想サーバのうち前記エージェントの動作が停止した仮想サーバを、前記エージェントが動作していない前記第２の仮想サーバと判定する、
   請求項４記載の負荷制御装置。
6. コンピュータが、
   物理装置上で動作する複数の仮想サーバのそれぞれにおいて、処理負荷を示す負荷情報を計測するエージェントが動作しているかを判定し、
   前記複数の仮想サーバのうち前記エージェントが動作している第１の仮想サーバについての前記負荷情報を、前記第１の仮想サーバの前記エージェントから収集し、
   前記複数の仮想サーバのうち前記エージェントが動作していない第２の仮想サーバについての前記負荷情報を、前記物理装置が有する、前記複数の仮想サーバの動作を管理する仮想化管理部から収集し、
   前記複数の仮想サーバのそれぞれから収集した前記負荷情報に基づいて、前記複数の仮想サーバの間で処理を分散させる、
   負荷制御方法。

Images