JP4358034B2 - 監視システム - Google Patents

Description

本発明は、外部装置に対して装置制御要求を行うともに、装置制御要求に係わる監視システムのテーブルを更新する場合に、システムや外部装置において処理が異常終了となったときに、外部装置のテーブルと監視システムのテーブルのデータの整合性を取るための復旧を行う復旧システムに関する。

通信等の分野において、ＮＥ（Network Element）等の伝送装置及び伝送装置間を接続する伝送路により構成されるネットワークを管理するためにネットワークオペレーションシステムが設けられる。ネットワークオペレーションシステムは、複数のＮＥを経由する通信経路（以下、パス）を設定するためのパス設定、パス変更、パス解放、ルートの帯域制限等の帯域制御実行、帯域制御解除等の装置制御を実行する。

ネットワークオペレーションシステムは、例えば、パス設定について、パス設定に係わる情報をテーブルに管理しており、パス上に位置する複数のＮＥに対してパス設定要求を行うとともに、パス設定に係わる情報についてテーブルを更新する。一方、パス設定要求を受けた各ＮＥは、パス設定に係わるテーブルを更新する。

このように、ネットワークオペレーションシステムは、複数のＮＥに対して複数の装置制御要求を行うとともに装置制御要求に係わる自システムのテーブルを更新する。複数のＮＥは、装置制御要求に基づいて自装置のテーブルを更新する。

しかし、ＮＥに対する装置制御要求についてのＮＥにおける処理が該ＮＥの装置故障や伝送路障害等に起因して異常終了する場合がある。このとき、複数のＮＥに対する複数の装置制御要求について、ネットワークオペレーションシステムや一部のＮＥにおいて正常終了し、他のＮＥにおいて異常終了した場合には、ネットワークオペレーションシステムのテーブルとＮＥのテーブルの内容に整合性が取れなくなってしまう。

例えば、パス設定要求について、正常終了したネットワークオペレーションシステムやＮＥではテーブルがパス設定された状態を意味し、異常終了したＮＥではテーブルがパス設定されていない状態を意味することから、ネットワークオペレーションシステム、正常終了したＮＥ、異常終了したＮＥのテーブルの内容の整合性が取れない。そのため、ネットワークオペレーションシステムのテーブルとＮＥのテーブルの内容の整合性を取るための復旧を行う必要がある。

以下、ネットワークオペレーションシステムのように複数のＮＥに対して装置制御要求を行うとともに自システムのテーブルの更新を行うシステムを監視システムと呼び、ＮＥのように監視システムの装置制御要求に基づいてテーブルの更新を行う外部装置を装置と略して呼ぶ。また、ネットワークオペレーションシステムが他のネットワークオペレーションシステムを介して他のＮＥに装置制御要求を行う場合の他のネットワークオペレーションシステムを他システムと呼ぶ。

従来の復旧方法として、監視システムが装置制御要求を行った装置に対して、装置状態を初期状態に初期化し、その後、監視システムのテーブルの内容を元に装置制御要求を行うことにより複数の外部装置のテーブルを復旧する方法があった。

先行技術文献として、下記の特許文献１がある。

特許文献１は、監視システムがデータベースの更新内容を示す更新情報を更新履歴ファイルに格納し、更新情報の更新履歴ファイルへの記録の有無を管理する履歴管理マップを更新履歴ファイルとデータベースに対して設け、障害復旧時にはこの両者を対比して相違する更新情報を抽出して更新することにより、データベース更新操作中にシステムダウンの障害が発生してメモリ展開中に消失した更新情報を迅速に復旧することを開示している。
特開平９−２０４３３５号公報

しかしながら、従来の復旧方法では以下の問題点があった。

従来の復旧方法は、装置状態を初期化してから直前又は実行後の状態とするまでの処理に時間を要し、復旧までの時間がかかるという問題点があった。また、処理に関係する複数の装置が故障等の原因で初期化状態に戻せない場合に、復旧処理が終了できないため、システムが復旧処理以外の処理を行えず、システムが停止してしまうといった問題があった。

従来は、障害発生直前のテーブルの内容は管理できていたが、処理の過程、すなわち、各装置に複数の装置制御要求が行われる場合に、どの装置制御要求について処理済みであるか管理できていないために、処理済みの状態を元に復旧処理、例えば、外部装置を処理前の状態／処理済みの状態から以降の処理に復旧することができなかった。

例えば、パス設定の装置制御要求が端点生成、クロスコネト生成の二つの装置制御要求を行う必要がある場合に、端点生成で異常終了した場合とクロスコネクト生成で異常終了した場合では、復旧処理の手順が異なるために、どの装置制御要求で異常終了したかを管理できていないことから、処理前の状態／処理済みの状態から復旧することができない。尚、以降の説明において、処理実行前の状態に戻すことに限らず、処理実行後の状態に進めることも復旧処理と呼ぶ。

また、特許文献１は監視システムのデータベースの復旧ができるが、装置のデータベースの復旧ができないという問題点があった。

本発明の目的は、上記を鑑みてなされたものであり、外部装置に対して初期化処理行わずに、処理済みの状態を元に復旧処理を行うことにより、迅速に復旧ができること、装置故障が発生して復旧処理が実施できない場合でも、システムが停止することのない監視システムを提供することである。

本発明の一側面によれば、装置制御要求に基づいて装置情報を格納する第１の情報テーブルを更新する複数の外部装置に対して前記装置制御要求を行うとともに該装置制御要求に係わる処理実行情報を格納する第２の情報テーブルを更新する装置制御処理部と、前記装置制御要求を前記外部装置に対して行うとき、該装置制御要求に係わる要求内容及び該装置制御要求対象の外部装置を特定する管理情報を第３の情報テーブルに格納する管理情報処理部と、該装置制御要求に係わる前記第２のテーブルに格納された該装置制御要求を行う前の処理実行前情報を第４の情報テーブルに格納する処理実行前情報格納部と、前記装置制御要求に対する処理が異常終了した場合に、前記第３の情報テーブルに格納された当該装置制御要求に係わる管理情報により特定される要求内容に基づいて、該処理実行前又は処理実行後の装置状態にするための装置制御要求を該外部装置に対して実施するよう制御する復旧制御部とを具備したことを特徴とする監視システムが提供される。

請求項１記載の発明によれば、第３の情報テーブルに第２の情報テーブルに格納されていた処理実行前情報、処理内容及び制御対象の外部装置を特定する情報を格納するので、外部装置を初期設定して復旧することなく、装置制御要求前の状態から復旧することができ、迅速な復旧が可能となる。

本発明の実施形態の説明をする前に本発明の原理について説明する。図１は本発明の原理図である。図１に示すように、監視システム１０は、第２，第３，第４の情報テーブル１２，１６，２０、装置制御処理部１４、管理情報処理部１６、処理実行前情報格納部２２及び復旧制御部２４を具備する。複数の外部装置４＃ｉ（ｉ＝１〜ｎ）は第１の情報テーブル２＃ｉ（ｉ＝１〜ｎ）を具備する。

装置制御処理部１４は、複数の外部装置４＃ｉ（ｉ＝１，…，）に対して装置制御要求を行うとともに該装置制御要求に係わる処理実行情報を格納する第２の情報テーブル１２を更新する。外部装置４＃ｉ（ｉ＝１，…，）は装置制御要求に基づいて装置情報を格納する第１の情報テーブル２＃ｉを更新する。

管理情報処理部１８は装置制御要求を外部装置４＃ｉ（ｉ＝１，…，）に対して行うとき、該装置制御要求に係わる要求内容及び該装置制御要求対象の外部装置４＃ｉ（ｉ＝１，…）を特定する管理情報を第３の情報テーブル１６に格納する。処理実行前情報格納部２２は、装置制御要求に係わる第２のテーブル１２に格納された該装置制御要求を行う前の処理実行前情報を第４の情報テーブル２０に格納する。

復旧制御部２４は、装置制御要求に対する処理が異常終了した場合に、第３の情報テーブル１６に格納された当該装置制御要求に係わる管理情報により特定される要求内容に基づいて、処理実行前又は処理実行後の装置状態にするための装置制御要求を外部装置４＃ｉ（ｉ＝１，…，）に対して実施するよう制御する。これにより、外部装置４＃ｉ（ｉ＝１，…，）を初期設定して復旧するのではなく、装置制御要求前の状態から復旧することができて迅速な復旧が可能となる。

図２は本発明の実施形態による監視システムを含む全体構成図である。監視システムは、複数の装置や他の監視システムを介して同期をとって動作する複数処理を行うシステムに適用される。ここでは、本実施形態では複数のＮＥと複数の伝送路により構成されるネットワークシステムを監視するネットワークオペレーションシステムの場合を例に説明する。図２に示すように、複数の監視システム５０，１００、監視システム５０により監視される複数の外部装置５２＃Ａ〜５２＃Ｄ及び伝送路により構成される伝送ネットワーク５４、中継システム又は中継ネットワーク６０及び他監視システム１００により監視される複数の１０２＃Ａ〜１０２＃Ｄ及び伝送路により構成される伝送ネットワーク１０４からネットワークシステムが構成されている。

監視システム（システムと略す）５０は、本発明によるシステムである。他監視システム（他システムと略す）１００は、本発明によるシステム又は従来のシステムであり、システム５０が、装置１０２＃Ａ〜１０２＃Ｄに対して、他システム１００を介して装置制御要求を行う。装置５２＃Ａ〜５２＃Ｄ及び１０２＃Ａ〜１０２＃ＤはＮＥである。中継システム又は中継ネットワーク６０は伝送ネットワーク５４，１０４間を接続するネットワークである。

図３は図２中のシステム５０の構成図である。システム５０は、入出力部１５０、オペレーション処理部１５２、複数の処理部１５４＃Ａ，１５４＃Ｂ、復旧制御入出力部１５６、復旧制御部１５８、実行情報テーブル１６０、管理ＩＤテーブル１６２、処理管理情報テーブル１６４、業務名管理情報テーブル１６５、処理実行前情報テーブル１６６、復旧シナリオファイル１６８及び環境情報テーブル１７０を具備する。入出力部１５０，復旧制御入出力部１５６はパソコン等のコンピュータ上で動作するプログラムや周辺装置により実現される。オペレーション処理部１５２、処理部１５４＃Ａ，１５４＃Ｂ及び復旧制御部１５８は、コンピュータ上で動作するプログラムにより実現される。このプログラムがコンピュータ上で動作するときに、プロセスと呼ぶ。テーブル１６０，１６２，１６４，１６６は、メインメモリや磁気ディスク等の周辺装置に格納される。復旧シナリオファイル１６８は磁気ディスク等の周辺装置に格納される。

入出力部１５０は、オペレーション処理部１５２に対して、帯域制限実行、帯域制限解除、パス設定、パス解放、統計情報出力の制御要求を行い、オペレーション処理部１５２からの制御要求結果を表示する。オペレーション処理部１５２は、入出力部１５０より制御要求を受けると、以下の処理を行うプロセスである。

（ｉ） 制御要求に係わる処理を実行する際に、自プロセスが処理実行情報テーブル１６０を更新する場合、管理ＩＤテーブル１６２を参照して、当該処理を特定するための一意的な管理ＩＤを生成する。管理ＩＤ、プロセス番号、業務名ＩＤより、処理管理情報テーブル１６４を検索し、一意的な処理管理番号を生成する。管理ＩＤ、プロセス番号、業務名ＩＤ、処理管理番号、実行結果＝実行中、復旧実施可否＝初期状態、処理管理情報テーブル１６４に書き込む。プロセス番号は当該プロセスを特定するための番号であり、例えば、制御要求を実行するプロセスの実行順にシリアルに付与された番号である。業務名ＩＤは、当該制御要求の内容を特定するための番号であり、業務名としては、例えば、帯域制御実行、帯域制御解除、装置状態監視、エマージェンシー、パス設定、パス解放等があり、これらの業務名に対応して業務名ＩＤが予め付与されており、業務名と業務名ＩＤの関係が業務名テーブル１６５に格納されている。

（ｉｉ） 処理実行情報テーブル１６０の更新を行う前に処理実行情報テーブル１６０より更新に係わる処理実行前情報を取得する。管理番号ＩＤ、処理管理番号、装置制御状態及び処理実行前情報を処理実行前情報テーブル１６２に書き込むとともに、必要に応じて装置制御に係わる処理実行情報テーブル１６０を更新する。

（ｉｉｉ） 入出力部１５０より指示された制御要求について、当該要求に係わる処理を行う他プロセス、例えば、処理部１５４＃Ａ等のプロセスを起動する。尚、他プロセス１５４＃Ａを起動せずに、自プロセス１５２が他プロセスが行う装置制御を行っても良い。

（ｉｖ） 呼び出したプロセス１５４＃Ａの実行結果が正常終了であるとき、更に他のプロセスを呼び出す必要がある場合には、他のプロセス、例えば、処理部１５４＃Ｂを起動する。

（ｖ） プロセス１５４＃Ｂの実行結果が正常終了であり、入出力部１５０から指示された制御要求に係わる処理が正常終了したとき、自プロセス１５２，他のプロセス１５４＃Ａ，１５４＃Ｂが生成した処理実行前情報、処理管理情報、管理ＩＤをそれぞれ処理実行前情報テーブル１６６、処理管理情報テーブル１６４、管理ＩＤテーブル１６２から削除する。

処理部１５４＃Ａ，１５４＃Ｂは、（ｉ）オペレーション処理部１５２より起動されると、オペレーション処理部１５２と同様にして、処理管理情報を生成して処理管理番号テーブル１６４に書き込み、処理実行前情報を処理実行前情報テーブル１６４に書き込む。ｉｉ）装置５２＃Ａ，５２＃Ｂ、他システム１００等に対して、帯域制限実行、帯域制限解除、パス設定等、装置制御要求を行う。（ｉｉｉ）装置５２＃Ａ，５２＃Ｂ、他システム１００より正常終了が通知されると装置制御要求に係わる処理実行情報テーブル１６４を更新するとともに処理実行前情報の実行結果を実行済みに設定する。尚、処理実行情報テーブル１６０の更新は装置制御要求を行うとともにしても良い。（ｉｖ）親プロセスのオペレーション処理部１５２に処理結果（正常終了／異常終了）を通知する。

処理実行情報テーブル１６０は装置５２＃Ａ〜５２＃Ｄ，１０２＃Ａ〜１０２＃Ｄへの装置制御要求等による処理実行後の帯域制限実行情報やパス設定情報等、処理実行情報を格納するテーブルである。管理ＩＤテーブル１６２は実行中の管理ＩＤを格納するテーブルである。

図４は処理管理情報テーブル１６４を示す図である。図４に示すように、処理管理情報テーブル１６４は、管理ＩＤ、処理管理番号、プロセス番号、業務名ＩＤ、実行結果及び復旧実施可否のカラムから構成される。管理ＩＤ、処理管理番号、プロセス番号、業務名ＩＤは上述の通りである。実行結果は、異常終了（−１），初期状態（０），実行中（１），実行済み（２）が処理状態に応じて更新される。復旧実施可否は処理が異常終了した場合に、当該異常終了処理及び当該処理に同期する他の一連の処理について、復旧実施が可能であるか否を示す情報であり、初期状態（０）、復旧実施可（１）が設定される。業務名管理情報テーブル１６５は、業務名ＩＤと業務名の関係を示す情報を格納するテーブルである。

図５は処理実行前情報テーブル１６６を示す図である。図５に示すように、処理実行前情報テーブル１６６は、管理ＩＤ、処理管理番号、自システム状態、装置制御状態情報及び他システム制御状態より構成される。管理ＩＤ及び処理管理番号は上述の通りである。自システム状態は処理に係わるテーブルの更新対象を示すものであり、処理が自システムの処理実行情報のみを更新する場合（０）、自システムに係わる装置制御をする場合（１）、他システムに係わる装置制御のみをする場合（２）及び自システムに係わる装置制御と他システムに係わる装置制御とを行う場合（３）のいずれに該当するかを示す状態番号情報が格納される。

装置制御状態は、自システム５０が監視する装置５２＃Ａ〜５２＃Ｄ毎に設けられ、装置制御に係わる情報を示すものであり、制御状態、装置番号、要求種別、及びルート番号、パケット数、図示しないパス設定などの処理実行情報、並びに制御シーケンス番号が格納される。制御状態は、未実行（０）、実行中（１）、実行済（２）などの処理実行状態を示す。装置番号はシステム５０内のユニークな装置番号を示す。要求種別は、初期化、帯域制御実行、帯域制御解除等の装置制御要求の内容を示す。制御シーケンス番号は、初期化、閉塞設定、閉塞解除、帯域制限実行、帯域制御解除、パス設定についての端点生成、クロスコネクト生成などの要求種別単位の制御シーケンス番号を示す。

他システム制御状態は、他システム１００が監視する装置１０２＃Ａ〜１０２＃Ｄ毎に設けられ、装置制御に係わる情報を示すものであり、制御状態、システム番号、装置番号、要求種別、及びルート番号、パケット数、図示しないパス設定などの処理実行情報が格納される。制御状態は、上述と同様である。装置番号は他システム１００内のユニークな装置番号を示す。要求種別は上述と同様である。ここでは、他システム１００を介する制御要求を要求種別単位とし、制御シーケンス単位としていないことから、制御シーケンス番号は格納されない。尚、他システム１００が複数存在する場合には、他システムを特定するための他システム番号が設定される。図１５は後述する状態１４の場合を例に記載したものである。

図６は復旧シナリオの一例を示す図である。復旧シナリオは、処理が異常した場合に、後述の個別復旧シナリオの制御手順を制御するための復旧手順を示す全体復旧シナリオと、業務名ＩＤ、処理管理番号及び制御シーケンス番号で示される処理についての復旧手順を示す個別復旧シナリオからなる。復旧シナリオには、処理実行前状態に復旧させる処理実行前シナリオ、処理実行後状態に更新する処理実行シナリオがある。

図６に示すように、例えば、帯域制御実行（業務名ＩＤ＝１０００５）について、処理実行情報テーブル１６０を更新する処理である処理管理番号＝１の時、装置制御前実行シナリオ、即ち、処理実行前情報テーブル１６６を元に処理実行情報テーブル１６０を処理実行前状態に復旧させる装置制御前実行シナリオ、自システム５０の装置の帯域制御実行に係わる処理である処理管理番号＝２のとき、帯域制御要求を行って処理実行後状態にする装置制御実行シナリオ、又は帯域解除要求を行うことにより装置及びテーブル１６０を処理実行前状態にする装置制御実行前シナリオ、他システム１００の装置の帯域制御実行に係わる処理管理番号＝３のとき、他システム１００及びテーブル１６０を制御実行前状態にする他システム制御前実行シナリオ、他システムの装置及びテーブル１６０を制御実行状態にする装置制御実行シナリオ、又は他システムの装置及びテーブル１６０を制御実行前状態にする装置制御実行前状態シナリオが復旧シナリオファイル１６８に格納されている。復旧シナリオは、復旧プログラムを変更することなく、復旧シナリオファイル１６８を差し替えることにより復旧手順の変更が可能となる。尚、図示しないが、複数のサブシーケンスからなる装置制御については、サブシーケンスに対応する制御シーケンス番号毎に復旧手順が定義されている。

環境情報テーブル１７０は復旧条件を格納するテーブルである。復旧条件は、復旧方式、リトライ上限、待ち時間等の復旧に係わる条件である。復旧方式は、自動／手動復旧のいずれかであるかを指定するものである。管理処理番号及び業務名ＩＤ単位に自動／手動のいずれであるか、又はシステム全体で自動／手動のいずれかであるかなど、必要に応じて自動／手動で復旧する範囲が指定される。リトライ上限とは、復旧が失敗した場合にリトライする回数の上限を指定するものであり、管理処理番号及び業務名ＩＤ単位、あるいはシステム単位のように、リトライ回数の上限が指定される。待ち時間とは、次にリトライするまでの待ち時間を指定するものであり、管理処理番号及び管理ＩＤ単位、あるいはシステム単位のように、待ち時間が指定される。

復旧制御入出力部１５６は、復旧制御のマンマシンインタフェースを司るものである。復旧制御部１５８は、環境情報テーブル１７０に格納されている復旧条件に基づき、手動復旧の場合は復旧制御入出力部１５６からの復旧指示に従って、自動復旧の場合は自動により、（ｉ）処理管理情報テーブル１６４に格納されている業務名ＩＤ及び処理管理番号並びに処理実行前情報テーブル１６６に格納されている要求種別、制御シーケンス番号及び装置番号より復旧対象を特定し、（ｉｉ）復旧対象に該当する復旧シナリオ１６８に定義された復旧手順に従って、処理部１５２，１５４＃Ａ，１５４＃Ｂを起動して、処理実行前情報テーブル１６６の内容を元に処理実行情報テーブル１６０の復旧（自システムの復旧）並びに装置制御前の状態に復旧／装置制御実行、他システム制御前に復旧、他システムの装置制御実行を行う。

以下、図２のシステム５０の動作説明をする。

（ａ） 正常処理
図７〜図１０はシステム５０の正常処理の場合の動作説明図であり、図７は入出力部１５９、オペレーション処理部１５２（プロセスＡ）、装置５２＃Ａ，他システム１００の装置１００＃Ａの呼び出し関係を示す処理シーケンスチャートである。図８は図７の状態番号に対応する管理ＩＤテーブル１６２及び処理管理番号テーブル１６４の内容を示す図である。図９は図７の状態番号に対応する処理実行前情報テーブル１６６の内容を示す図である。図１０は図７の状態番号に対応する装置５２＃Ａ及び他システム１００の装置１０２＃Ａの処理実行情報を示す図である。

入出力部１５０は、オペレーション処理部（プロセスＡ）１５２に、制御要求、例えば、帯域制御実行を要求する（状態０）。プロセスＡは制御要求を受け取る（状態１）。プロセスＡは、図７及び図８に示すように、制御要求に係わる業務名に該当する業務名ＩＤ、例えば、「１００５」より、管理ＩＤテーブル１６２を検索して、一意的な管理ＩＤ（１００）を生成するとともに、管理ＩＤ及び業務名ＩＤを管理ＩＤテーブル１６２に書き込む（状態２）。

プロセスＡは、管理ＩＤ（１００）、業務名ＩＤ（１０００５）、プロセスＩＤ（１００１）を基づいて、処理管理情報テーブル１６４を検索して、一意的な処理管理番号（１）、例えば、「１」を生成するとともに、図８に示すように、処理管理情報テーブル１６４に、管理ＩＤ（１００）、処理管理番号（１）、プロセス番号（１００１）、業務名ＩＤ（１０００５）及び実行結果（実行中（１））を処理管理情報テーブル１６４に書き込む（状態３）。

プロセスＡは、図９に示すように、管理ＩＤ、処理管理番号、自プロセスＡ１５２の更新に係わる処理実行前情報を処理実行情報テーブル１６０より取得し、管理ＩＤ（１００）、処理管理番号（１）、自システム状態（１）とともに処理実行前情報テーブル１６６に書き込む（状態４）。プロセスＡ１５２は、処理実行情報テーブル１６０を更新する。

プロセスＡは、処理Ａ（プロセスＢ）５２＃Ａを起動し、管理ＩＤ（１００）及び業務名ＩＤ（１０００５）をプロセスＢに渡す（状態５）。プロセスＢは、管理ＩＤ（１００）、業務名ＩＤ（１０００５）、プロセスＩＤ（１００１）を基づいて、処理管理情報テーブル１６４を検索して、一意的な処理管理番号（２）を生成する。

プロセスＢは、図８に示すように、処理管理情報テーブル１６４に、管理ＩＤ（１００）、処理管理番号（２）、プロセス番号（１００２）、業務名ＩＤ（１０００５）及び実行結果（実行中（１））を処理管理情報テーブル１６４に書き込む（状態６）。プロセスＢは、管理ＩＤ、処理管理番号、自プロセスＢの更新に係わる装置５２＃Ａの処理実行前情報（ルート番号＝ＮＵＬＬ，パケット数＝ＮＵＬＬ）を処理実行情報テーブル１６０より取得し、図９に示すように、管理ＩＤ（１００）、処理管理番号（２）、自システム状態（装置制御状態＝２）、制御状態（実行中＝１）、装置５２＃Ａの装置番号＝１、要求種別（帯域制御実行＝３）、制御シーケンス番号（帯域制御実行＝３）とともに処理実行前情報テーブル１６６に書き込む（状態７）。その後、装置５０＃Ａに係わる処理実行情報（ルート番号＝１８，パケット数＝２０００）に処理実行情報テーブル１６０を更新する。尚、帯域制御実行のシーケンスが複数に分かれている場合には、制御シーケンス番号はその該当シーケンス番号となる。

プロセスＢは、装置５２＃Ａに対して、帯域制御実行の装置制御要求を行う。装置５２＃Ａは、図９に示すように、プロセスＢからの帯域制御実行の要求に基づいて、帯域制御実行して、該当する処理実行情報のテーブルを更新する。例えば、ルート番号５，規制パケット数＝２０００、規制状態＝規制パケット有り（１）に更新する。装置５２＃Ａは、処理が正常終了すると、装置制御結果（正常終了）をプロセスＢに応答する（状態８）。プロセスＢは、装置５２＃Ａより正常終了が応答されると、管理ＩＤ（１００），処理管理番号（２）に該当する処理管理番号情報の実行結果を終了（２）にする（状態９）。状態５−９のプロセスＢにおける処理２が正常に終了する。プロセスＢはプロセスＡに正常終了した旨を返す（状態１０）。

プロセスＡは、処理Ａ（プロセスＢ）５２＃Ａを起動し、管理ＩＤ（１００）及び業務名ＩＤ（１０００５）をプロセスＢに渡す（状態１１）。状態１１−１３は、状態５−７と同様である。

プロセスＢは、他システム１００に対して、他システム制御要求（帯域制御実行）を行う。他システム１００は、図１０に示すように、プロセスＢからの帯域制御実行の要求に基づいて、装置１０２＃Ａに対して、帯域制御要求を行う。装置１０２＃Ａは、帯域制御実行の要求に従って、帯域制御実行して、該当する処理実行情報のテーブルを更新する。行の要求に基づいて、帯域制御実行して、該当する処理実行情報のテーブルを更新する。例えば、ルート番号１８，規制パケット数＝２０００、規制状態＝規制パケット有り（１）に更新する。

装置１０２＃Ａは、処理が正常終了すると、装置制御結果（正常終了）を他システム１００に返す。他システム１００は、装置１０２＃Ａより正常終了が応答されると、プロセスＢに他システム制御要求結果（正常終了）をプロセスＢに返す（状態１４）。プロセスＢは、他システム１００より正常終了が応答されると、管理ＩＤ（１００），処理管理番号（３）に該当する処理管理番号情報の実行結果を終了（２）にする（状態１５）。プロセスＢにおける状態１１−１５の処理３が正常に終了する。プロセスＢはプロセスＡに正常終了した旨を返す（状態１６）。

プロセスＡは、プロセスＢより処理２，３について正常終了の実行結果が返ってきたので、管理ＩＤ（１００）、処理管理番号（１），（２），（３）の処理実行前情報を処理実行前情報テーブル１６６から削除する（状態１７）。プロセスＡは、管理ＩＤ（１００），処理管理番号（１），（２），（３）の処理管理情報を処理管理情報テーブル１６４から削除する（状態１８）。更に、プロセスＡは、管理ＩＤ（１００）、業務名ＩＤ（１０００５）の管理ＩＤを管理ＩＤテーブル１６２より削除する。

（ｂ） 異常処理
図１１〜図1４はシステム５０の異常処理の場合の動作説明図であり、図１１は入出力部１５９、オペレーション処理部１５２（プロセスＡ）、装置５２＃Ａ，他システム１００の装置１００＃Ａの呼び出し関係を示す処理シーケンスチャートである。図１２は図１１の状態番号に対応する管理ＩＤテーブル１６２及び処理管理番号テーブル１６４の内容を示す図である。図１３は図１１の状態番号に対応する処理実行前情報テーブル１６６の内容を示す図である。図１４は図１１の状態番号に対応する装置５２＃Ａ及び他システム１００の装置１０２＃Ａの処理実行情報を示す図である。

ここでは、プロセスＢによる装置５２＃Ａへの装置制御要求に対して装置５２＃Ａにおいて正常終了したが、プロセスＢによる他システム１００への他システム制御要求に対して他システム１００又は装置１０２＃Ａにおいて異常終了した場合を例に説明する。

入出力部１５０は、オペレーション処理部（プロセスＡ）１５２に、制御指示、例えば、帯域制御要求する（状態０）。図１１〜図１４に示すように、状態１−１３は、図７〜図１０中の状態１−１３と同様である。プロセスＢは、他システム１００に対して、他システム制御要求（帯域制御実行）を行う。他システム１００は、図１１に示すように、プロセスＢからの帯域制御実行の要求に基づいて、装置１０２＃Ａに対して、帯域制御要求を行うが異常終了したものとする。

異常終了の原因は、他システム１００と復旧システム５０を接続する通信回線の異常、他システム１００のシステム異常、装置１０２＃Ａにおける装置異常、他システム１００と装置１０２＃Ａを接続する通信回線の異常等である。プロセスＢは、他システム１００から異常の通知がされない又は一定時間内に応答がされないことにより、他システム制御が異常終了したことが分かる（状態１４）。

他システム制御が正常終了した図１０では、他システムの処理実行情報が更新されているが、異常終了した図１４では、他システムの処理実行情報が更新されていない。装置１０２＃Ａについての処理実行情報は処理実行情報テーブル１６０において、ルート番号＝１８，パケット数＝２０００に更新されているが、処理実行前情報テーブル１６６において、処理実行前情報（ルート番号＝ＮＵＬＬ，パケット数＝ＮＵＬＬ）がセーブされている。

プロセスＢは、管理ＩＤ（００１）、プロセスＩＤ（１００３）、業務名ＩＤ（１０００５）の処理管理情報の実行結果を実行済み（２）、復旧実施可否欄に復旧実施可（−１）に設定する（状態１５）。プロセスＢはプロセスＡに処理３が異常終了した旨を返す（状態１６）。プロセスＡは、管理ＩＤ（００１）、業務名ＩＤ（１０００５）の処理管理情報の中で実行結果が実行中（１）となっている、プロセスＩＤ（１００１）の処理管理情報の復旧実施可否欄に復旧実施可（−１）に設定する（状態１７）。

（ｃ） 復旧シナリオの変更
図１５は復旧シナリオの変更手順を示す図である。復旧シナリオは、装置制御のシーケンスが変更になった場合に、シナリオを差し替えられる。復旧制御入出力部１５６は、入れ替え復旧シナリオを生成する。復旧シナリオは、例えば、入れ替えるべき業務内容（業務名ＩＤ）毎に作成する。復旧制御入出力部（制御クライアント）１５６は、復旧制御部１５８の入れ替えプロセスに対して、復旧シナリオの入れ替え要求をする。

入れ替えプロセスは要求受付終了を制御クライアントに通知する。制御クライアントは復旧シナリオを入れ替えプロセスにファイル転送する。入れ替えプロセスは入れ替えるべき復旧シナリオに関する業務名ＩＤに対応する差し替えにより影響を受ける業務を閉塞するように、オペレーション処理部１５２に指示する。オペレーション処理部１５２の業務閉塞プロセスは業務名ＩＤに対応した業務の閉塞、すなわち、入出力部１５０から当該業務名ＩＤについての制御要求があった場合でも要求を拒否し、入れ替えプロセスに正常終了を通知する。入れ替えプロセスは、復旧シナリオファイル１６８の該当復旧シナリオを差し替え復旧シナリオファイルに差し替える。

入れ替えプロセスは、業務閉塞プロセスに対して、業務名ＩＤに対応した業務閉塞解除を指示する。業務閉塞プロセスは、業務名ＩＤに対応した業務閉塞解除して、入れ替えプロセスに正常終了を通知する。入れ替えプロセスは制御クライアントに正常終了を応答する。このように、復旧シナリオファイル１６８に基づいて復旧することから、装置５２＃Ａ〜５２＃Ｄの機能追加等によるシーケンスが変更した場合、復旧シナリオを差し替えるのみで復旧制御部１５８のプログラムを変更する必要がないので、容易に機能追加等に対応することができる。

（ｄ） 復旧処理（第１実施形態）
第１実施形態では、複数の処理について、その処理の呼び出し順と処理の終了順が同じである場合、すなわち、呼び出された処理が終了してから、次処理を呼び出す場合における、異常終了時の復旧方法を説明する。

図１６は、オペレーション処理部１５２（プロセスＡ）が装置５２＃Ａに対して装置制御処理（処理Ａ）を行い、処理が正常終了し、プロセスＡは処理部Ａ１５４＃Ａを起動し、処理Ｂが装置５２＃Ｂに対して装置制御（処理Ｂ−１）を行い、処理が正常終了し、更に装置５２＃Ｃに対して装置制御（処理Ｂ−２）を行い、処理が異常終了した場合を示している。

図１７は図１６の処理シーケンスにおける処理管理情報テーブル１６４の内容を示している。尚、処理管理情報テーブル１６４は、処理開始時刻を設定するフィールドが上述のテーブルに追加されて、実行履歴が残されている。プロセスＡが装置５２＃Ａに対して装置制御処理（処理Ａ）を行い、正常終了したとき（状態１）の処理管理情報が、図１７（ａ）に示すように、実行結果が実行中（１）、復旧実施可否が初期状態（０）となっている。

プロセスＢが装置５２＃Ｂに対して装置制御処理（処理Ｂ−１）を行い、正常終了したとき（状態２）の処理管理情報が、図１７（ｂ）に示すように、実行結果が実行済（２）、復旧実施可否が初期状態となっている。更に、プロセスＢが装置５２＃Ｃに装置制御処理（Ｂ−２）を行い、異常終了したとき（状態３）の処理Ｂ−２に係わる処理管理情報が、図１７（ｃ）に示すように、実行結果が異常終了（−１）、復旧実施可否が復旧実施可（１）となっている。プロセスＡは、処理Ｂ−２より異常復帰すると（状態４）、図１７（ｄ）に示すように、処理Ａ，Ｂ−１の処理管理情報の復旧実施可否を実施可（１）に設定する。

図１８は本発明の第１実施形態による復旧制御部１５８が実施する復旧処理のフローチャートである。ステップＳ２において、（２）に示すように、周期的に処理管理情報テーブル１６４の処理管理情報を監視しており、同一の管理ＩＤについて、最後に生成された処理管理情報レコードの実行結果が異常終了（ＮＧ）「−１」となっているかをチェックする。同一の管理ＩＤの処理管理情報については、入出力部１５０より制御要求がされた一纏まりの処理についての情報であり、これらの処理を復旧対象とするからである。処理がパラレルではなくシーケンシャルに行われることから、管理ＩＤについての最終レコードにより処理全体が正常終了／異常終了のいずれかが判別される。

ステップＳ４において、ＮＧがあるか否かが判断される。ＮＧがあれば、ステップＳ６に進み、ＮＧがなければ、ステップＳ２に戻る。ステップＳ６において、（４）に示すように、その最終レコードの「業務名ＩＤ」、「プロセス番号」、「処理開始時刻」、「復旧実施可否」を取得する。ステップＳ８において、業務名管理情報テーブル１６５を参照して、ステップＳ６で取得した「業務名ＩＤ」に対応する「業務名」を取得する。図１８に示すように、業務名管理情報テーブル１６５には、業務名ＩＤと対応する業務名が記憶されている。例えば、「業務名ＩＤ」が（１０００５）の業務名は帯域制御実行である。

図１９は復旧対象一覧を示す図である。ステップＳ１０において、（８）に示すように、復旧制御入出力部１５６に取得情報を表示し、（１０）に示すように、処理対象項目名を選択させる。図は復旧対象表示画面の一例を示す図である。図１９に示すように、復旧対象表示選択画面は、ステップＳ４で取得された全ての管理ＩＤの最終処理管理情報レコードの業務名、プロセスＩＤ、処理開始時刻及び復旧可否が選択項目とともに復旧制御入出力部１５６に表示される。即ち、復旧対象となるものについては、現時点で復旧可能なもののみならず、復旧不可のものについても表示される。オペレータが復旧対象の業務名を選択する。例えば、オペレータは帯域制御実行の復旧を選択する。ステップＳ１２において、選択された業務名について、復旧シナリオの実施要求を「処理管理番号」の降順に復旧実施プロセスに対して行う。

図２０は復旧シナリオ実施の流れを示す図である。図２１は、図１６に示した処理Ｂ−２が異常終了、処理Ａ，Ｂ−１が正常終了したときの図１７中の３個の処理管理情報に基づく復旧シナリオ実施の場合を例としたものである。復旧シナリオは処理管理番号の降順に実施されることから、処理管理番号＝３に該当する処理Ｂ−２について、最初に復旧実施が行われる。

復旧制御部１５８は、（２）に示すように、復旧対象となる処理管理情報のプロセスＩＤに該当する処理Ｂに処理Ｂ−２復旧シナリオ実施要求をする。プロセスＢは、処理Ｂ−２についての処理管理情報の業務名ＩＤ（１０００５）、処理管理番号（３）より、復旧シナリオ１６８に定義された復旧シナリオを読み出す。例えば、復旧シナリオは、装置制御前の装置状態に復旧する制御手順を定義した装置制御前実行シナリオであるとする。

プロセスＢは、（４）に示すように、処理Ｂ−２についての処理管理情報の管理ＩＤ、処理管理番号を元に処理実行前情報テーブル１６６を検索して該当する処理実行前情報を取得し、処理実行前情報から処理実行情報テーブル１６０を更新するとともに装置５２＃Ｃの状態を回復させる。例えば、復旧対象の業務名が「帯域制御実行」であり、処理実行前状態に復旧させる場合には、装置５２＃Ｃに対して「帯域制御解放」の装置制御要求を実行する。装置制御要求が複数制御シーケンスからなる場合は、復旧シナリオには、異常終了した各制御シーケンスからの復旧手順が定義されていることから、処理実行前情報テーブル１６６に格納されている制御シーケンスに該当する手順に従って装置５２＃Ｃの状態を回復させる。

復旧制御部１５６は、（６）に示すように、次の処理管理情報の実行結果が異常終了であるプロセスＡに復旧シナリオ実施要求をする。プロセスＡは、処理管理情報の処理管理番号の降順に従って、最降番の処理管理番号（３）の処理管理情報のプロセスＩＤに該当する処理Ｂの処理Ｂ−２について復旧実施済みであるので、（８）に示すように、回復処理の二重起動を行わずに復帰して、（１０）に示すように、次の処理管理番号（２）の処理管理情報のプロセスＩＤに該当する処理Ｂの処理Ｂ−１について復旧シナリオ実施要求をする。

処理Ｂは、（１２）に示すように、処理Ｂ−１の処理管理番号（２）についての処理管理情報及び処理実行前情報に元に、復旧シナリオに従って装置５２＃Ｂの装置状態を処理実行前に回復させる。処理Ｂ−１は正常終了していることから、処理Ｂ−１での装置制御要求とは逆のシーケンスに従って装置５２＃Ｂを復旧させるとともに処理実行前情報から処理実行情報テーブル１６０を更新する。これにより、装置５２＃Ｂの装置状態は処理実行前状態に復旧されるとともに、装置５２＃Ｂについての処理実行情報は処理実行情報テーブル１６０において処理実行前の状態に復旧される。処理Ａは、（１４）に示すように、処理Ａについての処理管理番号（１）についての処理管理情報及び処理実行前情報に元に復旧シナリオに従って装置５２＃Ａの装置状態を処理実行前に回復させるとともに処理実行前情報から処理実行情報テーブル１６０を更新する。

復旧処理が終了すると、図１７（ｅ）に示すように、復旧に係わる管理ＩＤ、処理管理情報及び処理実行前情報をテーブル１６２，１６４，１６６より削除する。尚、処理実行後状態に復旧させる場合には、復旧シナリオ１６８に従って、処理実行前情報を元に処理実行情報テーブル１６０を更新するとともに、装置制御が異常終了した装置１０２＃Ａに対して失敗した装置制御要求を再度実行し、装置制御が正常終了した装置５２＃Ａに対して復旧処理をスキップする。

以上のように、初期設定を行うことなく、処理実行前情報を元に装置情報を処理実行前又は処理実行後に迅速に復旧することができる。復旧シナリオに基づいて復旧するので、復旧の手順が変更になっても、復旧シナリオを差し替えることにより容易に変更が可能となる。

（ｅ） 復旧処理（第２実施形態）
第２実施形態の復旧処理方法は、第２実施形態の方法と異なり、呼び出された処理が実行中に他の処理が呼び出されて、呼び出された処理の順序と処理の終了順序とが異なる場合におけるものである。

図２２は、オペレーション処理部１５２（プロセスＡ）が装置５２＃Ａに対して装置制御を行い、処理Ａが正常終了し、プロセスＢは、処理Ｂ−１，Ｂ−２を順次呼び出し、処理Ｂ−１，Ｂ−２について並行処理が行われて、処理Ｂ−２が処理Ｂ−１よりも先に異常終了し、その後、処理Ｂ−１が異常終了した場合を示している。図２３は、図２２の処理シーケンスにおける処理管理情報テーブル１６４の内容を示している。

プロセスＡが装置５２＃Ａに対して装置制御処理（処理Ａ）を行い、正常終了したとき（状態１）の処理管理情報が、図２３（ａ）に示すように、実行結果が実行中（１）、復旧実施可否が初期状態（０）となっている。処理Ｂが装置５２＃Ｂに対して装置制御処理（処理Ｂ−１）を行っているが、実行中（状態２）の処理管理情報が、図２３（ｂ）に示すように、実行結果が実行済（２）、復旧実施可否が初期状態（０）となっている。更に、処理Ｂが処理Ｂ−１の実行中に装置５２＃Ｃに装置制御処理（Ｂ−２）を行い、異常終了したとき（状態３）の処理Ｂ−２についての処理管理情報が、図２３（ｃ）に示すように、実行結果が異常終了（−１）、復旧実施可否が復旧実施可（１）となっている。

プロセスＡが処理Ｂ−２より異常終了が通知されたとき（状態４）、図２３（ｄ）に示すように、処理Ａについての実行結果が異常終了（−１）、処理Ｂ−１についての処理管理情報の実行結果が実行中（１）であるため、復旧実施可否は初期状態（０）のままである。処理Ｂ−１が、装置５２＃Ｂに対する装置制御について、装置５２＃Ｂが装置５２＃Ｘに対して初期化処理中に異常発生により、異常終了したとき（状態２ｂ）の処理Ｂ−１についての処理管理情報が、図２３（ｅ）に示すように、実行結果が異常終了（−１）、復旧実施可否が実施可能（１）となっている。プロセスＡが処理Ｂ−１より異常終了が通知されたとき（状態５）、図２３（ｆ）に示すように、処理Ｂ−１についての処理管理情報の実行結果が異常終了（−１）となったため、処理Ａについての復旧実施可否は実施可能（１）となる。

図２４は本発明の第２実施形態による復旧制御部１５８が実施する復旧処理のフローチャートである。ステップＳ２０において、（２）に示すように、周期的に処理管理情報テーブル１６４の処理管理情報を監視しており、同一の管理ＩＤについて、処理管理情報レコードの実行結果が異常終了（ＮＧ）「−１」となっているかをチェックする。同一の管理ＩＤについて最終レコードに限らず全てのレコードについてチェックするのは、処理Ｂ−１，Ｂ−２が並列処理されるために、最後に起動された処理に対応する最終レコードが正常であっても、他の処理で異常となる場合があるからである。

ステップＳ２２において、ＮＧがあるか否かを判断する。ＮＧがあれば、ステップＳ２４に進み、ＮＧがなければ、ステップＳ２０に戻る。ステップＳ２４において、同一の「管理ＩＤ」について、実行結果が異常終了（−１）の処理管理情報の復旧実施可否が全て実施可能（１）であるか確認する。ステップＳ２６において、全て実施可能（１）あるか否か判別する。全て実施可能（１）であれば、ステップＳ２８に進む。例えば、処理Ｂ−１が終了後には、復旧実施可否が全て実施可（１）となるので、ステップＳ２８に進む。実施不可となるものがあれば、ステップＳ２４に戻って、全て実施可能（１）となるまでウェイトする。

このように、処理Ｂ−１，Ｂ−２の呼び出し順序と終了順序とが異なることがある場合には、復旧対象となる業務の有無が、管理ＩＤについての最終レコードではなく、全てのレコードについて実行結果が異常であるものの有無により判断され、復旧実施可能となるタイミングが、最終レコードが復旧実施可能となるタイミングでなく実行結果が異常である全てのレコードについて、復旧実施可能が設定されるタイミングである。ステップＳ２８〜ステップＳ３４の処理は、図１８中のステップＳ６〜ステップＳ１２までの処理と同じであるので説明を省略する。以上のように、第１実施形態と同様の効果がある。

（ｆ） 復旧処理（第３実施形態）
第１及び第２実施形態では、オペレータが復旧を指示（手動）することにより行ったが、第３実施形態では、各業務名ＩＤ及びプロセス番号について、手動及び自動のいずれの方式により復旧を行うかを示す復旧方式識別、復旧が失敗してもリトライする上限（リトライ上限）、リトライするまでの待ち時間を、例えば、復旧制御入出力部１５６より入力し、復旧制御部１５８が環境情報テーブル１７０に格納する。

図２５は処理の呼び出し関係を示す図であり、図１６と同様である。図２６は処理管理情報テーブル１６０の内容を示す図である。状態１−４は、図１６中の状態１−４と同じであるが、状態１−４における処理管理情報は、処理Ａ，Ｂ−１，Ｂ−２が業務名ＩＤ及びプロセス番号を元に環境情報テーブル１７０を検索して業務名ＩＤ及びプロセス番号に対応する復旧方式識別、リトライ上限及び待ち時間を取得して、処理管理情報テーブル１６０に、管理ＩＤ、処理管理番号、プロセス番号等とともに書き込むことから、復旧方式識別、リトライ上限及び待ち時間が図１７中の処理管理情報に追加されている。

図２７は本発明の第３実施形態による復旧制御部１５８が実施する復旧処理のフローチャートである。ステップＳ５０において、（２）に示すように、周期的に処理管理情報テーブル１６４の処理管理情報を監視しており、同一の管理ＩＤについて、最終の処理管理情報レコードの実行結果が異常終了（ＮＧ）「−１」となっているかをチェックする。

ステップＳ５２において、ＮＧがあるか否かを判断する。ＮＧがあれば、ステップＳ５４に進み、ＮＧがなければ、ステップＳ５０に戻る。ステップＳ５４において、（４）に示すように、同一の「管理ＩＤ」について、復旧方式識別が自動復旧（１）であるかチェックする。ステップＳ５６において、自動復旧であれば、ステップＳ５８に進む。手動復旧であれば、図１８中のステップＳ６〜Ｓ１２と同様の処理をする。尚、復旧失敗した場合には、リトライ上限及び待ち時間に応じて、復旧をリトライする。

ステップＳ５８において、（６）に示すように、自動復旧対象の処理について、復旧シナリオの実施要求を行う。要求は処理管理番号の降順で行う。ステップＳ６０において、復旧成功したか否か判別する。復旧成功したならば、自動復旧対象について復旧が終了したならが処理を終了し、自動復旧が終了していないものがあれば、ステップＳ６１に進む。ステップＳ６２において、全ての復旧対象について復旧が終了した否かを判別する。全ての復旧対象について復旧が終了していなければ、ステップＳ５８に戻る。復旧が終了していれば、処理を終了する。

例えば、図２６及び図２７に示すように、プロセス番号１００３，１００２，１００１については復旧方式が自動方式なので、自動により復旧される。尚、プロセスＩＤ１００１のプロセスＡが最初に異常終了し、プロセスＩＤ１００２，１００３のプロセスが起動されていないような場合、即ち、プロセス番号１００１が最新レコードとして登録された状態で「実行結果」が「−１」となっている場合には、プロセスＩＤ１００１について、自動復旧が設定されていても手動のみ有効とすることも可能である。

ステップＳ６２において、リトライ上限が０になったか否かを判別する。リトライ上限が０になった場合は、処理を終了する。リトライ上限が０になっていなければ、ステップＳ７０に進む。ステップＳ６４において、（８）に示すように、処理管理情報テーブル１６４中の該当レコードのリトライ上限を１デクリメントする。ステップＳ７２において、（１０）に示すように、該当レコードの待ち時間の秒だけ待ってから、ステップＳ５８に戻る。

以上のように、第１及び第２実施形態と同様の効果がある上に、自動で復旧すること及びリトライ上限を定めて復旧に失敗した場合には、リトライ上限までリトライすることにより、オペレータによる手動で復旧の指示を行う工数を省くことができるとともに、手動復旧と自動復旧を業務名ＩＤやプロセスＩＤ毎に区別することができる。

（ｇ） 復旧処理（第４実施形態）
第４実施形態では、第１〜第３実施形態ではシステム５０及び装置５２＃Ａ〜５２＃Ｄ，１０２＃Ａ〜１０２＃Ｄの復旧を同期を取って行っていたが、装置５２＃Ａ〜５２＃Ｄ，１０２＃Ａ〜１０２＃Ｄと切り離してシステムの状態のみを復旧することを可能としている。システム５０及び装置５２＃Ａ〜５２＃Ｄ，１０２＃Ａ〜１０２＃Ｄの復旧の同期を取るとは、システム５０と装置５２＃Ａ〜５２＃Ｄ，１０２＃Ａ〜１０２＃Ｄの双方を復旧することをいい、システム５０や装置５２＃Ａ〜５２＃Ｄ，１０２＃Ａ〜１０２＃Ｄの復旧に失敗すると、復旧を中断することをいう。システム５０の復旧とは、処理実行情報テーブル１６０の復旧をいう。

図２８に示すように、復旧制御入出力部１５６は、復旧対象一覧の中から復旧する業務名を選択することに加えて、当該選択した業務名について復旧種別フラグを選択することが可能となっている。復旧種別フラグは、装置と同期を取ってシステムの状態のみを復旧するモードと、装置と切り離してシステムの状態のみを復旧するモードがある。

図２９は本発明の第４実施形態による復旧制御入出力部１５６及び復旧制御部１５８が実施する復旧処理のフローチャートである。ステップＳ１００において、復旧制御入出力部１５６は、図２７に示すように、復旧対象一覧とともに復旧種別フラグを表示すると、オペレータは、復旧対象一覧から復旧する対象を選択するとともに、復旧種別フラグを選択して復旧要求をする。

ステップＳ１０２において、システム５０内の復旧処理を行う。尚、ここでは、システム５０内の最初に復旧処理を行うこととしているが、復旧対象の処理管理番号の降順による復旧処理を行った場合の該当の処理順においてシステム５０内の復旧処理を行っても良い。ステップＳ１０４において、システム５０内の応答は正常（システム５０の復旧処理が成功）であるか否かを判別する。正常ならば、ステップＳ１０６に進む。異常ならば、ステップＳ１１４に進む。ステップＳ１０６において、処理管理番号の降順等の順序で装置や他システム（装置等）を上述した復旧シナリオに従って復旧処理を行う。ステップＳ１０８において、装置等からの応答は正常であるか否かを判別する。正常ならば、ステップＳ１１１に進む。異常ならば、ステップＳ１１０に進む。

ステップＳ１１０において、復旧種別フラグが「装置等と同期」が選択されているか否かを判別する。「装置等と同期」が選択されている場合には、ステップＳ１１４に進む。ステップＳ１１４において、処理を中断する。即ち、「装置等と同期」が選択されている場合には、復旧対象のシステム５０又は装置等のどれか一つに復旧異常が発生した場合に、処理を中断する。「装置等と切り離してシステムの状態のみを復旧」が選択されている場合には、ステップＳ１１１に進む。一方、「装置等と切り離してシステムの状態のみを復旧」が選択されていない場合には、装置等のどれか一つの復旧異常が発生しても、他の装置等の復旧を行うことにより、一つの装置等が障害、システムと装置等を接続する通信回線に障害が発生していることにより、復旧異常が発生することも考えられることから、当該装置等を復旧対象から切り離して、復旧できる他の装置等を復旧するものである。

これにより、復旧された他の装置等に対して、装置制御要求や通信が可能となるからである。ステップＳ１１２において、全ての処理管理番号について復旧完了したか否かを判定する。復旧が完了した場合は処理を終了する。復旧が完了していない場合には、ステップＳ１０２に戻って、復旧の完了していないシステム５０や装置等の復旧処理を行う。

尚、復旧処理を処理管理番号の降順に行う場合には、「装置等と切り離してシステムの状態のみを復旧」が選択されているとき、装置等の復旧処理が異常終了しても、次の降順のシステムや装置等に対する復旧処理を行う。以上のように、復旧が異常終了した装置を切り離して、他の装置及びシステムを優先的に復旧するので、システム５０や復旧が正常終了した装置等に装置制御要求を実施することができる。

（ｈ） 復旧処理（第５実施形態）
第５実施形態は、復旧種別フラグの「装置と切り離してシステムの状態のみを復旧する」の意義が第４実施形態と異なる。「装置と切り離してシステムの状態のみを復旧する」とは、装置等については復旧の対象外として、システム５０のみを復旧対象とする復旧方式をいう。

図３０は本発明の第５実施形態による復旧制御入出力部１５６及び復旧制御部１５８が実施する復旧処理のフローチャートである。ステップＳ１５０〜Ｓ１５４の処理は、ステップＳ１００〜Ｓ１０４の処理と同様である。ステップＳ１５６において、復旧種別フラグは「装置等と同期」が選択されているか否かを判別する。「装置等と同期」が選択されていなければ、装置等は復旧対象外として、ステップＳ１５８に進む。「装置等と同期」が選択されていれば、ステップＳ１６０に進む。

ステップＳ１５８において、全ての処理管理番号について復旧完了したか否かを判別する。復旧が完了すれば、終了する。復旧が完了していなければ、ステップＳ１５２に戻る。ステップＳ１６０において、装置等の復旧処理を実施する。ステップＳ１６２において、装置等からの応答が正常であるか否かを判別する、応答が正常であれば、ステップＳ１５８に進む。応答が正常でなければ、ステップＳ１６４に進む。ステップＳ１６４において、処理を中断する。このように、「装置等と同期」が選択されていない場合には、システム５０のみの復旧処理を行うことによりシステム５０を早く復旧して、システム５０を復復旧処理以外の他の制御要求、例えば、装置状態監視等の業務を行うことができる。

（ｉ） 復旧処理（第６実施形態）
第６実施形態は、復旧種別フラグは指定せずに、一定回数装置等と同期を取った復旧を試みても成功しない場合には、自動的に装置等と切り離してシステムの状態のみを復旧するものである。

図３１は本発明の第６実施形態による復旧制御部１５８が実施する復旧処理のフローチャートである。ステップＳ２００において、システム５０内の復旧処理を行う。尚、ここでは、システム５０の復旧処理を最初に行うようにしているが、上述したように、処理管理番号の降順に従って処理を行うようにしても良い。ステップＳ２０２において、システム５０内の応答が正常であるか否かを判別する。システム５０内の応答が正常であれば、ステップＳ２０４に進む。システム５０内の応答が正常でなければ、ステップＳ２１０に進む。

ステップＳ２０４において、装置等の復旧処理を行う。ステップＳ２０６において、装置等から応答が正常であるか否かを判別する。応答が正常ならば、ステップＳ２０７に進む。応答が正常でなければ、ステップＳ２１０に進む。ステップＳ２０７において、装置等の復旧処理を行う。ステップＳ２０８において、全ての処理管理番号について復旧が完了したか否かを判別する。復旧が完了していなければ、ステップＳ２００に戻る。復旧が完了したならば、処理を終了する。

ステップＳ２１０において、当該復旧処理について復旧失敗回数をカウントアップする。ステップＳ２１２において、復旧失敗回数が指定回数以下であれば、ステップＳ２００に戻って、復旧が失敗したシステム５０又は装置等の復旧処理を行う。復旧失敗回数が指定回数に達した場合には、ステップＳ２１４において、復旧失敗した装置等を復旧対象外として、システム５０又は他の装置等の復旧を行う。このように、装置復旧に失敗した場合は自動で上限回数までリトライすることにより装置の迅速な復旧が可能となること、リトライにより復旧しない装置については切り離して他の装置及び自システム５０の復旧をすることから他の装置を自動で復旧することができる。

（ｊ） 復旧処理（第７実施形態）
第７実施形態は、復旧種別要求フラグは復旧処理要求を行う操作毎（管理ＩＤ）ではなく、特定の装置等に関する復旧要求部分にのみ適用するものである。特定の装置等が長時間復旧不可能な事、例えば、装置制御要求に対して異常終了したことにより、異常終了に係わる装置等が故障により長時間復旧不可能である事が、復旧前に予め分かっており、その装置等については復旧対象外として、システム５０と切り離して状態管理を行いたいが、その他の装置等に対してはシステム５０と状態を同期して状態復旧したい場合等に本実施形態が適用されるものである。

図３２は本発明の第７実施形態による復旧処理を実施するための監視システム２００のシステム構成図であり、図２中の構成要素と同一の構成要素には同一の符号を付している。図に示すように、復旧対象外テーブル２１０が設けられている。復旧対象外テーブル２１０には、復旧対象外の装置等の装置番号が格納されている。装置番号は処理実行前情報テーブル１６６に登録された装置番号に対応するものである。復旧制御入出力部２０２より復旧対象外の装置番号をオペレータが入力し、復旧制御部２０４が復旧対象外テーブル２１０に登録する。

図３３は本発明の第７実施形態による復旧制御部２０４が実施する復旧処理のフローチャートである。ステップＳ２５０において、システム５０内の復旧処理を行う。ステップＳ２５２において、システム５０内の応答が正常であるか否かを判別する。システム５０内の応答が正常であれば、ステップＳ２５３に進む。システム５０内の応答が正常でなければ、ステップＳ２６０に進む。

ステップＳ２５３において、装置等の復旧処理を行う。ステップＳ２５４において、装置等から応答が正常であるか否かを判別する。応答が正常ならば、ステップＳ２５６に進む。応答が正常でなければ、ステップＳ２５８に進む。ステップＳ２５６において、全ての処理管理番号について復旧が完了したか否かを判別する。復旧が完了していなければ、ステップＳ２５０に戻る。復旧が完了したならば、処理を終了する。

ステップＳ２５８において、当該異常終了した装置等が復旧対象外テーブル２１０に登録済みであるか否かを判定する。復旧対象外テーブル２１０に登録済みであれば、ステップＳ２５６に進む。復旧対象外テーブル２１０に登録済みでなければ、ステップＳ２６０に進む。ステップＳ２６０において、処理を中断する。このように、復旧対象外テーブル２１０に登録された装置等に対する復旧処理が異常終了しても、この装置等を無視して、他の装置等の復旧をシステム２００と同期を取って行うことができる。尚、復旧対象外テーブル２１０に登録された装置等を復旧処理の対象外として処理することも可能である。このように、復旧ができないと予め分かっている装置については復旧の対象外として登録するので、復旧対象外の装置に無駄な復旧処理を行うことがないので、迅速且つ無駄の無い復旧が可能となる。

本発明は以下の付記を含む。

（付記１）
装置制御要求に基づいて装置情報を格納する第１の情報テーブルを更新する複数の外部装置に対して前記装置制御要求を行うとともに該装置制御要求に係わる処理実行情報を格納する第２の情報テーブルを更新する装置制御処理部と、
前記装置制御要求を前記外部装置に対して行うとき、該装置制御要求に係わる要求内容及び該装置制御要求対象の外部装置を特定する管理情報を第３の情報テーブルに格納する管理情報格納部と、
該装置制御要求に係わる前記第２のテーブルに格納された該装置制御要求を行う前の処理実行前情報を第４の情報テーブルに格納する処理実行前情報格納部と、
前記装置制御要求に対する処理が異常終了した場合に、前記第３の情報テーブルに格納された当該装置制御要求に係わる管理情報により特定される要求内容に基づいて、該処理実行前又は処理実行後の装置状態にするための装置制御要求を該外部装置に対して実施するよう制御する復旧制御部と、
を具備したことを特徴とする監視システム。

（付記２）
前記復旧制御部は、前記異常終了に係わる装置制御要求に対応する前記第４の情報テーブルに格納された処理実行前情報に基づいて、前記第２の情報テーブルを当該装置制御要求に係わる更新前の状態に自システムを復旧することを特徴とする付記１記載の監視システム。

（付記３）
制御要求を入力する入力部を更に具備し、前記装置制御処理部は前記制御要求について複数の前記外部装置に対する複数の装置制御要求を行い、前記管理情報格納部は、当該制御要求について前記装置制御要求の順序を示す処理管理番号を前記管理情報に付加して前記第３の情報テーブルに格納し、前記復旧制御部は前記第３の情報テーブルに格納された処理管理番号に基づいて前記装置制御要求の順序とは逆の順序で復旧することを特徴とする付記２記載の監視システム。

（付記４）
前記第３の情報テーブルに格納された管理情報に基づいて、前記装置制御要求が異常終了して復旧が完了していない制御要求の内容を表示する復旧出力部と、前記表示した制御要求の中で復旧の指示を入力する復旧入力部とを具備し、前記復旧制御部は前記復旧の指示された制御要求に係わる装置制御要求についての前記第３の情報テーブルに格納された管理情報及び前記第４の情報テーブルに格納された処理実行前情報に基づいて、外部装置の復旧を行うことを特徴とする付記２記載の監視システム。

（付記５）
前記管理情報格納部は、処理実行状態を示す実行状態情報を実行中に設定した実行状態情報を前記管理情報に付加して前記第３の情報テーブルに格納し、前記実行状態情報を前記外部装置における異常終了及び正常終了のいずれであるかを示す実行結果に更新し、前記復旧制御部は、前記実行状態情報に基づいて、復旧処理が実施できるか否かを判断して、復旧処理が実施できると判断される場合には、前記復旧を実施することを特徴とする付記３記載の監視システム。

（付記６）
前記管理情報格納部は、前記制御要求に係わる前記装置制御要求を一つの前記外部装置に対して複数回行う場合には、各装置制御要求の内容を特定する情報を前記管理情報に付加して前記第３の情報テーブルに格納し、前記復旧制御部は、前記装置制御要求の内容を特定する情報に基づいて前記装置制御要求の内容を特定して、該情報が前記第３の情報テーブルに格納された順とは逆の順序で該外部装置に対する復旧処理を実施することを特徴とする付記１記載の監視システム。

（付記７）
前記各装置制御要求について復旧の手順を定義する復旧シナリオを格納する復旧シナリオファイルを更に具備し、前記復旧制御部は、前記第３の情報テーブルに格納された管理情報により特定される装置制御要求に対応する前記復旧シナリオファイルに格納された復旧シナリオに基づいて復旧処理を実施することを特徴とする付記１記載の監視システム。

（付記８）
前記装置制御要求について、自動及び手動でいずれにより復旧するかを示す復旧方式を格納する環境情報テーブルを更に具備し、前記復旧制御部は、前記装置制御要求についての前記復旧方式が自動により復旧することを示す場合には、自動復旧することを特徴とする付記１記載の監視システム。

（付記９）
前記復旧制御部は、前記自システムの前記第２の情報テーブルの復旧を優先的に行うことを特徴とする付記３記載の監視システム。

（付記１０）
前記復旧制御部は、前記復旧処理が前記外部装置に対する復旧処理が異常終了した場合に、当該外部装置の復旧を停止し、他の外部装置に対する復旧処理を行うことを特徴とする付記３記載の監視システム。

（付記１１）
復旧対象外の外部装置を登録する第５のテーブルを更に具備し、前記復旧制御部は、前記第５のテーブルに登録されている復旧対象外の外部装置に優先して、復旧対象の外部装置に対して復旧処理を実施する行うことを特徴とする付記３記載の監視システム。

本発明の原理図である。 本発明の実施形態による監視システムを含む全体構成図である。 図２中のシステム５０の構成図である。 処理管理情報テーブル１６４を示す図である。 処理実行前情報テーブル１６６を示す図である。 復旧シナリオの一例を示す図である。 正常終了の場合のシステムの動作説明図である。 正常終了の場合のシステムの動作説明図である。 正常終了の場合のシステムの動作説明図である。 正常終了の場合のシステムの動作説明図である。 異常終了の場合のシステムの動作説明図である。 異常終了の場合のシステムの動作説明図である。 異常終了の場合のシステムの動作説明図である。 異常終了の場合のシステムの動作説明図である。 復旧シナリオの変更手順を示す図である。 シリアル処理における異常の場合の処理の呼び出し関係を示す図である。 図１６の処理シーケンスにおける処理管理情報テーブルの内容を示す図である。 本発明の第１実施形態による復旧処理のフローチャートである。 復旧対象一覧を示す図である。 復旧シナリオ実施の流れを示す図である。 復旧シナリオ実施の例を示す図である。 パラレル処理における異常の場合の処理の呼び出し関係を示す図である。 図２２の処理シーケンスにおける処理管理情報テーブルの内容を示す図である。 本発明の第２実施形態による復旧処理のフローチャートである。 処理の呼び出し関係を示す図である。 図２５の処理シーケンスにおける処理管理情報テーブルの内容を示す図である。 本発明の第３実施形態による復旧処理のフローチャートである。 本発明の第４実施形態による復旧処理のフローチャートである。 復旧対象一覧を示す図である。 本発明の第５実施形態による復旧処理のフローチャートである。 本発明の第６実施形態による復旧処理のフローチャートである。 本発明の第７実施形態による復旧処理を実施するための監視システムのシステム構成図である。 本発明の第７実施形態による復旧処理のフローチャートである。

符号の説明

２＃ｉ（ｉ＝１〜ｎ） 第１の情報テーブル
４＃ｉ（ｉ＝１〜ｎ） 外部装置
１０ 復旧システム
１２ 第２の情報テーブル
１４ 装置制御処理部
１６ 第３の情報テーブル
１８ 管理情報処理部
２０ 第４の情報テーブル
２２ 処理実行前情報格納部
２４ 復旧制御部

Claims (3)

1. 装置制御要求に基づいて装置情報を格納する第１の情報テーブルを更新する複数の外部装置に対して前記装置制御要求を行うとともに該装置制御要求に係わる処理実行情報を格納する第２の情報テーブルを更新する装置制御処理部と、
   前記装置制御要求を前記外部装置に対して行うとき、該装置制御要求に係わる要求内容及び該装置制御要求対象の外部装置を特定する管理情報を第３の情報テーブルに格納する管理情報格納部と、
   該装置制御要求に係わる前記第２のテーブルに格納された該装置制御要求を行う前の処理実行前情報を第４の情報テーブルに格納する処理実行前情報格納部と、
   前記装置制御要求に対する処理が異常終了した場合に、前記第３の情報テーブルに格納された当該装置制御要求に係わる管理情報により特定される要求内容に基づいて、該処理実行前又は処理実行後の装置状態にするための装置制御要求を該外部装置に対して実施するよう制御する復旧制御部と、
   を具備したことを特徴とする監視システム。
2. 前記復旧制御部は、前記異常終了に係わる装置制御要求に対応する前記第４の情報テーブルに格納された処理実行前情報に基づいて、前記第２の情報テーブルを当該装置制御要求に係わる更新前の状態に自システムを復旧することを特徴とする請求項１記載の監視システム。
3. 制御要求を入力する入力部を更に具備し、前記装置制御処理部は前記制御要求について複数の前記外部装置に対する複数の装置制御要求を行い、前記管理情報格納部は、当該制御要求について前記装置制御要求の順序を示す処理管理番号を前記管理情報に付加して前記第３の情報テーブルに格納し、前記復旧制御部は前記第３の情報テーブルに格納された処理管理番号に基づいて前記装置制御要求の順序とは逆の順序で復旧することを特徴とする請求項２記載の監視システム。

Images