JP6089766B2 - 情報処理システム、及び情報処理装置の障害処理方法 - Google Patents

Description

本発明は情報処理システム、及び情報処理装置の障害処理方法に関する。

情報処理システムにおける障害検出方法は、２重化された装置の情報処理装置間でチェック用データを送受信し、双方の情報処理装置でヘルスチェックを実施することで行っていた。

このような背景に関連する技術としては、様々なものが知られている（例えば、特許文献１〜２参照。）。

例えば、特許文献１には、二重化構成で動作する通信制御装置の障害監視方式に関し、特にシステムの性質上処理量に大きな変動があっても確実な障害検出とリカバリを義務付けられた二重化制御装置を改良する技術が記載されている。具体的には、自系の障害を相手系に通知するウォッチドッグタイマ手段、相手系に対し、自系が動作していることを通知するヘルスチェック手段を備える。また、自系の障害を自系で監視するループ監視手段、自系と相手系との間の通信機能の状態を監視する系間通信状態監視手段、自系と相手系との間で回線の切り換えを行う回線切換装置の監視を行う回線切換装置監視手段を備える。その上で、これらの各手段により行われる異常発生の通知、及び自系の現在の状態（現在主機であるか否か、既に他の異常発生の通知を受けているか否か）を合わせた障害の判断を行い、速やかにリカバリ処理を行う。

また、例えば、特許文献２には、データ通信バスに複数のスレーブプロセッサが接続され、制御バスにマスタプロセッサ及びこの複数のスレーブプロセッサが接続されているマルチプロセッサシステムに関し、障害部位の限定方法が記載されている。即ち、障害発生時に、データ通信バスの障害か、それともスレーブプロセッサの障害かを明確に限定するものである。具体的には、第１及び第２のスレーブプロセッサ同士が通信中に通信が不可能になった場合、スレーブプロセッサの異常プロセッサ通知部が相手プロセッサの異常をマスタプロセッサに通知する。また、スレーブ間ヘルスチェック指示処理部が、正常な任意の第３のスレーブプロセッサを選ぶ。さらに、スレーブ間ヘルスチェック指示処理部は、この第３のスレーブプロセッサのスレーブ間ヘルスチェック処理部に対し通知してきたスレーブプロセッサ及び通知されたスレープロセッサとヘルスチェックを行うよう指示する。スレーブ間ヘルスチェック結果判定処理部は、この結果を受信し、双方のヘルスチェックが失敗した時はデータ通信バスの障害と認識する。また、スレーブ間ヘルスチェック結果判定処理部は、第１及び第２のスレーブプロセッサのいずれかでのヘルスチェックができた場合は、ヘルスチェックを失敗した方を、障害を有する側と認識する。

特許第２５７８９８５号公報 特開平０５−１２００４８号公報

２重化された情報処理装置における障害検出方法は、前述のとおり、該２重化された情報処理装置のＣＰＵ間でチェック用データを送受信することによるヘルスチェックを実施することで行っている。しかしながら、この障害検出方法であると、情報処理装置に属するＩ／Ｏコントローラの障害は、双方の情報処理装置でヘルスチェックのタイムアウトが発生するため、双方のどちらの情報処理装置の障害であるかを判断することができない。

このため、複数の情報処理装置から成る情報処理システムの障害時の対策としては、所定の個々のケースに対応させて、どの情報処理装置を停止させるかを取り決めたルールを予め設けている。また、この情報処理システムの障害時には、上記ルールに従って、所定の個々のケースに対応した情報処理装置を停止させ、残りの情報処理装置だけで縮退運転を行う。この方法でも、システム運用を継続することには支障は生じない。しかし、この場合、実際には障害部位を有する情報処理装置を縮退稼働させてしまい、障害部位を有さない情報処理装置の稼働を停止させてしまう齟齬が生じ得る。そして、このような齟齬が生じた場合には、最終的には、結局は縮退稼働させていた情報処理装置も、その障害部位の保守交換のために稼働停止させることになる。よって、このような情報処理システムの障害時の対策では、システム全体が稼働停止に追い込まれたり、システム全体の稼働率が低下したりするといった問題点が有り、この点の解決が課題であった。

本発明の目的は、上述した課題を解決する情報処理システム、及び情報処理装置の障害処理方法を提供することにある。

上記課題を解決するために、本発明の第１の形態によると、通常時には２つの系統を使用して処理を行い、障害時には片方の系統のみを使用して処理を継続する情報処理システムであって、系統は、それぞれ、コンピュータと、Ｉ／Ｏカードとを備え、コンピュータは、それぞれ、ＣＰＵと、Ｉ／Ｏコントローラとを備え、Ｉ／Ｏカードは、自系統のコンピュータのヘルスチェックを行うために割り込み信号を定期的に発信する手段と、割り込み信号に対して自系統のコンピュータのＣＰＵによる処理が所定時間内に実行されなかったことに応じて、自系統のコンピュータに障害が生じたことを示す障害通知信号を、他方の系統のＩ／Ｏカードに対して送信する手段と、他方の系統のＩ／Ｏカードから送信された障害通知信号を受信したことに応じて、他方の系統のコンピュータに障害が生じたことを示す障害通知信号を、自系統のコンピュータに対して送信する手段とを有し、ＣＰＵは、自系統のＩ／Ｏカードから定期的に送信される割り込み信号を受信することができなかったことに応じて、自装置を停止させる手段と、自系統のＩ／Ｏカードから送信された障害通知信号を受信したことに応じて、自装置を縮退運転させる手段とを有する。

本発明の第２の形態によると、通常時には２つの系統を使用して処理を行い、障害時には片方の系統のみを使用して処理を継続する情報処理装置の障害処理方法であって、系統は、それぞれ、コンピュータと、Ｉ／Ｏカードとを備え、コンピュータは、それぞれ、ＣＰＵと、Ｉ／Ｏコントローラとを備え、Ｉ／Ｏカードが、自系統のコンピュータのヘルスチェックを行うために割り込み信号を定期的に発信する段階と、Ｉ／Ｏカードが、割り込み信号に対して自系統のコンピュータのＣＰＵによる処理が所定時間内に実行されなかったことに応じて、自系統のコンピュータに障害が生じたことを示す障害通知信号を、他方の系統のＩ／Ｏカードに対して送信する段階と、Ｉ／Ｏカードが、他方の系統のＩ／Ｏカードから送信された障害通知信号を受信したことに応じて、他方の系統のコンピュータに障害が生じたことを示す障害通知信号を、自系統のコンピュータに対して送信する段階と、ＣＰＵが、自系統のＩ／Ｏカードから定期的に送信される割り込み信号を受信することができなかったことに応じて、自装置を停止させる段階と、ＣＰＵが、自系統のＩ／Ｏカードから送信された障害通知信号を受信したことに応じて、自装置を縮退運転させる段階とを含む。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となり得る。

以上の説明から明らかなように、この発明によっては、２重化した情報処理装置において、障害部位を含む装置を確実に稼働停止させることができる。

また、この発明によっては、上記の効果に加えて、障害部位の保守交換の際にシステム全体が完全停止に追い込まれたり、システム全体の稼働率が低下したりする事態は回避できる効果が有る。

本発明の実施形態に係る情報処理システムの全体構成を示す構成図である。 本発明の実施形態に係る情報処理システムの主要な構成要素の構成を示す構成図である。 本発明の実施形態に係る情報処理システムにおいて共有装置に障害が起きた場合の動作を示すシーケンスチャートである。

以下、発明の実施の形態を通じて本発明を説明する。

図１は、本発明の実施形態に係る情報処理システムの全体構成を示す構成図である。同図において、本実施形態の情報処理システム（クラスタシステム１００）は、共有資源１２にアクセスする複数のホスト１１−１〜１１−ｎ（ホスト情報処理装置）を備える。上記複数のホスト１１−１〜１１−ｎの各々は、複数の共有装置１３−１〜１３−ｎを備える。上記複数の共有装置１３−１〜１３−ｎの各々は、２台の装置１４−１，１４−２（いずれも情報処理装置）を備える。さらに、上記複数の共有装置１３−１〜１３−ｎの各々は、２つのＩ／Ｏカード２０−１，２０−２を備える。

なお、上記構成において、本実施形態に係る情報処理システムとして必須の構成は、上記の共有装置だけであり、他はオプショナルな構成要素である。また、この実施形態では、上記の２台の装置１４−１，１４−２は、いずれもＣＰＵとＩ／Ｏコントローラを備えるものとする（符号は省略する）。さらに、上記の構成において、共有装置１３を構成する２台の装置１４−１，１４−２は、Ｉ／Ｏカード２０−１とＩ／Ｏカード２０−２とを介してＩ／Ｆ（インターフェース）ケーブルで相互接続されているものとする。

図２は、本発明の実施形態に係る情報処理システムの主要な構成要素の構成を示す構成図である。同図に示すＩ／Ｏカード２０−１及びＩ／Ｏカード２０−２の各々は、チェック用割込み処理部６０、チェック用割込みのリセット監視部６１、及び相手側Ｉ／Ｏカードへの障害通知部６２を備える。また、Ｉ／Ｏカード２０−１及びＩ／Ｏカード２０−２は、相手側Ｉ／Ｏカードからの障害通知受信処理部６Ａ、及び上位装置への障害通知部６Ｂを備える。

また、図２に示す装置１４−１及び装置１４−２の各々は、割込み受信処理部５０、チェック用割込み監視部５１、チェック用割込みリセット部５２、自装置停止部５３、Ｉ／Ｏカードからの相手側障害通知受信処理部５Ａ、及び自装置縮退運転移行部５Ｂを備える。なお、ここでは、図１に示すとおり、Ｉ／Ｏカード２０−１の上位装置は装置１４−１であり、Ｉ／Ｏカード２０−２の上位装置は装置１４−２である。

まず、本システムの機能の概要を説明する。上記いずれのＩ／Ｏカードも、チェック用割込み処理部６０が、定期的に、各々の上位装置（装置１４−１または装置１４−２）に対してチェック用割り込みを掛ける。また、チェック用割込みのリセット監視部６１は、上記の上位装置がチェック用割込み処理部６０による該チェック用割り込みを所定の一定時間内にリセットするか否かを監視する。さらに、相手側Ｉ／Ｏカードへの障害通知部６２は、上記リセットの監視により、上記所定の一定時間内に上位装置が該チェック用割り込みをリセットしなかったことが検出された場合に、他方のＩ／Ｏカードに対して障害通知を送出する。

上記の障害通知は、他方の相手側Ｉ／Ｏカードからの障害通知受信処理部６Ａが受け取る。これにより、当該Ｉ／Ｏカードの上位装置への障害通知部６Ｂは、相手側装置の異常と判断し、自己の上位装置に障害通知を送出し、これにより、当該上位装置は、自己を縮退運転に移行させる。

以下、本実施形態に係る情報処理システムの機能を、特徴的な機能であるヘルスチェックの具体的な実現方法も含めて詳細に説明する。割込み受信処理部５０は、配下のＩ／Ｏカード２０−１とＩ／Ｏカード２０−２とからの定期的なチェック用割り込みを受信する。チェック用割込み監視部５１は、配下のＩ／Ｏカード２０−１とＩ／Ｏカード２０−２とからの定期的なチェック用割り込みを監視する。チェック用割込みリセット部５２は、配下のＩ／Ｏカード２０−１とＩ／Ｏカード２０−２とからの定期的なチェック用割り込みをリセットする。自装置停止部５３は、自装置を停止させる。Ｉ／Ｏカードからの相手側障害通知受信処理部５Ａは、上記Ｉ／Ｏカードを介して相手装置の障害通知を受け取る。これにより、自装置縮退運転移行部５Ｂは、自装置を縮退運転へと移行する。

本実施形態に係る情報処理システムは、上述のとおり、複数のホスト１１−１〜１１−ｎによって共有される共有資源１２を備える。この情報処理システムは、例えば排他制御装置として適用されるものであっても良い。この共有資源を有する情報処理システムでは、システムの高信頼性を達成するために、上記複数のホスト１１−１〜１１−ｎが共有する共有装置１３−１〜１３−ｎの各々に属する装置（情報処理装置）を２重化している。即ち、共有装置１３−１〜１３−ｎの各々は、２重化された装置１４−1 と装置１４−２とを備える構成としている。

ここで、上記共有装置１３−１〜１３−ｎの各々は、通常は、装置１４−1 と装置１４−２とで負荷分散されるように制御される。また、上記共有装置１３−１〜１３−ｎの各々は、上記２重化した装置の一方が障害の時は、当該障害となった装置の方の稼働を停止させ、残された方の装置を縮退運転させる。さらに、上記２重化した装置間のインターフェースを制御する上記Ｉ／Ｏカードの各々には、当該Ｉ／Ｏカードの上位装置（装置１４−1 または装置１４−２）が備えるＣＰＵとの間でのヘルスチェックを行う機能を備えさせている。

本実施形態に係る情報処理システムでは、上記ヘルスチェック機能により、Ｉ／Ｏカード各々の上位装置の障害の有無を判断できるようにしている。また、本実施形態に係る情報処理システムは、上記ヘルスチェック機能により、当該Ｉ／Ｏカードの上位装置自体の障害と判断された場合は、当該障害装置を制御系統から確実に切り離すように制御する。さらに、この場合、本実施形態に係る情報処理システムは、障害を発生していない方の装置を縮退運転へと移行させる。

図３は、本発明の実施形態に係る情報処理システムにおいて共有装置に障害が起きた場合の動作を示すシーケンスチャートである。以下、図１，２を参照しながら、図３に示すシーケンスチャートに基づいて本実施形態に係る情報処理システムにおいて共有装置に障害が起きた場合の動作を説明する。

まず、Ｉ／Ｏカード２０−１は、装置１４−１に対して定期的にチェック用割り込みを行うと、その後は、装置１４−１による該チェック用割り込みに対する上記所定の一定時間内のリセット処理の動作の有無を監視する。また、装置１４−１は、Ｉ／Ｏカード２０−１からの定期的な割り込みを監視し、割り込みが有った時は、上記所定の一定時間内に、該割り込みに対するリセット処理を実施する。上記２重化した装置の他方であるＩ／Ｏカード２０−２と装置１４−２についても同様の処理動作がなされる。

以下の説明では、上記いずれかの共有装置の、装置１４−１に属するＩ／Ｏコントローラに障害が発生するものとする。但し、当該装置１４−１に属するＣＰＵは正常であるものとし、また、Ｉ／Ｏカード２０−１も正常であるものとする。

上記の障害が発生するまでの間、装置１４−１とＩ／Ｏカード２０−１とは、相互にチェックを行っている。しかし、この間、上述のとおり、装置１４−１のＩ／Ｏコントローラに障害が発生すると、Ｉ／Ｏカード２０−１は、上記所定の一定時間内に、装置１４−１に対する上記の定期的なチェック用割り込みに対するリセット動作がなされないことを検出する。さらに、装置１４−１のＣＰＵは、上記の定期的なチェック用割り込みが発生していないことを検出する。

また、この時、Ｉ／Ｏカード２０−１は、上記の検出により、上位の装置１４−１に障害が発生しているものと判断し、上記２重化した装置の他方であるＩ／Ｏカード２０−２に対して障害通知を行う。また、装置１４−１は、上記の検出により、自己の障害であるものと判断し、自己（即ち装置１４−１）の稼働を停止する。

他方、Ｉ／Ｏカード２０−１から上記障害通知を受け取ったＩ／Ｏカード２０−２は、装置１４−２に対して割り込み処理による障害通知を行う。この障害通知（割り込み処理）を受け取った装置１４−２は、装置１４−１において障害が発生したことを認識し、自己（即ち装置１４−２）の運転状態を、縮退運転へと移行させる。

本実施形態に係る情報処理システムによれば、前述のとおり、上記２重化した情報処理装置において、障害部位を含む装置側を確実に稼働停止させることが可能となる効果が有る。

また、本実施形態に係る情報処理システムでは、障害部位を含まない装置に対しては自動的に縮退運転へと移行させ、稼働停止させることがない。よって、本実施形態に係る情報処理システムによれば、上記の効果に加えて、障害部位の保守交換の際にシステム全体が完全停止に追い込まれたり、システム全体の稼働率が低下したりする事態は回避できる効果が有る。

１２ 共有資源
５０ 割込み受信処理部
５１ チェック用割込み監視部
５２ チェック用割込みリセット部
５３ 自装置停止部
５Ａ Ｉ／Ｏカードからの相手側障害通知受信処理部
５Ｂ 自装置縮退運転移行部
６０ チェック用割込み処理部
６１ チェック用割込みのリセット監視部
６２ 相手側Ｉ／Ｏカードへの障害通知部
６Ａ 相手側Ｉ／Ｏカードからの障害通知受信処理部
６Ｂ 上位装置への障害通知部
１１−１〜１１−ｎ ホスト
１３−１〜１３−ｎ 共有装置
１４−１，１４−２ 装置
２０−１，２０−２ Ｉ／Ｏカード
１００ クラスタシステム

Claims (2)

1. 通常時には２つの系統を使用して処理を行い、障害時には片方の系統のみを使用して処理を継続する情報処理システムであって、
   前記系統は、それぞれ、コンピュータと、Ｉ／Ｏカードとを備え、
   前記コンピュータは、それぞれ、ＣＰＵと、Ｉ／Ｏコントローラとを備え、
   前記Ｉ／Ｏカードは、
   自系統の前記コンピュータのヘルスチェックを行うために割り込み信号を定期的に発信する手段と、
   前記割り込み信号に対して自系統の前記コンピュータのＣＰＵによる処理が所定時間内に実行されなかったことに応じて、自系統の前記コンピュータに障害が生じたことを示す障害通知信号を、他方の系統の前記Ｉ／Ｏカードに対して送信する手段と、
   他方の系統の前記Ｉ／Ｏカードから送信された障害通知信号を受信したことに応じて、他方の系統の前記コンピュータに障害が生じたことを示す障害通知信号を、自系統の前記コンピュータに対して送信する手段と
   を有し、
   前記ＣＰＵは、
   自系統の前記Ｉ／Ｏカードから定期的に送信される割り込み信号を受信することができなかったことに応じて、自装置を停止させる手段と、
   自系統の前記Ｉ／Ｏカードから送信された障害通知信号を受信したことに応じて、自装置を縮退運転させる手段と
   を有する情報処理システム。
2. 通常時には２つの系統を使用して処理を行い、障害時には片方の系統のみを使用して処理を継続する情報処理装置の障害処理方法であって、
   前記系統は、それぞれ、コンピュータと、Ｉ／Ｏカードとを備え、
   前記コンピュータは、それぞれ、ＣＰＵと、Ｉ／Ｏコントローラとを備え、
   前記Ｉ／Ｏカードが、自系統の前記コンピュータのヘルスチェックを行うために割り込み信号を定期的に発信する段階と、
   前記Ｉ／Ｏカードが、前記割り込み信号に対して自系統の前記コンピュータのＣＰＵによる処理が所定時間内に実行されなかったことに応じて、自系統の前記コンピュータに障害が生じたことを示す障害通知信号を、他方の系統の前記Ｉ／Ｏカードに対して送信する段階と、
   前記Ｉ／Ｏカードが、他方の系統の前記Ｉ／Ｏカードから送信された障害通知信号を受信したことに応じて、他方の系統の前記コンピュータに障害が生じたことを示す障害通知信号を、自系統の前記コンピュータに対して送信する段階と、
   前記ＣＰＵが、自系統の前記Ｉ／Ｏカードから定期的に送信される割り込み信号を受信することができなかったことに応じて、自装置を停止させる段階と、
   前記ＣＰＵが、自系統の前記Ｉ／Ｏカードから送信された障害通知信号を受信したことに応じて、自装置を縮退運転させる段階と
   を含む情報処理装置の障害処理方法。

Images