JP3961517B2 - システム、クロスバ装置及びそれらに用いる障害通知方法 - Google Patents

Description

本発明はシステム、クロスバ装置及びそれらに用いる障害通知方法に関し、特に大規模システムにおけるクロスバ内のエラー通知に関する。

従来、大規模システムにおいては、図１に示すように、各々ＣＰＵ（中央処理装置）１１１，１１２，１２１，１２２，１３１，１３２，１４１，１４２が接続されたクロスバ１０１〜１０４から構成されている。このクロスバ１０１〜１０４は、図５に示すように、４つのポート部（Ｐｏｒｔ１〜Ｐｏｒｔ４）と、クロスバ制御部４０１とを持つ４×４クロスバ４００からなっている。

クロスバ制御部４０１は各ポート（Ｐｏｒｔ１〜Ｐｏｒｔ４）を相互に接続し、各ポート（Ｐｏｒｔ１〜Ｐｏｒｔ４）から受信したパケットを他のポートに転送する。各ポート（Ｐｏｒｔ１〜Ｐｏｒｔ４）は同じ構成となっており、受信制御部４１１，４２１，４３１，４４１と、エラーパケット受信部４１２，４２２，４３２，４４２と、送信制御部４１３，４２３，４３３，４４３と、エラーパケット送信部４１４，４２４，４３４，４４４とから構成されている。

以下、ポート部についてはポート（Ｐｏｒｔ１）を例にとって説明する。受信制御部４１１はＣＰＵや他クロスバから命令等のパケットを受信する。エラーパケット受信部４１２は受信制御部４１１で受信したパケットのうちエラー通知パケットのみを受信し、他ポートへ報告するためにクロスバ制御部４０１へ送信する。

送信制御部４１３は接続されるＣＰＵや他クロスバにパケットの送信を行う。エラーパケット送信部４１４はクロスバ制御部４０１からエラー通知パケットを受信すると、送信制御部４１３へパケットを転送して送信してもらう。この大規模システムについては本願出願人から提案されている。

また、他の大規模システムとしては、上記と同様に、クロスバの各ポートにエラー制御部を持ち、エラー通知パケットを発行可能とし、クロスバの障害を全装置にブロードキャスト可能とするシステムがある。この大規模システムでは、エラー通知パケット受信でポート／トレーサ停止回路へポートの動作停止指示を出力している（例えば、特許文献１参照）。

特開平２−１２５５５０号公報

上述した従来の大規模システムにおける障害通知方式では、クロスバの各ポート部にそのインタフェースを使用するパーティション情報を持たないため、エラー通知パケットを受信しても、他ポートへ転送するだけで、インタフェースの動作を停止することができず、クロスバ内部の障害情報を採取することができないという問題がある。

また、従来の障害通知方式では、上記と同様に、クロスバの各ポート部にインタフェースを使用するパーティション情報を持たないため、クロスバ部で障害が発生しても、障害箇所に関連するパーティションに属するＣＰＵや他のクロスバに対して障害報告のエラー通知パケットを発行することができないという問題がある。

従来、ネットワーク内で障害があった場合には、インタフェースの接続を切断することで、関連するＣＰＵにタイムアウト等の障害を見つけてもらったり、サービスプロセッサに障害を報告して障害パーティションを特定して制御してもらったりしている。そのため、クロスバ等のネットワーク障害の報告には時間がかかってしまい、有効なデータを採取することができない。

さらに、従来の障害通知方式では、クロスバの各ポート部にインタフェースを使用するパーティション情報を持たないため、クロスバ部で障害が発生することによってエラー通知パケットを発行可能としても、障害パーティション情報の識別が不可能であるため、全パーティションをダウンさせてしまうという問題がある。

つまり、従来の障害通知方式では、ネットワーク構成のクロスバ部にインタフェースを使用するパーティション情報を保持していないため、エラー通知パケットを受信しても、クロスバ部の内部では使用せずに、他ポートに対してブロードキャストしているだけである。そのため、クロスバ部間のインタフェースの動作を停止することができず、障害発生時においてもクロスバ部内の有効な情報を採取することができず、各ＣＰＵ内部の情報だけで障害のデータ解析を行うことになり、クロスバ部の内部の動作をＣＰＵの情報から予測するしかなく、十分な解析を行うことができない。

また、従来の障害通知方式では、クロスバ部の故障時にも、クロスバ部のポート部がパーティション情報を保持していないため、インタフェース単位の動作停止を行うことができず、クロスバ部が停止せずに、ＣＰＵ側で障害を検出させてパーティションを動作停止するか、全パーティションを停止させてしまっている。

そこで、本発明の目的は上記の問題点を解消し、クロスバ間のインタフェースの停止の可否を判断することができるシステム、クロスバ装置及びそれらに用いる障害通知方法を提供することにある。

本発明によるシステムは、複数のクロスバ装置を相互に接続したネットワーク構成からなり、前記複数のクロスバ装置各々に接続された複数の中央処理装置を複数のパーティションに分けて運用するシステムであって、
前記複数のクロスバ装置各々は、前記クロスバ装置内の外部との接続用の複数のポート各々において前記クロスバ装置が接続されるインタフェースに対して使用されるパーティション情報を保持する保持手段と、受信したエラー通知によって報告された障害に前記複数のポートが関係するかを前記保持手段に保持されたパーティション情報に基づいて識別する比較手段と、前記比較手段で前記障害に関係すると識別されたポートの動作を停止させる停止手段と、前記エラー通知から前記パーティション情報を抽出する抽出手段とを備え、
前記エラー通知は、前記障害が発生したパーティション情報を含み、
前記比較手段は、その抽出されたパーティション情報と前記保持手段に保持されたパーティション情報とを比較し、前記障害に関係するポートを検出している。

本発明によるクロスバ装置は、自装置と他の装置とが相互に接続されるネットワーク構成からなり、自装置及び前記他の装置各々に接続される複数の中央処理装置が複数のパーティションに分けて運用されるシステムに用いられるクロスバ装置であって、
前記クロスバ装置内の外部との接続用の複数のポート各々において前記クロスバ装置が接続されるインタフェースに対して使用されるパーティション情報を保持する保持手段と、受信したエラー通知によって報告された障害に前記複数のポートが関係するかを前記保持手段に保持されたパーティション情報に基づいて識別する比較手段と、前記比較手段で前記障害に関係すると識別されたポートの動作を停止させる停止手段と、前記エラー通知から前記パーティション情報を抽出する抽出手段とを備え、
前記エラー通知は、前記障害が発生したパーティション情報を含み、
前記比較手段は、その抽出されたパーティション情報と前記保持手段に保持されたパーティション情報とを比較し、前記障害に関係するポートを検出している。

本発明による障害通知方法は、複数のクロスバ装置を相互に接続したネットワーク構成からなり、前記複数のクロスバ装置各々に接続された複数の中央処理装置を複数のパーティションに分けて運用するシステムに用いる障害通知方法であって、
前記クロスバ装置側に、前記クロスバ装置内の外部との接続用の複数のポート各々において前記クロスバ装置が接続されるインタフェースに対して使用されるパーティション情報を保持手段に保持する処理と、受信したエラー通知によって報告された障害に前記複数のポートが関係するかを前記保持手段に保持されたパーティション情報に基づいて識別する処理と、前記障害に関係すると識別されたポートの動作を停止させる処理と、前記エラー通知から前記パーティション情報を抽出する処理とを備え、
前記エラー通知が、前記障害が発生したパーティション情報を含み、
前記複数のポートが関係するかを識別する処理は、その抽出されたパーティション情報と前記保持手段に保持されたパーティション情報とを比較し、前記障害に関係するポートを検出している。

すなわち、本発明の大規模システムにおける障害通知方法は、複数のクロスバを相互に接続したネットワーク構成からなり、かつ各々のクロスバに接続された複数のＣＰＵ（中央処理装置）を複数のパーティションに分けて運用される大規模システムにおいて、ＣＰＵで障害が発生した場合に、障害ＣＰＵでエラー通知パケットを生成してシステム内の同一パーティションに含まれる他のＣＰＵに対して高速に障害発生を報告することで、障害発生前後の状態を保持してデータ解析に役立てることが可能となる。

その場合には、途中の経路のクロスバにおいても、ポート毎に使用されるパーティション番号を認識することによって、障害が発生したパーティションでのみ使用されているインタフェースの動作を停止させ、障害発生前後のクロスバ内の状態をも採取することが可能となる。

また、クロスバで障害が発生した場合には、クロスバのポート部がパーティション番号を認識することで、障害箇所に関連するパーティションで使用されているインタフェースだけを動作停止可能としている。

システム内の各パーティション単位に立ち上げを行う際に、ネットワーク構成のクロスバ内の各ポートに対して、クロスバ間のインタフェースを使用する場合には、パーティション情報の自パーティション番号に対応するビットをセットする。

一つのインタフェースを複数のパーティションによって共用する場合には、複数のパーティション情報内のビットがセットされることになる。任意のＣＰＵで障害が発生した場合には、ＣＰＵが属するパーティション番号をエラー通知パケットに載せて発行することで、クロスバ経由で受信した他のすべてのＣＰＵが自パーティション番号と比較して一致すれば、障害によって自パーティションが動作を停止することが分かり、すぐにＣＰＵの動作を停止する。

その時、エラー通知パケットが経由するクロスバにおいても、エラー通知パケット内のパーティション番号を抽出して、各ポート部において立ち上げ時に設定されたパーティション情報と比較することで、対応するインタフェースが障害を検出したパーティションでしか使用されていないことが認識された時に、それに対応するインタフェースの動作を停止することが可能となり、データ解析用の障害情報を採取することが可能となる。

また、障害以外のパーティションと共用しているインタフェースにおいては、動作を停止することができないため、クロスバ内の動作履歴を採取しているトレーサのみを停止させ、その動作履歴を採取することで、データ解析に役立たせることが可能となる。

さらに、クロスバのポート部で障害が発生した時に、クロスバのポート部にインタフェースを使用する場合には、パーティション情報の自パーティション番号に対応するビットがセットされているため、動作を停止させるパーティションを認識することが可能となる。

よって、クロスバのポート部が障害を検出した場合でも、エラー通知パケットを発行することが可能となり、他クロスバやＣＰＵでエラー通知パケットで報告されるパーティション番号に関連するパーティションのみの動作を停止することが可能となる。

つまり、本発明の障害通知方法では、クロスバ等のネットワークで構成された大規模システムにおいて、ＣＰＵやネットワーク内のどんな場所で障害が発生しても全ての関連する装置に障害発生がすばやく報告することが可能となり、障害に関する多くの情報が採取可能となる。

本発明の障害通知方法では、クロスバの各ポート部に使用するパーティション情報を設定しているので、エラー通知パケットを転送する時にパーティション情報を抽出することで、クロスバ間のインタフェースの停止の可否を判断することが可能となる。

また、本発明の障害通知方法では、障害パーティションにのみ使用されるクロスバ間のインタフェースを停止するので、クロスバ内の停止したポート部の障害発生前後の情報を障害解析用に採取することが可能となる。

さらに、本発明の障害通知方法では、動作停止ができないが、障害パーティションに関連するインタフェースの両端のポート部においてはトレーサを停止させるので、クロスバ内の対象ポート部の動作履歴が障害解析用に採取可能となる。

さらにまた、本発明の障害通知方法では、クロスバで障害が発生した場合にクロスバの各ポート部に使用するパーティション情報を設定しているので、クロスバからエラー通知パケットを発行して障害インタフェースに関連するパーティションのみの動作停止が可能となる。

本発明は、以下に述べるような構成及び動作とすることで、クロスバ間のインタフェースの停止の可否を判断することができるという効果が得られる。

次に、本発明の実施例について図面を参照して説明する。図１は本発明の一実施例による大規模システムの構成を示すブロック図である。図１において、本発明の一実施例による大規模システムは各々ＣＰＵ（中央処理装置）１１１，１１２，１２１，１２２，１３１，１３２，１４１，１４２が接続されたクロスバ１０１〜１０４から構成されている。

クロスバ１０１〜１０４は２×２の構成で接続され、ＣＰＵ１１１，１１２，１２１，１２２，１３１，１３２，１４１，１４２から発行された命令をクロスバ経由で他のＣＰＵへ転送する。クロスバ１０１とクロスバ１０２とはインタフェース１０５で接続され、クロスバ１０１とクロスバ１０３とはインタフェース１０６で接続され、クロスバ１０２とクロスバ１０４とはインタフェース１０７で接続され、クロスバ１０３とクロスバ１０４とはインタフェース１０８で接続されている。

クロスバ１０１〜１０４各々にはＣＰＵが２個接続されており、クロスバ１０１にはＣＰＵ１１１とＣＰＵ１１２とが接続され、クロスバ１０２にはＣＰＵ１２１とＣＰＵ１２２とが接続され、クロスバ１０３にはＣＰＵ１３１とＣＰＵ１３２とが接続され、クロスバ１０４にはＣＰＵ１４１とＣＰＵ１４２とが接続されている。

図２は図１のクロスバ１０１〜１０４の構成を示すブロック図である。図２において、クロスバ１０１〜１０４は４×４クロスバ２００からなり、４ポート（Ｐｏｒｔ１〜Ｐｏｒｔ４）と、クロスバ制御部２０１とから構成されている。各ポート（Ｐｏｒｔ１〜Ｐｏｒｔ４）は受信制御部２１１，２２１，２３１，２４１と、エラーパケット受信部２１２，２２２，２３２，２４２と、エラー制御部２１３，２２３，２３３，２４３と、送信制御部２１４，２２４，２３４，２４４と、エラーパケット生成部２１５，２２５，２３５，２４５と、トレーサ２１６，２２６，２３６，２４６とから構成されている。

クロスバ制御部２０１は各ポート（Ｐｏｒｔ１〜Ｐｏｒｔ４）を相互に接続し、各ポート（Ｐｏｒｔ１〜Ｐｏｒｔ４）から受信したパケットを他のポートに転送する。各ポート（Ｐｏｒｔ１〜Ｐｏｒｔ４）は、上記のように、同じ構成となる。

よって、ポート（Ｐｏｒｔ１〜Ｐｏｒｔ４）についてはポート（Ｐｏｒｔ１）を例にとって説明する。受信制御部２１１はＣＰＵや他クロスバから命令等のパケットを受信する。エラーパケット受信部２１２は受信制御部２１１で受信したパケットのうち、エラー通知パケットのみを受信する。

エラー制御部２１３はエラーパケット受信部２１２で受信したエラー通知パケットを受け取り、エラー通知パケットからパーティション情報を抽出してパーティション番号をチェックしたり、受信したエラー通知パケットを他ポートへ報告するためにクロスバ制御部２０１へ送信したり、またクロスバ制御部２０１から他ポートが受信したエラー通知パケットを受け取ってエラーパケット生成部２１５へエラー通知パケットの発行を指示したりする。

送信制御部２１４は接続されるＣＰＵや他のクロスバにパケットの送信を行う。エラーパケット生成部２１５はエラー制御部２１３から発行指示を受信すると、エラー通知パケットのフォーマットを生成して送信制御部２１４へエラー通知パケットを転送して送信してもらう。トレーサ２１６は受信制御部２１１や送信制御部２１４から動作信号を受け取り、動作履歴を採取する機能である。

図３は図２に示すエラー制御部２１３，２２３，２３３，２４３の構成を示すブロック図である。図３において、エラー制御部２１３，２２３，２３３，２４３は以下に示す構成のエラー制御部３００を備えている。

エラー制御部３００はパーティション情報抽出回路Ａ３０１と、クロスバ送信部３０２と、パーティション情報比較回路Ａ３０３と、自ポートパーティション情報３０４と、ポート内エラー検出制御回路３０５と、ポート／トレーサ停止回路３０６と、パーティション情報比較回路Ｂ３０７と、パーティション情報抽出回路Ｂ３０８と、エラーパケット発行指示回路３０９とから構成されている。

図４は図３のエラー制御部３００の動作を示すフローチャートである。これら図３及び図４を参照してエラー制御部３００の動作について説明する。

パーティション情報抽出回路Ａ３０１は同一ポート内のエラーパケット受信部２１２，２２２，２３２，２４２からエラー通知パケットを受信すると（図４ステップＳ１）、パケット内から障害が発生したパーティション情報を抜き出し、パーティション情報比較回路Ａ３０３に渡す（図４ステップＳ３）。クロスバ送信部３０２はエラーパケット受信部２１２，２２２，２３２，２４２から受信したエラー通知パケットを他ポートにも報告するためにクロスバ制御部２０１に出力する（図４ステップＳ２）。

パーティション情報比較回路Ａ３０３はパーティション情報抽出回路Ａ３０１から報告されたパーティション情報と、各パーティションの立ち上げ時に設定した自ポートパーティション情報３０４とを比較し（図４ステップＳ４）、自ポートパーティション情報３０４のセットされているビットに一部でも一致する場合に（図４ステップＳ５）、ポート／トレーサ停止回路３０６にトレーサ２１６，２２６，２３６，２４６の停止指示を行い、トレーサ２１６，２２６，２３６，２４６が動作履歴の採取を停止する（図４ステップＳ６）。

また、パーティション情報比較回路Ａ３０３は自ポートパーティション情報３０４の１にセットされている全ビットに対して、パーティション情報抽出回路Ａ３０１から報告されたパーティション情報がすべて１であった場合（図４ステップＳ７）、インタフェースを使用しているパーティションが全て障害を起こしたことになり、インタフェースを動作し続ける必要がないので、ポート／トレーサ停止回路３０６へポートの動作停止指示を行う（図４ステップＳ８）。

自ポートパーティション情報３０４は最大パーティション数のビット数からなり、各パーティションの立ち上げ時に使用するインタフェースの両端のポート部に対して、パーティション番号に対応するビットをセットし、セットしたパーティションが本インタフェースを使用することを示すことに使用する。

ポート内エラー検出制御回路３０５はポート単位でエラーチェックを管理し、エラーを検出した場合、エラーパケット発行指示回路３０９へエラー通知パケットの発行指示を行う。ポート／トレーサ停止回路３０６はパーティション情報比較回路Ａ３０３またはパーティション情報比較回路Ｂ３０７からのトレーサ停止指示やポートの動作停止指示によって、ポート内の各制御部に停止指示を行う。

パーティション情報比較回路Ｂ３０７はパーティション情報抽出回路Ｂ３０８から報告されたパーティション情報と、各パーティションの立ち上げ時に設定した自ポートパーティション情報３０４とを比較し（図４ステップＳ４）、自ポートパーティション情報３０４のセットされているビットに一部でも一致する場合（図４ステップＳ５）、ポート／トレーサ停止回路３０６にトレーサの停止指示を行う（図４ステップＳ６）。

また、パーティション情報比較回路Ｂ３０７は自ポートパーティション情報３０４の１にセットされている全ビットに対して、パーティション情報抽出回路Ｂ３０８から報告されたパーティション情報がすべて１であった場合（図４ステップＳ７）、インタフェースを使用しているパーティションが全て障害を起こしたことになり、インタフェースを動作し続ける必要がないので、ポート／トレーサ停止回路３０６へポートの動作停止指示を行う（図４ステップＳ８）。

パーティション情報抽出回路Ｂ３０８はエラーパケット発行指示回路３０９経由でエラー通知パケットを受信すると、パケット内から障害が発生したパーティション情報を抜き出し、パーティション情報比較回路Ｂ３０７に渡す。エラーパケット発行指示回路３０９は他ポートからのエラー通知パケットをクロスバ制御部２０１経由で受け取るか、自ポート内の障害によってポート内エラー検出制御回路３０５から発行指示を受け取ると、エラーパケット生成部２１５，２２５，２３５，２４５に対して発行指示を行う。

図２に示すクロスバ２００内の通常命令のパスは、当業者にとってよく知られており、また本発明とは直接関係しないので、その詳細な構成は省略する。尚、本実施例では、図１に示すクロスバ１０１〜１０４によるネットワークの構成として２×２の構成で説明しているが、それ以上の大きいネットワーク構成であってもよく、またクロスバ１０１〜１０４に接続されるＣＰＵ数も図１に示すＣＰＵ数より多くてもまたは少なくても良い。その場合、図２に示すクロスバ２００は４ポートであるが、それより多いポート数や少ないポートとしても良い。

図１のシステム構成で障害が発生した場合の動作について図２及び図３を参照して説明する。図１及び図２のクロスバ内のポート番号は、図の向きを合わせて対応させて使用している。

つまり、クロスバ１０１においては、ポート（Ｐｏｒｔ１）がＣＰＵ１１１に接続され、ポート（Ｐｏｒｔ２）がＣＰＵ１１２に接続され、ポート（Ｐｏｒｔ３）がインタフェース１０５に接続され、ポート（Ｐｏｒｔ４）がインタフェース１０６に接続されている。

クロスバ１０２においては、ポート（Ｐｏｒｔ１）がＣＰＵ１２１に接続され、ポート（Ｐｏｒｔ２）がインタフェース１０５に接続され、ポート（Ｐｏｒｔ３）がＣＰＵ１２２に接続され、ポート（Ｐｏｒｔ４）がインタフェース１０７に接続されている。

クロスバ１０３においては、ポート（Ｐｏｒｔ１）がインタフェース１０６に接続され、ポート（Ｐｏｒｔ２）がＣＰＵ１３２に接続され、ポート（Ｐｏｒｔ３）がインタフェース１０８に接続され、ポート（Ｐｏｒｔ４）がＣＰＵ１３１に接続されている。

クロスバ１０４においては、ポート（Ｐｏｒｔ１）がインタフェース１０７に接続され、ポート（Ｐｏｒｔ２）がインタフェース１０５に接続され、ポート（Ｐｏｒｔ３）がＣＰＵ１４２に接続され、ポート（Ｐｏｒｔ４）がＣＰＵ１４１に接続されている。

まず、システムのパーティション構成について説明する。本実施例のシステム構成は３つのパーティションからなり、パーティション＃１にはＣＰＵ１１１とＣＰＵ１２１とが、パーティション＃２にはＣＰＵ１３１とＣＰＵ１４１とが、パーティション＃３にはＣＰＵ１１２とＣＰＵ１２２とＣＰＵ１３２とＣＰＵ１４２とがそれぞれ割り当てられることとする。

そうすると、インタフェース１０５はパーティション＃１とパーティション＃３とに使用されるので、クロスバ１０１のインタフェース１０５が接続されるポート（Ｐｏｒｔ３）とクロスバ１０２のインタフェース１０５が接続されるポート（Ｐｏｒｔ２）とがそれぞれ持つ自ポートパーティション情報３０４には、パーティション＃１とパーティション＃３とに対応するビットがセットされる。

同様に、インタフェース１０６はパーティション＃３にのみ使用されるので、インタフェース１０６が接続されるクロスバ１０１のポート（Ｐｏｒｔ４）とクロスバ１０３のポート（Ｐｏｒｔ１）とが持つ自ポートパーティション情報３０４には、パーティション＃３に対応するビットがセットされる。

インタフェース１０７もパーティション＃３にのみ使用されるので、インタフェース１０７が接続されるクロスバ１０２のポート（Ｐｏｒｔ４）とクロスバ１０４のポート（Ｐｏｒｔ１）とが持つ自ポートパーティション情報３０４には、パーティション＃３に対応するビットがセットされる。

インタフェース１０８はパーティション＃２とパーティション＃３とに使用されるので、インタフェース１０８が接続されるクロスバ１０３のポート（Ｐｏｒｔ３）とクロスバ１０４のポート（Ｐｏｒｔ２）とが持つ自ポートパーティション情報３０４には、パーティション＃２とパーティション＃３とに対応するビットがセットされる。

ＣＰＵが接続されるポート部が持つ自ポートパーティション情報３０４にも、それぞれのＣＰＵが属するパーティションに対応するビットがセットされる。以上のシステムのパーティション構成と立ち上げ時の設定とで、パーティション＃３に属するＣＰＵ１１２にエラーが発生した場合について説明する。

パーティション＃３に属するＣＰＵ１１２で障害が検出されると、ＣＰＵ１１２はパーティション＃３の情報を載せたエラー通知パケットを生成し、そのエラー通知パケットをクロスバ１０１のポート（Ｐｏｒｔ２）に発行する。クロスバ１０１のポート（Ｐｏｒｔ２）内では受信制御部２２１がエラー通知パケットを受信すると、そのエラー通知パケットをエラーパケット受信部２２２を経由してエラー制御部２２３に転送する。

エラー制御部２２３内ではクロスバ送信部３０２を経由して他ポートに送信するためにクロスバ制御２０１へ送信する。同時に、パーティション情報抽出回路Ａ３０１ではエラー通知パケットから障害が発生したパーティション情報を抜き出し、そのパーティション情報をパーティション情報比較回路Ａ３０３へ送る。

クロスバ１０１のポート（Ｐｏｒｔ２）には障害を検出したＣＰＵ１１２が接続されているので、自ポートパーティション情報３０４にはパーティション＃３に対応するビットがセットされている。よって、パーティション情報比較回路Ａ３０３はパーティション情報抽出回路Ａ３０１からの障害パーティション情報と自ポートパーティション情報３０４のパーティション情報との比較結果が一致するため、ポート／トレーサ停止回路３０６に対してポート（Ｐｏｒｔ２）の動作停止指示を行い、クロスバ１０１のポート（Ｐｏｒｔ２）は送受信の動作を停止する。クロスバ制御部２０１へ送信されたエラー通知パケットは、他の３ポートに転送される。

ポート（Ｐｏｒｔ１）ではクロスバ制御部２０１からエラーパケット発行指示回路３０９に受信したエラー通知パケットに対してチェックを行うが、パーティション＃１に属するＣＰＵ１１１が接続されているため、パーティション情報抽出回路Ｂ３０８で抜き出したパーティション情報はパーティション比較回路Ｂ３０７でパーティション情報の比較結果が一致しないため、ポート／トレーサ停止回路３０６へは何もせず、またＣＰＵ１１１に対してもエラー通知パケットの送信を行わない。

ポート（Ｐｏｒｔ３）においては、インタフェース１０５がパーティション＃１とパーティション＃３とに使用されているため、ポート（Ｐｏｒｔ３）内のパーティション比較回路Ｂ３０７ではパーティション情報の比較結果がその一部のみ一致することになるので、ポート／トレーサ停止回路３０６にトレーサ２３６の停止指示だけを行い、トレーサ２３６が動作履歴の採取を停止する。

この場合には、障害に関係ないパーティション＃１が使用しているので、インタフェース１０５の動作を停止することができない。また、パーティション情報の一部でも一致した場合には、その接続先に障害パーティションの装置が接続されている可能性があるため、エラー通知パケットをインタフェース１０５経由でクロスバ１０２へ送出する。

ポート（Ｐｏｒｔ４）では、インタフェース１０６がパーティション＃３にのみ使用されるため、ポート（Ｐｏｒｔ４）内のパーティション比較回路Ｂ３０７ではパーティション情報のすべてを障害と認識することができるので、ポート／トレーサ停止回路３０６にポート（Ｐｏｒｔ４）の動作停止指示を行い、ポート（Ｐｏｒｔ４）のパケット送受信を停止する。

但し、この場合にも、その接続先に障害パーティションの装置が接続されている可能性があるため、インタフェース１０６経由でクロスバ１０３へエラー通知パケットを送出してから動作を停止することとなる。

ポート（Ｐｏｒｔ２）からエラー通知パケットを受け取ったクロスバ１０２は、上記と同様に、各ポートでパーティション情報のチェックを行う。受信したポート（Ｐｏｒｔ２）ではパーティション情報比較回路３０３において、パーティション情報の比較結果がその一部のみ一致するので、トレーサ２２６の停止指示をポート／トレーサ停止回路３０６に行う。

ポート（Ｐｏｒｔ１）はパーティション＃１に属するＣＰＵ１２１が接続されているため、何もしない。ポート（Ｐｏｒｔ３）はパーティション＃３に属するＣＰＵ１２２が接続されるので、パーティション情報比較回路Ｂ３０７において自ポートパーティション情報３０４の全ビットが障害と認識されるので、ポート／トレーサ停止回路３０６へポート（Ｐｏｒｔ３）の停止指示を行い、エラー通知パケットを発行後にポート（Ｐｏｒｔ３）を停止する。

ポート（Ｐｏｒｔ４）はインタフェース１０７がパーティション＃３にのみ使用されるため、ポート（Ｐｏｒｔ４）内のパーティション比較回路Ｂ３０７ではパーティション情報のすべてを障害と認識することができるので、ポート／トレーサ停止回路３０６にポート（Ｐｏｒｔ４）の動作停止指示を行い、エラー通知パケットを送信してからポート（Ｐｏｒｔ４）のパケット送受信を停止する。

クロスバ１０３も、上記のクロスバ１０２と同様に、各ポートでパーティション情報のチェックを行う。クロスバ１０４においてもエラー通知パケットが受信されると、各ポートでチェックを始めるが、クロスバ１０２及びクロスバ１０３の両方からエラー通知パケットを受信する可能性がある。その場合、一度エラー通知パケットを送受信したポートに対しては再度エラー通知パケットを送信しないようにする。

これは、クロスバ１０１〜１０４間のインタフェースを停止するケースでは良いが、パーティション構成によってはクロスバ１０１〜１０４間のインタフェースが停止しないケースもあり、その場合に一度送受信したインタフェースに再度エラー通知パケットを送信してしまうと、永遠にクロスバ１０１〜１０４のネットワーク内をエラー通知パケットが送信され続けてしまうことになるからである。

各ポートの動作はポート（Ｐｏｒｔ１）とポート（Ｐｏｒｔ３）とがパーティション＃３にのみ使用されるので、それらのポート（Ｐｏｒｔ１）及びポート（Ｐｏｒｔ３）の動作を停止する。その場合、ポート（Ｐｏｒｔ３）にはエラー通知パケットを送信し、ポート（Ｐｏｒｔ１）がまだエラー通知パケットを受信していなければ、ポート（Ｐｏｒｔ１）にもエラー通知パケットを送信する。

ポート（Ｐｏｒｔ２）はパーティション＃２とパーティション＃３とによる共用部であるため、パーティション情報は一部しか一致しない。よって、トレーサ２２６のみ停止となり、まだエラー通知パケットを受信していなければ、エラー通知パケットを送信する。ポート（Ｐｏｒｔ４）はパーティション＃２のＣＰＵ１４１が接続されるので、何もしない。

全てのクロスバ１０１〜１０４の全ポートで受信したエラー通知パケットによってパーティション情報がチェックされると、障害を検出したパーティション＃３にのみ関連する装置及びインタフェースが停止することになり、また動作を停止できないが障害パーティションに関連するインタフェースの両端のポート部ではトレーサを停止することができることによって、障害解析に対して有効な情報を採取することができる。

このように、本実施例では、クロスバ１０１〜１０４の各ポート部に使用するパーティション情報を設定しているので、エラー通知パケットを転送する時にパーティション情報を抽出することで、クロスバ１０１〜１０４間のインタフェースの停止の可否を判断することができる。

また、本実施例では、障害パーティションにのみ使用されるクロスバ１０１〜１０４間のインタフェースを停止するので、クロスバ１０１〜１０４内の停止したポート部の障害発生前後の情報を障害解析用に採取することができる。

さらに、本実施例では、動作停止を行うことができないが、障害パーティションに関連するインタフェースの両端のポート部においてトレーサを停止させるので、クロスバ１０１〜１０４内の対象ポート部の動作履歴を障害解析用に採取することができる。

さらにまた、本実施例では、クロスバ１０１〜１０４で障害が発生した場合にクロスバ１０１〜１０４の各ポート部に使用するパーティション情報を設定しているので、クロスバ１０１〜１０４からエラー通知パケットを発行して障害インタフェースに関連するパーティションのみを動作停止とすることができる。

次に、ＣＰＵにおける障害以外に、クロスバのポート部やクロスバ間のインタフェースにおける障害に対してさらに工夫したものを本発明の他の実施例として説明する。本発明の他の実施例の基本的構成は、上記の通りであり、その構成は上述した図１〜図３に示す本発明の一実施例と同様である。尚、図３において、上述した本発明の一実施例では使用しなかったポート内エラー検出制御回路３０５を本実施例では使用する。

システムのパーティション構成と、立ち上げ時の設定も上述した本発明の一実施例と同様とし、パーティション＃１とパーティション＃３とで共用されているクロスバ１０１のポート（Ｐｏｒｔ３）で障害が発生したケースについて以下説明する。

クロスバ１０１のポート（Ｐｏｒｔ３）で障害が発生すると、ポート（Ｐｏｒｔ３）のポート内エラー検出制御回路３０５に障害発生が報告される。ポート内エラー検出制御回路３０５ではクロスバ送信部３０２とエラーパケット発行指示回路３０７とに対して、自ポートパーティション情報３０４からのパーティション情報と一緒に、エラー通知パケットの発行指示を行う。

本実施例では、インタフェース１０５を使用しているのがパーティション＃１とパーティション＃３との２つであるため、エラー通知パケットにも２つのパーティション情報を載せる必要がある。エラー通知パケットのビット構成によっては、パーティション番号をそのまま複数載せるのが厳しい場合もあるため、パーティション情報３０４内と同じく、最大パーティションのビット数を用意してパーティション番号に対応するビットをセットして複数パーティションの情報を転送する方法もある。

クロスバ１０１において、ポート（Ｐｏｒｔ３）はエラーパケット発行指示回路３０７からパーティション情報抽出回路Ｂ３０８にエラー通知パケットが送られ、パーティション情報が抜き取られてパーティション情報比較回路Ｂ３０７で比較される。障害ポートであるため、パーティション情報が一致するので、パーティション情報比較回路Ｂ３０７はポート／トレーサ停止回路３０６へポート（Ｐｏｒｔ３）の停止指示を行い、エラーパケット生成部２３５を経由して送信制御部２３４からクロスバ１０２へエラー通知パケットを送出後、ポート（Ｐｏｒｔ３）の動作を停止する。

また、ポート（Ｐｏｒｔ３）からはエラー通知パケットを送信するが、障害内容によっては、クロスバ１０２へエラー通知パケットを送信することができないケースもある。その場合には、クロスバ１０２のポート（Ｐｏｒｔ２）側でパケットが受信されなくなってインタフェース切断の障害を検出するため、クロスバ１０２側でもエラー通知パケットが生成されて発行され始めるので問題ない。

クロスバ１０１のポート（Ｐｏｒｔ１）及びポート（Ｐｏｒｔ２）にはそれぞれパーティション＃１に属するＣＰＵ１１１とパーティション＃３に属するＣＰＵ１１２とが接続されている。しかしながら、クロスバ制御部２０１経由でポート（Ｐｏｒｔ３）から受信したエラー通知パケットによってパーティション情報抽出回路Ｂ３０８においてパーティション＃１及びパーティション＃３のパーティション情報が抽出されるため、それぞれのポート（Ｐｏｒｔ１）及びポート（Ｐｏｒｔ２）のパーティション情報比較回路Ｂ３０７では自ポートパーティション情報３０４からのパーティション情報が含まれてしまう。

そのため、ポート（Ｐｏｒｔ１）及びポート（Ｐｏｒｔ２）は障害対象となり、それぞれのＣＰＵ１１１及びＣＰＵ１１２へエラー通知パケットを送信してポート／トレーサ停止回路３０６によってポート（Ｐｏｒｔ１）及びポート（Ｐｏｒｔ２）の動作を停止する。ＣＰＵ１１１及びＣＰＵ１１２も受信したエラー通知パケットのパーティション情報によって動作を停止する。ポート（Ｐｏｒｔ４）はパーティション＃３にのみ使用されるため、上記と同様に、エラー通知パケットを送信後、ポート（Ｐｏｒｔ４）の動作を停止する。

ポート（Ｐｏｒｔ２）からエラー通知パケットを受信するか、もしくはポート（Ｐｏｒｔ２）でエラーを検出したクロスバ１０２は、全ポートでパーティション情報をチェックし、全てのポートが障害対象のパーティションに含まれるため、エラー通知パケットを送信後、全てのポートの動作を停止する。但し、ポート（Ｐｏｒｔ２）においてはエラー通知パケットを受信している場合、再度エラー通知パケットの発行を行わない。

ポート（Ｐｏｒｔ１）からエラー通知パケットを受信したクロスバ１０３は、全てのポートでパーティション情報をチェックし、ポート（Ｐｏｒｔ１）が障害対象のパーティションに含まれるため、そのままポート（Ｐｏｒｔ１）の動作を停止する。ポート（Ｐｏｒｔ２）はパーティション＃３に属するＣＰＵ１３２が接続されているので、エラー通知パケットを送信後、ポート（Ｐｏｒｔ２）の動作を停止する。

ポート（Ｐｏｒｔ３）では、エラー通知パケットで報告されるパーティション情報がパーティション＃１及びパーティション＃３で、自ポートパーティション情報３０４の設定がパーティション＃２及びパーティション＃３であるため、パーティション情報比較回路Ｂ３０７でパーティション＃３のみ一致するため、トレーサ２３６の停止指示のみポート／トレーサ停止回路３０６へ行い、エラー通知パケットを送信してトレーサ２３６のみ停止する。ポート（Ｐｏｒｔ４）はパーティション＃２に属するＣＰＵ１３１が接続されているため、何もしない。

クロスバ１０４においても、ポート（Ｐｏｒｔ１）またはポート（Ｐｏｒｔ２）からエラー通知パケットを受信すると、各ポートでチェックを始めるが、ポート（Ｐｏｒｔ１）及びポート（Ｐｏｒｔ３）は、パーティション＃３にのみ使用されるので、ポート（Ｐｏｒｔ１）及びポート（Ｐｏｒｔ３）の動作を停止する。その場合、ポート（Ｐｏｒｔ３）にはエラー通知パケットを送信し、ポート（Ｐｏｒｔ１）がまだエラー通知パケットを受信していなければ、ポート（Ｐｏｒｔ１）にエラー通知パケットを送信する。

ポート（Ｐｏｒｔ２）はパーティション＃２とパーティション＃３とによる共用部であるため、パーティション情報はパーティション＃３しか一致しない。よって、トレーサ２２６のみ停止となり、まだエラー通知パケットを受信していなければ、ポート（Ｐｏｒｔ２）にエラー通知パケットを送信する。ポート（Ｐｏｒｔ４）はパーティション＃２のＣＰＵ１４１が接続されるので、パーティション情報も一致しないため、何もしない。

全てのクロスバ１０１〜１０４の全ポートで受信したエラー通知パケットによってパーティション情報がチェックされると、パーティション＃１とパーティション＃３とのどちらかのみ、または両方にのみ関連する装置及びインタフェースが動作を停止したことになり、またパーティション＃１とパーティション＃３とに関係するが、パーティション＃２と共用しているため、動作を停止することができないインタフェースのポート部ではトレーサを停止することによって、障害解析に対して有効な情報を採取することができる。

本発明の一実施例による大規模システムの構成を示すブロック図である。 図１のクロスバの構成を示すブロック図である。 図２に示すエラー制御部の構成を示すブロック図である。 図４は図３のエラー制御部の動作を示すフローチャートである。 従来のクロスバの構成を示すブロック図である。

符号の説明

１０１〜１０４ クロスバ
１０５〜１０８ インタフェース
１１１，１１２，１２１，１２２，
１３１，１３２，１４１，１４２ ＣＰＵ
２００ ４×４クロスバ
２０１ クロスバ制御部
２１１，２２１，２３１，２４１ 受信制御部
２１２，２２２，２３２，２４２ エラーパケット受信部
２１３，２２３，２３３，２４３ エラー制御部
２１４，２２４，２３４，２４４ 送信制御部
２１５，２２５，２３５，２４５ エラーパケット生成部
２１６，２２６，２３６，２４６ トレーサ
３００ エラー制御部
３０１ パーティション情報抽出回路Ａ
３０２ クロスバ送信部
３０３ パーティション情報比較回路Ａ
３０４ 自ポートパーティション情報
３０５ ポート内エラー検出制御回路
３０６ ポート／トレーサ停止回路
３０７ パーティション情報比較回路Ｂ
３０８ パーティション情報抽出回路Ｂ
３０９ エラーパケット発行指示回路
Ｐｏｒｔ１〜Ｐｏｒｔ４ ポート

Claims (20)

1. 複数のクロスバ装置を相互に接続したネットワーク構成からなり、前記複数のクロスバ装置各々に接続された複数の中央処理装置を複数のパーティションに分けて運用するシステムであって、
   前記複数のクロスバ装置各々は、前記クロスバ装置内の外部との接続用の複数のポート各々において前記クロスバ装置が接続されるインタフェースに対して使用されるパーティション情報を保持する保持手段と、受信したエラー通知によって報告された障害に前記複数のポートが関係するかを前記保持手段に保持されたパーティション情報に基づいて識別する比較手段と、前記比較手段で前記障害に関係すると識別されたポートの動作を停止させる停止手段と、前記エラー通知から前記パーティション情報を抽出する抽出手段とを有し、
   前記エラー通知は、前記障害が発生したパーティション情報を含み、
   前記比較手段は、その抽出されたパーティション情報と前記保持手段に保持されたパーティション情報とを比較し、前記障害に関係するポートを検出することを特徴とするシステム。
2. 前記クロスバ装置は、障害箇所に関連するパーティションで使用されているインタフェースだけを動作停止可能とする特徴とする請求項１記載のシステム。
3. 前記ポートの故障が検出された時に関連する装置にエラー通知を発行する発行手段を前記複数のクロスバ装置各々に含むことを特徴とする請求項１または請求項２記載のシステム。
4. 前記保持手段は、前記パーティション単位に立ち上げを行う際に前記ポートにに対して前記クロスバ装置間のインタフェースを使用する時に当該パーティションに対応する前記パーティション情報のビットがセットされた情報を保持することを特徴とする請求項１から請求項３のいずれか記載のシステム。
5. 前記保持手段は、前記インタフェースを複数のパーティションによって共用する際に複数のパーティション情報内の対応するビットがセットされた情報を保持することを特徴とする請求項１から請求項４のいずれか記載のシステム。
6. 前記クロスバ装置内の動作履歴を採取するトレーサを前記複数のクロスバ装置各々に含み、
   前記障害が発生したパーティションとそれ以外のパーティションとが共用しているインタフェースにおいて動作を停止することができない時に前記トレーサのみを停止させてその動作履歴を採取することを特徴とする請求項５記載のシステム。
7. 前記保持手段と、前記比較手段と、前記停止手段と、前記発行手段と、前記抽出手段と、前記トレーサとを前記クロスバ装置内の複数のポート各々に配設したことを特徴とする請求項６記載の大規模システム。
8. 自装置と他の装置とが相互に接続されるネットワーク構成からなり、自装置及び前記他の装置各々に接続される複数の中央処理装置が複数のパーティションに分けて運用されるシステムに用いられるクロスバ装置であって、
   前記クロスバ装置内の外部との接続用の複数のポート各々において前記クロスバ装置が接続されるインタフェースに対して使用されるパーティション情報を保持する保持手段と、受信したエラー通知によって報告された障害に前記複数のポートが関係するかを前記保持手段に保持されたパーティション情報に基づいて識別する比較手段と、前記比較手段で前記障害に関係すると識別されたポートの動作を停止させる停止手段と、前記エラー通知から前記パーティション情報を抽出する抽出手段とを有し、
   前記エラー通知は、前記障害が発生したパーティション情報を含み、
   前記比較手段は、その抽出されたパーティション情報と前記保持手段に保持されたパーティション情報とを比較し、前記障害に関係するポートを検出することを特徴とするクロスバ装置。
9. 障害箇所に関連するパーティションで使用されているインタフェースだけを動作停止可能とする特徴とする請求項８記載のクロスバ装置。
10. 前記ポートの故障が検出された時に関連する装置にエラー通知を発行する発行手段を含むことを特徴とする請求項８または請求項９記載のクロスバ装置。
11. 前記保持手段は、前記パーティション単位に立ち上げを行う際に前記ポートにに対して前記クロスバ装置間のインタフェースを使用する時に当該パーティションに対応する前記パーティション情報のビットがセットされた情報を保持することを特徴とする請求項８から請求項１０のいずれか記載のクロスバ装置。
12. 前記保持手段は、前記インタフェースを複数のパーティションによって共用する際に複数のパーティション情報内の対応するビットがセットされた情報を保持することを特徴とする請求項８から請求項１１のいずれか記載のクロスバ装置。
13. 自装置内の動作履歴を採取するトレーサを含み、
    前記障害が発生したパーティションとそれ以外のパーティションとが共用しているインタフェースにおいて動作を停止することができない時に前記トレーサのみを停止させてその動作履歴を採取することを特徴とする請求項１２記載のクロスバ装置。
14. 前記保持手段と、前記比較手段と、前記停止手段と、前記発行手段と、前記抽出手段と、前記トレーサとを自装置内の複数のポート各々に配設したことを特徴とする請求項１３記載のクロスバ装置。
15. 複数のクロスバ装置を相互に接続したネットワーク構成からなり、前記複数のクロスバ装置各々に接続された複数の中央処理装置を複数のパーティションに分けて運用するシステムに用いる障害通知方法であって、
    前記クロスバ装置側に、前記クロスバ装置内の外部との接続用の複数のポート各々において前記クロスバ装置が接続されるインタフェースに対して使用されるパーティション情報を保持手段に保持する処理と、受信したエラー通知によって報告された障害に前記複数のポートが関係するかを前記保持手段に保持されたパーティション情報に基づいて識別する処理と、前記障害に関係すると識別されたポートの動作を停止させる処理と、前記エラー通知から前記パーティション情報を抽出する処理とを有し、
    前記エラー通知が、前記障害が発生したパーティション情報を含み、
    前記複数のポートが関係するかを識別する処理は、その抽出されたパーティション情報と前記保持手段に保持されたパーティション情報とを比較し、前記障害に関係するポートを検出することを特徴とする障害通知方法。
16. 前記クロスバ装置が、障害箇所に関連するパーティションで使用されているインタフェースだけを動作停止可能とする特徴とする請求項１５記載の障害通知方法。
17. 前記クロスバ装置側に、前記ポートの故障が検出された時に関連する装置にエラー通知を発行する処理を含むことを特徴とする請求項１５または請求項１６記載の障害通知方法。
18. 前記保持手段が、前記パーティション単位に立ち上げを行う際に前記ポートにに対して前記クロスバ装置間のインタフェースを使用する時に当該パーティションに対応する前記パーティション情報のビットがセットされた情報を保持することを特徴とする請求項１５から請求項１７のいずれか記載の障害通知方法。
19. 前記保持手段が、前記インタフェースを複数のパーティションによって共用する際に複数のパーティション情報内の対応するビットがセットされた情報を保持することを特徴とする請求項１５から請求項１８のいずれか記載の障害通知方法。
20. 前記クロスバ装置内の動作履歴を採取するトレーサを前記クロスバ装置に配設し、前記障害が発生したパーティションとそれ以外のパーティションとが共用しているインタフェースにおいて動作を停止することができない時に前記トレーサのみを停止させてその動作履歴を採取することを特徴とする請求項１９記載の障害通知方法。

Images