JP6919311B2 - プロセッサの障害再現プログラム実行方法、情報処理装置及び実行時間通知プログラム - Google Patents

Description

本発明は、プロセッサの障害再現プログラム実行方法、情報処理装置及び実行時間通知プログラムに関する。

情報通信技術の普及に伴い、情報システムの障害箇所の診断や情報システムの監視等の保守を効果的に行うことが求められている。このような保守に関する技術として、例えば、次の技術がある。

第１の技術として、予め定めた周期で、定期的に、ネットワークを介して送信されてくる当該装置の稼動状況に基づいて、当該装置の故障を予測し、当該装置を使用するユーザへ通知する保守管理サーバを備えた故障予測通知システムに関する技術がある。第１の技術では、保守管理サーバは、装置の属性情報をあらかじめ登録する保守管理データベースを備えている。保守管理サーバは、監視端末から送信されてくる装置の稼動状況に関する情報と、保守監視データベースに登録されている当該装置の属性情報とに基づいて、当該装置の故障の発生を予測する。保守管理サーバは、予測した故障発生予測情報を、当該装置を使用するユーザのユーザ端末に、ネットワークを介して通知する。

これにより、事前に、装置の保守作業や装置を構成する部品の交換作業を効率的に行うことができる。この結果、装置の故障による稼動停止を未然に防止する。

第２の技術として、プログラム障害自動診断装置がある。第２の技術を用いることにより、プログラム異常終了時に異常終了の原因情報及び解決策情報を即座に把握し、解決策実施に至るまでの対応時間が短縮し、稼働システムに与える影響を減少させることができる。また、第２の技術を用いることにより、プログラム経験に左右されずに確かな原因の分析と最適な解決策とを容易に把握できる。

第３の技術として、障害修復の確認方法がある。第３の技術では、電子計算機の本体系、周辺系及び回線系各装置に装置異常が発生した際、ログデータを参照して異常修復を行なう間に、ログデータよりテストデータを自動生成し、テストデータにより装置をテストして修復確認を行なう。

特開２００９−２１７７７０号公報 特開平４−１７５８３４号公報 特開昭６３−７５８４４号公報

中央演算装置（ＣＰＵ）の障害を再現させる方法として、例えば、以下の方法が想定される。

障害発生時に、レジスタ内容、ＣＰＵの障害発生直前の実行命令列、及びＣＰＵ温度の記録を行う。記録されたレジスタ内容、前記直前の実行命令列に基づいて、障害再現プログラムが作成される。障害再現プログラムは、レジスタ内容、前記直前の実行命令列から、障害発生したときのレジスタ内容を再現して、その上で障害発生直前の実行命令列を発行して、ＣＰＵの障害を再現するプログラムである。障害発生時のＣＰＵ温度を再現するために、加熱プログラムが使用される。加熱プログラムは、大きな負荷をＣＰＵに与えて、プロセッサを加熱させるものである。すなわち、加熱プログラムは、ＣＰＵ上でループ実行する消費電力Ｗが測定済みであり、目標のＣＰＵ温度へ到達させるものである。加熱プログラムで障害発生時のＣＰＵの温度を再現させた上で、障害再現プログラムを実施することを、再現テストと呼ぶ。

並列計算装置においては、ジョブスケジューラに対して、ノード（並列計算装置を形成する各計算装置）を占有する予定時間が申請され、ジョブ投入の予約がされる。つまり再現テストを実行するためには、再現テストによるノード占有時間が申請される。

並列計算装置のＣＰＵ温度が原因による障害を再現させるためには、障害再現プログラムを実行する際に、障害が発生した障害発生温度までＣＰＵを加熱プログラムを用いて加熱した後、障害再現プログラムを実行することになる。

上記ジョブ投入予約時の事情により、加熱プログラムを実行したときにＣＰＵ障害発生条件である温度に達するまでの所要時間を、十分正確に推定する必要がある。

しかしながら、加熱プログラムがＣＰＵを障害発生温度まで加熱にかかる時間が分からないため、ジョブスケジューラに再現テストの実行時間を通知することができなかった。

加熱プログラム実行時の、ＣＰＵ温度の推移は、ＣＰＵの種類だけではなく、再現環境の設備や設置された計算機モデルに固有の熱力学的特性に依存するため、容易に見積もれない。また、加熱プログラムを実際に実行して所定の温度になるまでの所要時間を測定しようとする方法は、実行時間（の上限）を事前に十分な精度で見積れないため、採用できない。

本発明は、１つの側面では、ジョブスケジューラに、プロセッサの障害発生時の状態を再現する再現テストジョブの実行時間を通知する技術を提供する。

本願の開示する障害再現プログラム実行方法は、１つの態様において、コンピュータが、次を行う。コンピュータは、第１情報と、第２情報と、第３情報と、第４情報に基づいて、加熱プログラムによる現在の温度から障害発生温度に到達するまでに要する加熱時間を算出する。第１情報は、プロセッサの現在の温度に関する情報である。第２情報は、プロセッサを加熱させる加熱プログラムが実行された際におけるプロセッサの消費電力値及び温度とプロセッサを冷却させる冷却媒体の冷媒温度に関する情報である第３情報は、障害が発生したときの温度である障害発生温度に関する情報である。第４情報は、加熱プログラムを実行させる際のプロセッサの消費電力値に関する情報である。コンピュータは、加熱時間に、障害発生時のプロセッサの状態を再現する障害再現プログラムによる障害再現時間を加えた実行時間を算出する。コンピュータは、ジョブスケジューラに、加熱プログラムと障害再現プログラムの実行のリクエストと共に、実行時間を通知する。

本願の開示する情報処理装置は、１つの態様において、加熱時間算出部と、実行時間算出部と、通知部を含む。加熱時間算出部は、第１情報と、第２情報と、第３情報と、第４情報に基づいて、加熱プログラムによる現在の温度から障害発生温度に到達するまでに要する加熱時間を算出する。第１情報は、プロセッサの現在の温度に関する情報である。第２情報は、プロセッサを加熱させる加熱プログラムが実行された際におけるプロセッサの消費電力値及び温度とプロセッサを冷却させる冷却媒体の冷媒温度に関する情報である第３情報は、障害が発生したときの温度である障害発生温度に関する情報である。第４情報は、加熱プログラムを実行させる際のプロセッサの消費電力値に関する情報である。実行時間算出部は、加熱時間に、障害発生時のプロセッサの状態を再現する障害再現プログラムによる障害再現時間を加えた実行時間を算出する。通知部は、ジョブスケジューラに、加熱プログラムと障害再現プログラムの実行のリクエストと共に、実行時間を通知する。

本願の開示する実行時間通知プログラムは、１つの態様において、コンピュータが、次を行う。コンピュータは、第１情報と、第２情報と、第３情報と、第４情報に基づいて、加熱プログラムによる現在の温度から障害発生温度に到達するまでに要する加熱時間を算出する。第１情報は、プロセッサの現在の温度に関する情報である。第２情報は、プロセッサを加熱させる加熱プログラムが実行された際におけるプロセッサの消費電力値及び温度とプロセッサを冷却させる冷却媒体の冷媒温度に関する情報である第３情報は、障害が発生したときの温度である障害発生温度に関する情報である。第４情報は、加熱プログラムを実行させる際のプロセッサの消費電力値に関する情報である。コンピュータは、加熱時間に、障害発生時のプロセッサの状態を再現する障害再現プログラムによる障害再現時間を加えた実行時間を算出する。コンピュータは、ジョブスケジューラに、加熱プログラムと障害再現プログラムの実行のリクエストと共に、実行時間を通知する。

本発明によれば、１つの側面では、ジョブスケジューラに、プロセッサの障害発生時の状態を再現する再現テストジョブの実行時間を通知する技術を提供することができる。

本実施形態における情報処理装置の一例を示す。 本実施形態の実施例における並列計算装置のハードウェア構成の一例を示す図である。 本実施形態における並列計算装置内で動作するプログラム及び機能の一例を示す図である。 本実施形態における測定値採取ジョブによる各測定値の変化の一例を示す図である。 本実施形態における温度環境ファイルのフォーマット例を示す図である。 本実施形態における全体の処理のフローチャートである。 本実施形態における測定値採取ジョブの処理のフローチャート（その１）である。 本実施形態における測定値採取ジョブの処理のフローチャート（その２）である。 本実施形態における加熱時間推定部が実行する処理のフローチャートである。

図１は、本実施形態における情報処理装置の一例を示す。情報処理装置１００は、加熱時間算出部１０１と、実行時間算出部１０２と、通知部１０３を含む。加熱時間算出部１０１は、第１情報と、第２情報と、第３情報と、第４情報に基づいて、加熱プログラムによる現在の温度から障害発生温度に到達するまでに要する加熱時間を算出する。第１情報は、プロセッサの現在の温度に関する情報である。第２情報は、プロセッサを加熱させる加熱プログラムが実行された際におけるプロセッサの消費電力値及び温度とプロセッサを冷却させる冷却媒体の冷媒温度に関する情報である第３情報は、障害が発生したときの温度である障害発生温度に関する情報である。第４情報は、加熱プログラムを実行させる際のプロセッサの消費電力値に関する情報である。加熱時間算出部１０１の一例としては、後述する加熱時間推定部１４が挙げられる。

実行時間算出部１０２は、加熱時間に、障害発生時のプロセッサの状態を再現する障害再現プログラムによる障害再現時間を加えた実行時間を算出する。実行時間算出部１０２の一例としては、再現テスト投入部１７が挙げられる。

通知部１０３は、ジョブスケジューラに、加熱プログラムと障害再現プログラムの実行のリクエストと共に、実行時間を通知する。通知部１０３の一例としては、再現テスト投入部１７が挙げられる。

このように構成することにより、ジョブスケジューラに、プロセッサの障害発生時の状態を再現する再現テストジョブの実行時間を通知することができる。

加熱時間算出部１０１は、第２情報のうち、プロセッサの消費電力値かつ冷媒温度が一定であり、プロセッサの温度が一定の場合のプロセッサの消費電力値とプロセッサの温度と冷媒温度とから、プロセッサの定常状態におけるプロセッサの第１冷却能力を算出する。加熱時間算出部１０１は、第２情報のうち、プロセッサの消費電力値または冷媒温度が変化し、プロセッサの温度も変化している場合のプロセッサの消費電力値とプロセッサの温度と冷媒温度とから、プロセッサの過渡状態におけるプロセッサの第２冷却能力を算出する。

加熱時間算出部１０１は、第１情報と、第４情報と、第１冷却能力と、第２冷却能力とに基づいて、プロセッサの現在の温度に対して所定時間間隔毎のプロセッサの上昇した温度を累積加算する。加熱時間算出部１０１は、累積加算された温度が障害発生温度に到達した場合、所定時間間隔と累積加算した数とに基づいて、加熱時間を算出する。

このように構成することにより、十分な精度で加熱プログラムによる加熱時間を推定することができる。

以下では、本実施形態について詳述する。
図２は、本実施形態の実施例における並列計算装置のハードウェア構成の一例を示す図である。並列計算装置１は、複数の計算装置（ノード）２、複数のサービスプロセッサ（ＳＶＰ）８、障害管理サーバ９を含む。図２において、ノード２として、ノード２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆがある。ノード２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆそれぞれに関する構成、機能は、対応する添え字（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）が付されている。

ノード２（２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆ）は、ＣＰＵ３（３ａ，３ｂ，３ｃ，３ｄ，３ｅ，３ｆ）、冷媒温度測定部６（６ａ，６ｂ，６ｃ，６ｄ，６ｅ，６ｆ）、メモリ７（７ａ，７ｂ，７ｃ，７ｄ，７ｅ，７ｆ）を含む。

ＣＰＵ３は、プログラムを読み出して実行し、実行したプログラムに基づいて処理を行なったり、ノード２全体を制御したりする。メモリ７は、ＣＰＵ３が実行するプログラムや処理するデータを一時的に保持するための記憶装置である。

ＣＰＵ３（３ａ，３ｂ，３ｃ，３ｄ，３ｅ，３ｆ）は、電力測定部４（４ａ，４ｂ，４ｃ，４ｄ，４ｅ，４ｆ）と、温度測定部５（５ａ，５ｂ，５ｃ，５ｄ，５ｅ，５ｆ）を含む。なお、本実施形態では、電力測定部４及び温度測定部５はＣＰＵ３に内蔵されているが、ＣＰＵ３の外部にあってもよい。

電力測定部４は、ＣＰＵ３の消費電力値を測定する。ＣＰＵ３自体に電力測定部４が保持されている場合は、電力測定部４が、計測した消費電力値を記録する。ＣＰＵ３自体に電力測定部４が無い場合には、ＳＶＰ８のファームウェアである監視プログラムが、ＣＰＵ３に対しての消費電力測定値を記録してもよい。

温度測定部５は、ＣＰＵ３の温度を測定する。ＣＰＵ３自体に温度測定部５が保持されている場合、障害発生時のハードウェアのエラー割り込み処理に温度測定処理を追加する。ＣＰＵ３自体に温度測定部５がない場合、ＣＰＵ３に対しての温度センサが使用されてもよい。この場合、ＳＶＰ８のファームウェアである監視プログラムが、その温度センサを用いて障害発生時のＣＰＵ温度を測定する。

冷媒温度測定部６は、演算処理により発熱したＣＰＵ３を冷却するための冷媒の温度を測定する。ＣＰＵ自体に冷媒温度測定部６が保持されている場合は、冷媒温度測定部６が、計測した冷媒温度を記録する。ＣＰＵ３自体に冷媒温度測定部６が無い場合には、ＣＰＵ３に対しての冷媒温度測定値を、ＳＶＰ８のファームウェアである監視プログラムが記録する。

電力測定部４、温度測定部５、及び冷媒温度測定部６は、測定値採取ジョブ１２によりＣＰＵ温度、ＣＰＵ消費電力、冷媒温度を温度環境ファイルに記録する。電力測定部４、温度測定部５、及び冷媒温度測定部６は、障害発生時の割り込みを契機として、後述する障害時採取プログラム１３によりＣＰＵ温度、ＣＰＵ消費電力、冷媒温度を温度環境ファイルに記録する。

ＳＶＰ８（８ａ，８ｂ）は、各ＣＰＵ３へ制御命令を通知したり、各ノードからの命令や計測情報を受信したりする。ＳＶＰ８（８ａ，８ｂ）は、各ノード２のＣＰＵ３及び冷媒温度測定部６に接続されている。図２では、ＳＶＰ８ａは、ノード２ａ〜ｃのＣＰＵ３ａ〜ｃ及び冷媒温度測定部６ａ〜ｃと接続されている。ＳＶＰ８ｂは、ノード２ｄ〜ｆのＣＰＵ３ｄ〜ｆ及び冷媒温度測定部６ｄ〜ｆと接続されている。

障害管理サーバ９は、並列計算装置１内のハードウェアの障害を管理する。障害管理サーバ９は、ＳＶＰ８（８ａ，８ｂ）と接続されており、ＳＶＰ８から受信したハードウェアに関する障害データを管理する。

図３は、本実施形態における並列計算装置内で動作するプログラム及び機能の一例を示す図である。ノード２は、測定素子１１、測定値採取ジョブ１２、障害時採取プログラム１３を含む。測定素子１１は、電力測定部４、温度測定部５、冷媒温度測定部６の総称である。

測定素子１１が電力測定部４である場合、電力測定部４はＣＰＵ３の消費電力（ＣＰＵ消費電力）を測定値採取ジョブ１２または障害時採取プログラム１３へ送信する。測定素子１１が温度測定部５である場合、温度測定部５はＣＰＵ３の温度（ＣＰＵ温度）を測定値採取ジョブ１２または障害時採取プログラム１３へ送信する。測定素子１１が冷媒温度測定部６である場合、冷媒温度測定部６はＣＰＵ３の冷媒温度を測定値採取ジョブ１２または障害時採取プログラム１３へ送信する。

測定値採取ジョブ１２は、処理がされていない、空き時間中のＣＰＵ３により実行され、稼働するジョブである。測定値採取ジョブ１２は、加熱プログラムを含む。この加熱プログラムはサーバ１９から転送され、ノード２のメモリ（不図示）に記憶されている。加熱プログラムは、大きな負荷をＣＰＵに与えて、プロセッサを加熱させるプログラムである。測定値採取ジョブ１２は、加熱プログラムをＣＰＵ３で稼働させて、稼働したＣＰＵ３の各種計測データを計測する測定素子１１から受信した熱力学的特性データ（ＣＰＵ消費電力、ＣＰＵ温度、冷媒温度）に基づいて、温度環境ファイル１９を生成し、出力する。

障害時採取プログラム１３は、障害発生時にＣＰＵ３により実行されるプログラムである。測定素子１１から受信した熱力学的特性データ（ＣＰＵ消費電力、ＣＰＵ温度、冷媒温度）に基づいて、障害発生時のＣＰＵ温度、ＣＰＵ消費電力、及び冷媒温度を温度環境ファイル１９に記録する。障害時採取プログラム１３は、障害発生後に各情報を採取する。

障害管理サーバ９は、加熱時間推定部１４、加熱プログラム１５、障害再現プログラム１６、再現テスト投入部１７を含む。加熱プログラム１５及び障害再現プログラム１６は、予め障害管理サーバ９に配置される。

加熱時間推定部１４は、ＣＰＵ３から取得した温度環境ファイル１９と加熱プログラムの消費電力Ｗを入力情報として、ＣＰＵ温度が障害発生時の温度と同一になる時間を加熱時間（推定値）として算出する。加熱時間は、障害を再現する際に、障害発生時のＣＰＵ温度に到達するまでの所要時間（推定値）として用いられる。ＣＰＵ３が動作すると発熱する一方で、ＣＰＵ３は液冷により冷却されているため放熱する。ＣＰＵ３の温度が上がり、ＣＰＵ温度と液冷の冷媒の温度との差が大きくなると、液冷によりＣＰＵ３から放出される熱量が増加する。このため、一定の発熱量の環境下では、ＣＰＵ３の発熱量と液冷による放出される熱量が一致するようなＣＰＵ温度に最終的に収束する。

加熱プログラム１５は、大きな負荷をＣＰＵに与えて、プロセッサを加熱させるプログラムであり、障害発生時のＣＰＵ温度を再現するために用いられるものであり、ＣＰＵ３の温度を目標とするＣＰＵ温度へ到達させる。加熱プログラム１５には予めＣＰＵ３によって実行された場合にＣＰＵ３によって消費される消費電力値（消費電力Ｗ）が設定されている。

障害再現プログラム１６は、記録されたレジスタの内容及び障害発生直前の実行命令列に基づいて作成される、その障害が発生したときの状態を再現するプログラムである。

再現テスト投入部１７は、加熱時間推定部１４で算出された加熱時間（推定加熱時間）ｔ１と障害再現プログラム１６の再現実行時間ｔ２とに基づいて、障害再現テストの実行時間（＝ｔ１＋ｔ２）を算出する。再現テスト投入部１７は、算出した障害再現テストの実行時間をジョブスケジューラに予約する。不図示のジョブスケジューラは、例えば、障害管理サーバ９または並列計算装置内の他のサーバ上で稼働する。ジョブスケジューラは、並列計算機内の各ノード２のジョブを管理すると共に、空いているノード２を管理する。

また、再現テスト投入部１７は、ＣＰＵ３上で消費電力Ｗで加熱時間ｔ１で稼働する加熱プログラムと、再現実行時間ｔ２で稼働する障害再現プログラムとをパッケージ化して障害再現確認用プログラムを生成し、ＳＶＰ８またはノード２へ転送する。

ＳＶＰ８は、テスト実行部１８を含む。テスト実行部１８は、ジョブスケジューラからの実行指示に基づいて、障害再現確認用プログラムをＳＶＰ８上で起動し、テスト対象となるノードで障害再現テストの実行を制御する。

図４は、本実施形態における測定値採取ジョブによる各測定値の変化の一例を示す図である。図４において、ＣＰＵ消費電力は実線で示す。ＣＰＵ温度は破線で示す。冷媒温度は二点鎖線で示す。

測定値採取ジョブ１２による、ＣＰＵ消費電力、ＣＰＵ温度、及び冷媒温度は、例えば、図４のように変化する。図４において、横軸は時間軸であり、縦軸は測定値である。期間１、期間２をそれぞれ以下の通り定義する。

定常状態：ＣＰＵ消費電力かつ冷媒温度が一定であり、ＣＰＵ温度が一定
過渡状態：ＣＰＵ消費電力または冷媒温度の測定値の変化により、ＣＰＵ温度が変化中
電力測定部４、温度測定部５、冷媒温度測定部６はそれぞれ、ＣＰＵ消費電力、ＣＰＵ温度、及び冷媒温度を温度環境ファイル１９に記録する。

図５は、本実施形態における温度環境ファイルのフォーマット例を示す図である。温度環境ファイル１９には、測定値採取ジョブ１２の実行時の定常状態測定及び過渡状態測定が記録され、障害時採取プログラム１３により取得された障害発生時の各種測定値（ＣＰＵ消費電力、ＣＰＵ温度、冷媒温度）が記録されている。

障害環境ファイル１９は、「項番」１９−１、「状態」１９−２、「ＣＰＵ温度［℃］」１９−３、「ＣＰＵ消費電力［Ｗ］」１９−４、「冷媒温度［℃］」１９−５の項目を含む。

「項番」１９−１には、温度環境ファイル１９に登録されているレコードの番号が記録されている。「状態」１９−２には、ＣＰＵ３の稼働状態が格納されている。例えば、ＣＰＵ３のＣＰＵ消費電力が０の場合には、「状態」１９−２に「消費０」が記録される。ＣＰＵ３が定常状態の場合には、「状態」１９−２に「定常」が記録される。ＣＰＵ３が過渡状態の場合には、「状態」１９−２に「過渡」が記録される。ＣＰＵ３に障害が発生した場合には、「状態」１９−２に「障害」が記録される。

「ＣＰＵ温度［℃］」１９−３には、ＣＰＵ温度が記録される。「ＣＰＵ消費電力［Ｗ］」１９−４には、ＣＰＵ消費電力が記録される。「冷媒温度［℃］」１９−５には、冷媒温度が記録される。

図６は、本実施形態における全体の処理のフローチャートである。空いているノード２に関して、ＣＰＵ３上において測定値採取ジョブ１２が実行される（Ｓ１）。Ｓ１の詳細については、後述する。実行の結果、測定値採取ジョブ１２は、温度環境ファイル１９を障害管理サーバ９に出力する（Ｓ２）。

並列計算装置１は、障害発生待ちになる（Ｓ３）。ＣＰＵ３に障害が発生すると、ＣＰＵ３は、障害時採取プログラム１３を実行する。実行された障害時採取プログラム１３は、障害発生時のＣＰＵ温度、ＣＰＵ消費電力、及び冷媒温度を温度環境ファイル１９に記録すると共に、その記録したレコードの「状態」１９−２に「障害」を記録する（Ｓ４）。障害時採取プログラム１３は、温度環境ファイル１９を、ＳＶＰ８を介して障害管理サーバ９に出力する。

障害管理サーバ９において、加熱時間推定部１４は、ＣＰＵ３から受信した温度環境ファイル１９と加熱プログラム１５のＣＰＵ消費電力Ｗとを入力情報として、次の処理を行う。すなわち、加熱時間推定部１４は、温度環境ファイル１９と加熱プログラム１５のＣＰＵ消費電力Ｗとに基づいて、加熱プログラム１５が実行されたＣＰＵ温度が障害発生時の温度に到達するまでの推定加熱時間ｔ１を算出する（Ｓ５）。Ｓ５の処理の詳細については、後述する。

加熱時間推定部１４は、算出した推定加熱時間ｔ１を再現テスト投入部１７へ通知する（Ｓ６）。

障害管理サーバ９は、障害再現プログラム１６の実行時間ｔ２を再現テスト投入部１７へ通知する（Ｓ７）。

再現テスト投入部１７は、通知された推定加熱時間ｔ１と障害再現プログラム１６の実行時間ｔ２とに基づいて、再現テストの実行時間（＝推定加熱時間ｔ１＋実行時間ｔ２）を算出する（Ｓ８）。

再現テスト投入部１７は、算出した再現テストの実行時間をジョブスケジューラに投入予約する（Ｓ９）。また、再現テスト投入部１７は、ＣＰＵ３上で消費電力Ｗで加熱時間ｔ１で稼働する加熱プログラムと、再現実行時間ｔ２で稼働する障害再現プログラムとをパッケージ化して障害再現確認用プログラムを生成し、ＳＶＰ８またはノード２へ転送する。

テスト実行部１８は、転送された障害再現確認用プログラムをＳＶＰ８上で起動し、テスト対象のノード２で障害再現テストの実行を制御する。

図７Ａ及び図７Ｂは、本実施形態における測定値採取ジョブの処理のフローチャートである。空きがあるＣＰＵ３において、測定値採取ジョブ１２は稼働する。上述の通り、測定値採取ジョブ１２は加熱プログラムを含む。測定値採取ジョブ１２は、空いているＣＰＵ３を用いて、加熱プログラムを様々な消費電力（０，Ｗa、Ｗｂ，Ｗｃ，・・・；Ｗa、Ｗｂ，Ｗｃはいずれも任意の実数）で実行させて、定常状態及び過渡状態におけるＣＰＵ３の各消費電力でのＣＰＵ温度と冷媒温度を記録する。

測定値採取ジョブ１２は、消費電力０で加熱プログラムを実行する（Ｓ１１）。
測定値採取ジョブ１２は、ＣＰＵ温度、及び冷媒温度を記録する（Ｓ１２）。さらに、測定値採取ジョブ１２は、ＣＰＵ温度、及び冷媒温度を記録する（Ｓ１３）。測定値採取ジョブ１２は、ＣＰＵ温度及び冷媒温度について、前回の測定データと前々回の測定データを比較する（Ｓ１４）。

Ｓ１４での比較の結果、ＣＰＵ温度と冷媒温度のいずれかに変化がある場合（Ｓ１５で「ＮＯ」）、Ｓ１３の処理を行う。Ｓ１４での比較の結果、ＣＰＵ温度と冷媒温度とのいずれにも変化がない場合（Ｓ１５で「ＹＥＳ」）、測定値採取ジョブ１２は、加熱プログラムを実行している消費電力がＷａか否かを判定する（Ｓ１６）。

加熱プログラムを実行している消費電力がＷａでない場合（Ｓ１６で「ＮＯ」）、測定値採取ジョブ１２は、ＣＰＵ温度、ＣＰＵ消費電力、及び冷媒温度を温度環境ファイル１９に記録する（Ｓ１７）。このとき、加熱プログラムを実行している消費電力が０の場合、測定値採取ジョブ１２は、温度環境ファイル１９において、Ｓ１７にて記録したレコードの「状態」１９−２に「消費０」を記録する。測定値採取ジョブ１２は、加熱プログラムを消費電力Ｗａで実行する（Ｓ１８）。その後、Ｓ１２の処理へ戻る。

加熱プログラムを実行している消費電力がＷａである場合（Ｓ１６で「ＹＥＳ」）、測定値採取ジョブ１２は、ＣＰＵ温度、ＣＰＵ消費電力、及び冷媒温度を温度環境ファイル１９に記録する（Ｓ１９）。測定値採取ジョブ１２は、温度環境ファイル１９において、Ｓ１７にて記録したレコードの「状態」１９−２に「定常」を記録する。

測定値採取ジョブ１２は、ＣＰＵ温度、ＣＰＵ消費電力、及び冷媒温度を、一定間隔でＭ−１回、温度環境ファイル１９に記録する（Ｓ２０）と共に、記録したレコードの「状態」１９−２に「定常」を記録する。ここで、Ｍは、定常状態における各種測定値の計測回数である。図５の場合、Ｍ＝３である。

測定値採取ジョブ１２は、加熱プログラムを消費電力Ｗｂで実行する（Ｓ２１）。測定値採取ジョブ１２は、カウンタＮ（Ｎ：整数型の変数）を１で初期化する（Ｓ２２）。Ｎは、温度環境ファイル１９に、過渡時に記録したレコード数を計測するために用いるカウンタ変数である。

測定値採取ジョブ１２は、ＣＰＵ温度、ＣＰＵ消費電力、及び冷媒温度を温度環境ファイル１９に記録する（Ｓ２３）。測定値採取ジョブ１２は、温度環境ファイル１９において、Ｓ２３にて記録したレコードの「状態」１９−２に「過渡」を記録する。

測定値採取ジョブ１２は、一定時間待ち（Ｓ２４）、Ｎをインクリメントする（Ｓ２５）。測定値採取ジョブ１２は、ＣＰＵ温度、ＣＰＵ消費電力、及び冷媒温度を温度環境ファイル１９に記録する（Ｓ２６）。測定値採取ジョブ１２は、温度環境ファイル１９において、Ｓ２３にて記録したレコードの「状態」１９−２に「過渡」を記録する。

測定値採取ジョブ１２は、ＮがＬ以上か否かを判定する（Ｓ２７）。ここで、Ｌは、予め設定された過渡状態における各種測定値の計測回数の閾値である。図５の場合、Ｌ＝３である。Ｎ＜Ｌの場合（Ｓ２７で「ＮＯ」）、測定値採取ジョブ１２は、Ｓ２４の処理を行う。Ｎ≧Ｌの場合（Ｓ２７で「ＹＥＳ」）、測定値採取ジョブ１２は、Ｓ１８の処理を行う。このとき、Ｓ１８において、ＷａをＷｃと読み替え、Ｗｃは、Ｗａとは値の異なるＣＰＵ消費電力である。この場合、Ｓ１６においても、ＷａをＷｃと読み替える。

図８は、本実施形態における加熱時間推定部が実行する処理のフローチャートである。加熱時間推定部１４は、障害時の温度再現に必要な加熱時間の算出を行う。加熱時間推定部１４は、温度環境ファイル１９に記録された、障害発生前のＣＰＵ消費電力Ｗ、ＣＰＵ温度Ｔ_ｃ、冷媒の温度Ｔ_ｆの関係から、冷却能力のパラメータであるＡ，Ｂを算出する。後述するように、Aは熱伝達率ｈと接触面積Ｓの積であり、Ｂは熱容量Ｃに対応する値となる。Ｗ、Ｔ_ｃ、Ｔ_ｆの添え字のｎ、ｎ＋１は図５の温度環境ファイル１９のフォーマット例に示した、項番に対応する値を示す。

まず、加熱時間推定部１４は、加熱プログラム１５を実行したＣＰＵ３の消費電力Ｗを取得する（Ｓ３１）。ＣＰＵ３の消費電力Ｗは予め設定された電力値であり、外部より予め入力される。消費電力Ｗの値は大きいほど、目的温度に到達するまでの時間が短くなるが、並列計算装置１に供給される電力の制限によって上限が定められるものである。ここでは、消費電力Ｗとして、設定可能な消費電力の最大値が設定されている。

加熱時間推定部１４は、温度環境ファイル１９より障害時のＣＰＵ温度を目的温度Ｔ_Ｔとして取得する（Ｓ３２）。図５の場合、「状態」１９−２に「障害」が記録されているレコードに含まれる「ＣＰＵ温度」１９−３の４５℃が目的温度Ｔ_Ｔとして取得される。

加熱時間推定部１４は、温度環境ファイル１９に記録された、定常状態におけるＣＰＵ温度、ＣＰＵ消費電力、及び冷媒温度に基づいて、冷却能力のパラメータであるＡを算出する（Ｓ３３）。Ａは、ＣＰＵ消費電力／（ＣＰＵ温度―冷媒温度）のＭ回分の平均から算出される。図５の例では、項番２〜４の結果からＡ＝｛２０／（３０−２０）＋２０／（３０−２０）＋２０／（３０−２０）｝／３＝２となる。

加熱時間推定部１４は、温度環境ファイル１９に記録された、過渡状態におけるＣＰＵ消費電力Ｗ_ｎ，Ｗ_ｎ＋１、ＣＰＵ温度Ｔ_ｃｎ，Ｔ_ｃｎ＋１、冷媒温度Ｔ_ｆｎ，Ｔ_ｆｎ＋１及びＡに基づいて、冷却能力のパラメータであるＢを算出する（Ｓ３４）。Ｂは、｛（Ｗ_ｎ＋Ｗ_ｎ＋１）−Ａ（Ｔ_ｃｎ＋Ｔ_ｃｎ＋１−Ｔ_ｆｎ−Ｔ_ｆｎ＋１）｝／２（Ｔ_ｃｎ＋１−Ｔ_ｃｎ）のＬ−１回の平均から算出される。図５の例では項番５〜８の結果からＢ≒２．２となる。

加熱時間推定部１４は、カウンタｍを０で初期化する（Ｓ３５）。
加熱時間推定部１４は、算出したＡ，Ｂに基づいて、推定加熱時間ｔ１を算出する。ここで、微分方程式の離散化のために定義した、「定数」の時間刻み幅をΔｔとする。加熱時間推定部１４は、加熱プログラム１５の消費電力Ｗから、Δｔ後の温度を算出する（Ｓ３６）。

Δｔ後の温度Ｔ_ｃ←Ｔ_ｃ＋｛｛Ｗ−Ａ（Ｔ_ｃ−Ｔ_ｆ）｝／Ｂ｝Δｔ
Ｔ_ｃの初期値は、空いているノードのＣＰＵの温度である。

加熱時間推定部１４は、カウンタｍをインクリメントする（Ｓ３７）。
加熱時間推定部１４は、Δｔ後の温度Ｔ_ｃが目標温度Ｔ_Ｔに到達するまで、Δｔ後の温度算出を繰り返す（Ｓ３８で「ＮＯ」）。Δｔ後の温度Ｔ_ｃが目標温度Ｔ_Ｔに到達した場合（Ｓ３８で「ＹＥＳ」）、加熱時間推定部１４は、Δｔの合計値（＝ｍ×Δｔ）を算出し、推定加熱時間ｔ１とする（Ｓ３９）。

なお、パラメータＡ及びＢは図８に記載した通り算出可能であるが、その算出式の背景を参考として以下に記載する。ニュートンの冷却の法則より、流動している冷媒と接したＣＰＵの熱量Ｑの変化は、以下の式で表すことができる。

ｄＱ／ｄｔ＝ｈ（Ｔ_ｃ−Ｔ_ｆ）Ｓ ・・・（１）
ここで、ｈは熱伝達率、Ｔ_ｃはＣＰＵの温度、Ｔ_ｆは冷媒の温度、Ｓは発熱体と冷媒の接触面積である。熱伝達率ｈ、接触面積Ｓ、冷媒の温度Ｔ_ｆの冷却条件は時間変化しないので、式(1)から、ある一定の消費電量Ｗで過熱される定常状態のＣＰＵ温度は、Ｔ_ｆ＋（Ｗ／ｈＳ）となる。図８のフローで求めたＡは、熱伝達率ｈと接触面積Ｓの積に対応する値となる。例えば、ｈ×Ｓ＝Ａとすると、
ｄＱ／ｄｔ＝Ａ（Ｔ_ｃ−Ｔ_ｆ） ・・・（２）
これにより、図８のＳ３４の式が導かれる。

Ｂは、熱容量Ｃに対応する値となる。過渡状態において、ＣＰＵの温度Ｔ_ｃと熱量とは以下の関係式がある。

ｄＱ／ｄｔ＝Ｃ（ｄＴ_ｃ／ｄｔ） ・・・（３）
（２）（３）より、図８のＳ３６の式が導かれる。

ＣＰＵが液冷されているとして以上の説明を行ったが、空冷でも置き換え可能である。
なお、外部より設定される加熱プログラム１５の消費電力Ｗは可変としてもよい。外部的な要因により電力などに制限がある場合には、加熱プログラム１５の消費電力を制限範囲内で最大値とする。加熱プログラムの消費電力Ｗは、加熱時間推定部１４に通知される。

本実施形態によれば、ＣＰＵ障害の発生前後に、ＣＰＵ温度、ＣＰＵ消費電力、及び冷媒温度が、所定の形式を持つ温度環境ファイルとして障害管理サーバ９または並列計算装置１内の所定のサーバに保存される。温度環境ファイル１９は、測定値採取ジョブによって採取される。

障害管理サーバ９は、加熱時間推定部１４により温度環境ファイル１９を入力データとして、加熱プログラム１５により障害発生時の温度を再現するために必要な加熱時間を推定加熱時間ｔ１として出力する。

再現テストジョブは、推定加熱時間の間に加熱プログラム１５を実行した後に障害再現用プログラムを実行するジョブとして、ジョブスケジューラに投入の予約がされる。

ＣＰＵ３において、ノード毎に個別のタイミングで、ジョブが割り当てられていない時に再現テストジョブを実行する。これにより、システム全体のスループットを低下させずに、同一障害の検出率を高める事が可能になり、予防保守を通じてシステムの可用性が向上する。ここで、同一の障害とは、同一のレジスタ内容において、同一の実行命令列が発行された場合に起こり得る可能性のある障害を示す。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

以上の実施の形態に関し、更に以下の付記を開示する。
（付記１）
コンピュータに、
プロセッサの現在の温度に関する第１情報と、前記プロセッサを加熱させる加熱プログラムが実行された際における前記プロセッサの消費電力値及び温度と前記プロセッサを冷却させる冷却媒体の冷媒温度に関する第２情報と、障害が発生したときの温度である障害発生温度に関する第３情報と、前記加熱プログラムを実行させる際の前記プロセッサの消費電力値に関する第４情報に基づいて、前記加熱プログラムによる前記現在の温度から前記障害発生温度に到達するまでに要する加熱時間を算出し、
前記加熱時間に、前記障害発生時の前記プロセッサの状態を再現する障害再現プログラムによる障害再現時間を加えた実行時間を算出し、
ジョブスケジューラに、前記加熱プログラムと前記障害再現プログラムの実行のリクエストと共に、前記実行時間を通知する
ことを特徴とするプロセッサの障害再現プログラム実行方法。
（付記２）
前記加熱時間の算出において、
前記第２情報のうち、前記プロセッサの消費電力値かつ前記冷媒温度が一定であり、前記プロセッサの温度が一定の場合の前記プロセッサの消費電力値と前記プロセッサの温度と前記冷媒温度とから、前記プロセッサの定常状態における前記プロセッサの第１冷却能力を算出し、
前記第２情報のうち、前記プロセッサの消費電力値または前記冷媒温度が変化し、前記プロセッサの温度も変化している場合の前記プロセッサの消費電力値と前記プロセッサの温度と前記冷媒温度とから、前記プロセッサの過渡状態における前記プロセッサの第２冷却能力を算出し、
前記第１情報と、前記第４情報と、前記第１冷却能力と、前記第２冷却能力とに基づいて、前記プロセッサの現在の温度に対して所定時間間隔毎の前記プロセッサの上昇した温度を累積加算し、累積加算された温度が前記障害発生温度に到達した場合、前記所定時間間隔と前記累積加算した数とに基づいて、前記加熱時間を算出する
ことを特徴とする付記１に記載のプロセッサの障害再現プログラム実行方法。
（付記３）
プロセッサの現在の温度に関する第１情報と、前記プロセッサを加熱させる加熱プログラムが実行された際における前記プロセッサの消費電力値及び温度と前記プロセッサを冷却させる冷却媒体の冷媒温度に関する第２情報と、障害が発生したときの温度である障害発生温度に関する第３情報と、前記加熱プログラムを実行させる際の前記プロセッサの消費電力値に関する第４情報に基づいて、前記加熱プログラムによる前記現在の温度から前記障害発生温度に到達するまでに要する加熱時間を算出する加熱時間算出部と、
前記加熱時間に、前記障害発生時の前記プロセッサの状態を再現する障害再現プログラムによる障害再現時間を加えた実行時間を算出する実行時間算出部と、
ジョブスケジューラに、前記加熱プログラムと前記障害再現プログラムの実行のリクエストと共に、前記実行時間を通知する通知部と、
を備えることを特徴とする情報処理装置。
（付記４）
前記加熱時間算出部は、
前記第２情報のうち、前記プロセッサの消費電力値かつ前記冷媒温度が一定であり、前記プロセッサの温度が一定の場合の前記プロセッサの消費電力値と前記プロセッサの温度と前記冷媒温度とから、前記プロセッサの定常状態における前記プロセッサの第１冷却能力を算出し、
前記第２情報のうち、前記プロセッサの消費電力値または前記冷媒温度が変化し、前記プロセッサの温度も変化している場合の前記プロセッサの消費電力値と前記プロセッサの温度と前記冷媒温度とから、前記プロセッサの過渡状態における前記プロセッサの第２冷却能力を算出し、
前記第１情報と、前記第４情報と、前記第１冷却能力と、前記第２冷却能力とに基づいて、前記プロセッサの現在の温度に対して所定時間間隔毎の前記プロセッサの上昇した温度を累積加算し、累積加算された温度が前記障害発生温度に到達した場合、前記所定時間間隔と前記累積加算した数とに基づいて、前記加熱時間を算出する
ことを特徴とする付記３に記載の情報処理装置。
（付記５）
コンピュータに、
プロセッサの現在の温度に関する第１情報と、前記プロセッサを加熱させる加熱プログラムが実行された際における前記プロセッサの消費電力値及び温度と前記プロセッサを冷却させる冷却媒体の冷媒温度に関する第２情報と、障害が発生したときの温度である障害発生温度に関する第３情報と、前記加熱プログラムを実行させる際の前記プロセッサの消費電力値に関する第４情報に基づいて、前記加熱プログラムによる前記現在の温度から前記障害発生温度に到達するまでに要する加熱時間を算出し、
前記加熱時間に、前記障害発生時の前記プロセッサの状態を再現する障害再現プログラムによる障害再現時間を加えた実行時間を算出し、
ジョブスケジューラに、前記加熱プログラムと前記障害再現プログラムの実行のリクエストと共に、前記実行時間を通知する
処理を実行させる実行時間通知プログラム。
（付記６）
前記加熱時間の算出において、
前記第２情報のうち、前記プロセッサの消費電力値かつ前記冷媒温度が一定であり、前記プロセッサの温度が一定の場合の前記プロセッサの消費電力値と前記プロセッサの温度と前記冷媒温度とから、前記プロセッサの定常状態における前記プロセッサの第１冷却能力を算出し、
前記第２情報のうち、前記プロセッサの消費電力値または前記冷媒温度が変化し、前記プロセッサの温度も変化している場合の前記プロセッサの消費電力値と前記プロセッサの温度と前記冷媒温度とから、前記プロセッサの過渡状態における前記プロセッサの第２冷却能力を算出し、
前記第１情報と、前記第４情報と、前記第１冷却能力と、前記第２冷却能力とに基づいて、前記プロセッサの現在の温度に対して所定時間間隔毎の前記プロセッサの上昇した温度を累積加算し、累積加算された温度が前記障害発生温度に到達した場合、前記所定時間間隔と前記累積加算した数とに基づいて、前記加熱時間を算出する
処理を実行させる付記５に記載の実行時間通知プログラム。

１００ 情報処理装置
１０１ 加熱時間算出部
１０２ 実行時間算出部
１０３ 通知部
１ 並列計算装置
２ ノード
３ ＣＰＵ
４ 電力測定部
５ 温度測定部
６ 冷媒温度測定部
７ メモリ
８ ＳＶＰ
９ 障害管理サーバ
１１ 測定素子
１２ 測定値採取ジョブ
１３ 障害時採取プログラム
１４ 加熱時間推定部
１５ 加熱プログラム
１６ 障害再現プログラム
１７ 再現テスト投入部
１８ テスト実行部

Claims (4)

1. コンピュータが、
   プロセッサの現在の温度に関する第１情報と、前記プロセッサを加熱させる加熱プログラムが実行された際における前記プロセッサの消費電力値及び温度と前記プロセッサを冷却させる冷却媒体の冷媒温度に関する第２情報と、障害が発生したときの温度である障害発生温度に関する第３情報と、前記加熱プログラムを実行させる際の前記プロセッサの消費電力値に関する第４情報に基づいて、前記加熱プログラムによる前記現在の温度から前記障害発生温度に到達するまでに要する加熱時間を算出し、
   前記加熱時間に、前記障害発生時の前記プロセッサの状態を再現する障害再現プログラムによる障害再現時間を加えた実行時間を算出し、
   ジョブスケジューラに、前記加熱プログラムと前記障害再現プログラムの実行のリクエストと共に、前記実行時間を通知する
   ことを特徴とするプロセッサの障害再現プログラム実行方法。
2. 前記加熱時間の算出において、
   前記第２情報のうち、前記プロセッサの消費電力値かつ前記冷媒温度が一定であり、前記プロセッサの温度が一定の場合の前記プロセッサの消費電力値と前記プロセッサの温度と前記冷媒温度とから、前記プロセッサの定常状態における前記プロセッサの第１冷却能力を算出し、
   前記第２情報のうち、前記プロセッサの消費電力値または前記冷媒温度が変化し、前記プロセッサの温度も変化している場合の前記プロセッサの消費電力値と前記プロセッサの温度と前記冷媒温度とから、前記プロセッサの過渡状態における前記プロセッサの第２冷却能力を算出し、
   前記第１情報と、前記第４情報と、前記第１冷却能力と、前記第２冷却能力とに基づいて、前記プロセッサの現在の温度に対して所定時間間隔毎の前記プロセッサの上昇した温度を累積加算し、累積加算された温度が前記障害発生温度に到達した場合、前記所定時間間隔と前記累積加算した数とに基づいて、前記加熱時間を算出する
   ことを特徴とする請求項１に記載のプロセッサの障害再現プログラム実行方法。
3. プロセッサの現在の温度に関する第１情報と、前記プロセッサを加熱させる加熱プログラムが実行された際における前記プロセッサの消費電力値及び温度と前記プロセッサを冷却させる冷却媒体の冷媒温度に関する第２情報と、障害が発生したときの温度である障害発生温度に関する第３情報と、前記加熱プログラムを実行させる際の前記プロセッサの消費電力値に関する第４情報に基づいて、前記加熱プログラムによる前記現在の温度から前記障害発生温度に到達するまでに要する加熱時間を算出する加熱時間算出部と、
   前記加熱時間に、前記障害発生時の前記プロセッサの状態を再現する障害再現プログラムによる障害再現時間を加えた実行時間を算出する実行時間算出部と、
   ジョブスケジューラに、前記加熱プログラムと前記障害再現プログラムの実行のリクエストと共に、前記実行時間を通知する通知部と、
   を備えることを特徴とする情報処理装置。
4. コンピュータに、
   プロセッサの現在の温度に関する第１情報と、前記プロセッサを加熱させる加熱プログラムが実行された際における前記プロセッサの消費電力値及び温度と前記プロセッサを冷却させる冷却媒体の冷媒温度に関する第２情報と、障害が発生したときの温度である障害発生温度に関する第３情報と、前記加熱プログラムを実行させる際の前記プロセッサの消費電力値に関する第４情報に基づいて、前記加熱プログラムによる前記現在の温度から前記障害発生温度に到達するまでに要する加熱時間を算出し、
   前記加熱時間に、前記障害発生時の前記プロセッサの状態を再現する障害再現プログラムによる障害再現時間を加えた実行時間を算出し、
   ジョブスケジューラに、前記加熱プログラムと前記障害再現プログラムの実行のリクエストと共に、前記実行時間を通知する
   処理を実行させる実行時間通知プログラム。

Images