JP4464872B2 - Computer system and computer control method - Google Patents
Computer system and computer control method Download PDFInfo
- Publication number
- JP4464872B2 JP4464872B2 JP2005172691A JP2005172691A JP4464872B2 JP 4464872 B2 JP4464872 B2 JP 4464872B2 JP 2005172691 A JP2005172691 A JP 2005172691A JP 2005172691 A JP2005172691 A JP 2005172691A JP 4464872 B2 JP4464872 B2 JP 4464872B2
- Authority
- JP
- Japan
- Prior art keywords
- group
- abnormal
- copy
- copy pair
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、ディスク記憶装置間で非同期データ転送によるリモートコピーを行う計算機システムおよび計算機制御方法に関する。 The present invention relates to a computer system and a computer control method for performing remote copy by asynchronous data transfer between disk storage devices.
近年、ハードウェアの処理性能の飛躍的向上やネットワークの高速化等によって、従来は困難であった大量のデータを扱う業務のコンピュータシステム化が、実現されてきている。そして、扱うデータ量が増大するにつれて、データの保全が重要な課題となっている。 2. Description of the Related Art In recent years, computer systems for handling large amounts of data that have been difficult in the past have been realized due to dramatic improvements in hardware processing performance and higher network speeds. As the amount of data handled increases, data maintenance becomes an important issue.
データの保全のためには、業務を止めることなく大切なデータを安全に保護すること、また、万一災害が発生した場合でも短時間でシステムを回復することが必要となる。このような要件を満たすための技術のひとつに、複数のサーバと大型ディスクアレイ装置(DKC:Disk Controller)を用いて構成するHA(High Availability:高可用性)クラスタがある。 In order to preserve data, it is necessary to safely protect important data without stopping operations, and to recover the system in a short time even if a disaster occurs. One technique for satisfying such requirements is an HA (High Availability) cluster configured using a plurality of servers and a large disk array device (DKC: Disk Controller).
HAクラスタ構成では、地震等の災害に備えて遠隔地にあるデータセンタでデータを2重化する。すなわち、あるサイトに設置した大型ディスクアレイ装置のボリューム(正側ボリューム)に格納されるデータを、遠隔地に設置した大型ディスクアレイ装置のボリューム(副側ボリューム)にも格納する。 In the HA cluster configuration, data is duplicated at a remote data center in preparation for a disaster such as an earthquake. That is, data stored in a volume (primary volume) of a large disk array apparatus installed at a certain site is also stored in a volume (secondary volume) of a large disk array apparatus installed at a remote location.
このため通常は、大型ディスクアレイ装置間を接続してホスト装置からの書込みデータを大型ディスクアレイ装置間で転送する方法を用いる。遠隔地にデータを転送してボリュームの複製を作成することをリモートコピーという。
大型ディスクアレイ装置間でデータを転送する方式には、大別すると同期転送方式と非同期転送方式の2種類がある。同期転送方式はデータを転送する度にそのデータの受領を示す情報を転送元が受け取る方式であり、比較的近距離でのデータの転送に適する。一方、非同期転送方式は受領応答を受けないままデータを一方的に転送するもので、遠距離でのデータの転送に適する。
For this reason, a method is generally used in which large disk array devices are connected to transfer write data from a host device between large disk array devices. Making a copy of a volume by transferring data to a remote location is called remote copy.
There are two types of methods for transferring data between large disk array devices: a synchronous transfer method and an asynchronous transfer method. The synchronous transfer method is a method in which a transfer source receives information indicating receipt of data every time data is transferred, and is suitable for data transfer at a relatively short distance. On the other hand, the asynchronous transfer method transfers data unilaterally without receiving a receipt response, and is suitable for data transfer over a long distance.
たとえば、特許文献1では、一般的な非同期型のリモートコピーに関する技術が開示され、また、特許文献2では、グループ単位でコピーペアの時間的一貫性を保つ際の障害回復方法に関する技術が開示されている。
For example,
一般に、リモートコピーをバックアップの目的で使用する際には、状態の一貫性が保たれている正側ボリュームと副側ボリュームが作るコピーペアを複数まとめたグループによる運用を行うことによって、業務ごとにグループ単位で制御を行う。また、グループ単位で制御を行う際には、ハードウェアの機能として複数コピーペアに対する一括操作機能を利用する。グループ単位でのリモートコピーは、コピーペアの形成、コピーペア状態のサスペンド(一時停止)、コピーペア状態のサスペンド状態の回復、コピーペア状態の削除等のグループ操作機能からなる。 In general, when remote copy is used for backup purposes, it is possible to perform operations for each application by operating multiple groups of copy pairs created by the primary volume and secondary volume that maintain consistent state. Control by group. When performing control in units of groups, a batch operation function for a plurality of copy pairs is used as a hardware function. Remote copy in groups consists of group operation functions such as creating a copy pair, suspending the copy pair status (pause), restoring the suspend status of the copy pair status, and deleting the copy pair status.
従来、グループ内のコピーペアの一部に異常が発生した場合に回復運用操作を行うときには、グループ内にて、異常状態であるボリュームをそのグループに残したまま、回復作業を行うため、各異常状態のコピーペアに対して、コピーペア単位での修復を行っている。
しかしながら、一般にグループ単位の非同期リモートコピーにおいては、正常状態のコピーペアと異常状態のコピーペアがDKC上で同一のグループに所属しているため、修復作業を行う際には、正常状態のコピーペアに影響を与えないよう、コピーペア単位での修復を行う必要がある。 However, in general, in group-based asynchronous remote copy, a normal copy pair and an abnormal copy pair belong to the same group on the DKC. It is necessary to perform repair in units of copy pairs so as not to affect the process.
その結果、DKCに対するコピー状態制御コマンド発行回数も増加し、システム全体としての性能にも悪影響を与える。その上、一つのグループ内に正常状態のコピーペアと異常状態のコピーペアが混在するため、管理が複雑になる。また、複数のグループにて同一の原因による異常が発生した場合にも、一つずつ修復を行う必要があるため、効率が悪い。 As a result, the number of copy status control commands issued to the DKC also increases, which adversely affects the performance of the entire system. In addition, since a normal state copy pair and an abnormal state copy pair coexist in one group, management becomes complicated. In addition, when an abnormality due to the same cause occurs in a plurality of groups, it is necessary to perform repairs one by one, which is inefficient.
そこで、本発明は、前記問題点に鑑みてなされたものであり、グループ中に異常状態のコピーペアが発生した場合に、DKCが管理しているそのコピーペアのグループの所属を元のグループから異常グループに変更し、その異常グループ単位で異常回復を行うことで、コピーペアの効率的な異常回復を行うことを目的とする。 Therefore, the present invention has been made in view of the above problems, and when an abnormal copy pair occurs in a group, the affiliation of the group of the copy pair managed by DKC is changed from the original group. The objective is to perform efficient recovery of copy pairs by changing to an abnormal group and performing error recovery for each error group.
前記課題を解決するために、本発明に係る計算機システムは、データを記憶する複数の論理ボリュームを有する第1記憶装置と、前記第1記憶装置に接続され複数の論理ボリュームを有する第2記憶装置と、前記第1記憶装置の論理ボリュームと前記第2記憶装置の論理ボリュームとで構成されたコピーペアを複数まとめたグループごとにコピーペアを管理し、前記グループ内でのコピー状態の時間的一貫性を維持しながら前記コピーペア間で前記第1記憶装置の論理ボリュームのデータを前記第2記憶装置の論理ボリュームにリモートコピーする処理部と、を備えた計算機システムであって、前記処理部は、コピーペアが異常状態となったときに当該コピーペアを所属する前記グループから抜き出して、異常状態のコピーペアを集めるための異常グループに移動し、前記異常グループ単位でコピーペアの異常回復を行う。 In order to solve the above problems, a computer system according to the present invention includes a first storage device having a plurality of logical volumes for storing data, and a second storage device having a plurality of logical volumes connected to the first storage device. And managing copy pairs for each group in which a plurality of copy pairs each composed of the logical volume of the first storage device and the logical volume of the second storage device are grouped, and the copy state within the group is temporally consistent A processing unit that remotely copies the data of the logical volume of the first storage device to the logical volume of the second storage device between the copy pairs while maintaining the copyability, the processing unit comprising: In order to collect copy pairs in an abnormal state by extracting the copy pair from the group to which the copy pair belongs when the copy pair is in an abnormal state Go to abnormal group, an abnormality recovery copy pair in the abnormal group.
本発明によれば、異常状態のコピーペアを効率的に回復させることができる。 According to the present invention, an abnormal copy pair can be efficiently recovered.
以下、本発明の実施形態を、図面を参照しながら詳細に説明する。
図1は、本発明の計算機システムの全体構成例を示す図である。計算機システムは、グループ自動制御機能プログラム101、正側DKC(第1記憶装置)112、副側DKC(第2記憶装置)113および端末121を備えて構成される。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing an example of the overall configuration of a computer system according to the present invention. The computer system includes a group automatic
グループ自動制御機能プログラム101は、正側DKC(ディスク制御装置)112と接続しているホスト装置上でCPU(Central Processing Unit:不図示)などの処理部によって動作するプログラムである。本実施形態では、コピー操作を行うグループ自動制御機能プログラム101は、図示しているように1つであり、この1つのプログラムから副側DKC113上に存在するボリュームに対しても操作可能であるものとするが、2つ以上に分けられたものであってもよい。
The group automatic
正側DKC112および副側DKC113(以下、両方を指す場合は「各DKC」という)は、ディスクアレイ(不図示)を制御する装置であり、ホスト装置からのI/Oや各種命令を、制御下にあるボリューム1121、1131などの論理ボリューム(ディスクアレイを論理的に分割したもの)に作用させる。
The
Consistencyグループ(以下、「C/Tグループ」または「グループ」という)114、115、116は、ハードウェア上で複数のコピーペア間における、データの一貫性を保つためのグループである。コピーペアは、一つのC/Tグループにのみ所属することができ、所属しているC/TグループはC/T IDによって区別される。
C/Tグループ114は、C/T ID “01”の正常C/Tグループであり、コピーペア117とコピーペア118から構成されている。C/Tグループ116は、C/T ID “02”の正常C/Tグループであり、コピーペア119とコピーペア120から構成されている。
Consistency groups (hereinafter referred to as “C / T group” or “group”) 114, 115, 116 are groups for maintaining data consistency among a plurality of copy pairs on hardware. A copy pair can belong to only one C / T group, and the C / T group to which the copy pair belongs is distinguished by a C / T ID.
The C /
C/Tグループ115はC/T ID “F1”の異常C/Tグループであり、コピーペア118とコピーペア119が同一の異常状態となった場合には、この二つのコピーペアから構成される。この場合、正常なC/Tグループ114はコピーペア117のみから、正常なC/Tグループ116はコピーペア119のみから構成されることになり、コピーペア118およびコピーペア119は、異常回復後に再び元のC/Tグループに所属することになる。
The C /
グループ自動制御機能プログラム101は、ペア状態制御コマンド発行部102、状態異常監視部103、回復機能105および制御部110として、ホスト装置上のCPUによって機能するように構成される。
ペア状態制御コマンド発行部102は、指定されたコマンドを各DKCに発行する操作コマンド機能を備えている。
The group automatic
The pair status control
状態異常監視部103は、各DKCから取得したコピーペア情報から、コピーペアの正常または異常の判定を行う。また、状態異常監視部103は、コピーペアの状態によってC/Tグループの変更を行うグループ制御機能104を含む。状態異常監視部103の処理については、図9を用いて後記する。
回復機能105は、異常状態のコピーペアに対して回復処理を実行する機能である。回復機能105の処理については、図10を用いて後記する。
The state
The
制御部110は、グループ自動制御機能プログラム101中にある各機能の制御を行う。また、グループ状態表示画面201(図2参照)、グループ詳細表示画面301(図3参照)、異常グループ詳細表示画面401(図4参照)等、端末121によってユーザに示す画面を作成する画面表示機能111を含む。
The
ペア状態制御コマンド発行部102、状態異常監視部103、回復機能105および制御部110は、それぞれ、グループを管理するグループ管理テーブル106、コピーペアを管理するペア管理テーブル107、異常回復手順(異常回復方法)を管理する回復手順テーブル108、および、C/T IDを管理するC/T ID管理テーブルの相互間で、データのやりとりを行う。
The pair status control
端末121は、画面表示機能111によって作成された画面を表示したり、ユーザがデータを入力したりするものであり、たとえば、パーソナルコンピュータなどの情報機器(表示部を含む)によって実現することができる。
The terminal 121 displays a screen created by the
図2は、図1のグループ管理テーブル106、ペア管理テーブル107、回復手順テーブル108中に設定された情報を元に画面表示機能111が作成した、グループ自動制御機能プログラム101が管理する全グループの状態表示画面イメージ201であり、端末121(図1参照)に表示される。
2 shows all groups managed by the group automatic
正常グループ表示部202では、全正常グループのグループ名203、C/T ID204、現在正常グループに所属している正常状態のコピーペア数205、元々その正常グループに所属していたが現在異常状態であるため異常グループに所属しており回復待機中のコピーペア数206、元々その正常グループに所属していたが現在異常からの回復中状態であるため異常グループに所属しているコピーペア数207を表示している。ユーザが端末121(図1参照)を操作することによってボタン208を押すと、対象正常グループの詳細を表す、グループ詳細表示画面301(図3参照)へと遷移する。
In the normal
異常グループ表示部216では、全異常グループのグループ名209、C/T ID210、異常状態の種類を示す異常状態コード211、現在その異常グループに所属しているコピーペア数212、グループ内の状態を示す状態グループ213、および、対象となる異常グループの回復方法214を表示している。ユーザが端末121(図1参照)を操作することによってボタン215を押すと、対象異常グループの詳細を表す異常グループ詳細表示画面401(図4参照)へと遷移する。
In the abnormal
図3は、図1のグループ管理テーブル106、ペア管理テーブル107、回復手順テーブル108中に設定された情報を元に画面表示機能111が作成した、特定グループの詳細表示画面イメージ301であり、端末121(図1参照)に表示される。
3 is a detailed
グループ状態表示部302では、正常グループ表示部202のグループ名203と同様のグループ名、C/T ID、正常コピーペア数、回復待機中のコピーペア数、回復中コピーペア数を表示している。
ペア一覧表示部303において、正常ペア表示部304では、正常状態であるコピーペアの詳細を表示しており、コピー元(正側)のDKC装置番号(正SN)、正側対象ボリュームのボリューム番号(正VN)、コピー先のDKC装置番号(副SN)、副側対象ボリュームのボリューム番号(副VN)、コピーペア状態(「一時停止」など)から構成されている。
The group
In the pair
異常ペア表示部305では、異常状態であるコピーペアの詳細を表示しており、コピー元(正側)のDKC装置番号(正SN)、正側対象ボリュームのボリューム番号(正VN)、コピー先のDKC装置番号(副SN)、副側対象ボリュームのボリューム番号(副VN)、コピーペア状態(「回復中(6A)」など)、現在異常グループとして登録されている登録先のC/T ID(現ID)から構成されている。
The abnormal
図4は、図1のグループ管理テーブル106、ペア管理テーブル107、回復手順テーブル108中に設定された情報を元に画面表示機能111が作成した、特定異常グループの詳細表示画面イメージ401であり、端末121(図1参照)に表示される。
グループ状態表示部402では、異常グループ表示部216(図2参照)のグループ名209と同様のグループ名、C/T ID、エラーコード(エラー状態コード:異常状態の種類)、グループに所属するコピーペア数を表示している。
4 is a detailed
In the group
原因表示部403では、対象となる異常グループのエラーコードに対応した異常原因を表示している。
回復方法表示部404では、対象となる異常に対する回復方法を表示しており、ここでは回復ボタン4041と縮小運転ボタン4042を表示している。回復ボタン4041は、回復機能105を動作させ、異常状態の回復処理を行うものである。縮小運転ボタン4042は、回復機能105を動作させ、異常状態の回復処理を行い、また、あるグループで使用しているパスを他のグループに割り当てることなどにより、計算機システム全体として縮小運転をさせるものである。
The
The recovery
ペア詳細表示部405では、正側のDKC装置番号(正装置)、正側対象ボリュームのボリューム番号、副側のDKC装置番号(副装置)、副側対象ボリュームのボリューム番号、コピーペア状態(状態)、異常グループに所属する前に所属していた正常グループのC/T ID(元C/T ID)を表示している。
In the pair
次に、図5を参照しながら、グループごとの状態を管理しているグループ管理テーブル106(図1参照)の説明を行う。図5は、グループ管理テーブル106のデータ構成を示す図である。
グループ管理テーブル106は、項番501、各グループのC/T ID502、各グループのグループ名503、各グループの状態(正常/回復中/待機中)を示すグループ状態504、異常グループのエラー状態コード505、各グループのC/T IDに所属しているコピーペア数506、異常グループに対して以前適用したことのある回復手順のコードを示す回復手順コード507から構成されている。
Next, the group management table 106 (see FIG. 1) that manages the status of each group will be described with reference to FIG. FIG. 5 is a diagram illustrating a data configuration of the group management table 106.
The group management table 106 includes an
続いて、図6を参照しながら、コピーペアごとの状態を管理しているペア管理テーブル107(図1参照)の説明を行う。図6は、ペア管理テーブル107のデータ構成を示す図である。
ペア管理テーブル107は、コピーペアの番号を示す項番601、正側DKC装置番号(正装置番号)602、正側ボリューム番号603、副側DKC装置番号(副装置番号)604、副側ボリューム番号605、コピーペアの状態コード606、コピーペアが所属しているC/Tグループの現C/T ID607、および、異常グループに変更する前に所属していた正常グループの元C/T ID608から構成されている。このうち、現C/T ID607と元C/T ID608が同じ値である場合、対象となるコピーペアは正常グループに所属しており、異なる場合は異常グループに所属していることを示す。つまり、現C/T ID607は適宜変更されうるものであるが、元C/T ID608は元の正常グループのC/T IDを示すものであり不変である。
Next, the pair management table 107 (see FIG. 1) that manages the status of each copy pair will be described with reference to FIG. FIG. 6 is a diagram illustrating a data configuration of the pair management table 107.
The pair management table 107 includes an
次に、図7を参照しながら、回復手順を管理している回復手順テーブル108(図1参照)の説明を行う。図7は、回復手順テーブル108のデータ構成を示す図である。
回復手順テーブル108は、回復手順コード701、回復手順コードごとの回復方法702、回復手順に従って発行する発行コマンド703、回復手順の対象となる対象状態コード704、回復手順ごとの実行優先度を示す優先度705から構成されている。
Next, the recovery procedure table 108 (see FIG. 1) managing the recovery procedure will be described with reference to FIG. FIG. 7 is a diagram illustrating a data configuration of the recovery procedure table 108.
The recovery procedure table 108 includes a
続いて、図8を参照しながら、C/T IDを管理しているC/T ID管理テーブル109(図1参照)の説明を行う。図8は、C/T ID管理テーブル109のデータ構成を示す図である。
C/T ID管理テーブル109は、項番801、対象となるC/T ID802、C/T IDの使用状況を示す状態803、C/T IDを使用しているグループのグループ名を示す使用グループ804から構成されている。
Next, the C / T ID management table 109 (see FIG. 1) that manages C / T ID will be described with reference to FIG. FIG. 8 is a diagram illustrating a data configuration of the C / T ID management table 109.
The C / T ID management table 109 includes an
次に、図9を参照しながら、状態異常監視部103による状態異常の監視処理を説明する(適宜図1〜図8参照)。図9は、状態異常監視部103による状態異常の監視処理を示したフローチャートである。
Next, state abnormality monitoring processing by the state
まず、状態異常監視部103は、状態異常の監視処理を開始すると(ステップ901)、ペア管理テーブル107中の全コピーペア(全ペア)に対して、ペア状態制御コマンド発行部102を利用して状態取得コマンドを発行し、全コピーペアの状態コード606を最新のものに更新する(ステップ902)。状態取得コマンドを発行した結果、エラーとなった場合には、そのエラーコードをペア管理テーブル107の状態コード606に設定する。
First, when the state
続いて、状態異常監視部103は、ペア管理テーブル107の全コピーペアを監視対象に設定し(ステップ903)、その全コピーペアに対して、ステップ904以降の処理によりコピーペアの正常異常判定を行う。具体的には、まず、コピーペアの状態コード606が正常なコードであるか、または異常なコードであるかの判定を行い(ステップ904)、異常であった場合には(ステップ904で「いいえ」)、対象コピーペアの現C/T ID607と元C/T ID608が同じであるかの条件、および、現C/T ID607と同じC/T ID502のグループのエラー状態コード505がコピーペアの状態コード606と違うかの条件の2つ条件による判定を行う(ステップ908)。
Subsequently, the status
両条件ともに満たさない場合には(ステップ908で「いいえ」)、状態としての変化は無いためコピーペアの現C/T ID607を変更する必要は無く、次のコピーペアに対する判定へと移る(ステップ906)。どちらかの条件を満たす場合には(ステップ908で「はい」)、ステップ909以降の処理によりコピーペアの変更処理を行う。
If both conditions are not satisfied (“No” in step 908), there is no change in the state, so there is no need to change the current C /
つまり、現C/T ID607と元C/T ID608が同じであれば(ステップで908で「はい」)、対象コピーペアは異常である(ステップ904で「いいえ」なので)にもかかわらず、現C/T ID607が正常グループとして登録されていることになり、ステップ909以降の処理により現C/T ID607を異常グループのC/T IDに変更する必要がある。
また、現C/T ID607と同じC/T ID502のグループのエラー状態コード505が対象コピーペアの状態コード606と違う場合(ステップ908で「はい」)、対象コピーペアの状態コード606が別の異常状態コードに変更されていることになり、ステップ909以降の処理により現C/T ID607を現在の異常状態コードに対応する異常グループのC/T IDに変更する必要がある。
That is, if the current C /
If the
ステップ909において、状態異常監視部103は、コピーペアの変更処理として、はじめに、新たに異常グループを作成する必要があるかどうかを判定するために、グループ管理テーブル106中にコピーペアの状態コード606と同じ値のエラー状態コード505を持つグループの検索を行う、具体的には、ペアと同じコードを持つグループがあるかどうかを判定する。
In
一致するグループが見つからなかった場合には(ステップ909で「いいえ」)、C/T ID管理テーブル109より、状態803が異常グループ用予備であるC/T ID802を検索する(ステップ910)。その後に、ステップ911において、グループ管理テーブル106に対して、見つかったC/T ID802をC/T ID502とする異常グループを追加し、C/T ID管理テーブル109の使用グループ804に追加した異常グループ名を設定する。
If no matching group is found (“No” at step 909), the C / T ID management table 109 is searched for a C /
他方、状態異常監視部103は、変更先として当該C/T ID502を有するグループを見つけた後(ステップ909で「はい」)、または、当該C/T ID502を有するグループを作成した(ステップ911)後には、対象コピーペア(対象ペア)のC/T IDを変更するペア制御コマンドを発行し、対象コピーペアのC/T IDを変更する(ステップ912)。
On the other hand, the state
次に、グループ管理テーブル106中にあるコピーペアの元C/T IDを持つグループのコピーペア数506を一つ減らし、変更後のC/T IDを持つ、グループのコピーペア数506を一つ増加する(ステップ913)。そして、ペア管理テーブル107の現C/T ID607を変更後のC/T IDへと変更する(ステップ914)。変更後は、ステップ906に進み、次のコピーペアに対する処理に移る。
Next, the number of copy pairs 506 of the group having the original C / T ID of the copy pair in the group management table 106 is reduced by one, and the number of copy pairs 506 of the group having the changed C / T ID is decreased by one. Increase (step 913). Then, the current C /
状態異常監視部103は、コピーペアの状態コードが正常であった場合には(ステップ904で「はい」)、コピーペアの現C/T ID607と元C/T ID608が同じであるかどうかで、対象コピーペアが正常グループに属しているのか、異常グループに属しているのかの判定を行う(ステップ905)。もし、正常グループに属しているのであれば(ステップ905で「はい」)、C/T IDを変更する必要は無く、ステップ906に進み、次のコピーペアに対する処理に移る。
If the status code of the copy pair is normal (“Yes” in step 904), the status
状態異常監視部103は、対象コピーペアが異常グループに属している場合(ステップ905で「いいえ」)は、その対象コピーペアが正常状態に回復しているため、その対象コピーペアのC/T IDを変更するペア制御コマンドを発行し、その対象コピーペアのC/T IDを変更する、つまり元のC/T IDに戻す(ステップ915)。
次に、グループ管理テーブル106中にあるコピーペアの現C/T IDを持つグループのコピーペア数506を一つ減らし、変更後のC/T IDを持つグループのコピーペア数506を一つ増加する(ステップ916)。そして、ペア管理テーブル107の現C/T ID607を変更後のC/T IDへと変更する(ステップ917)。変更後は、ステップ906に進み、次のコピーペアに対する処理に移る。
If the target copy pair belongs to the abnormal group (“No” in step 905), the status
Next, the number of copy pairs 506 of the group having the current C / T ID of the copy pair in the group management table 106 is decreased by 1, and the number of copy pairs 506 of the group having the changed C / T ID is increased by 1. (Step 916). Then, the current C /
全てのコピーペアに対して状態コード判定を終了した時点(ステップ906で「はい」)で、状態異常監視部103は処理を終了する。なお、図9では同じ状態コード606を持つ異常状態のコピーペアを同じC/Tグループに登録しているが、状態コードではなく、回復手順が同じ異常状態のコピーペアを同じC/Tグループに登録する方法もある。詳細処理については、図12を用いて後記する。
When the status code determination is completed for all copy pairs (“Yes” in step 906), the status
次に、図10を参照しながら、回復機能105の処理を説明する(適宜図1〜図8参照)。図10は、回復機能105の処理を示すフローチャートである。
回復機能105は、グループ単位で異常状態グループの回復を行う機能であり、回復方法を指定しての呼び出し方と指定しないでの呼び出し方の二通りが存在する。回復方法を指定する場合は、ユーザが端末121を操作することにより行う。
Next, the processing of the
The
回復機能105は、処理を開始すると(ステップ1001)、まず、回復方法の指定があるか否かを判定し(ステップ1002)、回復方法が指定されている場合には(ステップ1002で「はい」)回復作業(ステップ1006)へと進み、指定されていない場合には(ステップ1002で「いいえ」)回復方法検索処理(ステップ1003)へと進む。
When the
ステップ1003において、回復機能105は、回復方法検索処理として、まず、対象となるグループのグループ管理テーブル106の適用回復手順コード507に値が設定されているかどうかを判定する。適用回復手順コード507が設定されていない場合には(ステップ1003で「いいえ」)、回復手順テーブル108より、対象状態コード704にグループのエラー状態コード505が含まれているかつ、最も優先度705が高い回復手順コード701を検索する(ステップ1004)。
In
回復機能105は、適用回復手順コード507が設定されている場合(ステップ1003で「はい」)には、回復手順テーブル108より、対象状態コード704にグループのエラー状態コード505が含まれている、かつ、適用回復手順コード507の優先度705の次に高い優先度705を持つ回復手順コード701を検索する。検索した(ステップ1005)後には、回復方法を指定した場合と同様に回復作業(ステップ1006)へと進む。
When the applicable
つまり、ある回復対象グループに対して、ステップ1004で検索した回復手順コード701に対応する回復方法702によって回復ができなかった場合は、一旦この図10のフローチャートの処理が終わった後、再びこの図10のフローチャートの処理が始まり、ステップ1003からステップ1005に進んだときに、そのステップ1005で検索したその次に優先度の高い回復手順コード701に対応する回復方法702によって回復が試みられる。それでも回復ができなかったときは、同様にして、再度ステップ1005に進んだときに、ステップ1005で検索したその次に優先度の高い回復手順コード701に対応する回復方法702によって回復が試みられ、ということが、回復するまで行われることになる。
That is, if a certain recovery target group cannot be recovered by the
図10のフローチャートに戻って、回復機能105は、回復作業として、回復手順テーブル108から回復手順コード701の発行コマンド703に従い、ペア状態制御コマンド発行部102を使用して、ペア制御コマンドを発行し(ステップ1006)、グループ管理テーブル106の適用回復手順コード507に対して、実行した回復手順701を設定する(ステップ1007)。
Returning to the flowchart of FIG. 10, the
続いて、回復機能105は、先ほど実施したペア制御コマンドが正常に終了したかどうかの判定を行い(ステップ1008)、正常に終了していれば(ステップ1008で「はい」)、グループ管理テーブル106のグループ状態504に対して、回復中を設定する(ステップ1009)。
ステップ1008において、ペア制御コマンドが正常に終了しなかった場合(ステップ1008で「いいえ」)、ステップ1009の処理をスキップし、ステップ1010に進む。
Subsequently, the
If the pair control command does not end normally in step 1008 (“NO” in step 1008), the process of
その後、回復機能105は、状態異常監視部103を呼び出し(ステップ1010)、状態の更新、およびC/T IDの変更を行うことによって、処理を終了する。
なお、この図10のフローチャートによる処理では、1つの異常グループに対する1つの回復手順を試みるごとに、ステップ1010において状態異常監視部103により各状態の更新(図9のフローチャートによる処理)を行うようにしているが、ステップ1010の処理の頻度は適宜変更(低減)してもかまわない。
Thereafter, the
In the process according to the flowchart of FIG. 10, every time one recovery procedure for one abnormality group is attempted, the state
次に、状態コードではなく、回復手順が同じ異常状態のコピーペアを同じC/Tグループに登録する場合のグループ管理テーブル106と状態異常監視部103の処理に関する説明を行う。
まず、図11を参照しながら、回復手順が同じコピーペアを集める場合のグループ管理テーブル106の説明を行う。図11は、その場合のグループ管理テーブル106Aのデータ構成を示した図である。
Next, a description will be given of the processing of the group management table 106 and the state
First, the group management table 106 when collecting copy pairs having the same recovery procedure will be described with reference to FIG. FIG. 11 is a diagram showing a data configuration of the group management table 106A in that case.
グループ管理テーブル106Aは、項番1101、各グループのC/T ID1102、各グループのグループ名1103、各グループの状態(正常/回復中/待機中)を示すグループ状態1104、回復手順コード1105、各グループのC/T IDに所属しているコピーペア数1106、異常グループに対して適用した回復手順の回復手順コード1107から構成している。図5のグループ管理テーブル106からの変更は、エラー状態コード505を削除し、回復手順コード1105を追加していることである。
The group management table 106A includes an
次に、図12を参照しながら、状態異常監視部103が回復手順の同じコピーペアを集める場合における状態異常の監視処理について説明する。図12は、その場合の状態異常の監視処理を示すフローチャートである。
まず、状態異常監視部103は、回復手順検索を開始し(ステップ1201)、ペア管理テーブル107中の全コピーペアに対して、ペア状態制御コマンド発行部102を利用して状態取得コマンドを発行し、全コピーペアの状態コード606を最新のものに更新する(ステップ1202)。状態取得コマンドを発行した結果、エラーとなった場合にはそのエラーコードをペア管理テーブル107の状態コード606に設定する。
Next, with reference to FIG. 12, a description will be given of a state abnormality monitoring process when the state
First, the status
続いて、状態異常監視部103は、ペア管理テーブル107の全コピーペアを監視対象に設定し(ステップ1203)、その全コピーペアに対して、ステップ1204以降の処理によりコピーペアの正常異常判定を行う。具体的には、まず、コピーペアの状態コード606が正常なコードであるか、異常なコードであるかの判定を行い(ステップ1204)、異常であった場合には(ステップ1204で「いいえ」)、対象となるコピーペアが現在所属するグループの適用回復手順コード1107があるかどうかの判定を行う(ステップ1205)。
Subsequently, the status
状態異常監視部103は、適用回復手順コード1107が設定されていない場合(ステップ1205で「いいえ」)には、回復手順テーブル108より、対象状態コード704にコピーペアの状態コード606が含まれているかつ、最も優先度705が高い回復手順コード701を検索する(ステップ1207)。適用回復手順コード1107が設定されている場合(ステップ1205で「はい」)には、回復手順テーブル108より、対象状態コード704にコピーペアの状態コード606が含まれているかつ、適用回復手順コード1107の優先度705の次に高い優先度705を持つ回復手順コード701を検索する(ステップ1206)。
If the applicable
次に、状態異常監視部103は、対象コピーペアの現C/T ID607と元C/T ID608が同じであるかの条件、および現C/T ID607と同じC/T ID1102のグループの回復手順1106が回復手順コードの検索結果と違うかの条件の2つの条件による判定を行う(ステップ1208)。両条件ともに満たさない場合には(ステップ1208で「いいえ」)、状態としての変化は無いためコピーペアの現C/T ID607を変更する必要は無く、ステップ1219に進み、次のコピーペアに対する処理に移る。どちらかの条件を満たす場合には(ステップ1208で「はい」)、コピーペアの変更処理を行う(ステップ1209)。
Next, the state
ステップ1209において、状態異常監視部103は、コピーペアの変更処理として、はじめに、新たに異常グループを作成する必要があるかどうかを判定するために、グループ管理テーブル106A中に検索結果の回復手順と同じ値の回復手順コード1105を持つグループの検索を行う。一致するグループが見つからなかった場合には(ステップ1209で「いいえ」)、C/T ID管理テーブル109より、状態803が異常グループ用予備であるC/T ID802を検索する(ステップ1210)。その後に、グループ管理テーブル106Aに対して、見つかったC/T ID802をC/T ID1102とする異常グループを追加し、C/T ID管理テーブル109の使用グループ804に追加した異常グループ名を設定する(ステップ1211)。
In
他方、状態異常監視部103は、変更先として当該C/T ID502を有するグループを見つけた後(ステップ1209で「はい」)、または、当該C/T ID502を有するグループを作成した(ステップ1211)後には、対象コピーペアのC/T IDを変更するペア制御コマンドを発行し、対象コピーペアのC/T IDを変更する(ステップ1212)。
On the other hand, the state
次に、グループ管理テーブル106A中にあるコピーペアの元C/T IDを持つグループのコピーペア数1106を一つ減らし、変更後のC/T IDを持つグループのコピーペア数1106を一つ増加する(ステップ1213)。そして、ペア管理テーブル107の現C/T ID607を、変更後のC/T IDへと変更する(ステップ1214)。変更後は、ステップ1219に進み、次のコピーペアに対する処理に移る。
Next, the number of copy pairs 1106 of the group having the original C / T ID of the copy pair in the group management table 106A is reduced by 1, and the number of copy pairs 1106 of the group having the changed C / T ID is increased by 1. (Step 1213). Then, the current C /
状態異常監視部103は、ステップ1204にて正常であった場合には(「はい」)、コピーペアの現C/T ID607と元C/T ID608が同じであるかどうかで、対象コピーペアが正常グループに属しているのか、異常グループに属しているのかの判定を行う(ステップ1215)。もし、正常グループに属しているのであれば(ステップ1215で「はい」)、C/T IDを変更する必要は無く、ステップ1219に進み、次のコピーペアに対する処理に移る。
If it is normal in step 1204 (“Yes”), the state
状態異常監視部103は、対象コピーペアが異常グループに属している場合(ステップ1215で「いいえ」)、対象コピーペアは正常状態に回復しているためそのC/T IDを変更するペア制御コマンドを発行し、変更する(ステップ1216)。次に、グループ管理テーブル106A中にあるコピーペアの現C/T IDを持つグループのコピーペア数1106を一つ減らし、変更後のC/T IDを持つグループのコピーペア数1106を一つ増加する(ステップ1217)。そして、ペア管理テーブル107の現C/T ID607を変更後のC/T IDへと変更する(ステップ1218)。変更後は、ステップ1219に進み、次のコピーペアに対する処理に移る。
If the target copy pair belongs to the abnormal group (“No” in step 1215), the status
全てのコピーペアに対して状態コード判定を終了した時点(ステップ1219で「はい」)で、状態異常監視部103は処理を終了する。
この図12の処理を行うことによって、異常の原因が異なるコピーペアも同じC/Tグループに所属させ、同時に回復処理を行うことができる。
When the status code determination is completed for all copy pairs (“Yes” in step 1219), the status
By performing the process of FIG. 12, copy pairs having different causes of anomalies can belong to the same C / T group and can be simultaneously recovered.
次に、図13を参照しながら、非同期リモートコピーにおいて、C/Tグループを変更する機能を持つDKCの内部構成の説明を行う。図13は、グループ変更機能を持つDKCの構成を示す論理ブロック図である。
正側DKC112(図1参照)中の制御装置1302は、ホスト1301からコピーペアの正側ボリューム1305(図1の1121に相当)への書込み要求1303を受け取った場合、DKC内グループ管理テーブル1304に従って、書込み先を決定する。DKC内グループ管理テーブル1304の詳細については、図14にて説明を行う。
Next, the internal configuration of the DKC having the function of changing the C / T group in asynchronous remote copy will be described with reference to FIG. FIG. 13 is a logical block diagram showing a configuration of a DKC having a group change function.
When the
図14を参照しながら、DKC内での各ボリュームに対するコピーペアとグループの管理を行う、DKC内グループ管理テーブル1304の説明を行う(適宜図13参照)。図14は、DKC内グループ管理テーブル1304の構成を示す図である。 Referring to FIG. 14, the DKC group management table 1304 for managing the copy pair and group for each volume in the DKC will be described (see FIG. 13 as appropriate). FIG. 14 is a diagram showing the configuration of the DKC group management table 1304.
DKC内グループ管理テーブル1304は、項番1401、各ボリュームの番号であるボリューム番号1402、各ボリュームとペアを組んでいる組先のDKC装置番号1403、各ボリュームとペアを組んでいる組先のボリューム番号1404、各グループのC/T ID1405、および、対象となるボリュームにおいてグループ変更を行った場合の元C/T ID1406から構成されている。
The intra-DKC group management table 1304 includes an
制御装置1302は、通常時に、ホスト1301からコピーペアの正側ボリューム1305へのデータ書込み要求1303を受け取った場合、コピーペアの正側ボリューム1305と同時にキャッシュメモリ1307にも書込みを行う。キャッシュメモリ1307はC/T番号ごとに領域が設定されており、書込みデータ1308ごとに書込み時刻と書込み先と書込む値を保持している。
When the
また、C/Tグループ内で書込みの順番に一貫性を持たすために、キャッシュメモリ1307内では書込みデータ1308が時系列順に並んでいる。制御装置1302は、キャッシュメモリ1307からコピーペアの副側ボリュームに書込みデータ1308を書込む際には、時系列順に書込みデータ1308をDKC間転送用ケーブル1306経由で、副側ボリュームに書込むことによって、グループ内の書込み順序の一貫性を保つ。
In addition, in order to make the writing order consistent in the C / T group, the
制御装置1302は、グループ変更を行った場合、DKC内グループ管理テーブル1304のC/T ID1405に変更先のC/T IDを設定し、また、元C/T ID1406に変更前のC/T IDを設定する。また、キャッシュメモリ1307にも変更後のC/T IDに対応する領域を確保し、変更後にデータ書込み要求1303を受け取った場合には、キャッシュメモリ中の変更後の領域へと書込みを行う。
When the group is changed, the
なお、制御装置1302は、キャッシュメモリ1307からコピーペアの副側ボリュームに書込みを行う場合、元C/T IDに対応したキャッシュメモリ1307中に対象となるボリュームが同一である書込みデータ1308が無くなったことを確認することによって、元C/Tグループの書込み順序の一貫性が崩れることを防ぐ。
When the
このように、本実施形態の計算機システムによれば、グループ中に異常状態のコピーペアが発生した場合、DKCが管理しているそのコピーペアのグループの所属を元のグループから異常グループに変更し、その際、同一種類の異常状態のコピーペア、または、同一異常回復方法のコピーペアを同じ異常グループへ集め、その異常グループ単位で異常回復を行うことで、コピーペアの効率的な異常回復を行うことができる。 As described above, according to the computer system of this embodiment, when an abnormal copy pair occurs in a group, the group belonging to the copy pair managed by DKC is changed from the original group to the abnormal group. At that time, copy pairs with the same type of error status or copy pairs with the same error recovery method are collected in the same error group, and error recovery is performed in units of the error group, thus enabling efficient error recovery of copy pairs. It can be carried out.
以上で実施形態の説明を終えるが、本発明の態様はこれらに限定されるものではない。たとえば、ハードウェア、各プログラム、各テーブルなどの具体的な構成について、分割や統合など、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。 This is the end of the description of the embodiments, but the aspects of the present invention are not limited to these. For example, specific configurations of hardware, programs, tables, and the like can be changed as appropriate without departing from the spirit of the present invention, such as division and integration.
101 グループ自動制御機能プログラム
102 ペア状態制御コマンド発行部
103 状態異常監視部
104 グループ制御機能
105 回復機能
106 グループ管理テーブル
107 ペア管理テーブル
108 回復手順テーブル
109 C/T ID管理テーブル
110 制御部
111 画面表示機能部
112 正側DKC(ディスク制御装置)
113 副側DKC(ディスク制御装置)
117 正常コピーペア
118 異常コピーペア
119 異常コピーペア
120 正常コピーペア
121 端末
DESCRIPTION OF
113 Secondary DKC (disk controller)
117
Claims (19)
前記処理部は、全コピーペアの正常または異常の状態を更新し、異常状態のコピーペアの1つに対して、まだ異常グループへの移動がなされていないかの条件、および、すでに異常グループに移動している場合にはその異常グループに移動してから異常状態の種類が変更されているかの条件の2つの条件について判断し、
いずれかの前記条件を満たす場合は、そのときの異常状態の種類に対応する異常グループが存在するかを判断し、その異常グループが存在しない場合は新たにその異常グループを設定し、前記異常状態のコピーペアの1つをそのとき所属する前記グループからその異常グループに移動し、
また、前記グループと前記異常グループのコピーペア数を管理するグループ管理テーブルのコピーペア数を更新し、各コピーペアの所属する前記グループと前記異常グループを管理するペア管理テーブルの情報を更新し、さらに、前記異常グループ単位でコピーペアの異常回復を行う
ことを特徴とする計算機システム。 A first storage device having a plurality of logical volumes for storing data, a second storage device having a plurality of logical volumes connected to the first storage device, a logical volume of the first storage device, and the second storage device The copy pair is managed for each group in which a plurality of copy pairs configured with the logical volume are grouped, and the first storage device is copied between the copy pairs while maintaining the temporal consistency of the copy status within the group. A processing unit for remotely copying data of a logical volume to the logical volume of the second storage device,
The processing unit updates the normal or abnormal state of all the copy pairs, and the condition whether or not the move to the abnormal group has not yet been made for one of the abnormal copy pairs, and has already been in the abnormal group. If it has moved, determine the two conditions of whether the type of abnormal state has changed since moving to the abnormal group,
If any of the above conditions is met, it is determined whether there is an abnormal group corresponding to the type of abnormal state at that time. If the abnormal group does not exist, a new abnormal group is set, and the abnormal state is set. Move one of the copy pairs from the group to which it belongs to the abnormal group
In addition, update the number of copy pairs of the group management table that manages the number of copy pairs of the group and the abnormal group, update the information of the pair management table that manages the group and the abnormal group to which each copy pair belongs, Further, the computer system is characterized in that an abnormal recovery of a copy pair is performed in units of the abnormal group.
前記処理部は、コピーペアが異常状態となったときに当該コピーペアを所属する前記グループから抜き出して、異常状態のコピーペアを集めるための異常グループに移動し、前記異常グループ単位でコピーペアの異常回復を行う
ことを特徴とする計算機システム。 A first storage device having a plurality of logical volumes for storing data, a second storage device having a plurality of logical volumes connected to the first storage device, a logical volume of the first storage device, and the second storage device The copy pair is managed for each group in which a plurality of copy pairs configured with the logical volume are grouped, and the first storage device is copied between the copy pairs while maintaining the temporal consistency of the copy status within the group. A processing unit for remotely copying data of a logical volume to the logical volume of the second storage device,
When the copy pair is in an abnormal state, the processing unit extracts the copy pair from the group to which the copy pair belongs, and moves to an abnormal group for collecting the abnormal copy pairs. A computer system characterized by performing abnormal recovery.
前記処理部は、コピーペアが異常状態となったときに当該コピーペアを所属する前記グループから抜き出して、異常状態のコピーペアを集めるための異常グループに移動し、前記異常グループ単位でコピーペアの異常回復を行う
ことを特徴とする計算機制御方法。 A first storage device having a plurality of logical volumes for storing data, a second storage device having a plurality of logical volumes connected to the first storage device, a logical volume of the first storage device, and the second storage device The copy pair is managed for each group in which a plurality of copy pairs configured with the logical volume are grouped, and the first storage device is copied between the copy pairs while maintaining the temporal consistency of the copy status within the group. A computer control method by a computer system comprising: a processing unit that remotely copies data of a logical volume to a logical volume of the second storage device;
When the copy pair is in an abnormal state, the processing unit extracts the copy pair from the group to which the copy pair belongs, and moves to an abnormal group for collecting the abnormal copy pairs. A computer control method characterized by performing abnormality recovery.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005172691A JP4464872B2 (en) | 2005-06-13 | 2005-06-13 | Computer system and computer control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005172691A JP4464872B2 (en) | 2005-06-13 | 2005-06-13 | Computer system and computer control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006350460A JP2006350460A (en) | 2006-12-28 |
| JP4464872B2 true JP4464872B2 (en) | 2010-05-19 |
Family
ID=37646269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005172691A Expired - Fee Related JP4464872B2 (en) | 2005-06-13 | 2005-06-13 | Computer system and computer control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4464872B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4845724B2 (en) * | 2006-12-28 | 2011-12-28 | 株式会社日立製作所 | Storage system with backup function |
-
2005
- 2005-06-13 JP JP2005172691A patent/JP4464872B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006350460A (en) | 2006-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4839091B2 (en) | Database recovery method and computer system | |
| EP1569120B1 (en) | Computer system for recovering data based on priority of the data | |
| US8266401B2 (en) | Storage controller and data management method | |
| US7747830B2 (en) | Backup system with continuous data protection | |
| US8078581B2 (en) | Storage system and remote copy control method | |
| US8332602B2 (en) | Computer system and method of managing status thereof | |
| US7254684B2 (en) | Data duplication control method | |
| EP1507206A2 (en) | Storage operation management program and method and storage management computer | |
| US20180322024A1 (en) | Storage apparatus, storage system, and control method of storage system | |
| JP2005018510A (en) | Data center system and control method thereof | |
| JP2004287648A (en) | External storage device, data recovery method for external storage device, and program | |
| US20090216976A1 (en) | Computer system allowing any computer to copy any storage area within a storage system | |
| US7509467B2 (en) | Storage controller and data management method | |
| US8255649B2 (en) | Remote copy control method and system in storage cluster environment | |
| US20210240351A1 (en) | Remote copy system and remote copy management method | |
| CN118312103A (en) | Distributed cluster data reconstruction method, device and program product | |
| JP4937863B2 (en) | Computer system, management computer, and data management method | |
| JP2018073231A (en) | Storage system and storage device | |
| US20070214334A1 (en) | Storage system | |
| JP5124237B2 (en) | Storage system and storage subsystem | |
| US8131958B2 (en) | Storage system, storage device, and data updating method using a journal volume | |
| JP4464872B2 (en) | Computer system and computer control method | |
| JPH04299435A (en) | Data base equivalent system | |
| JP2008033967A (en) | EXTERNAL STORAGE DEVICE, DATA RECOVERY METHOD FOR EXTERNAL STORAGE DEVICE, AND PROGRAM | |
| CN113076065B (en) | A Fault Tolerant Method for Data Output Fault in High Performance Computing System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070627 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100216 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100219 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140226 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |