JP3744504B2 - Processor device - Google Patents
Processor device Download PDFInfo
- Publication number
- JP3744504B2 JP3744504B2 JP2003097577A JP2003097577A JP3744504B2 JP 3744504 B2 JP3744504 B2 JP 3744504B2 JP 2003097577 A JP2003097577 A JP 2003097577A JP 2003097577 A JP2003097577 A JP 2003097577A JP 3744504 B2 JP3744504 B2 JP 3744504B2
- Authority
- JP
- Japan
- Prior art keywords
- logical
- disk
- data
- access
- logical disk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、記憶制御装置に関し、さらに詳しくは、シーケンシャルアクセスの場合やランダムアクセルでヒット率が低い場合でもアクセス性能を向上することが出来る記憶制御装置およびデータの信頼性を向上することが出来る記憶制御装置に関する。
特に、本発明は、ディスクアレイ向きの高機能ディスク装置、その高機能ディスク装置とディスク制御装置とにより構成される記憶装置サブシステム、およびその記憶装置サブシステムとデータ処理装置とにより構成される情報処理システムに有用である。
【0002】
【従来の技術】
非特許文献1は、ディスクアレイ上のデータ配置に関する技術を開示している。
【0003】
また、特許文献1では、ディスク装置の一部をディスクキャッシュの如く用いる技術が開示されている。具体的には、ディスク装置を一時的にデータを格納するテンポラリ領域と最終的にデータを書き込む領域とに分け、更新データはパリティを生成せずに一旦テンポラリ領域に二重書きし、非同期にパリティ生成し、最終領域に書き込む。
【0004】
一方非特許文献2には、アクセス頻度の違いにより、データを保持するRAIDレベルを動的に変更する技術が開示されている。具体的には、ディスク装置をRAID1構成の部分とRAID5構成の部分に分け、ライトアクセスのあったデータを優先的にRAID1構成の部分に格納するようにデータの格納位置を動的に変更することにより、アクセス頻度の高いデータはRAID1構成の部分に格納し、アクセス頻度の低いものはRAID5構成の部分に格納するように出来る。
この技術によれば、記憶容量の異なる物理ディスク装置やRAIDレベルの異なる物理ディスク装置を記憶装置サブシステム内で混在させることが可能であり、論理ディスク装置内のデータを、そのアクセス頻度やアクセスパターンなどの指標に基づいて、任意の物理ディスク装置に格納することが出来る。また、アクセス頻度の高いデータを、より高速な物理ディスク装置に格納するように、動的に格納位置を変更することも出来る。
なお、RAID1のディスクアレイは、データ処理装置からの書き込みデータに対して、その複製をミラーと呼ばれる副ディスク装置に書き込み、データの信頼性を確保する。冗長データが元のデータの複製であるため、冗長データ作成のオーバヘッドが小さく、アクセス性能が良い。但し、物理的記憶装置の使用効率は、50%と低い。一方、RAID5のディスクアレイは、データ処理装置からの複数の書き込みデータに対して、パリティと呼ばれる冗長データを作成する。パリティ作成時に更新前データと更新前パリティのリードが必要なため、冗長データ作成のオーバヘッドが大きく、アクセス性能は悪い。但し、複数のデータに対して1つのパリティを作成するため、記憶装置の使用効率はRAID1に比べ高い。
【特許文献1】
特開平7−84732号公報
【非特許文献1】
D.Patterson、G.gibson、R.H.Kartz著、「A Case for Redundant Arrays of Inexpensive Disks (RAID)」、ACM SIGMOD Conference,Chicago,IL,(June 1988)、pp.109-116
【非特許文献2】
茂木他、「Hot Mirroring を用いたディスクアレイのディスク故障時の性能評価」、電気情報通信学会技報、1995年12月、 Vol.95-No.407、pp.19-24
【0005】
【発明が解決しようとする課題】
上記従来技術では、アクセスするデータ単位でデータの格納位置の変更を行うため、データ処理装置が直接アクセスを行う論理ディスク装置上では連続なデータが、実際にデータを記憶する物理ディスク装置上では非連続となってしまう。このため、一連のデータをリード/ライトするシーケンシャルアクセスの場合、実際には複数データをまとめてリード/ライトできなくなり、アクセス性能の低下を招く問題点がある。
【0006】
一方、非特許文献2では、ライトの度に、アクセス頻度が低いと判断したデータをRAID1構成の部分からRAID5構成の部分に移し、空いたRAID1構成の部分にライトデータを書き込むため、アクセスパターンがランダムアクセルでヒット率が低い場合には、RAID1構成の部分に移したデータの多くは再びRAID5構成の部分に戻されることになる。このため、ヒット率が低い場合、アクセス性能の向上は期待できず、逆にデータを移す処理のオーバヘッドがアクセス性能の低下を引き起こす問題点がある。
【0007】
また、上記の従来技術では、データの信頼性の向上については全く考慮されていない問題点がある。
【0008】
そこで、本発明の第1の目的は、シーケンシャルアクセスの場合やランダムアクセルでヒット率が低い場合でも、アクセス性能を向上することが出来る記憶制御装置を提供することにある。
また、本発明の第2の目的は、データの信頼性を向上することが出来る記憶制御装置を提供することにある。
【0009】
【課題を解決するための手段】
第1の観点では、本発明は、データ処理装置が直接アクセスを行う論理的記憶装置を実際にデータを記憶する物理的記憶装置に配置し、前記データ処理装置と前記物理的記憶装置の間のデータ転送を制御する記憶制御装置において、予め定めた指標に基づいて前記論理的記憶装置を前記物理的記憶装置に再配置すると共に再配置先の物理的記憶装置にデータを連続的に格納する論理的記憶装置再配置手段を有することを特徴とする記憶制御装置を提供する。
上記第1の観点による記憶制御装置では、アクセスするデータ単位でデータの格納位置の変更を行うのではなく、論理的記憶装置を単位として物理的記憶装置への再配置を行い、且つ、再配置先の物理的記憶装置にデータを連続的に格納する。従って、シーケンシャルアクセスの場合でも、アクセス性能を向上することが出来る。また、ライトの度にデータの格納位置の変更を行うのではなく、予め定めた指標に基づいて前記再配置を行うから、ランダムアクセルでヒット率が低い場合でも、アクセス性能を向上することが出来る。
【0010】
第2の観点では、本発明は、データ処理装置が直接アクセスを行う論理的記憶装置と実際にデータを記憶する物理的記憶装置とを対応付け、前記データ処理装置と前記物理的記憶装置の間のデータ転送を制御する記憶制御装置において、前記データ転送の制御の運用中にデータ処理装置の論理的記憶装置へのアクセス情報を指標として採取するアクセス情報採取手段と、前記指標に基づいて前記論理的記憶装置を前記物理的記憶装置に再配置すると共に再配置先の物理的記憶装置にデータを連続的に格納する論理的記憶装置再配置手段とを有することを特徴とする記憶制御装置を提供する。
上記第2の観点による記憶制御装置では、アクセスするデータ単位でデータの格納位置の変更を行うのではなく、論理的記憶装置を単位として物理的記憶装置への再配置を行い、且つ、再配置先の物理的記憶装置にデータを連続的に格納する。従って、シーケンシャルアクセスの場合でも、アクセス性能を向上することが出来る。また、ライトの度にデータの格納位置の変更を行うのではなく、アクセス情報を採取し、それを統計的に利用して前記再配置を行うから、ランダムアクセルでヒット率が低い場合でも、アクセス性能を向上することが出来る。
【0011】
第3の観点では、本発明は、上記構成の記憶制御装置において、前記アクセス情報が、前記データ処理装置から前記論理的記憶装置へのアクセス頻度情報を含むことを特徴とする記憶制御装置を提供する。
上記第3の観点による記憶制御装置では、アクセス頻度の高い論理的記憶装置をより高速な物理的記憶装置へ再配置することが出来る。従って、アクセス性能を向上することが出来る。
【0012】
第4の観点では、本発明は、上記構成の記憶制御装置において、前記アクセス情報が、前記データ処理装置から前記論理的記憶装置へのアクセスパターン情報を含むことを特徴とする記憶制御装置を提供する。
上記第4の観点による記憶制御装置では、シーケンシャルアクセスの比率の高い論理的記憶装置をよりシーケンシャルアクセス性能の高い物理的記憶装置へ再配置することが出来る。従って、アクセス性能を向上することが出来る。
【0013】
第5の観点では、本発明は、上記構成の記憶制御装置において、前記指標が、前記論理的記憶装置に求められる信頼性であることを特徴とする記憶制御装置を提供する。
上記第5の観点による記憶制御装置では、信頼性が高いことが求められる論理的記憶装置をより信頼性の高い物理的記憶装置へ再配置することが出来る。従って、データの信頼性を向上することが出来る。
【0014】
第6の観点では、本発明は、上記構成の記憶制御装置において、前記指標を保守員に提示する指標提示手段と、保守員からの再配置指示を受け付ける再配置指示受付手段とを具備したことを特徴とする記憶制御装置を提供する。
上記第6の観点による記憶制御装置では、保守員が再配置指示を入力できるため、非常に柔軟に前記再配置を行うことが出来る。
【0015】
第7の観点では、本発明は、上記構成の記憶制御装置において、データ処理装置からの再配置指示を受け付ける再配置指示受付手段を具備したことを特徴とする記憶制御装置を提供する。
上記第7の観点による記憶制御装置では、データ処理装置が再配置指示を入力できるため、保守員では判断不可能な高度の条件下で前記再配置を行うことが出来る。
【0016】
第8の観点では、本発明は、上記構成の記憶制御装置において、前記指標に基づいて再配置の要否を決定する再配置要否決定手段を具備したことを特徴とする記憶制御装置を提供する。
上記第8の観点による記憶制御装置では、記憶制御装置が再配置指示を自己決定するため、保守員やデータ処理装置に負担をかけなくて済む。
【0017】
第9の観点では、本発明は、上記構成の記憶制御装置において、再配置中の論理的記憶装置にデータ処理装置からのアクセスがあったとき、再配置中の論理的記憶装置の再配置完了領域と再配置未完領域とを識別し、前記アクセス位置が前記再配置完了領域ならば再配置先の論理的記憶装置にアクセスさせ、前記アクセス位置が前記再配置未完領域ならば当該論理的記憶装置にアクセスさせるアクセス位置切替手段を具備したことを特徴とする記憶制御装置を提供する。
上記第9の観点による記憶制御装置では、再配置中の論理的記憶装置の再配置完了領域と再配置未完領域とを識別し、データ処理装置からのアクセス位置を切り替えるから、データ処理装置と物理的記憶装置の間のデータ転送を運用中に再配置を行うことが出来る。
【0018】
【発明の実施の形態】
以下、本発明の実施形態を説明する。なお、これにより本発明が限定されるものではない。
【0019】
−第1の実施形態−
第1の実施形態は、各論理ディスク装置のアクセス情報を記憶制御装置で採取し、SVP(サービスプロセッサ)を通じて保守員に提示し、このアクセス情報に基づく保守員の再配置指示により、論理ディスク装置の物理ディスク装置への再配置を行うものである。
【0020】
図1は、本発明の第1の実施形態にかかる記憶制御装置を含む情報処理システムのブロック図である。
この情報処理システム1は、データ処理装置100と、記憶制御装置104と、1台以上の物理ディスク装置105と、SVP111とを接続してなっている。
【0021】
前記データ処理装置100は、CPU101と、主記憶102と、チャネル103とを有している。
【0022】
前記記憶制御装置104は、1つ以上のディレクタ106と、キャッシュメモリ107と、ディレクトリ108と、不揮発性メモリ109と、不揮発性メモリ管理情報110と、論理物理対応情報300と、論理ディスク装置情報400と、アクセス情報500を有している。
前記ディレクタ106は、データ処理装置100のチャネル103と物理ディスク装置105の間のデータ転送、データ処理装置100のチャネル103と前記キャッシュメモリ107の間のデータ転送および前記キャッシュメモリ107と物理ディスク装置105の間のデータ転送を行う。
前記キャッシュメモリ107には、物理ディスク装置105の中のアクセス頻度の高いデータをロードしておく。このロード処理は、前記ディレクタ106が実行する。ロードするデータの具体例は、データ処理装置100のCPU101のアクセス対象データや,このアクセス対象データと物理ディスク装置105上の格納位置が近いデータ等である。
前記ディレクトリ108は、前記キャッシュメモリ107の管理情報を格納する。
前記不揮発性メモリ109は、前記キャッシュメモリ107と同様に、物理ディスク装置105の中のアクセス頻度の高いデータをロードしておく。
前記不揮発性メモリ管理情報110は、前記不揮発性メモリ109の管理情報を格納する。
前記論理物理対応情報300は、各論理ディスク装置(図2の200)が配置されている物理ディスク装置105上の位置および各物理ディスク装置105に配置されている論理ディスク装置(図2の200)を示す情報である。この情報を用いて、データ処理装置100のCPU101のアクセス対象データの物理ディスク装置105上の格納領域の算出などを行う。
前記論理ディスク装置情報400は、各論理ディスク装置(図2の200)のアクセス可否等の状態を示す。
前記アクセス情報500は、各論理ディスク装置(図2の200)のアクセス頻度やアクセスパターンなどの情報である。
【0023】
論理物理対応情報300と論理ディスク情報400は、電源断などによる消失を防ぐために不揮発の媒体に記録する。
【0024】
前記物理ディスク装置105は、データを記録する媒体と、記録されたデータを読み書きする装置とから構成される。
【0025】
前記SVP111は、アクセス情報500の保守員への提示や,保守員からの再配置指示620の入力の受け付けを行う。また、保守員からの情報処理システム1への指示の発信や,情報処理システム1の障害状態等の保守員への提示を行う。
【0026】
図2は、論理ディスク装置200と物理ディスク装置105の関連を表わした図である。
論理ディスク装置200は、データ処理装置100のCPU101が直接アクセスする見掛け上のディスク装置で、アクセス対象データが実際に格納される物理ディスク装置105と対応している。論理ディスク装置200上のデータは、シーケンシャルアクセスを考慮して、物理ディスク装置105上に連続的に配置されている。論理ディスク装置200のデータが配置されている物理ディスク装置105がディスクアレイ構成の場合、該論理ディスク装置200は複数の物理ディスク装置105と対応する。また、物理ディスク装置105の容量が論理ディスク装置200より大きく、複数の論理ディスク装置のデータを1台の物理ディスク装置105に格納できる場合には、該物理ディスク装置105は複数の論理ディスク装置200と対応する。この論理ディスク装置200と物理ディスク装置105の対応は前記論理物理対応情報300で管理される。例えば、データ処理装置100のCPU101が論理ディスク装置200のデータ201をリードする時、記憶制御装置104で論理物理対応情報300に基づき論理ディスク装置200に対応する物理ディスク装置105を求め、その物理ディスク装置105の領域内のデータ格納位置202を求め、データ転送を行う。
【0027】
図3は、論理物理対応情報300を表わした図である。
論理物理対応情報300は、論理ディスク構成情報310と、物理ディスク構成情報320とから構成される。前記論理ディスク構成情報310は、各論理ディスク装置200が配置されている物理ディスク装置105上の領域に関する情報であり、論理ディスク装置200から対応する物理ディスク装置105を求める時に用いる。一方、前記物理ディスク構成情報320は、各物理ディスク装置105に配置されている論理ディスク装置200に関する情報で、物理ディスク装置105から対応する論理ディスク装置200を求める時に用いる。
【0028】
前記論理ディスク構成情報310は、物理ディスク装置グループ311,RAID構成312および開始位置313の組を、論理ディスク装置200の数だけ有している。
前記物理ディスク装置グループ311は、当該論理ディスク装置200が配置されている物理ディスク装置105を示す情報である。
前記RAID構成312は、前記物理ディスク装置グループ311のRAIDレベルを示す。
前記開始位置313は、当該論理ディスク装置200が物理ディスク装置105上で配置されている先頭位置を示す。
【0029】
前記物理ディスク構成情報320は、論理ディスク装置グループ321を、物理ディスク装置105の数だけ有している。
前記論理ディスク装置グループ321は、当該物理ディスク装置105に配置されている論理ディスク装置200を示す。
【0030】
図4は、論理ディスク情報400を表わした図である。
論理ディスク情報400は、論理ディスク状態401と再配置完了ポインタ402とを、論理ディスク装置200の数だけ有している。
前記論理ディスク状態401は、「正常」「閉塞」「フォーマット中」「再配置中」などの論理ディスク装置200の状態を表わす。
前記再配置完了ポインタ402は、前記論理ディスク状態401が「再配置中」の時のみ有効な情報で、当該論理ディスク装置200の再配置処理を完了している領域の次の位置すなわち当該論理ディスク装置200が未だ再配置処理を終えていない領域の先頭位置を示す。「再配置中」におけるデータアクセス時、再配置完了ポインタ402よりも前の領域へのアクセスの場合には、再配置後の物理ディスク装置105へアクセスしなければならない。一方、再配置完了ポインタ402以後の領域へのアクセスの場合には、再配置前の物理ディスク装置105へアクセスしなければならない。
【0031】
図5は、アクセス情報500を表わしている。
アクセス情報500は、アクセス頻度情報501とアクセスパターン情報502とを、論理ディスク装置200の数だけ有している。このアクセス情報500は、記憶制御装置104,データ処理装置100,SVP111のいずれからも参照することが出来る。
前記アクセス頻度情報501は、単位時間あたりの当該論理ディスク装置200へのアクセス回数を管理する。このアクセス頻度情報501は、各論理ディスク装置200の中でアクセス頻度の高いもの又は低いものを求める指標として用いる。
前記アクセスパターン情報502は、当該論理ディスク装置200へのシーケンシャルアクセスとランダムアクセスの割合を管理する。このアクセスパターン情報502は、シーケンシャルアクセスが多く、よりシーケンシャル性能の高い物理ディスク装置105に再配置するのが望ましい論理ディスク装置200を求める指標として用いる。
【0032】
次に、記憶制御装置104の動作を説明する。
図6は、記憶制御装置104の動作を詳細に表わした図である。
まず、リード/ライト処理時の動作について説明する。
ディレクタ106は、通常リード/ライト処理を実行する際、CPU101からチャネル103を経由してCPUからの指示600を受け取る。このCPUからの指示600は、リード(またはライト)対象のレコードが記憶されている論理ディスク装置200を指定する指定情報1と、リード(またはライト)対象のレコードが記憶されている論理ディスク装置200内の位置(トラック,セクタ,レコード)を指定する指定情報2とを含んでいる。
ディレクタ106は、物理ディスク装置上のアクセス位置算出処理(610)で、前記CPUからの指示600と論理物理対応情報300とを用いて、物理ディスク装置105上でのアクセス位置を算出する。この物理ディスク装置アクセス位置算出処理(610)については図8を参照して後で詳述する。
その後、たとえばリード処理では、算出した物理ディスク装置105上のデータ格納位置202のデータをキャッシュメモリ107上に読み上げてデータ201とし、その読み上げたデータ201をチャネル103を通じて主記憶102に転送する。
【0033】
次に、アクセス情報500の採取処理について説明する。
CPU101からのリード/ライト処理のアクセス時に、ディレクタ106は、アクセス対象論理ディスク装置200のアクセス情報500を更新する。
アクセス頻度情報501の採取は、例えば、アクセスの度に内部カウンタをカウントアップしていき、一定時間または一定回数のアクセス経過後のアクセス時に、前記内部ウンタからアクセス頻度を判定する。
アクセスパターン情報502の採取は、例えば、アクセスの度に内部カウンタにシーケンシャルアクセス回数をカウントアップしていき、一定時間または一定回数のアクセス経過後のアクセス時に、前記内部カウンタからアクセスパターンを判定する。
【0034】
次に、再配置指示620を説明する。
保守員は、SVP111を通じて提示されたアクセス情報500を参照して、各論理ディスク装置200の再配置の必要性を検討する。この検討の結果、再配置を決定した論理ディスク装置200があれば、SVP111を通じて記憶制御装置104に対して再配置指示620を出す。
この再配置指示620は、再配置対象の論理ディスク装置200を2つ指定する指示情報1−2からなる。
保守員が行う検討の内容は、後述する第3の実施形態で図10を参照して説明する論理ディスク装置再配置要否決定処理(910)と同様である。
【0035】
次に、論理ディスク装置再配置処理(630)を説明する。
ディレクタ106は、前記再配置指示620を受けて、指定された2つの論理ディスク装置200の間で論理ディスク装置再配置処理(630)を行う。
図7は、論理ディスク装置再配置処理部630の処理フロー図である。
ステップ700では、論理ディスク情報400のうちの指定された2つの論理ディスク装置200の論理ディスク状態401を「再配置中」に設定する。
ステップ701では、論理ディスク情報400のうちの指定された2つの論理ディスク装置200の再配置完了ポインタ402を各論理ディスク装置200の先頭位置に初期化する。
ステップ702では、論理ディスク情報400のうちの指定された2つの論理ディスク装置200の再配置完了ポインタ402をチェックし、全領域の再配置が完了していなければステップ703へ進み、完了していればステップ707へ進む。
【0036】
ステップ703では、再配置完了ポインタ402が示すデータ位置から再配置処理の1回の処理単位分のデータに対して物理ディスク装置105からキャッシュメモリ107上へのデータ転送を行う。ここで、1回の処理単位分のデータ量は、再配置対象の2つの論理ディスク装置200の冗長データ1つに対応する各データ量の最小公倍数に決定される。たとえば、再配置をRAID5の論理ディスク装置200とRAID1の論理ディスク装置200の間で行うならば、RAID1の論理ディスク装置200の冗長データ1つに対応するデータ量は“1”であるから、1回の処理単位分のデータ量は、RAID5の論理ディスク装置200の冗長データ1つに対応するデータ量すなわちパリティ1つに対応するデータ量に決定される。
【0037】
ステップ704では、再配置対象の各論理ディスク装置200の再配置先論理ディスク装置200がパリティを有するRAIDレベルのものである場合、キャッシュメモリ107上の再配置対象の1回の処理単位分のデータ201に対してパリティを生成する。
ステップ705では、キャッシュメモリ107上の再配置対象の1回の処理単位分のデータ201および前記ステップ704で作成したパリティを、再配置先の物理ディスク装置105へ書き込む。
ステップ706では、1回の処理単位分だけ再配置完了ポインタ402を進める。そして、前記ステップ702に戻る。
【0038】
なお、上記ステップ703,704において、データおよびパリティは、不揮発性メモリ109にも転送して二重化し、キャッシュ障害によるデータ消失を防ぐ。この理由は、上記ステップ705での書き込み時に、例えば、第1の論理ディスク装置200と第2の論理ディスク装置200のデータのうち、第1の論理ディスク装置200のデータを物理ディスク装置105(元は第2の論理ディスク装置200に配置されていた物理ディスク装置105)へ書き込んだ段階で障害によりキャッシュメモリ107上のデータがアクセス不能になったとすると、書き込みが終了してない第2の論理ディスク装置200のデータが消失するからである(元は第2の論理ディスク装置200に配置されていた物理ディスク装置105には、上記のように第1の論理ディスク装置200のデータが上書きされてしまっている)。
【0039】
ステップ707では、論理物理対応情報300を更新する。すなわち、論理ディスク構成情報310と物理ディスク構成情報321を変更する。
ステップ708では、論理ディスク情報400の論理ディスク状態401を元の状態に戻し、再配置処理(630)を終了する。
【0040】
次に、物理ディスク装置アクセス位置算出処理(610)を説明する。
図8は、物理ディスク装置アクセス位置算出処理部610の処理フロー図である。
ステップ800では、論理ディスク情報400のうちのアクセス対象論理ディスク装置200の論理ディスク状態401が「再配置中」であるか否かをチェックし、「再配置中」ならばステップ801に進み、「再配置中で」なければステップ803に進む。
【0041】
ステップ801では、論理ディスク情報400のうちのアクセス対象論理ディスク装置200の再配置完了ポインタ402とアクセスデータ位置とを比較し、アクセスデータ位置が再配置完了ポインタ402の指す位置以後ならばステップ802に進み、アクセスデータ位置が再配置完了ポインタ402の指す位置より前ならばステップ803に進む。
【0042】
ステップ802では、当該論理ディスク装置200の再配置先の論理ディスク装置200をアクセス対象にする。そして、ステップ804へ進む。
【0043】
ステップ803では、当該論理ディスク装置200をアクセス対象とする。
【0044】
ステップ804では、アクセス対象の論理ディスク装置200に対応した物理ディスク装置105上でのアクセス位置を、論理物理対応情報300を用いて算出する。
【0045】
以上の第1の実施形態にかかる情報処理システム1および記憶制御装置104によれば、アクセス情報500に基づく保守員の判断により、アクセス頻度の高い論理ディスク装置をより高速な物理ディスク装置へ再配置することが出来る。また、シーケンシャルアクセスの比率の高い論理ディスク装置をよりシーケンシャルアクセス性能の高い物理ディスク装置へ再配置することが出来る。従って、アクセス性能を向上することが出来る。
【0046】
−第2の実施形態−
上記第1の実施形態を変形して、記憶制御装置104からアクセス情報500をデータ処理装置100に提示し、データ処理装置100が再配置要否を決定し記憶制御装置104に再配置指示(620相当)を出すようにしてもよい。
【0047】
−第3の実施形態−
第3の実施形態は、再配置指示をSVP111やデータ処理装置100から受けるのではなく、記憶制御装置104が自己決定するものである。
【0048】
図9は、記憶制御装置104の動作を詳細に表わした図である。
第1の実施形態(図6)との違いは、論理ディスク再配置要否決定処理部910が再配置指示620を出すことである。
【0049】
図10は、上記論理ディスク再配置要否決定処理部910の処理フロー図である。
この論理ディスク再配置要否決定処理(910)は、ディレクタ106が一定周期で各論理ディスク装置200のアクセス情報500を検査して行う。
ステップ1000では、アクセス情報500のアクセス頻度情報501を参照し、アクセス頻度が規定値を超え且つ配置されている物理ディスク装置105が比較的低速なものである論理ディスク装置(以下、これを第1候補論理ディスク装置という)200があるか否かをチェックし、該当する論理ディスク装置200があればステップ1001へ進み、なければステップ1005へ進む。
【0050】
ステップ1001では、前記第1候補論理ディスク装置200のアクセスパターン情報502を参照し、シーケンシャルアクセスの比率が規定値以上であるか否かをチェックし、規定値以上でなければステップ1002へ進み、規定値以上であればステップ1004へ進む。
【0051】
ステップ1002では、前記第1候補論理ディスク装置200より高速な物理ディスク装置105に配置されている論理ディスク装置200のアクセス頻度情報501を参照し、アクセス頻度が規定値以下の論理ディスク装置(以下、これを第2候補論理ディスク装置という)200があるか否かをチェックし、あればステップ1003へ進み、なければステップ1005へ進む。
【0052】
ステップ1003では、前記第1候補論理ディスク装置200と前記第2候補論理ディスク装置200の間で再配置処理(630)が必要であると決定し、再配置指示620を出す。そして、処理を終了する。
【0053】
ステップ1004では、前記第1候補論理ディスク装置200よりシーケンシャル性能の高い物理ディスク装置105に配置されている論理ディスク装置200のアクセスパターン情報502を参照し、シーケンシャルアクセスの比率が規定値以下の論理ディスク装置(以下、これを第2候補論理ディスク装置という)200があるか否かをチェックし、あれば前記ステップ1003へ進み、なければ前記ステップ1002へ進む。
【0054】
ステップ1005では、論理ディスク装置200の再配置処理(630)は不要であると決定する。そして、処理を終了する。
【0055】
以上の第3の実施形態にかかる情報処理システム1および記憶制御装置104によれば、アクセス情報500に基づいて自動的に、アクセス頻度の高い論理ディスク装置をより高速な物理ディスク装置へ再配置することが出来る。また、シーケンシャルアクセスの比率の高い論理ディスク装置をよりシーケンシャルアクセス性能の高い物理ディスク装置へ再配置することが出来る。従って、アクセス性能を向上することが出来る。
【0056】
−第4の実施形態−
上記第1〜第3の実施形態を変形して、アクセス情報500に代えて又は加えて、論理ディスク装置200に要求される信頼性を再配置処理要否決定の指標に用いてもよい。
信頼性を指標に用いれば、論理ディスク装置200上のデータの信頼性を向上させることが出来る。
【0057】
【発明の効果】
本発明の記憶制御装置によれば、シーケンシャルアクセスの場合やランダムアクセルでヒット率が低い場合でも、アクセス性能を向上することが出来る。
また、本発明の記憶制御装置によれば、データの信頼性を向上することが出来る。
【図面の簡単な説明】
【図1】本発明の第1の実施形態にかかる記憶制御装置を含む情報処理システムのブロック図である。
【図2】論理ディスク装置と物理ディスク装置との対応関係の説明図である。
【図3】論理物理対応情報の構成例示図である。
【図4】論理ディスク情報の構成例示図である。
【図5】アクセス情報の構成例示図である。
【図6】本発明の第1の実施形態における記憶制御装置の動作を示すブロック図である。
【図7】論理ディスク装置再配置処理部の処理フロー図である。
【図8】物理ディスク装置アクセス位置算出処理部の処理フロー図である。
【図9】本発明の第3の実施形態における記憶制御装置の動作を示すブロック図である。
【図10】論理ディスク装置再配置要否決定処理部の処理フロー図である。
【符号の説明】
1 …情報処理システム
100…データ処理装置
101…CPU
102…主記憶
103…チャネル
104…記憶制御装置
105…物理ディスク装置
106…ディレクタ
107…キャッシュメモリ
108…キャッシュディレクトリ
109…不揮発性メモリ
110…不揮発性メモリ管理情報
111…SVP
200…論理ディスク装置
201…データ
202…データ格納位置
300…論理物理対応情報
400…論理ディスク情報
500…アクセス情報
600…CPUからの指示
610…物理ディスク装置上のアクセス位置算出処理部
620…指示情報
630…論理ディスク装置再配置処理部
910…論理ディスク再配置要否決定処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a storage control device, and more specifically, a storage control device capable of improving access performance even in the case of sequential access or a random accelerator and a low hit rate, and a storage capable of improving data reliability. The present invention relates to a control device.
In particular, the present invention relates to a high-function disk device suitable for a disk array, a storage device subsystem constituted by the high-function disk device and a disk controller, and information constituted by the storage device subsystem and a data processing device Useful for processing systems.
[0002]
[Prior art]
Non-Patent
[0003]
Japanese Patent Application Laid-Open No. 2004-228561 discloses a technique for using a part of a disk device like a disk cache. Specifically, the disk device is divided into a temporary area for temporarily storing data and an area for finally writing data, and the update data is temporarily written in the temporary area without generating parity, and the parity is asynchronously generated. Generate and write to the final area.
[0004]
On the other hand, Non-Patent
According to this technology, it is possible to mix physical disk devices having different storage capacities and physical disk devices having different RAID levels in the storage device subsystem, and the data in the logical disk device can be accessed with its access frequency or access pattern. It can be stored in any physical disk device based on such an index. In addition, the storage location can be dynamically changed so that frequently accessed data is stored in a higher-speed physical disk device.
Note that the
[Patent Document 1]
JP-A-7-84732 [Non-patent Document 1]
D.Patterson, G.gibson, RHKartz, `` A Case for Redundant Arrays of Inexpensive Disks (RAID) '', ACM SIGMOD Conference, Chicago, IL, (June 1988), pp. 109-116
[Non-Patent Document 2]
Mogi et al., “Performance Evaluation of Disk Arrays with Hot Mirroring when Disk Failures”, IEICE Technical Report, December 1995, Vol.95-No.407, pp.19-24
[0005]
[Problems to be solved by the invention]
In the above prior art, since the data storage position is changed in units of data to be accessed, continuous data on the logical disk device that is directly accessed by the data processing device is discontinuous on the physical disk device that actually stores the data. End up. For this reason, in the case of sequential access in which a series of data is read / written, there is actually a problem that a plurality of data cannot be collectively read / written, resulting in a decrease in access performance.
[0006]
On the other hand, in Non-Patent
[0007]
Further, the above-described conventional technique has a problem that no consideration is given to improving the reliability of data.
[0008]
Therefore, a first object of the present invention is to provide a storage control device capable of improving access performance even in the case of sequential access or when the hit rate is low due to random accelerator.
A second object of the present invention is to provide a storage control device capable of improving data reliability.
[0009]
[Means for Solving the Problems]
In a first aspect, the present invention provides a logical storage device that is directly accessed by a data processing device in a physical storage device that actually stores data, and data between the data processing device and the physical storage device. In a storage control device that controls transfer, a logical storage device that rearranges the logical storage device in the physical storage device based on a predetermined index and continuously stores data in the physical storage device of the relocation destination There is provided a storage control device having storage device rearrangement means.
In the storage control device according to the first aspect, the storage location of data is not changed in units of data to be accessed, but is rearranged in a physical storage device in units of logical storage devices, and rearranged Data is continuously stored in the previous physical storage device. Therefore, access performance can be improved even in the case of sequential access. In addition, since the data storage position is not changed at each write, but the rearrangement is performed based on a predetermined index, the access performance can be improved even when the hit rate is low with a random accelerator. .
[0010]
In a second aspect, the present invention relates a logical storage device that is directly accessed by a data processing device and a physical storage device that actually stores data, between the data processing device and the physical storage device. In a storage control device for controlling data transfer, access information collection means for collecting, as an index, access information to the logical storage device of the data processing device during operation of the data transfer control, and the logical information based on the index There is provided a storage control device comprising logical storage device rearrangement means for rearranging a storage device in the physical storage device and continuously storing data in the physical storage device to be rearranged. .
In the storage control device according to the second aspect, the storage location of data is not changed in units of data to be accessed, but is rearranged in a physical storage device in units of logical storage devices, and rearranged Data is continuously stored in the previous physical storage device. Therefore, access performance can be improved even in the case of sequential access. Also, instead of changing the data storage location at each write, access information is collected and statistically used to perform the relocation, so even if the hit rate is low due to random accelerators The performance can be improved.
[0011]
In a third aspect, the present invention provides a storage control device having the above configuration, wherein the access information includes access frequency information from the data processing device to the logical storage device To do.
In the storage control device according to the third aspect, a logical storage device with high access frequency can be relocated to a higher-speed physical storage device. Therefore, access performance can be improved.
[0012]
In a fourth aspect, the present invention provides a storage control device having the above configuration, wherein the access information includes access pattern information from the data processing device to the logical storage device. To do.
In the storage control device according to the fourth aspect, a logical storage device having a high sequential access ratio can be rearranged to a physical storage device having a higher sequential access performance. Therefore, access performance can be improved.
[0013]
In a fifth aspect, the present invention provides a storage control device characterized in that, in the storage control device configured as described above, the index is the reliability required for the logical storage device.
In the storage control device according to the fifth aspect, a logical storage device that is required to have high reliability can be relocated to a physical storage device with higher reliability. Therefore, the reliability of data can be improved.
[0014]
According to a sixth aspect, the present invention is the storage control device having the above-described configuration, comprising: index presenting means for presenting the index to maintenance personnel; and relocation instruction accepting means for receiving a relocation instruction from the maintenance personnel. A storage control device is provided.
In the storage control device according to the sixth aspect, maintenance personnel can input a rearrangement instruction, so that the rearrangement can be performed very flexibly.
[0015]
In a seventh aspect, the present invention provides a storage control device characterized in that in the storage control device configured as described above, a rearrangement instruction receiving means for receiving a rearrangement instruction from a data processing device is provided.
In the storage control device according to the seventh aspect, since the data processing device can input a rearrangement instruction, the rearrangement can be performed under a high-level condition that cannot be determined by maintenance personnel.
[0016]
In an eighth aspect, the present invention provides a storage control apparatus comprising the above-configured storage control apparatus, comprising a rearrangement necessity determining unit that determines whether or not rearrangement is necessary based on the index. To do.
In the storage control device according to the eighth aspect, since the storage control device self-determines the relocation instruction, it is not necessary to place a burden on maintenance personnel or the data processing device.
[0017]
In a ninth aspect, according to the present invention, in the storage control device configured as described above, when the logical storage device being relocated is accessed from the data processing device, the relocation of the logical storage device being relocated is completed. An area and a rearrangement incomplete area are identified, and if the access position is the rearrangement completion area, the rearrangement destination logical storage apparatus is accessed, and if the access position is the rearrangement incomplete area, the logical storage apparatus There is provided a storage control device comprising access position switching means for allowing access to the storage device.
In the storage control device according to the ninth aspect, the rearrangement completion area and rearrangement incomplete area of the logical storage device being rearranged are identified and the access position from the data processing apparatus is switched. Relocation can be performed during operation of data transfer between dynamic storage devices.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below. Note that the present invention is not limited thereby.
[0019]
-First embodiment-
In the first embodiment, the access information of each logical disk device is collected by the storage control device, presented to maintenance personnel through an SVP (service processor), and the logical disk device is instructed by the relocation instruction of the maintenance personnel based on this access information To the physical disk device.
[0020]
FIG. 1 is a block diagram of an information processing system including a storage control device according to the first embodiment of the present invention.
In this
[0021]
The
[0022]
The
The
The
The directory 108 stores management information of the
Similar to the
The nonvolatile memory management information 110 stores management information of the
The logical-
The logical
The
[0023]
The logical /
[0024]
The
[0025]
The
[0026]
FIG. 2 is a diagram showing the relationship between the
The
[0027]
FIG. 3 is a diagram showing the logical /
The logical /
[0028]
The logical disk configuration information 310 includes a set of physical disk device groups 311, RAID configurations 312 and start positions 313 as many as the number of
The physical disk device group 311 is information indicating the
The RAID configuration 312 indicates the RAID level of the physical disk device group 311.
The start position 313 indicates the head position where the
[0029]
The physical disk configuration information 320 has logical disk device groups 321 as many as the number of
The logical disk device group 321 indicates the
[0030]
FIG. 4 is a diagram showing the
The
The logical disk status 401 represents the status of the
The relocation completion pointer 402 is valid information only when the logical disk status 401 is “relocating”, and is the next position of the area where the relocation processing of the
[0031]
FIG. 5 shows
The
The access frequency information 501 manages the number of accesses to the
The access pattern information 502 manages the ratio of sequential access to the
[0032]
Next, the operation of the
FIG. 6 is a diagram showing the operation of the
First, the operation during read / write processing will be described.
The
The
Thereafter, for example, in the read process, the calculated data at the
[0033]
Next, the collection process of the
When accessing the read / write process from the
For example, the access frequency information 501 is collected by counting up an internal counter for each access, and determining the access frequency from the internal counter at the time of access after a certain time or a certain number of accesses.
For example, the access pattern information 502 is collected by incrementing the number of sequential accesses to the internal counter for each access, and determining the access pattern from the internal counter at the time of access after a certain time or a certain number of accesses.
[0034]
Next, the
The maintenance staff examines the necessity of relocation of each
This
The contents of the examination performed by the maintenance personnel are the same as the logical disk device relocation necessity determination process (910) described with reference to FIG. 10 in the third embodiment described later.
[0035]
Next, the logical disk device rearrangement process (630) will be described.
In response to the
FIG. 7 is a processing flowchart of the logical disk device
In step 700, the logical disk status 401 of the two specified
In
In
[0036]
In
[0037]
In
In
In
[0038]
In
[0039]
In step 707, the logical /
In
[0040]
Next, the physical disk device access position calculation process (610) will be described.
FIG. 8 is a processing flowchart of the physical disk device access position
In
[0041]
In step 801, the relocation completion pointer 402 of the access target
[0042]
In
[0043]
In
[0044]
In
[0045]
According to the
[0046]
-Second Embodiment-
By modifying the first embodiment, the
[0047]
-Third embodiment-
In the third embodiment, the
[0048]
FIG. 9 is a diagram showing the operation of the
The difference from the first embodiment (FIG. 6) is that the logical disk relocation necessity
[0049]
FIG. 10 is a processing flowchart of the logical disk relocation necessity
This logical disk relocation necessity determination process (910) is performed by the
In
[0050]
In
[0051]
In
[0052]
In
[0053]
In step 1004, the access pattern information 502 of the
[0054]
In
[0055]
According to the
[0056]
-Fourth Embodiment-
The first to third embodiments may be modified so that the reliability required for the
If reliability is used as an index, the reliability of data on the
[0057]
【The invention's effect】
According to the storage control device of the present invention, the access performance can be improved even in the case of sequential access or when the hit rate is low due to random accelerator.
In addition, according to the storage control device of the present invention, the reliability of data can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram of an information processing system including a storage control device according to a first embodiment of the present invention.
FIG. 2 is an explanatory diagram of a correspondence relationship between a logical disk device and a physical disk device.
FIG. 3 is a structural example diagram of logical-physical correspondence information;
FIG. 4 is a structural example diagram of logical disk information.
FIG. 5 is a view showing a configuration example of access information.
FIG. 6 is a block diagram showing an operation of the storage control device according to the first embodiment of the present invention.
FIG. 7 is a processing flow diagram of a logical disk device relocation processing unit.
FIG. 8 is a processing flowchart of a physical disk device access position calculation processing unit.
FIG. 9 is a block diagram illustrating an operation of a storage control device according to a third embodiment of the present invention.
FIG. 10 is a processing flow diagram of a logical disk device relocation necessity determination processing unit.
[Explanation of symbols]
DESCRIPTION OF
102 ...
200 ...
Claims (9)
前記プロセッサ装置は、前記制御装置が検出した、データ処理装置から論理ディスクへのアクセスに関するアクセス情報を提示すると共に、前記再配置対象である前記第一の論理ディスクと前記第二の論理ディスクとを指定する指示情報の入力を受け付け前記記憶装置システムへ指示することを特徴とするプロセッサ装置。 The processor device presents access information regarding the access from the data processing device to the logical disk, detected by the control device, and the first logical disk and the second logical disk to be relocated. A processor device that receives input of designated instruction information and instructs the storage device system.
前記プロセッサ装置は、前記制御装置が検出した、データ処理装置から論理ディスクヘのアクセスの特性に関するアクセス情報を提示し、かつ、前記再配置対象である前記第一の論理ディスクを指定する指示情報の入力を受け付け前記記憶装置システムへ指示することを特徴とするプロセッサ装置。 The processor device presents access information on the characteristics of access from the data processing device to the logical disk detected by the control device, and inputs instruction information for designating the first logical disk to be relocated Is received and instructed to the storage device system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003097577A JP3744504B2 (en) | 2003-04-01 | 2003-04-01 | Processor device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003097577A JP3744504B2 (en) | 2003-04-01 | 2003-04-01 | Processor device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000066061A Division JP3743841B2 (en) | 1996-04-08 | 2000-03-10 | Storage device system and control method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005269405A Division JP2006059374A (en) | 2005-09-16 | 2005-09-16 | Storage controller |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003271425A JP2003271425A (en) | 2003-09-26 |
| JP3744504B2 true JP3744504B2 (en) | 2006-02-15 |
Family
ID=29208567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003097577A Expired - Fee Related JP3744504B2 (en) | 2003-04-01 | 2003-04-01 | Processor device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3744504B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1909277B1 (en) * | 2006-10-02 | 2014-04-30 | Sony DADC Austria AG | Method, control logic and system for detecting a virtual storage volume and data carrier |
| JP2008123132A (en) | 2006-11-09 | 2008-05-29 | Hitachi Ltd | Storage control device and logical volume formation method for storage control device |
| JP5186982B2 (en) | 2008-04-02 | 2013-04-24 | 富士通株式会社 | Data management method and switch device |
| JP6065695B2 (en) | 2013-03-26 | 2017-01-25 | 富士通株式会社 | Storage control method, storage system, and storage control program |
| JP6402647B2 (en) * | 2015-02-20 | 2018-10-10 | 富士通株式会社 | Data arrangement program, data arrangement apparatus, and data arrangement method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6267629A (en) * | 1985-09-19 | 1987-03-27 | Nec Corp | File rearranging device |
| JPH03102418A (en) * | 1989-09-18 | 1991-04-26 | Matsushita Electric Ind Co Ltd | magnetic disk device |
| JPH0773090A (en) * | 1993-06-21 | 1995-03-17 | Hitachi Ltd | Computer system and secondary storage device |
| JPH0756691A (en) * | 1993-08-12 | 1995-03-03 | Toshiba Corp | Information processing device with automatic data block rearrangement function for striping disk |
| US5392244A (en) * | 1993-08-19 | 1995-02-21 | Hewlett-Packard Company | Memory systems with data storage redundancy management |
| JPH07146757A (en) * | 1993-11-25 | 1995-06-06 | Nec Corp | Disk device |
| JPH07152624A (en) * | 1993-11-30 | 1995-06-16 | Nippon Telegr & Teleph Corp <Ntt> | Duplex file writing method |
| JP2630310B2 (en) * | 1995-06-28 | 1997-07-16 | 日本電気株式会社 | Magnetic disk storage |
-
2003
- 2003-04-01 JP JP2003097577A patent/JP3744504B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003271425A (en) | 2003-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3641872B2 (en) | Storage system | |
| US6898668B2 (en) | System and method for reorganizing data in a raid storage system | |
| US5574952A (en) | Data storage system and method for operating a disk controller including allocating disk space for compressed data | |
| US5889795A (en) | Disk array system and method for storing data | |
| KR100321843B1 (en) | Transformational raid for hierarchical storage management system | |
| US5764880A (en) | Method and system for rebuilding log-structured arrays | |
| US5315602A (en) | Optimized stripe detection for redundant arrays of disk drives | |
| US5911779A (en) | Storage device array architecture with copyback cache | |
| US6467023B1 (en) | Method for logical unit creation with immediate availability in a raid storage environment | |
| US5650969A (en) | Disk array system and method for storing data | |
| US10037149B2 (en) | Read cache management | |
| JPH05505264A (en) | Non-volatile memory storage of write operation identifiers in data storage devices | |
| JPH0619632A (en) | Storage device of computer system and storing method of data | |
| US7073029B2 (en) | Storage system using fast storage and log-structured storage | |
| JP2006059374A (en) | Storage controller | |
| JP3744504B2 (en) | Processor device | |
| JP3122252B2 (en) | Disk array control method | |
| JPH11119915A (en) | Disk array device | |
| JPH08221216A (en) | Storage system | |
| Zertal et al. | Efficient Technique for Overcomming Data Migration in Dynamic Disk Arrays | |
| JPH0736633A (en) | Magnetic disk array |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050916 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131202 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |