JP6924952B2 - 計算機システムおよびリストア方法 - Google Patents
計算機システムおよびリストア方法 Download PDFInfo
- Publication number
- JP6924952B2 JP6924952B2 JP2017024082A JP2017024082A JP6924952B2 JP 6924952 B2 JP6924952 B2 JP 6924952B2 JP 2017024082 A JP2017024082 A JP 2017024082A JP 2017024082 A JP2017024082 A JP 2017024082A JP 6924952 B2 JP6924952 B2 JP 6924952B2
- Authority
- JP
- Japan
- Prior art keywords
- chunks
- parallelism
- data
- network
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Retry When Errors Occur (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
(p)リストア対象ファイルを、計測された遅延に応じた並列度分のチャンクに分割すると仮定した場合に、チャンクサイズが、計測された遅延に応じたチャンクサイズ以上になるか否かを判断すること、
(q)(p)の判断結果が真の場合、リストア対象ファイルを、計測された遅延に応じた並列度分のチャンクに分割し、その分割により得られたチャンクを、計測された遅延に応じた並列度で取得すること、
を実行してよい。これにより、遅延に応じた並列度が維持される。
(r)(q)の判断結果が偽の場合、リストア対象ファイルと、1以上の他のリストア対象ファイルとを、計測された遅延に応じた並列度分のチャンクに分割し、その分割により得られたチャンクを、計測された遅延に応じた並列度で取得すること、
を実行してよい。リストア対象ファイルと1以上の他のリストア対象ファイルとの合計サイズは、計測された遅延に応じたチャンクサイズと計測された遅延に応じた並列度との積以上である。これにより、遅延に応じたチャンクサイズが維持される。
(s1)リストア対象ファイルを、計測された遅延に応じたチャンクサイズのチャンクに分割し、その分割により得られたチャンクを、計測された遅延に応じた並列度未満のうちの最大並列度で取得すること、
を実行してよい。これにより、遅延に応じたチャンクサイズを最小チャンクサイズとして守り、遅延に応じた並列度未満であるがなるべく高い並列度で、チャンクを取得することができる。
(s2)(q)の判断結果が偽の場合、リストア対象ファイルを、計測された遅延に応じたチャンクサイズのチャンクに分割し、その分割により得られたチャンクを、計測された遅延に応じた並列度未満のうちの最大並列度で取得することを実行すること、
を実行してよい。これにより、上記の積以上の合計サイズが得られる他のリストア対象ファイルの有無に関わらず、遅延に応じたチャンクサイズを最小チャンクサイズとして守り、遅延に応じた並列度未満であるがなるべく高い並列度で、チャンクを取得することができる。
Claims (14)
- 1以上のネットワークストレージからネットワークを通してリストア対象データを取得する計算機システムであって、
前記1以上のネットワークストレージ間のネットワーク遅延を計測する遅延計測手段と、
計測されたネットワーク遅延に応じたチャンクサイズおよび並列度のうちの少なくとも1つに従い、前記リストア対象データの少なくとも一部であるチャンクを、前記ネットワークを通して、前記1以上のネットワークストレージから取得する取得手段と、
取得されたチャンクを基に前記リストア対象データをリストアするリストア手段と
を備える計算機システム。 - 前記取得手段は、下記の処理、
(a)前記リストア対象データのうちの未処理データを、最近計測されたネットワーク遅延に応じたチャンクサイズのチャンクに分割すること、
(b)(a)の分割により得られたチャンクのうち、前記最近計測されたネットワーク遅延に応じた並列度分のチャンクを取得すること、
(c)(a)の分割により得られたチャンクと前記並列度分のチャンクとの差分があるか否かを判断すること、
(d)(c)の判断結果が真の場合、前記差分を未処理データとして(a)を実行すること、
を実行する、
請求項1記載の計算機システム。 - 前記取得手段、下記の処理、
(h)前記リストア対象データのうちの未処理データを、前記計測されたネットワーク遅延に応じたチャンクサイズのチャンクに分割すると仮定した場合に、チャンク数が、最近計測されたネットワーク遅延に応じた並列度以上になるか否かを判断すること、
(i)(h)の判断結果が真の場合、前記リストア対象データのうちの未処理データを、前記計測されたネットワーク遅延に応じたチャンクサイズのチャンクに分割すること、
(j)(h)の判断結果が偽の場合、前記最近計測されたネットワーク遅延に応じたチャンクサイズと前記最近計測されたネットワーク遅延に応じた並列度との積以上に合計データサイズがなるように、前記リストア対象データの他に、1以上の他のリストア対象データを選択し、前記リストア対象データとその選択した1以上の他のリストア対象データとのうちの未処理データを、前記最近計測されたネットワーク遅延に応じたチャンクサイズのチャンクに分割すること、
(k)(i)または(j)の分割により得られたチャンクのうち、前記計測されたネットワーク遅延に応じた並列度分のチャンクを取得すること、
を実行する、
請求項1記載の計算機システム。 - 前記リストア対象データは、所定の最大並列度分のネットワークストレージの各々に格納されており、
前記1以上のネットワークストレージは、前記最大並列度分のネットワークストレージであり、
前記取得手段は、前記最大並列度分のネットワークストレージのうち、並列度分のネットワークストレージからそれぞれその並列度分のチャンクを並列に取得する、
請求項1乃至3のうちのいずれか1項に記載の計算機システム。 - 前記取得手段は、下記の処理、
(p)前記リストア対象データを、前記計測されたネットワーク遅延に応じた並列度分のチャンクに分割すると仮定した場合に、チャンクサイズが、前記計測されたネットワーク遅延に応じたチャンクサイズ以上になるか否かを判断すること、
(q)(p)の判断結果が真の場合、前記リストア対象データを、前記計測されたネットワーク遅延に応じた並列度分のチャンクに分割し、その分割により得られたチャンクを、前記計測されたネットワーク遅延に応じた並列度で取得すること、
を実行する、
請求項1記載の計算機システム。 - 前記取得手段は、下記の処理、
(r)(p)の判断結果が偽の場合、前記リストア対象データと、1以上の他のリストア対象データとを、前記計測されたネットワーク遅延に応じた並列度分のチャンクに分割し、その分割により得られたチャンクを、前記計測されたネットワーク遅延に応じた並列度で取得すること、
を実行し、
前記リストア対象データと前記1以上の他のリストア対象データとの合計データサイズは、前記計測されたネットワーク遅延に応じたチャンクサイズと前記計測されたネットワーク遅延に応じた並列度との積以上である、
請求項5記載の計算機システム。 - 前記取得手段は、(p)の判断結果が偽の場合であっても、前記積以上の合計サイズが得られる他のリストア対象データが無ければ、(r)に代えて、下記の処理、
(s)前記リストア対象データを、前記計測されたネットワーク遅延に応じたチャンクサイズのチャンクに分割し、その分割により得られたチャンクを、前記計測されたネットワーク遅延に応じた並列度未満のうちの最大の並列度で取得すること、
を実行する、
請求項6記載の計算機システム。 - 前記取得手段は、下記の処理、
(s)(p)の判断結果が偽の場合、前記リストア対象データを、前記計測されたネットワーク遅延に応じたチャンクサイズのチャンクに分割し、その分割により得られたチャンクを、前記計測されたネットワーク遅延に応じた並列度未満のうちの最大の並列度で取得することを実行すること、
を実行する、
請求項5記載の計算機システム。 - 複数のネットワークストレージに、前記リストア対象データを含む1以上のリストア対象データが格納されており、
前記取得手段は、前記複数のネットワークストレージのうちの2以上のネットワークストレージから前記1以上のリストア対象データのチャンクを取得する、
請求項1記載の計算機システム。 - 前記複数のネットワークストレージに、前記リストア対象データの複数のフラグメントが格納されており、
前記複数のフラグメントの各々は、直前のフラグメントの後側部分と、直後のフラグメントの前側部分とのうちの少なくとも1つと重複しており、
前記取得手段は、前記複数のフラグメントのチャンクを前記複数のネットワークストレージから取得する、
請求項9記載の計算機システム。 - 前記取得手段は、リストアセッション毎に、最近計測されたネットワーク遅延に応じたチャンクサイズおよび並列度のうちの少なくとも1つに従いチャンクを取得する、
請求項1乃至10のうちのいずれか1項に記載の計算機システム。 - 前記リストア対象データは、ファイルであり、
前記ネットワークは、単位時間当たりのデータ送受信サイズを徐々に大きくするスロースタートを含んだフロー制御が実施されるTCP(Transmission Control Protocol)である、
請求項1乃至11のうちのいずれか1項に記載の計算機システム。 - データを1以上のネットワークストレージにバックアップする第1の計算機システムと、
前記1以上のネットワークストレージに格納されているデータのうちのリストア対象データをリストアする第2の計算機システムと
を備え、
前記第2の計算機システムは、
前記1以上のネットワークストレージと前記第2の計算機システム間のネットワーク遅延を計測し、
計測されたネットワーク遅延に応じたチャンクサイズおよび並列度のうちの少なくとも1つに従い、前記リストア対象データの少なくとも一部であるチャンクを取得し、
取得されたチャンクを基に前記リストア対象データをリストアする、
バックアップリストアシステム。 - 1以上のネットワークストレージからネットワークを通してリストア対象データを取得する計算機システムによるリストア方法であって、
前記計算機システムは、
前記1以上のネットワークストレージ間のネットワーク遅延を計測し、
計測されたネットワーク遅延に応じたチャンクサイズおよび並列度のうちの少なくとも1つに従い、前記リストア対象データの少なくとも一部であるチャンクを、ネットワークを通して、前記1以上のネットワークストレージから取得し、
取得されたチャンクを基に前記リストア対象データをリストアする、
リストア方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017024082A JP6924952B2 (ja) | 2017-02-13 | 2017-02-13 | 計算機システムおよびリストア方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017024082A JP6924952B2 (ja) | 2017-02-13 | 2017-02-13 | 計算機システムおよびリストア方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018132814A JP2018132814A (ja) | 2018-08-23 |
| JP6924952B2 true JP6924952B2 (ja) | 2021-08-25 |
Family
ID=63247448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017024082A Active JP6924952B2 (ja) | 2017-02-13 | 2017-02-13 | 計算機システムおよびリストア方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6924952B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7387116B2 (ja) * | 2020-01-06 | 2023-11-28 | アーミク カンパニー,リミテッド | データの送信および照会時の費用を最小化するためのデータアーカイビング方法およびシステム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6085251A (en) * | 1998-04-02 | 2000-07-04 | The United States Of America As Represented By The Secretary Of The Air Force | Implementing a parallel file transfer protocol |
| JP3540183B2 (ja) * | 1999-01-21 | 2004-07-07 | 株式会社東芝 | マルチリンク通信装置 |
| WO2002093846A1 (en) * | 2001-03-28 | 2002-11-21 | Park, Young-Chan | Method of transferring a divided file |
| JP2012048373A (ja) * | 2010-08-25 | 2012-03-08 | Toshiba Corp | 医用データストレージ装置 |
| KR20150093153A (ko) * | 2012-10-18 | 2015-08-17 | 지래픽 테크놀로지스 엘티디. | 통신 링크 처리량을 동적으로 최대화하기 위한 혼잡 제어 방법 |
| JP6488527B2 (ja) * | 2014-11-13 | 2019-03-27 | シャープ株式会社 | 受信装置、受信方法、プログラム、及びプロセッサ |
-
2017
- 2017-02-13 JP JP2017024082A patent/JP6924952B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018132814A (ja) | 2018-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12517661B2 (en) | Gateway for cloud-based secure storage | |
| US11487468B2 (en) | Healing failed erasure-coded write attempts in a distributed data storage system configured with fewer storage nodes than data plus parity fragments | |
| US20230418716A1 (en) | Anti-entropy-based metadata recovery in a strongly consistent distributed data storage system | |
| JP7098628B2 (ja) | クラウドデータストアにわたるファイルシステム階層ミラーリング | |
| KR101862718B1 (ko) | 블록-기반 저장을 위한 데이터 볼륨 지속성 상태 감소 | |
| US9329942B2 (en) | Optimizing restoration of deduplicated data | |
| US9507845B1 (en) | Virtual splitter | |
| EP3062226B1 (en) | Data replication method and storage system | |
| US9892130B2 (en) | Parallel I/O read processing for use in clustered file systems having cache storage | |
| WO2018158654A1 (en) | Storing data sequentially in zones in a dispersed storage network | |
| US20100169587A1 (en) | Causation of a data read against a first storage system to optionally store a data write to preserve the version to allow viewing and recovery | |
| CN103870362B (zh) | 一种数据恢复方法、装置及备份系统 | |
| US11144232B2 (en) | Storage system with efficient snapshot pair creation during synchronous replication of logical storage volumes | |
| US20170004082A1 (en) | Methods for host-side caching and application consistent writeback restore and devices thereof | |
| US11263091B2 (en) | Using inode entries to mirror data operations across data storage sites | |
| US9092375B1 (en) | Cloud-based instant volume restore with data source switchover feature | |
| US10198327B1 (en) | Method and system for performing group recovery from a recovery source to multiple recovery targets | |
| US20190215363A1 (en) | Dynamic pool-based tiering for synchronization storage | |
| US10896201B2 (en) | Synchronization of block based volumes | |
| US20080270480A1 (en) | Method and system of deleting files from a remote server | |
| US11275657B2 (en) | Method and system for minimizing rolling database recovery downtime | |
| JP6924952B2 (ja) | 計算機システムおよびリストア方法 | |
| US8775786B1 (en) | Boot caching for boot acceleration within data storage systems | |
| JP2013218505A (ja) | クライアントとサーバ間の通信を中継する通信装置及び通信システム | |
| US10855745B2 (en) | Systems and methods for downloading data chunks using a varying number of simultaneous connections |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210715 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6924952 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |