JP7595108B2 - ルール違反検出 - Google Patents
ルール違反検出 Download PDFInfo
- Publication number
- JP7595108B2 JP7595108B2 JP2023076175A JP2023076175A JP7595108B2 JP 7595108 B2 JP7595108 B2 JP 7595108B2 JP 2023076175 A JP2023076175 A JP 2023076175A JP 2023076175 A JP2023076175 A JP 2023076175A JP 7595108 B2 JP7595108 B2 JP 7595108B2
- Authority
- JP
- Japan
- Prior art keywords
- rps
- delta
- determining
- violation
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/80—Database-specific techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/875—Monitoring of systems including the internet
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本開示は、たとえば500/50/5トラフィックランプアップルールのルール違反検出に関する。
クラウドコンピューティング・ストレージが急速に普及しつつある。より多くのユーザーやビジネスが自身のデータニーズを分散記憶システムに切り替えると、クラウドサービスの性能の低下がますます重要になってくる。大規模なデータストア(たとえば、データベース)を頻繁に複数のサーバに分散して水平分割(すなわち、シャード)し、性能を向上させる。データベースのシャーディングは、リソースをほぼリアルタイムで増やしたり減らしたりすることによってサーバが動的負荷に対処できるようにしている場合が多い。しかしながら、リソースを増やすためのゼロ以外の反応時間があり、十分に高速なトラフィックのランプアップが、基盤となるストレージに過剰な負荷をかけて性能を低下させてしまう場合がある。
本開示の一態様は、トラフィックランプアップルール違反を検出する方法を提供する。この方法は、データ処理ハードウェアにおいて、情報検索システムから少なくとも1つのデータ要素を各々が要求するデータ要素検索要求を受信するステップを含む。情報検索システムは、複数のデータ要素を備える。また、方法は、データ処理ハードウェアが、受信したデータ要素検索要求の数に基づいて、情報検索システムのキー範囲のRPS(1秒当たりの要求数)を判断するステップを含む。また、方法は、データ処理ハードウェアが、受信したデータ要素検索要求の数に基づいて、第1期間にわたる情報検索システムのキー範囲のRPSの移動平均を判断するステップと、データ処理ハードウェアが、RPSがRPSの移動平均に基づくデルタRPS制限を超えた開始時点を各々が含むデルタ違反の数を判断するステップとを含む。各デルタ違反は、デルタRPS制限を超えた開始時点を含む。デルタRPS制限は、RPSの移動平均に基づく。デルタ違反ごとに、方法は、データ処理ハードウェアが、第2期間にわたるキー範囲の最大適合負荷を判断するステップと、データ処理ハードウェアが、デルタ違反の開始時点に基づいてRPSがキー範囲の最大適合負荷を超えたかどうかを判断するステップとを含む。また、方法は、RPSがキー範囲の最大適合負荷を超えた場合、データ処理ハードウェアが、デルタ違反が、完全履歴違反に相当すると判断するステップを含む。完全履歴違反は、情報検索システムの性能の低下を示す。
む。
バケットは、要求の選択平均量を表す大きさのキーの範囲を含む。RPSの移動平均を判断することは、各キーバケットの移動平均を判断することを含んでもよい。オプションで、各キーバケットは、要求の平均量が同じなる大きさに作られている。いくつかの例では、デルタ違反の数を判断することは、キーバケットのRPSがデルタRPS制限を超えた時点を表す、狭バンドのデルタ違反候補を判断することを含む。また、動作は、狭バンドのデルタ違反候補から、隣接する狭バンドのデルタ違反から構成される広バンドのデルタ違反候補を判断することと、広バンドのデルタ違反候補ごとに、広バンドのデルタ違反候補がデルタ違反であるかどうかを、データ要素検索要求の量および強度に基づいて判断することとを含んでもよい。
詳細な説明
本明細書における実施態様は、1つ以上のトラフィックルールを超える、または性能が低下する可能性を示す分散記憶システム(たとえば、クラウドストレージ)におけるトラフィックのランプアップの検出を対象とする。ルール違反検出部は、トラフィックランプアップルールの違反を検出し、分散記憶システム上で動作している情報検索システムに対するデータ要素検索要求を(すなわち、データを格納または検索するために)受信する。ルール違反検出は、情報検索システム宛てのデータ要素検索要求のすべての特徴を記述するのに十分な一部のデータ要素検索要求を受信(すなわち、要求をサンプリング)し、情報検索システムのキー範囲のRPS(1秒当たりの要求数)を判断し得る。ルール違反検出部は、キー範囲のRPSの移動平均を判断する。RPSおよびRPSの移動平均を用いて、違反検出部は、一定期間にわたるデルタ違反の数を判断する。デルタ違反は、移動平均RPSがRPS制限を超えた時点を含む。デルタ違反ごとに、違反検出部は、キー範囲の最大適合負荷を判断し、各デルタ違反の継続期間中にRPSの移動平均が最大適合負荷を超えたかどうかを判断する。RPSの移動平均がキー範囲の最大適合負荷を超えた場合、違反検出部は、デルタ違反がトラフィックランプアップルール違反に相当すると判断する。
1日になる場合もある。よって、任意のキー範囲の実効容量を急速に2倍にしてもよく、生成された容量を長期間保持して、データのさらなる急増に対処してもよい。
ルタ検出部310は、サンプリングした要求105(明細書において、一般的に「トラフィック」とも称す)を一定時間、少なくとも基準ウインドウ404(図4)の長さの間、受信する。いくつかの例では、基準ウインドウ404は、スプリット動作後に情報検索システム150が容量を維持する期間から、情報検索システム150がスプリット動作を実行するために必要な期間を除算して得られる期間に等しい。システム150が容量を維持する期間は、本明細書において、RPS履歴と称し、システム150が容量を増やすために必要な期間は、本明細書において、RPS遅延726と称する(図7)。たとえば、情報検索システム150がスプリット動作を実行する(すなわち、トラフィックの増加に応じて容量を増やす)ために5分を必要とし、マージ操作を行う前に、増やした容量を25時間維持する場合、基準ウインドウ404の期間は、24時間55分である。本明細書において使用するとき、「RPS(1秒当たりの要求数)」および「1秒当たりのクエリ数(QPS)」と言う用語は、同義で用いられる場合がある。
、Y軸は、いくつかの例では、キースペース410全体(すなわち、最小シャードキー値220から最大シャードキー値220まで)を表し、その他の例では、キースペース410の関連する部分のみを表す。各グリッド要素402は、キーバケット430、430a~430nを表し得る(すなわち、グリッド要素402の「高さ」は、キーの範囲を表す)。キーバケット430は、開始キーと終了キーとを有する、キーの狭い範囲または狭バンドと規定される。たとえば、キースペース410が0と999との間のすべての整数から構成されている場合、1つのキーバケット430が0と9との間のシャードキー値を表し得る。言い換えると、各グリッド要素402は、一定時間(すなわち、タイムバケット420)の全体的なキースペース410(すなわち、キーバケット430)の一部を表す。いくつかの例では、各キーバケット430の大きさは同じである(すなわち、同じ量のキースペース410を表す)。その他の例では、各キーバケット430は、ほぼ同じ量のトラフィックを表すような大きさに作られている。たとえば、各キーバケット430は、おおまかに平均して50RPSをグリッド400の長さ(基準ウインドウ404bのうちの2時間など、一部であり得る)にわたって受けるキースペースを表し得る。各キーバケット430がまったく同じ量のトラフィックを表すことは重要ではなく、概算で十分である。1秒当たりの要求数は、1秒当たりのクエリ数(QPS:Queries Per Second)と称される場合もある。よって、グリッド400の各グリッド要素402は、所与の期間(すなわち、タイムバケット420)にわたる所与のキー範囲(すなわち、キーバケット430)の要求105の数を表し得る。この要求105の数は、そのタイムバケット420におけるそのキーバケット430のRPS510と称される場合がある。いくつかの例では、RPS510は、平均RPSをタイムバケット420の長さで乗算して得られる期間に等しい。たとえば、平均RPSが50である場合、各タイムバケットは、10秒を表し、各グリッド要素402は、500個の要求を表す。
わち、750)に等しい。時刻=750秒では、RPS510は、デルタRPS制限530である「750」まで増加する。一定時間(すなわち、RPS遅延726)の後、デルタRPS制限530が上がり、RPS510(すなわち、ユーザートラフィック)およびRPS負荷520は増加してデルタRPS制限530と一致する。RPS遅延により、RPS510の増加に続いて、デルタRPS制限530が上がる。すなわち、この遅れは、システム150はさらなるリソースが追加(たとえば、シャード152を追加)できる前に遅延があるので、情報検索システム150の挙動をモデル化している。図6は、プロット500と同じデータのプロット600を示しているが、X軸の時間尺度は大幅に増えている。この時間尺度により、デルタRPS制限530がおよそ指数関数的速度で上がることが明らかにされている。図5および図6に示す例では、RPS510がデルタRPS制限530を超えることはないので、デルタ検出部310はデルタ違反312の存在を認められないであろう。
さらなるフィルタリングをかける。
322の総数は、デルタ違反312の総数以下であり得る。たとえば、トラフィック(すなわち、RPS510)の段階的な増加があった場合、デルタ違反312であるとして各段階の先頭にフラグを立ててもよいが、全体的なトラフィックの急増は、1つのゼロ履歴違反332として検出されてもよい。
ックがゼロ履歴RPS制限830以下に戻るとすぐにゼロ履歴違反322の履歴依存がすべてリセットされるので、そして増加したトラフィックに応じて容量がさらに増えるので、ゼロ履歴違反322は、いくつかの適合負荷を考慮しなくてもよい。
を選択することによって、完全履歴RPS制限930をブートストラップしてもよい。
Read-Only Memory)/EPROM(Erasable Programmable Read-Only Memory)/EEPROM(Electronically Erasable Programmable Read-Only Memory)(たとえば、ブートプログラムなど、通常、ファームウェアのために使用される)などが挙げられるが、これらに限定されない。揮発性メモリとして、RAM(Random Access Memory)、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access
Memory)、PCM(相変化メモリ)およびディスクまたはテープなどが挙げられるが、これらに限定されない。
路)、コンピュータハードウェア、ファームウェア、ソフトウェア、ならびに/またはそれらの組み合せで実現することができる。これらの様々な実施態様は、少なくとも1つのプログラム可能なプロセッサを備えるプログラム可能なシステム上で実行可能および/または解釈可能な1つ以上のコンピュータプログラムでの実施態様を含み得る。当該少なくとも1つのプログラム可能なプロセッサは、特定用途プロセッサであってもよく、汎用プロセッサであってもよく、ストレージシステム、少なくとも1つの入力装置、および少なくとも1つの出力装置に連結されてデータおよび命令を送受信してもよい。
媒体ならびにメモリ素子を含む。プロセッサおよびメモリは、専用の論理回路によって補ったり、専用の論理回路に内蔵したりすることができる。
Claims (21)
- データ処理ハードウェアに動作を実行させる方法であって、前記動作は、
複数のデータ要素検索要求を受信することを含み、前記複数のデータ要素検索要求の各データ要素検索要求は、情報検索システムから少なくとも1つのデータ要素を要求し、前記情報検索システムは、複数のデータ要素を備え、前記動作は、さらに、
前記情報検索システムのために、複数のセルから構成される要求グリッドを生成することを含み、前記複数のセルの各セルは、キーバケットのタイムバケットを表し、各キーバケットは、前記情報検索システムのキーの範囲を含み、前記動作は、さらに、
前記要求グリッドのキーバケットごとに、
受信した前記複数のデータ要素検索要求に基づいて、前記キーバケットの前記キーの範囲のRPS(1秒当たりの要求数)を判断することと、
一定期間にわたる前記キーバケットの前記キーの範囲に対応するデータ要素検索要求の数の移動平均を含むRPS負荷を判断することと、
前記RPS負荷に基づいてデルタRPS制限を判断することとを含み、
1つのキーバケットについて、
前記1つのキーバケットの前記RPSが前記1つのキーバケットの前記デルタRPS制限を超えたと判断することと、
前記1つのキーバケットの前記RPSが前記1つのキーバケットの前記デルタRPS制限を超えたと判断したことに基づいて、前記情報検索システムの性能が低下した可能性を示すデルタ違反を判断することとを含む、方法。 - 前記デルタ違反は、前記RPSが前記デルタRPS制限を超えた時間に対応する開始時点を含む、請求項1に記載の方法。
- 前記動作は、前記デルタ違反について、
第2期間にわたる前記1つのキーバケットの最大適合負荷を判断することと、
前記デルタ違反の前記開始時点に基づいて、前記RPSが前記1つのキーバケットの前記最大適合負荷を超えたと判断することと、
前記RPSが前記1つのキーバケットの前記最大適合負荷を超えたと判断したことに応答して、前記デルタ違反が完全履歴違反に相当すると判断することとをさらに含み、前記完全履歴違反は、前記情報検索システムの性能の低下を示す、請求項2に記載の方法。 - 前記デルタ違反の前記開始時点に基づいて前記RPSが前記1つのキーバケットの前記最大適合負荷を超えたかどうかを判断することは、
過去のゼロ履歴RPS制限の最小値の関数と前記RPS負荷とを含むゼロ履歴RPS制限を判断することと、
前記デルタ違反の開始時点から始まり前記RPSが前記ゼロ履歴RPS制限を超えなくなったときに終了する第3期間を判断すること、
前記RPSが前記ゼロ履歴RPS制限を超えた期間に基づいてゼロ履歴違反を判断することと、
前記RPSが前記1つのキーバケットの前記最大適合負荷を超えたと判断したことに応答して、前記ゼロ履歴違反が完全履歴違反に相当すると判断することを含む、請求項3に記載の方法。 - 前記複数のデータ要素検索要求を受信することは、少なくとも基準ウインドウの長さの間、前記データ要素検索要求を受信することを含む、請求項3に記載の方法。
- 前記動作は、
前記第2期間よりも前の時間ウインドウを選択することと、
前記時間ウインドウの間の前記1つのキーバケットの前記最大適合負荷を判断することとをさらに含む、請求項3に記載の方法。 - 各キーバケットは、データ要素検索要求の選択平均量を表す大きさに作られている、請求項1~6のいずれか1項に記載の方法。
- 前記情報検索システムは、動的に範囲がシャード化される情報検索システムを含む、請求項1~7のいずれか1項に記載の方法。
- 前記要求グリッドのキーバケットごとにデルタRPS制限を判断することは、前記RPS負荷と、スプリット動作後のモデル容量の増加を示すデルタ重みとに基づいて前記デルタRPS制限を判断することを含む、請求項1~8のいずれか1項に記載の方法。
- 前記スプリット動作は、前記キーバケットが利用可能なメモリを増やすことを含む、請求項9に記載の方法。
- システムであって、
データ処理ハードウェアと、
前記データ処理ハードウェアと通信するメモリハードウェアとを備え、前記メモリハードウェアは、命令を格納し、前記命令は、前記データ処理ハードウェア上で実行されると、前記データ処理ハードウェアに動作を実行させ、前記動作は、
複数のデータ要素検索要求を受信することを含み、前記複数のデータ要素検索要求の各データ要素検索要求は、情報検索システムから少なくとも1つのデータ要素を要求し、前記情報検索システムは、複数のデータ要素を備え、前記動作は、さらに、
前記情報検索システムのために、複数のセルから構成される要求グリッドを生成することを含み、前記複数のセルの各セルは、キーバケットのタイムバケットを表し、各キーバケットは、前記情報検索システムのキーの範囲を含み、前記動作は、さらに、
前記要求グリッドのキーバケットごとに、
受信した前記複数のデータ要素検索要求に基づいて、前記キーバケットの前記キーの範囲のRPS(1秒当たりの要求数)を判断することと、
一定期間にわたる前記キーバケットの前記キーの範囲に対応するデータ要素検索要求の数の移動平均を含むRPS負荷を判断することと、
前記RPS負荷に基づいてデルタRPS制限を判断することとを含み、
1つのキーバケットについて、
前記1つのキーバケットの前記RPSが前記1つのキーバケットの前記デルタRPS制限を超えたと判断することと、
前記1つのキーバケットの前記RPSが前記1つのキーバケットの前記デルタRPS制限を超えたと判断したことに基づいて、前記情報検索システムの性能が低下した可能性を示すデルタ違反を判断することとを含む、システム。 - 前記デルタ違反は、前記RPSが前記デルタRPS制限を超えた時間に対応する開始時点を含む、請求項11に記載のシステム。
- 前記動作は、前記デルタ違反について、
第2期間にわたる前記1つのキーバケットの最大適合負荷を判断することと、
前記デルタ違反の前記開始時点に基づいて、前記RPSが前記1つのキーバケットの前記最大適合負荷を超えたと判断することと、
前記RPSが前記1つのキーバケットの前記最大適合負荷を超えたと判断したことに応答して、前記デルタ違反が完全履歴違反に相当すると判断することとをさらに含み、前記完全履歴違反は、前記情報検索システムの性能の低下を示す、請求項12に記載のシステム。 - 前記デルタ違反の前記開始時点に基づいて前記RPSが前記1つのキーバケットの前記最大適合負荷を超えたかどうかを判断することは、
過去のゼロ履歴RPS制限の最小値の関数と前記RPS負荷とを含むゼロ履歴RPS制限を判断することと、
前記デルタ違反の開始時点から始まり前記RPSが前記ゼロ履歴RPS制限を超えなくなったときに終了する第3期間を判断すること、
前記RPSが前記ゼロ履歴RPS制限を超えた期間に基づいてゼロ履歴違反を判断することと、
前記RPSが前記1つのキーバケットの前記最大適合負荷を超えたと判断したことに応答して、前記ゼロ履歴違反が完全履歴違反に相当すると判断することとを含む、請求項13に記載のシステム。 - 前記複数のデータ要素検索要求を受信することは、少なくとも基準ウインドウの長さの間、前記データ要素検索要求を受信することを含む、請求項13に記載のシステム。
- 前記動作は、
前記第2期間よりも前の時間ウインドウを選択することと、
前記時間ウインドウの間の前記1つのキーバケットの前記最大適合負荷を判断することとをさらに含む、請求項13に記載のシステム。 - 各キーバケットは、データ要素検索要求の選択平均量を表す大きさに作られている、請求項11~16のいずれか1項に記載のシステム。
- 前記情報検索システムは、動的に範囲がシャード化される情報検索システムを含む、請求項11~17のいずれか1項に記載のシステム。
- 前記要求グリッドのキーバケットごとにデルタRPS制限を判断することは、前記RPS負荷と、スプリット動作後のモデル容量の増加を示すデルタ重みとに基づいて前記デルタRPS制限を判断することを含む、請求項11~18のいずれか1項に記載のシステム。
- 前記スプリット動作は、前記キーバケットが利用可能なメモリを増やすことを含む、請求項19に記載のシステム。
- データ処理ハードウエアに請求項1~10のいずれか1項に記載の方法を実行させるプログラム。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/693,556 US11494229B2 (en) | 2019-11-25 | 2019-11-25 | Rule violation detection |
| US16/693,556 | 2019-11-25 | ||
| JP2022530295A JP7275392B2 (ja) | 2019-11-25 | 2020-11-23 | ルール違反検出 |
| PCT/US2020/061879 WO2021108332A1 (en) | 2019-11-25 | 2020-11-23 | Rule violation detection |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022530295A Division JP7275392B2 (ja) | 2019-11-25 | 2020-11-23 | ルール違反検出 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023113616A JP2023113616A (ja) | 2023-08-16 |
| JP7595108B2 true JP7595108B2 (ja) | 2024-12-05 |
Family
ID=73835845
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022530295A Active JP7275392B2 (ja) | 2019-11-25 | 2020-11-23 | ルール違反検出 |
| JP2023076175A Active JP7595108B2 (ja) | 2019-11-25 | 2023-05-02 | ルール違反検出 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022530295A Active JP7275392B2 (ja) | 2019-11-25 | 2020-11-23 | ルール違反検出 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11494229B2 (ja) |
| EP (1) | EP4066126B1 (ja) |
| JP (2) | JP7275392B2 (ja) |
| KR (1) | KR102914568B1 (ja) |
| CN (2) | CN114787791B (ja) |
| WO (1) | WO2021108332A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11265250B2 (en) * | 2020-06-26 | 2022-03-01 | Adobe Inc. | Targeted rate limiting of tenant systems in online services |
| US20240303354A1 (en) * | 2023-03-07 | 2024-09-12 | Ciena Corporation | Data packet sharding for secure network transmission |
| KR102926684B1 (ko) * | 2025-04-15 | 2026-02-12 | 주식회사 지오이스트 | 비정상 크롤러를 판별하는 방법 및 장치 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003527800A (ja) | 2000-02-16 | 2003-09-16 | マイクロソフト コーポレイション | ネットワークを介してデータを転送するためのシステム及び方法 |
| JP2011028485A (ja) | 2009-07-24 | 2011-02-10 | Yahoo Japan Corp | クローラ調整装置及びクローラ調整方法 |
| JP2016062609A (ja) | 2014-09-18 | 2016-04-25 | アンプリデータ エヌブイ | コンピュータ実装された動的シャーディング方法 |
| US20180145883A1 (en) | 2016-11-24 | 2018-05-24 | Kabushiki Kaisha Toshiba | Server, computer program product, and communication system |
| US11068461B1 (en) | 2019-06-25 | 2021-07-20 | Amazon Technologies, Inc. | Monitoring key access patterns for nonrelational databases |
Family Cites Families (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9930089D0 (en) * | 1999-12-20 | 2000-02-09 | Nokia Networks Oy | Communications networks |
| US7437428B1 (en) | 2000-02-16 | 2008-10-14 | Microsoft Corporation | System and method for transferring data over a network |
| US7289990B2 (en) * | 2003-06-26 | 2007-10-30 | International Business Machines Corporation | Method and apparatus for reducing index sizes and increasing performance of non-relational databases |
| US7953843B2 (en) * | 2004-06-14 | 2011-05-31 | Hewlett-Packard Development Company, L.P. | System and method for evaluating a heterogeneous cluster for supporting expected workload in compliance with at least one service parameter |
| US7813276B2 (en) * | 2006-07-10 | 2010-10-12 | International Business Machines Corporation | Method for distributed hierarchical admission control across a cluster |
| US7764615B2 (en) * | 2006-07-10 | 2010-07-27 | International Business Machines Corporation | Distributing rate limits and tracking rate consumption across members of a cluster |
| US8046765B2 (en) * | 2006-07-25 | 2011-10-25 | Hewlett-Packard Development Company, L.P. | System and method for determining allocation of resource access demands to different classes of service based at least in part on permitted degraded performance |
| US8266290B2 (en) * | 2009-10-26 | 2012-09-11 | Microsoft Corporation | Scalable queues on a scalable structured storage system |
| US8392558B1 (en) * | 2011-03-22 | 2013-03-05 | Amazon Technologies, Inc. | System and method for determining overload state for service requests |
| US8429282B1 (en) * | 2011-03-22 | 2013-04-23 | Amazon Technologies, Inc. | System and method for avoiding system overload by maintaining an ideal request rate |
| US8914497B1 (en) * | 2011-12-15 | 2014-12-16 | Amazon Technologies, Inc. | System and method for throttling service requests having non-uniform workloads |
| US8732291B2 (en) * | 2012-01-13 | 2014-05-20 | Accenture Global Services Limited | Performance interference model for managing consolidated workloads in QOS-aware clouds |
| US20130332608A1 (en) * | 2012-06-06 | 2013-12-12 | Hitachi, Ltd. | Load balancing for distributed key-value store |
| US9164702B1 (en) | 2012-09-07 | 2015-10-20 | Google Inc. | Single-sided distributed cache system |
| US9218221B2 (en) * | 2013-06-25 | 2015-12-22 | Amazon Technologies, Inc. | Token sharing mechanisms for burst-mode operations |
| US9553821B2 (en) * | 2013-06-25 | 2017-01-24 | Amazon Technologies, Inc. | Equitable distribution of excess shared-resource throughput capacity |
| US9386086B2 (en) * | 2013-09-11 | 2016-07-05 | Cisco Technology Inc. | Dynamic scaling for multi-tiered distributed systems using payoff optimization of application classes |
| US9609074B2 (en) * | 2014-06-18 | 2017-03-28 | Adobe Systems Incorporated | Performing predictive analysis on usage analytics |
| JP6495645B2 (ja) * | 2014-12-19 | 2019-04-03 | 株式会社東芝 | リソース制御装置、方法、及びプログラム |
| US10089307B2 (en) * | 2014-12-31 | 2018-10-02 | International Business Machines Corporation | Scalable distributed data store |
| EP3040886A1 (en) * | 2015-01-05 | 2016-07-06 | Iguazio Systems Ltd. | Service oriented data management and architecture |
| US9843486B2 (en) * | 2015-04-16 | 2017-12-12 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for SLA violation mitigation via multi-level thresholds |
| FI20155792A (fi) * | 2015-11-02 | 2017-05-03 | Db Pro Oy | Kapasiteettisuunnittelumenetelmä |
| CN106936883B (zh) * | 2015-12-31 | 2020-03-20 | 伊姆西Ip控股有限责任公司 | 用于云系统的方法和装置 |
| US10082983B2 (en) * | 2016-04-05 | 2018-09-25 | International Business Machines Corporation | Monitoring storage systems |
| US10726338B2 (en) * | 2016-11-11 | 2020-07-28 | International Business Machines Corporation | Modifying a set of instructions based on bootstrapped knowledge acquisition from a limited knowledge domain |
| US10157116B2 (en) * | 2016-11-28 | 2018-12-18 | Google Llc | Window deviation analyzer |
| US10684933B2 (en) * | 2016-11-28 | 2020-06-16 | Sap Se | Smart self-healing service for data analytics systems |
| CN107169009B (zh) * | 2017-03-31 | 2020-03-27 | 北京奇艺世纪科技有限公司 | 一种分布式存储系统的数据分裂方法及装置 |
| US20180295044A1 (en) * | 2017-04-05 | 2018-10-11 | Linkedin Corporation | Automated management of service instances |
| US10873541B2 (en) * | 2017-04-17 | 2020-12-22 | Microsoft Technology Licensing, Llc | Systems and methods for proactively and reactively allocating resources in cloud-based networks |
| US10516687B1 (en) * | 2017-06-15 | 2019-12-24 | Amazon Technologies, Inc. | Network traffic spike detection and management |
| US10534774B2 (en) * | 2017-06-21 | 2020-01-14 | Microsoft Technology Licensing, Llc | Query performance degradation analysis timing |
| CN110019110B (zh) * | 2017-07-28 | 2022-11-18 | 腾讯科技(深圳)有限公司 | 一种业务系统的容量管理方法、装置、设备及业务系统 |
| CN109815004B (zh) * | 2017-11-21 | 2022-11-04 | 腾讯科技(深圳)有限公司 | 请求负载控制方法、装置、存储介质和计算机设备 |
| US11061930B1 (en) * | 2018-01-31 | 2021-07-13 | Amazon Technologies, Inc. | Dynamic management of storage object partitioning |
| US11023133B2 (en) * | 2018-08-16 | 2021-06-01 | Acronis International Gmbh | Systems and methods for modifying storage system configuration using artificial intelligence |
| CN109254726A (zh) * | 2018-08-16 | 2019-01-22 | 华为技术有限公司 | 分布式存储系统中服务质量保障方法、控制节点及系统 |
| US20200097810A1 (en) * | 2018-09-25 | 2020-03-26 | Oracle International Corporation | Automated window based feature generation for time-series forecasting and anomaly detection |
| US11677699B2 (en) * | 2018-12-03 | 2023-06-13 | International Business Machines Corporation | Cognitive pre-loading of referenced content in electronic messages |
| US11132131B2 (en) * | 2019-02-28 | 2021-09-28 | Oracle International Corporation | Consistently enforcing I/O resource constraints for workloads on parallel-access storage devices |
| US10855580B2 (en) * | 2019-03-27 | 2020-12-01 | Amazon Technologies, Inc. | Consistent route announcements among redundant controllers in global network access point |
| CN110209693A (zh) * | 2019-05-10 | 2019-09-06 | 苏宁云计算有限公司 | 高并发数据查询方法、装置、系统、设备及可读存储介质 |
| CN110188930A (zh) * | 2019-05-17 | 2019-08-30 | 深圳前海微众银行股份有限公司 | 一种权益产品的定制方法及装置 |
| US11650852B2 (en) * | 2020-05-08 | 2023-05-16 | Microsoft Technology Licensing, Llc | Dynamic throttling based on health metrics |
-
2019
- 2019-11-25 US US16/693,556 patent/US11494229B2/en active Active
-
2020
- 2020-11-23 CN CN202080082053.6A patent/CN114787791B/zh active Active
- 2020-11-23 KR KR1020227021299A patent/KR102914568B1/ko active Active
- 2020-11-23 WO PCT/US2020/061879 patent/WO2021108332A1/en not_active Ceased
- 2020-11-23 JP JP2022530295A patent/JP7275392B2/ja active Active
- 2020-11-23 EP EP20824871.6A patent/EP4066126B1/en active Active
- 2020-11-23 CN CN202310437879.5A patent/CN116401135A/zh active Pending
-
2022
- 2022-10-25 US US18/049,384 patent/US12153959B2/en active Active
-
2023
- 2023-05-02 JP JP2023076175A patent/JP7595108B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003527800A (ja) | 2000-02-16 | 2003-09-16 | マイクロソフト コーポレイション | ネットワークを介してデータを転送するためのシステム及び方法 |
| JP2011028485A (ja) | 2009-07-24 | 2011-02-10 | Yahoo Japan Corp | クローラ調整装置及びクローラ調整方法 |
| JP2016062609A (ja) | 2014-09-18 | 2016-04-25 | アンプリデータ エヌブイ | コンピュータ実装された動的シャーディング方法 |
| US20180145883A1 (en) | 2016-11-24 | 2018-05-24 | Kabushiki Kaisha Toshiba | Server, computer program product, and communication system |
| US11068461B1 (en) | 2019-06-25 | 2021-07-20 | Amazon Technologies, Inc. | Monitoring key access patterns for nonrelational databases |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230076810A1 (en) | 2023-03-09 |
| US11494229B2 (en) | 2022-11-08 |
| WO2021108332A1 (en) | 2021-06-03 |
| CN116401135A (zh) | 2023-07-07 |
| US20210157641A1 (en) | 2021-05-27 |
| JP7275392B2 (ja) | 2023-05-17 |
| JP2023113616A (ja) | 2023-08-16 |
| EP4066126B1 (en) | 2025-08-27 |
| KR102914568B1 (ko) | 2026-01-16 |
| CN114787791B (zh) | 2023-05-12 |
| JP2022551335A (ja) | 2022-12-08 |
| EP4066126A1 (en) | 2022-10-05 |
| CN114787791A (zh) | 2022-07-22 |
| US12153959B2 (en) | 2024-11-26 |
| KR20220098254A (ko) | 2022-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7595108B2 (ja) | ルール違反検出 | |
| US10592532B2 (en) | Database sharding | |
| US9529540B1 (en) | Redistributing data in a distributed storage system based on attributes of the data | |
| US20120311295A1 (en) | System and method of optimization of in-memory data grid placement | |
| US11093328B1 (en) | Managing distributed system performance using accelerated data retrieval operations | |
| US10452511B2 (en) | Server health checking | |
| US20220335047A1 (en) | System and method for dynamic memory allocation for query execution | |
| US10970341B2 (en) | Predictive modeling in event processing systems for big data processing in cloud | |
| US11762868B2 (en) | Metadata management for a transactional storage system | |
| US11431349B2 (en) | Method, electronic device and computer program product for processing data | |
| CN116881253A (zh) | 一种数据处理方法、装置、设备以及存储介质 | |
| US20200042421A1 (en) | Storage system performance models based on empirical component utilization | |
| US20240311356A1 (en) | Workload-Driven Index Selections | |
| EP4323890A1 (en) | System and method for dynamic memory allocation for query execution | |
| US20220382645A1 (en) | System and method for ranking data storage devices for efficient production agent deployment | |
| US8892536B2 (en) | Methods for resolving a hang in a database system | |
| CN119814765A (zh) | 一种唯一id生成方法、装置、设备以及存储介质 | |
| CN115442432A (zh) | 一种控制方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230606 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230606 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240611 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240827 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241029 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241125 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7595108 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |