CN110795230A - 用以支持统一的分布式实时配额限制的智能解决方案 - Google Patents

Abstract

本发明提供一种用以支持统一的分布式实时配额限制的智能解决方案。统一的分布式实时配额限制系统限制分布式网络环境(DNE)中的共享网络资源的使用。调度中心确定DNE中的客户端装置可用的共享资源的量。调度中心确定要分配给客户端使用的共享资源的量，并且向客户端发送一个或多个策略，其中该一个或多个策略具有限制客户端可以使用的资源的量的资源使用配额。在客户端接收到用以执行需要共享资源的任务的请求时，在运行该任务之前，客户端确定自己对资源的使用，并且在运行该任务将超过共享资源的配额限制的情况下终止该任务。

Description

用以支持统一的分布式实时配额限制的智能解决方案

技术领域

本发明涉及网络环境中的资源监视和限制。

背景技术

分布式网络系统包括经由网络互连的一个或多个客户端装置以及一个或多个服务器装置。在分布式网络系统中，客户端装置可以将分布式网络上的一个或多个服务器资源的资源作为共享或分配的资源来消耗。分布式网络系统的可共享资源是分布式网络系统的通常与仅用于客户端装置工作的客户端装置资源区分开的资源。在分布式网络系统中存在的问题是可共享资源可能被一个或多个客户端装置过度使用，这导致分布式网络系统的性能下降。

为了防止资源的过度利用，一些系统实施资源配额以限制客户端可以使用的可共享资源的量。现有技术的资源配额系统由附接至网络的服务器系统管理。可以针对各客户端装置和服务器装置手动地设置资源配额。在客户端装置使用共享资源时，该客户端装置可以向一个或多个服务器通知正在使用或将使用的共享资源的量，以代表客户端执行任务。

现有的分布式网络系统资源配额限制系统至少存在三个问题。第一，在分布式网络系统中利用服务器监视可共享资源使用的情况下，该服务器从客户端装置接收更新消息(即，客户端装置正在使用的系统资源的量，诸如网络带宽或磁盘存储等)。监视可共享资源的该方法至少由于以下原因因而不可靠：当服务器接收到客户端装置将使用可共享资源的消息时，该可共享资源通常已被使用。第二，如果服务器判断为客户端装置超过了可共享资源的配额，则服务器向客户端装置发送消息以停止超过了该可共享资源的配额限制的进程。由于消息传递时延，因而客户端装置可以继续使用多于可共享资源的所分配的配额，直到客户端装置接收到服务器所发送的超过配额限制消息并按照该超过配额限制消息采取行动为止。第三，目前没有一种方式可供客户端装置在该客户端装置实际使用可共享资源之前、判断为该客户端装置将使用多于其被允许的系统资源的配额限制，并且在客户端进程将超过该配额的情况下，在客户端进程使用任何可共享资源之前停止该客户端进程。

另外，在分布式网络系统中通常不监视一些可共享资源(例如，网络带宽)，并且客户端装置根本不能监视一些可共享资源。

发明内容

根据本发明的一个方面，一种计算机实现的方法，所述方法包括：利用客户端装置接收一个或多个策略，所述一个或多个策略用于对分布式网络系统的多个资源中的所述客户端装置执行任务时使用的至少一个资源的使用设置配额；利用所述客户端装置从所述分布式网络系统中的装置接收所述客户端装置要执行的任务，其中执行所述任务需要利用所述至少一个资源；利用所述客户端装置判断所述客户端装置执行所述任务时将使用的所述至少一个资源的量；以及响应于判断为所述客户端装置完成所述任务将使用的所述至少一个资源的量将超过在所述一个或多个策略中针对该至少一个资源的配额，利用所述客户端装置终止所述任务。

根据本发明的另一方面，一种设备，包括：用于利用客户端装置接收一个或多个策略的部件，所述一个或多个策略用于对分布式网络系统的多个资源中的所述客户端装置执行任务时使用的至少一个资源的使用设置配额；用于利用所述客户端装置从所述分布式网络系统中的装置接收所述客户端装置要执行的任务的部件，其中执行所述任务需要利用所述至少一个资源；用于利用所述客户端装置判断所述客户端装置执行所述任务时将使用的所述至少一个资源的量的部件；以及用于响应于判断为所述客户端装置完成所述任务将使用的所述至少一个资源的量将超过在所述一个或多个策略中针对该至少一个资源的配额、利用所述客户端装置终止所述任务的部件。

根据本发明的另一方面，一种系统，包括：处理系统，其具有至少一个硬件处理器，所述处理系统连接至编程有可执行指令的存储器，所述可执行指令在由所述处理系统执行时进行以下操作，所述操作包括：利用客户端装置接收一个或多个策略，所述一个或多个策略用于对分布式网络系统的多个资源中的所述客户端装置执行任务时使用的至少一个资源的使用设置配额；利用所述客户端装置从所述分布式网络系统中的装置接收所述客户端装置要执行的任务，其中执行所述任务需要利用所述至少一个资源；利用所述客户端装置判断所述客户端装置执行所述任务时将使用的所述至少一个资源的量；以及响应于判断为所述客户端装置完成所述任务将使用的所述至少一个资源的量将超过在所述一个或多个策略中针对该至少一个资源的配额，利用所述客户端装置终止所述任务。

根据本发明的又一方面，一种系统，包括：处理系统，其具有至少一个硬件处理器，所述处理系统连接至编程有可执行指令的存储器，所述可执行指令在由所述处理系统执行时进行以下操作，所述操作包括：确定分布式网络系统中的多个装置所共享的所述分布式网络系统的多个资源的量；确定将分配至代表所述分布式网络系统中的所述多个装置执行的工作的所述多个资源的最大量；接收一个或多个资源利用策略，所述一个或多个资源利用策略对所述多个装置中的至少一个客户端装置所用的所述多个资源中的各资源设置配额，其中所述配额是对许可所述客户端装置使用的资源的量的限制；以及使至少所述客户端装置被配置为不超过在资源利用策略中针对所述多个资源至少之一的配额。

附图说明

本发明的实施例通过示例而非限制的方式在附图中示出，其中在附图中，相同的附图标记表示相似的元件。

图1以框图形式示出根据一些实施例的用于实施统一的分布式实时配额限制服务的系统。

图2以框图形式示出根据一些实施例的用于实施统一的分布式实时配额限制服务的系统中的客户端装置。

图3以框图形式示出根据一些实施例的用于实施统一的分布式实时配额限制服务的系统中的调度中心。

图4以框图形式示出根据一些实施例的、在使用统一的分布式实时配额限制服务的系统中调度中心确定并分发客户端资源配额的方法。

图5以框图形式示出根据一些实施例的、在使用统一的分布式实时配额限制服务的系统中客户端进行配额限制强制执行的方法。

图6以框图形式示出根据一些实施例的、在使用统一的分布式实时配额限制服务的系统中客户端在进行备份的同时进行配额限制强制执行的方法。

图7以框图形式示出根据一些实施例的、在使用统一的分布式实时配额限制服务的系统中的确定备份的大小的方法。

图8以框图形式示出根据一些实施例的、可用于实现实施统一的分布式实时配额限制服务的系统的一个或多个部分的计算系统。

具体实施方式

在以下的实施例的详细说明中，参考了附图，其中在这些附图中，相同的附图标记表示相似的元件，并且这些附图是通过可以实践具体实施例的例示方式示出的。足够详细地描述了这些实施例以使得本领域技术人员能够实践本发明，并且应当理解，可以利用其它实施例，并且可以在没有背离本发明的范围的情况下进行逻辑、机械、电气、功能和其它方面的改变。因此，以下的详细说明不应被视为限制性的，并且本发明的范围仅由所附权利要求限定。

描述了用于对分布式网络系统的客户端装置所使用的共享资源建立并强制执行配额限制的实施例。共享资源可以是网络带宽、CPU利用率、内存使用、存储使用、软件使用，或者在分布式网络系统上可用于代表客户端装置执行任务的任何可用资源。客户端装置接收对分布式网络系统的至少一个资源的使用设置配额限制的一个或多个策略，其中该至少一个资源是在客户端装置执行任务时使用的。该配额限制可以基于客户端装置，具体地，或者基于作为一组客户端装置的成员的客户端装置。该客户端装置接收要执行的需要使用至少一个资源的任务。这种任务可以是从客户端装置到备份服务器的数据的备份操作、或者从远程存储器将一个或多个文件恢复到客户端装置。该任务可以是需要使用分布式网络系统中的共享资源的任何任务。客户端装置可以在执行任务之前判断在执行任务时至少将使用多少共享资源、以及要使用的量是否将超过针对该客户端装置的配额限制。如果要使用的量将超过该客户端装置的配额限制，则客户端装置可以取消该任务的执行。在实施例中，客户端装置可以发送指示是否可以或将要执行任务、或者任务是否由于超过资源配额限制而将被取消的消息。对于备份和恢复操作，判断要使用的资源的量可以包括判断要处理的数据当前是经过了重复数据删除还是原始数据、以及备份或恢复操作将该数据作为重复数据删除后的数据还是原始数据来发送，这会影响经由网络要传输的数据量以及执行任务时要使用的CPU处理时间和内存的量。

在另一实施例中，调度中心可以确定在分布式网络环境中可用的可共享资源的量。调度中心可以经由输入确定或接收针对客户端组和/或针对个体客户端装置的多个资源配额限制策略。调度中心可以将适用的策略发送至分布式网络系统中的各客户端，其中客户端装置将强制执行共享资源使用配额限制策略以达到共享资源。如果在执行任务时客户端装置判断为该客户端装置超过分布式网络系统中的共享资源的配额限制，则客户端装置可以相应地向调度中心发送消息。

任何上述方法均可以体现在编程有可执行指令的非暂时性计算机可读介质上，其中这些可执行指令在被执行的情况下，进行该方法。系统可以编程有可执行指令，其中这些可执行指令在由包括至少一个硬件处理器的处理系统执行的情况下，可以进行任何上述方法。

一些实施例包括如下环境中的一个或多个应用编程接口(API)，其中在该环境中，调用程序代码通过该一个或多个接口与正被调用的其它程序代码交互。可以经由API在调用程序和正被调用的代码之间传输各种函数调用、消息或其它类型的调用(其还可以包括各种参数)。另外，API可以向调用程序代码提供使用在API中定义的并在被调用的程序代码中实现的数据类型或类的能力。至少某些实施例包括调用软件组件通过API与被调用的软件组件交互的环境。用于在该环境中通过API运行的方法包括经由API传输一个或多个函数调用、消息、其它类型的调用或者参数。

图1以框图形式示出根据一些实施例的用于实施统一的分布式实时配额限制服务的系统100。分布式实时配额限制服务器可以包括经由网络125互连的一个或多个客户端装置200(整体地或单独地称为“客户端200”)、一个或多个服务器150(整体地或单独地称为“服务器150”)、以及调度中心300。

客户端200可以是包括独立式计算装置或者运行一个或多个虚拟机(其中，各虚拟机是客户端200)的主机计算机的任何类型的计算系统。独立式计算装置可以包括台式计算机、膝上型计算机、平板计算机、无线装置(诸如蜂窝电话、智能电话等)、个人数字助理、电视机顶盒、智能手表或其它计算装置。以下参考图8来说明能够实现客户端200的代表性硬件。如在本领域内已知的，在分布式网络系统100中，客户端200可以支持共享其计算资源。然而，为了更好地阐述本文中所述的发明性概念，客户端200的资源将被描述为不是共享的并且不同于如下的分布式网络系统资源，其中该分布式网络系统资源是共享的，并且客户端对该分布式网络系统资源的使用受到详述客户端200所共享的一个或多个系统资源的配额限制的一个或多个政策的约束。还应当理解，服务器150和调度中心300可以不共享它们的所有可用资源。为了确保服务器150和调度中心300可以在它们自身的工作量以及客户端200的工作量方面取得进展，可以为服务器150和调度中心300保留一部分潜在的可共享资源，而服务器资源的更大部分在客户端200之间共享并且受到配额限制约束。以下参考图8来说明能够运行服务器150和调度中心300的代表性硬件。

服务器150和调度中心300可以包括多个服务器150、存储设备、网络附属存储、RAID(独立磁盘冗余阵列)阵列和具有共享资源的其它装置。服务器150可以包括管理控制台服务器(MCS)150。MCS 150可以向客户端200发起备份请求。在接收到来自MCS的请求时，客户端200中的代理将该备份请求路由到客户端200中的文件系统插件。该文件系统插件帮助生成向数据存储服务器150的客户端数据的备份。该文件系统插件还可以生成由客户端200中的消息传递代理发送至MCS 150的备份进度信息。如果客户端200由于执行任务而将超过共享资源使用配额限制，则消息传递代理可以通知MCS 150终止所请求的任务。

在实施例中，调度中心300可以位于一个或多个服务器150中。共享资源可以包括存储器、内存、网络资源(诸如带宽等)和处理资源(诸如一个或多个硬件处理器等)。处理器可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPA)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、以及并行或流水线处理器等。内存可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器、静态或动态存储器、以及其它类型的存储器。存储器可以包括硬盘、致密盘ROM驱动器、数字视频盘驱动器、磁带驱动器，RAID阵列和其它存储器。网络硬件可以包括网络(诸如TCP/IP、光纤通道、火线(FireWire)、通用串行总线(USB)、令牌环、或者其它类型的网络硬件和/或协议等)所用的一个或多个网络接口卡。以下参考图8来说明用于实现服务器150和调度中心300的代表性硬件。

服务器150可以经由网络125向客户端200和其它服务器150执行服务。服务器可以包括文件服务器、备份/恢复服务器、打印服务器、传真服务器、电子邮件服务器、即时消息传递服务器、重复数据删除服务器和其它服务。服务器150的资源通常与客户端200共享，但一些量的服务器资源将不被共享，并且可以被服务器150保留以执行服务器的核心功能。

图2以框图形式示出根据一些实施例的用于实施统一的分布式实时配额限制服务的系统100中的客户端装置200。客户端200可以包括网络和硬件210、操作系统220、代理230、文件系统插件240、消息传递245以及配额限制服务250。省略了客户端200的其它众所周知的特征，诸如一个或多个用户应用以及用户接口等。

如参考以上的图1和以下的图8所述，客户端200可以包括网络和硬件资源210。客户端200还可以包括一个或多个操作系统220，诸如Windows、Unix、Linux、Apple OSX或其它操作系统等。客户端200可以包括诸如VMWare等的虚拟化软件(未示出)。在这种实施例中，客户端200可以包括具有虚拟网络接口卡的虚拟机、以及其它虚拟化计算硬件或软件服务(未示出)。

客户端200还可以包括一个或多个代理230。代理230可以将客户端200的功能公开给服务器150或调度中心300。代理230可以执行在客户端200上运行的特定于平台的进程，并且可以与管理控制台服务器150(MCS)进行通信，以执行可能源自于分布式网络系统100或者可能以其它方式利用分布式网络系统100的共享资源的任务。

在接收到来自MCS的请求时，客户端200中的代理230将备份请求路由到客户端200中的文件系统插件240。文件系统插件240帮助生成相对于数据存储服务器150的客户端200的数据的备份以及/或者恢复。文件系统插件240可以通过文件系统的递归遍历来确定在客户端200的备份或恢复任务中指定的各对象目录和/或文件的以字节为单位的大小。以下参考图7来更详细地说明确定文件系统的大小。在确定客户端文件系统任务中的字节数时，文件系统插件240可以考虑要备份/恢复的文件数据当前是经过了重复数据删除还是原始数据、以及该数据要被作为重复数据删除后的数据还是原始数据经由网络相对于客户端200和服务器150进行传输。如此，文件系统插件240可以非常精确地确定在执行任务时将使用分布式网络系统的多少网络带宽和存储空间。因而，文件系统插件240可以在执行任务之前判断是否将超过分布式网络系统100的共享资源的配额限制。如果将超过分布式网络系统100的共享资源的配额限制，则代理230可以经由向MCS 150的消息来取消任务。文件系统插件240还可以生成由客户端200中的消息传递代理245发送至MCS 150的备份进度信息。

配额限制服务250可以对客户端200的关于分布式网络系统100的共享资源的使用强制执行从调度中心300接收到的配额限制。如以下所述，参考图3，调度中心300可以确定分布式网络系统100中的各可用的共享资源的量。配额限制服务从调度中心300接收可共享资源的配额限制。在客户端200接收到要执行的需要可共享资源的任务的情况下，一个或多个代理230或插件240可以确定执行该任务所需的可共享资源的量。在实际执行该任务之前，配额限制服务可以接收执行该任务所需的可共享资源的量，将所需的这些量与从调度中心300接收到的一个或多个可共享资源配额限制进行比较，并且判断所需的任何可共享资源的量是否超过该可共享资源的配额限制。如果所需的任何可共享资源的量超过了该可共享资源的配额限制，则配额限制服务250可以使进度/消息传递245向请求了执行任务的调度中心300或服务器150发送消息，从而向该调度中心或服务器通知执行该任务将超过一个或多个可共享资源配额限制并且将不执行该任务。然后，配额限制服务器250可以取消客户端200上的任务的执行。通过在执行任务之前确定可共享资源利用、并且判断为由于执行任务而将超过资源利用配额，可以节省大量可共享资源利用。

图3以框图形式示出根据一些实施例的用于实施统一的分布式实时配额限制服务的系统中的调度中心300。如图1所示并且这里在图3中重复，客户端200可以经由网络125与调度中心300和服务器150(在图3中未示出)进行通信。

调度中心300确定分布式网络系统100中的服务器150的可用共享资源。调度中心300还将共享资源配额限制规则发送至分布式网络系统100中的客户端200。在实施例中，一个或多个客户端200可以具有在分布式网络系统100中也被共享的资源。调度中心300还可以调用客户端200中的一个或多个代理230以确定客户端200的共享资源。然而，为了便于论述，将共享资源描述为分布式网络系统100中的服务器150的共享资源。然而，应当理解，客户端200的资源也可以是分布式网络系统100中的共享资源。在以下的说明中，除非另外说明，否则单独使用术语“装置”来表示“服务器”和/或“客户端”。

调度中心300可以调用分布式网络系统100上的各装置内的API、代理或服务，以获得该装置(例如，服务器150或客户端200)内的资源的核算(accounting)。在实施例中，调度中心300针对装置的资源所接收到的核算可以局限于该装置已指示的在分布式网络系统100上是可共享的资源。在实施例中，资源的核算可以包括指示总装置资源和可共享装置资源这两者的装置的资源。调度中心300可以通过分布式网络系统100中的各装置的核算来确定在分布式网络系统100上可用的可共享资源的总量。

调度中心300还可以接收或确定用于对分布式网络系统100的共享资源建立配额限制的一个或多个策略。组策略可以确定组配额使用330中所存储的针对一组客户端200的配额限制。客户端策略可以确定客户端配额使用320中所存储的针对个体客户端200的配额限制。可以通过用户输入来手动输入组策略和客户端策略。可以通过默认算法或智能算法来确定组策略和客户端策略。

调度中心300可以维护分布式网络系统100中的可共享资源的特征目录310。特征目录310可以包括可共享资源的列表311、容量312(或各资源的量)、可以分配至各客户端200的最大配额314、限制策略315(诸如可共享资源的循环法分配或动态分配等)、以及指示了限制策略315处于生效的有效标志316。

客户端配额使用320和组配额使用330可以由调度中心300使用算法来确定，或者通过组策略或客户端策略的用户输入来确定，或者通过这两种方式的组合来确定。在实施例中，默认算法可以确定分布式网络系统100上的可共享资源的总量，并且可以将这些可共享资源均匀地除以系统100上所配置的客户端200的数量。可以使用该信息来填充客户端配额使用320。如在组配额使用330中所示，可以将诸如按公司、或部门、或功能、或其它分组等进行分组的客户端200聚合成组，例如组1、组2等。可选地或附加地，向组配额使用330中的用户输入或者管理组配额使用330的策略可以针对各组中的各客户端200指定可共享资源配额限制，并且可以从组配额使用330的信息填充客户端配额使用320。可以使用客户端配额使用320和组配额使用330来填充特征目录310。在实施例中，客户端配额使用320和组配额使用330可以相互补充以形成针对客户端200的一套完整的配额限制。例如，客户端配额使用320可以指定CPU和内存的配额限制，并且组配额使用330可以针对各组的各客户端指定后端存储限制和网络带宽限制。在另一实施例中，可以在组配额使用330中针对客户端组生成针对所有可共享资源的一套完整的配额限制，另外，不属于组的客户端200可以具有针对可能不是客户端组的成员的客户端200的所有可共享资源的一套完整的配额限制。

调度中心300可以通过将分布式网络系统100的可共享资源的一个或多个配额限制发送至客户端200，来使各客户端200实现资源配额限制。如上所述，参考图2，客户端200上的配额限制服务器250可以接收可共享资源的一个或多个配额限制，并且可以强制执行这些配额限制。在许多情况下，强制执行可共享资源的配额限制可以通过取消执行在开始任务之前所确定的该任务(其中执行该任务将超过一个或多个可共享资源的配额限制)而在执行该任务之前发生，其中该任务由客户端装置200或者代表客户端装置200执行。

图4以框图形式示出根据一些实施例的、在使用统一的分布式实时配额限制服务的系统中调度中心300确定并分发客户端资源配额的方法400。

在操作405中，调度中心300可以确定分布式网络系统100中的可用的可共享资源的总量，以实现实时配额限制。可用系统资源可以包括连接至分布式网络系统的服务器250的所有资源。在实施例中，可用系统资源还可以包括客户端200的资源。系统资源可以包括存储器、内存、处理能力(一般为“CPU”)、网络带宽和其它计算资源。为了确定连接至分布式网络系统100的各服务器250的系统资源，调度中心300可以调用分布式网络系统100中的各个服务器150上的一个或多个应用编程接口(API)或代理。

在操作410中，调度中心300可以根据在操作405中确定的可用系统资源确定将是分布式网络系统100上的可共享资源的这些系统资源的最大量。通常，由于各服务器150需要为其自身保留一些资源以执行各服务器150所预定的工作，因此该最大量将小于在操作405中所确定的所有资源。因而，并非服务器150的所有存储器、内存、CPU或网络带宽都将被分配为客户端200所要使用的系统资源。

在操作415中，调度中心300可以接收或确定用于设置一组客户端中的可共享资源客户端200的配额限制的一个或多个策略。例如，一组客户端可以是指定公司或企业中的客户端、企业内的部门中的客户端、指定网络中的客户端、指定地理区域中的客户端和客户端的其它分组。在实施例中，指定网络或地理区域可能以非常高的业务量而著名，因而组策略可以针对该组中的各客户端分配与针对其它组中的各客户端所分配的网络带宽相比更小量的网络带宽。在实施例中，可以将组策略手动输入到调度中心300中。在实施例中，调度中心300可以获得网络带宽(或其它资源)历史使用信息以确定组的可共享资源配额限制。

在操作420中，调度中心300可以接收或以其它方式生成个体客户端200的一个或多个可共享资源配额限制。在实施例中，可以接收策略作为用以定义针对一个或多个客户端的资源的配额限制的策略的用户输入。在实施例中，例如，通过对可共享资源的总量进行分割、减去该资源的由组策略以其它方式进行了配额限制的任意量、并且将剩余量的可共享资源除以可用客户端装置的数量，可以使用默认策略。

在操作425中，调度中心300可以将一个或多个可共享资源配额限制策略发送至分布式网络系统100中的一个或多个客户端200。例如通过配额限制服务250在各客户端200上实现的逻辑可以强制执行发送至各客户端200的策略中的配额限制。

图5以框图形式示出根据一些实施例的、在使用统一的分布式实时配额限制服务的系统中客户端进行配额限制强制执行的方法500。

在操作505中，客户端200可以从调度中心300接收用于管理客户端对一个或多个可共享资源的使用的一个或多个配额限制策略。这些配额限制策略可以由例如客户端装置200的代理230或消息传递服务器245接收，并且被传递至配额限制服务250。

在操作510中，客户端200可以接收数据保护任务，诸如用以发起备份、发起恢复、迁移虚拟机、迁移数据集、或者利用分布式网络系统100的一个或多个共享资源的其它任务的请求等。在实施例中，对任务的请求可以由服务器150(诸如备份服务器150等)发起。在实施例中，对任务的请求可以由调度中心300或消息传递服务器150(未示出)发起，其中消息传递服务器150用于在分布式网络系统100中向客户端200分配任务。在实施例中，对任务的请求可以由客户端200本身发起。

在操作515中，客户端200可以利用一个或多个文件系统插件240、一个或多个代理230、API、框架、或者操作系统220的服务来确定执行所请求的任务所需的可共享资源的量。在实施例中，所请求的任务是将虚拟机迁移到另一客户端200，并且源客户端200的文件系统插件240可以确定将虚拟机迁移到目的地所需的可共享资源(例如，数据存储器、处理能力和网络带宽)的总量。代理230或文件系统插件240可以将执行在操作510中接收到的任务所需的可共享资源的总量传递至配额限制服务250。可以在任务开始利用可共享资源之前进行操作515。

在操作520中，可以判断执行(在操作510中接收到的)任务所需的(在操作515中确定的)任何可共享资源的量是否超过该可共享资源的配额限制。配额限制服务250可以判断由于执行任务而是否将超过分布式网络系统的任何可共享资源的配额限制。如果由于执行任务而将超过可共享资源的配额限制，则方法500在操作525中继续，否则方法500在操作530中继续。

在操作525中，配额限制服务250可以调用进度/消息传递代理245以向调度中心300或在操作510请求了客户端执行任务的其它服务器150发送消息，以取消所请求的任务，因为运行该任务将超过可共享资源的配额限制。在实施例中，该消息可以包括更多的细节，诸如所请求的任务的性质、在执行该任务的情况下将超过配额限制的特定资源、以及/或者在执行该任务时将使用的所有可共享资源的利用细节等。方法500结束。

在操作530中，可以执行在操作510中接收到的任务。在执行该任务期间，一个或多个代理230或者文件系统插件240可以监视该任务的可共享资源使用和进度。

在操作535中，进度/消息代理245可以将一个或多个进度消息发送至请求了任务的服务器150、或调度中心300、或这两者。方法500结束。

图6以框图形式示出根据一些实施例的、在使用统一的分布式实时配额限制服务的系统中客户端在进行备份的同时进行配额限制强制执行的方法600。

在操作605中，客户端200可以从备份服务器150接收诸如用以发起备份的请求等的数据保护任务。该数据保护任务利用分布式网络系统100的一个或多个共享资源。在实施例中，对任务的请求可以由调度中心300或消息传递服务器150(未示出)发起，其中消息传递服务器150用于在分布式网络系统100中向客户端200分配任务。在实施例中，对任务的请求可以由客户端200本身发起。

在操作610中，客户端200可以将对备份的请求传递至文件系统插件240。文件系统插件240可以确定要备份到备份服务器150的数据的总量。在实施例中，可能已对要备份的数据进行了重复数据删除，并且客户端200可能希望将数据备份为原始数据而不是重复数据删除后的数据。在这种情况下，对于要备份的各类型的对象数据集(例如，电子邮件、数据库等)，可以利用文件系统插件240在确定进行备份将使用的资源量时应用用于根据重复数据删除后的数据发送原始数据的原始数据扩展因子，诸如N＝2(由于重复数据删除而进行了50％的压缩)等。同样，如果要发送的数据当前被存储为原始数据、并且客户端200将在将该数据发送至备份服务器150之前将该数据备份为重复数据删除后的数据，则可以针对各数据集类型应用N＝0.5(50％的重复数据删除因子)或其它常数，以精确确定将用于执行备份的可共享资源的量。对于备份任务，可共享资源可以包括用以发送备份数据的网络带宽、用以存储备份服务器150所接收到的数据的后端数据存储等。

在操作700中，客户端200可以利用一个或多个文件系统插件240、一个或多个代理230、API、框架、或操作系统220的服务来确定执行所请求的任务所需的可共享资源的量。以下参考图7来更全面地说明操作700。可以在备份任务开始利用可共享资源之前进行操作700。

在操作620中，可以判断执行(在操作605中接收到的)任务所需的(在操作700中确定的)任何可共享资源的量是否超过该可共享资源的配额限制。配额限制服务250可以判断由于执行任务而是否将超过分布式网络系统的任何可共享资源的配额限制。如果由于执行任务而将超过可共享资源的配额限制，则方法600在操作625中继续，否则方法600在操作630中继续。

在操作625，配额限制服务250可以调用进度/消息传递代理245以向调度中心300或者在操作605中请求了客户端执行任务的其它服务器150发送消息，以取消所请求的任务，因为运行该任务将超过可共享资源的配额限制。在实施例中，该消息可以包括更多的细节，诸如所请求的任务的性质、在执行该任务的情况下将超过配额限制的特定资源、以及/或者在执行任务时将使用的所有可共享资源的利用细节等。方法600结束。

在操作630中，可以执行在操作510中接收到的任务。在执行该任务期间，一个或多个代理230或文件系统插件240可以监视该任务的可共享资源使用和进度。

在操作635中，进度/消息传递代理245可以将一个或多个进度消息发送至请求了任务的服务器150、或调度中心300、或这两者。方法600结束。

图7以框图形式示出根据一些实施例的、在使用统一的分布式实时配额限制服务的系统中确定备份的大小的方法700。备份数据的大小将确定执行所请求的任务将需要的可共享资源(例如，网络带宽、后端数据存储等)的量。方法700可用于备份、恢复、将虚拟机迁移到另一客户端/主机200、将数据集迁移到另一服务器150、以及其它基于文件的操作。方法700遍历客户端200上的文件系统，以确定要备份、恢复或移动的数据的总大小。一些数据可以以重复数据删除格式存储，而其它数据以原始格式存储。客户端200可以具有阐明应当将诸如备份等的某些文件操作作为原始数据来进行的策略。因而，方法700可以遍历文件系统中的数据，并且通过将因子N应用于所遍历的数据来计算所遍历的数据量，其中N的值取决于数据当前是压缩的还是原始的、以及数据要以压缩还是原始状态发送。值N＝1意味着数据将以当前形式发送。值N<1意味着原始数据在被发送之前将经过重复数据删除或压缩，以及值N>1意味着将重复数据删除或压缩后的数据作为原始数据来发送。N的具体值基于某些数据集类型的实证压缩/解压缩统计。例如，文本可以压缩到比诸如浮点数等的二进制数据更高的程度。因此，例如，文档可以具有与电子表格、数据库或电子邮件不同的N值。以下的计算中的各对象可以具有不同的N值。

最初，要备份的数据的总量为零。方法700将确定通过分布式网络系统100要返回并发送至备份服务器150的数据的总量。

在操作705中，方法700循环在由客户端200在例如方法600的操作605中接收到的备份请求的范围内指定的所有对象。用以进行备份的请求可以指定某些对象目录或文件，并且还可以指定要从备份中排除的目录或文件。如上所述，根据要备份的指定对象数据集，并且基于数据当前是原始的还是压缩的、以及数据在备份中要以原始状态还是压缩状态发送，可以使用不同的N值。在文件系统中的所有对象都被考虑用于备份大小计算或者从备份大小计算中排除的情况下，方法700结束。

在操作710中，可以判断对象是否是目录。如果对象是目录，则方法700在操作715中继续，否则方法700在操作740中继续。

在操作715中，可以判断在所接收到的用于备份的请求中是否排除了该对象目录。如果在所接收到的用于备份的请求中排除了该对象目录，则方法700在操作720中继续，否则方法700在操作730中继续。

在操作720中，可以判断所排除的对象目录是否为空。如果所排除的对象目录为空，则方法700在操作725中继续，否则方法700在操作735中继续。

在操作725中，所排除的对象目录为空，因此从备份大小的计算中被跳过。方法700循环回至操作705以考虑下一对象。

在操作730中，判断为没有排除该对象目录，因此将该目录的大小添加到备份大小。方法700在操作735中继续。

在操作735中，所排除的对象目录不为空(具有文件)或者未被排除，并且遍历对象目录以确定文件的备份大小。方法700循环到操作705以处理另一对象。

在操作740中，判断为对象不是目录，并且判断是否排除了对象文件。如果排除了对象文件，则方法700循环到操作705，并且针对备份考虑另一对象。否则，方法700在操作745中继续。

在操作745中，判断所包括的对象文件是否是高速缓存文件。如果所包括的对象文件是高速缓存文件，则方法700在操作750中继续，否则方法700在操作755中继续。

在操作750中，文件未被排除而是高速缓存文件，因此从备份大小计算中被跳过。方法700循环到操作705，并且考虑备份大小的另一对象。

在操作755中，将所包括的非高速缓存文件的大小添加到备份大小。

在操作760中，判断父目录是否作为对象被排除。如果父目录作为对象被排除，则方法700循环到操作705并且考虑另一对象，否则方法700在操作765中继续。

在操作765中，将父目录大小添加到备份大小一次。可以设置标志，使得无论在目录中存在多少个对象文件，都仅将目录大小添加到备份计算一次。

图8是根据一些实施例的、可用于实现实施统一的分布式实时配额限制服务的系统的一个或多个部分的计算系统800的一个实施例的框图。图8所示的计算系统旨在表示(有线的或无线的)一系列计算系统，其中这些计算系统包括例如台式计算机系统、膝上型计算机系统、蜂窝电话、包括支持蜂窝的个人数字助理(PDA)的PDA、机顶盒、娱乐系统或其它消费电子装置。可选的计算系统可以包括更多、更少和/或不同的组件。图8的计算系统可用于提供计算装置和/或服务器装置。

计算系统800包括用于通信信息的总线805或其它通信装置、以及连接至总线805的可以处理信息的处理器810。

尽管利用单个处理器示出了计算系统800，但计算系统800可以包括多个处理器和/或协处理器810。计算系统800还可以包括随机存取存储器(RAM)或其它动态存储装置820(称为主存储器)，其中该主存储器820连接至总线805，并且可以存储处理器810可以执行的信息和指令。主存储器820还可用于在处理器810执行指令期间存储临时变量或其它中间信息。主存储器820还可以包括可执行程序、应用编程接口(API)、框架和其它可执行程序代码，以实现本文所述的并且如以上在至少图2中详述的RSA安全逻辑。

计算系统800还可以包括连接至总线805的、可以存储供处理器810用的静态信息和指令的只读存储器(ROM)830和/或其它静态的非暂时性存储装置840。数据存储装置840可以连接至总线805以存储信息和指令。诸如闪速存储器或磁盘或光盘等的数据存储装置840以及相应的驱动器可以连接至计算系统800。

计算系统800还可以经由总线805连接至显示装置850(诸如发光二极管显示器(LED)、液晶显示器(LCD)或触摸屏显示器等)，以向用户显示信息。计算系统800还可以包括包含字母数字和其它键的字母数字输入装置860，其中字母数字输入装置860可以连接至总线805以将信息和命令选择通信至处理器810。另一类型的用户输入装置是光标控制件865(诸如触摸垫、鼠标、轨迹球或光标方向键等)，以将方向信息和命令选择通信至处理器810并且控制显示器850上的光标移动。计算系统800还可以包括实时时钟870。实时时钟870可用于生成数据记录的日期/时间戳、计算经过时间以及其它时间保持功能。实时时钟870可以是具有可设置的日期和时间的电池支持的芯片组。可选地，实时时钟870可以包括用于经由以下所述的网络接口880从诸如服务器或因特网服务器等的网络源实时检索的逻辑。实时时钟870可用于确定诸如24小时等的RSA令牌再生的时间段。

计算系统800还可以包括一个或多个网络接口880，以提供对网络(诸如局域网等)的访问。网络接口880可以包括例如具有天线885(其可以代表一个或多个天线)的无线网络接口。计算系统800可以包括诸如WiFi、蓝牙和蜂窝电话接口的组合等的多个无线网络接口。网络接口880还可以包括例如有线网络接口以经由网络线缆887与远程装置进行通信，其中网络线缆887可以是例如以太网线缆、同轴线缆、光纤线缆、串行线缆或并行线缆。

在一个实施例中，网络接口880可以例如通过符合IEEE 802.11b、802.11g或802.11n标准提供对局域网的访问，以及/或者无线网络接口可以例如通过符合标准提供对个域网的访问。还可以支持其它的无线网络接口和/或协议。除经由无线LAN标准的通信以外或者代替该通信，网络接口880可以使用例如时分多址(TDMA)协议、全球移动通信系统(GSM)协议、码分多址(CDMA)协议和/或任何其它类型的无线通信协议来提供无线通信。

在前述的说明书中，已经参考本发明的具体实施例说明了本发明。然而，显而易见，可以在没有背离本发明的更广泛的精神和范围的情况下对本发明进行各种修改和改变。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (20)

1.一种计算机实现的方法，所述方法包括：

利用客户端装置接收一个或多个策略，所述一个或多个策略用于对分布式网络系统的多个资源中的所述客户端装置执行任务时使用的至少一个资源的使用设置配额；

利用所述客户端装置从所述分布式网络系统中的装置接收所述客户端装置要执行的任务，其中执行所述任务需要利用所述至少一个资源；

利用所述客户端装置判断所述客户端装置执行所述任务时将使用的所述至少一个资源的量；以及

响应于判断为所述客户端装置完成所述任务将使用的所述至少一个资源的量将超过在所述一个或多个策略中针对该至少一个资源的配额，利用所述客户端装置终止所述任务。

2.根据权利要求1所述的方法，其中，所述判断在使用所述至少一个资源之前进行，并且所述分布式网络系统的所述多个资源排除了所述客户端装置的资源。

3.根据权利要求1所述的方法，其中，还包括：

向所述分布式网络系统的装置发送消息，所述消息指示所述客户端装置终止了所述任务，并且指示所述至少一个资源将超过配额。

4.根据权利要求1所述的方法，其中，所述任务是在所述分布式网络系统中从所述客户端装置到备份服务器的数据集的备份，并且所述至少一个资源包括网络带宽和磁盘存储其中之一。

5.根据权利要求4所述的方法，其中，还包括：在进行所述备份之前确定以下内容：

包含所述备份的原始数据的量，其是根据所述原始数据的压缩版本确定的；或者

包含所述备份的压缩数据的量，其是根据要备份的数据的原始版本确定的。

6.根据权利要求1所述的方法，其中，还包括：

响应于判断为所述客户端装置完成所述任务所需的所述至少一个资源的量将不会超过在至少一个策略中针对所述至少一个资源的配额限制，利用所述客户端装置执行所述任务。

7.一种设备，包括：

用于利用客户端装置接收一个或多个策略的部件，所述一个或多个策略用于对分布式网络系统的多个资源中的所述客户端装置执行任务时使用的至少一个资源的使用设置配额；

用于利用所述客户端装置从所述分布式网络系统中的装置接收所述客户端装置要执行的任务的部件，其中执行所述任务需要利用所述至少一个资源；

用于利用所述客户端装置判断所述客户端装置执行所述任务时将使用的所述至少一个资源的量的部件；以及

用于响应于判断为所述客户端装置完成所述任务将使用的所述至少一个资源的量将超过在所述一个或多个策略中针对该至少一个资源的配额、利用所述客户端装置终止所述任务的部件。

8.根据权利要求7所述的设备，其中，所述判断在使用所述至少一个资源之前进行，并且所述分布式网络系统的所述多个资源排除了所述客户端装置的资源。

9.根据权利要求7所述的设备，其中，还包括：

用于向所述分布式网络系统的装置发送消息的部件，所述消息指示所述客户端装置终止了所述任务，并且指示所述至少一个资源将超过配额。

10.根据权利要求7所述的设备，其中，所述任务是在所述分布式网络系统中从所述客户端装置到备份服务器的数据集的备份，并且所述至少一个资源包括网络带宽和磁盘存储其中之一。

11.根据权利要求10所述的设备，其中，还包括：用于在进行所述备份之前确定以下内容的部件：

包含所述备份的原始数据的量，其是根据所述原始数据的压缩版本确定的；或者

包含所述备份的压缩数据的量，其是根据要备份的数据的原始版本确定的。

12.根据权利要求7所述的设备，其中，还包括：

用于响应于判断为所述客户端装置完成所述任务所需的所述至少一个资源的量将不会超过在至少一个策略中针对所述至少一个资源的配额限制、利用所述客户端装置执行所述任务的部件。

13.一种系统，包括：

处理系统，其具有至少一个硬件处理器，所述处理系统连接至编程有可执行指令的存储器，所述可执行指令在由所述处理系统执行时进行以下操作，所述操作包括：

利用客户端装置接收一个或多个策略，所述一个或多个策略用于对分布式网络系统的多个资源中的所述客户端装置执行任务时使用的至少一个资源的使用设置配额；

利用所述客户端装置从所述分布式网络系统中的装置接收所述客户端装置要执行的任务，其中执行所述任务需要利用所述至少一个资源；

利用所述客户端装置判断所述客户端装置执行所述任务时将使用的所述至少一个资源的量；以及

响应于判断为所述客户端装置完成所述任务将使用的所述至少一个资源的量将超过在所述一个或多个策略中针对该至少一个资源的配额，利用所述客户端装置终止所述任务。

14.根据权利要求13所述的系统，其中，所述判断在使用所述至少一个资源之前进行，并且所述分布式网络系统的所述多个资源排除了所述客户端装置的资源。

15.根据权利要求13所述的系统，其中，还包括：

向所述分布式网络系统的装置发送消息，所述消息指示所述客户端装置终止了所述任务，并且指示所述至少一个资源将超过配额。

16.根据权利要求13所述的系统，其中，所述任务是在所述分布式网络系统中从所述客户端装置到备份服务器的数据集的备份，并且所述至少一个资源包括网络带宽和磁盘存储其中之一。

17.根据权利要求16所述的系统，其中，还包括：在进行所述备份之前确定以下内容：

包含所述备份的原始数据的量，其是根据所述原始数据的压缩版本确定的；或者

包含所述备份的压缩数据的量，其是根据要备份的数据的原始版本确定的。

18.根据权利要求13所述的系统，其中，还包括：

响应于判断为所述客户端装置完成所述任务所需的所述至少一个资源的量将不会超过在至少一个策略中针对所述至少一个资源的配额限制，利用所述客户端装置执行所述任务。

19.一种系统，包括：

处理系统，其具有至少一个硬件处理器，所述处理系统连接至编程有可执行指令的存储器，所述可执行指令在由所述处理系统执行时进行以下操作，所述操作包括：

确定分布式网络系统中的多个装置所共享的所述分布式网络系统的多个资源的量；

确定将分配至代表所述分布式网络系统中的所述多个装置执行的工作的所述多个资源的最大量；

接收一个或多个资源利用策略，所述一个或多个资源利用策略对所述多个装置中的至少一个客户端装置所用的所述多个资源中的各资源设置配额，其中所述配额是对许可所述客户端装置使用的资源的量的限制；以及

使至少所述客户端装置被配置为不超过在资源利用策略中针对所述多个资源至少之一的配额。

20.根据权利要求19所述的系统，其中，还包括：

从所述客户端装置接收在执行任务时所述客户端装置将超过针对所述多个资源至少之一的配额的指示，并且接收所述客户端装置将不执行任务的指示。

Images