JP7639100B2 - データプレーン回路におけるスライスベース動作の実行 - Google Patents

Description

[0001] 近年、ソフトウェア定義型データセンタ（SDDC）、およびＳＤＤＣにおけるコンピュータサービスとネットワークサービスを定義し、制御するためのソフトウェアツールが普及している。これらのツールのいくつかは、複数の物理構造（複数のホストコンピュータなど）にまたがる論理ネットワークリソース（論理スイッチ、論理ルータ、論理ミドルボックス・エレメントなど）を定義する。しかし、これらのツールの多くは、これらのデータセンタのアンダーレイネットワークエレメントであるＳＤＤＣの大部分を無視することが多い。これらのネットワークエレメントの例は、ハードウェアスイッチ（例えば、トップオブラックスイッチ、スパインスイッチ等）、ハードウェアルータ、ハードウェアミドルボックス機器（アプライアンス）等を含む。

[0002] 本発明のいくつかの実施形態は、ネットワーク内のハードウェア転送エレメント（ＨＦＥ）においてデータメッセージに対してネットワークスライスベースの動作を実行する新規な方法を提供する。受信したデータメッセージ・フローの場合、この方法はＨＦＥに、受信したデータメッセージ・フローに関連付けられたネットワークスライスを識別させる。いくつかの実施形態におけるこのネットワークスライスは、ネットワーク内の１つ以上のコンピュータ上で実行される１つ以上のマシンを含む、いくつかのネットワークエレメントによってデータメッセージ上で実行されるべき動作セットに関連付けられる。いくつかの実施形態におけるネットワークはテレコミュニケーションネットワークであり、動作はネットワークがそのデバイス（例えば、ネットワーク内のモバイルデバイス）からのデータメッセージに対して実行するサービス動作チェーンの一部である。ネットワークスライスが識別されると、方法は、識別されたスライスに関連付けられたデータメッセージに適用されるルールに基づいて、データメッセージ・フローをＨＦＥで処理する。

[0003] いくつかの実施形態では、ＨＦＥがデータメッセージを受信し、ネットワーク内でデータメッセージを転送するデータプレーン（ＤＰ）回路（例えば、特定用途向け集積回路、ＡＳＩＣ）を含む。これらの実施形態のいくつかでは、ＤＰ回路がネットワークスライスに関連付けられたスライス識別子を識別することによって、フローのネットワークスライスを識別する。次に、これらの実施形態のＤＰ回路は、（１）スライス識別子を使用してＤＰ回路に格納されたルールを識別し、（２）識別されたルールに関連付けられたデータメッセージに対して動作を実行することによって、データメッセージ・フローを処理する。いくつかの実施形態におけるＨＦＥはまた、データメッセージを処理するためのルールをＤＰ回路に設定する設定データを提供するための制御プレーン回路（例えば、マイクロプロセッサおよび関連するプログラム）を含む。

[0004] いくつかの実施形態では、ＤＰ回路がデータメッセージ・フローについて識別するスライス識別子を、ルールのルール識別子の一部であるスライス識別子と一致させることによって、受信したデータメッセージ・フローに関連付けられたルールを識別する。いくつかの実施形態における識別されたルールは、データメッセージ・フローをＨＦＥの特定のポートに転送するための転送動作を指定する転送ルールである。いくつかの実施形態では、スライスベースの転送ルールがネットワーク内の同じ宛先への異なるパス（通信経路）のネクストホップを特定するネクストホップ転送ルールである。他の実施形態では、スライスベースの転送ルールがネットワーク内の異なる宛先への異なるパスの異なるネクストホップを特定するネクストホップ転送ルールである。例えば、いくつかの実施形態では、異なるスライスベース転送ルールが異なるスライス識別子に関連付けられたデータメッセージ・フローを処理するために、異なるデータセンタに接続された異なるポートを選択する。いくつかの実施形態では、スライスベースの転送ルールは、複数の物理的な転送エレメントにまたがるように定義された論理的な転送エレメントの論理的な転送動作を特定することができる。

[0005] いくつかの実施形態における識別されたルールは、データメッセージ・フロー上で実行するミドルボックス・サービス動作に関連付けられたミドルボックス・サービスルールである。例えば、いくつかの実施形態では、識別されたルールがフローの関連スライス識別子に基づいて、フローのデータメッセージをドロップするか許可するかを決定するファイアウォールルールである。他の実施形態では、識別されたルールがその関連付けられたスライス識別子に基づいて、データメッセージ・フローに対して実行するロードバランシング動作を特定するロードバランシングルールである。いくつかの実施形態におけるこのロードバランシング動作は、これらのデータメッセージ・フローに関連付けられたスライス識別子に基づいて、ネットワーク内のいくつかの異なる宛先または異なる経路間でデータメッセージ負荷を分散する。

[0006] 上述したように、いくつかの実施形態は、ネットワークスライスに対して、ネットワークスライスに関連付けられたデータメッセージ・フローに対して実行する動作セットを特定する。いくつかの実施形態におけるこれらの動作は、ネットワーク内のいくつかのデバイスによって実行されるいくつかの動作を含む。いくつかの実施形態では、これらのデバイスがネットワークスライスに関連付けられた少なくとも１つ以上の動作を実行するために、ホストコンピュータ上で実行するマシンを含む。いくつかの実施形態では、これらのマシンが仮想マシン（ＶＭ）および／またはコンテナを含む。また、いくつかの実施形態では、これらのマシンが実行する動作がテレコミュニケーションネットワークによって実現される仮想ネットワーク機能（ＶＮＦ）である。これらのＶＮＦは、ネットワークを通過するデータメッセージ・フロー上でテレコミュニケーションネットワークのインフラストラクチャによって実行されるサービスチェーンの一部である。いくつかの実施形態では、異なるネットワークスライスがテレコミュニケーションネットワークを通過する異なるタイプのトラフィックに対応する。

[0007] ＨＦＥは受信したデータメッセージ・フローのためのネットワークスライスを識別するために、異なる実施形態において異なる技術を使用する。いくつかの実施形態では、ＨＦＥがフローのデータメッセージを、ＨＦＥとは別の外部デバイスに転送する。この外部デバイスは受信したデータメッセージを分析し、関連付けられたフローに対するスライス識別子を識別し、フローの後続のデータメッセージをフローのスライスＩＤと一致させるために使用するマッチレコードを用いてＨＦＥ（例えば、ＨＦＥのＣＰ回路へのＡＰＩ（アプリケーションプログラミングインターフェース）コールを介してＨＦＥ ＤＰ回路）を設定する。いくつかの実施形態では、この外部デバイスは、ＨＦＥがマッチレコードで設定される前に、受信したデータメッセージをそれらのネクストホップの宛先に転送する。外部デバイスはいくつかの実施形態ではスタンドアロン機器であり、他の実施形態では、関連付けられたスライス識別子を確認するために、ＨＦＥから受信したデータメッセージを分析するためにマシンが実行するホストコンピュータである。

[0008] 他の実施形態では、ＨＦＥのＤＰ回路が受信したデータメッセージ・フローをＨＦＥのＣＰ回路に転送し、ＨＦＥのＣＰ回路は次に、受信したデータメッセージのスライス識別子を識別し、このスライス識別子を、処理のためにデータメッセージと共にＤＰ回路に戻す。いくつかの実施形態では、ＣＰ回路がフローの後続のデータメッセージをフローのスライスＩＤと一致させるために使用するマッチレコードをＨＦＥ（例えば、そのＣＰ回路を介してＨＦＥ ＤＰ回路）に設定する設定データの一部としてスライス識別子を提供する。

[0009] いくつかの実施形態ではＣＰ回路がリソース共有プログラムを実行し、このプログラムの上で実行するマシンは受信したデータメッセージのスライス識別子を識別する。いくつかの実施形態において、プログラムは仮想化プログラム（例えば、ハイパーバイザ）またはＬｉｎｕｘ（登録商標）オペレーティングシステムであり、マシンは、仮想マシンまたはコンテナである。いくつかの実施形態では、ＣＰ回路のリソース共有プログラムがデータメッセージ属性をスライス識別子に関連付けるコンテキストエンジンを含むハイパーバイザである。このコンテキストエンジンは、受信したデータメッセージ・フローの属性のセットを使用して、受信したフローのスライス識別子を識別する。

[0010] いくつかの実施形態では、ＣＰ回路上で実行されるコンテキストエンジンがホストコンピュータ上で実行されるハイパーバイザのコンテキストエンジンから、スライス識別子を有するデータメッセージ属性に照合するレコードを受信する。他の実施形態では、ＣＰ回路のコンテキストエンジンがネットワークマネージャまたはコントローラのセットとして動作する１つ以上のサーバのセットから、スライス識別子とデータメッセージ属性とを照合するレコードを受信する。さらに他の実施形態では、コンテキストエンジンがデータメッセージ・フローの属性セット（例えば、その５つまたは７つのタプル識別子）と、ハイパーバイザの上で実行される仮想マシン（ＶＭ）からのスライス識別子とを関連付けるレコードを受信する。

[0011] いくつかの実施形態では、ＨＦＥのＣＰ回路上で実行されるハイパーバイザがネットワーク内のホストコンピュータ上で実行されるハイパーバイザと同じまたは同様である。これらの類似または同一のハイパーバイザは、ネットワーク内のマネージャおよび／またはコントローラがホストコンピュータ上で実行されるＨＦＥ、ホストコンピュータ、およびソフトウェア転送エレメントの両方を管理できる共通プラットフォームを提供する。具体的には、これらの実施形態ではマネージャおよび／またはコントローラがホストコンピュータおよびこれらのホストコンピュータ上で実行されるソフトウェア転送エレメントを管理および／または制御するように、ＨＦＥのＣＰ回路を管理および／または制御する。いくつかの実施形態では、ＨＦＥのＣＰ回路上で実行されるハイパーバイザがホストコンピュータハイパーバイザと同じＮＩＣ（ネットワークインターフェースコントローラ）データモデル抽象化をＨＦＥのデータプレーン回路に使用する。ＨＦＥのＣＰ回路上で実行されるハイパーバイザの場合、これらの実施形態は、変換プラグインを使用して、データプレーン回路とのハイパーバイザ通信をＮＩＣデータモデルフォーマットからＤＰ回路モデルフォーマットに変換する。

[0012] 前述の概要は、本発明のいくつかの実施形態の簡単な紹介として役立つことを意図している。これは、本明細書に開示される全ての発明の主題の紹介または概略であることを意味するものではない。以下の詳細な説明および詳細な説明において参照される図面は、概要において説明される実施形態ならびに他の実施形態をさらに説明する。したがって、本文書によって説明されるすべての実施形態を理解するために、概要、詳細な説明、図面、および特許請求の範囲の完全な検討が必要である。さらに、特許請求される主題は、概要、詳細な説明、および図面における例示的な詳細によって限定されるべきではない。

[0013] 本発明の新規な特徴は、添付の特許請求の範囲に記載されている。しかしながら、説明の目的のために、本発明のいくつかの実施形態を以下の図面に記載する。
[0014] 図１は、異なるネットワークスライスに対応する異なるスライス識別子に関連付けられた異なるデータメッセージ・フローで異なる動作チェーンを実行するいくつかのネットワークエレメントを含む、ソフトウェア定義型データセンタ（ＳＤＤＣ）の例を示す。 [0015] 図２は、いくつかの実施形態のハードウェア転送エレメント（ＨＦＥ）の例を示す。 [0016] 図３は、スライスベースのルールに基づいて、異なる経路に沿って同じ宛先にデータメッセージを転送するデータプレーン（ＤＰ）回路の例を示す。 [0017] 図４は、データセンタ・ネットワークの異なるセグメントの開始を定義するいくつかの実施形態に係る２つのＨＦＥを示す。 [0018] 図５は、スライスベースのルールに基づいて、異なる経路に沿って異なる宛先にデータメッセージを転送するＤＰ回路の一例を示す。 [0019] 図６は、ＤＰ回路が２つの異なるスライスＩＤに関連付けられた２つの異なるデータメッセージ・フローを、２つの異なるデータセンタ内の２つの異なるマシンセットに転送する例を示す。 [0020] 図７は、データメッセージ・フローに関連付けられたスライスＩＤに基づいて、異なるクラスタ内の異なる宛先ノードに異なるデータメッセージ・フローを分配するためにロードバランシング動作を実行するＤＰ回路を有するロードバランサを示す。 [0021] 図８は、データメッセージ・フローに関連付けられたスライスＩＤに基づいて、異なるデータメッセージ・フローを許可するか、ドロップするか、またはリダイレクトするかを決定するためにファイアウォール動作を実行するＤＰ回路を有するファイアウォール機器を示す。 [0022] 図９は、ＨＦＥが新しいフロー内のデータメッセージの初期セットのためのスライス識別子を外部デバイスにオフロードする技術を示す。 [0023] 図１０は、いくつかの実施形態における、図９のＤＰ回路の動作を概念的に示すプロセスを提示する。 [0024] 図１１は、新たに受信したデータメッセージ・フローに関連付けられたスライスＩＤを識別するためのＨＦＥのための別のアプローチを示す。 [0025] 図１２は、スライス識別を容易にするために制御プレーン（ＣＰ）回路上で実行されるハイパーバイザおよびコンテキストエンジンの例を示す。 [0026] 図１３は、いくつかの実施形態においてＨＦＥのＣＰ回路がＨＦＥのＤＰ回路によって処理されるデータメッセージのためのサービスチェーンの１つ以上のサービス動作を実行する１つ以上のマシンを実行することを示す。 [0027] 図１４は、同様のハイパーバイザを実行するＣＰ回路およびホストコンピュータを示す。 [0028] 図１５は、いくつかの実施形態ではＨＦＥのＣＰ回路上で実行されるハイパーバイザがホストコンピュータ上で実行されるハイパーバイザと同じまたは類似のデータモデル抽象化を使用することを示す。 [0029] 図１６は、ＳＤ－ＷＡＮ（ソフトウェア定義ワイドアクセスネットワーク）動作を実行するためにスライスベースのＨＦＥを使用する例を示す。 [0029] 図１７は、ＳＤ－ＷＡＮ（ソフトウェア定義ワイドアクセスネットワーク）動作を実行するためにスライスベースのＨＦＥを使用する例を示す。 [0030] 図１８は、ホストコンピュータのためのイングレス（入口）フロー制御を実施するいくつかのＨＦＥの例を示す。 [0031] 図１９は図１８のホストコンピュータの入口フロー制御を実施するために、サーバセットがＨＦＥを設定するために使用するプロセスを示している。 [0032] 図２０は、本発明のいくつかの実施形態が実施されるコンピュータシステムを概念的に示す。

[0034] 以下の発明の詳細な説明では、本発明の多数の詳細、実施例、および実施形態が記載され、説明される。しかし、本発明は記載された実施形態に限定されず、本発明は記載された特定の詳細および例のいくつかがなくても実施され得ることが、当業者には明らかであり、明らかであろう。

[0035] 本発明のいくつかの実施形態は、ネットワーク内のハードウェア転送エレメント（ＨＦＥ）において、データメッセージ・フローに基づいてネットワークスライスベースの動作を実行する新たな方法を提供する。ＨＦＥによって受信されたデータメッセージ・フローに対して、本方法は、（１）受信したデータメッセージ・フローに関連付けられたネットワークスライスを識別し、次いで、（２）識別されたネットワークスライスに基づいて、受信したデータメッセージ・フローに対して動作を実行するＨＦＥを有する。

[0036] いくつかの実施形態では、識別されたネットワークスライスがネットワークエレメント・セットによって受信したデータメッセージ・フロー上で実行される必要がある動作セットに関連付けられる。ある実施形態ではネットワークスライスがネットワークスライスに関連付けられたデータメッセージ上で実行する動作セットを指し、他の実施形態ではネットワークスライスがネットワークスライスに関連付けられたデータメッセージ上で動作セットを実行するネットワークエレメントを指す。ＨＦＥに加えて、ネットワークエレメントのセットは、典型的にはデータメッセージ・フローとネットワークスライスとの関連付けに基づいて、データメッセージに対して１つ以上の動作を実行する他のエレメントを含む。ネットワークエレメントのセットは、いくつかの実施形態において、ネットワーク内の１つ以上のコンピュータ上で実行される１つ以上のマシンを含む。

[0037] いくつかの実施形態におけるＨＦＥは、受信したデータメッセージ・フローに関連付けられたスライス識別子を識別することによって、受信したデータメッセージ・フローに関連付けられたネットワークスライスを識別する。以下でさらに説明するように、ＨＦＥは、例えば、ＨＦＥが実行するプログラムを使用することによって、または他のデバイスおよび／またはプログラムを使用することによって、異なる実施形態で異なる受信したデータメッセージ・フローのスライス識別子（ＩＤ）を識別する。

[0038] 受信したデータメッセージのスライスＩＤを取得した後、いくつかの実施形態におけるＨＦＥは（１）スライス識別子を使用してそのルールの１つを識別し、（２）識別されたルールに関連付けられたデータメッセージ・フローに対して動作を実行することによって、データメッセージ・フローを処理する。いくつかの実施形態では、ＨＦＥがそのルール識別子の一部としてスライスＩＤを有するいくつかのルールを格納する。これらの実施形態では、ＨＦＥがメッセージの関連スライス識別子をルールの識別子内のスライス識別子と照合することによって、フローのデータメッセージをルールに照合する。

[0039] いくつかの実施形態では、１つ以上のサービスチェーンが各ネットワークスライスについて定義することができ、各サービスチェーンはチェーンのネットワークスライスに関連付けられたデータメッセージ・フローに対して実行する１つ以上の順序付けられた動作シーケンス（たとえば、計算（コンピュート）動作、転送動作、および／またはサービス動作など）を特定する。いくつかの実施形態では、ネットワークスライスがネットワーク（例えば、１つ以上のデータセンタのネットワーク）内のリソース（例えば、計算リソース、転送リソース、サービスリソースなど）のグループである。いくつかの実施形態では、ネットワークスライスのリソースのグループによってデータメッセージ・フローが処理されるように、１つ以上のデータメッセージ・フローのグループをネットワークスライスに関連付けることができる。

[0040] 例えば、いくつかの実施形態では、ネットワークが複数のネットワークスライスを定義することができるテレコミュニケーションネットワーク（例えば、５Ｇテレコミュニケーションネットワーク）である。５Ｇテレコミュニケーションネットワークのためのそのようなスライスの例は、ブロードバンドデータを処理するためのモバイルブロードバンドスライス、ＩｏＴデータを処理するためのＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）スライス、遠隔測定（テレメトリ）データを処理するための遠隔測定スライス、Ｖｏｉｃｅ ｏｖｅｒ ＩＰデータのためのＶＯＩＰ（ｖｏｉｃｅ ｏｖｅｒ ＩＰ）スライス、ビデオ会議データを処理するためのビデオ会議スライス、ナビゲーションデータを処理するためのデバイスナビゲーションスライスなどを含む。

[0041] 本明細書では、データメッセージがネットワークを介して送信される特定のフォーマットのビットの集合を指す。当業者であれば、「データメッセージ」という用語は、イーサネットフレーム、ＩＰパケット、ＴＣＰセグメント、ＵＤＰデータグラムなど、ネットワークを介して送信され得る様々なフォーマットされたビットの集合を参照するために本明細書で使用され得ることが認識されるのであろう。また、本明細書で使用されるように、Ｌ２、Ｌ３、Ｌ４、およびＬ７レイヤ（またはレイヤ２、レイヤ３、レイヤ４、およびレイヤ７）への参照は、ＯＳＩ（Ｏｐｅｎ Ｓｙｓｔｅｍ Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ）レイヤモデルの第２のデータリンク層、第３のネットワーク層、第４のトランスポート層、および第７のアプリケーション層への参照である。

[0042] 図１は、異なるネットワークスライスに対応する異なるスライス識別子に関連付けられた異なるデータメッセージ・フローに対して異なる動作チェーンを実行するいくつかのネットワークエレメントを含む、ソフトウェア定義型データセンタ（ＳＤＤＣ）１００の例を示す。この例におけるネットワークエレメントは、ＨＦＥ １０５と、２セットのホストコンピュータ１１５および１１７上で実行される２セットのマシン１１０および１１２とを含む。この例におけるＳＤＤＣ １００はまた、ＨＦＥ １０５およびホストコンピュータ１１５および１１７を管理および制御するための１つ以上のサーバ１２０のセットを含む。

[0043] この例では、ＨＦＥ １０５が２つの異なるネットワークスライスに関連付けられた２つの異なるデータメッセージ・フロー１２５および１３０を受信する。この例のデータメッセージ・フローには、対応するネットワークスライスを識別するスライスＩＤ（カプセル化ヘッダなど） は含まれていない。したがって、ＨＦＥ １０５は、各データメッセージ・フロー１２５または１３０のスライスＩＤを識別する。ＨＦＥ １０５が、データメッセージ・フローのスライス識別子を識別するために異なる実施形態で使用する異なる技術について、以下で説明する。

[0044] 特定のデータメッセージ・フローに対するスライスＩＤを識別した後、ＨＦＥ １０５は、（１）識別されたスライスＩＤを使用して、データメッセージ・フローを転送するためのルールを選択し、（２）フローのデータメッセージを、選択されたルールに基づいてマシン１１０または１１２のセットに転送する。例えば、いくつかの実施形態では、ＨＦＥ １０５がいくつかのネクストホップ転送ルールを格納する。これらの各ルールは、ルールに一致するフローのデータメッセージのネクストホップを指定する。各ルールには、スライス識別子を含むルール識別子もある。いくつかの実施形態では、転送ルールのルール識別子が他のデータメッセージ属性（例えば、他のヘッダフィールド）も含むことができる。

[0045] ＨＦＥ １０５は、そのフローの識別されたスライスＩＤを１つ以上の転送ルールのルール識別子と照合することによって、転送ルールとデータメッセージを照合する。いくつかの実施形態におけるこの照合はまた、データメッセージのフローの１つ以上のヘッダ値（例えば、フローの５つまたは７つのタプル識別子における１つ以上の属性）を使用する。データメッセージを転送ルールと照合した後、ＨＦＥ １０５は次に、一致する転送ルールによって指定されたネクストホップ宛先を使用して、データメッセージをマシン１１０または１１２の２つのセットのうちの１つに転送する。この例では、フロー１２５の一部であるデータメッセージがマシンセット１１０に送られ、フロー１３０の一部であるデータメッセージがマシンセット１１２に送られる。

[0046] 図１の例では、２つのマシンセット１１０または１１２が２つの異なるネットワークスライスに関連付けられた２つの異なる動作チェーンを実行する。図に示すように、各チェーンでは、一部のマシンは同じホストコンピュータ上で実行でき、他のマシンは他のホストコンピュータ上で実行できる。また、この例では、異なるチェーンが異なる数の動作を有する。しかしながら、当業者はいくつかの実施形態において、異なる代替チェーンが同じ数の動作を有することができ、または、異なるセットの計算リソース（例えば、コンピュータ、仮想マシン、コンテナなど）およびネットワークリソース（例えば、スイッチ、ルータ、ミドルボックス設備など）によって実行される同じ動作さえも有することができることを理解するであろう。

[0047] いくつかの実施形態におけるマシンは、仮想マシン（ＶＭ）および／またはコンテナを含む。また、いくつかの実施形態では、マシンが実行する動作がテレコミュニケーションネットワークによって実現される仮想ネットワーク機能（ＶＮＦ）である。ＶＮＦは、ネットワークを通過するデータメッセージ上でテレコミュニケーションネットワークのインフラストラクチャによって実行されるサービスチェーンの一部である。いくつかの実施形態では、異なるネットワークスライスがテレコミュニケーションネットワークを通過する異なるタイプのトラフィックに対応する。

[0048] サーバセット１２０は特定のスライスＩＤに関連付けられた特定のネットワークスライスに関するデータメッセージを処理するために、マシンセット１１０または１１２の各々を配備し、設定する。例えば、ある実施形態ではマシンセット１１０がスライスＩＤ Ａに関連付けられたデータメッセージを処理するように配備され設定され、一方、マシンセット１１２はスライスＩＤ Ｂに関連付けられたデータメッセージを処理するように配備され設定される。

[0049] また、いくつかの実施形態では、セット１１０および１１２内の１つ以上のマシンが、（１）データメッセージ・フローに関連付けられたスライスＩＤを識別し、（２）識別されたスライスＩＤに基づいて、フローのデータメッセージに対して実行する動作を選択することによって、それらの動作を実行する。しかし、他の実施形態では、マシン１１０および１１２がこれらのメッセージフローのスライスＩＤに基づいて、それらが処理するデータメッセージに対して実行する動作を選択しない。代わりに、これらの実施形態では、これらのマシンが単に配備され、特定のスライスＩＤに関連付けられたデータメッセージを処理するように構成される。

[0050] ＨＦＥ １０５は、いくつかの実施形態ではトップオブラック（ＴＯＲ）スイッチである。他の実施形態では、ゲートウェイ、例えば、ネットワークの南北境界にあるゲートウェイである。さらに他の実施形態では、ＨＦＥ １０５がミドルボックス機器（ミドルボックス設備）である。また、データメッセージ・フローのためのスライスＩＤを識別した後、いくつかの実施形態では、ＨＦＥ １０５がこのフローのデータメッセージをヘッダでカプセル化し、各データメッセージのカプセル化ヘッダにスライスＩＤを挿入して、後続のネットワークエレメントがそれらの動作を実行する際にスライスＩＤを使用できるようにする。

[0051] 図２は、いくつかの実施形態のＨＦＥ １０５の一例を示す。図示のように、ＨＦＥ １０５は、データプレーン（ＤＰ）回路２０５、制御プレーン（ＣＰ）回路２１０、転送エレメント（ＦＥ）ポート２１５のセット、およびＤＰポート２２０のセットを含む。ＨＦＥ １０５は、ネットワーク内の送信元および／または宛先コンピュータに接続するエッジ転送エレメント、またはネットワーク内の他の転送エレメントに接続する非エッジ転送エレメントとすることができる。有線または無線接続を介して、ＨＦＥ １０５はそのＦＥポート２１５から処理するデータメッセージを受信し、そのＦＥポート２１５から処理されたデータメッセージを送信する。この例では、ＨＦＥ １０５がソースマシン２２２からデータメッセージを受信し、第１のサービスチェーンに沿って第１のホップ２２４にデータメッセージを転送するものとして示されている。

[0052] ＤＰ回路２０５は、ＨＦＥ １０５が受信したデータメッセージを処理する。ＤＰポート２２０はＦＥポート２１５からデータメッセージを受信し、そこにデータメッセージを送信する。ＤＰ回路２０５は、いくつかの入口（Ｉｎｇｒｅｓｓ）メッセージ処理パイプライン２２５と、いくつかの出口（Ｅｇｒｅｓｓ）メッセージ処理パイプライン２３０と、入口パイプライン２２５を出口パイプライン２３０に接続するクロスバースイッチ２３５とを有する特定用途向け集積回路（ＡＳＩＣ）である。各入口または出口パイプラインはいくつかのメッセージ処理ステージ２４０を含み、各ステージは、データメッセージに対して１つ以上の動作を実行することができる。

[0053] いくつかの実施形態では、メッセージ処理ステージ２４０がデータメッセージの関連付けられた属性セット（例えば、ヘッダ値、スライスＩＤなど）を、それが格納する１つ以上のルールと照合しようとする。一致するルールが見つかると、メッセージ処理ステージ２４０は一致するルールに関連付けられた動作（すなわち、アクション）を実行する。いくつかの実施形態では、ＣＰ回路２１０は、メッセージ処理ステージ２４０がデータメッセージを処理する際に使用するルールをＤＰ回路２０５に設定する設定データを提供する。いくつかの実施形態におけるＣＰ回路２１０は、制御プレーンプログラムを格納するメモリと、制御プレーンプログラムを実行するプロセッサ（例えば、ｘ８６マイクロプロセッサ）とを含む。

[0054] 関連付けられたネットワークスライスに基づいてデータメッセージ・フローを処理するために、ＤＰ回路２０５は以下で説明するいくつかの技術のうちの１つを使用して、最初に、そのネットワークスライスを指定するフローに関連付けられたスライスＩＤを識別する。フローのスライスＩＤを識別した後、これらの実施形態のＤＰ回路２０５は、（１）スライス識別子を使用してＤＰ回路２０５に格納されたルールを識別し、（２）識別されたルールに関連付けられたフローのデータメッセージに対して動作を実行することによって、データメッセージ・フローを処理する。

[0055] 図２に示されるように、入口パイプライン２２５におけるメッセージ処理ステージ２４０ａはいくつかのレコード２５２を格納するマッチアクション・テーブル２５０を含み、各レコードは照合（マッチ）タプル２５４とアクションタプル２５６を有している。いくつかの実施形態ではレコード２５２がマッチタプルおよびアクションタプルが異なるテーブルに格納される際の概念的なレコードであるが、アドレス指定スキームを介して関連付けられる（例えば、アクションタプルは対応するマッチタプルが格納されるマッチテーブル内の位置に対応する位置にあるそのアクションテーブルに格納される）。各レコードのマッチタプル（ルールとも呼ばれる）はデータメッセージ属性のセット（例えば、送信元および宛先ＩＰ、送信元および宛先ポート、プロトコル、送信元および宛先ＭＡＣアドレスである７つのデータメッセージのタプル識別子のいずれか）を指定する。一方、レコードのアクションタプルは、レコードのマッチタプルに一致するデータメッセージに対して実行するアクションを指定する。

[0056] メッセージ処理ステージ２４０は受信したデータメッセージの属性のセットをレコードのマッチタプルと比較して、データメッセージがレコードと一致するかどうかを判定し、一致する場合は、レコードのアクションタプルによって指定されたアクションを実行する。各ルールのマッチタプルは、ルールを一意に識別するため、実質的にルールの識別子である。図示されるように、マッチアクションテーブル２５０のレコード２５２のマッチタプル２５４は、スライスＩＤを含む。さらに、レコード２５２のマッチタプルはデータメッセージの他の属性（例えば、送信元および宛先ＩＰ、送信元および宛先ポート、およびプロトコルのその５つのタプル識別子のいずれか）を含むことができる。

[0057] ソースマシン２２２からのデータメッセージ・フローを、フローに関連付けられたスライスＩＤに基づいてそのサービスチェーンに沿って最初のホップに転送するために、いくつかの実施形態でのメッセージ処理ステージ２４０ａは、フローの受信したデータメッセージに関連付けられたスライスＩＤと、マッチ－アクションテーブル２５０で１つ以上のレコード２５２の１つ以上のマッチタプル２５４とを比較して、一致するスライスＩＤを有するレコードを識別する。

[0058] 一致するレコードを見つけた後、いくつかの実施形態におけるメッセージ処理段階２４０ａは、一致するレコードのアクションタプルから出口ポートＩＤを取得する。この出口ポートＩＤは、受信したデータメッセージがＤＰ回路から出るべきＤＰ出口ポートを特定する。この例では、識別されたＤＰ出口ポートがデータメッセージのフローに関連付けられたスライスＩＤによって識別されるネットワークスライスのサービスチェーンの最初のホップに関連付けられる。

[0059] 出口ポート識別子はその後、識別された出口ポートに関連付けられた出口パイプラインにデータメッセージを送るために、他のメッセージ処理ステージ２４０および／またはクロスバースイッチ２３５によって使用される。次に、出口パイプラインは識別された出口ポートにこのデータメッセージを提供し、次に、データメッセージを第１ホップサービスノード２２４に転送するデータメッセージをそれに関連付けられたＦＥ出口ポートに提供する。

[0060] いくつかの実施形態では、ＤＰ回路２０５のスライスベースの転送ルールがネットワーク内の同じ宛先への異なる経路の次のホップを特定するネクストホップ転送ルールである。図３はこの例を示す。この図は、ＨＦＥ １０５のＤＰ回路２０５が２つの異なるスライスＩＤ ＡおよびＢに関連付けられた２つの異なるデータメッセージ・フロー１２５および１３０を２つの異なるマシンセット１１０および１１２に転送して、それぞれのデータメッセージ・フロー上で２つの異なる動作セットを実行することを示す。

[0061] それぞれのマシンセット１１０または１１２によって処理された後、各データメッセージ・フロー１２５または１３０は、そのマシンセット内の最後のマシンの最後のホストコンピュータのソフトウェア転送エレメントによって、同じ宛先ノード３０５に転送される。いくつかの実施形態では、宛先ノード３０５は別のマシンである。他の実施形態では、宛先ノード３０５がミドルボックス・アプライアンス、または両方のデータメッセージ・フロー上で同じミドルボックス・サービス動作を実行するミドルボックス・アプライアンスのクラスタ（同じ仮想ＩＰアドレスなど、同じ仮想ネットワーク・アドレスに関連付けられている）である。

[0062] さらに別の実施形態では、この宛先ノード３０５がデータセンタ・ネットワークの別のセグメントに関連する別のハードウェア転送エレメントである。これらの実施形態のいくつかでは図４に示すように、ＨＦＥ １０５および３０５はデータセンタ・ネットワークの異なるセグメントの開始を定義し、この例では３つのＨＦＥ １０５、３０５および４０５はネットワークの２つのセグメント４０２および４０４を定義し、ＨＦＥ １０５はこれらのフローに関連付けられたスライスＩＤに基づいて２つの経路４１０および４１５に沿ってデータメッセージ・フローを転送し、一方、ＨＦＥ ３０５はスライスＩＤに基づいて３つの経路４２０、４２５および４３０に沿ってデータメッセージ・フローを転送する。

[0063] いくつかの実施形態では、ＤＰ回路２０５のスライスベースの転送ルールがネットワーク内の異なる宛先への異なる経路の次のホップを特定するネクストホップ転送ルールである。図５はこの例を示す。この図はデータセンタ内の２つの異なる宛先エンドノード（例えば、宛先計算ノード）５１２および５１４で終端する２つの異なる経路５０６および５０８に沿って、２つの異なるスライスＩＤ ＡおよびＢに関連付けられた２つの異なるデータメッセージ・フロー１２５および１３０を転送するＨＦＥ １０５のＤＰ回路２０５を示す。

[0064] 図６は、ＨＦＥ １０５のＤＰ回路２０５が２つの異なるスライスＩＤ ＡおよびＢに関連付けられた２つの異なるデータメッセージ・フロー１２５および１３０を、２つの異なるデータセンタ６０５および６１０内の２つの異なるマシンセット１１０および１１２に転送する例を示す。いくつかの実施形態では、異なるタイプのスライスに対するデータメッセージ・フローが処理のために異なるデータセンタに送られる。例えば、いくつかの実施形態ではモバイルテレメトリデータ（例えば、テレメトリスライス）のためのデータメッセージ・フローは１つのデータセンタに送信され、デバイスナビゲーションデータ（すなわち、ナビゲーションスライス）のためのデータメッセージ・フローは別のデータセンタに送信され、ＶＯＩＰデータ（例えば、オーディオブロードバンドスライス）はさらに別のデータセンタに送信される。

[0065] いくつかの実施形態では、データメッセージ・フローに基づいてネットワークスライスベースの動作を実行するＨＦＥは、提供するミドルボックス・サービスの一部としてこれらの動作を実行するミドルボックス・アプライアンス（ミドルボックス設備）である。例えば、図７は、データメッセージ・フローに関連付けられたスライスＩＤに基づいて、異なるクラスタ内の異なる宛先ノードに異なるデータメッセージ・フローを分配するためにロードバランシング動作を実行するＤＰ回路７２０を有するロードバランサ７００を示す。この図は宛先ノード７１０および７１２の２つの異なるクラスタ７１５および７１７を示し、一方は４つの宛先ノードを持ち、他方は６つの宛先ノードを持つ。

[0066] ロードバランシングルール７５５によって示されるように、いくつかの実施形態では、ロードバランサ７００がこれらのデータメッセージ・フローに関連付けられたスライス識別子に基づいて選択されるロードバランシング基準に基づいて、ネットワーク内のいくつかの異なる宛先の間でデータメッセージ負荷を分散する。具体的には、示されるように、いくつかの実施形態におけるロードバランサ７００のＤＰ回路７２０はいくつかのルール７５５を含むマッチアクションテーブル７５０を有し、その各々はスライスＩＤを含むマッチタプル７６０と、ロードバランシング基準のセット（例えば、重み値のセット）を含むアクションタプル７６５とを有する。

[0067] データメッセージ・フローに関連付けられたスライスＩＤを識別した後、ＤＰ回路７２０は、フローのスライスＩＤをルール７５５の１つのマッチタプル７６０と照合し、次いで、その一致（マッチ）するルールのアクションタプル７６５を使用して、マッチするスライスＩＤに関連付けられたデータメッセージ・フローをクラスタ７１５／７１７内のいくつかの宛先ノード７１０／７１２の間で分配するためのロードバランシング基準のセットを選択する。異なる宛先ノードの中から選択する代わりに、他の実施形態におけるロードバランシング動作は例えば、再び、これらのデータメッセージ・フローに関連付けられたスライス識別子に基づいて選択されるロードバランシング基準に基づいて、ネットワーク内の同じ宛先へのいくつかの異なる経路の間でデータメッセージ負荷を分散する。

[0068] 図８は、データメッセージ・フローに関連付けられたスライスＩＤに基づいて、異なるデータメッセージ・フローを許可するか、ドロップするか、またはリダイレクトするかを決定するためにファイアウォール動作を実行するＤＰ回路８２０を有するファイアウォール設備（アプライアンス）８００を示す。具体的には図示のように、いくつかの実施形態におけるファイアウォール設備８００のＤＰ回路８２０はいくつかのルール８５５を含むマッチアクションテーブル８５０を有し、その各々は（１）スライスＩＤを含むマッチタプル８６０と、（２）許可、ドロップ、またはリダイレクトなどのファイアウォールアクションを指定するアクションタプル７６５とを有する。

[0069] データメッセージ・フローに関連付けられたスライスＩＤを識別した後、ＤＰ回路８２０は、（１）処理中のデータメッセージのスライスＩＤをルール８５５のうちの１つのマッチタプル８６０と照合し、（２）その一致するルールのアクションタプル８６５を使用して、データメッセージに対して実行するファイアウォールアクションを識別し、（３）識別されたファイアウォールアクションをデータメッセージに対して実行する。他の実施形態は、他のスライスベースのミドルボックス・サービス動作（宛先ネットワークアドレス変換など）を実行する。

[0070] ミドルボックスの実施形態（図７および図８を参照して上述したものなど）または転送エレメントの実施形態（図１～図６を参照して上述したものなど）では、ＨＦＥがデータメッセージ・フローに関連付けられたスライス識別子を最初に識別するためにいくつかの技術のうちの１つを使用し、その後、スライス識別子を使用して、そのミドルボックスまたは転送動作をフロー上で実行する。ここで、いくつかのそのような技術を、図９～１２を参照して説明する。

[0071] 図９は、ＨＦＥ ９００が新しいフロー９８０内のデータメッセージの初期セット９０２のスライス識別を外部デバイス９０５にオフロードし、新しいデータメッセージ・フローのスライスＩＤを識別した後、ＨＦＥ ９００のＤＰ回路９２０を再設定して、このフローで受信するデータメッセージの後のセット９０４のスライスＩＤを識別できるようにする技術を示す。このアプローチの下ではＨＦＥ ９００が新しいデータメッセージ・フローで受信する１つ以上のデータメッセージの初期セット９０２を外部デバイス９０５に転送し（これはＨＦＥとは別である）、この外部デバイスはこれらのデータメッセージを分析して、データメッセージ・フローに関連付けられたスライスＩＤを識別することができる。

[0072] デバイス９０５は、いくつかの実施形態ではスタンドアロン機器である。しかしながら、図９に示される実施形態では、デバイスは、関連付けられたスライス識別子を確認するためにＨＦＥ ９００から受信されたデータメッセージを分析するがホストコンピュータ上で実行されるスライス識別ＶＭ ９５０である。米国特許出願第１６／４４３，８１２号は、いくつかの実施形態ではデバイス９０５がデータメッセージ・フローに関連付けられたスライスＩＤを識別するために使用するプロセスを開示している。米国特許出願第１６／４４３，８１２号は、参照により本明細書に組み込まれる。

[0073] 新しいフロー内のデータメッセージの初期セットのスライスＩＤを識別した後、デバイス９０５はスライスＩＤに基づいて転送ルールを識別し、次いで、この転送ルールに基づいて識別するネクストホップ９６０にこれらの初期データメッセージを転送する。いくつかの実施形態ではデバイス９０５がＨＦＥ ９００と同じスライスベースの転送ルールを有し、それにより、デバイス９０５はＨＦＥ ９００が受信する初期データメッセージを、いったん再設定されると、同じフロー内の後続データメッセージを転送するのと同じ方法で転送することができる。外部デバイスがスライス識別ＶＭ ９５０であるとき、ＶＭは新しいフローのスライスＩＤを特定し、そのハイパーバイザ９５４のソフトウェア転送エレメント９５２は転送ルールを処理して、データメッセージの初期セットをネクストホップ９６０に転送する転送動作を実行する。

[0074] また、新しいフロー内のデータメッセージの初期セットのスライスＩＤを識別した後、デバイス９０５はＨＦＥのＣＰ回路９２５へのＡＰＩコール内にスライスＩＤおよびフローの識別子（たとえば、５つまたは７つのタプル識別子）を含む。このＡＰＩコールは、ＣＰ回路９２５に、そのマッチタプルの一部としてフローＩＤを有し、そのアクションタプルの一部としてスライスＩＤを有するマッチアクションレコードをＤＰ回路９２０内に作成するように指示する。図示のように、ＣＰ回路９２５は、次いで、設定データをＤＰ回路９２０に提供して、受信したスライスＩＤをデータメッセージの属性セットに関連付けるレコードを記憶するように設定する。

[0075] ＤＰ回路９２０はこのレコードを格納すると、フロー９８０内の後続のデータメッセージを処理し、これらの後続のデータメッセージのスライスＩＤを生成するために、このレコードを使用することができる。次に、このスライスＩＤにより、ＤＰ回路９２０は後続のデータメッセージを、そのマッチタプルの一部としてスライスＩＤおよびフローＩＤを有し、そのアクションタプルの一部としてＤＰ出口ポートＩＤを有するマッチ－アクション・レコードとマッチさせることができる。このマッチ－アクション・レコードを通して、ＤＰ回路９２０は後続のデータメッセージのためのＤＰ出口ポートＩＤを識別することができ、その後、ＤＰ出口ポートは、識別されたＤＰ出口ポートを介して、その関連付けられたＦＥ出口ポートからネクストホップ９６０へ送信される。

[0076] 図９に示す例ではＨＦＥ ９００、ＤＰ回路９２０、および外部デバイス９０５はネクストホップ転送動作のみを実行する。他の実施形態では、これらのコンポーネントが他の動作を実行する。例えば、いくつかの実施形態では、ＤＰ回路９２０がスライスベースのミドルボックス動作を実行する。これらの実施形態のうちのいくつかでは、外部デバイス９０５はまた、ＤＰ回路９２０がフロー内の後続のデータメッセージのセットに対して実行するのと同じデータメッセージの初期セットに対して同じミドルボックス・サービス動作を実行することができるように、ＤＰ回路９２０と同じスライスベースのミドルボックスルール（例えば、ファイアウォールルールなど）を処理する。

[0077] 図１０は、いくつかの実施形態におけるＨＦＥ ９００のＤＰ回路９２０の動作を概念的に示すプロセス１０００を示す。図示のように、プロセス１０００は、ＤＰ回路９２０が転送すべきデータメッセージを受信すると（１００５において）開始する。１０１０において、プロセス１０００は受信したデータメッセージのフロー識別子（例えば、その５つまたは７つのタプル識別子）が、マッチレコードを特定するスライスＩＤと一致するか否かを判定する。一致しない場合、データメッセージは、ＤＰ回路９２０がスライスＩＤ特定デバイス９０５に転送しなければならないデータメッセージの初期セット９０２の一部である。

[0078] したがって、１０１５において、プロセスは、スライスＩＤ特定デバイス９０５に関連付けられたＤＰ出力ポートを識別する。次に、１０２０で、ＤＰ回路９２０のクロスバースイッチ２３５は、１０１５で識別された出口ポートに関連付けられた出口パイプラインにデータメッセージを転送する。次に、この出口パイプラインは識別されたＤＰ出口ポートに（１０２５で）データメッセージを提供し、その後、メッセージを関連付けられたＦＥ出口ポートに送信して、ネットワークに沿って送信する。

[0079] データメッセージ（およびおそらく同じフロー内の他のデータメッセージ）をスライスＩＤ特定デバイス９０５に（１０２５で）送信した後の所定の期間、デバイス９０５は、データメッセージのタプルをスライスＩＤに関連付けるマッチレコードを用いてＤＰ回路９２０を設定するようにＣＰ回路９２５に指示する。これに応じて、ＣＰ回路９２５は図１０の動作１０３０によって概念的に図示されるように、このレコードによってＤＰ回路９２０を設定する。この動作の外部デバイス９０５およびＣＰ回路９２５に対する部分的な依存性、ならびに、デバイス９０５および回路９２５に依存する時間におけるインスタンスでのその発生を示すために、図１０は、破線の矢印を使用して、動作１０２５から動作１０３０までの流れを図示する。１０３０で、ＤＰ回路９２０は、データメッセージのフロー識別子を、デバイス９０５およびＣＰ回路９２５によって提供されるスライスＩＤに関連付けるレコードを格納する。

[0080] ＤＰ回路９２０が受信したデータメッセージのフロー識別子を、マッチレコードを特定するスライスＩＤと照合し（１０１０）、ＤＰ回路９２０は、一致するレコードからスライスＩＤを取り出す（１０３５）。次に、取り出したスライスＩＤを（１０４０で）使用して、受信したデータメッセージを、スライスＩＤとネクストホップの出口ポートとを関連付けるマッチ－アクション・テーブルに保存されているネクストホップ転送ルールと照合する。

[0081] このレコードからネクストホップ・レコードおよび出口ポートを識別した後（１０４０で）、ＤＰ回路９２０のクロスバースイッチ２３５は、１０４０で識別された出口ポートに関連付けられた出口パイプラインにデータメッセージを転送する（１０４５）。次に、この出口パイプラインは識別されたＤＰ出口ポートに（１０５０で）データメッセージを提供し、その後、メッセージを関連付けられたＦＥ出口ポートに送信して、ネットワークに沿って送信する。１０５０の後、プロセス１０００は終了する。

[0082] いくつかの実施形態では、ＨＦＥおよびそのＣＰ／ＤＰ回路が別のタイプの転送エレメントまたはミドルボックス機器（アプライアンス）で使用される場合、プロセス１０００と同様のプロセスが使用される。具体的には、これらの実施形態ではＤＰ回路が新しいフロー内のデータメッセージの初期セットのスライス識別および処理を、外部デバイス（例えば、ホストコンピュータ上で実行されるＶＭ）にオフロードする。新しいデータメッセージ・フローのスライスＩＤを識別した後、これらの実施形態の外部デバイスはＤＰ回路がこのフローで受信するデータメッセージの後のセットのスライスＩＤを識別できるようにＤＰ回路を（そのＨＦＥのその関連付けられたＣＰ回路を介して）再設定し、その結果、ＤＰ回路は、これらのデータメッセージの後のセットに対してスライスＩＤベースの転送またはミドルボックス・サービス動作を実行することができる。

[0083] 図１１は、新たに受信したデータメッセージ・フローに関連付けられたスライスＩＤを識別するためのＨＦＥのための別のアプローチを示す。このアプローチでは、ＨＦＥのＤＰ回路１１２０が新しいデータメッセージ・フローに関連付けられたスライスＩＤを識別するために、新しいフローの１つ以上のデータメッセージの初期セットを分析するためにＨＦＥのＣＰ回路１１２５に転送する。いくつかの実施形態では、ＣＰ回路が特定のデータメッセージ・フローのスライスＩＤを識別するために、上記に組み込まれた米国特許出願第１６／４４３，８１２号に記載された技術を使用するマシン（例えば、コンテナまたはＶＭ）または他のプログラムを実行する。新しいデータメッセージ・フローのスライスＩＤを識別した後、ＣＰ回路は、このスライス識別子を、処理のために初期セット内のデータメッセージと共にＤＰ回路に戻す。

[0084] 他の実施形態では、ＣＰ回路が解析したデータメッセージをＤＰ回路に提供して転送する代わりに、ＤＰ回路がＣＰ回路によるスライスＩＤ識別を実行するように設定されるまで、ＤＰ回路から受信したデータメッセージをネクストホップの宛先に（例えば、転送エレメントまたはＣＰ回路の１つ以上のネットワークインタフェースコントローラを介して）転送する。いくつかの実施形態では、ＣＰ回路およびＤＰ回路がＬ２転送動作および／またはＬ３転送動作を実行する。

[0085] いくつかの実施形態では、ＣＰ回路１１２５がプログラムを実行するためのプロセッサ１１５０（例えば、マルチコアプロセッサ）と、プログラムを記憶するためのメモリ１１７５とを含む。メモリ内の２つのプログラムは、リソース共有プログラムと、新しいデータメッセージ・フローのためのスライス識別子を識別するためにリソース共有プログラムの上で実行するスライス識別マシンである。例えば、示されるように、いくつかの実施形態におけるプログラムは仮想化プログラム１１１０（例えば、ハイパーバイザ）であり、マシンは、仮想マシン１１１５である。さらに示されるように、他の実施形態におけるプログラムはＬｉｎｕｘ（登録商標）オペレーティングシステム１１２０であり、マシンはコンテナ１１２５である。いくつかの実施形態では、ＶＭ １１１５またはコンテナ１１２５が上に組み込まれた米国特許出願第１６／４４３，８１２号に開示された方法論を使用して、データメッセージに関連付けられたスライスＩＤを識別する。

[0086] ＶＭの例またはコンテナの例のいずれにおいても、いくつかの実施形態におけるＣＰ回路は、（１）フローの識別子（例えば、５つまたは７つのタプル識別子）を含むマッチタプルと、（２）関連付けられたスライスＩＤを含むアクションタプルと、を有するマッチ－アクションレコードを記憶するように設定する設定データをＤＰ回路１１２０に提供する。このレコードを記憶した後、ＤＰ回路１１２０は、それを使用して、メッセージのフローＩＤをレコードのマッチタプルと照合することによって、フロー内の各受信したデータメッセージのためのデータプレーン内のスライスＩＤを生成する。

[0087] 次いで、このスライスＩＤは、ＤＰ回路１１２０がデータメッセージを、そのマッチタプルの一部としてスライスＩＤおよびフローＩＤを有し、そのアクションタプルの一部としてＤＰ出口ポートＩＤを有する、以前に設定されたマッチ－アクション・レコードと照合することを可能にする。このマッチ－アクション・レコードを通して、ＤＰ回路１１２０は後続のデータメッセージのためのＤＰ出口ポートＩＤを識別することができ、その後、ＤＰ出口ポートは、識別されたＤＰ出口ポートを通して、その関連付けられたＦＥ出口ポートに送信され、次いで、ネクストホップに転送される。ＤＰ回路１１２０がミドルボックス・サービスを実施する場合、スライスＩＤは図７および図８を参照して上述した動作と同様に、ミドルボックス動作を実行するようにＤＰ回路に指示するマッチ－アクション・ルールに一致する。

[0088] データメッセージ・フローに関連付けられたスライスＩＤを識別するためにＣＰプログラムの上で実行するマシン（コンテナまたはＶＭ）を有する代わりに、ＣＰ回路は、フロー属性をスライス識別子に関連付けるコンテキストエンジンを含むハイパーバイザを実行する。図１２は、ＣＰ回路１２２５上で実行されるそのようなハイパーバイザ１２０５およびコンテキストエンジン１２１０の例を示す。この例では、ハイパーバイザ１２０５がＤＰ回路１２２０から新しいフローまたはその属性セットのデータメッセージを受信し始めた後、受信したデータメッセージまたはフローの属性セットをコンテキストエンジン１２１０に提供する。

[0089] コンテキストエンジン１２１０は、受信したデータメッセージの属性セットを使用して、新しく受信したフローのスライスＩＤを識別する。いくつかの実施形態では、ＣＰ回路１２２５上で実行されるコンテキストエンジンがホストコンピュータ１２３０上で実行されるハイパーバイザのコンテキストエンジン１２３５から、スライス識別子とデータメッセージ属性とが一致するレコードを受信する。これらのホストコンピュータ１２３０上のコンテキストエンジン１２３５はこれらのＶＭ上で動作するゲストイントロスペクション（ＧＩ）エージェント１２４５から、ホストコンピュータ上で実行されるＶＭ１２５２から始まるデータメッセージ・フローに関するコンテキスト属性を収集し、これらのコンテキスト属性をデータストア１２５０に格納する。収集されたコンテキスト属性および事前設定されたルールに基づいて、いくつかの実施形態におけるホスト側コンテキストエンジン１２３５はデータメッセージ・フローのためのスライス識別子を生成する。例えば、データメッセージ・フローに含まれるトラフィックタイプ（ＶＭ上で実行されるＧＩエージェントまたはそのホスト上で実行されるＤＰＩエージェントによって検出される）を、スライス識別子にトラフィックタイプを関連付けるルールとマッピングすることによって生成される。

[0090] いくつかの実施形態ではホスト・コンテキストエンジンが（例えば、オーバーレイトンネルまたはＲＰＣメッセージを介して）ＣＰ回路のコンテキストエンジン１２１０に、スライス識別子とデータメッセージ属性とが一致するレコードを直接提供し、一方、他の実施形態ではホスト・コンテキストエンジンがネットワークマネージャまたはコントローラのセットとして動作する１つ以上のサーバのセットを介して、このデータを間接的に提供する。デバイス上で実行されるハイパーバイザ間でコンテキスト属性（スライス識別子など）を配布するためのいくつかのメカニズムが、参照により本明細書に組み込まれる米国特許出願第２０１８／０１５９７３３号および第２０１８／０１８１４２３号に記載されている。米国特許出願第２０１８／０１５９７３３号および第２０１８／０１８１４２３号に記載されているデバイスのいくつかはコンピュータであるが、いくつかの実施形態は米国特許出願第２０１８／０１５９７３３号および第２０１８／０１８１４２３号に開示されているメカニズムを使用して、コンテキスト属性（スライス識別子など）を、転送エレメントおよびミドルボックスデバイス上で実行されているハイパーバイザに配布する。

[0091] 図１３は、いくつかの実施形態ではＨＦＥ １３００のＣＰ回路１３２５がＨＦＥのＤＰ回路１３２０によって処理されるデータメッセージのためのサービスチェーンの１つ以上のサービス動作を実行する１つ以上のマシンを実行することを示す。具体的には、ＣＰプロセッサ１３３５によって実行されるハイパーバイザやオペレーティングシステム（例えばＬｉｎｕｘ（登録商標） ＯＳ）のようなリソース共有プログラムを格納するＣＰ回路メモリ１３３０を示す。また、ＤＰ回路１３２０によってＣＰ回路１３２５に転送されたデータメッセージに対するチェーン動作をサービスする（ＶＭまたはコンテナなどの）いくつかのサービスマシン１３４０を実施するためのプログラムを記憶するＣＰ回路メモリ１３３０も示す。いくつかの実施形態では、サービスマシン１３４０によって実行されるサービスチェーン動作がスライスＩＤ特定動作を含む。

[0092] 結合的に、または代替的に、いくつかの実施形態では、サービスマシン１３４０によって実行されるサービスチェーン動作がミドルボックス・サービス動作、ならびに計算および転送動作を含む。図示のように、いくつかの実施形態では、リソース共有プログラム１３０５およびサービスマシン１３４０がハイパーバイザ１３０５ａおよびサービスＶＭ（ＳＶＭ）１３４０ａである。以下でさらに説明するように、ハイパーバイザ１３０５ａはＳＶＭを互いに、およびそのポート１３９０を介してＣＰ回路１３２５の１つ以上のＮＩＣに通信可能に接続するためのソフトウェア転送エレメント１３６０（たとえば、ソフトウェアスイッチ）を含む。

[0093] そのようなサービスマシンを実行するために、いくつかの実施形態におけるＣＰ回路１３２５は、今日のいくつかのハードウェア転送エレメントにおいて典型的に使用されるプロセッサおよびメモリよりも、より強力なプロセッサおよびより多くのメモリを有する。ＤＰ回路１３２０によって転送されたデータメッセージに対して１つ以上のサービス動作を実行した後、いくつかの実施形態では、ＣＰ回路１３２５がこれらのデータメッセージをＤＰ回路１３２０に戻して、データメッセージをネットワーク内の次の宛先に転送する。

[0094] 他の実施形態ではＤＰ回路１３２０によって転送されたデータメッセージに対して１つ以上のサービス動作を実行した後、ＣＰ回路１３２５はＮＩＣ、ＣＰ回路１３２５、またはＨＦＥ １３００を介してネットワーク内の次の宛先にデータメッセージを転送する。また、いくつかの実施形態では、ＣＰ回路１３２５がデータメッセージ・フローについて識別するスライスＩＤを用いてＤＰ回路１３２０を設定する。しかしながら、これらの実施形態のいくつかではＤＰ回路１３２０に転送するように解析するデータメッセージを提供する代わりに、これらの実施形態ではＣＰ回路１３２５は、ＤＰ回路１３２０がＣＰ回路１３２５によってスライスＩＤ識別情報を実行するように設定されるまで、データメッセージをそのネクストホップ宛先に転送する。いくつかの実施形態では、ＣＰ回路１３２５およびＤＰ回路１３２０がＬ２転送動作および／またはＬ３転送動作を実行する。

[0095] ＣＰ回路１３２５によって実行されるマシンは仮想データプレーンとしてサービス提供し、一方、ＤＰ回路１３２０は、物理データプレーンとしてサービス提供する。換言すれば、ＨＦＥ １３００は、ＤＰ回路１３２０によって実現される物理的なものと、サービスマシン１３４０を実行するＣＰ回路１３２５によって実現される別の仮想的なものとの、２つの同時に実行されるデータプレーンを有する。いくつかの実施形態では、ＨＦＥ １３００がその仮想データプレーン（そのＣＰ回路１３２５によって実施される）を使用して、その物理ＤＰ回路内で処理することができないデータメッセージを処理し、例えば、その仮想データプレーンを使用して、フローのスライスＩＤを生成し、またはサービスチェーン内でサービス動作を実行する。

[0096] ＨＦＥ ＣＰ回路１３２５のリソース共有プログラム１３０５がハイパーバイザ１３０５ａである実施形態では、１つ以上のソフトウェア転送エレメントがこのハイパーバイザ上で実行されて、ＨＦＥの仮想データプレーンを実施する。このようなソフトウェア転送エレメントの例はソフトウェアスイッチ（例えば、ＥＳＸハイパーバイザ上で動作するＥＳＸスイッチ）、ソフトウェアルータ等を含む。いくつかの実施形態では、このソフトウェア転送エレメントがＣＰ回路１３２５がＤＰ回路１３２０から受信するデータメッセージを処理して、ハイパーバイザ１３０５ａ上で実行中のＳＶＭ１３４０ａにデータメッセージを転送し、および／またはデータメッセージについてネットワーク内のネクストホップを識別する。

[0097] 他のＨＦＥおよび／またはホストコンピュータ上のソフトウェア転送エレメントとともに、いくつかの実施形態では、ＨＦＥ１３００のＣＰ回路１３２５上で実行されるソフトウェア転送エレメントが複数のＨＦＥおよび／または複数のホストコンピュータにまたがる１つ以上の論理転送エレメントを実施する。したがって、いくつかの実施形態では、ＨＦＥのＣＰ回路のソフトウェア転送エレメントが論理転送動作（たとえば、論理ネットワーク識別子に基づくルックアップ動作）を実行する。

[0098] いくつかの実施形態では、ＨＦＥのＣＰ回路上で実行されるハイパーバイザがネットワーク内のホストコンピュータ上で実行されるハイパーバイザと同じまたは同様である。図１４は、そのような一例を示す。この例では、類似または同一のハイパーバイザが共通のプラットフォームを提供し、それを介して、共通のマネージャ１４０５およびコントローラ１４１０のセットがホストコンピュータ１４５０上で実行されるＨＦＥ１４００、ホストコンピュータ１４５０、およびＳＦＥ１４５５を管理し、制御する。

[0099] いくつかの実施形態では、マネージャ１４０５およびコントローラ１４１０がホストコンピュータ１４５０およびホストＳＦＥ１４５５を管理および／または制御するように、ＨＦＥのＣＰ回路１４２５を管理および制御する。例えば、共通ハイパーバイザプラットフォームを介して、マネージャ１４０５およびコントローラ１４１０はいくつかの実施形態ではホストコンピュータの複数のソフトウェア転送エレメントおよびＨＦＥの複数のＤＰ回路にまたがる論理転送エレメント（例えば、論理オーバーレイ転送エレメント）を定義する。

[00100] また、この共通プラットフォームを介して、マネージャ１４０５およびコントローラ１４１０は、同じスライス識別子に基づいてスライスベースの動作を実行するようにホストＳＦＥ１４５５およびＨＦＥ ＤＰ回路１４２０を設定する。そのようなスライスベースの動作の例は、スライスベースの転送動作および／またはスライスベースのミドルボックス動作を含む。共通のハイパーバイザプラットフォームを介して、いくつかの実施形態におけるマネージャ１４０５およびコントローラ１４２０は、共通のスライス識別子のセットを使用して、ハードウェアおよびソフトウェアＳＤＤＣリソース（ＨＦＥおよびＳＦＥを実行するホストコンピュータおよびミドルボックスインスタンスを含む）にわたるネットワークスライスの共通のセットを定義する。

[00101] いくつかの実施形態におけるハードウェアおよびソフトウェアリソースはそれらの動作を実行するために（例えば、それらが処理しなければならないルールを選択するために）共通スライス識別子を使用する。共通スライス識別子はまた、マネージャ１４０５およびコントローラ１４１０によって使用されて、上述のように、異なるネットワークスライスのためのＳＤＤＣ内の専用のコンピューティングおよびネットワークリソースの異なるセットを定義する。

[00102] いくつかの実施形態ではスライスベースの動作を実行するようにホストＳＦＥ１４５５およびＨＦＥ ＤＰ回路１４２０を設定することに加えて、マネージャ１４０５およびコントローラ１４１０はより一般的なセキュリティグループ識別子に基づいてネットワーク動作も実行するようにＳＦＥおよびＨＦＥを設定することもできる。より一般的なセキュリティグループの例は、データセンタ・ポートグループ、管理ポートグループ、仮想ストレージポートグループ、仮想マシン・モビリティポートグループなどのポートグループを含む。一部の実施形態におけるポートグループＩＤはポート上で同じ転送および／またはサービスポリシーを適用するために、データセンタ内の特定のポートを一緒に関連付ける方法である。

[00103] いくつかの実施形態では、マネージャ１４０５及びコントローラ１４１０がＨＦＥ ＣＰ回路１４２５と相互作用することによって、ＨＦＥ ＤＰ回路１４２０を設定する。具体的にはいくつかの実施形態ではマネージャ１４０５およびコントローラ１４１０がハイパーバイザ１４３０を使用して、設定データおよびコンテキストデータをＨＦＥ ＣＰ回路１４２５に提供し、その結果、ＣＰ回路１４２５は対応するＤＰ回路１４２０を設定して、スライスベースの転送動作および／またはスライスベースのミドルボックス動作を実行することができる。

[00104] いくつかの実施形態では、マネージャ１４０５およびコントローラ１４１０がハイパーバイザ１４３０を使用して、ＨＦＥ１４００のＣＰ回路１４２５上およびホストコンピュータ１４５０上で実行されるコンピューティングエレメントを配備し、設定する。他の実施形態では、コンピューティングマネージャ１４０５およびコンピューティングコントローラ１４１０がＨＦＥ１４００のＣＰ回路上で実行するようにコンピューティングエレメントを配備および設定しない。

[00105] 図１４のマネージャ１４０５およびコントローラ１４１０の別々のクラスタは、ホストコンピュータ１４５０およびＨＦＥ１４００上のハイパーバイザ１４３５リソースを管理および制御するための別々の管理および制御プレーンを提供する。いくつかの実施形態ではマネージャ１４０５がホストコンピュータ１４５０およびＨＦＥ１４００上のリソースを定義し、一方、コントローラ１４１０はこれらのリソースを設定する。しかし、他の実施形態は、これらのリソースを管理／制御するための別個の管理プレーンおよび制御プレーンを有さず、むしろ、管理プレーン動作および制御プレーン動作の両方を行うためにサーバの１つのクラスタのみを使用する。

[00106] 図１５は、いくつかの実施形態ではＨＦＥのＣＰ回路１５２５上で実行されるハイパーバイザ１５０５がホストコンピュータ１５５０上で実行されるハイパーバイザ１５１０として共通データモデルの抽象化１５５５を使用することを示す。ハイパーバイザ１５０５および１５１０は、異なるトランスレータ（変換器）１５１５および１５１７を使用して、ＨＦＥ ＤＰ回路１５２０およびホストＮＩＣ１５２５へのそれぞれの通信を、ＤＰ回路１５２０およびＮＩＣ１５２７によって解読可能なデータフォーマットに変換する。これらのトランスレータはまた、ＤＰ回路１５２０およびＮＩＣ １５２７からハイパーバイザ１５０５および１５１０への通信を、共通データモデルフォーマット１５５５に戻すように変換する。

[00107] いくつかの実施形態では、これらのトランスレータはプラグインとして実装される。また、いくつかの実施形態ではハイパーバイザ１５１０とホストネットワークインタフェースカード１５２７との間の通信のためにトランスレータは使用されず、これらの実施形態における共通データモデル抽象化はホストネットワークインタフェースカードのために定義されたデータモデルである。このような実施形態はトランスレータを使用して、データプレーン回路のハイパーバイザ通信をＮＩＣデータモデルフォーマットからＤＰ回路モデルフォーマットに変換し、逆変換を実行するだけである。

[00108] 図１６は、ＳＤ－ＷＡＮ（ソフトウェア定義ワイドアクセスネットワーク）のエッジデバイス１６００としてスライスベースのＨＦＥを使用する例を示す。このエッジＨＦＥはエンティティの特定のローカルエリアネットワーク（ＬＡＮ）で作動し、この位置にある複数の装置１６１０（例えば、コンピュータ、タブレット、スマートフォンなど）を、ＭＰＬＳリンク１６０２、広帯域インターネットリンク１６０４、および５Ｇ無線リンク１６０６などの複数のネットワークリンクを介してエンティティのＷＡＮに接続する。ＷＡＮは複数のネットワーク１６２０（例えば、プライベート・テレコミュニケーションネットワーク、インターネット、ＭＰＬＳプロバイダのネットワーク等）にまたがって、異なるＬＡＮによって提供される異なる位置（例えば、異なるデータセンタ及びブランチ）を接続する。

[00109] 処理する各データメッセージ・フローに対して、エッジＨＦＥ１６００はデータメッセージ・フローに関連付けられたスライスＩＤを識別し、このスライスＩＤのためのネットワークリンク（例えば、リンク１６０２、１６０４、または１６０６）を選択し（例えば、スライスＩＤを使用してリンク選択ルールを識別し、次にこのルールによって特定されたリンクを選択する）、次にデータメッセージ・フローを選択されたネットワークリンクに沿ってその宛先に経路指定する。いくつかの実施形態では、データメッセージ・フローがそのスライスＩＤを識別するヘッダ（例えば、カプセル化ヘッダ）を有する。他の実施形態では、エッジＨＦＥが異なるフローＩＤをスライスＩＤに関連付けるルールで設定される。さらに他の実施形態では、エッジＨＦＥが外部デバイス（図９のスライスＩＤ特定回路９０５など）、またはそのＣＰ回路のモジュール／マシン（図１１または図１２に示すよう）を使用して、データメッセージ・フローのスライスＩＤを識別する。

[00110] 図１７に、別のＳＤ－ＷＡＮ の例を示す。この例では、スライスベースのＨＦＥ １７００がテナントスライスＩＤに基づいて異なるテナントの異なるＬＡＮノードを接続するためのマルチテナント・パブリッククラウドゲートウェイとして使用される。テナントごとに、パブリッククラウドゲートウェイ１７００は、テナントの２つ以上のＬＡＮ（しばしば異なる物理的な場所にある）を接続することによって、テナントのＳＤ－ＷＡＮを確立する。この例では、パブリッククラウドゲートウェイ１７００がテナントＡの支店（ブランチオフィス）１７０２とデータセンタ１７０４と、テナントＢの支店１７０６とデータセンタ１７０８とを接続している。

[00111] ゲートウェイ１７００は処理するデータメッセージ・フローごとに、データメッセージ・フローに関連付けられたスライスＩＤを特定し、このスライスＩＤに関連付けられたネクストホップ・ルーティングテーブルを選択し、ネクストホップ・ルーティングテーブルを使用してデータメッセージ・フローを宛先にルーティングする。ゲートウェイは異なる実施形態においてスライスＩＤを異なって識別し、例えば、いくつかの実施形態ではデータメッセージ・フローのヘッダ（例えば、カプセル化ヘッダ）からスライスＩＤを取り出し、他の実施形態ではフローＩＤをスライスＩＤに関連付ける事前設定されたテーブルを使用し、またはさらに他の実施形態では外部デバイス、またはそのＣＰ回路のモジュール／マシンを使用する。

[00112] いくつかの実施形態のＨＦＥはデバイスへの出口側トラフィックに関する統計を収集し、収集された統計をサーバのセットに報告し、ＨＦＥによってデバイスに転送されるフローの量を調整するために新しい出口側の制限を受信することによって、デバイスの入口側フロー制御を実施するように設定され得る。いくつかの実施形態では、ＨＦＥがデータメッセージをドロップして、それらが受信する出口側の制限によって指定されたしきい値の下に留まるか、またはそのようなしきい値に到達したときにデータメッセージの送信を遅延させる。

[00113] 図１８は、いくつかのＨＦＥ１８００がホストコンピュータ、ホストコンピュータ上で実行されるマシン、サーバ、または任意の他の種類のデバイスとすることができるデバイス１８０５に対する入口フロー制御を実施する、このような技術の１つを示す。この例では、各ＨＦＥがデバイス１８０５に送信するデータメッセージ・フローに関する統計を生成する。いくつかの実施形態では、ＨＦＥがデータメッセージの数、バイトカウントなど、任意の数の異なる統計を生成することができる。いくつかの実施形態におけるこれらの統計はフロー固有であり、すなわち、ＨＦＥは、いくつかの異なるフローのそれぞれについての統計値を計算する。フローは個々の５タプルまたは７タプルのフローとすることができ、あるいは、いくつかの個々のフローを含む統合フロー（例えば、同じ送信元ＩＰアドレスおよび宛先ＩＰアドレスを有するすべての個々のフローを包含する統合フロー）とすることができる。フローベースであることに加えて、またはフローベースである代わりに、いくつかの実施形態では、ＨＦＥは、デバイスが受信する特定のネットワークスライスのトラフィックの量を定量化するために、各スライスＩＤについての統計を生成する。

[00114] ＨＦＥは生成された統計をサーバ１８２０のセット（例えば、コントローラまたはマネージャ）に提供し、これは、次に、統計を分析して、デバイス１８０５に転送されるトラフィックの量が閾値を超えるか否かを判定する。この閾値に達すると、サーバセット１８２０はＨＦＥへの新しい出口の制限（例えば、すべてのフロー、特定のフロー、特定のスライスＩＤ、またはフローとスライスＩＤの特定の組合せなど）を証明する。次いで、ＨＦＥはこれらの新しい出口制限を使用して、それらがデバイス１８０５に送信するデータメッセージの量を制御する（例えば、すべてのフロー、特定のフロー、特定のスライスＩＤ、またはフローとスライスＩＤの特定の組合せなど）。

[00115] 上述のように、いくつかの実施形態では、ＨＦＥがデータメッセージをドロップして、それらが受信する出口側の制限によって指定されたしきい値の下に留まるようにするか、またはそのようなしきい値に達したときにデータメッセージの送信を遅延させる。また、いくつかの実施形態では、サーバセット１８２０がホスト１８０５へのデータメッセージ・フローを調整するために、同じ新しい出口制限を各ＨＦＥ１８００に、または異なる新しい出口制限を異なるＨＦＥ １８００に配布することができる。

[00116] 図１９は、いくつかの実施形態において、サーバセット１８２０が特定のスライスＩＤに対する入口データメッセージ負荷を装置１８０５に制御するために実行する処理１９００を示す。このプロセスは、いくつかの実施形態ではデバイス１８０５が特定のスライスのためのある量を超えるデータメッセージを処理しないことを保証するために使用される。図示のように、プロセスはＨＦＥがデバイス１８０５に転送することができる特定のスライスのデータメッセージ負荷（例えば、１秒当たりのバイト数など）の出口側の制限をＨＦＥ１８００に分配することによって（１９０５で）開始する。

[00117] いくつかの実施形態ではプロセスがＡＰＩコールを介してこれらの制限をＨＦＥ ＣＰ回路に分配し、次いで、ＨＦＥ ＣＰ回路はこれらの制限を観察するようにＨＦＥ ＤＰ回路を設定する。上述のように、いくつかの実施形態では、ＨＦＥがデータメッセージをドロップして、それらが受信する出口側の制限によって指定されたしきい値の下に留まるようにするか、またはそのようなしきい値に達したときにデータメッセージの送信を遅延させる。また、いくつかの実施形態では、サーバセット１８２０が各ＨＦＥ １８００に同じ出口制限を、または異なるＨＦＥ １８００に異なる出口制限を分配することができる。

[00118] ある期間後に、サーバセットは、デバイス１８０５に転送された特定のスライスのデータメッセージ負荷に関する統計をＨＦＥから収集する（１９１０で）。いくつかの実施形態における収集された統計は、サーバセットによって配布される制限に関連付けられる。たとえば、制限が１秒あたりのバイト数で表される場合、収集された統計は、ＨＦＥがデバイスに配布した１秒あたりの平均バイト数、または特定のスライスの期間に配布された合計バイト数を表す。

[00119] １９１５で、プロセスは、特定のスライスについてＨＦＥから収集された統計を統合する。次に、それは（１９２０にて）統合した統計が所望の閾値量（例えば、所望の１秒あたりの合計バイト数）を超えるか否かを判定する。超えない場合、プロセスは１９１０に戻り、報告された統計の次のバッチを待つ。他方、特定のスライスの統合した統計値がしきい値量を超える場合、プロセスは、（１９２５で）デバイスに転送することができる特定のスライスのデータメッセージ・フローに関する新しい出口制限を算出する。

[00120] 例えば、デバイスが特定のスライスに対して１００Ｍｂｉｔｓ／秒を超えて受信すべきでない場合、サーバセット１８２０は、ＨＦＥがデバイス１８０５に対するこの制限の５０％を超えて動作することはないという仮定に基づいて、各ＨＦＥに５０Ｍｂｉｔｓ／秒の制限を最初に分配しうる。ただし、収集された統計には３つのＨＦＥが３５Ｍｂｉｔｓ／秒、４５Ｍｂｉｔｓ／秒、および５０Ｍｂｉｔｓ／秒をデバイスに送信し、この合計が全体の制限を１００Ｍｂｉｔｓ／秒超過していることが、ある期間に示される可能性がある。したがって、サーバセットは、各ＨＦＥ の個々の限度を３３ Ｍｂｉｔｓ／秒にカットして、その集約が全体的な限度を超えないようにする場合がある。

[00121] （１９２５で）新しい制限を計算した後、プロセスは（１９３０で）これらの新しい制限をＨＦＥに分配する。この場合も、いくつかの実施形態ではプロセスがＡＰＩコールを介してこれらの制限をＨＦＥ ＣＰ回路に分配し、次いで、ＨＦＥ ＣＰ回路はこれらの制限を監視するようにＨＦＥ ＤＰ回路を設定する。上述したように、いくつかの実施形態では、ＨＦＥがデータメッセージを、それらが受信する新しい出口側制限によって特定されたしきい値の下に留まるようにドロップするか、またはそのようなしきい値に達したときにデータメッセージの送信を遅延させる。また、いくつかの実施形態では、サーバセット１８２０が同じ新しい出口制限を各ＨＦＥ１８００に、または異なる新しい出口制限を異なるＨＦＥ１８００に配布することができる。１９３０の後、プロセスは１９１０に戻り、報告された統計の次のバッチを待つ。

[00122] 上述の特徴およびアプリケーションの多くは、コンピュータ可読記憶媒体（コンピュータ可読媒体とも呼ばれる）に記録された命令のセットとして規定されるソフトウェアプロセスとして実施される。これらの命令が１つ以上の処理ユニット（例えば、１つ以上のプロセッサ、プロセッサのコア、または他の処理ユニット）によって実行されるとき、それらは、処理ユニット（１つ以上）に、命令に示されたアクションを実行させる。コンピュータ可読媒体の例としてはＣＤ－ＲＯＭ、フラッシュドライブ、ＲＡＭチップ、ハードドライブ、ＥＰＲＯＭ等があるが、これらに限定されない。コンピュータ可読媒体は、無線または有線接続を介して通過する搬送波および電気信号を含まない。

[00123] この明細書において、「ソフトウェア」という用語は、プロセッサによって処理するためにメモリに読み込むことができる、読み取り専用メモリに存在するファームウェア、または磁気記憶装置に記憶されたアプリケーションを含むことを意味する。また、いくつかの実施形態では、複数のソフトウェア発明が別個のソフトウェア発明を残しながら、より大きなプログラムのサブパーツとして実施することができる。いくつかの実施形態では、複数のソフトウェア発明を別個のプログラムとして実施することもできる。最後に、本明細書で説明されるソフトウェア発明を共に実施する別個のプログラムの任意の組合せは、本発明の範囲内である。いくつかの実施形態では、ソフトウェアプログラムが１つ以上の電子システム上で動作するようにインストールされると、ソフトウェアプログラムの動作を実行し実行する１つ以上の特定のマシンの実装を定義する。

[00124] 図２０は、本発明のいくつかの実施形態が実施されるコンピュータシステム２０００を概念的に示す。コンピュータシステム２０００は、上述のホスト、ＣＰ回路、コントローラ、およびマネージャのいずれかを実施するために使用することができる。このように、それは、上述のプロセスのいずれかを実行するために使用することができる。このコンピュータシステムは、様々なタイプの非一時的機械可読媒体と、様々な他のタイプの機械可読媒体のためのインタフェースとを含む。コンピュータシステム２０００は、バス２００５、処理ユニット２０１０、システムメモリ２０２５、読み出し専用メモリ２０３０、永久記憶装置２０３５、入力デバイス２０４０、および出力デバイス２０４５を含む。

[00125] バス２００５は、コンピュータシステム２０００の多数の内部デバイスを通信可能に接続するすべてのシステムバス、周辺バス、およびチップセットバスを集合的に表す。例えば、バス２００５は、処理ユニット２０１０を、読み出し専用メモリ２０３０、システムメモリ２０２５、および永久記憶装置２０３５と通信可能に接続する。

[00126] これらの様々なメモリユニットから、処理ユニット２０１０は本発明のプロセスを実行するために、実行すべき命令および処理すべきデータを取り出す。処理ユニットは、様々な実施形態において、単一プロセッサまたはマルチコアプロセッサであってもよい。読み出し専用メモリ２０３０は、処理ユニット２０１０およびコンピュータシステムの他のモジュールによって必要とされる静的データおよび命令を格納する。一方、永久記憶装置２０３５は、読み書き可能な記憶装置である。このデバイスは、コンピュータシステム２０００がオフのときでも命令およびデータを格納する不揮発性メモリユニットである。本発明のいくつかの実施形態は、永久記憶装置２０３５として大容量記憶装置（磁気または光ディスクおよびその対応するディスクドライブなど）を使用する。

[00127] 他の実施形態では、永久記憶装置として取り外し可能な記憶装置（フロッピーディスク、フラッシュドライブなど）を使用する。永久記憶装置２０３５と同様に、システムメモリ２０２５は、読み書き記憶デバイスである。しかしながら、記憶デバイス２０３５とは異なり、システムメモリは、ランダムアクセスメモリのような揮発性読み出し／書き込みメモリである。システムメモリには、プロセッサが実行時に必要とする命令とデータの一部が格納される。いくつかの実施形態では、本発明のプロセスがシステムメモリ２０２５、永久記憶装置２０３５、および／または読み出し専用メモリ２０３０に記憶される。これらの様々なメモリユニットから、処理ユニット２０１０はいくつかの実施形態のプロセスを実行するために、実行する命令および処理するデータを取り出す。

[00128] バス２００５はまた、入出力デバイス２０４０および２０４５にも接続する。入力デバイスはユーザが情報を伝達し、コンピュータシステムにコマンドを選択することを可能にする。入力デバイス２０４０は、英数字キーボード及びポインティングデバイス（「カーソル制御デバイス」とも呼ばれる）を含む。出力デバイス２０４５は、コンピュータシステムによって生成された画像を表示する。出力デバイスは、プリンタと、ブラウン管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）などの表示デバイスとを含む。いくつかの実施形態は、入力デバイスおよび出力デバイスの両方として機能するタッチスクリーンなどのデバイスを含む。

[00129] 最後に、図２０に示すように、バス２００５は、ネットワークアダプタ（図示せず）を介してコンピュータシステム２０００をネットワーク２０６５に結合する。このようにして、コンピュータは、コンピュータのネットワーク（ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、またはイントラネットなど）の一部、またはネットワーク（インターネットなど）のネットワークであってもよい。コンピュータシステム２０００の任意のまたはすべてのコンポーネントを、本発明と併せて使用することができる。

[00130] いくつかの実施形態はコンピュータプログラム命令を、機械可読又はコンピュータ可読媒体（代替的にはコンピュータ可読記憶媒体、機械可読媒体、又は機械可読記憶媒体と称される）に記憶するマイクロプロセッサ、記憶装置及びメモリ等の電子コンポーネントを含む。このようなコンピュータ可読媒体のいくつかの例としては、ＲＡＭ、ＲＯＭ、読取り専用コンパクトディスク（ＣＤ－ＲＯＭ）、記録可能コンパクトディスク（ＣＤ－Ｒ）、書き換え可能コンパクトディスク（ＣＤ－ＲＷ）、読取り専用ディジタル汎用ディスク（例えば、ＤＶＤ－ＲＯＭ、二重層ＤＶＤ－ＲＯＭ）、様々な記録可能／書き換え可能ＤＶＤ（例えば、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷ等）、フラッシュメモリ（例えば、ＳＤカード、ミニＳＤカード、マイクロＳＤカード等）、磁気及び／又はソリッドステートハードドライブ、読取り専用及び記録可能なブルーレイ（登録商標）ディスク、超密度光ディスク、任意の他の光又は磁気媒体、及びフロッピーディスクがある。コンピュータ可読媒体は少なくとも１つの処理ユニットによって実行可能であり、様々な動作を実行するための命令のセットを含むコンピュータプログラムを記憶することができる。コンピュータプログラムまたはコンピュータコードの例としては、コンパイラによって生成されるようなマシンコードと、インタープリタを使用してコンピュータ、電気コンポーネント、またはマイクロプロセッサによって実行される上位レベルのコードを含むファイルがある。

[00131] 上記の議論は主に、ソフトウェアを実行するマイクロプロセッサまたはマルチコアプロセッサに言及しているが、いくつかの実施形態は特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１つ以上の集積回路によって実行される。一部の実施形態では、このような集積回路が回路自体に記憶された命令を実行する。

[00132] 本明細書で使用されている「コンピュータ」、「サーバ」、「プロセッサ」、「メモリ」という用語は、すべて電子的またはその他の技術的デバイスを指す。これらの用語は、人々または人々のグループを除外する。本明細書の目的のために、用語「表示する」または「表示する」は、電子デバイス上に表示することを意味する。本明細書で使用されるように、「コンピュータ可読媒体」、「コンピュータ可読媒体」、および「機械可読媒体」という用語は、コンピュータによって可読な形で情報を記憶する有形の物理オブジェクトに完全に制限される。これらの用語は、任意の無線信号、有線ダウンロード信号、および任意の他の一時的または過渡的な信号を除外する。

[00133] 本発明を多数の特定の詳細を参照して説明してきたが、当業者であれば、本発明の精神から逸脱することなく、他の特定の形態で本発明を実施できることを理解するであろう。したがって、当業者は、本発明が前述の例示的な詳細によって限定されるべきではなく、むしろ添付の特許請求の範囲によって定義されるべきであることを理解するのであろう。

Claims (18)

1. 複数のハードウェア転送エレメント（ＨＦＥ）を含むデータセンター内のコンピュータへの入口側データメッセージトラフィックのためのサービスレベルを強制する方法であって、
   前記ＨＦＥから、前記コンピュータへ転送されたデータメッセージに関する出口側の統計を受信することと、
   前記データメッセージトラフィックが前記コンピュータへの入口側データメッセージトラフィックのための第１の閾値レベルを超えたかどうかを判定するために前記受信された統計を集約して分析することと、
   前記第１の閾値を超えた際に、前記ＨＦＥから前記コンピュータへの前記データメッセージトラフィックを削減するためのセカンダリ閾値レベルのセットを前記ＨＦＥへ配布することと、を含み、
   配布された前記セカンダリ閾値レベルのセットに基づいて、ＨＦＥから前記コンピュータへのデータメッセージトラフィックがセカンダリ閾値レベルに達した際に、前記ＨＦＥはデータメッセージをドロップするかまたは遅延させる、方法。
2. 請求項１に記載の方法であって、前記セカンダリ閾値レベルのセットは、すべてのＨＦＥへ配布された同一の第２の閾値レベルを含む、方法。
3. 請求項１に記載の方法であって、前記セカンダリ閾値レベルのセットは、少なくとも２つの異なるＨＦＥへ配布された少なくとも２つの異なる第２の閾値レベルを含む、方法。
4. 請求項１から３の何れか一項に記載の方法であって、
   前記出口側の統計を受信する前に、各ＨＦＥから前記コンピュータへのデータメッセージトラフィックの制限を定義するために前記ＨＦＥへプライマリ閾値レベルの以前のセットを配布することをさらに含む、方法。
5. 請求項４に記載の方法であって、前記プライマリ閾値レベルのセットは、全てのＨＦＥへ配布された同一のプライマリ閾値レベルを含む、方法。
6. 請求項４に記載の方法であって、前記プライマリ閾値レベルのセットは、少なくとも２つの異なるＨＦＥへ配布された少なくとも２つの異なるプライマリ閾値レベルを含む、方法。
7. 請求項１から６の何れか一項に記載の方法であって、前記データメッセージトラフィックは、２つ以上のデータメッセージフローのグループを特定する特定のグループ識別子に関連付けられたデータメッセージトラフィックを含む、方法。
8. 請求項１から６の何れか一項に記載の方法であって、前記データメッセージトラフィックは、ネットワーク内のネットワークスライスに関連付けられた特定のスライス識別子に関連付けられたデータメッセージトラフィックを含む、方法。
9. 請求項８に記載の方法であって、前記コンピュータは前記ネットワークスライスに関連付けられたマシンを実行する、方法。
10. 少なくとも１つの処理ユニットによって実行するためのプログラムであって、請求項１から９の何れか一項に記載の方法を実装するための命令セットを含む前記プログラムを格納する非一時的な機械可読媒体。
11. ネットワーク内で動作するためのハードウェア転送エレメント（ＨＦＥ）であって、
    複数のメッセージ処理ステージおよびポートのセットを含み、第１のデータメッセージのセットに対して第１のデータプレーン転送動作セットを実行し、前記第１のデータメッセージのセットを前記ポートのセットを介して転送するためのデータプレーン転送回路を実施する特定用途向け集積回路と、
    ネットワークインタフェースコントローラ（ＮＩＣ）と、
    マイクロプロセッサと、前記ＮＩＣを介して転送される第２のデータメッセージのセットに対して第２のデータプレーン転送動作セットを実行するための、前記マイクロプロセッサによる実行のためのプログラムを格納するメモリと、を備え、
    前記第１および第２のデータプレーン転送動作セットの両方は、データメッセージに対する前記ネットワーク内のネクストホップネットワークエレメントを識別するために前記ＨＦＥによって受信される前記データメッセージのネクストホップ転送動作を備え、
    前記データプレーン転送回路は前記ハードウェア転送エレメントの物理的な第１のデータプレーンであり、前記マイクロプロセッサによる実行のための前記プログラムは仮想的な第２のデータプレーンを実施する、ハードウェア転送エレメント。
12. 請求項１１に記載のハードウェア転送エレメントであって、前記プログラムは、前記データプレーン転送回路が特定のデータメッセージのためのネクストホップを識別できない場合に、前記データプレーン転送回路から前記プログラムによって処理されるべき特定のデータメッセージを受信する、ハードウェア転送エレメント。
13. 請求項１１又は１２に記載のハードウェア転送エレメントであって、前記第１および第２のデータプレーン転送動作セットは、前記ハードウェア転送エレメントによって受信されたデータメッセージ上で実行されるレイヤ２転送動作を含む、ハードウェア転送エレメント。
14. 請求項１１から１３の何れか一項に記載のハードウェア転送エレメントであって、前記第２のデータプレーン転送動作セットは、前記データプレーン転送回路によって受信された第３のデータメッセージのセットに対して実行するための１つ以上のサービス動作セットを含む、ハードウェア転送エレメント。
15. 請求項１４に記載のハードウェア転送エレメントであって、前記第３のデータメッセージのセットはネットワークスライスに関連付けられ、前記サービス動作セットは前記ネットワークスライスに関連付けられたデータメッセージに対して実行される動作のサービスチェーンの一部である、ハードウェア転送エレメント。
16. 請求項１１から１５の何れか一項に記載のハードウェア転送エレメントであって、前記第２のデータプレーン転送動作セットは前記データプレーン転送回路によって受信された複数のデータメッセージフローのそれぞれに関連付けられたスライス識別子（ＩＤ）を生成し、前記スライスＩＤを前記データプレーン転送回路へ提供して前記提供されたスライスＩＤに基づいてスライスベースの転送動作を実行するためのスライスＩＤ特定動作を含む、ハードウェア転送エレメント。
17. 請求項１１から１６の何れか一項に記載のハードウェア転送エレメントであって、前記プログラムは前記第２のデータプレーン転送動作セットを実行するよう定義された少なくとも１つのコンテナを有するＬｉｎｕｘ（登録商標）オペレーティングシステムである、ハードウェア転送エレメント。
18. 請求項１１から１６の何れか一項に記載のハードウェア転送エレメントであって、前記プログラムは前記第２のデータプレーン転送動作セットの少なくともサブセットを実行する少なくとも１つのモジュールを備えるハイパーバイザである、ハードウェア転送エレメント。

Images