JP6333751B2 - IP network system and load balancing method - Google Patents
IP network system and load balancing method Download PDFInfo
- Publication number
- JP6333751B2 JP6333751B2 JP2015019845A JP2015019845A JP6333751B2 JP 6333751 B2 JP6333751 B2 JP 6333751B2 JP 2015019845 A JP2015019845 A JP 2015019845A JP 2015019845 A JP2015019845 A JP 2015019845A JP 6333751 B2 JP6333751 B2 JP 6333751B2
- Authority
- JP
- Japan
- Prior art keywords
- flow
- edge node
- edge
- nodes
- flows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Description
本発明は、ＩＰネットワークシステムおよびロードバランス方法に関する。 The present invention relates to an IP network system and a load balancing method.
近年では、物理的に直結していない２つのＬＡＮ（Local Area Network）を、公衆回線を介して仮想的に直結するＶＰＮ（Virtual Private Network）が普及している。ＶＰＮにより、専用回線を敷設することなしに、廉価に仮想的な組織内ネットワークを構築することができる。ＶＰＮによって構築された仮想的な通信経路は、仮想トンネルと呼ばれている。
また、ＭＰＬＳ（Multi-Protocol Label Switching）とは、フレームやパケットにラベルを付加して転送を行う技術である。ＭＰＬＳによりＶＰＮを実現することを、ＭＰＬＳ／ＶＰＮという。
In recent years, a VPN (Virtual Private Network) in which two LANs (Local Area Networks) that are not physically directly connected are virtually directly connected via a public line has become widespread. With VPN, a virtual in-house network can be constructed at low cost without laying a dedicated line. A virtual communication path constructed by VPN is called a virtual tunnel.
In addition, MPLS (Multi-Protocol Label Switching) is a technology for performing transfer by adding a label to a frame or packet. The realization of VPN by MPLS is called MPLS / VPN.
図１は、アンダーレイネットワーク１の構成図である。
アンダーレイネットワーク１は、ＩＰネットワークシステムであり、相互に接続されたコアノード４−１〜４−４と、複数の対向エッジ群８−１〜８−３と、外部制御装置７とを含んで構成される。以下、各対向エッジ群８−１〜８−３を特に区別しないときには、単に対向エッジ群８と記載する。
コアノード４−１〜４−４は、ネットワーク状に相互に接続される。このコアノード４−１〜４−４は、仮想的なトンネルごとに、フローの本数が均一になるように振り分けている。これにより、特定の物理経路にフローが集中することを防いでいる。以下、コアノード４−１〜４−４を特に区別しないときには、単にコアノード４と記載する。なお、各ノードは、識別番号＃１〜＃４が付与されている。
FIG. 1 is a configuration diagram of the
The
The core nodes 4-1 to 4-4 are connected to each other in a network form. The core nodes 4-1 to 4-4 distribute each virtual tunnel so that the number of flows is uniform. This prevents the flow from concentrating on a specific physical path. Hereinafter, when the core nodes 4-1 to 4-4 are not particularly distinguished, they are simply referred to as the
対向エッジ群８−１は、エッジノード３−１，３−２と、これらと相互に接続されるカスタマエッジノード５−１〜５−４と、複数の端末６とを含んで構成される。複数の端末６は、カスタマエッジノード５−１〜５−４のうちいずれかと接続される。
対向エッジ群８−２は、エッジノード３−３，３−４と、これらと相互に接続されるカスタマエッジノード５−５〜５−８と、複数の端末６とを含んで構成される。複数の端末６は、カスタマエッジノード５−５〜５−８のうちいずれかと接続される。
The facing edge group 8-1 includes edge nodes 3-1, 3-2, customer edge nodes 5-1 to 5-4 connected to each other, and a plurality of
The opposing edge group 8-2 includes edge nodes 3-3 and 3-4, customer edge nodes 5-5 to 5-8 connected to each other, and a plurality of
対向エッジ群８−３は、エッジノード３−５と、これと接続されるカスタマエッジノード５−９と、複数の端末６とを含んで構成される。複数の端末６は、カスタマエッジノード５−９と接続される。各エッジノード３−１〜３−５は、識別番号＃１〜＃５が付与されている。カスタマエッジノード５−１〜５−９は、識別番号＃１〜＃９が付与されている。
以下、各エッジノード３−１〜３−５を特に区別しないときには、単にエッジノード３と記載する。
The opposing edge group 8-3 includes an edge node 3-5, a customer edge node 5-9 connected thereto, and a plurality of
Hereinafter, when the edge nodes 3-1 to 3-5 are not particularly distinguished, they are simply referred to as
エッジノード３−１，３−２は、対向エッジ群８−２に属するエッジノード３−３〜３−４、および対向エッジ群８−３に属するエッジノード３−５に対向している。エッジノード３−１，３−２は、後記する図２に示すように、対向する各エッジノード３−３〜３−５との間に仮想トンネルを構築する。これにより、仮想的に対向エッジ群８−１〜８−３を相互に接続して、仮想的なネットワークを構築している。
経路Ｆ１〜Ｆ４は、エッジノード３−１から対向エッジ群８−２に属するエッジノード３−３への物理的な経路である。エッジノード３−１からエッジノード３−３への仮想トンネルを流れる各フローは、経路Ｆ１〜Ｆ４に分散される。
The edge nodes 3-1 and 3-2 face the edge nodes 3-3 to 3-4 belonging to the facing edge group 8-2 and the edge nodes 3-5 belonging to the facing edge group 8-3. As shown in FIG. 2 to be described later, the edge nodes 3-1 and 3-2 construct virtual tunnels with the facing edge nodes 3-3 to 3-5. Thereby, the opposing edge groups 8-1 to 8-3 are virtually connected to each other to construct a virtual network.
The paths F1 to F4 are physical paths from the edge node 3-1 to the edge node 3-3 belonging to the facing edge group 8-2. Each flow that flows through the virtual tunnel from the edge node 3-1 to the edge node 3-3 is distributed to paths F1 to F4.
外部制御装置７は、エッジノード３−１〜３−４に制御プレーンを介して接続される。外部制御装置７は、エッジノード３−１〜３−４から各フローの情報を収集して、これらフローの経路を制御する。外部制御装置７は、後記する図５で詳細に説明する。
The
図２は、オーバーレイネットワーク２の構成図である。オーバーレイネットワーク２では、図１の各エッジノード３−１〜３−５間をＶＰＮの仮想トンネルＴ１〜Ｔ６で接続している。
オーバーレイネットワーク２において仮想トンネルＴ１は、エッジノード３−１とエッジノード３−３とを仮想的に接続するトンネルであり、ＭＰＬＳ−ＶＰＮにて実現されている。図１に示したアンダーレイネットワーク１の経路Ｆ１〜Ｆ４は、この仮想トンネルＴ１に対応する。
仮想トンネルＴ２は、エッジノード３−１とエッジノード３−４とを仮想的に接続するトンネルである。仮想トンネルＴ３は、エッジノード３−２とエッジノード３−４とを仮想的に接続するトンネルである。仮想トンネルＴ４は、エッジノード３−２とエッジノード３−３とを仮想的に接続するトンネルである。仮想トンネルＴ５は、エッジノード３−１とエッジノード３−５とを仮想的に接続するトンネルである。仮想トンネルＴ６は、エッジノード３−２とエッジノード３−５とを仮想的に接続するトンネルである。
FIG. 2 is a configuration diagram of the
In the
The virtual tunnel T2 is a tunnel that virtually connects the edge node 3-1 and the edge node 3-4. The virtual tunnel T3 is a tunnel that virtually connects the edge node 3-2 and the edge node 3-4. The virtual tunnel T4 is a tunnel that virtually connects the edge node 3-2 and the edge node 3-3. The virtual tunnel T5 is a tunnel that virtually connects the edge node 3-1 and the edge node 3-5. The virtual tunnel T6 is a tunnel that virtually connects the edge node 3-2 and the edge node 3-5.
本発明では、図２に示すようなオーバーレイネットワーク２の仮想トンネルＴ１〜Ｔ６を備え、アンダーレイネットワーク１ではこれら仮想トンネルＴ１〜Ｔ６の端点間で、複数経路を取りうるネットワークを対象とする。以降、同一送信元・同一宛先のトラヒックの集合をフローと呼ぶ。
In the present invention, the virtual tunnels T1 to T6 of the
ある宛先に対して、コストが等しい経路が複数あった場合に、それらの経路にトラヒックのロードバランスが均一化されるようにトラヒックを振り分けるＥＣＭＰ（Equal Cost MultiPath）という技術が知られている。これにより、一部の経路にトラヒックが集中することを抑止可能である。トラヒックを均一に振り分けるには、例えば送信元アドレスや宛先アドレスなどの値をハッシュ計算し、その計算結果によってフローを各経路に振り分けている。これにより、各経路に振り分けるフローの本数を均一化することができる。
しかし、ＥＣＭＰのロードバランス制御では、フローの帯域を参照せずに振り分けを行っている。よって、フローの占有帯域に差がある場合、特定の物理経路に占有帯域の大きいフローが集中し、各経路の利用帯域に差が生じる場合がある。
A technique called ECMP (Equal Cost MultiPath) is known in which when there are a plurality of paths having the same cost for a certain destination, the traffic is distributed to the paths so that the traffic load balance is made uniform. As a result, it is possible to prevent traffic from being concentrated on some routes. In order to distribute the traffic uniformly, for example, a hash calculation is performed on values such as a source address and a destination address, and the flow is distributed to each path according to the calculation result. Thereby, the number of flows distributed to each path can be made uniform.
However, in the ECMP load balance control, the distribution is performed without referring to the flow band. Therefore, when there is a difference in the occupied bandwidth of flows, flows with a large occupied bandwidth are concentrated on a specific physical route, and a difference may occur in the use bandwidth of each route.
このような経路ごとのフローの偏りを回避するため、非特許文献２で記載されているように、ネットワーク内の全ノードでトラヒック情報を収集し、経路制御を行う方式が考えられる。しかし、ネットワーク内の全ノードを対象とするために極めて計算負荷が大きくなり、かつ変更が大規模かつ広範囲に亘るという問題がある。
In order to avoid such a flow bias for each route, a method of collecting traffic information at all nodes in the network and performing route control can be considered as described in Non-Patent
本発明は、対向するエッジノードが仮想トンネルで接続されたネットワークにおいて、アンダーレイのトラヒックのロードバランスを均一化することを目的とする。 An object of the present invention is to equalize the load balance of underlay traffic in a network in which opposing edge nodes are connected by a virtual tunnel.
前記課題を解決するため、請求項１に記載の発明では、ネットワーク状に接続された複数のコアノードに接続される第１エッジノードと、前記複数のコアノードを介して前記第１エッジノードに対向すると共に、カスタマエッジノードに接続されて、仮想トンネルにて前記第１エッジノードからのフローを前記カスタマエッジノードに中継する複数の第２エッジノードと、前記第１エッジノードが中継するフローの帯域を収集するフロー帯域収集手段と、前記フロー帯域収集手段が収集した前記第１エッジノードから前記カスタマエッジノードへのフローを、当該フローの占有帯域幅に応じて前記第２エッジノードの数だけ、当該フローの宛先となる対向エッジ群毎にグルーピングするフローグルーピング手段と、前記フローグルーピング手段がグルーピングしたフローのグルーブを、それぞれ前記第２エッジノードのいずれかへの経路を流れるように設定する経路設定手段と、前記経路設定手段が設定した経路に係るフローを、当該経路に係るフローの本数に応じて前記複数のコアノードに割り振るフロールーティング手段と、を備えることを特徴とするＩＰネットワークシステムとした。
In order to solve the above-mentioned problem, in the invention according to
このようにすることで、対向するエッジノードが仮想トンネルで接続されたネットワークにおいて、アンダーレイのトラヒックのロードバランスを均一化することができる。 In this way, it is possible to make the load balance of underlay traffic uniform in a network in which opposing edge nodes are connected by a virtual tunnel.
請求項２に記載の発明では、前記フローグルーピング手段は、前記第１エッジノードから前記カスタマエッジノードへのフローを、当該フローの占有帯域幅の分散が最小化されるようにグルーピングする、ことを特徴とする請求項１に記載のＩＰネットワークシステムとした。
In the invention according to
このようにすることで、フロールーティング手段がこのグループに属するフローを本数ベースでロードバランスしても、アンダーレイネットワークにおける各経路の帯域を均一化できる。 In this way, even if the flow routing means load balances the flows belonging to this group on a number basis, the bandwidth of each path in the underlay network can be made uniform.
請求項３に記載の発明では、前記フローグルーピング手段は、前記第１エッジノードから前記カスタマエッジノードへのフローを、当該フローの占有帯域幅の合計が均一化されるようにグルーピングする、ことを特徴とする請求項２に記載のＩＰネットワークシステムとした。
According to a third aspect of the present invention, the flow grouping means groups flows from the first edge node to the customer edge node so that a total occupied bandwidth of the flow is made uniform. The IP network system according to
このようにすることで、各グループに属するフローの占有帯域を均一化でき、よってアンダーレイネットワークの各経路に振り分けるフローの占有帯域を均一化できる。 By doing so, the occupied bands of the flows belonging to each group can be made uniform, and therefore the occupied bands of the flows distributed to each path of the underlay network can be made uniform.
請求項４に記載の発明では、前記第１エッジノードは、前記フロールーティング手段を備える、ことを特徴とする請求項１に記載のＩＰネットワークシステムとした。 According to a fourth aspect of the present invention, in the IP network system according to the first aspect, the first edge node includes the flow routing unit.
このようにすることで、上記のグルーピング手段とグループに属するフローを本数ベースでロードバランスさせる従来の方式とを組み合わせて、容易にフローの経路を設定可能である。 In this way, it is possible to easily set the flow path by combining the above grouping means and the conventional method for load balancing the flows belonging to the group on the basis of the number.
請求項５に記載の発明では、前記フロー帯域収集手段と、前記フローグルーピング手段と、前記経路設定手段とを備えるロードバランス制御装置、を更に備えることを特徴とする請求項１ないし請求項４のいずれか１項に記載のＩＰネットワークシステムとした。
The invention according to
このようにすることで、各エッジノードの変更を最小化して、開発工数を削減可能である。 By doing in this way, the change of each edge node can be minimized and the development man-hour can be reduced.
請求項６に記載の発明では、前記第１エッジノードは、前記フロー帯域収集手段と、前記フローグルーピング手段と、前記経路設定手段とを備えるロードバランス制御装置、を更に備えることを特徴とする請求項１ないし請求項４のいずれか１項に記載のＩＰネットワークシステムとした。
The invention according to
このようにすることで、外部の制御装置が不要となり、廉価にＩＰネットワークシステムを構築できる。 In this way, an external control device is not required, and an IP network system can be constructed at a low cost.
請求項７に記載の発明では、ネットワーク状に接続された複数のコアノードに接続される第１エッジノードと、前記複数のコアノードを介して前記第１エッジノードに対向すると共に、カスタマエッジノードに接続されて、仮想トンネルにて前記第１エッジノードからのフローを前記カスタマエッジノードに中継する複数の第２エッジノードと、を備えるＩＰネットワークシステムのロードバランス方法であって、前記第１エッジノードが中継するフローの帯域を収集するステップと、前記第１エッジノードが中継するフローのうち前記カスタマエッジノードへのフローを、当該フローの占有帯域幅に応じて前記第２エッジノードの数だけ、当該フローの宛先となる対向エッジ群毎にグルーピングするステップと、グルーピングしたフローのグルーブを、それぞれ前記第２エッジノードのいずれかへの経路を流れるように設定するステップと、前記第２エッジノードのいずれかへの経路に流れるように設定したフローを、当該経路に係るフローの本数に応じて前記複数のコアノードに割り振るステップと、を含むことを特徴とするＩＰネットワークシステムのロードバランス方法とした。 In a seventh aspect of the present invention, a first edge node connected to a plurality of core nodes connected in a network form is opposed to the first edge node via the plurality of core nodes and connected to a customer edge node. A plurality of second edge nodes that relay a flow from the first edge node to the customer edge node in a virtual tunnel, wherein the first edge node comprises: and collecting the band of flow to relay, the flow to the customer edge node of the flow which the first edge node relays, the number of the second edge node in accordance with the occupied band width of the flow, the a step of grouping each opposing edge group to be the flow of the destination, the flow that groups Lube and a step of setting to flow path to one of each said second edge node, the flow set to flow path to one of said second edge node, the flow according to the route And a step of allocating to the plurality of core nodes according to the number of the nodes.
このようにすることで、対向するエッジノードが仮想トンネルで接続されたネットワークにおいて、アンダーレイのトラヒックのロードバランスを均一化することができる。 In this way, it is possible to make the load balance of underlay traffic uniform in a network in which opposing edge nodes are connected by a virtual tunnel.
本発明によれば、対向するエッジノードが仮想トンネルで接続されたネットワークにおいて、アンダーレイのトラヒックのロードバランスを均一化することが可能となる。 According to the present invention, it is possible to make the load balance of underlay traffic uniform in a network in which opposing edge nodes are connected by a virtual tunnel.
次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。
本実施形態のＩＰネットワークは、前記した図1に示すアンダーレイネットワーク１、図２に示したオーバーレイネットワーク２で構成される。
図１に示すようにエッジノード３−１（第１エッジノード）は、ネットワーク状に接続されたコアノード４のうちコアノード４−１，４−２に接続される。対向エッジ群８−２に含まれるエッジノード３−３，３−４は、これら複数のコアノード４を介してエッジノード３−１（第１エッジノード）に対向する。
Next, modes for carrying out the present invention (referred to as “embodiments”) will be described in detail with reference to the drawings as appropriate.
The IP network according to the present embodiment includes the above-described
As shown in FIG. 1, the edge node 3-1 (first edge node) is connected to the core nodes 4-1 and 4-2 among the
エッジノード３−３，３−４は、カスタマエッジノード５−５〜５−８に接続されている。図２に示すようにエッジノード３−３，３−４は、ＭＰＬＳ−ＶＰＮの仮想トンネルによりエッジノード３−１からのフローを中継する。中継したフローは、カスタマエッジノード５−５〜５−８に流れる。 The edge nodes 3-3 and 3-4 are connected to customer edge nodes 5-5 to 5-8. As shown in FIG. 2, the edge nodes 3-3 and 3-4 relay the flow from the edge node 3-1 through the MPLS-VPN virtual tunnel. The relayed flow flows to customer edge nodes 5-5 to 5-8.
図３は、比較例のフローのルーティング例を示す図である。このルーティング例は、図１に示したエッジノード３−１と、コアノード４−１，４−２を抜粋したものである。
エッジノード３−１には、２Ｇｂｙｔｅｓ／秒のフロー２０本と、１０Ｇｂｙｔｅｓ／秒のフロー４本とが流れる。
FIG. 3 is a diagram illustrating a flow routing example of the comparative example. This routing example is an extract of the edge node 3-1 and the core nodes 4-1 and 4-2 shown in FIG.
The edge node 3-1 has 20 flows of 2 Gbytes / second and 4 flows of 10 Gbytes / second.
このとき、エッジノード３−１は、コアノード４−１に２Ｇｂｙｔｅｓ／秒のフロー９本と、１０Ｇｂｙｔｅｓ／秒のフロー３本を流し、コアノード４−２に２Ｇｂｙｔｅｓ／秒のフロー１１本と、１０Ｇｂｙｔｅｓ／秒のフロー１本を流す。これにより、エッジノード３−１からコアノード４−１への経路は、エッジノード３−１からコアノード４−１への経路よりも帯域が大きくなる。
At this time, the edge node 3-1
図４は、本実施形態におけるフローのルーティング例を示す図である。図３と同様に、エッジノード３−１と、コアノード４−１，４−２を抜粋して記載している。
このとき、エッジノード３−１は、コアノード４−１に２Ｇｂｙｔｅｓ／秒のフロー１０本と、１０Ｇｂｙｔｅｓ／秒のフロー２本を流し、コアノード４−２に２Ｇｂｙｔｅｓ／秒のフロー１０本と、１０Ｇｂｙｔｅｓ／秒のフロー２本を流す。これにより、エッジノード３−１からコアノード４−１への経路の帯域と、エッジノード３−１からコアノード４−１への経路の帯域とは均一化される。
以下、このようなルーティングを実現する方法と装置を説明する。
FIG. 4 is a diagram showing a flow routing example in the present embodiment. Similarly to FIG. 3, the edge node 3-1 and the core nodes 4-1 and 4-2 are extracted and described.
At this time, the edge node 3-1
A method and apparatus for realizing such routing will be described below.
図５は、外部制御装置７とエッジノード３の構成と動作を示す図である。なお、図８では、外部制御装置７とエッジノード３−１のみを図示している。
外部制御装置７は、フロー帯域収集部７１と、フローグルーピング部７２と、経路設定部７３と、フローグルーピングテーブル７４とを備えている。この外部制御装置７は、各エッジノード３に流れるフローをロードバランスさせるロードバランス制御装置である。
フロー帯域収集部７１は、エッジノード３−１に流れるフローの占有帯域幅を収集し、フローグルーピング部７２に通知する。なお、外部制御装置７は、エッジノード３−１に限られず、他のエッジノード３−２〜３−５に流れるフローの占有帯域幅も収集する。
FIG. 5 is a diagram showing the configuration and operation of the
The
The flow
フローグルーピング部７２は、フローグルーピングテーブル７４により、占有帯域幅が近いフローをグルーピングすると共に、これらフローの占有帯域幅の総和が均一化されるようにグルーピングする。フローグルーピング部７２は、これらグルーピングしたフローを経路設定部７３に通知する。フローグルーピングテーブル７４は、エッジノード３ごとにそれぞれ独立に設けられ、かつフローが流れる先である宛先エッジ群ごとに独立に各フローをグルーピングしている。フローグルーピングテーブル７４の詳細は、後記する図６で説明する。
経路設定部７３は、各グループのフローを、それぞれ異なる仮想トンネルに転送するようにエッジノード３−１に指示する。
このように、外部制御装置７にフロー帯域収集部７１と、フローグルーピング部７２と、経路設定部７３とを設けているので、エッジノード３の変更は少ない、よって本発明に係る開発工数を削減可能である。
The
The
Thus, since the flow
エッジノード３−１は、フロールーティング部３１と、ルーティングテーブル３２とを備えている。
フロールーティング部３１は、経路設定部７３から指示された経路に各フローをルーティングする。ルーティングテーブル３２は、経路設定部７３から指示された経路情報を格納するものである。この経路情報とは、例えは、エッジノード３−１がコアノード４−１，４−２のどちらにフローを振り分けるかを決定する情報である。ルーティングテーブル３２の詳細は、後記する図７で説明する。
The edge node 3-1 includes a
The
図６は、フローグルーピングテーブル７４の例を示す図である。
フローグルーピングテーブル７４は、対向エッジ群欄７４ａと、グループ欄７４ｂと、宛先エッジ欄７４ｃと、フロー欄７４ｄと、帯域欄７４ｅとを含んで構成される。図６に示すフローグルーピングテーブル７４は、エッジノード３−１から他の対向するエッジノード３に流れる各フローの属性を格納する。
対向エッジ群欄７４ａは、このフローが流れる先である対向エッジ群８の識別番号を格納する。
グループ欄７４ｂは、このフローが属するグルーブの識別番号を格納する。
宛先エッジ欄７４ｃは、このフローが流れる先である宛先のエッジノード３の識別番号を格納する。
フロー欄７４ｄは、このフロー自身の識別番号を格納する。
帯域欄７４ｅは、このフローの占有帯域幅の情報を格納する。
FIG. 6 is a diagram illustrating an example of the flow grouping table 74.
The flow grouping table 74 includes a counter
The opposing
The
The
The
The
図７は、ルーティングテーブル３２の例を示す図である。
ルーティングテーブル３２は、対向エッジ群欄３２ａと、グループ欄３２ｂと、宛先エッジ欄３２ｃと、フロー欄３２ｄと、中継先欄３２ｅとを含んで構成される。このルーティングテーブル３２は、対向エッジ群欄３２ａおよび、グループ欄３２ｂ、宛先エッジ欄３２ｃ、フロー欄３２ｄについては、図６に示したフローグルーピングテーブル７４と同一内容が格納される。
中継先欄３２ｅは、このエッジノード３−１がコア＃１（コアノード４−１）とコア＃２（コアノード４−２）のどちらにフローを振り分けるかの情報を格納する。
FIG. 7 is a diagram illustrating an example of the routing table 32.
The routing table 32 includes an opposing
The
図８は、フローグルーピング処理のフローチャートの例である。なお、フローをグルーピングするアルゴリズムは、図８に示した例に限定されない。
経路設定処理を開始するときには、フローグルーピングテーブル７４の対向エッジ群欄７４ａおよび宛先エッジ欄７４ｃ、フロー欄７４ｄ、帯域欄７４ｅの情報が確定している。フローグルーピング部７２は、これらの情報からフローをグルーピングし、グループ欄７４ｂにグルーブの識別番号を設定する。
FIG. 8 is an example of a flowchart of the flow grouping process. Note that the algorithm for grouping flows is not limited to the example shown in FIG.
When the path setting process is started, information in the opposing
フローグルーピング部７２は、ステップＳ１０〜Ｓ１８の処理を各対向エッジ群８に属するフローについて繰り返す。具体的にいうと、対向エッジ群８−１〜８−３のそれぞれに属するフローについて処理を実行する。
ステップＳ１１において、フローグルーピング部７２は、この対向エッジ群８に属するオーバーレイネットワーク２のフローをグルーブ＃０に属させる。ここでグルーブ＃０は、フローグルーピング処理のために設けられた仮のグループである。処理終了時にグループ＃０は空となる。
The
In step S <b> 11, the
ステップＳ１２において、フローグルーピング部７２は、変数ｘに１を設定する。
ステップＳ１３において、フローグルーピング部７２は、グループ＃０の中で最も帯域幅の小さいフローをグループ＃ｘに属させ、グループ＃０から削除する。この処理により、各グループに属するフローの占有帯域幅の分散が最小化されるようにグルーピングすることができる。
ステップＳ１４において、フローグルーピング部７２は、このフローの宛先を第ｘ番の対向エッジノードとしてフローグルーピングテーブル７４に記録する。これにより、このフローは、第ｘ番の対向エッジノードへの仮想トンネルに流れるようになる。
In step S12, the
In step S13, the
In step S14, the
ステップＳ１５において、フローグルーピング部７２は、グループ＃ｘのフロー帯域の和が平均未満であるか否かを判断する。ここで平均とは、フロー占有帯域の総和をグルーブ数で除算したものである。フローグルーピング部７２は、この判断条件が成立したならば（Ｙｅｓ）、ステップＳ１３の処理に戻り、この判断条件が成立しなかったならば（Ｎｏ）、ステップＳ１６の処理に進む。この処理により、各グループに流れるフローの帯域の総和を均一化することができる。
ステップＳ１６において、フローグルーピング部７２は、変数ｘを１だけ増加させる。
In step S15, the
In step S16, the
ステップＳ１７において、フローグルーピング部７２は、変数ｘが、処理対象の対向エッジ群８が含む対向エッジノード数以下であるか否かを判断し、当該判断条件が成立したならば（Ｙｅｓ）、ステップＳ１３の処理に戻る。具体的にいうと、対向エッジ群８−２が処理対象である場合、この対向エッジ群８−２が含むエッジノード３−３，３−４の２台と同一の２グループをグルーピングする。
ステップＳ１８において、フローグルーピング部７２は、すべての対向エッジ群について処理を繰り返したか否かを判断する。フローグルーピング部７２は、すべて処理を繰り返していないならば、ステップＳ１１の処理に戻り、すべての処理を繰り返したならば、このフローグルーピング処理を終了する。
In step S17, the
In step S <b> 18, the
このように、エッジノード３は、各仮想トンネルを流れるフローの占有帯域の均一化に加えて、占有帯域幅の近いフローをグルーピングしている。これにより、コアノード４では従来のフロー数ベースのロードバランス方式を用いながらも、フローの特定経路への集中を抑制することが可能である。
As described above, the
図９は、経路振分処理のフローチャートの例である。
経路設定部７３は、ステップＳ３０〜Ｓ３５の処理を、各対向エッジ群８に属するフローについて繰り返す。具体的にいうと、経路設定部７３は対向エッジ群８−１〜８−３のそれぞれに属するフローについて処理を実行する。これは、各仮想トンネルを経由するフローについての処理を実行することと同一である。
ステップＳ３１において、経路設定部７３は、変数ｘに１を設定する。
ステップＳ３２において、経路設定部７３は、変数ｘが指し示すグループ＃ｘを、フロー数に応じて隣接するコアノード４に中継するように設定する。すなわち、経路設定部７３は、グループ＃ｘのフローを、コアノード４ごとに按分して中継する。
ステップＳ３３において、経路設定部７３は、変数ｘを１増加させる。
ステップＳ３４において、経路設定部７３は、変数ｘが対向エッジノードの数以下であるか否かを判断し、当該判断条件が成立したならば（Ｙｅｓ）、ステップＳ３２の処理に戻る。この判断により、経路設定部７３は、この対向エッジ群８に係る全ての仮想トンネルにグループ化されたフローを処理することができる。
ステップＳ３５において、経路設定部７３は、すべての対向エッジ群８について処理を繰り返したか否かを判断する。経路設定部７３は、すべて処理を繰り返していないならば、ステップＳ３０の処理に戻る。
図９に示す経路振分処理は、各仮想トンネルを流れるフローの本数を均一化する従来の動作である。これをフロー数ベースのロードバランス方式という。予めフローグルーピング処理によってフローをグループ化しているので、以降の経路設定では、フロー数ベースのロードバランス方式で経路を設定しても、各仮想トンネルを流れるフローの占有帯域を均一化することができる。
各コアノード４も同様にして、各仮想トンネルを流れるフローの本数を均一化する。このように、コアノード４は、従来のフロー数ベースのロードバランス方式を用いながらも、フローの特定経路への集中を抑制することが可能である。
FIG. 9 is an example of a flowchart of route distribution processing.
The
In step S31, the
In step S32, the
In step S33, the
In step S34, the
In step S <b> 35, the
The route distribution process shown in FIG. 9 is a conventional operation for equalizing the number of flows flowing through each virtual tunnel. This is called the load balance method based on the number of flows. Since the flows are grouped in advance by flow grouping processing, in the subsequent route setting, even if the route is set by the load balance method based on the number of flows, the occupied bandwidth of the flow flowing through each virtual tunnel can be made uniform. .
Similarly, each
（変形例）
本実施の形態に係る発明は、前記したような処理を実行させるプログラムによって実現することができ、そのプログラムをコンピュータによる読み取り可能な記録媒体（ＣＤ−ＲＯＭ等）に記憶して提供することが可能である。また、そのプログラムを、インターネット等のネットワークを通して提供することも可能である。
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｃ）のようなものがある。
（ａ） 上記実施形態では、外部制御装置７がフローグルーピング部７２と経路設定部７３とを備えているが、これに限られず、各エッジノード３がフローグルーピング部７２と経路設定部７３とを備えてもよい。これにより外部制御装置７を省略可能であり、システムを廉価に構成することができる。
（ｂ） 上記実施形態では、外部制御装置７は、ネットワーク全体に１台だけ設けられている。しかし、これに限られず、各エッジノード３に１台ずつ設けられていてもよく、限定されない。
（ｃ） 上記実施形態では、仮想トンネルはＭＰＬＳ−ＶＰＮで実現されている。しかし、これに限られず、ＳＳＨ（Secure Shell）、ＴＬＳ（Transport Layer Security）、ＳＳＬ（Secure Socket Layer）、ＩＰｓｅｃ（Security Architecture for Internet Protocol）、ＰＰＴＰ（Point to Point Tunneling Protocol）、Ｌ２ＴＰ（Layer 2 Tunneling Protocol）、Ｌ２Ｆ（Layer 2 Forwarding）などの任意の方式で仮想トンネルを実現してもよい。
(Modification)
The invention according to the present embodiment can be realized by a program for executing the processing as described above, and can be provided by storing the program in a computer-readable recording medium (CD-ROM or the like). It is. It is also possible to provide the program through a network such as the Internet.
The present invention is not limited to the above-described embodiment, and can be modified without departing from the spirit of the present invention. For example, there are the following (a) to (c).
(A) In the above embodiment, the
(B) In the above embodiment, only one
(C) In the above embodiment, the virtual tunnel is realized by MPLS-VPN. However, the present invention is not limited to this. SSH (Secure Shell), TLS (Transport Layer Security), SSL (Secure Socket Layer), IPsec (Security Architecture for Internet Protocol), PPTP (Point to Point Tunneling Protocol), L2TP (
１ アンダーレイネットワーク （ＩＰネットワーク）
２ オーバーレイネットワーク
３−１〜３−４ エッジノード
３１ フロールーティング部 （フロールーティング手段）
３２ ルーティングテーブル
４−１〜４−４ コアノード
５−１〜５−９ カスタマエッジノード
６ 端末
７ 外部制御装置 （ロードバランス制御装置）
７１ フロー帯域収集部 （フロー帯域収集手段）
７２ フローグルーピング部 （フローグルーピング手段）
７３ 経路設定部 （経路設定手段）
７４ フローグルーピングテーブル
８−１〜８−３ 対向エッジ群
Ｆ１〜Ｆ４ 経路
Ｔ１〜Ｔ６ 仮想トンネル
1 Underlay network (IP network)
2 Overlay networks 3-1 to 3-4
32 Routing Tables 4-1 to 4-4 Core Nodes 5-1 to 5-9
71 Flow Band Collection Unit (Flow Band Collection Unit)
72 Flow grouping part (Flow grouping means)
73 route setting unit (route setting means)
74 Flow grouping tables 8-1 to 8-3 Opposite edge groups F1 to F4 Paths T1 to T6 Virtual tunnel
Claims (7)
前記複数のコアノードを介して前記第１エッジノードに対向すると共に、カスタマエッジノードに接続されて、仮想トンネルにて前記第１エッジノードからのフローを前記カスタマエッジノードに中継する複数の第２エッジノードと、
前記第１エッジノードが中継するフローの帯域を収集するフロー帯域収集手段と、
前記フロー帯域収集手段が収集した前記第１エッジノードから前記カスタマエッジノードへのフローを、当該フローの占有帯域幅に応じて前記第２エッジノードの数だけ、当該フローの宛先となる対向エッジ群毎にグルーピングするフローグルーピング手段と、
前記フローグルーピング手段がグルーピングしたフローのグルーブを、それぞれ前記第２エッジノードのいずれかへの経路を流れるように設定する経路設定手段と、
前記経路設定手段が設定した経路に係るフローを、当該経路に係るフローの本数に応じて前記複数のコアノードに割り振るフロールーティング手段と、
を備えることを特徴とするＩＰネットワークシステム。 A first edge node connected to a plurality of core nodes connected in a network;
A plurality of second edges that are opposed to the first edge node via the plurality of core nodes and that are connected to the customer edge node and relay a flow from the first edge node to the customer edge node through a virtual tunnel. Nodes,
Flow bandwidth collection means for collecting a bandwidth of a flow relayed by the first edge node;
Opposite edge groups that are the destinations of the flow from the first edge node collected by the flow band collection means to the customer edge node by the number of the second edge nodes according to the occupied bandwidth of the flow Flow grouping means for grouping every time ,
Path setting means for setting the grooves of the flows grouped by the flow grouping means so as to flow along the path to any one of the second edge nodes;
Flow routing means for allocating the flow related to the route set by the route setting means to the plurality of core nodes according to the number of flows related to the route;
An IP network system comprising:
ことを特徴とする請求項１に記載のＩＰネットワークシステム。 The flow grouping means groups flows from the first edge node to the customer edge node so that variance of occupied bandwidth of the flow is minimized.
The IP network system according to claim 1, wherein:
ことを特徴とする請求項２に記載のＩＰネットワークシステム。 The flow grouping means groups flows from the first edge node to the customer edge node so that the total occupied bandwidth of the flow is made uniform.
The IP network system according to claim 2, wherein:
ことを特徴とする請求項１に記載のＩＰネットワークシステム。 The first edge node includes the flow routing means.
The IP network system according to claim 1, wherein:
を更に備えることを特徴とする請求項１ないし請求項４のいずれか１項に記載のＩＰネットワークシステム。 A load balance control device comprising the flow band collection means, the flow grouping means, and the route setting means;
5. The IP network system according to claim 1, further comprising:
を更に備えることを特徴とする請求項１ないし請求項４のいずれか１項に記載のＩＰネットワークシステム。 The first edge node includes a load balance control device comprising the flow band collection unit, the flow grouping unit, and the route setting unit.
5. The IP network system according to claim 1, further comprising:
前記複数のコアノードを介して前記第１エッジノードに対向すると共に、カスタマエッジノードに接続されて、仮想トンネルにて前記第１エッジノードからのフローを前記カスタマエッジノードに中継する複数の第２エッジノードと、
を備えるＩＰネットワークシステムのロードバランス方法であって、
前記第１エッジノードが中継するフローの帯域を収集するステップと、
前記第１エッジノードが中継するフローのうち前記カスタマエッジノードへのフローを、当該フローの占有帯域幅に応じて前記第２エッジノードの数だけ、当該フローの宛先となる対向エッジ群毎にグルーピングするステップと、
グルーピングしたフローのグルーブを、それぞれ前記第２エッジノードのいずれかへの経路を流れるように設定するステップと、
前記第２エッジノードのいずれかへの経路に流れるように設定したフローを、当該経路に係るフローの本数に応じて前記複数のコアノードに割り振るステップと、
を含むことを特徴とするＩＰネットワークシステムのロードバランス方法。 A first edge node connected to a plurality of core nodes connected in a network;
A plurality of second edges that are opposed to the first edge node via the plurality of core nodes and that are connected to the customer edge node and relay a flow from the first edge node to the customer edge node through a virtual tunnel. Nodes,
A load balancing method for an IP network system comprising:
Collecting a bandwidth of a flow relayed by the first edge node;
Of the flows relayed by the first edge node, the flows to the customer edge node are grouped by the number of the second edge nodes according to the occupied bandwidth of the flow for each opposed edge group that is the destination of the flow. And steps to
A step of the groove of the flow that groups are set to flow path to one of each said second edge node,
Allocating a flow set to flow to a path to any of the second edge nodes to the plurality of core nodes according to the number of flows related to the path;
A load balancing method for an IP network system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015019845A JP6333751B2 (en) | 2015-02-04 | 2015-02-04 | IP network system and load balancing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015019845A JP6333751B2 (en) | 2015-02-04 | 2015-02-04 | IP network system and load balancing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016144099A JP2016144099A (en) | 2016-08-08 |
| JP6333751B2 true JP6333751B2 (en) | 2018-05-30 |
Family
ID=56569018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015019845A Expired - Fee Related JP6333751B2 (en) | 2015-02-04 | 2015-02-04 | IP network system and load balancing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6333751B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018016228A1 (en) | 2016-07-22 | 2018-01-25 | ソニー株式会社 | Illumination device and display device |
| EP4143990B1 (en) * | 2020-05-01 | 2025-09-24 | INTEL Corporation | Edge computing in satellite connectivity environments |
| WO2026047808A1 (en) * | 2024-08-26 | 2026-03-05 | Ｎｔｔ株式会社 | Communication control device and communication control method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003163687A (en) * | 2001-11-26 | 2003-06-06 | Nippon Telegr & Teleph Corp <Ntt> | Route control method and device |
| JP3850326B2 (en) * | 2002-03-29 | 2006-11-29 | 東芝ソリューション株式会社 | Traffic monitoring server device, traffic engineering system, and traffic engineering method |
| JP2004350078A (en) * | 2003-05-23 | 2004-12-09 | Fujitsu Ltd | Route distribution transmission system |
| JP5045683B2 (en) * | 2009-01-19 | 2012-10-10 | Ｋｄｄｉ株式会社 | Communication system for performing traffic control in units of flow, management apparatus and program used in the communication system |
| JP6217138B2 (en) * | 2013-05-22 | 2017-10-25 | 富士通株式会社 | Packet transfer apparatus and packet transfer method |
-
2015
- 2015-02-04 JP JP2015019845A patent/JP6333751B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016144099A (en) | 2016-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109194577B (en) | Traffic engineering method and device of segmented routing network based on partial deployment | |
| US8005016B2 (en) | Provider link state bridging (PLSB) computation method | |
| CN104396197B (en) | Selecting between equal-cost shortest paths in 802.1aq networks using separate tie-breakers | |
| JP5975083B2 (en) | COMMUNICATION SYSTEM, CONTROL DEVICE, PACKET TRANSFER ROUTE CONTROL METHOD, AND PROGRAM | |
| US20150350062A1 (en) | Efficient identification of node protection remote lfa target | |
| US20160112299A1 (en) | Configuring forwarding information | |
| KR20130109132A (en) | Automated traffic engineering for multi-protocol label switching(mpls) with link utilization as feedback into the tie-breaking mechanism | |
| US9769066B2 (en) | Establishing and protecting label switched paths across topology-transparent zones | |
| US20150256407A1 (en) | Control apparatus, control method thereof, and program | |
| US20090196297A1 (en) | Inducing symmetry via multi topology routing | |
| KR20130139259A (en) | Automated traffic engineering for 802.1aq based upon the use of link utilization as feedback into the tie-breaking mechanism | |
| US9654382B2 (en) | Use of alternate paths in forwarding of network packets | |
| JP6333751B2 (en) | IP network system and load balancing method | |
| US11824763B2 (en) | Filtering topologies for path computation in massively scaled networks | |
| US9641439B2 (en) | Information processing system and control apparatus and method | |
| CN111245716A (en) | Inter-domain routing method, device and system | |
| Hock et al. | Comparison of IP-based and explicit paths for one-to-one fast reroute in MPLS networks | |
| CN106209625A (en) | One supports central controlled highly effective algorithm in distributed network | |
| JP2021523643A (en) | Equipment and systems for OSPF cost metric mirroring | |
| EP4550747A1 (en) | Network traffic transmission based on next-next-hop indication | |
| Baba-Ali et al. | Performance Analysis of Interior Gateway Routing Protocols across Different AS | |
| Chen et al. | A backward-compatible inter-domain multipath routing framework | |
| Mamede et al. | BOUQUET—Aggregating Network Paths in Trees to Reduce Data-Plane Forwarding State |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170307 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180425 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6333751 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |