JP6939775B2

JP6939775B2 - ネットワークシステム、その管理方法および装置

Info

Publication number: JP6939775B2
Application number: JP2018509294A
Authority: JP
Inventors: 誠也柴田; 竹中　崇; 崇竹中; 英男長谷川; 理石井; 慎太郎中野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2016-03-31
Filing date: 2017-03-27
Publication date: 2021-09-22
Anticipated expiration: 2037-03-27
Also published as: US20190109765A1; WO2017170312A1; US11082297B2; JPWO2017170312A1

Description

本発明は仮想ネットワーク機能を含むネットワークシステムに係り、特にその管理技術に関する。

現在の通信システムでは、ＢＲＡＳ(Broadband Remote Access Server)、ＮＡＴ(Network Address Translation)、ルータ(Router)、ファイアウォール（ＦＷ：Firewall）、ＤＰＩ（Deep Packet Inspection)などの様々なネットワーク機能（Network Function：ＮＦ）を専用のハードウェア機器（アプライアンス）により実現している。このために、ネットワークオペレータは、新たなネットワークサービスを立ち上げる場合、新たな専用のハートウェア機器の導入を強いられ、機器の購入費用や設置スペース等の多大なコストを必要とする。このような状況に鑑み、近年、ハードウェア機器で実行されるネットワーク機能をソフトウェアにより仮想的に実行する技術（ネットワーク機能の仮想化：Network Function Virtualization）が検討されている（非特許文献１）。ネットワークサービスの仮想化の一例として、特許文献１に、通信ノード装置上に複数の仮想ルータを構築し、これらの仮想ルータの資源を通信品質に応じて動的に配分する方法が開示されている。

また、複数の仮想ネットワーク機能(Virtual Network Function：ＶＮＦ)を組み合わせた通信経路に通信フローを伝送することにより種々のネットワークサービスを提供する技術も検討されている（たとえば、非特許文献２を参照）。

図１に例示するように、ネットワーク機能の仮想化では、仮想ネットワーク機能ＶＮＦの論理的つながり（フォワーディンググラフ：Forwarding Graph）によりネットワークサービスが構成され管理される。ここでは、オーバレイネットワークに５つの仮想ネットワーク機能ＶＮＦ−１〜ＶＮＦ−５からなるネットワークサービスが例示されている。

このフォワーディンググラフの仮想ネットワーク機能ＶＮＦ−１〜ＶＮＦ−５は、ＮＦＶインフラストラクチャ（NFV Infrastructure:ＮＦＶＩ）における汎用サーバ等の処理ノードＳＶ１〜ＳＶ４上で動作する。専用処理ノードでなく汎用処理ノード上でキャリアグレードの機能を仮想的に動作させることにより、低価格化および運用の容易化を達成することができる。

特開２０１２−１７５４１８号公報

Network Functions Virtualization - Update White Paper, October 15-17, 2013 at the "SDN and OpenFlow World Congress", Frankfurt-Germany (http://portal.etsi.org/NFV/NFV_White_Pater2.pdf)

ETSI GS NFV 001 v1.1.1 (2013-10)"Network Functions Virtualisation (NFV); Use Cases"(http://docbox.etsi.org/ISG/NFV/Open/Published/gs_NFV001v010101p%20-%20Use%20Cases.pdf)

しかしながら、汎用処理ノードでＮＦＶを構築しようとすると、処理ノードのＣＰＵ(Central Processing Unit)処理、処理ノード間の通信などにボトルネックが起こる可能性があり、このボトルネックを回避するには各処理ノードの高速化が不可欠である。ＣＰＵの高速化技術としては、ＣＰＵコア数を増加させる他に、ＣＰＵにＦＰＧＡ（Field-Programmable Gate Array）を結合するアクセラレータ技術が知られている（たとえば、”Xeon+FPGA Platform for the Data Center”ISCA/CARL 2015 <http://www.ece.cmu.edu/~calcm/carl/lib/exe/fetch.php?media=carl15-gupta.pdf>）。

このようなＣＰＵにＦＰＧＡを密結合したチップを有する処理ノードを用いたネットワークでフォワーディンググラフを構成しようとすると、ＣＰＵだけでなくＦＰＧＡもＶＭ／ＶＮＦのインフラストラクチャとなるために、処理ノード間の通信およびＣＰＵ−ＦＰＧＡ間の通信がすべてネットワークスイッチを介して行われる。このために、スイッチのパフォーマンスあるいはネットワークの負荷状態が高速化および効率化のボトルネックになる可能性がある。

そこで、本発明の目的は、複数の処理ノード上で動作するＶＮＦを適切に配置してネットワークサービスの高速化および効率化を実現できるネットワークシステム、その管理方法および管理装置を提供することにある。

本発明によるネットワークシステムは、少なくとも１つの仮想ネットワーク機能を配置することができるネットワークシステムであって、所望の仮想ネットワーク機能をそれぞれ設定可能であって、少なくとも１つのＣＰＵ（Central Processing Unit）と少なくとも１つのプログラム可能論理回路とからなる複数の処理ユニットと、所望の仮想ネットワーク機能群を配置するように、前記複数の処理ユニットを接続する通信経路を決定する管理装置と、を有し、前記複数の処理ユニットの少なくとも一つの処理ユニットがプログラム可能論理回路であって、任意の他の処理ユニットと接続可能な第１通信インタフェースと、他の処理ユニットであるプログラム可能論理回路と直接接続可能な第２通信インタフェースと、を備え、前記管理装置が、各処理ユニットの接続可能な通信インタフェースに従った可能な通信経路候補から前記所望の仮想ネットワーク機能群を配置するための通信経路を選択する、ことを特徴とする。
本発明による管理装置は、少なくとも１つの仮想ネットワーク機能を配置することができるネットワークシステムの管理装置であって、所望の仮想ネットワーク機能をそれぞれ設定可能であって、少なくとも１つのＣＰＵ（Central Processing Unit）と少なくとも１つのプログラム可能論理回路とからなる複数の処理ユニットのうち少なくとも一つの処理ユニットがプログラム可能論理回路であって、任意の他の処理ユニットと接続可能な第１通信インタフェースと、他の処理ユニットであるプログラム可能論理回路と直接接続可能な第２通信インタフェースと、を備え、仮想ネットワーク機能ごとに、各処理ユニットが備えた通信インタフェースの可能な組み合わせからなる仮想ネットワーク機能イメージを保持する記憶手段と、所望の仮想ネットワーク機能群を配置するように前記複数の処理ユニットを接続する通信経路を、前記仮想ネットワーク機能イメージに従った可能な通信経路候補から選択することにより決定する制御手段と、を有することを特徴とする。
本発明による管理方法は、少なくとも１つの仮想ネットワーク機能を配置することができるネットワークシステムの管理方法であって、所望の仮想ネットワーク機能をそれぞれ設定可能であって、少なくとも１つのＣＰＵ（Central Processing Unit）と少なくとも１つのプログラム可能論理回路とからなる複数の処理ユニットのうち少なくとも一つの処理ユニットがプログラム可能論理回路であって、任意の他の処理ユニットと接続可能な第１通信インタフェースと他の処理ユニットであるプログラム可能論理回路と直接接続可能な第２通信インタフェースとを備え、記憶手段が、仮想ネットワーク機能ごとに各処理ユニットが備えた通信インタフェースの可能な組み合わせからなる仮想ネットワーク機能イメージを保持し、制御手段が、所望の仮想ネットワーク機能を配置するように前記複数の処理ユニットを接続する通信経路を、前記仮想ネットワーク機能イメージに従った可能な通信経路候補から選択することにより決定する、ことを特徴とする。

上述したように、本発明によれば、ＶＮＦが動作する処理ユニットの通信経路の選択肢が増えるために、ネットワークサービスの高速化および効率化に適した通信経路の選択が可能となる。

図１はネットワーク機能の仮想化の一例を示す概略的ネットワーク図である。図２は本発明を適用するネットワークシステムの一例を示す模式的なネットワーク図である。図３は本発明の一実施形態によるネットワークシステムにおける物理処理ノードと仮想ネットワーク機能との対応関係の一例を示す模式的なネットワーク図である。図４Ａは本実施形態によるネットワークシステムの処理ユニットにおけるＶＮＦイメージの一例について説明するための模式図である。図４Ｂは本実施形態によるネットワークシステムの処理ユニットにおけるＶＮＦイメージの他の例について説明するための模式図である。図５は本実施形態により構成されるフォワーディンググラフに対する通信経路の一例を示す模式図である。図６は本実施形態により構成されるフォワーディンググラフに対する通信経路の他の例を示す模式図である。図７は本実施形態により構成されるフォワーディンググラフに対する変更前の通信経路の一例を示す模式図である。図８は図７に示すフォワーディンググラフに対する変更後の通信経路を示す模式図である。図９は本発明の第１実施例による管理装置の構成を示すブロック図である。図１０Ａは図９に示す管理装置におけるフォワーディンググラフ管理部の管理データの一例を示す模式図である。図１０Ｂは図９に示す管理装置におけるＶＮＦイメージデータベースの一例を示す模式図である。図１１Ａは図９に示す管理装置におけるＦＰＧＡ管理部の管理データの一例を示す模式図である。図１１Ｂは図９に示す管理装置における物理接続経路テーブルの一例を示す模式図である。図１２は本発明の第２実施例による管理装置の構成を示すブロック図である。図１３は図１２に示す管理装置におけるＦＰＧＡ合成部により合成されるコンフィグレーションイメージ群の一例を示す模式図である。

＜実施形態の概要＞
本発明の実施形態によれば、複数種類の通信インタフェースのうち少なくとも一つを有する処理ユニットを通信インタフェースが接続できるように選択することにより、ネットワークサービスを実現するための通信経路を構成する。複数種類の通信インタフェースの所望の組み合わせが可能となるために、仮想ネットワーク機能（ＶＮＦ）が動作する処理ユニットの通信経路の選択肢が増加し、フォワーディンググラフを実現する通信経路の高速化および効率化が可能となる。言い換えれば、処理ユニットが実現するフォワーディンググラフのＶＮＦ群は同じであるが、構成されうる通信経路が異なる複数のＶＮＦイメージを生成することで、より高速の通信経路となるようにＶＮＦイメージを選択して配置することができる。なお、通信インタフェースには、物理的なインタフェースおよび仮想的なインタフェースの双方が含まれる。以下同様である。

＜システム＞
まず、図２を参照して、本発明の各実施形態を説明するためのシステム構成の一例を示す。このシステム構成は、説明の複雑化を回避するための簡略化された例であり、本発明を限定するものではない。

図２に例示するように、管理装置１０は、複数の処理ノード（たとえば、サーバ等）からなる下位レイヤネットワーク２０と複数のＶＮＦからなる上位レイヤネットワーク３０とを管理する。ここでは、図の簡略化のために、下位レイヤネットワーク２０が処理ノードＡ、Ｂ、ＣおよびＤからなり、上位レイヤネットワーク３０が仮想ネットワーク機能ＶＮＦ−１〜ＶＮＦ−５からなるものとする。

下位レイヤネットワーク２０における複数の処理ノードのうち少なくとも一つは複数の処理部を有するものとする。たとえば、以下で説明する実施形態では、このような処理ノードは、ＣＰＵと密結合したプログラム可能論理回路（ＦＰＧＡ等）を含むサーバである。プログラム可能論理回路は、後述するように、プログラム可能な定型的な処理を高速で実行可能なハードウェア回路であり、結合したＣＰＵのアクセラレータとして動作可能である。また、プログラム可能論理回路は、ユーザが希望する論理機能を短期間で実現できるとともに、書き換え可能という利点も有する。以下、プログラム可能論理回路としてＦＰＧＡを例示し、ＣＰＵとＦＰＧＡとが結合したサーバをＦＰＧＡ対応処理ノード、ＦＰＧＡのないサーバをＦＰＧＡ非対応処理ノードと呼ぶ。

上位レイヤネットワーク３０における各ＶＮＦは下位レイヤネットワーク２０の物理ノード上に設定される。たとえば、図２に例示したシステムでは、ＶＮＦ−１、ＶＮＦ−４およびＶＮＦ−５がそれぞれ処理ノードＡ、ＣおよびＤ上に、ＶＮＦ−２およびＶＮＦ−３が一つの処理ノードＢ上に、それぞれ設定されている。管理装置１０は、ＦＰＧＡ対応処理ノードおよび非対応処理ノードにＶＮＦをどのように配置するかを決定する。以下、本発明の実施形態および実施例について図面を参照しながら詳細に説明する。

１．一実施形態
本発明の一実施形態によるネットワークシステムでは、処理ノード間のネットワークを介した通信インタフェースの他に、ＦＰＧＡ対応処理ノードにおけるＣＰＵとＦＰＧＡとの間の通信インタフェースと、他のＦＰＧＡ対応処理ノードのＦＰＧＡとの間の直結通信インタフェースとを利用する。これにより、ネットワークあるいはネットワークスイッチを介さない高速通信経路の選択が可能となり、所望のフォワーディンググラフを高速通信経路により実現することができる。以下、図３〜図６を参照しながら本実施形態について説明する。

１．１）システム構成
図３に示すように、下位レイヤネットワーク２０におけるＦＰＧＡ対応処理ノードＡはＣＰＵ２１−１とＦＰＧＡ２１−２とが結合された構成を有する。図３では、ＣＰＵ２１−１上に仮想マシンＶＭ１が、ＦＰＧＡ２１−２上に仮想マシンＶＭ２がそれぞれ構成され、仮想マシンＶＭ１に上位レイヤネットワーク２０のＶＮＦ−Ｘが、ＦＰＧＡ２１−２上の仮想マシンＶＭ２にＶＮＦ−Ｙが、それぞれ配置されるものとする。ＦＰＧＡ２１−２は、例えば、管理装置１０からコンフィグレーションデータをロードすることで所望のＶＮＦを再構成することが可能である。なお、ＣＰＵ２１−１あるいはＦＰＧＡ２１−２上に複数の仮想マシンＶＭを構成し、これらの仮想マシンにＶＮＦをそれぞれ配置することもできる。

ＦＰＧＡ対応処理ノードＢも同様に、ＣＰＵ２２−１およびＦＰＧＡ２２−２を有し、それらの上に仮想マシンＶＭ３およびＶＭ４が構成され、ＶＭ３およびＶＭ４の上にＶＮＦ―ＺおよびＶＮＦ−Ｗがそれぞれ配置されるものとする。すなわち、図３に例示するＶＮＦ群はＸ、Ｙ、ＺおよびＷであり、これらが下位レイヤネットワーク２０における複数の通信経路のいずれかにより連結され、所望のフォワーディンググラフを構成可能である。

本実施形態における下位レイヤネットワーク２０では、各ＦＰＧＡ対応処理ノードのＣＰＵとＦＰＧＡとの間の通信インタフェース２１ｃｆおよび２２ｃｆと、さらにそれぞれのＦＰＧＡ対応処理ノードのＦＰＧＡ間の通信インタフェース２０ｆｆと、を利用可能である。一般に、ＦＰＧＡ対応処理ノード内のＣＰＵおよびＦＰＧＡ上で動作するＶＮＦは、ネットワークスイッチ２３を通して連結され、さらに、他のＦＰＧＡ対応／非対応ノードのＣＰＵあるいはＦＰＧＡに対しても、ネットワークスイッチ２３を通して連結される。これに対して、本実施形態によれば、ＦＰＧＡ対応処理ノード内の通信インタフェース２１ｃｆあるいは２２ｃｆを通して、それぞれのＶＮＦを連結させることができ、さらに他のＦＰＧＡ対応処理ノードのＦＰＧＡとの間の高速インタフェース２０ｆｆを通して、それぞれのＶＮＦを連結させることができる。

たとえば、図３において、ＣＰＵ２１−１とＦＰＧＡ２１−２とは通信インタフェース２１ｃｆを通して、ＦＰＧＡ２１−２と他のノードＢのＣＰＵ２２−１とはネットワークスイッチ２３とを通して通信可能である。したがって、ＶＮＦ−Ｘ、ＹおよびＺからなるフォワーディンググラフを高速の通信インタフェース２１ｃｆとネットワークスイッチ２３を通して構成することができる。また、ＦＰＧＡ２１−２と他のノードＢのＦＰＧＡ２２−２とはダイレクトインタフェース２０ｆｆとを通して通信可能である。したがって、ＶＮＦ−Ｘ、ＹおよびＷからなるフォワーディンググラフを高速の通信インタフェース２１ｃｆおよび２０ｆｆを通して構成することも可能である。

このように、ＦＰＧＡ対応処理ノード内のＣＰＵ−ＦＰＧＡ間インタフェースおよびＦＰＧＡ対応処理ノードのＦＰＧＡ間を直結するダイレクトインタフェースを選択肢に加えることで、選択可能な通信経路の範囲が大幅に拡張され、その中から最も高速の通信経路を決定することができる。

以下、ＶＮＦを動作させるＣＰＵおよびＦＰＧＡの各々を一つの処理ユニットとして扱い、各処理ユニットが１つあるいは複数種類の通信インタフェースを有するものとする。ここで、複数種類の通信インタフェースは、各処理ノードのＮＩＣ側（ネットワークスイッチ側）のインタフェース、ＣＰＵ−ＦＰＧＡ間インタフェース、および異なる処理ノードのＦＰＧＡ間ダイレクトインタフェースであり、処理ユニットはこれらのうち少なくとも１つのインタフェースを有する。従って、本実施形態によるネットワークシステムは、複数の処理ユニットからなるネットワークとして扱うことができ、各処理ユニットの可能なインタフェースを用いて複数の可能な通信経路を生成し、その中から最適な通信経路を決定することができる。

１．２）ＶＮＦイメージ
上述したように、あるＶＮＦが動作する処理ユニットは少なくとも一種類の通信インタフェースを有するので、当該処理ユニットには、可能な通信インタフェースの組み合わせの数だけのＶＮＦ候補がありうる。以下、このＶＮＦ候補をＶＮＦイメージと呼ぶ。以下、図４を参照してＶＮＦイメージについて簡単に説明する。

図４Ａにおいて、ＶＮＦ−Ｘが動作するＣＰＵ２１−１はＮＩＣ側のインタフェースとＦＰＧＡ側のインタフェース２１ｃｆとを有するので、ＮＩＣ側、ＦＰＧＡ側およびそれらの両方をそれぞれ有する３つのＶＮＦ候補ＣＸ１、ＣＸ２およびＣＸ３がＶＮＦイメージとなる。この表記において、”Ｃ”はＣＰＵを、”Ｘ”は動作するＶＮＦを、”１”はＮＩＣ側インタフェースを、”２”はＦＰＧＡ側インタフェースを、”３”はＮＩＣ側およびＦＰＧＡ側の両方のインタフェースを、それぞれ示すものとする。

図４Ｂにおいて、ＶＮＦ−Ｙが動作するＦＧＰＡ２１−２は、ＮＩＣ側のインタフェース、ＣＰＵ側のインタフェース２１ｃｆ、およびダイレクトインタフェース２０ｆｆを有するので、それらの任意の組み合わせとして、ＮＩＣ側、ＣＰＵ側、ダイレクト、ＣＰＵ側およびダイレクト、ＮＩＣ側およびＣＰＵ側、・・・をそれぞれ有するＶＮＦ候補ＦＹ１、ＦＹ２、ＦＹ３、ＦＹ４、ＦＹ５・・・がＶＮＦイメージとなる。この表記において、”Ｆ”はＦＰＧＡを、”Ｙ”は動作するＶＮＦを、”１”はＮＩＣ側インタフェースを、”２”はＣＰＵ側インタフェースを、”３”はダイレクトインタフェースを、”４”はＣＰＵ側およびダイレクトの両方のインタフェースを、”５”はＮＩＣ側およびＣＰＵ側の両方のインタフェースを、それぞれ示すものとする。なお、ＦＧＰＡのＶＮＦ／ＶＭは、管理装置１０からコンフィグレーションデータをロードすることにより構成される。以下、上記表記を用いて、本実施形態の動作例を説明する。

１．３）フォワーディンググラフ構成
＜例１＞
図５に例示するように、管理装置１０が有するＶＮＦイメージ選択機能２０１は、所望のフォワーディンググラフを実現する効率的な通信経路を上述したＶＮＦイメージから選択する。たとえば、フォワーディンググラフのＶＮＦ群がＸ、ＹおよびＺであれば、ＦＰＧＡ対応処理ノードＡにおけるＣＰＵ２１−１のＶＮＦイメージＣＸ２、ＦＰＧＡ２１−２のＶＮＦイメージＦＹ５、およびＦＰＧＡ対応処理ノードＢにおけるＣＰＵ２２−１のＶＮＦイメージＣＺ１をそれぞれ選択する。そして、ＣＰＵ２１−１とＦＰＧＡ２１−２とをＣＰＵ−ＦＰＧＡ間インタフェースにより接続し、ＦＰＧＡ２１−２とＦＰＧＡ対応処理ノードＢのＣＰＵ２２−１とをネットワークスイッチを介して接続することにより、フォワーディンググラフＶＮＦ（Ｘ−Ｙ−Ｚ）を実現する通信経路を構成することができる。この通信経路は、ＣＰＵ−ＦＰＧＡ間の高速通信インタフェースを利用しているので、通常のネットワークスイッチを介した通信よりも高速化できる。

＜例２＞
図６に例示するように、ＶＮＦイメージ選択機能２０１は、フォワーディンググラフのＶＮＦ群がＸ、ＹおよびＷであれば、ＦＰＧＡ対応処理ノードＡにおけるＣＰＵ２１−１のＶＮＦイメージＣＸ２、ＦＰＧＡ２１−２のＶＮＦイメージＦＹ４、およびＦＰＧＡ対応処理ノードＢにおけるＦＰＧＡ２２−２のＶＮＦイメージＦＷ３をそれぞれ選択する。そして、ＣＰＵ２１−１とＦＰＧＡ２１−２とをＣＰＵ−ＦＰＧＡ間インタフェースにより接続し、ＦＰＧＡ２１−２とＦＰＧＡ２２−２とを高速通信インタフェース２０ｆｆを介して接続することにより、フォワーディンググラフＶＮＦ（Ｘ−Ｙ−Ｗ）を実現する通信経路を構成することができる。この通信経路は、ＣＰＵ−ＦＰＧＡ間およびＦＰＧＡ間の高速通信インタフェースを利用しているので、通常のネットワークスイッチを介した通信よりもさらに高速化が可能となる。

＜例３＞
上述した例１および例２は起動時の通信経路の決定であったが、本実施形態は運用時での通信経路変更にも適用可能である。

まず、図７に示すように、ＦＰＧＡ対応処理ノードＡにおけるＦＰＧＡ２１−２が他のフォワーディンググラフのＶＮＦ−Ｘを動作させているものとする。この状態で、フォワーディンググラフのＶＮＦ−ＹおよびＶＮＦ−Ｚを起動しようとすると、ＶＮＦイメージ選択機能２０１は、ＦＰＧＡ対応処理ノードＡにおけるＣＰＵ２１−１のＶＮＦイメージＣＹ１と、ＦＰＧＡ非対応処理ノードＣにおけるＣＰＵのＶＮＦイメージＣＺ１とを選択し、ＦＰＧＡ対応処理ノードＡのＣＰＵ２１−１とＦＰＧＡ非対応処理ノードＣのＣＰＵとをネットワークスイッチを介して接続することにより、フォワーディンググラフＶＮＦ（Ｙ−Ｚ）を実現する通信経路を構成することができる。

このようにしてフォワーディンググラフＶＮＦ（Ｙ−Ｚ）が実現して所定のネットワークサービス（Ｙ−Ｚ）が提供されているときに、ＦＰＧＡ対応処理ノードＡのＦＰＧＡで動作していたＶＮＦ−Ｘがマイグレーションにより他の処理ノードへ移行したものとする。

ＶＮＦイメージ選択機能２０１は、マイグレーションによりＦＰＧＡ対応処理ノードＡのＦＰＧＡが利用可能になったことを知ると、ＦＰＧＡ非対応処理ノードＣで動作しているＶＮＦ−ＺをＦＰＧＡ対応処理ノードＡのＦＰＧＡで動作させ、ＣＰＵ−ＦＰＧＡ間の高速通信インタフェースが利用できるように、図８に示すように処理ノードＡのＣＰＵとＦＰＧＡのＶＮＦイメージを書き換える。

図８において、ＶＮＦイメージ選択機能２０１は、同一のフォワーディンググラフＶＮＦ（Ｙ−Ｚ）を実現する効率的な通信経路を上述したＶＮＦイメージから選択する。ここでは、フォワーディンググラフのＶＮＦ群がＹおよびＺであるから、ＦＰＧＡ対応処理ノードＡにおけるＣＰＵ２１−１のＶＮＦイメージＣＹ２、ＦＰＧＡ２１−２のＶＮＦイメージＦＺ２を選択し、ＣＰＵ２１−１とＦＰＧＡ２１−２とをＣＰＵ−ＦＰＧＡ間インタフェースにより接続することにより、フォワーディンググラフＶＮＦ（Ｙ−Ｚ）を実現する通信経路を構成することができる。この通信経路は、ＣＰＵ−ＦＰＧＡ間の高速通信インタフェースを利用しているので、ネットワークスイッチを介した通信よりも高速化できる。

なお、図５〜図８に例示した通信経路は一例で有り、所望のフォワーディンググラフに対して、適切なＶＮＦイメージを選択することで最もパフォーマンスが優れた通信経路を決定することができる。

１．４）効果
上述したように、本実施形態によれば、処理ノード間のネットワークを介した通信インタフェースの他に、ＣＰＵとＦＰＧＡとの間の通信インタフェースと、他のＦＰＧＡ対応処理ノードのＦＰＧＡとの間のダイレクトインタフェースとを利用することにより、ネットワークスイッチを介さない高速通信経路の選択が可能となり、所望のフォワーディンググラフを高速通信経路により実現することができる。

２．実施例
２．１）第１実施例
本発明の第１実施例による管理装置１０は、ネットワークシステムにおける処理ノードおよびスイッチを制御し、ＦＰＧＡ、ＶＭあるいはＶＮＦの管理、フォワーディンググラフのための通信経路を決定する経路管理等を実行する。以下、図９〜図１１を参照しながら本実施例について説明する。

図９に示すように、管理装置１０は、フォワーディンググラフ管理部１０１、ＶＮＦイメージデータベース１０２、ＦＰＧＡ管理部１０３、物理接続経路テーブル１０４、およびＶＮＦイメージ選択部１０５を有し、さらに上述したネットワークシステムにおける各処理ノードおよびスイッチと接続するネットワークインタフェース１０６、管理装置１０の動作を制御する制御部１０７、および制御部１０７により実行されるプログラムを格納したプログラムメモリ１０８を有する。

フォワーディンググラフ管理部１０１は、図１０Ａに例示するように、ＶＮＦ間の論理的な接続（フォワーディンググラフ）と各ＶＮＦがマッピングされた動作主体とを示す管理テーブルを有する。この管理テーブルによれば、たとえば、ＶＮＦ−Ｘは処理ノードＡのＣＰＵにマッピングされＶＮＦ−Ｙに接続されており、ＶＮＦ−Ｙは処理ノードＡのＦＰＧＡにマッピングされＶＮＦ−ＸからＶＮＦ−Ｚに接続されていることが分かる。

ＶＮＦイメージデータベース１０２は、図１０Ｂに例示するように、ＶＮＦイメージを予め格納する。たとえば、ＶＮＦ−ＸがＣＰＵ上で動作する場合、ＮＩＣ側インタフェースを有するＶＮＦイメージＣＸ１と、ＣＰＵ−ＦＰＧＡ間インタフェースを有するＶＮＦイメージＣＸ２と、直結インタフェースを有するＶＮＦイメージＣＸ３とが格納される（図４Ａ参照）。また、ＶＮＦ−ＸがＦＰＧＡ上で動作する場合、ＮＩＣ側インタフェースを有するＶＮＦイメージＦＸ１と、ＣＰＵ−ＦＰＧＡ間インタフェースを有するＶＮＦイメージＦＸ２と、直結インタフェースを有するＶＮＦイメージＦＸ３とが格納される（図４Ｂ参照）。ＶＮＦ−ＹがＣＰＵ上で動作する場合には、ＶＮＦイメージＣＹ１、ＣＹ２およびＣＹ３が格納され、ＶＮＦ−ＹがＦＰＧＡ上で動作する場合には、ＶＮＦイメージＦＹ１、ＦＹ２およびＦＹ３が格納される。以下同様である。

ＦＰＧＡ管理部１０３は、図１１Ａに例示するように、各処理ノードがＦＰＧＡ対等であるか否かを示す管理テーブルを有する。

物理接続経路テーブル１０４は、図１１Ｂに例示するように、各処理ノードがＣＰＵ−ＦＰＧＡ間の通信インタフェースを有するか否か、ＦＰＧＡがどの処理ノードのＦＰＧＡとダイレクトに接続するかを示す情報を格納する。

ＶＮＦイメージ選択部１０５は、フォワーディンググラフ管理部１０１のフォワーディンググラフおよびマッピング情報と、物理接続経路テーブル１０４の物理接続経路とを参照しながら、ＶＮＦイメージデータベース１０２から適切なＶＮＦイメージを選択し、フォワーディンググラフを実現するのに最も適した通信経路を決定する。ＶＮＦイメージ選択部１０５の動作は、図５〜図８を例として説明したとおりである。

制御部１０７は、プログラムメモリ１０８に格納されたプログラムを実行することで、上述したＶＮＦイメージ選択部１０５を含む機能部の動作を制御する。

２．２）第２実施例
本発明の第２実施例による管理装置１０ａは、上述した第１実施例と同様に、フォワーディンググラフのための通信経路を決定する経路管理を実行するが、その際、ＦＰＧＡのＶＮＦイメージをソースコードから生成する点が異なっている。一般に、図１０（Ｂ）のように、通信経路ごとに異なるＦＰＧＡコンフィギュレーションイメージを事前に作成し管理することは保存容量コストが高い。また、通信経路のパターンが多様に存在する場合、運用途中で拡張される場合などが生じうる。そこで、本実施例では、ＦＰＧＡコンフィギュレーションイメージ自体ではなく、コンパイル（論理合成・配置配線）前のソースコードをＶＮＦごとに１つだけを格納しておき、実行時にＦＰＧＡコンフィギュレーションイメージ（ＶＮＦイメージ）を合成する。以下、図１２、図１３を参照しながら本実施例について説明する。なお、第１実施例と同様の構成および機能については同一の参照番号を付して説明は省略する。

図１２に示すように、管理装置１０ａは、フォワーディンググラフ管理部１０１、ＶＮＦイメージデータベース１０２ａ、ＦＰＧＡ管理部１０３、物理接続経路テーブル１０４、およびＶＮＦイメージ選択部１０５およびネットワークインタフェース１０６を有し、さらにＦＰＧＡソースデータベース１１０、ＦＰＧＡ合成部１１１、管理装置１０ａの動作を制御する制御部１１２、および制御部１１２により実行されるプログラムを格納したプログラムメモリ１１３を有する。上述したように、本実施例におけるＶＮＦイメージデータベース１０２ａには、図１０（Ｂ）におけるＦＰＧＡ側のＶＮＦイメージを格納する容量分が不要となる。その代わり、本実施例では、必要なＶＮＦに対するＦＰＧＡソースコードからＦＰＧＡコンフィグレーションイメージを合成する。

図１３に例示するように、制御部１１２は、フォワーディンググラフを構成するＶＮＦのソースコードＹをＦＰＧＡソースデータベース１１０から読み出してＦＰＧＡ合成部１１１へ出力する。ＦＰＧＡ合成部１１１は、フォワーディンググラフの通信経路を決定する際に、フォワーディンググラフ管理部１０１と物理接続経路テーブル１０４の経路情報に基づいて、通信インタフェース部分だけソースＹを書き換えた複数のＦＰＧＡコンフィグレーションイメージＦＹ１、ＦＹ２、・・・を生成し、ＶＮＦイメージ選択部１０５へ出力する。ＶＮＦイメージ選択部１０５は、ＶＮＦイメージデータベース１０２ａに格納されたＶＮＦイメージと、生成されたＦＰＧＡコンフィグレーションイメージと、から適切なＶＮＦイメージを選択し、フォワーディンググラフに最適な通信経路を決定する。

このように、ソースコードからＦＰＧＡコンフィギュレーションイメージを生成するので、それらを格納する容量が不要となり、また運用途中で通信経路が変更あるいは拡張される場合であっても柔軟に対応することが可能となる。

３．他の実施形態
上述した実施形態では、管理装置１０がネットワークシステムを一括管理する場合を例示したが、本発明はこの一括管理に限定されるものではなく、マルチレイヤシステムの各レイヤを別々の管理部が協調して管理する構成であってもよい。

なお、各レイヤを管理する管理部は、通信可能に接続された別個の装置が互いに協調して上記各実施形態の管理動作を実行してもよいし、それらの上位装置の管理により管理動作を実行してもよい。また、一つの管理装置内に各レイヤを管理する管理部、あるいはそれらを管理する上位管理部が機能的に分離して設けられた構成であってもよい。

４．付記
上述した実施形態の一部あるいは全部は、以下の付記のようにも記載されうるが、これらに限定されるものではない。
（付記１）
少なくとも１つの仮想ネットワーク機能を配置することができるネットワークシステムであって、
複数の仮想ネットワーク機能をそれぞれ動作させることができる複数の処理ユニットと、
所望の仮想ネットワーク機能を配置するための通信経路を決定する管理装置と、
を有し、
前記複数の処理ユニットの各々が複数種類の通信インタフェースのうちの少なくとも１つを備え、
前記管理装置が、各処理ユニットが他の処理ユニットと接続可能な通信インタフェースに従って、前記所望の仮想ネットワーク機能を配置するための通信経路を決定する、
ことを特徴とするネットワークシステム。
（付記２）
前記管理装置が、各処理ユニットが前記通信インタフェースに従った可能な通信経路候補から前記通信経路を選択することを特徴とする付記１に記載のネットワークシステム。
（付記３）
前記複数の処理ユニットが、ネットワークスイッチへの第１通信インタフェースと、他の処理ユニットへの直接通信インタフェースと、を備える少なくとも１つの処理ユニットを含むことを特徴とする付記１または２に記載のネットワークシステム。
（付記４）
前記処理ユニットが、当該処理ユニットを含む処理ノードのＣＰＵ（Central Processing Unit）またはプログラム可能論理回路のいずれかであることを特徴とする付記１−３のいずれか１項に記載のネットワークシステム。
（付記５）
少なくとも１つの仮想ネットワーク機能を配置することができるネットワークシステムの管理装置であって、
複数の仮想ネットワーク機能をそれぞれ動作させることができる複数の処理ユニットが複数種類の通信インタフェースのうちの少なくとも１つを備え、仮想ネットワーク機能ごとに、各処理ユニットが備えた通信インタフェースに対応した仮想ネットワーク機能イメージを保持する記憶手段と、
所望の仮想ネットワーク機能を配置するための通信経路を前記仮想ネットワーク機能イメージを選択することで決定する制御手段と、
を有することを特徴とする管理装置。
（付記６）
前記記憶手段が、仮想ネットワーク機能ごとに、各処理ユニットが備えた通信インタフェースの可能な組み合わせにそれぞれ対応した仮想ネットワーク機能イメージを保持することを特徴とする付記５に記載の管理装置。
（付記７）
前記制御手段が、前記仮想ネットワーク機能イメージに従った可能な通信経路候補から前記通信経路を選択することを特徴とする付記５または６に記載の管理装置。
（付記８）
前記複数の処理ユニットが、ネットワークスイッチへの第１通信インタフェースと、他の処理ユニットへの直接通信インタフェースと、を備えた少なくとも１つの処理ユニットを含むことを特徴とする付記５−７のいずれか１項に記載の管理装置。
（付記９）
前記処理ユニットが、当該処理ユニットを含む処理ノードのＣＰＵ（Central Processing Unit）またはプログラム可能論理回路のいずれかであることを特徴とする付記５−８のいずれか１項に記載の管理装置。
（付記１０）
仮想ネットワーク機能ごとに前記プログラム可能論理回路の仮想ネットワーク機能イメージを生成するためのソースコードを保持するソースコード記憶手段と、
前記ソースコードと前記所望の仮想ネットワーク機能および前記処理ユニットの接続関係とから前記仮想ネットワーク機能イメージを生成する合成手段と、
をさらに有することを特徴とする付記９に記載の管理装置。
（付記１１）
少なくとも１つの仮想ネットワーク機能を配置することができるネットワークシステムの管理方法であって、
複数の仮想ネットワーク機能をそれぞれ動作させることができる複数の処理ユニットが複数種類の通信インタフェースのうちの少なくとも１つを備え、
記憶手段が、仮想ネットワーク機能ごとに各処理ユニットが備えた通信インタフェースに対応した仮想ネットワーク機能イメージを保持し、
制御手段が、所望の仮想ネットワーク機能を配置するための通信経路を前記仮想ネットワーク機能イメージを選択することで決定する、
ことを特徴とする管理方法。
（付記１２）
前記記憶手段が、仮想ネットワーク機能ごとに、各処理ユニットが備えた通信インタフェースの可能な組み合わせにそれぞれ対応した仮想ネットワーク機能イメージを保持することを特徴とする付記１１に記載の管理方法。
（付記１３）
前記制御手段が、前記仮想ネットワーク機能イメージに従った可能な通信経路候補から前記通信経路を選択することを特徴とする付記１１または１２に記載の管理方法。
（付記１４）
前記複数の処理ユニットが、ネットワークスイッチへの第１通信インタフェースと他の処理ユニットへの直接通信インタフェースのうち少なくとも一方を備えることを特徴とする付記１１−１３のいずれか１項に記載の管理方法。
（付記１５）
前記処理ユニットが、当該処理ユニットを含む処理ノードのＣＰＵ（Central Processing Unit）またはプログラム可能論理回路のいずれかであることを特徴とする付記１１−１４のいずれか１項に記載の管理方法。
（付記１６）
ソースコード記憶手段が、仮想ネットワーク機能ごとに前記プログラム可能論理回路の仮想ネットワーク機能イメージを生成するためのソースコードを保持し、
合成手段が、前記ソースコードと前記プログラム可能論理回路の接続関係とから前記仮想ネットワーク機能イメージを生成する、
ことを特徴とする付記１５に記載の管理方法。
（付記１７）
少なくとも１つの仮想ネットワーク機能を配置することができるネットワークシステムの管理装置としてコンピュータを機能させるプログラムであって、
複数の仮想ネットワーク機能をそれぞれ動作させることができる複数の処理ユニットが複数種類の通信インタフェースのうちの少なくとも１つを備え、
記憶手段が、仮想ネットワーク機能ごとに各処理ユニットが備えた通信インタフェースに対応した仮想ネットワーク機能イメージを保持する機能と、
制御手段が、所望の仮想ネットワーク機能を配置するための通信経路を前記仮想ネットワーク機能イメージを選択することで決定する機能と、
を前記コンピュータで実現することを特徴とするプログラム。

本発明は、仮想ネットワーク機能（ＶＮＦ）をネットワーク上に配置するシステムで利用可能である。

Ａ、ＢＦＰＧＡ対応処理ノード
ＣＦＰＧＡ非対応処理ノード
Ｘ，Ｙ，Ｚ，Ｗ仮想ネットワーク機能（ＶＮＦ）
ＣＸ、ＦＹ、ＣＹ、ＣＺ、ＦＷ、ＦＺＶＮＦイメージ
１０管理装置
２０下位レイヤネットワーク
２０ｆｆダイレクトインタフェース
２１−１ＣＰＵ
２１−２ＦＰＧＡ
２１ｃｆＣＰＵ−ＦＰＧＡ間通信インタフェース
２２−１ＣＰＵ
２２−２ＦＰＧＡ
２２ｃｆＣＰＵ−ＦＰＧＡ間通信インタフェース
２３ネットワークスイッチ
３０上位レイヤネットワーク
１０１フォワーディンググラフ管理部
１０２ＶＮＦイメージデータベース
１０３ＦＰＧＡ管理部
１０４物理接続経路テーブル
１０５ＶＮＦイメージ選択部
１０６ネットワークインタフェース
１０７制御部
１０８プログラムメモリ
１１０ＦＰＧＡソースデータベース
１１１ＦＰＧＡ合成部
１１２制御部
１１３プログラムメモリ
２０１ＶＮＦイメージ選択機能

Claims

少なくとも１つの仮想ネットワーク機能を配置することができるネットワークシステムであって、
所望の仮想ネットワーク機能をそれぞれ設定可能であって、少なくとも１つのＣＰＵ（Central Processing Unit）と少なくとも１つのプログラム可能論理回路とからなる複数の処理ユニットと、
所望の仮想ネットワーク機能群を配置するように、前記複数の処理ユニットを接続する通信経路を決定する管理装置と、
を有し、
前記複数の処理ユニットの少なくとも一つの処理ユニットがプログラム可能論理回路であって、任意の他の処理ユニットと接続可能な第１通信インタフェースと、他の処理ユニットであるプログラム可能論理回路と直接接続可能な第２通信インタフェースと、を備え、
前記管理装置が、各処理ユニットの接続可能な通信インタフェースに従った可能な通信経路候補から前記所望の仮想ネットワーク機能群を配置するための通信経路を選択する、
ことを特徴とするネットワークシステム。
前記少なくとも一つの処理ユニットが、ＣＰＵおよびプログラム可能論理回路の両方からなる処理ノードのプログラム可能論理回路であり、前記他の処理ユニットが他の処理ノードのプログラム可能論理回路であることを特徴とする請求項１に記載のネットワークシステム。
前記複数の処理ユニットの各々が前記第１通信インタフェースによりネットワークスイッチと接続され、前記少なくとも一つの処理ユニットが前記第２通信インタフェースにより他の処理ユニットであるプログラム可能論理回路と直接接続され、第３通信インタフェースにより前記処理ノードのＣＰＵと接続されることを特徴とする請求項２に記載のネットワークシステム。
前記複数の処理ユニットの各々が、当該処理ユニットを含む処理ノードのＣＰＵ（Central Processing Unit）またはプログラム可能論理回路のいずれかであることを特徴とする請求項１−３のいずれか１項に記載のネットワークシステム。
前記処理ノードが、前記ＣＰＵからなる第１種類の処理ノード、あるいは前記ＣＰＵおよび前記プログラム可能論理回路の両方からなる第２種類の処理ノードのいずれかであることを特徴とする請求項４に記載のネットワークシステム。
少なくとも１つの仮想ネットワーク機能を配置することができるネットワークシステムの管理装置であって、
所望の仮想ネットワーク機能をそれぞれ設定可能であって、少なくとも１つのＣＰＵ（Central Processing Unit）と少なくとも１つのプログラム可能論理回路とからなる複数の処理ユニットのうち少なくとも一つの処理ユニットがプログラム可能論理回路であって、任意の他の処理ユニットと接続可能な第１通信インタフェースと、他の処理ユニットであるプログラム可能論理回路と直接接続可能な第２通信インタフェースと、を備え、
仮想ネットワーク機能ごとに、各処理ユニットが備えた通信インタフェースの可能な組み合わせからなる仮想ネットワーク機能イメージを保持する記憶手段と、
所望の仮想ネットワーク機能群を配置するように前記複数の処理ユニットを接続する通信経路を、前記仮想ネットワーク機能イメージに従った可能な通信経路候補から選択することにより決定する制御手段と、
を有することを特徴とする管理装置。
前記少なくとも一つの処理ユニットが、ＣＰＵおよびプログラム可能論理回路の両方からなる処理ノードのプログラム可能論理回路であり、前記他の処理ユニットが他の処理ノードのプログラム可能論理回路であることを特徴とする請求項６に記載の管理装置。
少なくとも１つの仮想ネットワーク機能を配置することができるネットワークシステムの管理方法であって、
所望の仮想ネットワーク機能をそれぞれ設定可能であって、少なくとも１つのＣＰＵ（Central Processing Unit）と少なくとも１つのプログラム可能論理回路とからなる複数の処理ユニットのうち少なくとも一つの処理ユニットがプログラム可能論理回路であって、任意の他の処理ユニットと接続可能な第１通信インタフェースと他の処理ユニットであるプログラム可能論理回路と直接接続可能な第２通信インタフェースとを備え、
記憶手段が、仮想ネットワーク機能ごとに各処理ユニットが備えた通信インタフェースの可能な組み合わせからなる仮想ネットワーク機能イメージを保持し、
制御手段が、所望の仮想ネットワーク機能を配置するように前記複数の処理ユニットを接続する通信経路を、前記仮想ネットワーク機能イメージに従った可能な通信経路候補から選択することにより決定する、
ことを特徴とする管理方法。
前記少なくとも一つの処理ユニットが、ＣＰＵおよびプログラム可能論理回路の両方からなる処理ノードのプログラム可能論理回路であり、前記他の処理ユニットが他の処理ノードのプログラム可能論理回路であることを特徴とする請求項８に記載の管理方法。
少なくとも１つの仮想ネットワーク機能を配置することができるネットワークシステムの管理装置としてコンピュータを機能させるプログラムであって、
所望の仮想ネットワーク機能をそれぞれ設定可能であって、少なくとも１つのＣＰＵ（Central Processing Unit）と少なくとも１つのプログラム可能論理回路とからなる複数の処理ユニットのうち少なくとも一つの処理ユニットがプログラム可能論理回路であって、任意の他の処理ユニットと接続可能な第１通信インタフェースと他の処理ユニットであるプログラム可能論理回路と直接接続可能な第２通信インタフェースとを備え、
記憶手段が、仮想ネットワーク機能ごとに各処理ユニットが備えた通信インタフェースの可能な組み合わせからなる仮想ネットワーク機能イメージを保持する機能と、
制御手段が、所望の仮想ネットワーク機能を配置するように前記複数の処理ユニットを接続する通信経路を、前記仮想ネットワーク機能イメージに従った可能な通信経路候補から選択することにより決定する機能と、
を前記コンピュータで実現することを特徴とするプログラム。