JP7740538B2

JP7740538B2 - Integrated control device, integrated control system, integrated control method and program

Info

Publication number: JP7740538B2
Application number: JP2024521495A
Authority: JP
Inventors: 薫明原田; 晃人鈴木; 正裕小林; 太一河野
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2022-05-19
Filing date: 2022-05-19
Publication date: 2025-09-17
Anticipated expiration: 2042-05-19
Also published as: WO2023223514A1; JPWO2023223514A1

Description

本開示内容は、物理ネットワーク（ネットワーク基盤＝ＮＦＶ環境）上で異なる目的の複数の仮想ネットワークを構築するための複数の制御エンジンを統合制御する技術に関する。 This disclosure relates to technology for integrated control of multiple control engines to build multiple virtual networks for different purposes on a physical network (network infrastructure = NFV environment).

ネットワークの各サービスは、サービス事業者又はネットワーク事業者（通信事業者）によって設計又は提供される制御アルゴリズムにより運用されている。 Each network service is operated by a control algorithm designed or provided by the service provider or network operator (telecommunications carrier).

将来的には、例えば、図６に示すように、ユーザ端末３３０と接続先サーバ３１０ｚの間のデータ伝送経路に関して、ネットワーク事業者が運営する単一の物理ネットワーク上で、一のサービス事業者が運営する仮想ネットワーク（経路長の最小化を目的とした制御アルゴリズム）と、他のサービス事業者が運営する仮想ネットワーク（設備の負荷分散を目的とした制御アルゴリズム）が独立して構築されることが考えられる。この場合、経路長の最小化を目的とした制御アルゴリズムでは、サーバ３１０ａが各ノード（転送装置３２０、サーバ３１０ｘ，３１０ｙ）等の設備負荷状況を考慮せずに仮想ネットワークを構築する。一方、設備の負荷分散を目的とした制御アルゴリズムでは、サーバ３１０ｂが要求品質は考慮せずに、各ノード等の設備負荷状況を平準化するよう仮想ネットワークを構築する。In the future, for example, as shown in Figure 6, it is conceivable that, for the data transmission path between user terminal 330 and destination server 310z, a virtual network operated by one service provider (control algorithm aimed at minimizing path length) and a virtual network operated by another service provider (control algorithm aimed at balancing equipment load) will be constructed independently on a single physical network operated by a network operator. In this case, with a control algorithm aimed at minimizing path length, server 310a constructs a virtual network without considering the equipment load status of each node (transfer device 320, servers 310x, 310y, etc.). On the other hand, with a control algorithm aimed at balancing equipment load, server 310b constructs a virtual network to level the equipment load status of each node, etc., without considering the required quality.

ところが、単一の物理ネットワーク上で、異なった目的の複数の仮想ネットワークを構築しようとすると、図７に示すようなネットワーク制御の競合が生じる場合がある。例えば、図７に示すように、各ノード（転送装置）３２０ａ～３２０ｅのデータ転送可能な容量が「１０」の場合であって、先に、設備の負荷分散を目的とした制御アルゴリズムを採用したサーバ３１０ｂが「１０」のデータ容量を、「３」、「３」、「４」の各データ容量に分散して、ユーザ端末３３０ｂにデータを転送した状況を考える。この場合、後から、経路長の最小化を目的とした制御アルゴリズムを採用したサーバ３１０ａが「１０」のデータ容量を分散しないでそのまま転送すると、既にいずれのノード３２０ａ～３２０ｅも残りのデータ転送可能な容量は「１０」もないため、ユーザ端末３３０ａにデータ転送するための仮想ネットワークを構築しようとしても、リソースが不足しているという問題が生じてしまう。However, when attempting to build multiple virtual networks for different purposes on a single physical network, network control conflicts may arise, as shown in Figure 7. For example, as shown in Figure 7, consider a situation in which the data transfer capacity of each node (transfer device) 320a-320e is "10." Server 310b, which employs a control algorithm aimed at balancing equipment load, first distributes the "10" data capacity into "3," "3," and "4" data capacities and transfers the data to user terminal 330b. In this case, if server 310a, which employs a control algorithm aimed at minimizing path length, subsequently transfers the "10" data capacity as is without distributing it, none of nodes 320a-320e will have a remaining data transfer capacity of "10." This results in a resource shortage when attempting to build a virtual network for transferring data to user terminal 330a.

これに対して、図８に示すようなネットワーク制御の協調により、上記問題を解決することができる。例えば、図８のように、図７と同じ物理ネットワークであっても、サーバ３１０ａが、ノード３２０ａ，３２０ｄを使用して「１０」のデータ容量のデータ転送を行った後、サーバ３１０ｂが、サーバ３１０ａによって使用されなかったノード３２０ｂ，３２０ｃ，３２０ｅを使用する仮想ネットワークを構築すれば、「１０」のデータ容量を、「５」、「５」の各データ容量に分散してデータ転送しても、それぞれの目的を達成することができる。 However, the above problem can be solved by coordinating network control as shown in Figure 8. For example, as shown in Figure 8, even with the same physical network as Figure 7, if server 310a transfers data with a data capacity of "10" using nodes 320a and 320d, and then server 310b constructs a virtual network using nodes 320b, 320c, and 320e that were not used by server 310a, the data capacity of "10" can be divided into data capacities of "5" and "5" for data transfer, and each objective can be achieved.

そのため、ネットワーク制御の協調を実現すべく、従来、非特許文献１に示す技術が提案されている。ここで、図９及び図１０を用いて、従来の仮想ネットワーク制御について説明する。図９は、従来のネットワークの全体構成を示す図である。図１０は、従来の統合制御エンジン２００の機能構成例を示す図である。Therefore, in order to achieve coordination of network control, the technology shown in Non-Patent Document 1 has been proposed. Here, conventional virtual network control will be explained using Figures 9 and 10. Figure 9 is a diagram showing the overall configuration of a conventional network. Figure 10 is a diagram showing an example of the functional configuration of a conventional integrated control engine 200.

図９に示すように、統合制御システム１０は、ネットワーク基盤としての物理ネットワーク３００と接続される。物理ネットワーク３００は、汎用サーバ３１０、ノード（転送装置）３２０、及びユーザ端末３３０が含まれるネットワーク環境である。統合制御システム１００は、統合制御エンジン２００を有する１以上のコンピュータである。統合制御システム１０は、統合制御エンジンにより、物理ネットワーク３００上の仮想ネットワークを制御する。統合制御システム１０は、情報収集・蓄積装置３０を介して、物理ネットワーク３００から、ネットワーク状態（状況）を示すネットワーク情報を取得し、統合制御エンジン２００により算出した制御結果及び設定命令を、オーケストレータ５０を介して物理ネットワークの各ノード３２０に送信することで、ネットワーク制御の協調を実現している。 As shown in FIG. 9, the integrated control system 10 is connected to a physical network 300 as a network infrastructure. The physical network 300 is a network environment including a general-purpose server 310, a node (transfer device) 320, and a user terminal 330. The integrated control system 100 is one or more computers having an integrated control engine 200. The integrated control system 10 controls a virtual network on the physical network 300 using the integrated control engine. The integrated control system 10 acquires network information indicating the network status (condition) from the physical network 300 via the information collection and storage device 30, and transmits the control results and configuration commands calculated by the integrated control engine 200 to each node 320 of the physical network via the orchestrator 50, thereby achieving coordination of network control.

具体的には、図１０に示すように、統合制御エンジン２００は、ＮＦＶ環境情報（ネットワーク構成情報、ユーザ需要、ネットワーク観測情報（トラヒック情報、サーバ利用情報等））に基づき、最適な汎用サーバ３１０への仮想リソースや仮想機能の割当、及び、最適な経路を計算する。統合制御エンジン２００は、モジュール化された各種制御エンジンｅ１００（ｅ１０１～ｅ１０５等）との連携を前提に、各種制御エンジン間の情報共有を行うための情報共有エンジン４００にて実現される。情報共有エンジン４００は、学習指示エージェント４１０、各制御エージェント４３０（４３１，４３２，４３３，４３４，４３５等）、総合評価算出部４５０、入出力変換部４６０を有している。 Specifically, as shown in FIG. 10, the integrated control engine 200 allocates virtual resources and virtual functions to the optimal general-purpose server 310 and calculates the optimal route based on NFV environment information (network configuration information, user demand, network observation information (traffic information, server usage information, etc.)). The integrated control engine 200 is realized by an information sharing engine 400 for sharing information between various control engines e100 (e101 to e105, etc.), assuming cooperation with the various modularized control engines e100. The information sharing engine 400 has a learning instruction agent 410, each control agent 430 (431, 432, 433, 434, 435, etc.), a comprehensive evaluation calculation unit 450, and an input/output conversion unit 460.

これらのうち、学習指示エージェント４１０は、総合評価に基づいて各制御エージェントの選択を学習する。各制御エージェント４３０は、総合評価に基づいて、各制御エンジンｅ１００の解の変更を学習する。総合評価算出部４５０は、各制御エンジンｅ１００の評価から、総合評価である報酬を計算する。入出力変換部４６０は、各制御エンジンｅ１００の入出力の形式を変換する。入出力変換部４６０の定式化は、各制御エンジンｅ１００の組合せごとに行う。 Of these, the learning instruction agent 410 learns the selection of each control agent based on the overall evaluation. Each control agent 430 learns to change the solution of each control engine e100 based on the overall evaluation. The overall evaluation calculation unit 450 calculates a reward, which is the overall evaluation, from the evaluation of each control engine e100. The input/output conversion unit 460 converts the input/output format of each control engine e100. The input/output conversion unit 460 formulates each combination of control engines e100.

このようにして、非特許文献１では、情報共有エンジン４００が、各制御エンジンｅ１００から上述の各種情報を収集し、それぞれの解がどのように制御したいのかということを認識した上で、各制御エンジンの各制御アルゴリズムが持っている目的関数を評価しながら解を変更する。次に、情報共有エンジン４００が、この変更した解を各制御エンジンｅ１００に送ることで、各制御エンジンｅ１００が新たな解を求める。再度、情報共有エンジン４００が各制御エンジンｅ１００から上述の各種情報を収集する処理を繰り返すことで、最終的な解を決めることができる。但し、非特許文献１では、各制御エンジンｅ１００が持つ各制御アルゴリズムには、制御ポリシ(品質の向上、リソース効率の向上等)及び制約条件(サービス提供条件、リンク容量、サーバ容量等)が開示されていることを前提としている。In this way, in Non-Patent Document 1, the information sharing engine 400 collects the various pieces of information described above from each control engine e100, recognizes how each solution is desired to be controlled, and modifies the solution while evaluating the objective functions of each control algorithm of each control engine. The information sharing engine 400 then sends this modified solution to each control engine e100, which then determines a new solution. The information sharing engine 400 repeats the process of collecting the various pieces of information described above from each control engine e100, thereby determining the final solution. However, Non-Patent Document 1 assumes that each control algorithm in each control engine e100 discloses control policies (improving quality, improving resource efficiency, etc.) and constraints (service provision conditions, link capacity, server capacity, etc.).

Akito Suzuki, Ryoichi Kawahara, Masahiro Kobayashi, Yousuke Takahashi, Shigeaki Harada, and Keisuke Ishibashi, "Extendable NFV-Integrated Control Method Using Reinforcement Learning," IEICE Trans. Communications, vol. E103-B, no. 8, pp. 826-841, Aug. 2020.Akito Suzuki, Ryoichi Kawahara, Masahiro Kobayashi, Yousuke Takahashi, Shigeaki Harada, and Keisuke Ishibashi, "Extendable NFV-Integrated Control Method Using Reinforcement Learning," IEICE Trans. Communications, vol. E103-B, no. 8, pp. 826-841, Aug. 2020.

しかしながら、例えば、サードパーティーが制御エンジン（制御アルゴリズム）を作成する場合、制御エンジンの制御ポリシや制約条件等が必ずしもネットワーク事業者側に開示されているわけではない。そのため、非特許文献１に開示の技術では、各制御エンジンの評価を計算することや各制御エンジンの解の変更を学習することができない場合があるという課題が生じる。However, for example, when a third party creates a control engine (control algorithm), the control engine's control policy, constraints, etc. are not necessarily disclosed to the network operator. As a result, the technology disclosed in Non-Patent Document 1 faces the problem of being unable to calculate the evaluation of each control engine or learn changes to the solution of each control engine.

本発明は、上述の事情に鑑みてなされたもので、制御エンジンの制御ポリシや制約条件等の開示が無くても、全ての制御エンジンを対象とした制御完了状態（個々の制御ポリシが満たされた最適な状態、又は全体としてそれ以上改善することが不可能な状態）までの統合制御を効率よく実施することを目的とする。 The present invention was made in consideration of the above-mentioned circumstances, and aims to efficiently carry out integrated control of all control engines up to a control completion state (an optimal state in which individual control policies are satisfied, or a state in which further improvement as a whole is impossible) without disclosing the control policies, constraints, etc. of the control engines.

上記目的を達成するため、請求項１に係る発明は、物理ネットワーク上で異なる複数の仮想ネットワークを構築するための複数の制御エンジンを統合制御する統合制御装置であって、前記物理ネットワークの状況を示すＮＦＶ（Network Functions Virtualization）環境情報を取得して前記複数の制御エンジンに配布することで、前記複数の制御エンジンから前記複数の仮想ネットワークに関する制御依頼を受け付ける情報配布部と、前記複数の制御エンジンから受け取った前記制御依頼に基づき、現在の前記物理ネットワークの状況に対して前記複数の制御エンジンからの前記制御依頼における制御指示の総数を集計する総合評価推定部と、前記総合評価推定部によって集計された前記制御指示の総数が前回の集計時に比べて少なくなるように、強化学習を利用して制御許可決定用の行動価値関数を更新する制御許可先学習部と、前記総合評価推定部によって集計された前記制御指示の総数が前回と今回で変化した場合には、前記複数の制御エンジンのうち、前記行動価値関数に基づいて所定の制御エンジンを決定し、当該所定の制御エンジンから受け取った所定の制御依頼を前記物理ネットワーク側へ転送する制御適用判断部と、を有する統合制御装置である。
In order to achieve the above object, the invention of claim 1 is an integrated control device that integrates and controls a plurality of control engines for constructing a plurality of different virtual networks on a physical network, the integrated control device comprising: an information distribution unit that acquires NFV (Network Functions Virtualization) environment information that indicates the status of the physical network and distributes it to the plurality of control engines, and thereby receives control requests for the plurality of virtual networks from the plurality of control engines; an overall evaluation estimation unit that tallies a total number of control instructions in the control requests from the plurality of control engines with respect to the current status of the physical network, based on the control requests received from the plurality of control engines; a control permission destination learning unit that updates an action value function for determining control permission using reinforcement learning so that the total number of control instructions tallied by the overall evaluation estimation unit is less than the total number of control instructions tallied last time; and a control application determination unit that, when the total number of control instructions tallied by the overall evaluation estimation unit has changed between the previous time and the current time, determines a predetermined control engine from the plurality of control engines based on the action value function , and forwards the predetermined control request received from the predetermined control engine to the physical network side.

以上説明したように本発明によれば、制御エンジンの制御ポリシや制約条件等の開示が無くても、全ての制御エンジンを対象とした制御完了状態までの統合制御を効率よく実施することができるという効果を奏する。 As described above, the present invention has the effect of efficiently carrying out integrated control of all control engines up to the control completion state, even without disclosing the control policies, constraints, etc. of the control engines.

第１の実施形態に係る通信システムの全体構成図である。1 is an overall configuration diagram of a communication system according to a first embodiment; 統合制御システムの電気的なハードウェア構成図である。FIG. 2 is an electrical hardware configuration diagram of the integrated control system. 第１の実施形態に係る統合制御の処理を示すフローチャートである。4 is a flowchart showing an integrated control process according to the first embodiment. 第２の実施形態に係る通信システムの全体構成図である。FIG. 10 is an overall configuration diagram of a communication system according to a second embodiment. 第２の実施形態に係る統合制御の処理を示すフローチャートである。10 is a flowchart showing an integrated control process according to the second embodiment. 物理ネットワーク上で異なる目的の複数の仮想ネットワークを構築する場合概念図である。FIG. 1 is a conceptual diagram illustrating a case where multiple virtual networks for different purposes are constructed on a physical network. 物理ネットワーク上で異なる目的の複数の仮想ネットワークを構築する場合に、ネットワーク制御の競合が生じたときの概念図である。FIG. 1 is a conceptual diagram illustrating a case where a conflict in network control occurs when multiple virtual networks for different purposes are constructed on a physical network. 物理ネットワーク上で異なる目的の複数の仮想ネットワークを構築する場合に、ネットワーク制御の協調を行う場合の概念図である。FIG. 1 is a conceptual diagram of a case where network control is coordinated when multiple virtual networks for different purposes are constructed on a physical network. 従来の通信システムの全体構成を示す図である。FIG. 1 is a diagram illustrating an overall configuration of a conventional communication system. 従来の統合制御エンジン２００の機能構成図である。FIG. 1 is a functional configuration diagram of a conventional integrated control engine 200.

以下、図面を用いて本発明の実施形態を説明する。 Below, an embodiment of the present invention is explained using drawings.

●第１の実施形態
まずは、本発明の第１の実施形態について説明する。 First Embodiment First, a first embodiment of the present invention will be described.

〔実施形態のシステム構成〕
図１を用いて、第１の実施形態の通信システムの構成の概略について説明する。図１は、第１の実施形態に係る通信システムの全体構成図である。 [System configuration of the embodiment]
The outline of the configuration of the communication system according to the first embodiment will be described with reference to Fig. 1. Fig. 1 is a diagram showing the overall configuration of the communication system according to the first embodiment.

図１に示されているように、本実施形態の通信システムは、統合制御システム１０、情報収集・蓄積装置３０、オーケストレータ５０、ネットワーク基盤としての物理ネットワーク３００によって構築されている。 As shown in Figure 1, the communication system of this embodiment is constructed from an integrated control system 10, an information collection and storage device 30, an orchestrator 50, and a physical network 300 as the network infrastructure.

物理ネットワーク３００は、ネットワーク事業者によって管理及び運営されており、複数の汎用サーバ３１０、複数のノード（転送装置）３２０、及び複数のユーザ端末３３０によって構築されている。 The physical network 300 is managed and operated by a network operator and is constructed from multiple general-purpose servers 310, multiple nodes (transfer devices) 320, and multiple user terminals 330.

これらのうち、汎用サーバ３１０は、単一又は複数のコンピュータによって構築されており、オーケストレータ５０を介して統合制御システム１０により設定される仮想リソース（ＶＲ：Virtual Resource）や仮想ネットワーク機能（ＶＮＦ：Virtual Network Function）を実現する。ＶＲとしては、例えば、ＣＰＵ（Central Processing Unit）やＨＤＤ（Hard Disk Drive）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等を組み合わせたＶＭ（Virtual Machine）が挙げられる。また、ＶＮＦとしては、例えば、ＣＰＥ（Customer Premises Equipment）、ＦＷ（Firewall）、ＬＢ（Load Balancer）、ＤＰＩ（Deep Packet Inspection）、Ｐｒｏｘｙ、ＩＤＳ（Intrusion Detection System）、ＮＡＴ（Network Address Translation）等が挙げられる。汎用サーバ３１０は、サーバ利用情報を取得し、情報収集・蓄積装置３０を介してサーバ利用情報を統合制御システム１０に送信する。また、汎用サーバ３１０は、オーケストレータ５０を介して統合制御システム１０により設定されたＶＲ及びＶＮＦに従ってトラヒックを処理し、トラヒックを発生させる。 Of these, the general-purpose server 310 is constructed with a single or multiple computers and realizes virtual resources (VRs) and virtual network functions (VNFs) configured by the integrated control system 10 via the orchestrator 50. Examples of VRs include virtual machines (VMs) that combine central processing units (CPUs), hard disk drives (HDDs), graphics processing units (GPUs), and field programmable gate arrays (FPGAs). Examples of VNFs include customer premises equipment (CPEs), firewalls (FWs), load balancers (LBs), deep packet inspection (DPIs), proxies, intrusion detection systems (IDSs), and network address translations (NATs). The general-purpose server 310 acquires server usage information and transmits it to the integrated control system 10 via the information collection and storage device 30. In addition, the general-purpose server 310 processes traffic according to the VR and VNF set by the integrated control system 10 via the orchestrator 50, and generates traffic.

ノード３２０は、スイッチやサーバ等の転送装置であり、トラヒックを転送する転送装置として機能する。ノード３２０は、トラヒック情報を取得し、情報収集・蓄積装置３０を介してトラヒック情報を統合制御システム１０に送信する。また、ノード３２０は、統合制御システム１０により算出された経路に従ってトラヒックを処理する。 Node 320 is a forwarding device such as a switch or server, and functions as a forwarding device that forwards traffic. Node 320 acquires traffic information and transmits the traffic information to the integrated control system 10 via the information collection and storage device 30. Node 320 also processes traffic according to the route calculated by the integrated control system 10.

ユーザ端末３３０は、単一又は複数のコンピュータによって構築されており、ユーザの通信行動（例えば、サービスの利用開始操作等）により発生したトラヒック需要を、他のユーザ端末３３０や汎用サーバ３１０等に送信する。また、ユーザ端末３３０は、情報収集・蓄積装置３０を介してユーザ需要を統合制御システム１０に送信する。 The user terminal 330 is constructed from a single or multiple computers, and transmits traffic demand generated by the user's communication behavior (e.g., starting to use a service, etc.) to other user terminals 330, the general-purpose server 310, etc. The user terminal 330 also transmits the user demand to the integrated control system 10 via the information collection and storage device 30.

仮想ネットワークとは，提供するサービスにあわせてＶＲ、ＶＮＦ、及びユーザ端末を組み合わせた論理的なネットワークであり，ＶＲやＶＮＦを汎用サーバに設定し、トラヒックが転送されることで各種サービスが実現される。 A virtual network is a logical network that combines VRs, VNFs, and user terminals according to the services provided.Various services are realized by configuring VRs and VNFs on general-purpose servers and forwarding traffic.

なお、サーバ利用情報とは、汎用サーバ３１０の物理リソース（例えばＣＰＵやメモリ等）の利用率等である。トラヒック情報とは、物理ネットワーク３００に含まれる任意のリンクのデータ量等である。ユーザ需要とは、ＶＲ及びＶＮＦの需要情報（ユーザ端末３３０毎に必要なＶＲ及びＶＮＦの量）、サービスの制約条件（ユーザ端末３３０毎に経由する必要があるＶＲ及びＶＮＦ）等である。 Note that server usage information refers to the utilization rate of the physical resources (e.g., CPU, memory, etc.) of the general-purpose server 310. Traffic information refers to the amount of data on any link included in the physical network 300. User demand refers to VR and VNF demand information (the amount of VR and VNF required for each user terminal 330), service constraints (the VR and VNF that must be passed through for each user terminal 330), etc.

情報収集・蓄積装置３０は、ネットワーク事業者によって管理及び運営されており、単一又は複数のコンピュータによって構築されている。情報収集・蓄積装置３０は、物理ネットワーク３００や各種リソースの負荷状況を一元的に監視する。そのため、情報収集・蓄積装置３０は、物理ネットワーク３００から、ネットワーク観測情報（トラヒック情報やサーバ利用情報等）及びユーザ需要を取得及び蓄積すると共に、統合制御システムに転送する。 The information collection and storage device 30 is managed and operated by the network operator and is constructed using one or more computers. The information collection and storage device 30 centrally monitors the load status of the physical network 300 and various resources. To this end, the information collection and storage device 30 acquires and stores network observation information (traffic information, server usage information, etc.) and user demand from the physical network 300, and transfers this information to the integrated control system.

オーケストレータ５０は、ネットワーク事業者によって管理及び運営されており、単一又は複数のコンピュータによって構築されている。オーケストレータ５０は、物理ネットワーク３００への制御指示を一元的に受付及び適用する。例えば、オーケストレータ５０は、ネットワーク機器（ルータ、スイッチ、仮想サーバ等）に制御信号を送って、ソフトウェア的にリアルタイムで仮想ネットワークを制御変更する。そのため、統合制御システム１０から、統合制御システム１０により算出された最適な配置及び最適な経路を示す解（制御解）に応じた制御結果及び設定命令を取得し、各汎用サーバ３１０及び各ノード３２０に送信することで、様々な種別のネットワークサービスを提供することが可能なＮＦＶ（Network Functions Virtualization）環境の制御が行われる。オーケストレータ５０は、「リソースオーケストレーション」及び「サービスオーケストレーション」と呼ばれる機能によりＶＲ及びＶＮＦの制御を行う。リソースオーケストレーションとは、物理ネットワーク上にＶＲ及びＶＮＦを配置する機能のことである。サービスオーケストレーションとは、ＶＲやＶＮＦ間を繋ぐＥｎｄ－ｔｏ－Ｅｎｄの経路を算出する機能のことである。The orchestrator 50 is managed and operated by the network operator and is constructed using one or more computers. The orchestrator 50 centrally receives and applies control instructions to the physical network 300. For example, the orchestrator 50 sends control signals to network devices (routers, switches, virtual servers, etc.) to control and modify the virtual network in real time using software. Therefore, the orchestrator 50 obtains control results and configuration commands from the integrated control system 10 according to solutions (control solutions) indicating optimal placement and optimal routes calculated by the integrated control system 10, and transmits these to each general-purpose server 310 and each node 320 to control a Network Functions Virtualization (NFV) environment capable of providing various types of network services. The orchestrator 50 controls VRs and VNFs using functions called "resource orchestration" and "service orchestration." Resource orchestration is the function of deploying VRs and VNFs on a physical network. Service orchestration is a function that calculates end-to-end routes that connect VRs and VNFs.

統合制御システム１０は、単一又は複数のコンピュータによって構築されており、ネットワーク事業者によって管理されている。統合制御システム１０は、ネットワーク事業者自身が作成した制御エンジン、サービス事業者等のサードパーティーが作成した制御エンジン等である複数の制御エンジンｅ１，ｅ２，ｅ３を有している。以降、制御エンジンｅ１，ｅ２，ｅ３の総称は、「制御エンジンｅ」と示す。各制御エンジンｅは、個別独立したサービスの機能配置を計算する。 The integrated control system 10 is constructed using a single or multiple computers and is managed by a network operator. The integrated control system 10 has multiple control engines e1, e2, and e3, including control engines created by the network operator itself and control engines created by third parties such as service providers. Hereinafter, the control engines e1, e2, and e3 will be collectively referred to as "control engine e." Each control engine e calculates the functional layout of an individual, independent service.

各制御エンジンｅは、それぞれ独自の制御アルゴリズムによって実行される。なお、図１では、紙面の都合上３つの制御エンジンが開示されているが、２つでもよく、４つ以上でもよい。また、統合制御システム１０は、統合制御アルゴリズムＡ１０を有している。また、制御エンジンｅは、統合制御アルゴリズムとは別のサーバ（個別制御装置）で構築されていてもよい。 Each control engine e is executed by its own unique control algorithm. Although three control engines are shown in Figure 1 due to space limitations, the number may be two, four, or more. The integrated control system 10 also has an integrated control algorithm A10. The control engine e may also be constructed on a server (individual control device) separate from the integrated control algorithm.

統合制御アルゴリズムＡ１０は、リソースオーケストレーション及びサービスオーケストレーションの実現に向けて、ＮＦＶオーケストレータに設定命令を行うアルゴリズムである。統合制御アルゴリズムＡ１０は、複数の制御エンジンのうちの単一の所定の制御エンジンを選択し、この選択した単一の制御エンジンからの制御依頼（制御結果及び設定命令）を、オーケストレータ５０を介して物理ネットワーク３００に適用する。なお、本実施形態の各制御エンジンｅは、単独で仮想ネットワークを構築するために、経路、ＶＲ、及びＶＮＦの全ての制御依頼を行うことができる点で、経路、ＶＲ、及びＶＮＦのいずれかの制御依頼しか行うことができない従来の制御エンジンｅ１００（図１０参照）と異なる前提を置いている。 The integrated control algorithm A10 is an algorithm that issues configuration commands to the NFV orchestrator to achieve resource orchestration and service orchestration. The integrated control algorithm A10 selects a single, specified control engine from among multiple control engines and applies the control request (control results and configuration commands) from this single selected control engine to the physical network 300 via the orchestrator 50. Note that each control engine e in this embodiment is based on a different premise in that it can issue control requests for all routes, VRs, and VNFs in order to independently construct a virtual network, compared to the conventional control engine e100 (see Figure 10), which can only issue control requests for routes, VRs, and VNFs.

このように、統合制御システム１０は、統合制御アルゴリズムＡ１０を用いて、物理ネットワーク３００上におけるＶＲ及びＶＮＦの最適な配置と、これらＶＲ及びＶＮＦ間を繋ぐＥｎｄ－ｔｏ－Ｅｎｄの最適な経路とを算出することで、ＮＦＶ環境を制御する。このとき、統合制御システム１０は、物理ネットワーク３００から受信したネットワーク観測情報（トラヒック情報やサーバ利用情報等）及びユーザ需要と、ネットワーク構成情報とに基づいて、ＶＲ及びＶＮＦの最適な配置と、最適な経路とを算出する。 In this way, the integrated control system 10 controls the NFV environment by using the integrated control algorithm A10 to calculate the optimal placement of VRs and VNFs on the physical network 300 and the optimal end-to-end routes connecting these VRs and VNFs. At this time, the integrated control system 10 calculates the optimal placement of VRs and VNFs and the optimal routes based on network observation information (traffic information, server usage information, etc.) received from the physical network 300, user demand, and network configuration information.

なお、ネットワーク構成情報とは、物理ネットワーク３００のネットワークトポロジー情報や、リソースの制約条件（例えば、物理ネットワーク３００に含まれる各物理リソースの量（各汎用サーバ３１０のサーバ容量や各ノード３２０のリンク容量等））である。統合制御アルゴリズムＡ１０により実現される各機能に関しては、後述する。なお、統合制御アルゴリズムＡ１０は、各制御エンジンｅとは別のサーバ（統合制御装置）に構築されていてもよい。 The network configuration information includes network topology information of the physical network 300 and resource constraints (for example, the amount of each physical resource included in the physical network 300 (such as the server capacity of each general-purpose server 310 and the link capacity of each node 320)). The functions realized by the integrated control algorithm A10 will be described later. The integrated control algorithm A10 may be constructed on a server (integrated control device) separate from each control engine e.

〔ハードウェア構成〕
次に、図２を用いて、統合制御システム１０の電気的なハードウェア構成を説明する。図２は、統合制御システムの電気的なハードウェア構成図である。 [Hardware configuration]
Next, the electrical hardware configuration of the integrated control system 10 will be described with reference to Fig. 2. Fig. 2 is a diagram showing the electrical hardware configuration of the integrated control system.

統合制御システム１０は、コンピュータとして、図２に示されているように、ＣＰＵ(Central Processing Unit)１０１、ＲＯＭ(Read Only Memory)１０２、ＲＡＭ(Random Access Memory)１０３、ＳＳＤ(Solid State Drive)１０４、外部機器接続Ｉ／Ｆ(Interface)１０５、ネットワークＩ／Ｆ１０６、メディアＩ／Ｆ１０９、及びバスライン１１０を備えている。 As shown in Figure 2, the integrated control system 10 is a computer and includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an SSD (Solid State Drive) 104, an external device connection I/F (Interface) 105, a network I/F 106, a media I/F 109, and a bus line 110.

これらのうち、ＣＰＵ１０１は、統合制御システム１０全体の動作を制御する。ＲＯＭ１０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ１０１の駆動に用いられるプログラムを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。 Of these, CPU 101 controls the operation of the entire integrated control system 10. ROM 102 stores programs used to drive CPU 101, such as IPL (Initial Program Loader). RAM 103 is used as a work area for CPU 101.

ＳＳＤ１０４は、ＣＰＵ１０１の制御に従って各種データの読み出し又は書き込みを行う。なお、ＳＤＤ１０４の代わりに、ＨＤＤ(Hard Disk Drive)を用いても良い。 SSD104 reads or writes various data under the control of CPU101. Note that a HDD (Hard Disk Drive) may be used instead of SSD104.

外部機器接続Ｉ／Ｆ１０５は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、ディスプレイ、スピーカ、キーボード、マウス、ＵＳＢ(Universal Serial Bus)メモリ、及びプリンタ等である。 The external device connection I/F 105 is an interface for connecting various external devices. In this case, the external devices include a display, speakers, keyboard, mouse, USB (Universal Serial Bus) memory, and printer.

ネットワークＩ／Ｆ１０６は、物理ネットワーク３００等の通信ネットワークを介してデータ通信をするためのインターフェースである。 Network I/F 106 is an interface for data communication via a communication network such as physical network 300.

メディアＩ／Ｆ１０９は、フラッシュメモリ等の記録メディア１０９ｍに対するデータの読み出し又は書き込み（記憶）を制御する。記録メディア１０９ｍには、ＤＶＤ(Digital Versatile Disc)やＢｌｕ-ｒａｙＤｉｓｃ（登録商標）等も含まれる。 The media I/F 109 controls the reading or writing (storing) of data from or to a recording medium 109m such as a flash memory. The recording medium 109m also includes a DVD (Digital Versatile Disc) and a Blu-ray Disc (registered trademark).

バスライン１１０は、図２に示されているＣＰＵ１０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 The bus line 110 is an address bus, data bus, etc. for electrically connecting each component such as the CPU 101 shown in Figure 2.

なお、情報収集・蓄積装置３０、オーケストレータ５０、汎用サーバ３１０、ノード３２０、ユーザ端末３３０は、統合制御システム１０と同様の構成を有するため、ハードウェア構成の説明は省略する。 Note that the information collection and storage device 30, orchestrator 50, general-purpose server 310, node 320, and user terminal 330 have the same configuration as the integrated control system 10, so a description of the hardware configuration will be omitted.

〔統合制御システムの機能構成〕
続いて、図１を用いて、本実施形態に係る統合制御システム１０の機能構成について説明する。統合制御システム１０は、各制御エンジンｅの制御ポリシ及び制約条件に関する情報を利用せずに、各制御エンジンｅが出力した制御依頼から各制御エンジンｅが保持している現在のネットワーク状態に対する評価を推定する。 [Functional configuration of the integrated control system]
Next, the functional configuration of the integrated control system 10 according to this embodiment will be described with reference to Fig. 1. The integrated control system 10 estimates an evaluation of the current network state held by each control engine e from the control request output by each control engine e, without using information related to the control policy and constraint conditions of each control engine e.

具体的には、該当する制御エンジンｅから受け取ったオーケストレータへの制御指示数を、その制御エンジンｅが満たすべき制御ポリシ又は最適な状態との乖離量とみなす。 Specifically, the number of control instructions received from the corresponding control engine e to the orchestrator is considered to be the deviation from the control policy or optimal state that the control engine e must satisfy.

統合制御システム１０は、統合制御が収束するまで、統合制御アルゴリズムＡ１０によって実現される機能による処理を繰り返し実施する。 The integrated control system 10 repeatedly performs processing using the functions realized by the integrated control algorithm A10 until the integrated control converges.

この統合制御アルゴリズムＡ１０によって、情報配布部１１、総合評価推定部１２、制御許可先学習部１３、制御適用判断部１４の各機能を実現することができる。 This integrated control algorithm A10 can realize the functions of the information distribution unit 11, the overall evaluation estimation unit 12, the control permission destination learning unit 13, and the control application judgment unit 14.

これらのうち、情報配布部１１は、情報収集・蓄積装置３０から物理ネットワークのネットワーク状態を示すＮＦＶ環境情報（ネットワーク観測情報、ユーザ需要等）を取得して複数の制御エンジンｅに配布することで、複数の制御エンジンｅから各制御エンジンが所掌する仮想ネットワークに関する制御依頼を受け付ける。 Of these, the information distribution unit 11 acquires NFV environment information (network observation information, user demand, etc.) indicating the network status of the physical network from the information collection and storage device 30 and distributes it to multiple control engines e, thereby accepting control requests from multiple control engines e regarding the virtual networks under the jurisdiction of each control engine.

総合評価推定部１２は、複数の制御エンジンｅから受け取った制御依頼に基づき、現在のネットワーク状況に対して複数の制御エンジンｅが求める制御指示の総数を集計する。制御指示は、仮想ネットワークを１つの単位としても良いし、仮想ネットワークを構成するＶＲ及びＶＮＦの配置変更、又はトラヒック経路の変更等の個々の要素を１つの単位としても良いが、各制御エンジンで共通の単位を用いる。例えば、制御エンジンｅ１が２つの仮想ネットワークに対する制御指示を含む制御依頼を行い、制御エンジンｅ２が３つの仮想ネットワークに対する制御指示を含む制御依頼を行い、制御エンジンｅ３が４つの仮想ネットワークに対する制御指示を含む制御依頼を行った場合、制御指示の総数（累積数）は、９（＝２＋３＋４）となる。 The comprehensive evaluation estimation unit 12 tallies the total number of control instructions requested by the multiple control engines e for the current network situation based on the control requests received from the multiple control engines e. Control instructions may be issued in units of a virtual network, or individual elements such as changes to the placement of VRs and VNFs that make up a virtual network or changes to traffic routes, but each control engine uses a common unit. For example, if control engine e1 issues a control request including control instructions for two virtual networks, control engine e2 issues a control request including control instructions for three virtual networks, and control engine e3 issues a control request including control instructions for four virtual networks, the total number of control instructions (cumulative number) will be 9 (= 2 + 3 + 4).

制御許可先学習部１３は、総合評価推定部１２によって集計された前記制御指示の総数が前回の集計時に比べて少なくなるように、強化学習を利用して制御許可決定用の行動価値関数を更新する。統合制御アルゴリズムＡ１０から、オーケストレータ５０を介して物理ネットワークへ転送できるのは、複数の制御エンジンｅのうちの所定の制御エンジンによる制御依頼だけである。そのため、制御許可先学習部１３は、各制御エンジンｅからの制御指示の総数が前回よりも少なくなるように、複数の制御エンジンｅから所定の制御エンジンｅ（制御依頼）を決めることで、後述のＳ１１～Ｓ２０の統合制御を収束させる。 The control permission destination learning unit 13 uses reinforcement learning to update the action value function for determining control permission so that the total number of control instructions tallied by the overall evaluation estimation unit 12 is reduced compared to the previous count. Only control requests from a specified control engine out of the multiple control engines e can be transferred from the integrated control algorithm A10 to the physical network via the orchestrator 50. Therefore, the control permission destination learning unit 13 converges the integrated control of S11 to S20 described below by determining a specified control engine e (control request) from the multiple control engines e so that the total number of control instructions from each control engine e is reduced compared to the previous count.

制御適用判断部１４は、制御許可決定用の評価が変化した場合には、複数の制御エンジンｅのうちの所定の制御エンジンｅから受け取った所定の制御依頼をオーケストレータ５０へ転送することで、物理ネットワーク側へ転送する。これにより、所定の制御依頼を物理ネットワーク３００へ適用させることができる。このように処理することで、次の処理では、例えば、制御エンジンｅ１が１つの制御指示を含む制御依頼を行い、制御エンジンｅ２が２つの制御指示を含む制御依頼を行い、制御エンジンｅ３が２つの制御指示を含む制御依頼を行った場合、制御指示の総数（累積数）は、６（＝１＋２＋３）となり、前回の総数「９」よりも少なくなっているため、徐々に統合処理が収束する。 When the evaluation for determining control permission changes, the control application determination unit 14 forwards the specified control request received from a specified control engine e among the multiple control engines e to the orchestrator 50, thereby forwarding it to the physical network side. This allows the specified control request to be applied to the physical network 300. By processing in this manner, in the next process, for example, if control engine e1 makes a control request including one control instruction, control engine e2 makes a control request including two control instructions, and control engine e3 makes a control request including two control instructions, the total number (cumulative number) of control instructions will be 6 (= 1 + 2 + 3), which is less than the previous total of 9, and the integration process will gradually converge.

〔統合制御システムの処理又は動作〕
続いて、図３を用いて、第１の実施形態に係る統合制御システム１０の処理又は動作について説明する。図３は、第１の実施形態に係る統合制御の処理を示すフローチャートである。 [Processing or operation of the integrated control system]
Next, the processing or operation of the integrated control system 10 according to the first embodiment will be described with reference to Fig. 3. Fig. 3 is a flowchart showing the integrated control processing according to the first embodiment.

Ｓ１１：情報収集・蓄積装置３０は、ＮＦＶ環境情報（ネットワーク観測情報及びユーザ需要等）を収集する。 S11: The information collection and storage device 30 collects NFV environment information (network observation information, user demand, etc.).

Ｓ１２：情報配布部１１は、情報収集・蓄積装置３０から取得したＮＦＶ環境情報を各制御エンジンｅへ配布する。 S12: The information distribution unit 11 distributes the NFV environmental information obtained from the information collection and storage device 30 to each control engine e.

ここで、各制御エンジンｅの処理を説明する。 Here, we will explain the processing of each control engine e.

Ｓ１０１：制御エンジンｅ１は、情報配布部１１から、ＮＦＶ環境情報を受け取る。 S101: The control engine e1 receives NFV environment information from the information distribution unit 11.

Ｓ１０２：制御エンジンｅ１は、非開示の制御内容の演算を行う。 S102: Control engine e1 calculates the undisclosed control content.

Ｓ１０３：制御エンジンｅ１は、情報配布部１１に対して制御依頼を送信する。 S103: The control engine e1 sends a control request to the information distribution unit 11.

このＳ１０１～１０３の処理は、制御エンジンｅ２，ｅ３によっても行われる。 The processing of S101 to S103 is also performed by control engines e2 and e3.

Ｓ１３：情報配布部１１は、各制御エンジンｅからの制御依頼を受け付ける。 S13: The information distribution unit 11 accepts control requests from each control engine e.

Ｓ１４：総合評価推定部１２は、各制御依頼における制御指示数を集計する。 S14: The overall evaluation estimation unit 12 aggregates the number of control instructions for each control request.

Ｓ１５：総合評価推定部１２は、各制御エンジンｅにおける、前回の制御適用判断時の制御指示数と今回の制御指示数の差分を計算する。 S15: The overall evaluation estimation unit 12 calculates the difference between the number of control instructions at the time of the previous control application decision and the number of control instructions this time for each control engine e.

Ｓ１６：制御許可先学習部１３は、前回の制御適用許可に対する評価を更新する。 S16: The control permission destination learning unit 13 updates the evaluation of the previous control application permission.

Ｓ１７：制御適用判断部１４は、前回と今回で評価が変化したか否かを判断する。 S17: The control application judgment unit 14 determines whether the evaluation has changed between the previous and current evaluations.

Ｓ１８：制御適用判断部１４がステップＳ１７で評価が変化したと判断した場合（ＹＥＳ）、制御適用判断部１４は、各制御エンジンｅから受け取った制御依頼（評価結果及び設定命令）のうち、評価に基づき適用許可を与える制御依頼を１つ決定し、この１つ制御依頼をオーケストレータ５０へ転送する。 S18: If the control application judgment unit 14 determines that the evaluation has changed in step S17 (YES), the control application judgment unit 14 determines one control request from the control requests (evaluation results and setting commands) received from each control engine e to be granted application permission based on the evaluation, and transfers this one control request to the orchestrator 50.

Ｓ１９：オーケストレータ５０は、制御適用判断部１４から受け取った１つの制御依頼を物理ネットワーク３００へ適用する。 S19: The orchestrator 50 applies one control request received from the control application determination unit 14 to the physical network 300.

Ｓ２０：オーケストレータ５０は、適用完了を確認する。その後は、ステップＳ１１の処理に戻る。このステップＳ１１～Ｓ２０，Ｓ１０１～Ｓ１０３は、評価が変化しなくなるまで（Ｓ１７：ＮＯ）、繰り返される。 S20: The orchestrator 50 confirms that the application has been completed. Then, the process returns to step S11. Steps S11 to S20 and S101 to S103 are repeated until the evaluation no longer changes (S17: NO).

一方、ステップＳ１７で、制御適用判断部１４が、評価が変化したと判断しなかった場合、つまり評価が変化しなかったと判断した場合（ＮＯ）、制御適用判断部１４は、どの制御エンジンｅからの制御依頼も不採用とし、一旦制御を終了する。その後は、ステップＳ１１の処理に戻る。そして、情報収集・蓄積装置３０は、ＮＦＶ環境情報（ネットワーク観測情報及びユーザ需要）を収集して（Ｓ１１）、評価が変化し始めると（Ｓ１７；ＹＥＳ）、制御適用判断部１４は、各制御エンジンｅから受け取った制御依頼（評価結果及び設定命令）のうち、評価に基づき適用許可を与える制御依頼を１つ決定し、この１つ制御依頼をオーケストレータ５０へ転送する。On the other hand, if the control application determination unit 14 does not determine in step S17 that the evaluation has changed, that is, if it determines that the evaluation has not changed (NO), the control application determination unit 14 rejects the control requests from any of the control engines e and temporarily terminates control. Thereafter, the processing returns to step S11. Then, the information collection and storage device 30 collects NFV environment information (network observation information and user demand) (S11), and when the evaluation begins to change (S17; YES), the control application determination unit 14 determines one control request to be granted application permission from among the control requests (evaluation results and setting commands) received from each control engine e based on the evaluation, and forwards this one control request to the orchestrator 50.

以上により、第１の実施形態に係る統合制御の処理の説明を終了する。 This concludes the explanation of the integrated control processing related to the first embodiment.

〔処理の具体例〕
続いて、第１の実施形態に係る統合制御の処理の具体例について２種類説明する。 [Specific example of processing]
Next, two specific examples of the integrated control process according to the first embodiment will be described.

＜具体例１―１＞
まず、第１の実施形態に係る統合制御の処理の具体例１―１を説明する。 <Specific example 1-1>
First, a specific example 1-1 of the integrated control process according to the first embodiment will be described.

ある一定の時間間隔Δtにより時刻を離散化し、t(=(t-Δt,t))で表す。Δtは、各制御エンジンの応答時間及びオーケストレータ５０によるネットワーク制御適用時間よりも長いものとする。また、制御エンジン数をNとする。時刻tにおける処理として、統合制御アルゴリズムＡ１０は、時刻t-1における各制御エンジンiの制御依頼M_i(x_t-1)を保持してるものとする。 Time is discretized by a certain time interval Δt and represented as t (= (t - Δt, t)). Δt is assumed to be longer than the response time of each control engine and the network control application time by the orchestrator 50. Furthermore, the number of control engines is assumed to be N. As the processing at time t, the integrated control algorithm A10 is assumed to hold the control request M _i (x _t-1 ) of each control engine i at time t-1.

Ｓ１１１：情報配布部１１は、情報収集・蓄積装置３０からネットワーク状態s_tを取得し、各制御エンジンi∈{1,…,N}にネットワーク状態s_tを通知する。ネットワーク状態s_tは、時刻（t-Δt,t）の期間に収集されたＮＦＶ環境情報（トラヒック量、リソース使用量等）に基づき生成される。 S111: The information distribution unit 11 acquires the network state s _t from the information collection and storage device 30 and notifies each control engine i∈{1,...,N} of the network state s _t . The network state s _t is generated based on the NFV environment information (traffic volume, resource usage, etc.) collected during the time period (t-Δt,t).

Ｓ１１２：各制御エンジンi∈{1,…,N}は、内部ロジックに従って機能配置を計算し、統合制御アルゴリズムＡ１０へ制御依頼M_i(x_t)を通知する。 S112: Each control engine iε{1, . . . , N} calculates a functional allocation according to its internal logic, and notifies the integrated control algorithm A10 of a control request M _i (x _t ).

Ｓ１１３：総合評価推定部１２は、全ての制御エンジンから制御依頼M_i(x_t)を受け取り、（式１）で与えられる状態評価y_i,t-1を計算する。 S113: The comprehensive evaluation estimation unit 12 receives control requests M _i (x _t ) from all control engines and calculates the state evaluation y _i,t-1 given by (Equation 1).

ここで、|M(x)|は、制御依頼がM(x)であるときのオーケストレータ５０への制御指示数とする。 Here, |M(x)| is the number of control instructions to the orchestrator 50 when the control request is M(x).

Ｓ１１４：制御許可先学習部１３は、状態評価の総和r_tを計算し、（式２）で示すように行動価値関数Q(s',i)を更新する。 S114: The control permission destination learning unit 13 calculates the sum _{r_t} of the state evaluations and updates the action value function Q(s',i) as shown in (Equation 2).

ここで、s'_tは，s_tを離散化したベクトルとする。 Here, s' _t is a vector obtained by discretizing s _t .

Ｓ１１５：制御適用判断部１４は、ネットワーク状態s'_tに基づき、（式３）の方策に従い適用許可先の制御エンジンa_t∈{1,…,N}を決定し、制御依頼 S115: The control application determination unit 14 determines the control engine a _t ∈{1, . . . , N} to which application is permitted according to the strategy of (Equation 3) based on the network state s′ _t , and sends a control request

をオーケストレータ５０へ転送する。 to the orchestrator 50.

ここで、ε は別途与えるパラメータとする。 Here, ε is a parameter given separately.

なお、前回（時刻t-1）の決定によって系全体としての制御指示数がどの程度下がったかの評価（Ｓ１１１～Ｓ１１３）をQ関数に反映（Ｓ１１４してから、現時点（時刻t）の適用許可先（Ｓ１１５）を決定するため、後述の具体例１－２と比較して、１時刻分だけ制御適用先決定時の情報量が多い。但し、解算出のレスポンスが遅い制御エンジンがあると、前段のQ関数更新に時間がかかり、適用許可先決定までに時間を要する。 Note that an evaluation of how much the number of control instructions for the entire system has decreased as a result of the previous decision (at time t-1) (S111 to S113) is reflected in the Q function (S114), and then the application permission destination (S115) at the current time (time t) is determined. Therefore, compared to specific example 1-2 described below, the amount of information required to determine the control application destination is one time period larger. However, if there is a control engine with a slow response in calculating the solution, it will take time to update the Q function in the previous stage, and it will take time to determine the application permission destination.

以上により、第１の実施形態に係る統合制御の処理の具体例１－１の説明を終了する。 This concludes the explanation of specific example 1-1 of integrated control processing related to the first embodiment.

＜具体例１－２＞
続いて、第１の実施形態に係る統合制御の処理の具体例１－２を説明する。 <Specific example 1-2>
Next, a specific example 1-2 of the integrated control process according to the first embodiment will be described.

上記具体例１－１と同様の条件、即ち、ある一定の時間間隔Δtにより時刻を離散化し、t(=(t-Δt,t))で表す。Δtは、各制御エンジンの応答時間及びオーケストレータ５０によるネットワーク制御適用時間よりも長いものとする。また、制御エンジン数をNとする。時刻tにおける処理として、統合制御アルゴリズムＡ１０は、時刻t-1における各制御エンジンiの制御依頼M_i(x_t-1)を保持してるものとする。 The same conditions as in Example 1-1 above are used, i.e., time is discretized using a certain time interval Δt and expressed as t (= (t - Δt, t)). Δt is assumed to be longer than the response time of each control engine and the network control application time by the orchestrator 50. Also, the number of control engines is assumed to be N. As the processing at time t, the integrated control algorithm A10 is assumed to hold the control request M _i (x _t-1 ) of each control engine i at time t-1.

Ｓ１２１：情報配布部１１は、情報収集・蓄積装置３０からネットワーク状態s_tを取得する。ネットワーク状態s_tは、時刻（t-Δt,t）の期間に収集されたＮＦＶ
環境情報（トラヒック量、リソース使用量等）に基づき生成される。 S121: The information distribution unit 11 acquires the network state s _t from the information collection and storage device 30. The network state s _t is the NFV collected during the time period (t-Δt, t).
It is generated based on environmental information (traffic volume, resource usage, etc.).

Ｓ１２２：制御適用判断部１４は、ネットワーク状態s'_tに基づき、上記（式３）の方策に従い適用許可先の制御エンジンa_t∈{1,…,N}を決定する。 S122: The control application determination unit 14 determines the control engine a _t ∈{1, . . . , N} to which application is permitted, based on the network state s′ _t , in accordance with the strategy of (Equation 3) above.

Ｓ１２３：情報配布部１１は、各制御エンジンi∈{1,…,N}にネットワーク状態s_tを通知する。 S123: The information distribution unit 11 notifies each control engine iε{1, . . . , N} of the network state s _t .

Ｓ１２４：各制御エンジンi∈{1,…,N}は、内部ロジックに従って機能配置を計算し、統合制御アルゴリズムＡ１０へ制御依頼M_i(x_t)を通知する。 S124: Each control engine iε{1, . . . , N} calculates a functional allocation according to its internal logic, and notifies the integrated control algorithm A10 of a control request M _i (x _t ).

Ｓ１２５：制御適用判断部１４は、制御エンジンa_t から制御依頼 S125: The control application determination unit 14 receives a control request from the control engine _a

を受け取り次第、オーケストレータ５０へ転送する。 Upon receiving the request, the request is forwarded to the orchestrator 50.

Ｓ１２６：総合評価推定部１２は、全ての制御エンジンから制御依頼M_i(x_t)を受け取り、上記（式１）で与えられる状態評価y_i,t-1を計算する。ここで、|M(x))|は制御依頼がM(x)であるときのオーケストレータ５０への制御指示数とする。 S126: The comprehensive evaluation estimation unit 12 receives control requests M _i (x _t ) from all control engines and calculates the state evaluation y _i,t−1 given by the above (Equation 1), where |M(x)| is the number of control instructions to the orchestrator 50 when the control request is M(x).

Ｓ１２７：制御許可先学習部１３は、状態評価の総和r_tを計算し、上記（式２）で示すように行動価値関数Q(s',i)を更新する。 S127: The control permission destination learning unit 13 calculates the sum _{r_t} of the state evaluations and updates the action value function Q(s',i) as shown in the above (Equation 2).

なお、前回（時刻t-1）までのQ関数に基づいて制御適用先の決定（Ｓ１２１～Ｓ１２５）を行ってから前回の決定に対してQ関数を更新（Ｓ１２６，Ｓ１２７）するため、制御依頼の適用にあたっては、上述の具体例１－１と比べてレスポンスが早い。但し、選択された制御アルゴリズムのレスポンスが遅い場合には、具体例１－１と同等になる。また、前回の決定に対する評価（Q関数の更新）が今回の決定の後となることで、状況変化への追従性が下がる。 Note that because the control application destination is determined (S121 to S125) based on the Q function up to the previous time (time t-1), and then the Q function is updated (S126, S127) for the previous decision, the response to the control request is faster than in Specific Example 1-1 above. However, if the response of the selected control algorithm is slow, the result will be the same as Specific Example 1-1. Also, because the evaluation of the previous decision (updating the Q function) is performed after the current decision, the ability to follow changes in the situation is reduced.

〔第１の実施形態の効果〕
以上説明したように、本実施形態の統合制御システム１０は、制御エンジンの制御ポリシや制約条件に関する情報を利用せずに、各制御エンジンが出力した制御依頼から各制御エンジンが保持している現在のネットワーク状態に対する評価推定を実現する。そして、統合制御システム１０は、その結果を踏まえ、各制御エンジンから受け取った制御依頼を、ネットワーク基盤（物理ネットワーク３００）への制御指示を行うオーケストレータへ転送する。これにより、統合制御システム１０は、制御エンジン側のアルゴリズムの開示を受けなくても、全ての制御エンジンを対象とした制御完了状態（個々の制御ポリシが満たされた最適な状態、もしくは全体としてそれ以上改善することが不可能な状態）までの統合制御を効率よく実施することが可能となるという効果を奏する。 [Effects of the First Embodiment]
As described above, the integrated control system 10 of this embodiment realizes an evaluation and estimation of the current network state held by each control engine from the control requests output by each control engine, without using information about the control policies and constraints of the control engines. Then, based on the results, the integrated control system 10 forwards the control requests received from each control engine to an orchestrator that issues control instructions to the network infrastructure (physical network 300). This advantageously enables the integrated control system 10 to efficiently perform integrated control for all control engines up to a control completion state (an optimal state in which individual control policies are satisfied, or a state in which further improvement as a whole is impossible) without being disclosed the algorithms of the control engines.

●第２の実施形態
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態は、第１の実施形態の変形例であり、第２の実施形態に係る統合制御システム２０は、第１の実施形態に係る統合制御システム１０に対して、メディエータｍ１，ｍ２，ｍ３が追加されている。なお、ここでは、３つのメディエータｍ１，ｍ２，ｍ３が示されているが、２つであっても良いし、４つ以上であってもよい。また、メディエータｍ１，ｍ２，ｍ３の総称を「メディエータｍ」と示す。メディエータｍは、制御エンジンｅ毎に設けられている。 Second Embodiment Next, a second embodiment of the present invention will be described. The second embodiment is a modified example of the first embodiment, and the integrated control system 20 according to the second embodiment is configured by adding mediators m1, m2, and m3 to the integrated control system 10 according to the first embodiment. Although three mediators m1, m2, and m3 are shown here, the number may be two, or four or more. Furthermore, the mediators m1, m2, and m3 are collectively referred to as "mediator m." A mediator m is provided for each control engine e.

〔実施形態のシステム構成〕
図４を用いて、第２実施形態の通信システムの構成の概略について説明する。図４は、第２の実施形態に係る通信システムの全体構成図である。 [System configuration of the embodiment]
The configuration of the communication system according to the second embodiment will be outlined below with reference to Fig. 4. Fig. 4 is a diagram showing the overall configuration of the communication system according to the second embodiment.

図１４示されているように、本実施形態の通信システムは、統合制御システム２０、情報収集・蓄積装置３０、オーケストレータ５０、ネットワーク基盤としての物理ネットワーク３００によって構築されている。なお、第１の実施形態と同様の装置、構成又は機能は、同一の記号を付して説明を省略する。As shown in Figure 14, the communication system of this embodiment is constructed by an integrated control system 20, an information collection and storage device 30, an orchestrator 50, and a physical network 300 as the network infrastructure. Note that devices, configurations, or functions similar to those of the first embodiment are denoted by the same symbols and descriptions thereof are omitted.

統合制御システム２０は、単一又は複数のコンピュータによって構築されており、ネットワーク事業者によって管理されている。統合制御システム２０は、ネットワーク事業者自身が作成した制御エンジン、サードパーティーであるサービス事業者が作成した制御エンジン等である複数の制御エンジンｅを有している。また、統合制御システム２０は、統合制御アルゴリズムＡ２０及び複数のメディエータｍを有している。 The integrated control system 20 is constructed using a single or multiple computers and is managed by a network operator. The integrated control system 20 has multiple control engines e, such as control engines created by the network operator itself and control engines created by third-party service providers. The integrated control system 20 also has an integrated control algorithm A20 and multiple mediators m.

統合制御アルゴリズムＡ２０は、基本的に第１の実施形態に係る統合制御アルゴリズムＡ１０と同様の役割を果たす。統合制御アルゴリズムＡ２０と統合制御アルゴリズムＡ１０の相違点は後述する。 The integrated control algorithm A20 basically performs the same function as the integrated control algorithm A10 according to the first embodiment. The differences between the integrated control algorithm A20 and the integrated control algorithm A10 will be described later.

メディエータｍは、情報収集・蓄積装置３０から受け取ったＮＦＶ環境情報に対し、各制御エンジンｅに対する制御許可頻度に応じた調整量を加算することでＮＦＶ環境情報を加工して、各制御エンジンｅに配布する。即ち、メディエータｍは、情報配布部２１が出力した複数のＮＦＶ環境情報に基づいて所定の単一のＮＦＶ環境情報に加工し、加工後のＮＦＶ環境情報を各制御エンジンｅに配布する。例えば、メディエータｍは、後述のＦＰＬ(Follow the Perturbed Leader)アルゴリズムを用いて、複数のＮＦＶ環境情報に一様ランダムな値を加えて平均を取ることで加工後のＮＦＶ環境情報を得る。 Mediator m processes the NFV environmental information received from the information collection and storage device 30 by adding an adjustment amount corresponding to the control permission frequency for each control engine e, and distributes the processed NFV environmental information to each control engine e. That is, mediator m processes the multiple NFV environmental information output by the information distribution unit 21 into a predetermined single piece of NFV environmental information, and distributes the processed NFV environmental information to each control engine e. For example, mediator m obtains the processed NFV environmental information by adding a uniformly random value to the multiple NFV environmental information using the FPL (Follow the Perturbed Leader) algorithm described below and taking the average.

〔統合制御システムの機能構成〕
本実施形態では、統合制御アルゴリズムＡ２０が学習した行動価値関数に基づき、制御適用許可先を決定する。そのため、制御エンジンｅ間で制御適用許可を受ける頻度も異なれば、制御許可を得られない期間に該当制御エンジンｅが受け持つサービスの状況が悪化する可能性がある。そこで、本実施形態では、オンライン意思決定法を活用することで、各制御エンジンｅの時間平均性能を改善する。具体的には、統合制御システム２０は、統合制御アルゴリズムＡ２０と各制御エンジンｅの間にそれぞれの制御エンジン用のメディエータｅを用い、制御エンジンｅに配布する情報に対して、制御許可頻度に応じた大きさの調整量を加えることで、一時的なネットワーク状態に強く依存しない解を制御エンジンｅに算出させる。 [Functional configuration of the integrated control system]
In this embodiment, the integrated control algorithm A20 determines the control application permission destination based on the learned action value function. Therefore, if the frequency of receiving control application permission differs among the control engines e, the status of the service handled by the corresponding control engine e may deteriorate during periods when control permission is not obtained. Therefore, in this embodiment, an online decision-making method is utilized to improve the time-averaged performance of each control engine e. Specifically, the integrated control system 20 uses mediators e for each control engine between the integrated control algorithm A20 and each control engine e, and adds an adjustment amount corresponding to the frequency of control permission to the information distributed to the control engine e, thereby causing the control engine e to calculate a solution that is not strongly dependent on temporary network conditions.

統合制御システム２０は、統合制御が収束するまで、統合制御アルゴリズムＡ２０によって実現される機能による処理を繰り返し実施する。 The integrated control system 20 repeatedly performs processing using the functions realized by the integrated control algorithm A20 until the integrated control converges.

この統合制御アルゴリズムＡ２０によって、情報配布部２１、総合評価推定部２２、制御許可先学習部２３、及び制御適用判断部２４の各機能を実現することができる。情報配布部２１、総合評価推定部２２、制御許可先学習部２３、及び制御適用判断部２４は、それぞれ基本的に、情報配布部１１、総合評価推定部１２、制御許可先学習部１３、及び制御適用判断部１４と同様の機能である。但し、情報配布部２１は、各メディエータｍを介することで、各制御エンジンｅに加工後のＮＦＶ環境情報を配布することができる。また、総合評価推定部２２は、各制御エンジンｅから各メディエータｍを介して制御依頼（制御指示）を受け取る。 This integrated control algorithm A20 can realize the functions of the information distribution unit 21, overall evaluation estimation unit 22, control permission destination learning unit 23, and control application judgment unit 24. The information distribution unit 21, overall evaluation estimation unit 22, control permission destination learning unit 23, and control application judgment unit 24 basically have the same functions as the information distribution unit 11, overall evaluation estimation unit 12, control permission destination learning unit 13, and control application judgment unit 14, respectively. However, the information distribution unit 21 can distribute processed NFV environmental information to each control engine e via each mediator m. In addition, the overall evaluation estimation unit 22 receives control requests (control instructions) from each control engine e via each mediator m.

〔統合制御システムの処理又は動作〕
続いて、図５を用いて、第２の実施形態に係る統合制御システム２０の処理又は動作について説明する。図５は、第２の実施形態に係る統合制御の処理を示すフローチャートである。 [Processing or operation of the integrated control system]
Next, the processing or operation of the integrated control system 20 according to the second embodiment will be described with reference to Fig. 5. Fig. 5 is a flowchart showing the integrated control processing according to the second embodiment.

Ｓ３１：情報収集・蓄積装置３０は、物理ネットワークのネットワーク状態を示すＮＦＶ環境情報（ネットワーク観測情報及びユーザ需要等）を収集する。 S31: The information collection and storage device 30 collects NFV environment information (network observation information, user demand, etc.) that indicates the network status of the physical network.

Ｓ３２：情報配布部２１は、情報収集・蓄積装置３０から取得したＮＦＶ環境情報を各メディエータｍに送信する。また、各メディエータｍは、ＮＦＶ環境情報を加工して、対応する各制御エンジンｅへ配布する。 S32: The information distribution unit 21 transmits the NFV environment information obtained from the information collection and storage device 30 to each mediator m. In addition, each mediator m processes the NFV environment information and distributes it to each corresponding control engine e.

Ｓ２０１：制御エンジンｅ１は、メディエータｅ１から、加工後のＮＦＶ環境情報を受け取る。 S201: Control engine e1 receives processed NFV environment information from mediator e1.

Ｓ２０２：制御エンジンｅ１は、非開示の制御内容の演算を行う。 S202: Control engine e1 calculates the undisclosed control content.

Ｓ２０３：制御エンジンｅ１は、情報配布部１１に対して制御依頼を送信する。 S203: The control engine e1 sends a control request to the information distribution unit 11.

このＳ２０１～２０３の処理は、制御エンジンｅ２，ｅ３によっても行われる。 The processing of S201 to S203 is also performed by control engines e2 and e3.

Ｓ３３：各メディエータｍは、各制御エンジンｅからの制御依頼を受け付け、総合評価推定部２２に渡す。 S33: Each mediator m accepts a control request from each control engine e and passes it to the overall evaluation estimation unit 22.

Ｓ３４：総合評価推定部２２は、各制御依頼における制御指示数を集計する。 S34: The overall evaluation estimation unit 22 aggregates the number of control instructions for each control request.

Ｓ３５：総合評価推定部２２は、各制御エンジンｅにおける、前回の制御適用判断時の制御指示数と今回の制御指示数の差分を計算する。 S35: The overall evaluation estimation unit 22 calculates the difference between the number of control instructions at the time of the previous control application decision and the number of control instructions this time for each control engine e.

Ｓ３６：制御許可先学習部２３は、前回の制御適用許可に対する評価を更新する。 S36: The control permission destination learning unit 23 updates the evaluation of the previous control application permission.

Ｓ３７：制御適用判断部２４は、前回と今回で評価が変化したか否かを判断する。 S37: The control application judgment unit 24 determines whether the evaluation has changed between the previous and current evaluations.

Ｓ３８：制御適用判断部２４がステップＳ３７で評価が変化したと判断した場合（ＹＥＳ）、制御適用判断部２４は、各制御エンジンｅから受け取った制御依頼（評価結果及び設定命令）のうち、評価に基づき適用許可を与える制御依頼を１つ決定し、この１つ制御依頼をオーケストレータ５０へ転送する。 S38: If the control application judgment unit 24 determines that the evaluation has changed in step S37 (YES), the control application judgment unit 24 determines one control request from the control requests (evaluation results and setting commands) received from each control engine e to be granted application permission based on the evaluation, and transfers this one control request to the orchestrator 50.

Ｓ３９：オーケストレータ５０は、制御適用判断部２４から受け取った１つの制御依頼を物理ネットワーク３００へ適用する。 S39: The orchestrator 50 applies one control request received from the control application determination unit 24 to the physical network 300.

Ｓ４０：オーケストレータ５０は、適用完了を確認する。その後は、ステップＳ３１の処理に戻る。このステップＳ３１～Ｓ４０，Ｓ２０１～Ｓ２０３は、評価が変化しなくなるまで（Ｓ３７：ＮＯ）、繰り返される。 S40: The orchestrator 50 confirms that the application has been completed. Then, the process returns to step S31. Steps S31 to S40 and S201 to S203 are repeated until the evaluation no longer changes (S37: NO).

一方、ステップＳ３７で、制御適用判断部２４が、評価が変化したと判断しなかった場合、つまり評価が変化しなかったと判断した場合（ＮＯ）、制御適用判断部２４は、どの制御エンジンｅからの制御依頼も不採用とし、一旦制御を終了する。その後は、ステップＳ３１の処理に戻る。そして、情報収集・蓄積装置３０は、ＮＦＶ環境情報（ネットワーク観測情報及びユーザ需要）を収集して（Ｓ３１）、評価が変化し始めると（Ｓ３７；ＹＥＳ）、制御適用判断部２４は、各制御エンジンｅから受け取った制御依頼（評価結果及び設定命令）のうち、評価に基づき適用許可を与える制御依頼を１つ決定し、この１つ制御依頼をオーケストレータ５０へ転送する。 On the other hand, if the control application determination unit 24 does not determine in step S37 that the evaluation has changed, that is, if it determines that the evaluation has not changed (NO), the control application determination unit 24 rejects the control requests from any of the control engines e and temporarily terminates control. Thereafter, the processing returns to step S31. Then, the information collection and storage device 30 collects NFV environment information (network observation information and user demand) (S31), and when the evaluation begins to change (S37; YES), the control application determination unit 24 determines one control request to be granted application permission from among the control requests (evaluation results and setting commands) received from each control engine e based on the evaluation, and forwards this one control request to the orchestrator 50.

以上により、第２の実施形態に係る統合制御の処理の説明を終了する。 This concludes the explanation of the integrated control processing related to the second embodiment.

〔処理の具体例〕
続いて、第２の実施形態に係る統合制御の処理の具体例について２種類説明する。 [Specific example of processing]
Next, two specific examples of the integrated control process according to the second embodiment will be described.

＜具体例２―１＞
まず、第２の実施形態に係る統合制御の処理の具体例２―１を説明する。 <Example 2-1>
First, a specific example 2-1 of the integrated control process according to the second embodiment will be described.

上記具体例１－１と同様の条件、即ち、ある一定の時間間隔Δtにより時刻を離散化し、t(=(t-Δt,t))で表す。Δtは、各制御エンジンの応答時間及びオーケストレータ５０によるネットワーク制御適用時間よりも長いものとする。また、制御エンジン数をNとする。時刻tにおける処理として、統合制御アルゴリズムＡ２０は、時刻t-1における各制御エンジンiの制御依頼M_i(x_t-1)を保持してるものとする。 The same conditions as in Example 1-1 above are used, i.e., time is discretized using a certain time interval Δt and expressed as t (= (t - Δt, t)). Δt is assumed to be longer than the response time of each control engine and the network control application time by the orchestrator 50. Also, the number of control engines is assumed to be N. As the processing at time t, the integrated control algorithm A20 is assumed to hold the control request M _i (x _t-1 ) of each control engine i at time t-1.

Ｓ２１１：情報配布部１１は、情報収集・蓄積装置３０からネットワーク状態s_tを取得し、各メディエータi∈{1,…,N} にネットワーク状態s_tを通知する。ネットワーク状態s_tは、時刻（t-Δt,t）の期間に収集されたＮＦＶ環境情報（トラヒック量、リソース使用量等）に基づき生成される。 S211: The information distribution unit 11 acquires the network state s _t from the information collection and storage device 30 and notifies each mediator i∈{1,...,N} of the network state s _t . The network state s _t is generated based on the NFV environment information (traffic volume, resource usage, etc.) collected during the time period (t-Δt,t).

Ｓ２１２：各メディエータi∈{1,…,N}は、（式４）で与えられる加工済のネットワーク状態x_i,tを各制御アルゴリズムM_iに通知する。 S212: Each mediator iε{1, . . . , N} notifies each control algorithm M _i of the processed network state x _i,t given by (Equation 4).

この場合、x_i,tは、後述のＦＰＬ(Follow the Perturbed Leader)アルゴリズムに基づいている。 In this case, x _i,t is based on the FPL (Follow the Perturbed Leader) algorithm described below.

Ｓ２１３：各制御エンジンi∈{1,…,N}は、内部ロジックに従って機能配置を計算し、各メディエータを介して統合制御アルゴリズムＡ２０へ制御依頼M_i(x_i,t)を通知する。 S213: Each control engine iε{1, . . . , N} calculates a functional allocation according to its internal logic, and notifies the integrated control algorithm A20 of a control request M _i (x _i,t ) via each mediator.

Ｓ２１４：総合評価推定部１２は、全ての制御エンジンから制御依頼M_i(x_i,t)を受け取り、（式５）で与えられる状態評価y_i,t-1を計算する。 S214: The comprehensive evaluation estimation unit 12 receives the control requests M _i (x _i,t ) from all the control engines and calculates the state evaluation y _i,t-1 given by (Equation 5).

Ｓ２１５：制御許可先学習部１３は、状態評価の総和r_tを計算し、上記（式２）で示すように行動価値関数Q(s',i))を更新する。 S215: The control permission destination learning unit 13 calculates the sum _{r_t} of the state evaluations and updates the action value function Q(s', i) as shown in the above (Equation 2).

Ｓ２１６：制御適用判断部１４は、ネットワーク状態s'_tに基づき、上記（式３）の方策に従い適用許可先の制御エンジンa_t∈{1,…,N}を決定し、制御依頼 S216: The control application determination unit 14 determines the control engine a _t ∈{1, . . . , N} to which application is permitted in accordance with the policy of (Equation 3) above, based on the network state s′ _t , and sends a control request.

をオーケストレータ５０へ転送する。 to the orchestrator 50.

なお、この具体例２－１では、ネットワーク情報の加工に後述のＦＰＬアルゴリズムを利用しているが、例えば回帰分析などを活用した予測アルゴリズムに置き換えても良い。 In this specific example 2-1, the FPL algorithm described below is used to process network information, but this may also be replaced with a predictive algorithm that utilizes, for example, regression analysis.

以上により、第２の実施形態に係る統合制御の処理の具体例２－１の説明を終了する。 This concludes the explanation of specific example 2-1 of integrated control processing related to the second embodiment.

＜具体例２－２＞
続いて、第２の実施形態に係る統合制御の処理の具体例２－２を説明する。 <Specific example 2-2>
Next, a specific example 2-2 of the integrated control process according to the second embodiment will be described.

Ｓ２２１：情報配布部１１は、情報収集・蓄積装置３０からネットワーク状態s_tを取得する。ネットワーク状態s_tは、時刻（t-Δt,t）の期間に収集されたＮＦＶ環境情報（トラヒック量、リソース使用量等）に基づき生成される。 S221: The information distribution unit 11 acquires the network state s _t from the information collection and storage device 30. The network state s _t is generated based on the NFV environment information (traffic volume, resource usage, etc.) collected during the time period (t-Δt, t).

Ｓ２２２：制御適用判断部１４は、ネットワーク状態s'_tに基づき、上記（式３）の方策に従い適用許可先の制御エンジンa_t∈{1,…,N}を決定する。 S222: The control application determination unit 14 determines the control engine a _t ∈{1, . . . , N} to which application is permitted, based on the network state s′ _t , in accordance with the strategy of (Equation 3) above.

Ｓ２２３：情報配布部１１は、各メディエータi∈{1,…,N}にネットワーク状態s_tを通知する。 S223: The information distributor 11 notifies each mediator iε{1, . . . , N} of the network state s _t .

Ｓ２２４：各メディエータi∈{1,…,N}は、上記（式４）で与えられる加工済のネットワーク状態x_i,tを各制御アルゴリズムM_iに通知する。 S224: Each mediator iε{1, . . . , N} notifies each control algorithm M _i of the processed network state x _i,t given by the above (Equation 4).

Ｓ２２５：各制御エンジンi∈{1,…,N}は、内部ロジックに従って機能配置を計算し、統合制御アルゴリズムＡ２０へ制御依頼M_i(x_i,t)を通知する。 S225: Each control engine iε{1, . . . , N} calculates a functional allocation according to its internal logic, and notifies the integrated control algorithm A20 of a control request M _i (x _i,t ).

Ｓ２２６：制御適用判断部１４は、制御エンジンa_t から制御依頼 S226: The control application determination unit 14 receives a control request from the control engine _a

Ｓ２２７：総合評価推定部１２は、全ての制御エンジンから制御依頼M_i(x_i,t)を受け取り、上記（式５）で与えられる状態評価y_i,t-1を計算する。 S227: The comprehensive evaluation estimation unit 12 receives the control requests M _i (x _i,t ) from all the control engines, and calculates the state evaluation y _i,t-1 given by the above (Equation 5).

Ｓ２２８：制御許可先学習部１３は、状態評価の総和r_tを計算し、上記（式２）で示すように行動価値関数Q(s',i)を更新する。 S228: The control permission destination learning unit 13 calculates the sum _{r_t} of the state evaluations and updates the action value function Q(s',i) as shown in the above (Equation 2).

なお、この具体例２－２では、具体例２－１と同様に、ネットワーク情報の加工に後述のＦＰＬアルゴリズムを利用しているが、例えば回帰分析などを活用した予測アルゴリズムに置き換えても良い。 In this specific example 2-2, as in specific example 2-1, the FPL algorithm described below is used to process network information, but this may also be replaced with a predictive algorithm that utilizes, for example, regression analysis.

以上により、第２の実施形態に係る統合制御の処理の具体例２－２の説明を終了する。 This concludes the explanation of specific example 2-2 of integrated control processing related to the second embodiment.

＜ＦＰＬアルゴリズム＞
続いて、メディエータｍが行うネットワーク情報の加工の一例として、ＦＰＬアルゴリズムを用いた場合について説明する。 <FPL Algorithm>
Next, a case where the FPL algorithm is used will be described as an example of processing of network information performed by the mediator m.

まず、前提として、n次元空間における線形和コストのオンライン意思決定問題として、以下の状態になっているものとする。 First, let us assume that the online decision-making problem with linear sum costs in n-dimensional space is in the following state.

時刻tの時の意思決定をd_t とする：d_t∈D⊂Rⁿ
意思決定d_t の後に（ネットワーク）状態s_tが観測される：s_t∈S⊂Rⁿ
コストは意思決定と（ネットワーク）状態の内積d・sで定義される
M(s)をsが与えられた時のコスト最小解を与える関数とする Let _dt be the decision at time t: _dt ^∈D⊂Rn
After decision d _t , a (network) state s _t is observed: s _t ∈ S ⊂ R ⁿ
Cost is defined as the dot product d·s of the decision and the (network) state.
Let M(s) be the function that gives the minimum cost solution when s is given.

この場合、
（１）ＦＰＬ(δ)アルゴリズムは、各時刻tにおいて、p_t
を in this case,
(1) The FPL(δ) algorithm calculates p _t at each time t.
of

から一様にランダムに選ぶ。
（２）制御エンジンｅは、 are chosen uniformly at random from
(2) The control engine e is

を意思決定とする。 is the decision-making process.

また、定理として、ＦＰＬアルゴリズムによる累積コストの期待値はδをパラメータとして以下で与えられる． Also, as a theorem, the expected cumulative cost using the FPL algorithm is given below with δ as a parameter.

但し、 however,

全てのd,d'∈Dに対して、 For all d,d'∈D,

全てのd∈D, s∈Sに対して、 For all d∈D, s∈S,

全てのs∈Sに対して、 For all s∈S,

である。 is.

〔第２の実施形態の効果〕
以上説明したように、本実施形態の統合制御システム１０は、第１の実施形態と同様の効果を奏する。 [Effects of the second embodiment]
As described above, the integrated control system 10 of this embodiment has the same effects as the first embodiment.

更に、オーケストレータ５０では、特定の１つの制御エンジンｅによる制御依頼しか採用しないため、統合制御が収束するには多くの時間が掛かり、又は所定時間内で統合制御できる頻度が減ってしまうという課題が生じる。これを防ぐために、第２の実施形態では、メディエータｍが、例えば、１０回分の取得したネットワーク情報を記憶しておき、ＦＰＬアルゴリズム等を利用することで、１回分の単一のネットワーク情報に加工してから制御エンジンｅに送る。これにより、当該課題を解決することができる。 Furthermore, because the orchestrator 50 only accepts control requests from one specific control engine e, it takes a long time for the integrated control to converge, or the frequency with which integrated control can be performed within a given time period decreases. To prevent this, in the second embodiment, the mediator m stores, for example, 10 sets of acquired network information, and processes it into a single set of network information using an FPL algorithm or the like before sending it to the control engine e. This solves the problem.

〔補足〕
以上、本発明は、上記の実施形態に限定されることなく、例えば以下に示すように、種々の変更及び応用が可能である。〔supplement〕
As described above, the present invention is not limited to the above-described embodiment, and various modifications and applications are possible, for example, as shown below.

（１）統合制御システム１０、２０、統合制御装置Ａ１０，Ａ２０は、コンピュータとプログラムによって実現できるが、このプログラムを（非一時的）記録媒体に記録することも、インターネット等の通信ネットワークを介して提供することも可能である。 (1) The integrated control systems 10, 20 and the integrated control devices A10, A20 can be realized using a computer and a program, but this program can also be recorded on a (non-temporary) recording medium or provided via a communication network such as the Internet.

（２）ＣＰＵ１０１は、単一だけでなく、複数であってもよい。 (2) The CPU 101 may be multiple, not just single.

１０統合制御システム
Ａ１０統合制御アルゴリズム（統合制御装置）
１１情報配布部
１２総合評価推定部
１３制御許可先学習部
１４制御適用判断部
ｅ，ｅ１～ｅ３制御エンジン
Ａ２０統合制御アルゴリズム（統合制御装置）
２１情報配布部
２２総合評価推定部
２３制御許可先学習部
２４制御適用判断部
ｍ，ｍ１～ｍ３メディエータ
３０情報収集・蓄積装置
５０オーケストレータ
３００物理ネットワーク（ネットワーク基盤、ＮＦＶ環境）
３１０汎用サーバ
３２０ノード（転送装置）
３３０ユーザ端末 10 Integrated control system A10 Integrated control algorithm (integrated control device)
11 Information distribution unit 12 Overall evaluation estimation unit 13 Control permission destination learning unit 14 Control application determination unit e, e1 to e3 Control engine A 20 Integrated control algorithm (integrated control device)
21 Information distribution unit 22 Overall evaluation estimation unit 23 Control permission destination learning unit 24 Control application determination unit m, m1 to m3 Mediator 30 Information collection and storage device 50 Orchestrator 300 Physical network (network infrastructure, NFV environment)
310 General-purpose server 320 Node (transfer device)
330 User Terminal

Claims

An integrated control device that integrates and controls a plurality of control engines for constructing a plurality of different virtual networks on a physical network,
an information distribution unit that receives control requests for the plurality of virtual networks from the plurality of control engines by acquiring NFV (Network Functions Virtualization) environment information indicating the status of the physical network and distributing the information to the plurality of control engines;
a comprehensive evaluation estimation unit that counts the total number of control instructions in the control requests from the plurality of control engines with respect to a current state of the physical network based on the control requests received from the plurality of control engines;
a control permission destination learning unit that updates an action value function for determining control permission by using reinforcement learning so that the total number of the control instructions tallied by the comprehensive evaluation estimation unit becomes smaller than that at the time of the previous talliation;
a control application determination unit that, when the total number of control instructions tallied by the comprehensive evaluation estimation unit has changed between the previous time and the current time , determines a predetermined control engine from among the plurality of control engines based on the action value function, and transfers a predetermined control request received from the predetermined control engine to the physical network side;
An integrated control device having:

The integrated control device according to claim 1;
the plurality of control engines;
Integrated control system with

3. The integrated control system according to claim 2,
An integrated control system having a mediator that processes the multiple NFV environmental information output by the information distribution unit into a predetermined single NFV environmental information and distributes the processed NFV environmental information to the multiple control engines.

The integrated control system described in claim 3, wherein the mediator uses an FPL algorithm to add uniformly random values to multiple pieces of NFV environmental information and take the average to obtain the processed NFV environmental information.

An integrated control system that integrates and controls a plurality of control engines for constructing a plurality of different virtual networks on a physical network,
an information distribution unit that receives control requests for the plurality of virtual networks from the plurality of control engines by acquiring NFV environment information indicating the status of the physical network and distributing the information to the plurality of control engines;
a comprehensive evaluation estimation unit that counts the total number of control instructions in the control requests from the plurality of control engines with respect to a current state of the physical network based on the control requests received from the plurality of control engines;
a control permission destination learning unit that updates an action value function for determining control permission by using reinforcement learning so that the total number of the control instructions tallied by the comprehensive evaluation estimation unit becomes smaller than that at the time of the previous talliation;
a control application determination unit that, when the total number of control instructions tallied by the comprehensive evaluation estimation unit has changed between the previous time and the current time , determines a predetermined control engine from among the plurality of control engines based on the action value function, and transfers a predetermined control request received from the predetermined control engine to the physical network side;
and an integrated control algorithm that realizes
the plurality of control engines;
Integrated control system with

6. The integrated control system according to claim 5,
An integrated control system having a mediator that processes the multiple NFV environmental information output by the information distribution unit into a predetermined single NFV environmental information and distributes the processed NFV environmental information to the multiple control engines.

1. An integrated control method executed by an integrated control device that integrates and controls a plurality of control engines for constructing a plurality of different virtual networks on a physical network, comprising:
The integrated control device
an information distribution process for receiving control requests for the plurality of virtual networks from the plurality of control engines by acquiring NFV environment information indicating the status of the physical network and distributing the information to the plurality of control engines;
a comprehensive evaluation estimation process for tallying up the total number of control instructions in the control requests from the plurality of control engines with respect to the current state of the physical network, based on the control requests received from the plurality of control engines;
a control permission destination learning process that updates an action value function for determining control permission using reinforcement learning so that the total number of control instructions tallied by the comprehensive evaluation estimation process is smaller than that at the time of the previous talliation;
a control application determination process for determining a predetermined control engine from among the plurality of control engines based on the action value function when the total number of control instructions tallied by the comprehensive evaluation estimation process has changed between the previous time and the current time , and forwarding a predetermined control request received from the predetermined control engine to the physical network side;
An integrated control method for performing the above.

A program causing a computer to execute the method described in claim 7.