JP7306481B2 - 分散処理システム - Google Patents

Description

本発明は、複数の分散システムを連携させて情報処理を行う分散処理システムに関するものである。

深層学習では、多層のニューロンモデルからなる学習対象について、各ニューロンモデルの重み（前段のニューロンモデルが出力した値に乗じる係数）を、入力したサンプルデータに基づいて更新することにより、推論精度を改善する。

通常、推論精度を改善する手法には、ミニバッチ法が用いられている。ミニバッチ法では、サンプルデータ毎に前記重みに対する勾配を計算する勾配計算処理と、複数の異なるサンプルデータについて前記勾配を集計する（サンプルデータ毎に得られた勾配を重み別に合算する）集計処理と、各重みを前記集計された勾配に基づいて更新する重み更新処理と、を繰り返す。

これらの処理、特に勾配計算処理は、多数回の演算を必要とするが、推論精度を向上させるために、重みの個数や入力するサンプルデータの個数が増加すると、深層学習に要する時間が増大するという課題がある。

勾配計算処理を高速化するため、分散処理の手法が用いられている。具体的には、複数の分散ノードを設け、各ノードは、各々異なるサンプルデータについて勾配計算処理を行う。これにより、分散ノード数に比例して単位時間に処理できるサンプルデータ数を増加させることが可能となるため、勾配計算処理を高速化できる（例えば、非特許文献１参照。）。

近年、深層学習がより複雑な問題に適用されるようになってきており、重みの総数やサンプルデータ数が増加する傾向にある。このため、深層学習処理を完了するまでの時間が増加しており、これに対応するため、分散ノードの数を増加させる必要がある（例えば、非特許文献２参照。）。

しかし、分散ノード数が増加すると、その数に比例にて分散ノードに必要な電力の増加や、分散ノードを冷却するシステムの負荷の増加などによって、これらを収容するのに必要な電気設備の容量が膨大となってきた（例えば、非特許文献３参照。）。また、一つのビルに分散ノードを集約させると、信頼性向上のため、大容量の電気設備の冗長化などの技術的な課題や、分散処理システムが一つの建物に集中していることにより災害による故障などにより分散処理が停止したり、災害の際の早期復旧が難しいという問題もあった。

これを解決する方法として、図７に示すように電気設備の電力容量の範囲で複数の分散ノード６０３を設置して分散システム６０１を構成し、この分散システム６０１間を集約スイッチ６０２で接続する方法がある、しかしながら、接続規模が大きくなると、集約スイッチ６０２の段数が多くなり、遅延が積算され処理性能が低下するという課題もあった。このようなことから、一つの建物に情報処理量のピークに合わせて多数の分散ノードや電気設備が不要で、情報処理に必要なシステム規模がある程度大きくなっても、必要な情報処理量に対応できる柔軟なシステムが求められるようになってきた。

Takuya Akiba，Shuji Suzuki，Keisuke Fukuda，"Extremely Large Minibatch SGD:Training ResNet-50 on ImageNet in 15 Minutes"，米国コーネル大学ライブラリー，arXiv:1711.04325，2017，インターネット＜https://arxiv.org/abs/1711.04325＞ Hiroyuki Miyazaki et.al.，"Overview of the K computer System"，FujitsuSci. Tech. J., Vol. 48, No. 3,pp. 255-265 (July 2012) Yoshihiro Sekiguchi et.al.，"Construction and Facilities Technologies for the K computer"，FujitsuSci. Tech. J., Vol. 48, No. 3,pp. 266-273 (July 2012)

本発明は、上記のような事情を考慮してなされたものであり、その目的は、分散ノード群を設置する一つの建物に必要な電力を抑制すると同時に、遅延蓄積の原因となる集約スイッチの多段接続を行うことなく、柔軟かつ効率的に分散システムの規模を設定でき、高信頼かつ高速な情報処理を行うことができる分散処理システムを提供することにある。

上記課題を解決するために、本発明の分散処理システムは、複数の分散システムと、前記複数の分散システム間を接続する伝送媒体と、前記複数の分散システムに接続された制御ノードを備えた分散処理システムであって、前記分散システムは、分散ノード群を構成する１以上の分散ノードと、前記分散ノード群を収容する電気設備を備え、前記分散ノードは、前記伝送媒体および／または他の分散ノードと接続するためのインタコネクトを備え、前記制御ノードは、前記分散処理システムで実行されるジョブに必要な計算リソース量に基づいて、前記複数の分散システムの中から前記ジョブを実行する分散システムおよび分散システム内の分散ノードを決定し、前記分散システム間で処理されるデータの接続経路を選択し、前記ジョブを実行する前記分散システムの分散ノードに対して、前記インタコネクトの接続経路の情報を提供し、前記分散ノードは、前記データの接続経路の情報に基づいて、前記データの経路を選択する選択回路を備え、前記選択回路は、前記インタコネクトの接続経路の情報に基づいて、処理されるデータを送信する前記インタコネクトを選択し、前記のインタコネクトの選択に加え、前記データの加算、減算、放送、圧縮、暗号化の少なくともいずれかの１つを実行する。

本発明では、分散処理システムが処理する計算リソース量に応じて、複数の分散ノードからなる分散ノード群と分散ノード群を収容する電気設備とで構成される分散システム間を接続して、大きな分散システムを構成することによって、分散ノード群を設置する一つの建物に必要な電力を抑制すると同時に、柔軟かつ効率的に分散処理システムの規模を設定でき、高信頼かつ高速な情報処理を行うことができる分散処理システムを提供することができる。

図１は、本発明の第１の実施の形態に係る分散処理システムの構成例を示す図である。 図２は、本発明の実施の形態の分散システムにおける分散ノードの構成例である。 図３は、本発明の実施の形態に係る分散処理システムの制御ノードの構成例を示す図である。 図４は、本発明の実施の形態に係る制御ノードを構成するコンピュータの構成例を示す図である。 図５は、本発明の第２の実施の形態に係る分散処理システムの構成例を示す図である。 図６は、本発明の第２の実施の形態に係る分散処理システムの動作を説明するための図である。 図７は、従来の分散処理システムを示す図である。

以下、本発明の実施の形態について図面を参照して説明する。尚、以下の説明において、「ノード」とは、ネットワーク上に分散配置されているサーバ等の機器を示すものとする。
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る分散処理システムの構成例を示す図である。図１の分散処理システムは、分散システム１０１～１０３から構成されている。各分散システムは、地域Ａに分散システム１０１、地域Ｂに分散システム１０２、地域Ｃに分散システム１０３が設置されている。各分散システムには、複数の分散ノードを収容する電気設備１１１、１２１、１３１が設置されている。また、制御局には、各分散システムと接続された制御ノード５００が設置されている。

＜分散処理システムの構成＞
図１の構成例では、各分散システム１０１～１０３は、４つの分散ノードから構成されている。分散システム１０１は、分散ノード１１０－１～１１０－４、分散システム１０２は、分散ノード１２０－１～１２０－４、分散システム１０３は、分散ノード１３０－１～１３０－４で構成されている。さらに、各分散ノードは、４つのインタコネクトを備え、分散システム内では、各分散ノードは、各インタコネクトの２つを利用してリング状に接続されている。

図１では、地域Ａと地域Ｂ、地域Ｂと地域Ｃの間には、分散システムで利用可能な光ファイバなどの伝送媒体が２本ずつ敷設されている。地域Ａと地域Ｂの間では、分散システム１０１と１０２が伝送媒体１３１、１３２で、地域Ｂと地域Ｃの間では、分散システム１０２と１０３が伝送媒体１３３と１３４とで接続されている。

制御ノード５００は、地域Ａ、Ｂ、Ｃの分散システム１０１～１０３とネットワークで接続されており、各地域の分散システムを制御することができる。制御ノード５００は、ユーザからのジョブを受け付ける機能を有しており、ジョブの内容に応じて、分散処理システムを制御する機能を有している。図１の構成例では、制御ノード５００は、地域Ａ～Ｃの分散システムとは別の場所の制御局に設置されているが、制御ノード５００は、分散システムとは別の場所の制御局に必ずしも設置されていなくてもよく、地域Ａ～Ｃの分散システムと同じ場所や分散システム内に設置されてもよいし、分散ノードの一部として設置されても良い。

＜分散ノードの構成＞
図２は、本実施の形態の分散システムにおける分散ノードの構成例である。分散ノード４１０は、インタコネクト４１６Ａ～Ｄ、経路の選択回路４１２、データの処理を行う演算デバイス４１３を備えている。経路の選択回路４１２は、演算デバイス４１３と４ポートのインタコネクト４１６Ａ～Ｄと接続されている。経路の選択回路４１２は、演算デバイス４１３で処理されたデータを、制御ノード５００からの経路情報に応じて選択されたインタコネクト４１６Ａ～Ｄの少なともいずれかに送信する。

演算デバイス４１３としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ ａｒｒａｙ）、量子演算デバイス、人工知能（ニューロン）チップなどを用いることができる。

ここで、分散システムを構成する分散ノードの数は４台に限定されず、各分散システムの電気設備で収容可能であれば、４台より多くてもよい。分散ノードが具備するインタコネクト数についても４ポートに限定されるものではなく、他の分散システムに接続可能な伝送媒体の数などに応じた数のインタコネクトを設けることができる。

＜制御ノードの構成と動作＞
図３に、本実施の形態における制御ノードの構成例を示す。制御ノード５００は、計算リソース量推定部５０１、分散ノード決定部５０２、経路選択部５０３、経路設定部５０４、障害回避部５０５、及びデータベース部５０６を備える。制御ノード５００は、地域Ａ、Ｂ、Ｃを含む、すべての地域とネットワークで接続されており、各地域に設置された分散システムを制御することができるものである。

制御ノード５００は、制御ノード５００が接続する分散ノード単位での計算能力などを含む計算リソース情報や、分散ノードの演算デバイス単位での演算能力などを含む演算リソース情報、および、分散ノード内のデバイス間、或いは、分散ノード間の通信帯域、分散ノードの位置情報等を含むデータベースを有しており、このようなデータベースを用いて空いている計算リソースを検索し、ジョブを処理するのに必要な分散ノードと接続経路を決定する。

本実施の形態における制御ノード５００は、一例として、計算リソース量推定部５０１、分散ノード決定部５０２、経路選択部５０３、経路設定部５０４、障害回避部５０５、及びデータベース部５０６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、記憶装置及び外部インタフェース（以下、外部Ｉ／Ｆ）を備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータの構成例を図４に示す。

コンピュータ１０００は、ＣＰＵ２０００と、記憶装置３０００と、外部Ｉ／Ｆ４０００とを備えており、それらがＩ／Ｏインタフェース５０００を介して互いに接続されている。本実施の形態の制御ノードの動作を実現するためのプログラムや、計算リソース情報や、分散ノードの演算デバイス単位での演算能力などを含む演算リソース情報等は、記憶装置３０００に格納され、外部Ｉ／Ｆ４０００には、互いに信号を送受信するが接続される。ＣＰＵ２０００は、記憶装置３０００に格納されたプログラム等に従って本実施の形態で説明した処理を実行する。また、この処理プログラムをコンピュータ読み取り可能な記録媒体に記録するように構成してもよい。

＜分散ノードの装置構成＞
次に、分散ノードの具体的な装置構成例について説明する。以下に説明する分散ノードの具体的装置構成は例示であって、それらに限定されるものではない。

本実施の形態における各分散ノードは、例えば、Ｓｕｐｅｒｍｉｃｒｏ社製ＳＹＳ－４０２８ＧＲ－ＴＲ２サーバ（以降、「サーバ」と称する。）である。分散ノードのインタコネクトは、インタコネクトカードとインタコネクト用ポートで構成されている。サーバのＰＣＩ Ｅｘｐｒｅｓｓ ３．０ （Ｇｅｎ３）の１６レーンスロットにインタコネクトカードとして、例えば、Ｘｉｌｌｉｎｘ社製のＶＣＵ１１８ Ｅｖａｌｕａｔｉｏｎ ボード（以降、「ＦＰＧＡボード」と称する。）が挿入されている。更に、このＦＰＧＡボード上のＦＭＣ＋ポートに、ＨｉＴｅｃｈ Ｇｌｏｂａｌ，ＬＬＣ社製ＨＴＧ－ＦＭＣ－Ｘ２ＱＳＦＰ２８（以降、「ドータボード」と称する。）が搭載されている。

また、各ＦＰＧＡボード、ドータボードには、インタコネクト用ポートとして、１００ＧｂｐｓのＱＳＦＰ２８形光トランシーバが２ポートずつ、合計４ポート用意されており、分散ノードを構成する各サーバは４つのインタコネクトを備えることができる。

経路の選択回路は、ＦＰＧＡボード上のＦＰＧＡチップに回路として書き込まれている。インタコネクトは、光トランシーバに限らず、分散ノードの内部バスとして専ら用いられるＰＣＩｅも含むが、以降の説明では、インタコネクトの光トランシーバ部分をインタコネクトとして説明する。

＜分散ノードの動作＞
（ステップ０：ジョブ受付とリソース推定）
ここで、図１及び図２を用いて、本実施の形態における分散ノードの動作について説明する。まず初めに、ある計算ジョブについて、地域Ａの分散システム１０１のリング構成で接続された４台の分散ノード１１０－１～１１０－４が、分散処理を行っていたとする。そして、この計算ジョブの終了後に、新たな計算ジョブが与えられた場合に、その新たな計算ジョブを処理するのに３倍の計算リソース量が必要となったと制御ノード５００が決定した場合を想定する。

（ステップ１：稼働状況把握）
制御ノード５００は、推定した計算リソース量に基づいて、３倍の計算リソース量が得られるように、地域Ａ～地域Ｃの各分散システム１０１～１０３の稼働を確保する。すなわち、この場合は、１２台の分散ノードのリソースが必要であると決定した場合である。

（ステップ２：接続状況の把握）
ステップ１での各分散システム１０１～１０３の稼働を確保する前においては、地域Ａの分散ノード１１０－２と分散ノード１１０－４が相互にインタコネクトで接続されており、分散ノード１１０－２の選択回路では、分散ノード１１０－４の方向である図面下方向にデータの経路が設定され、分散ノード１１０－４の選択回路では、分散ノード１１０－２の方向である図面上方向にデータの経路が設定されている状態である。

一方、地域Ｂの分散ノード１２０－１と１２０－３は相互にインタコネクトで接続されており、分散ノード１２０－１の選択回路では、分散ノード１２０－３の方向である図面下方向にデータ経路が設定され、分散ノード１２０－３の選択回路では、分散ノード１２０－１の方向である図面上方向にデータ経路が設定されている状態である。同様にして、分散ノード１２０－２と１２０－４は相互にインタコネクトで接続されており、分散ノード１２０－２の選択回路では、分散ノード１２０－４の方向である図面下方向にデータ経路が設定され、分散ノード１２０－４の選択回路では、分散ノード１２０－２の方向である図面上方向にデータ経路が設定されている状態である。

さらに、地域Ｃの分散ノード１３０－１と１３０－３は相互にインタコネクトで接続されており、分散ノード１３０－１の選択回路では、分散ノード１３０－３の方向である図面下方向にデータ経路が設定され、分散ノード１３０－３の選択回路では、分散ノード１３０－１の方向である図面上方向にデータ経路が設定されている状態である。

（ステップ３：経路切り替え）
新たな計算ジョブの計算リソース量を処理するために１２台の分散ノードを確保するため、制御ノード５０から提供された接続経路の情報に基づいて、地域Ａの分散ノード１１０－２および１１０－４の選択回路では、図面右方向にデータ経路が設定される状態に変更される。また、地域Ｂの分散ノード１２０－１と１２０－３とが互いにインタコネクトで接続された状態から、分散ノード１２０－１の選択回路では、図下向きのデータ経路から左向きのデータ経路へ、分散ノード１２０－３の選択回路では、図面上向きのデータ経路から左向きのデータ経路へ切り替えが行われる。

同様に、地域Ｂの分散ノード１２０－２と１２０－４とが互いにインタコネクトで接続された状態から、分散ノード１２０－２の選択回路では、図下向きのデータ経路から右向きのデータ経路へ、分散ノード１２０－４の選択回路では、図面上向きのデータ経路から右向きのデータ経路へ切り替えが行われる。

さらに、地域Ｃの分散ノード１３０－１と１３０－３とが互いにインタコネクトで接続された状態から、分散ノード１３０－１の選択回路では図下向きのデータ経路から左向きのデータ経路へ、分散ノード１３０－３の選択回路では、図面上向きのデータ経路から左向きのデータ経路へ切り替えが行われる。

以上説明した一連のデータ経路切り替えによって、地域Ａ～Ｃの分散システム１０１～１０３を構成する分散ノードがリング状に接続される。このリングは、切り替え前に比べて接続される分散ノードの数は４ノードから１２ノードへとノード数が３倍に増加しており、新たな計算ジョブを実行するために必要な計算リソース量に対応して、複数の地域に設置された分散システムが接続された分散処理システムを構成することができる。本実施の形態によれば、分散ノード群を設置する一つ分散システムに必要な電力を抑制しながら、柔軟かつ効率的に分散処理システムの規模を設定し、高信頼かつ高速な情報処理を行うことができる分散処理システムを提供することができる。

このような処理を行うための選択回路は、前述したＸｉｌｌｉｎｘ社製のＶＣＵ１１８ Ｅｖａｌｕａｔｉｏｎ ボードに搭載されたＦＰＧＡチップの書き換えを行うことにより実現することができる。ＦＰＧＡチップでは、リソースの制約の範囲で自由にデジタル回路を書き換えることができる。ＦＰＧＡチップに、外部からＦＰＧＡチップ内のレジスタメモリにビット書き換えを行って、経路を切り替えることが可能なデジタル回路を記述することにより、選択回路を実現することができる。このような機能は、ＦＰＧＡチップに限らず、汎用のネットワークカードでも複数のポートが備わっているものであれば、レジスタメモリの設定によって出力ポートを選択することにより実現可能である。

また、選択回路における他の経路の切り替え方法としては、分散ノードのデータのヘッダ等に経路因子を付与する方法もある。例えば、図２の演算デバイス４１３で生成されたデータが経路切り替え回路４１２に入力された際に、データの先頭にポート番号のような経路因子４１５を付与する回路を選択回路に実装しておき、経路因子に応じた経路にデータが流れるように構成することもできる。

具体的には、分散ノード４１０には、インタコネクト４１６Ａ～Ｄに、それぞれ００、０１、１０、１１と２ビットの経路因子と紐づけて置き、演算ノード４１３から出力されたデータに対して、データ経路となる２ビットの経路因子４１５を付与することによって、演算ノードからのデータを選択回路４１２によって所望の経路のインタコネクトに出力することができる。このような経路選択は、経路因子をＰＣＩｅのフレームパケットヘッダ個別のリザーバ部分に埋め込み、これをＦＰＧＡで判別する方法により実現することができる。

［第２の実施の形態］
図５は、本発明の第２の実施の形態に係る分散処理システムの構成例を示す図である。図５は、本発明を、図１と比較してより広範囲な分散システム群に適用した場合の構成例を示したものである。図１で説明した地域Ａ～Ｃに加え、地域１～４、地域あ～え、地域Ｄを含んでいる。分散処理システムの制御局に制御ノードが配置される点は、図１と同様である。

＜分散処理システムの動作＞
図６は、本発明の第２の実施の形態に係る分散処理システムの動作を説明するための図である。図６では、地域Ａ～Ｃでの１２台の分散ノードによるジョブＡのための計算リソースの稼働状況に加え、地域１での４台の分散ノードによるジョブＢのための計算リソースと、地域２と地域３での８台の分散ノードによるジョブＣのための計算リソースが稼働中である。すなわち、地域Ａ～Ｃでは、ジョブＡの分散処理、地域１では、ジョブＢの分散処理、地域２～３では、ジョブＣの分散処理が行われている。この状態で、制御ノード５００に対して、計算リソースとして、８台の分散ノードを必要とするジョブ（ジョブＤ）と、１６台の分散ノードを必要とするジョブ（ジョブＥ）がユーザから発生した場合を想定する。

（ステップ１：ジョブ受付とリソース推定）
上述したような新たな２つのジョブＤ、ジョブＥが制御ノードに与えられた場合、制御ノード５００は、計算リソース量推定部５０１において、まず、新たなジョブのために必要な計算リソース量の推定を行う。その結果、例えば、ジョブＤは、ジョブＢの２倍、ジョブＥはジョブＢの８倍の計算リソースが必要という推定結果が得られたとする。

（ステップ２：接続状況の把握）
制御ノード５００は、制御ノード５００が接続する広範囲な、ノード単位での計算能力などを含む計算リソース情報や、演算デバイス単位での演算能力などを含む演算リソース情報、および、分散ノード内のデバイス間、或いは、分散ノード間の通信帯域、分散ノードの位置情報等を含むデータベース情報を有しており、このようなデータベース情報から空いている計算リソースを検索する。本実施の形態では、制御ノード５００は、地域４、地域Ｄ、地域あ～地域えの計算リソースが空いていることを把握することができた。

（ステップ３：最適経路演算）
次に、制御ノード５００は、ステップ１とステップ２で得られた結果に基づいて、分散ノード決定部５０２と経路選択部５０３において、ジョブＤ、Ｅに必要な計算リソース量に基づいて必要な分散ノードを決定し、分散ノード間の接続経路を選択する。本実施の形態では、簡単のため、各分散ノードは性能が同じであり、ジョブＤには分散ノードが８台必要で、ジョブＥには分散ノードが１６台必要という推定結果が得られたとする。この推定結果に基づいて、ジョブＤに対しては、８つの分散ノードを確保するために地域４と地域Ｄの全ての分散ノードを選択し、これらの分散ノードをリング状に接続した８ノード系の分散システムを構成する経路を選択する。同様にしてジョブＥに対しては、地域あから地域えにいたる１６台の分散ノードを選択し、１６台の分散ノードをリング状に接続して分散システムを構成する経路を選択する。

（ステップ４：経路伝達）
ステップ３での経路決定後、制御ノードの経路設定部は、ネットワーク等を介して各地域の分散システムに対して、経路の設定情報を提供する。

（ステップ５：経路切り替え）
各分散システムでは、制御ノード５００から提供された接続経路の情報に基づいて経路の切り替えが行われる。例えば、図５に示すように、地域４の分散システム２０４では、分散ノード２４０－３と分散ノード２４０－４とで相互に接続されたインタコネクタを、各ノードの図下部方向のデータ経路へ切り替えを行い、同様にして、地域Ｄの分散システムでは、分散ノード１４０－１と分散ノード１４０－２とが相互に接続されたインタコネクタを図上方向のデータ経路へ切り替える。これらの切り替えによって、地域４の分散システム２０４と地域Ｄの分散システム１０４とが接続された８つの分散ノードで構成される分散システムを形成することができる。同様にして、ジョブＥに対しては、地域あから地域えにいたる１６台の分散ノードをリング状に接続するように、経路の切り替えが行われる。このように、各ジョブやユーザの要求に応じた計算リソース量に応じた計算リソースを提供し、新たなジョブを処理するのに最適な分散処理システムを提供することができる。

（ステップ６：障害回避機能）
また、図６に示すように、地域いの分散システムが被災等により動作しなくなった場合等の障害を検出した場合には、制御ノード５００の障害回避部５０５は、ジョブＥについて、地域うと地域えにより縮小した分散システムで処理を行うように分散システムの切り替えを行うことができる。ここで、地域４と地域Ｄの分散処理システムのジョブＤが終了した際には、地域うと地域えでの２つの分散システムによる稼働から地域４と地域Ｄと加えた４つの分散システムを連結する稼働に切り替えることにより、処理能力を復活させるという制御を行うことも可能である。

このように、本実施の形態によれば、地域的に分離された電源設備を含む分散システムが連動して分散処理システムとして動作することで、スペースの限られる小規模な通信ビルでもスペース制約に応じた分散システム利用して、分散ノード群を設置する一つ分散システムに必要な電力を抑制しながら、柔軟かつ効率的に分散処理システムの規模を設定し、高信頼かつ高速な情報処理を行うことができる分散処理システムを提供することができる。

また、万が一、分散システムの一部や通信ビル１棟全体が被災により故障した場合等においても、分散処理システムを構成する分散システムと分散処理システム全体を制御する制御ノードにより、分散処理システムを構成する分散システムを柔軟に設定できるので、一つのビルに電源と分散処理ステムが集中した分散処理システムの形態に比べて、信頼性が高く、ユーザの要求に柔軟に対応できる分散処理システムを提供することができる。

なお、本発明の実施の形態では各地域の分散ノード数は４、地域間をつなぐ伝送路も２本に限定されているが、このような構成に限定されることはなくより複雑な分散処理システムに対しても適用することが可能である。ノード数や地域間を接続可能な伝送路の数が多くなると、経路のパタンが増加し、また、分散ノードを新設する時期によって処理性能もばらつくなど、地域間で伝送路でのデータの転送速度もハードウェアの性能で異なる場合もあり、情報処理性能を最大限引き出すことが可能な最適な経路計算も複雑になる。このような場合には、経路選択機能に量子デバイスなどの組み合わせ計算に特化した計算エンジンを採用することもできる。

なお、上述した実施の形態では、簡単のため、各分散ノードの性能を同じとしたが、各分散システムで、分散ノードやインタコネクト、伝送媒体などの特性が異なる場合もある。例えば、伝送媒体の帯域が小さい経路を選択する場合は、経路の選択回路などに、データを圧縮する機能を設けることで対応可能である。例えば、１／２～１／１０の間で圧縮できたとすると、帯域が１／２～１／１０の間で帯域が制約される条件でも、データ転送時間の遅延に伴う情報処理性能の劣化は発生しないように構成することができる。

なお、上術した実施の形態では、経路を選択する選択回路では経路選択しか行っていないが、選択回路に、集団通信で必要となる加算や減算、放送の機能を併有することによって、経路選択時に集団通信に必要な演算も同時に行うことや、情報処理速度を向上させることも可能である。

また、経路選択時に、取り扱うデータを暗号化する機能を有することによって、他の地域に設置された分散システムへデータを移動する場合に、セキュアなデータ移動が可能となるため、高信頼な情報処理を実現することも可能である。

本発明は、小規模な通信ビルに設置された小規模な情報処理システムを相互に接続することにより、多量の情報処理を行うことのできる分散処理システムに適用することができる。特に、ニューラルネットワークの機械学習や大規模な演算（大規模行列演算など）、あるいは大量なデータ情報処理を行うシステムに適用することができる。

１０１～１０３…分散システム、１１０－１～１１０－４、１２０－１～１２０－４、１３０－１～１３０－４…分散ノード、 １１１、１２２、１３３…電気設備、１３１～１３４…伝送媒体（光ファイバ）、５００…制御ノード。

Claims (4)

1. 複数の分散システムと、前記複数の分散システム間を接続する伝送媒体と、前記複数の分散システムに接続された制御ノードを備えた分散処理システムであって、
   前記分散システムは、
   分散ノード群を構成する１以上の分散ノードと、前記分散ノード群を収容する電気設備を備え、
   前記分散ノードは、
   前記伝送媒体および／または他の分散ノードと接続するためのインタコネクトを備え、
   前記制御ノードは、
   前記分散処理システムで実行されるジョブに必要な計算リソース量に基づいて、前記複数の分散システムの中から前記ジョブを実行する分散システムおよび分散システム内の分散ノードを決定し、前記分散システム間で処理されるデータの接続経路を選択し、
   前記ジョブを実行する前記分散システムの分散ノードに対して、前記インタコネクトの接続経路の情報を提供し、
   前記分散ノードは、前記データの接続経路の情報に基づいて、前記データの経路を選択する選択回路を備え、
   前記選択回路は、前記インタコネクトの接続経路の情報に基づいて、処理されるデータを送信する前記インタコネクトを選択し、前記のインタコネクトの選択に加え、前記データの加算、減算、放送、圧縮、暗号化の少なくともいずれかの１つを実行する
   分散処理システム。
2. 請求項１記載の分散処理システムにおいて、
   前記制御ノードは、
   前記分散処理システムで実行されるジョブに必要な計算リソース量を推定する推定部と、
   推定された前記計算リソース量に基づいて前記複数の分散システムの中から前記ジョブを実行する分散システムおよび分散システム内の分散ノードを決定する決定部と、
   前記分散システム間で処理されるデータの接続経路を選択する選択部と、
   前記ジョブを実行する前記分散システムの分散ノードに対して、前記インタコネクトの接続経路の情報を提供する提供部と
   を備える分散処理システム。
3. 請求項１記載の分散処理システムにおいて、
   前記インタコネクトの接続経路の情報は、前記データに付与される経路因子の情報であり、
   前記選択回路は、入力されたデータに前記経路因子を付与し、前記経路因子に基づいて、処理されるデータを送信する前記インタコネクトを選択する
   分散処理システム。
4. 請求項１～３のいずれか１項に記載の分散処理システムにおいて、
   前記制御ノードは、
   前記ジョブを実行中の分散システムの少なくとも１つの分散システムに異常が発生した場合に、前記ジョブを実行する分散システムと、前記分散システム間で処理されるデータの接続経路を再度決定する
   分散処理システム。

Images