JP6116830B2 - 拡張可能なネットワーク・オン・チップ - Google Patents

Description

本発明は、プロセッサがネットワーク・オン・チップ（ＮｏＣ）によって相互に接続された、集積プロセッサ・アレイに関する。より詳細には、本発明は、プログラマからの最小限の支援で、開発ツールがアレイのプロセッサの数に適合することができるような規則性を有するプロセッサ・アレイのアーキテクチャに関する。

図１は、特許文献１に記載されるように、折畳みトーラス・トポロジ（ｆｏｌｄｅｄ ｔｏｒｕｓ ｔｏｐｏｌｏｇｙ）のネットワーク・オン・チップに配列された４×４の計算ノードＮを含んだプロセッサ・アレイＰＡを概略的に示している。アレイ・トポロジでは、各ノードが、同じ行の２つの他のノード、および同じ列の２つの他のノードに、ポイント・ツー・ポイントの双方向リンクによって接続される。トーラス・トポロジでは、アレイのノードはまた、各行および各列でループ状に接続され、したがってすべてのノードが、アレイの縁端部に位置するノードを含めて、その相互接続に関して同じ物理構造を有する。図１に示す折畳みトポロジでは、各ノードが（アレイの縁端部に位置していない限り）、行および列において同じパリティの２つの他のノードに接続され、したがって、ノード間のリンクは実質的に同じ長さを有する。

各ノードＮは、行および列の次のノードとの４つのリンク、すなわち北、南、東、および西のリンクと、例えば共有バスを介して相互に接続されたプロセッサ群など、処理ユニットとのリンクとを管理する５ｗａｙルータを含む。

プロセッサ・アレイＰＡは、単一の集積回路として製造される。外界と通信するために、プロセッサ・アレイは、アレイの縁端部でネットワーク・オン・チップに挿入された入力／出力ＩＯユニットを含む。図のように、このようなＩＯユニットは、各行および各列の両端部に設けられることが可能である。より詳細には、各ユニットは、同じ行または同じ列の２つの末端ノードＮを接続するリンクに挿入される。

各ＩＯユニットは、ノードＮとの２つのリンク、および入力／出力インタフェースとのリンクを管理する３ｗａｙルータを有する。入力／出力インタフェースは、プリント回路基板またはその他の基板の導電トラック（ｃｏｎｄｕｃｔｉｖｅ ｔｒａｃｋ）と接触するように意図され、集積回路の金属パッドを介した回路の外部との通信を可能にする。

このようなプロセッサ・アレイのプログラミングを容易にするために、すべての計算ノードＮは同様の特性を有し、開発ツールが自動モードでノードのいずれにもタスクをマップできるようにする。これを実現するために、ＩＯユニットは、ネットワーク・オン・チップの内部通信にトランスペアレントに設計される。特許文献１はまた、内部通信のためにＩＯユニットのルータを介した待ち時間を削減するための解決法についても記載している。

集積回路を販売する際の標準化の目的で、プロセッサ・アレイのサイズは、比較的狭い範囲（ｒａｎｇｅ）で提供されることになる。したがって、この範囲の最大のアレイによってもたらされる計算能力は、さらに多くを求めるアプリケーションには不十分となる恐れがある。

米国特許出願公開第２０１１／００５８５６９号公報

したがって、範囲の最大のプロセッサ・アレイで利用可能なものよりも大きな計算能力を提供する必要性がある。結果として、プロセッサ・アレイの既存の開発ツールを変更することなく、計算能力を向上させる必要性が生じる。

こうした必要性は、アレイ状に配置された計算ノードと、この計算ノードを相互に接続するトーラス・トポロジのネットワーク・オン・チップと、アレイの各行または列の各端部にあるネットワーク拡張ユニットとを含む集積回路によって対処される。拡張ユニットは、２つの対応する計算ノード間にネットワーク・リンクの導通（ｃｏｎｔｉｎｕｉｔｙ）を確立する通常モードと、ネットワーク・リンクを、集積回路外からアクセス可能な２つの独立したセグメントに分割する拡張モードとを有する。

一実施形態によれば、ネットワーク・リンクは、パラレルのバスを含み、拡張ユニットは、セグメントに対して、セグメントにおいて並列に与えられるデータを、回路の第１の外部端子において直列に送信するための出（ｏｕｔｇｏｉｎｇ）シリアル・チャネルを形成する並列／直列変換器と、集積回路の第２の外部端子において直列に到着するデータを、セグメントにおいて並列に送信するための入（ｉｎｃｏｍｉｎｇ）シリアル・チャネルを形成する直列／並列変換器とを含む。

一実施形態によれば、集積回路は、行または列の端部にある計算ノード間のリンクに位置し入力／出力端子を介して集積回路の外部と通信するように構成された、入力／出力インタフェースを含み、拡張ユニットは、拡張モードでは、上記入力／出力端子を上記セグメントに接続するように構成される。

一実施形態によれば、集積回路は、出伝送（ｏｕｔｇｏｉｎｇ ｔｒａｎｓｍｉｓｓｉｏｎ）が進行中の複数のセグメント間に利用可能な出シリアル・チャネル（ｏｕｔｇｏｉｎｇ ｓｅｒｉａｌ ｃｈａｎｎｎｅｌ）を割り当てるように構成された、アレイの同じ縁端部の拡張ユニットに共通の負荷分散装置を含む。

一実施形態によれば、負荷分散装置は、各出シリアル伝送のヘッダに送信元セグメントの識別情報を挿入するように構成される。

一実施形態によれば、負荷分散装置は、各入シリアル伝送（ｉｎｃｏｍｉｎｇ ｓｅｒｉａｌ ｃｈａｎｎｎｅｌ）のヘッダを解析（ｐａｒｓｅ）し、対応するシリアル・チャネルをヘッダで識別されるセグメントに切り換えるように構成される。

一実施形態によれば、シリアル・チャネルは、データをパケットで送信し、伝送待ちのパケットを格納するための待ち行列（ｑｕｅｕｅ）を含み、負荷分散装置は、最も空いている待ち行列を有するシリアル・チャネルにパケットを転送する（ｒｏｕｔｉｎｇ）ように構成される。

他の利点および特徴は、例示の目的のみで提供され、添付の図面に示される本発明の特定の実施形態についての次の説明から、より明らかになるであろう。
前述の、折畳みトーラス・トポロジのネットワーク・オン・チップによって相互に接続されたプロセッサ・アレイを表す図である。 複数のプロセッサ・アレイで形成されたマクロ・アレイを示す図である。 トポロジを保存しながらネットワークを拡張することができる、マクロ・アレイの２つの隣接するアレイ間の望ましい相互接続を示す図である。 ネットワーク拡張ユニットの一実施形態を示す図である。 ネットワーク拡張ユニットの別の実施形態を示す図である。

図２は、標準的な集積回路の形態で、単一のプロセッサ・アレイによって提供される利用可能な計算能力が不十分であるとき、この利用可能な計算能力を向上させるための考えられる解決法を示している。図示されるように、要求される計算能力を実現するために十分なサイズのマクロ・アレイで、いくつかのプロセッサ・アレイＰＡ１、ＰＡ２、……が、プリント回路基板などの基板上に組み立てられる。

各ＰＡアレイは、個々にプログラムされて使用されることが可能であるが、これは、タスクを計算能力に関して個々のバランスの取れたサブタスクに分割するために、プログラマの側に労力を要することになる。アレイは通常、それ独自のオペレーティング・システムを実行し、したがって自律的であるように設計されていながら、アレイ間でサブタスクを分散させるために、オペレーティング・システムがアレイ外で実行される必要もある。

この複雑さを避けるために、マクロ・アレイが、開発ツールの観点からただ１つのプロセッサ・アレイとしてみなされることが望まれる。これを実現するために、すべてのＰＡアレイの計算ノードが一体となってただ１つのネットワークを形成することが好ましい。

これについての考えられる解決法は、ＰＡアレイをその入力／出力インタフェースによって互いに接続し、２つの隣接するアレイのインタフェース間で２ｗａｙネットワーク接続をエミュレートすることである。それでもやはり、このようなエミュレーションは、マクロ・アレイを形成するアレイのサイズおよび数に左右される、さらなるソフトウェアの複雑さを伴う。

また、この解決法は、入力／出力インタフェースがすべて同一であること、およびすべての行および列の端部がこのようなインタフェースを取り付けられることが必要となる。実際には、標準的なプロセッサ・アレイには、限られた数の入力／出力インタフェースしかなく、これらは困難である。

図３は、折畳みトーラス・トポロジのアレイの状況で、２つの隣接するアレイ、すなわちＰＡ１およびＰＡ２の間で望まれる、２つのアレイのネットワーク・オン・チップが同じトポロジの単一ネットワークを形成することができるようになる接続のタイプを示している。図示した例は、アレイの行によってネットワークの拡張に対応しており、同じ原理が列についても言えることに注意されたい。

アレイＰＡ１の各列では、最後の２つのノードＮとその入力／出力ユニットＩＯとのリンクはオープンである（この位置にＩＯユニットがない場合、最後の２つのノード間のリンクがオープンである）。同様に、アレイＰＡ２の相応する行では、初めの２つのノードＮとその入力／出力ユニットＩＯとの間のリンクはオープンである（この位置にＩＯユニットがない場合、最初の２つのノード間のリンクがオープンである）。点線で図示された、このようにオープンされた内部リンクは、外部リンクＬｅ１およびＬｅ２で置き換えられ、アレイＰＡ１の行とアレイＰＡ２の相応する行との接合部を確保して、内部の行と同じトポロジの拡張された行を形成する。これを実現するために、リンクＬｅ１は、アレイＰＡ１の行の最後から２番目のノードをアレイＰＡ２の行の１番目のノードに接続し、リンクＬｅ２は、アレイＰＡ１の行の最後のノードをアレイＰＡ２の行の２番目のノードに接続する。

実際の実施では、このように外部リンクで「置き換えられる」各内部リンクは、外部から別々にアクセス可能なようにされた２つのセグメントに分割される。したがって、入力／出力ユニットＩＯを横切る場合、行の最後の２つのノード間の内部リンクは、２つのセグメントに分割されて、それぞれ外部リンクＬｅ１およびＬｅ２によって、隣接する回路の相応する（ｈｏｍｏｌｏｇｏｕｓ）セグメントと接続する。

この拡張には折畳みトーラス・トポロジが特に適切であることに注意されたい。実際に、アレイの各行の外部リンクによって影響を及ぼされる２つのノードは、縁端部に最も近いノードである。

また、アレイＰＡ１およびＰＡ２の対向縁端部のＩＯユニットは、もはや使用されないことに注意されたい。これは、ＩＯユニットが周辺部にある、個々のアレイと同じトポロジを有するマクロ・アレイを作成したいという要望と合致するものである。

したがって、拡張される列および行が、個々のＰＡ回路の行および列と同じ折畳みトーラス・トポロジを有する構成で、いくつかの隣接するＰＡ回路にわたって行および列を拡張することが可能である。

このように形成されるマクロ・アレイは、従来のＰＡアレイのものと同じ開発ツールを使用してプログラムされることが可能である。実際には、従来のアレイの規則性およびノードＮの互換性を考えると、開発ツールは、アレイの寸法で構成され、自動化された方法で様々なノード上にタスクをマップし、ネットワーク・オン・チップを介してノード間のコミュニケーション図を構築するだけでよい。従来のアレイのトポロジを全体にわたって有するマクロ・アレイの場合には、既存の開発ツールは、計算ノードに関してマクロ・アレイの新しい寸法で構成されるだけでよい。

図４は、２つの隣接するアレイＰＡ１およびＰＡ２の２つの行間の外部接続Ｌｅ１およびＬｅ２を確立するための構造の詳細な実施形態を示している。通常、ノードＮ間の内部リンクは、多くの導電線を有するバスである。アレイを組み込んでいる集積回路は、多くの場合十分な外部接触端子を有することはないので、外部リンクＬｅ１およびＬｅ２が同数の線を有することによってこうしたバスを拡張することは、実際には可能ではない。この複雑化を避けるために、各外部リンクＬｅ１、Ｌｅ２が、高速シリアル・リンクの形態で提供される。要するに、内部リンクは双方向なので、各外部リンクＬｅ１、Ｌｅ２は、図示されるように、反対方向の２つのシリアル・リンクを含む。各外部リンクＬｅ１、Ｌｅ２は、それゆえ各集積回路ＰＡ上に２つの接触端子４０を必要とするだけである。こうした端子は、リンクＬｅ２について示すように、使用されない入力／出力インタフェースＩＯから取り込まれることが可能である。

端子４０を適切に配置することによって、すなわち、２つの隣接する回路ＰＡの間で相互に接続するための端子が向かい合うようにして、回路は、互いの近くに配置されて、回路間のシリアル・リンクの導電トラックを短くすることが可能である。このようにトラックを（ミリメートルの水準まで）短くすることによって、またシリアル・インタフェースは標準に従う必要がないので、シリアル信号には約１０Ｇｂ／ｓの、特に高伝送レートが達成されることが可能である。

アレイＰＡの行および列の各端部は、拡張ユニット４２を装備されている。ユニット４２は、各外部リンクＬｅ１、Ｌｅ２用のシリアル／パラレル／シリアル変換器（ＳＥＲＤＥＳ）を含んでおり、これは、出シリアル・リンク上で内部パラレル・データをシリアル・ストリームに変換し、シリアルの入データをパラレルの内部データ・フローに変換する。パラレル・フローは、外部リンクＬｅ１、Ｌｅ２とそれぞれ関連するスイッチＳ１、Ｓ２を通過する。スイッチＳ１およびＳ２は、ネットワーク拡張信号ＥＸＴによって制御される。

信号ＥＸＴが非アクティブであるとき、ユニット４２は通常モードである。スイッチＳ１およびＳ２は、アレイＰＡの従来の独立型（ｓｔａｎｄａｌｏｎｅ）の構成で、ノードＮの最後のペアをその入力／出力ユニットＩＯに接続する。ユニットＩＯがない場合、スイッチＳ１とＳ２との間に直接リンクがある。

信号ＥＸＴがアクティブであるとき、ユニット４２は「ネットワーク拡張」モードである。スイッチＳ１およびＳ２は、図３の構成で回路ＰＡを配置して、ノードのペアをそのそれぞれのＳＥＲＤＥＳ変換器に接続する。

信号ＥＸＴは、回路ＰＡの同じ縁端部のすべての拡張ユニット４２に共通であることが好ましい。したがって、回路ＰＡごとに４つの信号ＥＸＴが提供され、マクロ・アレイにおける回路ＰＡの位置に基づいて、回路の各縁端部で拡張ユニット４２を別々に制御する。信号ＥＸＴの状態は、例えばプログラム可能な構成レジスタに格納される。

２つの隣接するＰＡ回路間では高速シリアル接続が実現されることが可能であるが、場合によっては、内部のパラレル・リンクの流量（ｆｌｏｗ ｒａｔｅ）を達成しない。その場合、拡張されたネットワークは、２つのＰＡ回路間の境界（ｆｒｏｎｔｉｅｒ）で帯域幅の制限を有する可能性があり、それによって、マクロ・アレイにより実現される性能は、ＰＡ回路の数に比例しない可能性がある。

図５は、２つのＰＡ回路間の境界における平均帯域幅を増大させるための実施形態を示している。この図では、ユニット４２はその「ネットワーク拡張」モードで示されており、明確にするために、ユニットＩＯなど、通常モードで使用される要素は示されていない。この実施形態は、外部リンクの使用を最適化することを目指しており、しばしばリンク間で、詳細には出リンク間で、有用な帯域幅が不均一に分配されるという仮定に基づいている。出シリアル・チャネルの帯域幅は、実際の出伝送間で動的に割り当てられる。各行（または列）については、回路の同じ縁端部に２つの出チャネルがあり、それぞれ外部シリアル・リンクＬｅ１およびＬｅ２と関連付けられる。ＰＡ回路がＭ行（または列）を有する場合、回路の１つの縁端部には２Ｍの出シリアル・チャネルがある。

アレイの縁端部のすべての拡張ユニット４２のスイッチＳ１およびＳ２は、出シリアル・チャネルの利用可能性に応じて、出パラレル・フローを１つまたは複数のＳＥＲＤＥＳ変換器に切り換えることを担う負荷分散装置ＬＢによって置き換えられる。

図５の例では、リンクＬｅ２を通って第１の行から出る伝送は、並行してリンクＬｅ１の利用可能な出チャネルを借用する。例えばパケットによって負荷分散が実現され、回路ＰＡ１の右上のノードからの一部のパケットはリンクＬｅ１を利用し、他のパケットはリンクＬｅ２を利用する。

この図はまた、４番目の行のリンクＬｅ２を通って出る伝送を示しており、これは、並行して２番目の行および３番目の行のリンクＬｅ２の出チャネルを借用する。

シリアル伝送は、通常パケット化される。各シリアル・チャネルは、送信されるパケットがスタックされる送信待ち行列を有する。負荷分散に割り当てられる可能性があるシリアル・チャネルの決定は、例えばチャネルの待ち行列充填レベル（ｑｕｅｕｅ ｆｉｌｌ ｌｅｖｅｌ）を使用して実現されることが可能であり、アウトバウンド（ｏｕｔｂｏｕｎｄ）のパケットは、負荷分散装置に到着時に最も空いている待ち行列に転送されることになる。

送信ＰＡ回路（ＰＡ１）によって実行される、負荷分散機能の一部については、上述した。機能の残りの部分は、受信回路（ＰＡ２）の負荷分散装置ＬＢによって行われる。送信回路、すなわち出シリアル・チャネルを割り当てられた回路（ＰＡ１）の負荷分散装置は、進行中の送信およびその出所の内部リンクを識別する。受信回路（ＰＡ２）の負荷分散装置は、識別情報を検索し、入シリアル・チャネルを識別された内部リンクへリダイレクト（ｒｅｄｉｒｅｃｔ）する。

この識別情報は、Ｉｎｔｅｒｌａｋｅｎプロトコルのような標準的なシリアル伝送プロトコルに従って、シリアル伝送に含まれるヘッダに挿入されることが可能である。

回路ＰＡ２が回路ＰＡ１に送信するデータを有する場合、送信は、回路ＰＡ１およびＰＡ２について説明した役割を逆にすることによって実現される。一方向および他方向の送信は、別個のシリアル・チャネルを借用し、それによって、両方の送信が同時にかつ独立して行われることが可能である。

説明したように、動作中の負荷分散装置ＬＢを動的に使用することによって、内部リンクよりも少ない双方向シリアル・チャネルを提供することが可能である。一部の応用では、例えば、２つまたは４つの内部リンクに対して１つの双方向シリアル・チャネルを提供すれば十分である場合がある。これにより、回路の外部端子の数、および特にＳＥＲＤＥＳ変換器に占められる表面積を削減する。負荷分散装置は、上述と同じ方法で動作し、割り当てるシリアル・チャネルのプールがより小さくなるだけである。

外部から拡張できるネットワーク・オン・チップの諸実施形態が、個々の回路に設計された既存の開発ツールとの互換性を維持しながら、プロセッサ・アレイの無限の拡張性を実現するという文脈で提示された。こうした開発ツールは、拡張されたアレイのサイズで構成されるだけでよい。

開発ツールが進化して、回路間の外部リンクの特異性を考慮に入れる可能性があることは排除されない。この場合、負荷分散装置を使用して出パケットを動的に転送する代わりに、パケットのヘッダに配置された経路情報を使用して、シリアル・チャネルが、プログラム時に静的に割り当てられることが可能である。負荷分散装置は、ヘッダの情報に基づいてパッケージをシリアル・チャネルに向けるルータに置き換えられる。

４０ 端子
４２ 拡張ユニット
Ｎ 計算ノード
ＰＡ プロセッサ・アレイ
ＩＯ 入力／出力ユニット
Ｌｅ１，Ｌｅ２ 外部リンク
Ｓ１，Ｓ２ スイッチ
ＥＸＴ ネットワーク拡張信号
ＬＢ 負荷分散装置

Claims (5)

1. 集積回路であって、
   アレイ状に配置された計算ノードと、
   パラレルのバス・リンクを介して前記計算ノードを相互に接続するトーラス・トポロジのネットワーク・オン・チップと、
   前記アレイの各行または列の各端部にあり、かつ２つの計算ノード間の前記バスに挿入されたネットワーク拡張ユニットであって、前記２つの対応する計算ノード間に前記バスの導通を確立する通常モード、および前記バスを２つの独立したバス・セグメントに分割する拡張モードを有する、ネットワーク拡張ユニットと、
   バス・セグメントにおいて並列に与えられるデータを、前記集積回路の第１の外部端子において直列に送信するための出シリアル・チャネルをそれぞれ形成する一連の並列／直列変換器と、
   前記集積回路の第２の外部端子において直列に到着するデータを、バス・セグメントにおいて並列に送信するための入シリアル・チャネルをそれぞれ形成する一連の直列／並列変換器と、
   前記アレイの同じ縁端部の前記ネットワーク拡張ユニットに共通の負荷分散装置であって、アウトバウンド送信が進行中である複数の前記バス・セグメント間に利用可能な出シリアル・チャネルを割り当てるように構成された、負荷分散装置と、
   を備える、集積回路。
2. 前記集積回路の前記第１および第２の外部端子が、通常モードで、前記行または列の前記端部にある計算ノード間のリンクに位置する入力／出力インタフェースに接続された、請求項１に記載の集積回路。
3. 前記負荷分散装置が、各出シリアル伝送のヘッダに、送信元の前記バス・セグメントの識別子を挿入するように構成された、請求項１に記載の集積回路。
4. 前記負荷分散装置が、各入シリアル伝送のヘッダを解析し、前記対応するシリアル・チャネルを前記ヘッダで識別されるバス・セグメントに切り換えるように構成された、請求項３に記載の集積回路。
5. 前記シリアル・チャネルが、データをパケットで送信し、伝送待ちのパケットの待ち行列を含み、前記負荷分散装置が、最も空いている待ち行列を有する前記シリアル・チャネルにパケットを転送するように構成された、請求項１に記載の集積回路。

Images