JP3992148B2 - 大規模でスケーラブルなプロセッサ・システムを構築するための電子回路基板 - Google Patents

Description

本発明は、一般にデータ処理システムに関し、詳細にはマルチプロセッサ・データ処理システムに関する。さらにより詳細には、本発明は、複数のプロセッサを効率的に相互接続して大規模なマルチプロセッサ・システム用のビルディング・ブロックを提供する方法およびシステムに関する。

本出願の関連出願として、本出願と同時に出願された同時係属の米国特許出願第１０／４２５４２１号（整理番号ＡＵＳ９２００２０２０６ＵＳ１）「技術的および商用の作業負荷をサポートする新しい接続を有するデータ処理システム（Data Processing System Having Novel Interconnect For Supporting BothTechnical and Commercial Workloads）」がある。

商用用途に使用されるデータ処理システムは、非常に速い速度で進歩を遂げてきている。このような発展は、シングル・プロセッサ・システムの設計と利用に始まり、より複雑なマルチプロセッサ・システム（ＭＰ）の設計と利用にまで進んできている。発展の大部分は、より高い処理能力とより速いデータ・オペレーションを求める産業界における必要性の増大によって拍車がかけられてきている。

技術サーバおよび商用サーバが、追加の処理能力およびより速い全体的なデータ・オペレーションの恩恵を受けてきたシステムの２つの例である。これらのシステムは、一般に分散メモリ・システム、それぞれ関連するメモリ・ブロックに対する直接アクセスを有するプロセッサ、またはメモリ親和性（memory affinity）が最小の非常に大規模なキャッシング・メカニズムを用いて設計される。

図１から図４は、シングル・プロセッサ・システムから、従来技術のプロセッサ−メモリ構成をビルディング・ブロックとして利用したますます複雑なデータ処理システムへの進展を示すものである。図１に示すように、従来技術のシングル・プロセッサ・チップ・システム１００は、シングル・プロセッサ１０１と、１対のバスによって相互接続されるメモリ１０５とを備える。各バスは、プロセッサ・チップとメモリ１０５の間で情報をやりとりするための１組の帯域幅（すなわちバイト数）を提供する。図１で、プロセッサ１０１は、８バイトのデータ入力バスおよび１６バイトのデータ出力バスを介して、「１ウェイ」構成と呼ばれる方法でメモリ１０５に接続されている。メモリ１０５は、処理中、プロセッサ１０１が利用する命令とデータを提供する。トライステート・バスおよび単方向／双方向バスを含めて、バスにはいくつかの代替実装形態がある。

従来技術のシングル・プロセッサ・チップ・システム１００は、２つのプロセッサ間バスを介して互いに結合されるマルチプロセッサ・チップを備える後続世代の処理システム用のビルディング・ブロックとして利用される。図２は、各チップからなるプロセッサ１０１を接続する相互接続バス１０３を有する２ウェイ・システムを示している。

一緒に接続すべきプロセッサ・チップ数が、（より大きな処理能力をもつシステムが要求されるために）増加するにつれて、プロセッサ・チップ間の接続性をサポートするために、スイッチＳＷ１２１によって例示される階層的なスイッチ・ベースのトポロジが実装されてきた。図３および４は、それぞれ階層的なスイッチ・トポロジを介して他のプロセッサ・チップのそれぞれに結合されたプロセッサ・チップ１０１をもつ、４ウェイ、および８ウェイ・システムを示している。図３の４ウェイ・システムでは、最高レベルが２つの相互接続されたプロセッサ・チップを２組備える、ただ２つのレベルのワイヤ接続の階層しか必要でない。

図４は、３つのレベルまたはワイヤ接続がある８ウェイ・システムを用いた階層的なスイッチ・ベースのトポロジを示している。階層的なスイッチ・トポロジと共に示すように、プロセッサはそれぞれ、それに関連するメモリ・ブロックだけに、また階層スイッチの最高レベルにあるシングル・プロセッサに、直接に接続される（すなわち、プロセッサは、完全には相互接続されない）。したがって、１ウェイ・システムと同様に、従来技術の２ウェイ、４ウェイ、および８ウェイ・システムも、一対一のメモリ親和性を示す。すなわち、各プロセッサはたった１つの接続されたメモリ・ブロックに対してのみ直接アクセスができる。一対一のメモリ親和性の場合には、複数のプロセッサを有する大規模なシステムが、全体システム内の利用可能なメモリ資源／帯域幅をフルに利用することが制限される。

プロセッサの数を増加しながら各システムの実効的スケーリングを注意深く分析することにより、プロセッサ数が増加するとき、メモリ帯域幅およびメモリ親和性の増大が、線形にスケーリングしないことが分かる。プロセッサ・チップ数をそれぞれ増大すると、完全な相互接続構成をサポートするのに必要なバス帯域幅の大きさの非線形な増大がもたらされる。バスの数およびバスの帯域幅は、プロセッサの数に比べて速く増加することは注目に値する。バスのバイト総数をより大きくすることが、親和性のない広帯域メモリの利用をサポートするために必要になる。より大規模なシステム、例えば８ウェイ・システムを提供するためにプロセッサの数を増すとき、バスにとって必要となるバイト総数は極端に大きくなる。あいにく、チップ外のバスを提供するのに利用可能な表面の面積が小さいので、それによって、バスの合計幅または数が、したがって各チップによって直接サポートできる実際の帯域幅が厳しく制限される。

以上のように、外部接続のためにバスに割り当てられる、プロセッサ・チップ上で利用可能な表面積（または周辺部）が比較的小さいので、このプロセッサ・システム中でプロセッサ数を増加するごとに、ますます限定的で非実用的なものとなる。しかし、より多くのプロセッサ数をもつさらにより複雑なシステムは依然として必要とされている。上記の階層スイッチを含むこれらのシステムを提供することは、非常に高くつき、非効率でもある。

したがって、メモリの待ち時間がより長くなり、帯域幅が減少し、より多くのワイヤおよびスイッチ、ロジック、およびその他外部構成要素に起因するコストの増大、必要な電力およびシステムを構築するための物理的場所の増大を含めて、上記のスイッチ・トポロジを利用する際のいくつかの不利な点が認識されている。
特許出願第１０／４２５４２１号（整理番号ＡＵＳ９２００２０２０６ＵＳ１）、「技術的および商用の作業負荷をサポートする新しい接続を有するデータ処理システム（Data Processing System Having Novel Interconnect For Supporting BothTechnical and Commercial Workloads）」

本発明は、チップ上に実用的より多くのバスを必要とせず、スケーリングによってより大規模なシステムを提供する、Ｎウェイ・システムとして構成されるマルチプロセッサ・システム（ＭＰ）が提供できれば望ましいはずであることを認識したものである。大幅な再構成なしに、より大規模でスケーラブルな処理システム用のビルディング・ブロックとして利用できるＭＰは、歓迎される改善となるはずである。以上その他の利点が、本明細書に記載の本発明によって提供される。

複数のプロセッサおよび結合された分散メモリを用いて構成されるプロセッサ・ブックを提供する方法およびシステムが開示されている。２つの４チップＭＣＭ（multi-chip moduleマルチチップ・モジュール）をプロセッサ・ブックを作成するためのビルディング・ブロックとして利用する。第１および第２のＭＣＭは、そのそれぞれのプロセッサを相互接続するプロセッサ−プロセッサ間配線を用いて構成される。第１のＭＣＭの各チップの外部ピンを第２のＭＣＭの対応するチップと結びつけ、その逆もまた同様に結びつける追加の配線が提供される。この追加のワイヤ接続により、第１のＭＣＭの各プロセッサに第２のＭＣＭの処理能力および分散メモリ構成要素に対するアクセスが提供され、このメモリ構成要素は、どのプロセッサに対しても親和性なしに動作し、その逆も同様である。

プロセッサ・ブック中の各チップへ他のチップから、また各チップから他のチップへのデータの経路指定を制御するための経路指定ロジックが、各チップ内に提供される。一実施形態では、経路指定ロジックは、商用作業負荷のプロセッサ・ブックまたは技術用作業負荷のプロセッサ・ブックとして動作するように後でプロセッサ・ブックを構成できるようにするためのソフトウェア設定可能なロジック構成要素を含む。

接続を完成するのに必要なバスの総数は、直接プロセッサ−プロセッサ間接続を提供する、従来技術の８ウェイ・システムで必要とされる数よりかなり少なく、階層的なスイッチ・ベース・システムに伴うコスト（追加のロジックなど）は、現実には発生しない。

このプロセッサ・ブックの実装形態をビルディング・ブロックとして用いて、複数のプロセッサ・ブックを接続する複数のレセプタをもつシステム・ラックを備える大規模なシステムを提供することができる。このシステム・ラックは、レセプタの１つにプラグされる各プロセッサ・ブックが、分散メモリを共用するより大きなプロセッサのシステムの一部となるように配線される。この経路指定ロジックは、システム・ラックに結合された一プロセッサ・ブックから他のプロセッサ・ブックへのコミュニケーションの外部経路指定をサポートするために必要とされるロジックを含む。

本発明の特徴と考えられる新規な特徴は、添付の特許請求の範囲に記載されている。しかし、本発明自体、ならびにその好ましい使用モード、さらなる目的、および利点については、実施形態の例についての以下の詳細な説明を参照し、添付図面と併せ読めば最も良く理解されよう。

本発明の上記、ならびに追加の目的、特徴、および利点は、以下の詳細に記述された説明の中で明らかとなろう。

本発明では、２個の相互接続されたマルチチップ・モジュール（ＭＣＭ）からなる新しいプロセッサ・ブックが導入される。このプロセッサ・ブックは、ずっと大規模な商用または技術用のシステムを提供するために、システム・ラック上の他のプロセッサ・ブックに接続されるように設計されている。さらに、従来技術のマルチチップ構成とは異なり、プロセッサが全体のメモリ容量を表示できるようにして、利用可能なメモリ帯域幅がより有効に使用できるように、プロセッサ・ブックのプロセッサ内に経路指定ロジックが提供される。

したがって、本発明は、どのようなメモリ親和性もなしに（すなわち、完全集約モデル（fullyaggregate model）で）各プロセッサが分散メモリを完全に使い切ることができるプロセッサ構成で実装される。これを可能にする一方法は、プロセッサを接続する１６バイトのバスでこの２ウェイ・システムを再構成するものである。このより大きなバスを用いると、この２ウェイ・システム、およびより大きなシステム内の各プロセッサが、その他のプロセッサのどれか１つに結合されたメモリ・ブロックに完全にアクセスすることが可能になる。次いで、この完全集約モデルを利用して、４つのプロセッサ・チップを有する完全相互接続構成の４ウェイＭＣＭを設計する。

ＭＣＭでは、それぞれが１つまたは複数のプロセッサを備える２つ以上のプロセッサ・チップを、特定の帯域幅を有するバスで相互接続する。したがって、例えば４つのシングル・プロセッサ・チップを１６バイトのバスで相互接続することによって、４つのプロセッサのマルチチップ・モジュール（ＭＣＭ）を設計することができる。このＭＣＭは、（図３に示すものなど）他の４ウェイ構成に比べて、より高い全体周波数、ならびにその他の利点を提供する。具体的には、このＭＣＭ構成により、従来のスイッチ・ベースの４ウェイ構成よりも商用負荷での性能が向上する。

図５は、４つのプロセッサによるＭＣＭを示すものである（これは、４ウェイ・マルチプロセッサ（ＭＰ）とも呼ばれる）。図に示すように、ＭＣＭ２１０は、ＭＣＭバス１０３によって相互接続された４つのシングル・プロセッサ・チップ２０１を含む。各プロセッサ・チップ２０１は、以下で説明するようにＭＣＭロジック２０７を含む。ＭＣＭ２１０のプロセッサ・チップ２０１は、複数対の１６バイトＭＣＭバス１０３を介して互いに相互接続され、情報をやりとりし、各対をなすＭＣＭバス１０３は、１６バイトのＭＣＭ入力バスと１６バイトのＭＣＭ出力バスとを含む。図５によれば、各プロセッサ・チップは、ＭＣＭ２１０上の他の２つのプロセッサ・チップに直接に結合されている。

各チップ２０１は、様々なバス上でのチップ間のデータ転送を管理する内部のＭＣＭ経路指定ロジック２０７を含む。ＭＣＭ経路指定ロジック２０７は、ＭＣＭ２１０内の構成要素への経路指定、ならびにＭＣＭ２１０の外部に接続された構成要素への経路指定を制御する。ＭＣＭ経路指定ロジック２０７は、経路指定されるデータ構成要素内に含まれる宛先アドレスを読み取り、データ構成要素を経路指定すべき適切なバスを選択する。例えば、チップＳ上のプロセッサから、隣接するプロセッサ・チップ、ＴまたはＶのいずれかのプロセッサへのコミュニケーション（命令もプロセッサ・チップ間で経路指定できるが、本明細書ではデータ・コミュニケーションと総称する）は、２つのチップを直接に結合するＭＣＭバス１０３上のチップＳのＭＣＭ経路指定ロジック２０７によって送られる。しかし、チップＳ上のプロセッサからチップＵ（すなわち、論理的に最も遠く離れておりＳに直接に結合されていないプロセッサ・チップ）上のプロセッサへのコミュニケーションが望ましいときには、ＭＣＭ経路指定ロジック２０７は、２つの隣接したプロセッサ・チップ、ＴまたはＶのうちの１つを横切るホップを介してチップＵ上のプロセッサにこのコミュニケーションを送る。ホップの各段階における経路指定は、特定のチップ上のＭＣＭ経路指定ロジック２０７が制御する。隣接していないプロセッサ間の各コミュニケーション・パスでは、余分なホップが必要とされるので待ち時間がより長くなる。

ＭＣＭ２１０内の各チップは、各ダイに直接に接続される追加のバスを介して、メモリ（図示せず）およびＩ／Ｏ装置（図示せず）を含めて他の外部構成要素に接続されている。外部構成要素（すなわち、他方のプロセッサ以外の構成要素）を接続するのに利用可能な追加のバスの数は、チップ・サイズの関数となる。一般に、各ダイには一定数のバスしか接続できず、したがって、各チップの接続性は、一定数のバスによって限定される。したがって、４チップのＭＣＭは効率的に設計されているものの、階層スイッチ相互接続をもつ図４の８プロセッサ、または８チップのシステムでは、性能またはコストはスケーリングされない。

本発明を、図５のＭＣＭと類似した、２つの相互接続した４ウェイのＭＣＭ（すなわち、ダイ当たり１つのシングル・プロセッサを有するチップ４個を含むＭＣＭ２個）からなる８ウェイのＳＭＰブックを具体的に参照して以下で説明する。本明細書に記載の特徴および８ウェイＳＭＰブックの具体的参照は、例示のためにすぎず、本発明を限定するものと解釈すべきでないこと、そして本発明を、ダイ当たり複数のプロセッサを有し、またはＳＭＰブック当たりより多くのチップを有するより複雑なシステムにも同様に適用できることが、当業者には理解されよう。

本発明は、多数の処理構成要素、大容量のサポート・メモリ、およびプロセッサ・チップの所与のサイズに対して実用性を超えたスケーリングを必要としない相互接続性を有する大規模な処理システムを実現するためのビルディング・ブロックを提供する。詳細には、本発明では、個々の８ウェイのデータ処理システム（以下では、プロセッサ・ブックと呼ぶ）を提供し、次いで、これらプロセッサ・ブックをより複雑なＭＰを実現するためのビルディング・ブロックとして利用することにより、商用および技術用の作業負荷を処理するより複雑なシステムに対する必要性に対処している。

図６および図７は、本発明によるプロセッサ・ブック（すなわち、２つの相互接続された４プロセッサＭＣＭのホストとして働くマザー・ボード）と呼ばれる８ウェイＳＭＰの２つの構成を示すものである。図に示すように、プロセッサ・ブック２００は、第１のＭＣＭ（すなわち、プロセッサ・チップ２０１、および関連するメモリ構成要素２０５Ａ）と第２のＭＣＭ（プロセッサ・チップ２０３、および関連するメモリ構成要素２０５Ｂ）とを備える。第１のＭＣＭも第２のＭＣＭも共に、図５のＭＣＭ２１０と類似の４ウェイＭＣＭである。

図７に示すように、プロセッサを直接に相互接続する８バイトのＭＣＭチップ−チップ間バス１０３に加えて、ＭＣＭ２１０のプロセッサ・チップ２０１は、以下の追加のバス、すなわち２つの８バイトＭＣＭ ＥＣＢ（拡張制御バス）２０９と、２つの８バイトＭＣＭ−ＭＣＭ間バス２１１と、８バイトのメモリ入力バスおよび１６バイトのメモリ出力バスを含む１対のメモリ・バス２１３と、２つの８バイトＩ／Ｏバス２１５とを含む。

プロセッサ・ブック２００の各チップはまた、ＭＣＭ経路指定ロジック２０７を含み、これはまた、第１のＭＣＭと第２のＭＣＭとの間のコミュニケーションの経路指定も管理する。ＭＣＭ経路指定ロジック２０７は、ＭＣＭ−ＭＣＭ間バス２１１およびＭＣＭ ＥＣＢ２０９を含めてＭＣＭの外部バスのすべてで行われる経路指定を制御する。図に示すように、（例えばＳ０−Ｓ１、Ｔ０−Ｔ１など）第１のＭＣＭの各プロセッサ・チップへ第２のＭＣＭの対応するプロセッサ・チップから、また第１のＭＣＭの各プロセッサ・チップから第２のＭＣＭの対応するプロセッサ・チップへと、１対のＭＣＭ−ＭＣＭ間バス２１１が通っている。

図６も図７も共に、ＭＣＭ拡張バス２０９を含めて、プロセッサ・ブック２００内の第１のＭＣＭと第２のＭＣＭのプロセッサ間の相互接続を示すものである。各ＭＣＭのプロセッサ・チップ２０１、２０３は、互いに１６バイトのチップ−チップ間バス１０３を介して相互接続され、各チップがそれぞれのＭＣＭ上の両方の隣接するプロセッサ・チップからの１６バイトの入力バスと１６バイトの出力バスを有している。個々のプロセッサ・チップ２０１、２０３には分散メモリ２０５が接続され、分散メモリの各ブロックは１対のバス２１３を介してそれぞれのプロセッサ・チップに接続されている。一実施形態では、対をなすバスは、８バイトのデータ入力バスおよび１６バイトのデータ出力バス２１３を備える。一連のＭＣＭ ＥＣＢ２０９も示されており、これは、プロセッサ・チップ２０１、２０３に、図３に示すような外部構成要素への接続性を提供する。本発明によれば、商用ＭＰでは、ＭＣＭ ＥＣＢ２０９を利用して、プロセッサ・ブックを別の８ウェイＳＭＰなど外部の他のプロセッサ・ブックに相互接続する。

プロセッサ・ブックの動作時に、第１のＭＣＭから第２のＭＣＭへのコミュニケーションには、８バイト・バス上での少なくとも１回の転送が常に必要になる、例えば、Ｓ０からＳ１へのコミュニケーションは、ＭＣＭバス２１１上で直接に経路指定される。Ｓ０からＵ１へのコミュニケーションには、８バイトのＭＣＭバス上でプロセッサ・ブックを横切ってＵ１へと伝送する前に、ＭＣＭの１６バイトのバスに沿って２つの中間ホップ（すなわち、Ｓ０−Ｔ０−Ｕ０）が必要なことは注目すべきである。あるいは、同じそのコミュニケーションをパスＳ０−Ｓ１−Ｔ１−Ｕ１を経由して経路指定することもできる。取るべき正確な経路の決定は、様々なパス上の現在の使用状況に基づいてＭＣＭ経路指定ロジック２０７が行う。どのパスを取るかにはかかわらずコミュニケーションは、宛先に到達する前に、２つのホップを行う。

図６および図７に示す構成に従って設計される複数の８ウェイ処理システムは、しばしば、図８および図９で示す方式で互いに接続されて、大規模な商用処理システム（すなわち、それぞれが商用データ作業負荷を処理するのに必要な機能的特徴を有するプロセッサを多数用いて設計されるマルチプロセッサ・システム）を作成する。一般的に、商用作業負荷では、大量の処理資源およびキャッシュ・サイトを含む処理システムが必要となるが、大きなメモリ帯域幅またはデータ転送効率は必要とはしない。商用処理では、（追加のホップに起因する）チップ間コミュニケーションのメモリの待ち時間は許容可能である。しかし、これらのホップは、メモリの非効率な利用をもたらすので、効率のよい技術用ＳＭＰを構築するには最適ではないことになる。その結果、上記のプロセッサ・ブック構成は、以下で述べるようにこれらの欠陥の影響をあまり受けない商用作業負荷を処理するようにより最適化される。

図８は、互いに配線して本発明の一実施形態による商用ＳＭＰ３１０（すなわち、商用作業負荷を処理するように設計されたＳＭＰ）を形成する一連のプロセッサ・ブック２００を示すものである。商用分野では、大規模なデータ処理システムは通常、大きな処理能力を必要とする。この処理能力を実現するために、プロセッサ・チップのＭＣＭ ＥＣＢ２０９を使用して複数のプロセッサ・ブック２００を一緒にまとめて配線する。プロセッサ・ブック２００の第１および第２のＭＣＭを通っているこれらのバスを示す。このようにして、Ｎ×８ウェイ（例えば、３２Ｗ、４８Ｗ、６４Ｗなど）の商用ＳＭＰシステムが提供される。ただし、Ｎは正の整数である。

図９は、システム・ラック３００上にプロセッサを組み立てた図８と同様の構成を示している。システム・ラック３００は、例えば、業界標準の１９”ラックなど、受動的バックプレーンを備え、そのバックプレーン上に、（図１０に示す）複数のプロセッサ・ブックを同時に相互接続するための複数のバックプレーン・コネクタが設けられている。図１０に、システム・ラック３００のバックプレーン・コネクタ３２１の一例を示す。プロセッサ・ブック２００の例も示されており、このプロセッサ・ブックは、システム・ラック３００のバックプレーン・コネクタ３２１中に「プラグする」プラグイン・コネクタ３２５を含む。

プラグイン・コネクタ３２５は、プロセッサ・ブック２００のＭＣＭ ＥＣＢ２０９の終端ワイヤとなるピンを含む。したがって、プロセッサ・ブック２００の８プロセッサ構成によれば、プラグイン・コネクタ３２５は、８出力のＥＣＢのそれぞれ、および８入力のＥＣＢのそれぞれに対して別々のコネクタ・ピンを含む。システム・ラック３００の製造を、プロセッサ・ブック２００の製造とは別々に完了し、したがって、異なる製造技術または設計あるいはその両方を利用して、プロセッサ・ブック２００をシステム・ラック３００へと接続、最終的には互いのプロセッサ・ブックへと接続することを可能にすることができる。

システム・ラック３００の受動的バックプレーンは、ベース材料中に網目状に作り込まれた配線を含み、その配線は、図８に示す接続と同様にシステム・ラック３００上で各バックプレーン・コネクタ３２１を相互に接続する。商用用途では、プロセッサ・ブック２００をプラグイン・コネクタ３２５を介してシステム・ラック３００のバックプレーン・コネクタ３２１にプラグするとき、プロセッサ・ブック２００のＭＣＭ ＥＣＢ２０９は、図８および図９に示すものと同様にしてラック上の隣接するプロセッサ・ブックのＭＣＭ ＥＣＢ２０９に接続される。したがって、システム・ラック３００を使用することにより、ますます大規模な商用ＳＭＰの構築に際して、システム・ラック３００のサイズとそれに接続されるプロセッサ・ブックの数に応じて、スケーリングすることが可能になる。

プロセッサ・ブック間のコミュニケーションは、各プロセッサ・ブック上に配置されるロジック２０７によって制御される。ロジック２０７は、データを１つのブックから別の隣接するブックへと渡すことができるようにする経路指定プロトコルを提供する。データを第１のプロセッサ・ブックのチップＵ０上のプロセッサから別のプロセッサ・ブックのプロセッサＳ０へと転送するとき、このプロセッサ・ブック内の転送（Ｕ０−Ｔ０−Ｓ０またはＵ０−Ｖ０−Ｓ０）は、１６バイトのＭＣＭバス２０３上のＭＣＭ経路指定ロジック２０７の内部経路指定機能によって制御されるが、プロセッサ・ブックを横切る転送（Ｓ０−Ｓ０）は、８バイトのＭＣＭ ＥＣＢ２０９上のＭＣＭ経路指定ロジック２０７の外部経路指定機能によって制御される。

さらに、再構成／再配線プロセッサ・ブックを用いると、どのようなメモリ親和性をも必要とせずまたは示さずに、すべてのメモリにわたる８ウェイのＳＭＰが実現される。データ伝送の帯域幅を広げることによって、必要なデータ転送がデータ・バスに対するアクセス権を得る前に他のプロセスを待つ必要がないので、各メモリ・サブシステムはほぼ容量の１００％を利用して実行できるようになる。したがって、もともと商用作業負荷に対して設計された８ウェイのプロセッサ・ブックから、より広いメモリ帯域幅とより短いメモリ待ち時間を実現することができ、その結果、このプロセッサ・ブックが、技術用作業負荷をサポートするように最適化される。

本発明を具体的な実施形態に関して説明してきたが、この説明を限定的な意味で解釈すべきではない。開示の実施形態の様々な変更形態、ならびに本発明の代替実施形態が、本発明の説明を参照すれば当業者には明らかとなるであろう。例えば、各チップが１つのＥＣＢ出力と１つのＥＣＢ入力を有するものとして図示し説明してきたが、他のバスの数も本発明の範囲に含まれる（例えば、プロセッサごとに別々のＥＣＢ）。また、８ウェイのプロセッサ・ブックとして説明してきたが、本発明は、異なるサイズのプロセッサ・ブックを用いても実装することができる。例えば、同じＭＣＭ−ＭＣＭ構成中でチップ当たり２つのプロセッサを備える１６ウェイのプロセッサ・ブックも利用することができる。したがって、添付の特許請求の範囲で定義される本発明の趣旨および範囲を逸脱することなく、かかる変更を行うことができることが企図されている。

まとめとして、本発明の構成に関して以下の事項を開示する。

（１）第１のプロセッサ・チップ・モジュールの内部にある第１組のモジュール内バスによって相互接続され、少なくともプロセッサ・チップＳ_０およびＴ_０を含む第１の複数のプロセッサ・チップを含む前記第１のプロセッサ・チップ・モジュールと、
第２のプロセッサ・チップ・モジュールの内部にある第２組のモジュール内バスによって相互接続され、プロセッサ・チップＳ_１およびＴ_１を含む第２の複数のプロセッサ・チップを含む前記第２のプロセッサ・チップ・モジュールと、
前記第１のプロセッサ・チップ・モジュールおよび前記第２のプロセッサ・チップ・モジュールの外部にあり、前記第１のプロセッサ・チップ・モジュールのうちの各プロセッサ・チップを前記第２のプロセッサ・チップ・モジュールのうちの対応するプロセッサ・チップにそれぞれ接続する第３組のバスであって、Ｓ_０がＳ_１に接続し、Ｔ_０がＴ_１に接続するバスと、
プロセッサ・ブック中のそれぞれのプロセッサ・チップにそれぞれ接続された複数の外部経路指定バスを含み、前記プロセッサ・チップのそれぞれに外部バスを経由して外部接続ポイントを提供する手段と
を備えるプロセッサ・ブック。
（２）前記第１のプロセッサ・チップ・モジュールおよび前記第２のプロセッサ・チップ・モジュールの前記プロセッサ・チップのそれぞれに結合された個々のメモリ構成要素をもつ分散メモリをさらに備え、
前記第１、第２、および第３組のバスが、メモリ親和性のない前記プロセッサ・チップ内の各プロセッサによる、前記個々のメモリ構成要素のそれぞれに対するアクセスを可能にするバス帯域幅を提供する、上記（１）に記載のプロセッサ・ブック。
（３）さらに、前記第４組のバスが、同様の構成の別のグループのプロセッサ・チップ・モジュールに対する接続を提供する、上記（１）に記載のプロセッサ・ブック。
（４）さらに、前記第４組のバスが、前記プロセッサ・チップから前記第４組のバス内の各バスに相当するピンを備えるコネクタ中へと延びる、上記（２）に記載のプロセッサ・ブック。
（５）前記第１組のバスおよび前記第２組のバスが、１６バイト・バスであり、前記第３組のバスが、８バイト・バスである、上記（１）に記載のプロセッサ・ブック。
（６）各メモリ構成要素が、そのそれぞれのプロセッサ・チップに８バイト・データ入力バスおよび１６バイト・データ出力バスを介して結合される、上記（５）に記載のプロセッサ・ブック。
（７）それぞれ前記プロセッサ・チップのうちの１つに結合され、外部入力を受け取り、それぞれのプロセッサ・チップからの出力を送り出す手段を提供する第５組の入出力（Ｉ／Ｏ）バスをさらに備える、上記（１）に記載のプロセッサ・ブック。
（８）前記プロセッサ・チップのうちのそれぞれ１つに関連し、前記プロセッサ・ブック内のデータ転送を、前記第１のプロセッサ・チップ・モジュールから前記第２のプロセッサ・チップ・モジュールへと、また前記第２のプロセッサ・チップ・モジュールから前記第１のプロセッサ・チップ・モジュールへとを含めて１つのプロセッサ・チップから別のプロセッサ・チップへと導く、経路指定ロジックをさらに含む、上記（１）に記載のプロセッサ・ブック。
（９）第１のプロセッサ・チップ・モジュールの内部にある第１組のモジュール内バスによって相互接続され、少なくともプロセッサ・チップＳ_０およびＴ_０を含む第１の複数のプロセッサ・チップを含む第１のプロセッサ・チップ・モジュールと、
第２のプロセッサ・チップ・モジュールの内部にある第２組のモジュール内バスによって相互接続され、プロセッサ・チップＳ_１およびＴ_１を含む第２の複数のプロセッサ・チップを含む第２のプロセッサ・チップ・モジュールと、
前記第１のプロセッサ・チップ・モジュールおよび前記第２のプロセッサ・チップ・モジュールの外部にあり、プロセッサ・チップＳ_０、Ｔ_０、Ｕ_０、およびＶ_０のそれぞれを、プロセッサ・チップＳ_１およびＴ_１のそれぞれ１つに相互接続する第３組のバスと、
プロセッサ・ブック中のそれぞれのプロセッサ・チップにそれぞれ接続された複数の外部経路指定バスを含み、前記外部経路指定バスが、プロセッサ・ブックの外部にある構成要素用の接続ポイントを提供する、前記プロセッサ・ブックから外部に延びる第４組のバスと
を含む、外部接続ポイントを有するプロセッサ・ブック、ならびに
前記プロセッサ・ブックの外部にあり、前記外部接続ポイントを介して前記プロセッサ・ブックに結合される構成要素を
備えるデータ処理システム。
（１０）前記第１のプロセッサ・チップ・モジュールおよび前記第２のプロセッサ・チップ・モジュールの前記プロセッサ・チップのそれぞれに結合された個々のメモリ構成要素を有する分散メモリをさらに備え、
前記第１、第２、および第３組のバスが、メモリ親和性のない前記プロセッサ・チップ内の各プロセッサによる、前記個々のメモリ構成要素のそれぞれに対するアクセスを可能にするバス帯域幅を提供する、上記（９）に記載のデータ処理システム。
（１１）さらに、前記第４組のバスが、同様の構成の別のグループのプロセッサ・チップ・モジュールに対する接続を提供する、上記（９）に記載のデータ処理システム。
（１２）さらに、前記第４組のバスが、前記プロセッサ・チップから前記第４組のバス内の各バスに相当するピンを備えるコネクタ中へと延びる、上記（１０）に記載のデータ処理システム。
（１３）前記第１組のバスおよび前記第２組のバスが、１６バイト・バスであり、前記第３組のバスが、８バイト・バスである、上記（９）に記載のデータ処理システム。
（１４）各メモリ構成要素が、そのそれぞれのプロセッサ・チップに８バイト・データ入力バスおよび１６バイト・データ出力バスを介して結合される、上記（１３）に記載のデータ処理システム。
（１５）それぞれ前記プロセッサ・チップのうちの１つに結合され、外部入力を受け取り、それぞれのプロセッサ・チップからの出力を送り出す手段を提供する第５組の入出力（Ｉ／Ｏ）バスをさらに備える、上記（９）に記載のデータ処理システム。
（１６）前記プロセッサ・チップのうちのそれぞれ１つに関連し、前記プロセッサ・ブック内のデータ転送を、前記第１のＭＣＭから前記第２のＭＣＭへと、また前記第２のＭＣＭから前記第１のＭＣＭへとを含めて１つのプロセッサ・チップから別のプロセッサ・チップへと導く、経路指定ロジックをさらに含む、上記（９）に記載のデータ処理システム。
（１７）プロセッサ・ブックのプラグイン・ヘッドを受ける複数のコネクタを有するバックプレーンを含み、前記複数のコネクタのうちの各コネクタが、順次お互いに配線されるプロセッサ・ラックと、
前記複数のコネクタのうちの第１のコネクタに結合された前記プラグイン・ヘッドを有する第１のプロセッサ・ブックとを備えるデータ処理システムであって、前記プロセッサ・ブックが、
第１のプロセッサ・チップ・モジュールの内部にある第１組のモジュール内バスによって相互接続され、少なくともプロセッサ・チップＳ_０およびＴ_０を含む第１の複数のプロセッサ・チップを含む第１のプロセッサ・チップ・モジュールと、
第２のプロセッサ・チップ・モジュールの内部にある第２組のモジュール内バスによって相互接続され、プロセッサ・チップＳ_１およびＴ_１を含む第２の複数のプロセッサ・チップを含む第２のプロセッサ・チップ・モジュールと、
前記第１のプロセッサ・チップ・モジュールおよび前記第２のプロセッサ・チップ・モジュールの外部にあり、
プロセッサ・チップＳ_０、Ｔ_０、Ｕ_０、およびＶ_０のそれぞれを、プロセッサ・チップＳ_１およびＴ_１のそれぞれ１つに相互接続する第３組のバスと、
前記プロセッサ・ブック中のそれぞれのプロセッサ・チップにそれぞれ接続された複数の外部経路指定バスを含み、前記外部経路指定バスが、前記プロセッサ・ブックの外部にある構成要素用の接続ポイントを提供する、前記プロセッサ・ブックから外部に延びる第４組のバスと
を備える、データ処理システム。
（１８）前記プロセッサ・ブックが、前記第１のプロセッサ・チップ・モジュールおよび前記第２のプロセッサ・チップ・モジュールの前記プロセッサ・チップのそれぞれに結合された個々のメモリ構成要素を有する分散メモリをさらに備え、
前記第１、第２、および第３組のバスが、メモリ親和性のない前記プロセッサ・チップ内の各プロセッサによる、前記個々のメモリ構成要素のそれぞれに対するアクセスを可能にするバス帯域幅を提供する、上記（１７）に記載のデータ処理システム。
（１９）前記プロセッサ・ブックが、やはり前記複数のコネクタのうちの第２のコネクタに結合された第２のプロセッサ・ブックをさらに備え、前記第２のプロセッサ・ブックが、前記第１のプロセッサ・ブックと同様の構成であり、前記プロセッサ・ラック上の前記第１のコネクタと前記第２のコネクタの間のワイヤ接続を介して前記第１のプロセッサ・ブックと相互接続される、上記（１７）に記載のデータ処理システム。
（２０）さらに、前記第４組のバスが、前記第１のプロセッサ・チップから前記プラグイン・ヘッドへと延び、前記プラグイン・ヘッド内のピン・コネクタとして終端する、上記（１８）に記載のデータ処理システム。
（２１）前記第１のプロセッサ・ブック上でも前記第１のプロセッサ・ブック外でも前記第２のプロセッサ・ブックに至るように、データ伝送およびコミュニケーション用の経路指定パスを選択する、前記第１のプロセッサ・ブック上の経路指定ロジックをさらに含む、上記（１９）に記載のデータ処理システム。
（２２）あるコネクタがそれに結合されたプロセッサ・ブックを含まないときに、前記プロセッサ・ラック内で完全な接続パスが常に提供されるように、前記コネクタから別のコネクタへの接続を完成する配線手段をさらに備える、上記（１７）に記載のデータ処理システム。

従来技術による、従来のＮウェイの処理システムの発展を示すブロック図である。 従来技術による、従来のＮウェイの処理システムの発展を示すブロック図である。 従来技術による、従来のＮウェイの処理システムの発展を示すブロック図である。 従来技術による、従来のＮウェイの処理システムの発展を示すブロック図である。 本発明の一実施形態によるプロセッサ・ブックのビルディング・ブロックとして利用される４ウェイのマルチチップ・モジュール（ＭＣＭ）を示すブロック図である。 本発明の一実施形態による、図５の２つのＭＣＭを相互接続することによって設計され、商用作業負荷のプロセッサ・ブック、または技術用作業負荷のプロセッサ・ブックとして利用することができる８ウェイのプロセッサ・ブックを示す図である。 本発明の一実施形態による、図５の２つのＭＣＭを相互接続することによって設計され、商用作業負荷のプロセッサ・ブック、または技術用作業負荷のプロセッサ・ブックとして利用することができる８ウェイのプロセッサ・ブックを示す図である。 本発明の一実施形態による、商用作業負荷のサーバを提供するための、システム・ラック上のＭＣＭの外部コネクタ・バス（ＥＣＢ）を介して相互接続されたＮ個の図６の８ウェイのプロセッサ・ブックを備えるＮ×８ウェイのＳＭＰを示す図である。 本発明の一実施形態による、商用作業負荷のサーバを提供するための、システム・ラック上のＭＣＭの外部コネクタ・バス（ＥＣＢ）を介して相互接続されたＮ個の図６の８ウェイのプロセッサ・ブックを備えるＮ×８ウェイのＳＭＰを示す図である。 本発明の一実施形態による、図８および図９のシステム・ラックに対する各８ウェイのプロセッサ・ブックの接続メカニズムを示すブロック図である。

符号の説明

１０３ ＭＣＭバス
２００ プロセッサ・ブック
２０１ シングル・プロセッサ・チップ
２０５ 分散メモリ
２０５Ａ 関連するメモリ構成要素
２０５Ｂ 関連するメモリ構成要素
２０７ ＭＣＭロジック、ＭＣＭ経路指定ロジック
２０９ ＭＣＭ ＥＣＢバス
２１０ ＭＣＭ
２１１ ＭＣＭ−ＭＣＭ間バス
２１３ メモリ・バス
２１５ ８バイトＩ／Ｏバス
３００ システム・ラック
３１０ 商用ＳＭＰ
３２１ バックプレーン・コネクタ
３２５ プラグイン・コネクタ

Claims (18)

1. 第１のプロセッサ・チップ・モジュールの内部にある第１組のモジュール内バスによって相互接続され、少なくともプロセッサ・チップＳ０およびＴ０を含む第１の複数のプロセッサ・チップを含む前記第１のプロセッサ・チップ・モジュールと、
   第２のプロセッサ・チップ・モジュールの内部にある第２組のモジュール内バスによって相互接続され、プロセッサ・チップＳ１およびＴ１を含む第２の複数のプロセッサ・チップを含む前記第２のプロセッサ・チップ・モジュールと、
   前記第１のプロセッサ・チップ・モジュールおよび前記第２のプロセッサ・チップ・モジュールの外部にあり、前記第１のプロセッサ・チップ・モジュールのうちの各プロセッサ・チップを前記第２のプロセッサ・チップ・モジュールのうちの対応するプロセッサ・チップにそれぞれ接続する第３組のバスであって、Ｓ０がＳ１に接続し、Ｔ０がＴ１に接続するバスと、
   電子回路基板中のそれぞれのプロセッサ・チップにそれぞれ接続された複数の外部経路指定バスを含み、前記プロセッサ・チップのそれぞれに外部バスを経由して外部接続ポイントを提供する手段と、
   前記第１のプロセッサ・チップ・モジュールおよび前記第２のプロセッサ・チップ・モジュールの前記プロセッサ・チップのそれぞれに結合された個々のメモリ構成要素をもつ分散メモリを備え、
   前記第１、第２、および第３組のバスが、メモリ親和性のない前記プロセッサ・チップ内の各プロセッサによる、前記個々のメモリ構成要素のそれぞれに対するアクセスを可能にするバス帯域幅を提供する、電子回路基板。
2. さらに、第４組のバスが、同様の構成の別のグループのプロセッサ・チップ・モジュールに対する接続を提供する、請求項１に記載の電子回路基板。
3. さらに、第４組のバスが、前記プロセッサ・チップから前記第４組のバス内の各バスに相当するピンを備えるコネクタ中へと延びる、請求項１に記載の電子回路基板。
4. 前記第１組のバスおよび前記第２組のバスが、１６バイト・バスであり、前記第３組のバスが、８バイト・バスである、請求項１に記載の電子回路基板。
5. 各メモリ構成要素が、そのそれぞれのプロセッサ・チップに８バイト・データ入力バスおよび１６バイト・データ出力バスを介して結合される、請求項４に記載の電子回路基板。
6. それぞれ前記プロセッサ・チップのうちの１つに結合され、外部入力を受け取り、それぞれのプロセッサ・チップからの出力を送り出す手段を提供する第５組の入出力（Ｉ／Ｏ）バスをさらに備える、請求項１に記載の電子回路基板。
7. 前記プロセッサ・チップのうちのそれぞれ１つに関連し、前記電子回路基板内のデータ転送を、前記第１のプロセッサ・チップ・モジュールから前記第２のプロセッサ・チップ・モジュールへと、また前記第２のプロセッサ・チップ・モジュールから前記第１のプロセッサ・チップ・モジュールへとを含めて１つのプロセッサ・チップから別のプロセッサ・チップへと導く、経路指定ロジックをさらに含む、請求項１に記載の電子回路基板。
8. 第１のプロセッサ・チップ・モジュールの内部にある第１組のモジュール内バスによって相互接続され、少なくともプロセッサ・チップＳ０およびＴ０を含む第１の複数のプロセッサ・チップを含む第１のプロセッサ・チップ・モジュールと、
   第２のプロセッサ・チップ・モジュールの内部にある第２組のモジュール内バスによって相互接続され、プロセッサ・チップＳ１およびＴ１を含む第２の複数のプロセッサ・チップを含む第２のプロセッサ・チップ・モジュールと、
   前記第１のプロセッサ・チップ・モジュールおよび前記第２のプロセッサ・チップ・モジュールの外部にあり、プロセッサ・チップＳ０、Ｔ０、Ｕ０、およびＶ０のそれぞれを、プロセッサ・チップＳ１およびＴ１のそれぞれ１つに相互接続する第３組のバスと、
   電子回路基板中のそれぞれのプロセッサ・チップにそれぞれ接続された複数の外部経路指定バスを含み、前記外部経路指定バスが、電子回路基板の外部にある構成要素用の接続ポイントを提供する、前記電子回路基板から外部に延びる第４組のバスと
   を含む、外部接続ポイントを有する電子回路基板、ならびに
   前記電子回路基板の外部にあり、前記外部接続ポイントを介して前記電子回路基板に結合される構成要素を備え、
   前記第１のプロセッサ・チップ・モジュールおよび前記第２のプロセッサ・チップ・モジュールの前記プロセッサ・チップのそれぞれに結合された個々のメモリ構成要素を有する分散メモリをさらに備え、
   前記第１、第２、および第３組のバスが、メモリ親和性のない前記プロセッサ・チップ内の各プロセッサによる、前記個々のメモリ構成要素のそれぞれに対するアクセスを可能にするバス帯域幅を提供する、データ処理システム。
9. さらに、前記第４組のバスが、同様の構成の別のグループのプロセッサ・チップ・モジュールに対する接続を提供する、請求項８に記載のデータ処理システム。
10. さらに、前記第４組のバスが、前記プロセッサ・チップから前記第４組のバス内の各バスに相当するピンを備えるコネクタ中へと延びる、請求項８に記載のデータ処理システム。
11. 前記第１組のバスおよび前記第２組のバスが、１６バイト・バスであり、前記第３組のバスが、８バイト・バスである、請求項８に記載のデータ処理システム。
12. 各メモリ構成要素が、そのそれぞれのプロセッサ・チップに８バイト・データ入力バス
    および１６バイト・データ出力バスを介して結合される、請求項１１に記載のデータ処理システム。
13. それぞれ前記プロセッサ・チップのうちの１つに結合され、外部入力を受け取り、それぞれのプロセッサ・チップからの出力を送り出す手段を提供する第５組の入出力（Ｉ／Ｏ）バスをさらに備える、請求項８に記載のデータ処理システム。
14. 前記プロセッサ・チップのうちのそれぞれ１つに関連し、前記電子回路基板内のデータ転送を、前記第１のＭＣＭから前記第２のＭＣＭへと、また前記第２のＭＣＭから前記第１のＭＣＭへとを含めて１つのプロセッサ・チップから別のプロセッサ・チップへと導く、経路指定ロジックをさらに含む、請求項８に記載のデータ処理システム。
15. 電子回路基板のプラグイン・ヘッドを受ける複数のコネクタを有するバックプレーンを含み、前記複数のコネクタのうちの各コネクタが、順次お互いに配線されるプロセッサ・ラックと、
    前記複数のコネクタのうちの第１のコネクタに結合された前記プラグイン・ヘッドを有する第１の電子回路基板とを備えるデータ処理システムであって、前記電子回路基板が、
    第１のプロセッサ・チップ・モジュールの内部にある第１組のモジュール内バスによって相互接続され、少なくともプロセッサ・チップＳ０およびＴ０を含む第１の複数のプロセッサ・チップを含む第１のプロセッサ・チップ・モジュールと、
    第２のプロセッサ・チップ・モジュールの内部にある第２組のモジュール内バスによって相互接続され、プロセッサ・チップＳ１およびＴ１を含む第２の複数のプロセッサ・チップを含む第２のプロセッサ・チップ・モジュールと、
    前記第１のプロセッサ・チップ・モジュールおよび前記第２のプロセッサ・チップ・モジュールの外部にあり、
    プロセッサ・チップＳ０、Ｔ０、Ｕ０、およびＶ０のそれぞれを、プロセッサ・チップＳ１およびＴ１のそれぞれ１つに相互接続する第３組のバスと、
    前記電子回路基板中のそれぞれのプロセッサ・チップにそれぞれ接続された複数の外部経路指定バスを含み、前記外部経路指定バスが、前記電子回路基板の外部にある構成要素用の接続ポイントを提供する、前記電子回路基板から外部に延びる第４組のバスを備え、
    前記電子回路基板が、前記第１のプロセッサ・チップ・モジュールおよび前記第２のプロセッサ・チップ・モジュールの前記プロセッサ・チップのそれぞれに結合された個々のメモリ構成要素を有する分散メモリをさらに備え、
    前記第１、第２、および第３組のバスが、メモリ親和性のない前記プロセッサ・チップ内の各プロセッサによる、前記個々のメモリ構成要素のそれぞれに対するアクセスを可能にするバス帯域幅を提供する、データ処理システム。
16. 前記電子回路基板が、やはり前記複数のコネクタのうちの第２のコネクタに結合された第２の電子回路基板をさらに備え、前記第２の電子回路基板が、前記第１の電子回路基板と同様の構成であり、前記プロセッサ・ラック上の前記第１のコネクタと前記第２のコネクタの間のワイヤ接続を介して前記第１の電子回路基板と相互接続される、請求項１５に記載のデータ処理システム。
17. さらに、前記第４組のバスが、前記第１のプロセッサ・チップから前記プラグイン・ヘッドへと延び、前記プラグイン・ヘッド内のピン・コネクタとして終端する、請求項１５に記載のデータ処理システム。
18. 前記第１の電子回路基板上でも前記第１の電子回路基板外でも前記第２の電子回路基板に至るように、データ伝送およびコミュニケーション用の経路指定パスを選択する、前記第１の電子回路基板上の経路指定ロジックをさらに含む、請求項１６に記載のデータ処理システム。

Images