JP4232737B2

JP4232737B2 - ネットワーク装置

Info

Publication number: JP4232737B2
Application number: JP2004371114A
Authority: JP
Inventors: 憲行安藤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2004-12-22
Filing date: 2004-12-22
Publication date: 2009-03-04
Anticipated expiration: 2024-12-22
Also published as: JP2006178734A

Description

本発明は、複数個の演算プロセッサからなる演算処理装置、主記憶装置、これら各装置を結合する相互結合網より構成されるマルチプロセッサ構成の並列計算機のネットワーク装置に関する。

複数の演算ノードと相互結合網から構成される並列計算機において、演算ノードと相互結合網間のパスのデータ幅を特定バイト幅でスライスし、相互結合網において、スライスされた各バイト（又はビット）をそれぞれ別々のスイッチ装置で受け持つようにして各スイッチ装置の回路量の低減を図るようにした相互結合網が、従来より、知られている（例えば特許文献１、２参照）。特許文献１には、ハードウエアフロー制御を実現したビットスライス方式のクロスバスイッチ回路が開示されており、転送形態（転送データのビット幅、分割幅）の拡張性に柔軟に対応可能とされている。また、特許文献２には、スイッチが複数ポート（１６ポート）の各々について８バイト幅のアドレス・データ転送路と、機能制御信号とを接続インタフェースとして持ち、８バイト幅のアドレス・データ転送路は、２バイト単位にスライス分割され、予備の１スライスを加えた５スライス構成で５個のスイッチングＬＳＩにより接続される構成が開示されている。さらに、冗長構成のクロスバスイッチを備え、クロスバスイッチに障害発生時、障害情報に基づき障害処理回路がクロスバスイッチの入力部及び出力部に設けられた選択回路を制御し、システム再立ち上げ後、障害のあるクロスバスイッチを回避した運用を可能とした構成が知られている（特許文献３）。また、クロスバスイッチに接続される各ノードの送受信部を予め複数種類の送受信データ幅に選択的に適合できる構成とした並列計算機も知られている（特許文献４）。そして、ビットスライス型スイッチで構成されるネットワークで、あるスライスの転送データが欠落しても、これを回復する能力をもつ誤り訂正符号を選択し、これににより生成される冗長ビットを転送データとともに転送する並列プロセッサも知られている（特許文献５）。特許文献５においては、データ通信路で２つのスライス故障による誤りを検出することが可能な誤り訂正符号の符号化回路と復号回路を設けたプロセッサを備えている。

特開平８− ８８８７２号公報特開平１０−１４３４６５号公報特開平２００１−２５６２０３号公報特開平２００２−２２９９６３号公報特開平１０−２５４８４２号公報

しかしながら、従来の並列計算機は下記記載の問題点を有している。

あるスイッチ装置が故障した場合に、該スイッチ装置を交換修理処置後、相互結合網に組み込みを行う場合、全ての演算ノードにおいて、一旦、演算ノードから相互結合網を切り離し、再度、相互結合網の組み込みを行う。このため、演算ノードからの相互結合網の切り離しから組み込みの期間において、該演算ノードは他の演算ノード間との通信を行うことができない。その理由は、演算ノードから各スイッチ装置の組み込みは、全てのスイッチ装置を同時に組み込みすることしか出来ないためである。

したがって、本発明の目的は、並列計算機をなす演算ノードからの相互結合網全体の切り離し・組み込みを行うことなく、スイッチ装置単位での組み込み・切り離しを可能とし、高信頼性を向上させるネットワーク装置を提供することにある。

本願で開示される発明は、前記目的を達成するため、概略以下の構成とされる。

本発明の１つのアスペクトに係る並列計算機においては、演算ノードにおいては、相互結合網との接続部に、送信側パーシャルリンク装置と受信側パーシャルリンク装置とを設け、相互結合網を構成するスイッチ装置においては、演算ノードとの接続部に、送信側パーシャルリンク装置、および受信側パーシャルリンク装置を備え、演算ノードからのリンク接続の制御（切り離しと組み込み）を、相互結合網を構成するスイッチ装置単位で個別に出来るようにしている。

本発明において、前記演算ノードと前記相互結合網間のパスは、予め定められた所定のバイトパス毎にスライスされており、前記演算ノードと前記スイッチ装置は、スライスされたバイトパス毎に、送信側パーシャルリンク装置と受信側パーシャルリンク装置を有する。

本発明において、前記演算ノードと前記相互結合網間の通信パスが、データパスと冗長パスとを含み、前記データパス及び前記冗長パスとが、それぞれ、予め定められた所定バイトパス幅に、分割スライスして構成されており、前記データパス及び前記冗長パスの前記スライスされた各バイトパスは、前記相互結合網の前記スイッチ装置のそれぞれに接続されており、前記演算ノードは、エラー検出訂正装置を有し、所定のバイトのパス、もしくは所定のスイッチ装置が閉塞した場合にも、エラー訂正を行うことで前記演算ノード間の通信を継続して行うことが可能とされる。

本発明において、前記演算ノードが前記相互結合網に対してリンク接続を行うにあたり、前記演算ノードのパーシャルリンク制御部は、送信側パーシャルリンク装置に対しリンク指示を送出し、前記送信側パーシャルリンク装置は、前記相互結合網のスイッチ装置に対し、リンク信号を送出し、前記相互結合網のスイッチ装置の受信側パーシャルリンク装置が、演算ノードよりリンク信号を受信すると、該演算ノードとのリンクが成立したと判断し、前記演算ノードのパスを閉塞状態から開通状態に移行させる。

本発明において、故障停止したスイッチ装置の修理復旧後、組み込み処理を行う場合、前記スイッチ装置のパーシャルリンク制御装置は、前記スイッチ装置の全ての送信側パーシャルリンク装置に対しパーシャルリンク開始指示通知を発行し、前記送信側パーシャルリンク装置は前記演算ノードに対し、パーシャルリンク開始指示通知を送信し、前記演算ノードの受信側パーシャルリンク装置は、パーシャルリンク開始指示通知を受信すると、スイッチ識別情報を添付して前記演算ノードのパーシャルリンク制御装置にその旨を通知し、前記パーシャルリンク制御装置は、パーシャルリンク開始指示通知を受け、前記相互結合網の該スイッチ装置に対しパーシャルリンクを開始する。

本発明によれば、相互結合網を構成するスイッチ装置単位の組み込み切り離し、組み込みを行う手段を備えたことにより、演算ノードからの相互結合網全体の切り離し組み込みを行うことなく、スイッチ装置単位で組み込み切り離しを行うことにより、高信頼性を向上させることができる。

また、本発明においては、あるスイッチ装置が故障した場合に、該スイッチ装置を交換修理処置後に、相互結合網に組み込む場合、演算ノードを相互結合網から切り離すことなく、該スイッチ装置を組み込みを行うことが可能とされており、演算ノード間通信を停止することを不要としている。このため、演算ノード間通信の可用性を向上することができる。

さらに、本発明によれば、パーシャルリンク通知を相互結合網から演算ノード側に通知させ、これを契機に、演算ノードがパーシャルリンク動作を行う。したがって、リンク組み込み指示を相互結合網から行うことが出来る。

上記した本発明についてさらに詳細に説述すべく、添付図面を参照して以下に説明する。

図１は、本発明の一実施の形態の並列計算装置の構成を示す図である。図１を参照すると、（ｍ＋１）個（ｍは１以上の整数）の演算ノード１０（演算ノード＃０、＃１、…、＃ｍ）は、それぞれ演算処理を行う装置である。相互結合網３０は、演算ノード＃０、＃１、…、＃ｍと結合され、演算ノード＃０、＃１、…、＃ｍ間の通信を媒介する。相互結合網３０は、複数のスイッチ装置２０（スイッチ装置＃１、＃２、…＃ｎ）を備えて構成される。

演算ノード１０と相互結合網３０間の通信パスは、データパスと冗長パスとを含み、データパスと冗長パスは、それぞれ、予め定められた所定バイトパス幅に分割スライスして構成されており、スライスされた各バイトパスは、相互結合網３０のスイッチ装置２０のそれぞれに接続されている。

演算ノード１０においては、相互結合網３０との接続部には、不図示の送信側パーシャルリンク装置（分割スライスされたバイト幅での送信を行う）と不図示の受信側パーシャルリンク装置（分割スライスされたバイト幅での受信を行う）とを備え、相互結合網３０を構成するスィッチ装置２０には、演算ノード１０との接続部には、不図示の送信側パーシャルリンク装置（分割スライスされたバイト幅での送信を行う）と受信側パーシャルリンク装置（分割スライスされたバイト幅での受信を行う）を設け、演算ノード１０からのリンク接続が、相互結合網３０を構成するスイッチ装置単位で個別に行う。演算ノード１０は、不図示のエラー検出訂正（ＥＣＣ）装置を内蔵しており、予め定められた所定のバイトパス、又は所定のスイッチ装置２０が閉塞した場合にも、エラー訂正を行うことにより、演算ノード１０間の通信を継続して行うことが可能とされている。

図２は、図１の演算ノード１０の構成を示す図である。なお、図１の（ｍ＋１）個の演算ノード＃０、＃１、…、＃ｍは同一構成とされており、このため、その１つの構成が示されている。

図２を参照すると、演算ノード１０は、演算処理を行う演算処理装置１０１と、演算処理装置１０１が演算処理で使用するデータを格納する主記憶装置１０２と、自演算ノードと他演算ノード間の通信を制御するノード間通信装置１０３と、バイトスライス装置１０４と、エラー検出訂正装置１０５と、パーシャルリンク制御装置１０６と、ｎ個の送信側パーシャルリンク装置１０７と、ｎ個の受信側パーシャルリンク装置１０８を備えている。

演算処置装置１０１は、ノード間通信装置１０３に対し、データ転送命令を発行する。ノード間通信装置１０３は、演算処置装置１０１からのデータ転送命令をデコードし、主記憶装置１０１から転送データをロードし、ロードしたデータをバイトスライス装置１０４に送出する。

バイトスライス装置１０４は、ノード間通信装置１０３の出力である送信パスに入力が接続され、送信パスから入力されるデータのデータ幅はｎバイトとされている。バイトスライス装置１０４は、入力されたｎバイト幅のデータを１バイト幅にスライスして分割する。１バイトにスライスされた各バイトのデータは、ｎ個の送信側パーシャルリンク装置１０７に送出され、ｎ個の送信側パーシャルリンク装置１０７は、該バイトデータを相互結合網３０（図１参照）に送出する。

演算ノード１０において、相互結合網３０（図１参照）から受信したデータは、受信側パーシャルリンク装置１０８に入力され、受信側パーシャルリンク装置１０８から、エラー検出訂正装置１０５に送出される。

エラー検出訂正装置１０５は、ｎバイトデータを受信し、ｎバイト幅から構成させる通信データと、冗長データ（誤り訂正情報等）からエラーの有無を検出し、エラー訂正が可能である場合、エラー訂正を行う。例えばｎバイトデータに対し１バイトのエラーが存在しても、エラー訂正は可能である。

エラー検出訂正装置１０５でエラー訂正されたデータは、受信パスを介してノード間通信装置１０３に送付され、ノード間通信装置１０３は、該データを、主記憶装置１０２に書き込む。１バイトのエラーが存在しても、エラー訂正が可能であることから、相互結合網３０のスイッチ装置２０のいずれか１つが、故障／停止したとしても、相互結合網３０を介した演算ノード１０の間通信は、継続動作可能である。

図３は、図１のスイッチ装置２０の構成を示す図である。なお、図１のスイッチ装置２０（＃１〜＃ｎ）は同一の構成とされており、図３にはその１つの構成が示されている。図３を参照すると、スイッチ装置２０は、受信側パーシャルリンク装置２０３と、送信側パーシャルリンク装置２０４とを備えている。受信側パーシャルリンク装置２０３は、演算ノード１０（＃０〜＃ｍ）から送付されたデータをスイッチ２０１に送付する。スイッチ２０１は、演算ノード１０（＃０〜＃ｍ）から送られた１バイト幅データを、送付先演算ノードに対しルーティングを行い、ルーティングされたデータは、宛先の演算ノードに接続される出力ポートに出力される。送信側パーシャルリンク装置２０４は、スイッチ２０１の出力ポートから送付されたデータを演算ノード１０に送付する。

演算ノード１０が相互結合網３０に対し、リンク接続を行う動作を説明する。

図２において、パーシャルリンク制御装置１０６が、送信側パーシャルリンク装置１０７（＃１、＃２、…、＃ｎ）に対し、リンク指示を送出する。送信側パーシャルリンク装置１０７（＃１、＃２、…、＃ｎ）は、パーシャルリンク制御装置１０６からリンク指示を受信すると、相互結合網３０のスイッチ装置２０（＃１、＃２、…、＃ｎ）に対し、リンク信号を送出する。

図３において、相互結合網３０のスイッチ装置２０の受信側パーシャルリンク装置２０３が、演算ノード１０よりリンク信号を受信すると、該演算ノード１０とのリンクが成立したと判断し、該演算ノード１０のパスを閉塞状態から開通状態に移行させる。以降、受信側パーシャルリンク装置２０３は、該演算ノード１０からのルーティングデータが受信すると、これをスイッチ２０１に送付する。また受信側パーシャルリンク装置２０３は、演算ノード１０からのリンク信号を受信すると、パーシャルリンク制御装置２０２に、そのリンク信号受信の旨を通知する。パーシャルリンク制御装置２０２は、受信側パーシャルリンク装置２０３からリンク信号受信の通知を受信すると、該演算ノード１０に対応する送信側パーシャルリンク装置２０４にリンク信号送信指示を通知する。

送信側パーシャルリンク装置２０４は、パーシャルリンク制御装置２０２からリンク信号送信指示を受け取ると、演算ノード１０に対し、リンク信号を送出する。

図２において、演算ノード１０の受信側パーシャルリンク装置１０８は、相互結合網３０のスイッチ装置２０よりリンク信号を受信すると、該スイッチ装置２０とのリンクが成立したと判断し、該スイッチ装置２０のパスを閉塞状態から開通状態に移行させる。以降、受信側パーシャルリンク装置１０８は該スイッチ装置２０からのルーティングデータが受信すると、これをエラー検出訂正装置１０５に送付する。また受信側パーシャルリンク装置１０８は、スイッチ装置２０からのリンク信号を受信すると、パーシャルリンク制御装置１０６に、該リンク信号受信の旨を通知する。

演算ノード１０のパーシャルリンク制御装置１０６は、受信側パーシャルリンク装置１０８（＃１、＃２、…、＃ｎ）の全てからリンク信号受信の通知を受けとると、全ての（ｎ個の）バイトデータでパスが開通を示し、演算ノード１０と相互結合網３０とのリンクが成功したことを判断する。

演算ノード１０のパーシャルリンク制御装置１０６は、リンクが成功したならば、その旨を演算処理装置１０１、ノード間通信装置１０３に、リンク成功を伝え、演算処理装置１０１は、リンク成功の通知を受信した後、演算ノード１０間の通信を開始する。

次に、相互結合網３０において、ある１つのスイッチ装置２０が、故障停止から修理復旧の後に、パーシャルリンクにより演算ノード１０に組み込まれる動作について説明する。

相互結合網３０のあるスイッチ装置２０が故障停止していても、エラー検出訂正により、演算ノード１０間の通信は継続動作可能である。

図３において、故障停止したスイッチ装置２０の修理復旧後、組み込み処理を行う場合、該スイッチ装置２０のパーシャルリンク制御装置２０２は、全ての送信側パーシャルリンク装置２０４（＃０、＃２、…、＃ｍ）に対し、パーシャルリンク開始指示通知を発行する。パーシャルリンク開始指示とは、各演算ノード１０に対し、パーシャルリンク動作を開始するよう指示する通知信号である。

スイッチ装置２０の送信側パーシャルリンク装置２０４は、パーシャルリンク開始通知を受け取ると、演算ノード１０に対し、パーシャルリンク開始指示通知を送信する。

図２において、演算ノード１０の受信側パーシャルリンク装置１０８は、パーシャルリンク開始指示通知を受信すると、何れのスイッチ装置から送信されたかスイッチ番号を添付し、パーシャルリンク制御装置１０６にその旨を通知する。

演算ノード１０のパーシャルリンク制御装置１０６は、パーシャルリンク開始指示通知を受け、相互結合網３０の該スイッチ装置２０に対し、パーシャルリンクを開始する。

演算ノード１０のパーシャルリンク制御装置１０６は、まず、該スイッチ装置２０に対応する送信側パーシャルリンク装置１０７に対し、パーシャルリンク信号を送信する。

演算ノード１０の送信側パーシャルリンク装置１０７は、パーシャルリンク制御装置１０６よりパーシャルリンク信号を受理すると、スイッチ装置２０に対し、パーシャルリンク信号を送信する。このスイッチ装置とは、修理復旧後のパーシャルリンク対象のスイッチ装置である。

図３において、相互結合網３０のスイッチ装置２０の受信側パーシャルリンク装置２０３は、パーシャルリンク信号を受信すると、該演算ノード１０とのリンクが成立したと判断し、該演算ノード１０のパスを閉塞状態から開通状態に移行させる。

以降、スイッチ装置２０の受信側パーシャルリンク装置２０３は該演算ノード１０からのルーティングデータが受信すると、これをスイッチ２０１に送付する。また受信側パーシャルリンク装置２０３は、演算ノード１０からのパーシャルリンク信号を受信すると、パーシャルリンク制御装置２０２に、該パーシャルリンク信号受信の旨を通知する。

スイッチ装置２０パーシャルリンク制御装置２０２は、受信側パーシャルリンク装置２０３からパーシャルリンク信号受信の通知を受けとると、該演算ノード１０に対応する送信側パーシャルリンク装置２０４にパーシャルリンク信号送信指示を通知する。

スイッチ装置２０の送信側パーシャルリンク装置２０４は、パーシャルリンク制御装置２０２からパーシャルリンク信号送信指示を受けると、演算ノード１０に対し、パーシャルリンク信号を送出する。

図２において、演算ノード１０の受信側パーシャルリンク装置１０８は、相互結合網３０のスイッチ装置２０よりパーシャルリンク信号を受信すると、該スイッチ装置２０とのリンクが成立したと判断し、該スイッチ装置２０のパスを閉塞状態から開通状態に移行させる。以降、受信側パーシャルリンク装置１０８は該スイッチ装置２０からのルーティングデータが受信すると、これをエラー検出訂正装置１０５に送付する。このシーケンスにより、閉塞していたスイッチ装置とのパスが開通することになる。

以上、本発明を上記実施形態に即して説明したが、本発明は、上記実施形態の構成にのみ限定されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

本発明の一実施の形態の構成を示す図である。本発明の一実施の形態の演算ノードの構成を示す図である。本発明の一実施の形態のスイッチ装置の構成を示す図である。る。

符号の説明

１０演算ノード
２０スイッチ装置
３０相互結合網
１０１演算処理装置
１０２主記憶装置
１０３ノード間通信装置
１０４バイトスライス装置
１０５エラー検出訂正装置
１０６パーシャルリンク制御装置
１０７送信側パーシャルリンク装置
１０８受信側パーシャルリンク装置
２０１スイッチ
２０２パーシャルリンク制御装置
２０３受信側パーシャルリンク装置
２０４送信側パーシャルリンク装置

Claims

複数の演算ノードと、
複数のスイッチ装置を含む相互結合網と、
を備え、
前記演算ノードと前記相互結合網間の通信パスが冗長パスを含み、
前記演算ノードは、前記相互結合網との接続部に、前記相互結合網を構成する複数の前記スイッチ装置への送信をそれぞれ行う複数の送信側パーシャルリンク装置と、前記相互結合網を構成する複数の前記スイッチ装置からの受信を行う複数の受信側パーシャルリンク装置とを備え、
前記各演算ノードは、前記演算ノードの前記送信側パーシャルリンク装置と前記受信側パーシャルリンク装置を制御する制御部を備え、
前記相互結合網を構成する前記スイッチ装置は、前記演算ノードとの接続部に、複数の前記演算ノードへの送信をそれぞれ行う複数の送信側パーシャルリンク装置と、複数の前記演算ノードからの受信をそれぞれ行う複数の受信側パーシャルリンク装置と、を備え、
前記演算ノードからのリンク接続が、前記相互結合網を構成するスイッチ装置単位に個別に行われ、
前記演算ノードは、エラー検出訂正装置を有し、所定のスイッチ装置が閉塞した場合にもエラー訂正を行うことで前記演算ノード間の通信を継続して行うことが可能とされ、
故障停止したスイッチ装置の修理復旧後に組み込み処理を行う場合、前記スイッチ装置は、前記スイッチ装置の全ての送信側パーシャルリンク装置に対してパーシャルリンク開始指示通知を発行し、前記スイッチ装置の前記送信側パーシャルリンク装置は、前記演算ノードに対し、パーシャルリンク開始指示通知を送信し、前記演算ノードの前記制御部は、パーシャルリンク開始指示通知を受け、前記相互結合網の前記スイッチ装置に対してパーシャルリンクを開始する、ことを特徴とするネットワーク装置。
前記演算ノードと前記相互結合網間のパスは、予め定められた所定のパス幅毎にスライスされており、前記演算ノードと前記スイッチ装置の各々は、スライスされたパス幅毎に、前記送信側パーシャルリンク装置と前記受信側パーシャルリンク装置とを有する、ことを特徴とする請求項１記載のネットワーク装置。
前記演算ノードと前記相互結合網間の通信パスが、データパスと前記冗長パスとを含み、
前記データパス及び前記冗長パスとが、それぞれ、予め定められた所定バイトパス幅に、分割スライスして構成されており、
前記データパス及び前記冗長パスの前記スライスされた各バイトパスは、前記相互結合網の前記スイッチ装置のそれぞれに接続されており、
前記演算ノードは、前記エラー検出訂正装置を有し、所定のバイトのパス、もしくは所定のスイッチ装置が閉塞した場合にも、エラー訂正を行うことで前記演算ノード間の通信を継続して行うことが可能とされる、ことを特徴とする請求項１記載のネットワーク装置。
前記演算ノードと前記相互結合網間の通信パスは、データパスと前記冗長パスとを含み、
前記データパスと前記冗長パスとが、それぞれ、予め定められた所定バイトパス幅に、分割スライスして構成されており、
前記スライスされた各バイトパスは、前記相互結合網の前記スイッチ装置のそれぞれに接続されており、
前記演算ノードは、前記エラー検出訂正装置を有し、予め定められた所定のバイトパス、もしくは所定のスイッチ装置が閉塞した場合にもエラー訂正を行うことで前記演算ノード間の通信を継続して行うことが可能とされ、
前記演算ノードは、スライスされたバイトパス毎に、前記相互結合網との接続部に、送信側パーシャルリンク装置及び受信側パーシャルリンク装置を備え、
前記スイッチ装置は、スライスされたバイトパス毎に、前記演算ノードとの接続部に、送信側パーシャルリンク装置及び受信側パーシャルリンク装置を備えている、ことを特徴とする請求項１記載のネットワーク装置。
前記演算ノードが前記相互結合網に対してリンク接続を行うにあたり、前記演算ノードの制御部は、前記送信側パーシャルリンク装置に対しリンク指示を送出し、前記演算ノードの前記送信側パーシャルリンク装置は、前記相互結合網のスイッチ装置に対し、リンク信号を送出し、
前記相互結合網のスイッチ装置の受信側パーシャルリンク装置が、前記演算ノードよりリンク信号を受信すると、前記演算ノードとのリンクが成立したと判断し、前記演算ノードのパスを閉塞状態から開通状態に移行させる、ことを特徴とする請求項１乃至４のいずれか一に記載のネットワーク装置。
前記各スイッチ装置は、前記送信側パーシャルリンク装置と前記受信側パーシャルリンク装置を制御する制御部を備え、
前記複数のスイッチ装置のうち故障停止したスイッチ装置の修理復旧後に組み込み処理を行う場合、前記スイッチ装置の前記制御部は、前記スイッチ装置の全ての送信側パーシャルリンク装置に対してパーシャルリンク開始指示通知を発行し、前記スイッチ装置の前記送信側パーシャルリンク装置は、前記演算ノードに対し、パーシャルリンク開始指示通知を送信し、
前記演算ノードの受信側パーシャルリンク装置は、パーシャルリンク開始指示通知を受信すると、スイッチ識別情報を添付して、前記演算ノードの前記制御部にその旨を通知し、前記演算ノードの前記制御部は、パーシャルリンク開始指示通知を受け、前記相互結合網の前記スイッチ装置に対してパーシャルリンクを開始する、ことを特徴とする請求項１乃至４のいずれか一に記載のネットワーク装置。
マルチプロセッサ構成の並列計算機装置において、
請求項１乃至６のいずれか一に記載の前記ネットワーク装置を備えた、ことを特徴とする並列計算機装置。