Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP2630239B2 - 分散処理システム - Google Patents
[go: Go Back, main page]

JP2630239B2 - 分散処理システム - Google Patents

分散処理システム

Info

Publication number
JP2630239B2
JP2630239B2 JP32713793A JP32713793A JP2630239B2 JP 2630239 B2 JP2630239 B2 JP 2630239B2 JP 32713793 A JP32713793 A JP 32713793A JP 32713793 A JP32713793 A JP 32713793A JP 2630239 B2 JP2630239 B2 JP 2630239B2
Authority
JP
Japan
Prior art keywords
job
computer
unit
file
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32713793A
Other languages
English (en)
Other versions
JPH07182295A (ja
Inventor
雅司 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Electric Co Ltd filed Critical Nippon Electric Co Ltd
Priority to JP32713793A priority Critical patent/JP2630239B2/ja
Publication of JPH07182295A publication Critical patent/JPH07182295A/ja
Application granted granted Critical
Publication of JP2630239B2 publication Critical patent/JP2630239B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Multi Processors (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、分散ファイルシステム
を使った分散システムにおけるジョブ処理をする分散処
理システムに関する。
【0002】
【従来の技術】分散ファイルシステムは、リモートノー
ドにあるファイルをユーザにとって簡易な手段でアクセ
スするためのシステムである。ユーザの使い勝手からフ
ァイルの位置がユーザからは意識しないで済む位置透過
性を実現している技術が一般的である。USL Syste
m Laboratories の商標であるUNIXオペレーティン
グシステム上で実装されている技術例としては、サンマ
イクロシステムズ(SunMicrosystems )社のネットワ
ークファイルシステム(Network File System (N
FS))や、カーネギメロン大学のアンドリューファイ
ルシステム(Andrew File System (AFS))など
がある。
【0003】NFSの内容はデザイン・アンド・インプ
リメンテーション・オブ・ザ・サン・ネット・ネットワ
ーク・システム(“Design and Implementation of t
heSun Net Network File System ”)と題した
文を掲載した刊行物「コンファレンス・プロシーディン
グス」(Conference Proceedings、Usenix 1985、p.
119-130 。)および「Vノーズ:アン・アーキテクチャ
・フォ・マルチプル・ファイル・システム・タイプス・
イン・サン・UNIX」(“Vnodes: AnArchitectu
re for Multiple File System Types in Sun U
NIX”)と題した文を掲載した刊行物「コンファレン
ス・プロシーディレグス」(Conference Proceedin
gs、Usenix 1986、p.238-247 。)を参照できる。AF
Sの内容は「アンドリュー:ア・ディストリビューテッ
ド・パーソナル・コンピューティング・エンバロメン
ト」(“Andrew: A Distributed Personal Com
puting Environment”)と題する文を掲載した刊行物
を「コミュニケーションオブザエイシーエム」(Commu
nications of the ACM29(3):184-201,March,1986
。)および「ジ・アイテーシー・ディストリビューテ
ッド・ファイル・システム:プリンシプルズ・アンド・
デザイン」(“The ITC DistributedFile Sys
tem: Principles and Design ”)と題する文を掲載
した刊行物「イン・プロシーディングズ・オブ・ザ・テ
ンス・エーシーエム・シンポジウム・オン・オペレーテ
ィング・システムズ・プリンシプルズ」(In Proceed
ingsof the Tenth ACM Symposium on Operatin
g Systems Principles,33-50.December,1985。)
を参照できる。
【0004】両者の位置透過な分散ファイルシステムへ
のアプローチは本質的に異なる。
【0005】NFSでは、各サーバがクライアントの情
報を持たないステートレスマシンが実現される。この技
術では、サーバクラッシュ時のリカバリが簡単であるな
どサーバのデザインが簡単になる反面、大規模な構成に
は不向きである。一方、AFSでは少数の信頼性の高い
サーバマシン群とその他多数の信頼性の低いクライアン
トマシン群を構成モデルとした大規模構成向きの分散フ
ァイルシステムであり、ステートフルサーバマシンで実
現される。また、AFSでは、サーバの負荷を低減し高
速性を実現するため各クライアントのディスクにローカ
ルキャッシュを持っている。この技術を各クライアント
のポータビリティを高めるために使った例が、カーネギ
メロン大学のコーダ・ファイル・システム(Coda Fil
e System )である。Coda ではディスク上のローカル
キャッシュを使って、ネットワークが分断された場合、
あるいは故意にネットワークから切り離した場合でも、
あたかもネットワークに接続し続けている様に運用が可
能である。ネットワークから切り離された状態でのクラ
イアント側の運用はディスコネクティドオペレーション
と呼ばれる機能で実現される。Coda は「コード:ア・
ハイリー・アベイラブル・ファイル・システム・フォー
・ア・ディステリビューテッド・ワークステーション・
エンバロメント」(“Coda:A highly Available
File System for a Distributed Workstation E
nvironment”)という文を掲載した刊行物「アイトリプ
ルイー・トランザクションズ・オン・コンピューター
ズ」(IEEE Transactions on Computers 39
(4):447-459, April,1990 )および「スケイラブル,
セキュア・アンド・バイリー・アベイラブル・ディスト
リビューテッド・ファイル・アクセス」(“Scalable,
Secure and Highly Available Distributed F
ile Access ”)という文を掲載した刊行物「アイ・リ
プルイー・コンピュータ」(IEEE Computer 9-2
1, May,1990 )を参照できる。このようなファイル位
置透過な分散ファイルシステムは、どの計算機からもフ
ァイルが同じように見えるため、ユーザのモービリティ
を高める役割を果たした。またCoda のように、計算機
のポータビリティを高める技術によって、高速なローカ
ルエリア・ネットワーク(LAN)から計算機を切り離
し、無線通信などの比較的低速な通信路によって接続さ
れたネットワーク環境での利用技術の開発がなされてい
る。しかし、分散ファイルシステム上でジョブ実行を行
う場合も、必要なファイルデータを使用している計算機
上では持っていない場合には、ネットワークを介してロ
ーディングする必要があるため、比較的低速な通信路に
よってファイルサーバと接続された計算機は、通信ボト
ルネックが容易におき、高速なCPU性能を持つ計算機
を使用していても十分な処理性能を得られていない。そ
の他、分散処理システム関連では特開昭60−1313
51号公報に、以下の発明が記載される。すなわち、こ
の発明は分散システムにおける負荷分散方式で、過負荷
状態にある計算機システムが該システムで発生したジョ
ブの処理を他の計算機に依頼する場合、ジョブと一緒に
その処理に必要なファイルを他の計算機システムに送る
ことを特徴とする。しかしこの発明は、ジョブ依頼を該
システムが過負荷状態になった時をトリガとする方式で
あり、ジョブ実行に際しての通信ボトルネックを扱った
技術ではない。実際、この技術では大きなファイル容量
を要するジョブが他の計算機に処理依頼される場合、転
送のための通信で多大な時間が消費される可能性があ
る。
【0006】また、特開平1−139590号公報に示
されている発明は、分散コンピュータシステムの処理依
頼方式であって、処理要求を処理受付けコンピュータに
送信する技術を取り扱っている。これは必要情報のみを
選択的に取出し、要求者に返すことでレスポンスの速い
処理を実現するものである。これは処理受付けコンピュ
ータとよばれるノードで全ての処理を行う方式であり、
通信に際しての必要情報をいかに選択するか、というこ
とに主眼を置いた発明であり、他の計算機にいかに処理
を依頼するか、あるいはそのようなジョブ依頼先の計算
機をどのように選択するかについて触れていない。さら
にネットワーク・キューイング・システム(Network
Queueing System (NQS))のような分散処理シス
テムは、ネットワーク上でサーバ的な役割を行う計算機
に対して、クライアント計算機からジョブ処理を委託す
ることを統合的に管理する機構であるが、これらジョブ
はバッチとして処理され、ユーザは明示的にジョブ処理
委託を分散処理システムに要求する必要があった。
【0007】
【発明が解決しようとする課題】このように、従来の技
術では、ネットワークでつながれた分散システムで、特
に弱いコネクション状態の計算機から分散ファイルシス
テムを利用しようとした場合、その計算機に対して必要
なファイルを転送する転送時間が通信幅の狭さによって
大幅に遅延され、近年のハードウェア技術の進展によ
り、個々の計算機が十分強力なパワーを持っているにも
関わらず望ましい性能を得ることができなかった。ま
た、ジョブを、ジョブ実行に必要なファイルを持つ計算
機と十分強い結合状態にある、つまりこれら計算機間の
通信転送幅が十分広い、計算機に対してジョブ実行を要
求するのに、明示的にその計算機を指定するか、あるい
は分散ジョブ処理管理に明示的に依頼をして、計算機の
選択、およびジョブの実行をバッチ的に処理することし
かできなかった。ここで、提案する本発明では、これら
問題点を解決することを目的とする。すなわち、本発明
ではユーザはジョブ実行が行われている計算機を意識す
る必要なく、透過的にジョブ実行する計算機が選ばれ、
ジョブ処理されることを目的とする。また、本発明はそ
のジョブ処理に際しても、ユーザはあたかも手元にある
計算機でジョブが実行しているかの使い勝手を享受で
き、バッチ処理依頼という手続きをふまなくて良いこと
を他の目的の1つとする。また、本発明はこれらジョブ
処理を会話的に進めることができ、必要に応じて処理を
ストップさせたり、終了させることもできることも目的
とする。また、本発明は自計算機がジョブ実行に必要な
だけの処理性能を有しており、かつ、通信上のボトルネ
ックが発生しない場合は、ジョブを転送せず、自分自身
で処理を行うため、システム全体の負荷分散につなが
り、かつ高速な計算機を有効に利用することができるこ
とも目的である。
【0008】
【課題を解決するための手段】本発明の第1の分散処理
システムは、第1の計算機およびこの第1の計算機に接
続されたリモートの第2の計算機を含むシステムであっ
て、前記第1の計算機上の通信プロセス、ジョブ起動
条件を獲得するジョブ起動条件獲得手段と、前記第2の
計算機上にジョブ管理プロセスを生成するジョブ管理プ
ロセス生成手段と、このジョブ管理プロセス生成手段で
生成されたジョブ管理プロセスに前記ジョブ起動条件獲
得手段で獲得されたジョブ起動条件を送信するジョブ起
動条件送信手段と、前記ジョブ管理プロセスからの出力
データの受信,終了コードの受信または自通信プロセス
の標準入力ファイルからの入力を待つ通信プロセス待ち
合わせ手段と、この通信プロセス待ち合わせ手段で標準
入力ファイルからの入力を受信した場合、入力したデー
タをジョブ管理プロセスに送信する入力データ送信手段
とを含み、前記第2の計算機上のジョブ管理プロセス
、前記通信プロセスから送信されるジョブ起動条件を
受信するジョブ起動条件受信手段と、このジョブ起動条
件受信手段で受信したジョブ起動条件に基づいてジョブ
実行のプロセスを生成起動するジョブプロセス生成手段
と、前記入力データ送信手段からの入力データの受信,
ジョブプロセスの終了コードの受信または該ジョブプロ
セスの標準/エラー出力ファイルへの出力データの受信
を待つジョブ管理プロセス待ち合わせ手段と、このジョ
ブ管理プロセス待ち合わせ手段で前記入力データ送信手
段からの入力データを受信した場合、該入力データをジ
ョブプロセスの標準入力ファイルに入力するデータ入力
手段と、前記ジョブ管理プロセス待ち合わせ手段で標準
/エラー出力ファイルへの出力を受信した場合、受信し
たデータを前記通信プロセス待ち合わせ手段に送信する
出力データ送信手段と、前記ジョブ管理プロセス待ち合
わせ手段でジョブプロセスの終了コードを受信した場
合、前記通信プロセス待ち合わせ手段に該終了コードを
転送する終了コード転送手段とを含むことを特徴とす
【0009】本発明の第2の分散処理システムは、前記
通信プロセス、ジョブに対し前記第1の計算機上で発
生するジョブ制御シグナルを受信するジョブ制御シグナ
ル獲得手段と、このジョブ制御シグナル獲得手段で獲得
されたジョブ制御シグナルを前記ジョブ管理プロセスに
転送するジョブ制御シグナル転送手段と、ジョブプロセ
スのシグナル受信状態を受信するシグナル受信状態受信
手段と、このシグナル受信状態受信手段で受信したシグ
ナル受信状態を自通信プロセスのエラー出力ファイルに
表示するシグナル受信状態表示手段とを含み、前記ジョ
ブ管理プロセス、前記通信プロセスのジョブ制御シグ
ナル転送手段により転送されたジョブ制御シグナルを受
信するジョブ制御シグナル受信手段と、このジョブ制御
シグナル受信手段で受信したジョブ制御シグナルをジョ
ブプロセスに送出するシグナル送出手段と、前記ジョブ
プロセスが受けたシグナルの受信状態を検知するシグナ
ル受信状態を検知するシグナル受信状態検知手段と、こ
のシグナル受信状態検知手段によって検知したジョブプ
ロセスのシグナル受信状態を前記シグナル受信状態受信
手段に送信するシグナル受信状態送信手段とを含むこと
を特徴とする
【0010】
【実施例】次に本発明の一実施例について図面を参照し
て詳細に説明する。
【0011】図1を参照すると、本発明の一実施例は、
計算機1と、計算機2と、計算機1および計算機2を接
続する通信路3とを有する分散処理システムに適用され
る。
【0012】図2を参照すると、本発明の第1の実施例
のうち計算機1はジョブ先導プロセス101と通信プロ
セス102とを有し、計算機2はジョブ管理プロセス1
03とジョブプロセス104とを有する。ジョブ先導プ
ロセス101は、ジョブ起動要求を受け付けるジョブ起
動要求受付手段111と、通信プロセス102を生成起
動する通信プロセス生成手段112と、通信プロセスか
ら渡されるジョブ終了コードを受信するジョブ終了コー
ド受信手段113とを有する。
【0013】該通信プロセス102は、ジョブ起動条件
を獲得するジョブ起動条件獲得手段121と、計算機2
にジョブ管理プロセス103を生成するジョブ管理プロ
セス生成手段122と、該ジョブ管理プロセス103に
前記ジョブ起動条件を送信するジョブ起動条件送信手段
123と、前記ジョブ管理プロセス103からの出力デ
ータの受信あるいは終了コードの受信あるいは該通信プ
ロセス102の標準入力ファイルからの入力を同時に待
つ通信プロセス待ち合わせ手段124と、該通信プロセ
ス待ち合わせ手段124でジョブ管理プロセス103か
らの出力データを受信した場合、該出力データを該通信
プロセスの標準/エラー出力ファイルに出力する出力手
段125と、前記通信プロセス待ち合わせ手段124で
標準入力ファイルからの入力を受信した場合、入力した
データをジョブ管理プロセス103に送信する入力デー
タ送信手段126と、前記通信プロセス待ち合わせ手段
124で終了コードを受信した場合、ジョブ先導プロセ
ス101に該終了コードを通知する終了コード通知手段
127とを有する。
【0014】ジョブ管理プロセス103は、前記通信プ
ロセス102から送信されるジョブ起動条件を受信する
ジョブ起動条件受信手段131と、受信したジョブ起動
条件を基にジョブを実行するプロセスを生成起動するジ
ョブプロセス生成手段132と、前記通信プロセス10
2からの入力データの受信あるいはジョブプロセス10
4の終了コードの受信あるいはジョブプロセス104の
標準/エラー出力ファイルへの出力データの受信を同時
に待つジョブ管理プロセス待ち合わせ手段133と、該
ジョブ管理プロセス待ち合わせ手段133で入力データ
送信手段126によって送信された入力を受信した場
合、該入力データをジョブプロセス104の標準入力フ
ァイルに入力するデータ入力手段134と、前記ジョブ
管理プロセス待ち合わせ手段133で標準/エラー出力
ファイルへの出力を受信した場合、受信したデータを通
信プロセス102に送信する出力データ送信手段135
と、前記ジョブ管理プロセス待ち合わせ手段133でジ
ョブプロセスの終了コードを受信した場合、通信プロセ
ス102に該終了コードを転送する終了コード転送手段
136とを有する。
【0015】次に本発明の第1の実施例であるプロセス
転送方式の動作を図面を参照して詳細に説明する。
【0016】図1および図2を参照すると、ジョブ先導
プロセス101はジョブ起動要求受付手段111により
ユーザからのジョブ要求のコマンドライン端末から、あ
るいは一般ファイルから読込む。さらに通信プロセス生
成手段112によって、計算機1上に通信プロセス10
2が生成され起動される。ジョブをフォアグラウンドで
実行する場合にはジョブ終了コード受信手段113でこ
の通信プロセス102からジョブ終了コードの通知を受
けるまでジョブの完了を待つ。ジョブをバックグラウン
ドで実行する場合には通信プロセス102からのジョブ
終了コードを待ち合わせない。通信プロセス102の標
準入出力、エラー出力ファイルは、ジョブ起動要求に従
って、ジョブ先導プロセス101が書換える。
【0017】通信プロセス生成手段112で生成された
通信プロセス102は、ジョブ起動条件獲得手段121
によって、ジョブを起動すべき条件を獲得する。これ
は、コマンドを生成するのに必要なコマンドラインと、
環境変数、標準入出力ファイル、およびエラー出力ファ
イルの情報である。実行すべき計算機の属性やこれから
使うファイル情報は環境変数として与えておくことでこ
の手段で取得ができる。通信プロセス102の標準入出
力ファイル、およびエラー出力ファイルは計算機1上で
ジョブが実行された場合にそのジョブのものと同一にな
るように設定する。
【0018】さらに通信プロセス102は、ジョブ管理
プロセス生成手段122を使って計算機2上にジョブ管
理プロセス103を生成し起動する。ジョブ管理プロセ
ス103は以後この通信プロセス102と通信を行いな
がら後述するジョブプロセス104を管理する。
【0019】通信プロセス102は次に通信プロセス待
ち合わせ手段124によって、後述するジョブ管理プロ
セス103の出力データ送信手段135によって送信さ
れる出力要求、あるいはこれも後述するジョブプロセス
104からの終了コード、あるいはこの通信プロセス1
02の標準入力ファイルからの入力を同時に待ち合わせ
る。
【0020】この場合、出力データ送信手段135によ
るジョブ管理プロセス103から出力要求を受信した場
合、受信したデータを出力手段125によって、標準/
エラー出力ファイルに出力する。標準出力ファイル、あ
るいはエラー出力ファイルのどちらに出力するかは出力
データ送信手段135によって示される。
【0021】標準出力ファイル、あるいはエラー出力フ
ァイルをユーザが要求するジョブに期待するファイルと
同一になっているため、計算機2上で実行するジョブプ
ロセス104からの出力が、ユーザにはあたかも計算機
1上で行われているかのように、認識できる。端末に対
する出力以外にレギュラーファイルへの出力の場合、あ
るいはパイプやリダイレクトを使っている場合、位置透
過性を実現する分散ファイルシステム上にそのファイル
を設定することで、これが実現できる。
【0022】通信プロセス待ち合わせ手段124で標準
入力ファイルからの入力を受信した場合、入力データ送
信手段126を起動して、ジョブ管理プロセス103に
この入力データを送出する。この手段によって、計算機
2上で実行されているジョブプロセス104への入力
を、出力の場合と同様に、ユーザはその実行する計算機
位置を知る必要なしに行うことができる。
【0023】ジョブ管理プロセス103から後述する終
了コード転送手段136によってジョブの終了コードを
受け取った場合、終了コード通知手段127によって終
了コードを処理する、この際、終了コード通知手段12
7は、ジョブ先導プロセス101がジョブの終了を待っ
ている場合、すなわちフォアグラウンドでジョブを起動
した場合、ジョブ先導プロセス101に終了コード通知
手段127によって、この終了コードを通知する。一
方、ジョブ先導プロセス101が、ジョブの終了を待っ
ていない場合、すなわちバックグランドでジョブを起動
した場合は、終了コードをエラー出力ファイルに出力す
る。
【0024】ジョブ管理プロセス103は、ジョブ起動
条件受信手段131によって、ジョブ要求のあった起動
条件、すなわちコマンドライン、環境変数、などを受け
取る。ジョブプロセス生成手段132ではこのジョブ起
動条件受信手段131で得たジョブ起動条件に従ってジ
ョブプロセス104を起動することになる。ジョブ起動
条件で標準入出力ファイルやエラー出力ファイルがデバ
イス端末だった場合、あるいは標準入力ファイルがレギ
ュラーファイルであった場合は、仮想端末に強制的に書
換える。
【0025】次にジョブ管理プロセス待ち合わせ手段1
33を起動し、生成したジョブプロセス104からの終
了通知、あるいは仮想端末への出力、あるいは通信プロ
セス102の行う入力データ送信手段126によって送
信されるジョブプロセス104への入力要求を同時に待
ち合わせる。
【0026】このジョブ管理プロセス待ち合わせ手段1
33によって、通信プロセス102から出された入力デ
ータを受信した場合、データ入力手段134によって、
ジョブプロセス104にデータを入力する。ジョブプロ
セス104は、標準入力ファイルからこの入力データを
受取る。
【0027】ジョブ管理プロセス待ち合わせ手段133
によって、ジョブプロセス104が標準/エラー出力フ
ァイルへ出力を行うと、仮想端末を経由して、出力デー
タを受取り、これを出力データ送信手段135を使っ
て、通信プロセス102へ送信する。
【0028】ジョブ管理プロセス待ち合わせ手段133
によって、ジョブプロセス104の終了コードを受取っ
た場合、終了コードを終了コード転送手段136を使っ
て、通信プロセス102に転送する。
【0029】次に本発明の第2の実施例であるリモート
プロセス制御方式の動作について図面を参照して詳細に
説明する。
【0030】図1,図2および図3を参照すると、本発
明の第2の実施例において通信プロセス102は、ジョ
ブに対して計算機1上で発生するジョブ制御シグナルを
受信するジョブ制御シグナル獲得手段211と、該ジョ
ブ制御シグナルをジョブ管理プロセス103に転送する
ジョブ制御シグナル転送手段212と、ジョブプロセス
104のシグナル受信状態を受信するシグナル受信状態
受信手段213と、該受信手段213によって受信した
シグナル受信状態を通信プロセス102のエラー出力フ
ァイルに表示するシグナル受信状態表示手段214とを
有し、ジョブ管理プロセス103は、前記通信プロセス
102のジョブ制御シグナル転送手段212によって転
送されたジョブ制御シグナルを受信するジョブ制御シグ
ナル受信手段221と、該ジョブ制御シグナル受信手段
221で受信したジョブ制御シグナルをジョブプロセス
104に送出するシグナル送出手段222と、ジョブプ
ロセス104が受けたシグナルの受信状態を検知するシ
グナル受信状態検知手段223と、該シグナル受信状態
検知手段223によって検知したジョブプロセス104
のシグナル受信状態を通信プロセス102に送信するシ
グナル受信状態送信手段224とを含む。
【0031】次に本発明の第2の実施例のリモートプロ
セス制御方式について図面を参照して詳細に説明する。
【0032】計算機1上の通信プロセス102は、計算
機2上のジョブプロセス104を制御するためのジョブ
制御シグナルを受信するジョブ制御シグナル獲得手段2
11を持つ。プロセスを強制終了させるためのシグナ
ル、プロセスをストップさせるためのシグナル、プロセ
スを続行させるためのシグナル等がこれにあたる。計算
機1上において通信プロセス102はジョブプロセス名
に自プロセスを変名し、あたかも計算機1上でジョブプ
ロセス104が存在するように見せ掛け、計算機1上の
利用者は変名した通信プロセス102に対して上記シグ
ナルを上げることができる。
【0033】ジョブ制御シグナル転送手段212では、
ジョブ制御シグナル獲得手段211で獲得したジョブ制
御シグナルを計算機2上のジョブ管理プロセス103に
転送する。転送に際しては、シグナルの種別に加えてジ
ョブ管理プロセス103側でログを取るためにタイムス
タンプなどの付加情報を同時に送信する。
【0034】計算機2上のジョブ管理プロセス103は
通信プロセス102から送信されたジョブ制御シグナル
を受信するジョブ制御シグナル受信手段221を持つ。
この手段によってシグナル種別を受信するのと同時にタ
イムスタンプなどの付加情報を同時に得る。さらにシグ
ナル送出手段222ではジョブプロセス104に対して
前記ジョブ制御シグナル受信手段221で受信したシグ
ナルコードをジョブプロセス104に対して送出する。
【0035】またジョブ管理プロセス103が生成した
ジョブプロセス104が、シグナル受信時に異常終了、
あるいは処理中断などへの状態変化がある場合、親プロ
セスであるジョブ管理プロセス103にシグナルを送出
するが、ジョブ管理プロセス103は、これをシグナル
受信状態検知手段223によって受取り、ここで受取っ
た情報をシグナル受信状態送信手段224によって通信
プロセス102に送信する。
【0036】通信プロセス102では、ジョブ管理プロ
セス103のシグナル受信状態送信手段223で送信さ
れたシグナル受信ステータスをシグナル受信状態受信手
段213によって受信する。さらにシグナル受信状態表
示手段214によって通信プロセス102のエラー出力
ファイルに表示する。
【0037】次に本発明の第1および第2の実施例を除
いた他の実施例に共通した構成について図4を参照して
説明する。
【0038】図4を参照すると、N個の計算機は計算機
1−M(1≦M≦N)で示され、各々高速通信路5で接
続されている。各計算機1−Mは分散ファィルシステム
7を有する。分散ファイルシステム7は、二次記憶媒体
にファイルをキャッシュするエリアを持つことを特徴と
しているものである。これら計算機群と高速通信路5と
で計算機プール4が構成される。計算機20も、分散フ
ァイルシステム7を有し、計算機プール4とは、低速通
信路6とで接続されている。
【0039】次に本発明の第3の実施例について図面を
参照して詳細に説明する。
【0040】図4,図5および図6を参照すると、本発
明の第3の実施例において、計算機プール4は複数の計
算機1−1から計算機1−NのN台の計算機と、該計算
機を接続する高速通信路5とで構成され、計算機20は
該計算機プール4と低速通信路6で接続され、計算機プ
ール4内の計算機と計算機20は、ファイル位置透過な
分散ファイルシステム7を有する分散処理システムであ
って、計算機20は通信プロセス102を有し、通信プ
ロセス102は、計算機プール4内の計算機1−M(0
≦M≦N)にジョブ処理に必要な要件を伴ったジョブサ
ーバの決定要求を送信する決定要求送信手段321と、
計算機1−Mが決定した結果を受信する決定受信手段3
22とを有し、計算機1−Mは、計算機プール4内の各
計算機から計算機状態を一定時間ごとに受信し、計算機
状態表301に記録する状態監視手段311と、決定要
求送信手段321によって送信されたジョブサーバ決定
要求を受信する決定要求受信手段312と、ジョブ処理
に必要な要件をもとにジョブを実行する計算機を計算機
プール4内から決定するジョブサーバ決定手段313
と、決定した結果を通信プロセス102に通知する決定
通知手段314とを有する。
【0041】次に本発明の第3の実施例の動作について
図面を参照して詳細に説明する。
【0042】図4,図5および図6を参照すると、本発
明の第3の実施例は、計算機1−Mの、状態監視手段3
11は各計算機から送出される状態通知信号を受信し、
その結果を計算機状態表301に記録する。各計算機が
通知する内容は、負荷状態およびファイルキャッシュ状
態である。
【0043】図6は、この計算機状態表301の一例が
示されている。
【0044】負荷状態はこの例ではプロセッサの稼働率
を5段階で表している。稼働率が0%から20%未満は
1、20%から40%未満は2、40%から60%未満
は3、60%から80%未満は4、80%から100%
は5というように値を与えて、計算機状態表301に記
録しているが、プロセッサ稼働率をそのままパーセント
で記録しても良いし、またディスク稼働率とペアで記録
する方法もある。また、それまでの負荷状態の相加平均
をとる方法もある。
【0045】また、プロセッサ稼働率もカーネル実行率
やユーザ実行率など詳細に記録する方法もあるが、計算
機状態表301の大きさや、それら情報を通知する際の
ネットワーク負荷、さらには後述するジョブサーバ決定
手段313での決定アルゴリズムの複雑性などを考慮
し、決定される。また、各計算機が二次記憶媒体上にキ
ャッシュしているキャッシュファイルのエントリも記録
する。キャッシュしているすべてのファイルエントリを
通知、あるいは記録するには大きなオーバヘッドが生じ
るのでこの例では各計算機ごとにキャッシュしている容
量の大きい上位5エントリを報告させ、それを記録して
いる。従ってこの管理方法はファイル全体をキャッシュ
する場合だけでなく、ファイルを部分的にキャッシュす
る場合でも有効である。計算機属性はここではプロセッ
サの種類とメモリ容量とキャッシュファイル用ディスク
容量を最初の通信時に記録し、その後変更のあった場合
に更新される。
【0046】計算機20内の通信プロセス102はジョ
ブを実行すべき計算機の決定を計算機1−Mに決定要求
送信手段321を使って委託する。通信プロセス102
は計算機1−Mが計算機プール4内の計算機状態管理を
行っていることを知っている場合は計算機プール4内の
通信局を介して直接計算機1−Mに要求する。後述する
決定通知手段314では計算機1−Mはまた通信局を介
して通信をすることになる。また、計算機20は単に通
信局にジョブサーバの決定要求を送信し、通信局が計算
機状態管理を行っている計算機1−Mを見つける、ある
いは知っておく、という方法もある。計算機1−Mを見
つける場合は計算機プール1内でブロードキャストを出
し、該計算機に応答させる、あるいは他の計算機に依頼
して探させる、といった方法がある。それらはすべてこ
の手段に含まれる。
【0047】決定要求送信手段321を起動する際、ジ
ョブの種類によって最適なジョブサーバが異なってくる
ため、この決定要求送信手段321ではジョブに必要な
要件である計算機属性やファイル情報を伴う。例えば、
自計算機で実行したいオブジェクトを生成するためのジ
ョブでは、計算機20のプロセッサ種類や、生成するた
めに必要なファイルパスをヒント情報として送るといっ
たことが考えられる。また、科学技術演算を行うジョブ
は、高速なプロセッサを有する計算機を見つけたいので
高速なプロセッサの種類とデータファイルのパス名をヒ
ントとして指定することが考えられる。ファイル情報は
ここでの説明では最大5ファイルの指定ができるものと
するが、これは説明の便宜からであり、本発明の範囲を
限定しているわけではない。
【0048】計算機1−Mは計算機20が送信したジョ
ブサーバ決定要求を決定要求受信手段312で受信す
る。決定要求受信手段312は受信した計算機属性やフ
ァイル情報をジョブサーバ決定手段313に渡す。
【0049】ジョブサーバ決定手段313は決定要求受
信手段312から渡された情報を基に計算機状態表30
1を使ってジョブサーバを決定する。決定アルゴリズム
には例えば次のようなものがある。
【0050】まず、計算機属性、負荷、ファイルキャッ
シュ状態三項目について各々得点を計算する。得点は0
から1までの値とする。計算機属性としてプロセッサが
指定されてきた場合、それに一致するプロセッサを持た
ない場合、0を与える。また、プロセッサが一致した場
合、あるいはプロセッサの指定がない場合は、メモリ容
量やファイルキャッシュ用ディスク容量が大きいほど1
に近い値を与える。また、負荷は5段階で示される値の
逆数を使う。最後の項目のファイルキャッシュ状態のエ
ントリに指定されてきたファイルがすべてある場合は
1、1つかける場合は0.9、2つかける場合は0.
8、3つかける場合は0.7、4つかける場合は0.
6、ひとつもない場合は0.5と与える。これらの点数
の相乗平均をとり、最も高い得点を稼いだ計算機をジョ
ブサーバとして決定する。あるいはこれらの項目に重み
を表す比率を掛けた値の相乗平均をとる方法もある。こ
の場合、比率は一律にする方式と、計算機20が指定す
る方式が考えられる。
【0051】このように決定した計算機の識別子を決定
通知手段314によって計算機20に通知する。識別子
の一例としてネットワークアドレスがあげられる。計算
機20は決定受信手段322によってジョブサーバとし
て使うべき計算機の識別子を受信する。
【0052】次に本発明の第4の実施例について図面を
参照して詳細に説明する。
【0053】図7を参照すると本発明の実施例は、図5
に示される第3の実施例と比較して、計算機1−Mは、
計算機プール4内の各計算機に計算機状態を問い合わせ
る計算機状態問い合わせ手段411を備えたことを特徴
とする。
【0054】次に本発明第4の実施例の特徴的動作につ
いて図面を参照して説明する。
【0055】図6および図7を参照すると、本発明の第
4の実施例における計算機1−Mが有する計算機状態問
い合わせ手段411は、能動的に計算機プール4内の計
算機に対して状態の問い合わせを行う。これにはブロー
ドキャストを行い、各計算機の計算機属性、ファイルキ
ャッシュ状態、負荷状態を通知させる。この結果を例え
ば計算機状態表301の形式にまとめておき、次のジョ
ブサーバ決定手段314にジョブサーバの決定を行う判
断材料として渡す。
【0056】次に本発明の第5の実施例について図面を
参照して詳細に説明する。
【0057】図2および図8を参照すると、本発明の第
5の実施例は第2の実施例においてジョブ先導プロセス
101は、転送すべきジョブプロセスをジョブ先導プロ
セス単位の情報として覚えておく個別転送ジョブ登録手
段511と、受け付けたジョブ要求が転送すべきジョブ
プロセスかをチェックする個別転送ジョブチェック手段
512とを有することを特徴とする。
【0058】図8を参照すると本発明の第5の実施例で
ある第1の転送ジョブプロセス選択方式において、ジョ
ブ先導プロセス101は個別転送ジョブ登録手段511
によって、計算機プール4内のいずれかの計算機1−M
で実行するジョブプロセスをジョブ先導プロセス毎の情
報として記憶する。この一例として環境変数として記憶
する方法がある。環境変数名として、たとえばMIGR
ATIONJOBという変数名に、複数のジョブを:で
つなげて登録する方法がある。あるいは環境変数に転送
すべきジョブエントリを登録してあるファイルへのパス
を指定する方法もある。いずれにしてもこれらはジョブ
先導プロセス毎、あるいはセッション毎の情報として扱
われ、計算機20内の他のユーザには影響を及ぼさな
い。
【0059】次に、ジョブ先導プロセス101は、個別
転送ジョブチェック手段512によって、ジョブ要求が
入力された場合、先の個別転送ジョブ登録手段511に
よって登録したジョブ先導プロセス毎の転送ジョブ候補
のエントリをチェックし、今入力されたジョブ要求エン
トリと比較する。例えば環境変数として登録しておいた
場合、この環境変数に登録してあるジョブエントリとこ
の要求ジョブとを比較する。もし一致すると本発明の第
1の実施例のプロセス転送方式によってジョブを計算機
プール4内の計算機1−Mに転送し、処理を行わせる。
この計算機1−Mの選択にあたっては第3の実施例、ま
たは第4の実施例のジョブサーバ選択方式を利用する。
また随時第2の実施例のリモートプロセス制御方式によ
ってこれら処理をシグナル制御する。環境変数として転
送すべきジョブエントリの一覧を格納したファイルへの
パスが指定されている前記の例でも同様のことを行う。
【0060】次に本発明の第6の実施例について図面を
参照して詳細に説明する。
【0061】図9を参照すると、本発明の第6の実施例
は、第2の実施例に対し計算機20は、転送すべきジョ
ブプロセスを計算機単位の情報として登録しておく共通
転送ジョブ登録手段611を有し、ジョブ先導プロセス
101は、受付けたジョブ要求が転送すべきジョブプロ
セスかをチェックする共通転送ジョブチェック手段62
1を有することを特徴とする。
【0062】次に本発明の第6の実施例の動作について
図面を参照して詳細に説明する。
【0063】図9を参照すると、本発明の第6の実施例
における計算機20は共通転送ジョブ登録手段611に
よって、計算機プール4内のいずれかの計算機1−Mで
実行すべきジョブエントリを計算機20内に記憶する。
記憶箇所として、ファイル、共有メモリ、カーネル内な
ど複数のジョブ起動者から共通に参照できる箇所があげ
られる。カーネル内であればシステムコールを介して登
録情報にアクセスでき、共有メモリであればアタッチ
後、リードライトすれば良い。またファイルであれば通
常のファイルアクセスインタフェースで情報の更新、参
照が行える。この記憶箇所にジョブエントリを記憶す
る。この情報は計算機20内の全プロセスが参照でき
る。ジョブ先導プロセス101はジョブ要求が入力され
ると共通転送ジョブチェック手段621を起動し、入力
されたジョブ要求が先に共通転送ジョブ登録手段611
によって登録されているジョブエントリと比較する。も
し一致すると第1の実施例のプロセス転送方式によって
ジョブを計算機プール4内の計算機1−Mに転送し、処
理を行わせる。また随時第2の実施例のリモートプロセ
ス制御方式によってこれら処理をシグナル制御する。
【0064】次に本発明の第7の実施例について図面を
参照して詳細に説明する。
【0065】図10を参照すると本発明の第7の実施例
は、第2の実施例をもとに計算機20は、ジョブプロセ
ス702と、ジョブプロセス702が起動する複数のジ
ョブ子プロセス703−L(Lは自然数)とを有し、ジ
ョブ先導プロセス101は、複数のコマンドの組み合わ
せで記述されたスクリプトとして定義されたジョブ要求
と、ジョブプロセス702からの終了通知、あるいはユ
ーザからのジョブ転送指示を同時に待ち合わせるジョブ
先導プロセス待ち合わせ手段711と、ジョブを実行す
るジョブプロセスを生成するジョブプロセス起動手段7
12と、ジョブプロセス702に対して中断指示を送出
する中断指示手段713とを有する。
【0066】ジョブプロセス702は、スクリプトを読
み込んでジョブ子プロセスを順次起動するジョブ子プロ
セス起動手段721と、ジョブプロセス702に対する
中断指示、あるいはジョブ子プロセス703−Lからの
完了通知を同時に待ち合わせるジョブプロセス待ち合わ
せ手段722と、ジョブ子プロセス703−Lからの完
了通知を受信した場合、次のスクリプト行を継続して実
行するか否かを判断する処理継続判断手段723と、該
処理継続判断手段723でジョブプロセス702を中断
するべきマークを検出した場合、ジョブプロセスを中断
するジョブプロセス中断手段724と、該ジョブプロセ
ス中断手段724でジョブプロセス702の中断処理が
完了したことを通知する中断完了通知手段725と、前
記処理継続判断723でスクリプトを終了すると判断し
た場合、ジョブ終了コードをジョブ先導プロセス101
に送信するジョブ終了コード送信手段726と、前記ジ
ョブプロセス待ち合わせ手段722で中断指示を受信し
た場合、中断指示をマークする中断指示マーク手段72
7とを有し、ジョブ子プロセス703−Lは、自身の処
理が完了したことを報告する完了通知手段731を有す
る。
【0067】以下第7の実施例から第10の実施例の動
作の前提として必要なものを説明する。
【0068】以下の説明の中で、ジョブ先導プロセス1
01に対するジョブ要求の一例として、コマンドライン
があげられる。ユーザから要求されるジョブは単一のコ
マンドの場合や複数のコマンドを組み合わせたスクリプ
トの形式で与えられる場合がある。頻繁に使われるスク
リプトはファイルにつくられ、そのファイルに実行権を
あたえて直接起動したり、スクリプトを解釈するコマン
ド(UNIXではシェルコマンド)に通すことで実現す
る。
【0069】他の例として、ジョブにあらかじめ識別子
を与えることでその識別子をジョブキューに載せる方法
がある。しかし、いずれジョブ識別子に対応してジョブ
スクリプトが対応するので、ここでは上記スクリプトを
解釈するコマンドを使った例で説明を進める。
【0070】次に本発明の第7の実施例の動作について
図面を参照して詳細に説明する。
【0071】ジョブ先導プロセス101は、ジョブ先導
プロセス待ち合わせ手段711によって、複数のコマン
ドの組み合わせで記述されたスクリプトとして定義され
たジョブ要求と、ジョブの中断指示、あるいはジョブ終
了コード送信手段726によって送信される終了通知を
同時に待ち合わせる。ジョブ要求を受付けた場合、ジョ
ブプロセス起動手段712を起動してジョブプロセス7
02を計算機20内に生成起動しジョブ要求処理にあた
らせる。ジョブ要求がフォァグランドでの実行要求であ
れば、ジョブ先導プロセス待ち合わせ手段711で次の
ジョブ要求を抑止する。ジョブ実行途中にフォアグラン
ド実行要求からバックグランド実行要求への変更、ある
いはその逆の変更も、ジョブ先導プロセス待ち合わせ手
段711でのジョブ要求受付け抑止の変更によって制御
できる。このジョブプロセス702の終了は、後述する
ジョブ終了コード送信手段726によって送信される終
了コード通知で受ける。
【0072】ジョブ先導プロセス101がジョブ先導プ
ロセス待ち合わせ手段711によってジョブ起動者、あ
るいはシステム管理者から中断指示を受信した場合、中
断指示手段713によって、ジョブプロセス702に中
断指示を行う。
【0073】ジョブ先導プロセス101がジョブ先導プ
ロセス待ち合わせ手段711によって中断完了通知を受
信した場合、第1の実施例のプロセス転送方式を用い
て、まだ実行されていないスクリプト部分の実行を計算
機プール4内の計算機1−Mにおこなわせ、また第2の
実施例のリモートプロセス制御方式によってその実行を
制御する。これはスクリプトの実行が終了した行番号を
付加情報としてプロセス転送方式のジョブ起動要求受付
手段111に与え、計算機1−M上でジョブ継続実行を
行う際、該スクリプト終了行の次のラインから実行させ
ることで実現できる。ジョブの実行にあたる計算機の選
択は第3の実施例あるいは第4の実施例のジョブサーバ
選択方式によって決定できる。
【0074】一方、ジョブプロセス702は、ジョブ子
プロセス起動手段721によってスクリプトを順次読み
込んで字句を解析しプロセスを生成する必要がある場
合、ジョブ子プロセス703−Lを生成し起動する。ス
クリプト中、組み込み型のコマンド行は自身で実行す
る。
【0075】ジョブ子プロセス703−Lを起動した場
合、このジョブ子プロセス703−Lからの完了通知手
段731で通知される完了通知とジョブ先導プロセス1
01から中断指示手段713による中断指示を同時に待
ち合わせるためにジョブプロセス待ち合わせ手段722
を起動する。完了通知を受け取った場合、処理継続判断
手段723を起動し、中断指示がマークされているかを
確認する。中断指示がされていない場合でかつ次のスク
リプト行が存在する場合、ジョブ子プロセス起動手段7
21を起動してそのスクリプト行の実行を行う。また、
次のスクリプト行がない場合、あるいは中断指示がされ
ていても次のスクリプト行がexitなどのスクリプト
終了を指示するものだった場合、ジョブ終了コード送信
手段726を起動して、ジョブ要求が完了したことをジ
ョブ終了コードとともに送信して伝える。
【0076】処理継続判断手段723で、中断指示がな
されていてかつ次に実行するスクリプト行が存在する場
合、ジョブプロセス中断手段724によってジョブプロ
セス702の処理を中断する。この中断に関わる処理が
完了した段階で中断完了通知手段725を起動しジョブ
先導プロセス101にジョブプロセス702の中断が完
了したことを知らせると同時に、中断したスクリプト行
数や内部保持変数値を転送する。
【0077】このジョブプロセス待ち合わせ手段722
で中断通知をジョブ先導プロセス101から受信した場
合、中断指示マーク手段727によって中断指示があっ
たことをマークする。
【0078】ジョブ子プロセス起動手段721で、内部
組み込みコマンドの実行をジョブプロセス702自身が
行った場合、処理継続判断手段723をジョブプロセス
待ち合わせ手段722を介さず、直接コールする。
【0079】ジョブ子プロセス703−Lは、処理が完
了した段階で完了通知手段731を使って完了した旨、
終了コードを伴ってジョブプロセス702に通知する。
【0080】次に本発明の第8の実施例について図面を
参照して詳細に説明する。
【0081】図11を参照すると、本発明の第8の実施
例は、第7の実施例に基いて計算機20は、二次記憶上
のファイルキャッシュに対するキャッシュミスヒットを
プロセスのグループごとに管理するキャッシュミスヒッ
トカウント手段801を有し、ジョブ先導プロセス10
1は、前記ジョブ先導プロセス待ち合わせ手段711に
おいてジョブ要求を受付けた場合、転送すべきジョブと
して登録されているジョブをチェックする転送ジョブチ
ェック手段811と、前記ジョブ先導プロセス待ち合わ
せ手段711において中断完了通知を受信した場合、該
スクリプト名を登録する転送ジョブ登録手段812とを
有し、ジョブプロセス702は、該ジョブプロセス70
2自身が実行することでジョブプロセス702が起動し
たジョブプロセス702を含むプロセスの積算ミスヒッ
トカウントがしきい値を超えていないかをチェックする
ミスヒットカウントチェック手段821を有し、ジョブ
子プロセス703−Lは、ジョブプロセス702が起動
したジョブプロセス702を含むプロセスの積算キャッ
シュミスヒットカウントがしきい値に達しているかをチ
ェックするしきい値チェック手段831と、ジョブプロ
セス702に対して中断指示を送出する中断指示手段7
13とを有する、次に本発明の第8の実施例の転送ジョ
ブプロセス選択方式の動作/図面を参照して詳細に説明
する。
【0082】図11を参照すると、ジョブ先導プロセス
101がジョブ先導プロセス待ち合わせ手段711によ
ってジョブ要求を受付けた場合、転送ジョブチェック手
段811によってこのジョブ要求が後述する転送ジョブ
登録手段812により、転送すべきジョブとして登録さ
れているかをチェックする。登録されている場合、第1
請求項のプロセス転送方式を起動してジョブ転送し、第
2の実施例のリモートプロセス制御方式でシグナル制御
する。転送先の計算機は第3の実施例あるいは第4の実
施例のジョブサーバ決定方式を使って決定する。登録さ
れていない場合は、ジョブプロセス起動手段712でジ
ョブ要求を処理するジョブプロセス702を生成する。
【0083】ジョブ先導プロセス101がジョブ先導プ
ロセス待ち合わせ手段711によって中断完了通知を受
信した場合、転送ジョブ登録手段812によってこのス
クリプトが転送して処理した方が効果的であることを登
録する。この登録はシステムにより自動的に行われるこ
とになる。この後、引き続き第1の実施例のプロセス転
送方式を用いて、まだ実行されていないスクリプト部分
の実行を計算機プール1内の計算機1−Mにおこなわ
せ、また第2の実施例のリモートプロセス制御方式によ
ってその実行を制御する。これはスクリプトの実行が終
了したことを行番号を付加情報としてプロセス転送方式
のジョブ起動要求受付手段111に与え、計算機1−M
上でジョブ継続実行を行う際、該スクリプト終了行の次
のラインから実行させることで実現できる。
【0084】一方、ジョブプロセス702は、ジョブ子
プロセス起動手段721によってスクリプトを順次読み
込んで字句を解析しプロセスを生成する必要がある場
合、ジョブ子プロセス703−Lを生成し起動する。ス
クリプト中、組み込み型のコマンド行は自身で実行す
る。この場合、処理中にミスヒットカウントチェック手
段821によってジョブプロセス702が生成し起動し
たジョブプロセス702を含むプロセスによるジョブ実
行中のキャッシュミスカウントがしきい値を超えていな
いかをチェックする。もし超えたら中断指示マーク手段
727を使って次のスクリプト行実行時に中断すること
をマークする。
【0085】ジョブ子プロセス703−Lは、実行中に
キャッシュミスが発生すると、ジョブプロセス702を
含むジョブプロセス702が生成し起動したプロセスの
積算キャッシュミスヒットカウントをチェックししきい
値を超えていないかをミスヒットカウントチェック手段
831でチェックする。この結果、しきい値を超えてい
たら中断指示手段713でジョブプロセス702に中断
をマークするよう指示し、自身は処理を続行する。そし
てジョブ子プロセス703−Lの処理が完了した段階で
完了通知手段731を使って完了した旨、終了コードを
伴ってジョブプロセス702に通知する。
【0086】最後にキャッシュミスヒットカウント手段
801を説明する。計算機20上の二次記憶媒体には分
散ファイルシステム7が管理するファイルキャッシュが
存在する。このファイルキャッシュ容量は限られている
のですべての必要なファイルをキャッシュして保持する
ことはできず、したがって計算機20上のプロセスが動
作中にキャッシュされていないファイル、あるいはその
部分にアクセスした場合、キャッシュミスヒットとし
て、計算機プール4中に存在するファイルサーバから必
要なファイル、あるいはその部分を転送しようとする。
このキャッシュミスに関わる動作はキャッシュを管理す
る手段で解決されるが、ここでは同時にキャッシュミス
の回数も保持する。また、プロセス単位のキャッシュミ
ス回数を個別に保持したり、プロセスをグループ管理し
て、グループ単位でキャッシュミス回数をカウントする
こともできる。ここでは、ジョブを処理する過程で発生
するキャッシュミスヒット数に着目し、グループ単位で
キャッシュミス回数を管理する。
【0087】次に本発明の第9の実施例について図面を
参照して詳細に説明する。
【0088】図12を参照すると、本発明の第9の実施
について、二次記憶上のファイルキャッシュに対するキ
ャッシュミスヒット時にファイルサーバから転送するデ
ータ転送量をプロセスのグループごとに管理するデータ
転送量カウント手段901を有し、ジョブプロセス70
2は、該ジョブプロセス702自身が実行することでジ
ョブプロセス702が起動したジョブプロセス702を
含むプロセスの積算データ転送量がしきい値に達してい
るかをチェックする転送量カウントチェック手段921
を有し、ジョブ子プロセス703−Lは、ジョブプロセ
ス702が起動したジョブプロセス702を含むプロセ
スの積算データ転送量がしきい値に達しているかをチェ
ックする転送量カウントチェック手段931を有する。
【0089】次に本発明の第9の実施例について図面を
参照して詳細に説明する。
【0090】本発明の第9の実施例の動作の特徴を図1
2を参照して第8の実施例の動作と異なる部分として詳
細に説明する。
【0091】図12を参照すると、本発明の第9の実施
例では、まず、データ転送量カウント手段901を説明
する。キャッシュミスヒットを解決するコポーネントで
あるキャッシュ管理手段は前述のように、キャッシュミ
ス時に、計算機プール4中に存在するファイルサーバか
ら必要なファイル、あるいはその部分を転送しようとす
る。ここでキャッシュミス回数と同時にプロセス単位の
データ転送量を保持したり、プロセスをグループ管理し
て、グループ単位でキャッシュミス回数をカウントす
る。ここでは、ジョブを処理する過程で発生するデータ
転送量に着目し、グループ単位でデータ転送量を管理す
る。
【0092】その他の特徴は、転送量カウントチェック
手段921と転送量カウントチェック手段931である
が、これらは各々しきい値のチェック対象をデータ転送
量に変更したものである。
【0093】次に第10の実施例について図面を参照し
て詳細に説明する。
【0094】図13を参照すると、本発明の第10の実
施例は、第7の実施例に基いて、ジョブプロセス702
は、資源監視プロセス1001を生成起動する資源監視
プロセス生成起動手段1011と、該資源監視プロセス
生成起動手段1011で生成した資源監視プロセス10
01を終了させる資源監視プロセス終了手段1012と
を有し、資源監視プロセス1001は、ジョブプロセス
702を親とするプロセスグループの消費資源を監視す
る資源監視手段1013と、該資源監視手段1013で
資源消費が著しいと判断した場合ジョブプロセス702
に中断指示を送出する中断指示手段713とを有する。
【0095】次に本発明の第10の実施例の動作につい
て図13を参照して詳細に説明する。
【0096】本発明の第10の実施例の動作の特徴を図
13を参照して第7の実施例の動作と異なる部分として
以下に説明する。
【0097】図13を参照すると、本発明の第10の実
施例の特徴部分では、ジョブプロセス702は、資源監
視プロセス生成起動手段1011によって資源監視プロ
セス1001を生成起動する。
【0098】処理継続手段723によって、ジョブを中
断する必要があると判断した場合、資源管理プロセス終
了手段1012によって、資源監視プロセス1001を
終了させる。その後、直ちにジョブプロセス中断手段7
24を起動し、ジョブプロセスの中断処理に入る。
【0099】また、処理継続手段723によってジョブ
が完了したと判断した場合、資源監視プロセス終了手段
1012によって、資源監視プロセス1001を終了さ
せる。その後、直ちにジョブ終了コード送信手段726
でジョブ終了コードをジョブ先導プロセス101に通知
する。
【0100】資源監視プロセス1001は、資源監視手
段1013を一定時間毎に起動する。この資源監視手段
1013はジョブプロセス702を親とするプロセスグ
ループの消費資源を監視する役割を果たす。消費資源と
して、CPU消費時間、メモリ消費量、ディスク使用率
など、プロセス毎の情報をプロセスグループ単位で積算
し、統計的にデータ保持する。本資源監視手段1013
では、このように収集した情報を解析し、長時間資源使
用率が著しく高い場合、計算機20での実行が非効率的
であり、より高い計算能力や計算機諸元を豊富に有する
計算機プール4内のいずれかの計算機1−Mを選択し、
残りのスクリプトを実行させるべく、ジョブプロセス7
02にジョブの中断要求を中断指示手段713を使って
送信する。この中断指示手段713には付加情報として
中断するべき、という判断に至った理由をつけて通知す
ることで、ジョブプロセス702の中断完了通知手段7
25はジョブ先導プロセス101にその情報を渡せる。
ジョブ先導プロセス101は中断理由を受取ると、プロ
セス転送方式内で使用するジョブサーバ選択方式でこの
中断理由に従ったサーバ選択が可能となる。例えば、メ
モリ過負荷が中断の理由であればメモリ実装が大きい計
算機を選択する際の条件にするなどである。
【0101】
【発明の効果】本発明の効果として、ジョブの実行に必
要なファイルを有する計算機に対して弱い結合状態にあ
る計算機からのジョブ実行要求が、より強い結合状態に
ある計算機に対して自動的に依頼され実行されるため、
弱い結合状態にある計算機の通信ネックが緩和され、か
つジョブ実行が高速に行われることになる。また、利用
者にはジョブの実行がどの計算機で行われているかは透
過となり、分散ジョブサービスがあたかもローカルなマ
シン上で実行されるようなユーザビューを提供できる。
すなわち、ユーザはジョブ実行が行われている計算機を
意識する必要なく、透過的にジョブ実行する計算機が選
ばれ、ジョブ処理される。また、そのジョブ処理に際し
ても、ユーザはあたかも手元にある計算機でジョブが実
行しているかの使い勝手を享受でき、バッチ処理依頼と
いう手続きをふまなくて良い。また、これらジョブ処理
を会話的に進めることができ、必要に応じて処理をスト
ップさせたり、終了させることもできる。さらに、この
技術を使えば、ジョブ処理のための従来からあるコマン
ド群が無修正で使用でき、資産の有効利用を図ることが
できる。また、自計算機がジョブ実行に必要なだけの処
理性能を有しており、かつ、通信上のボトルネックが発
生しない場合は、ジョブを転送せず、自分自身で処理を
行うため、システム全体の負荷分散につながり、かつ高
速な計算機を有効に利用することができる。
【図面の簡単な説明】
【図1】本発明に適用されるシステムを示す図
【図2】本発明の第1の実施例を示す図
【図3】計算機状態表の一例を示す図
【図4】本発明の第2の実施例を示す図
【図5】本発明の第3の実施例を示す図
【図6】本発明の第4の実施例から第10の実施例に適
用される構成を示す図
【図7】本発明の第4の実施例を示す図
【図8】本発明の第5の実施例を示す図
【図9】本発明の第6の実施例を示す図
【図10】本発明の第7の実施例を示す図
【図11】本発明の第8の実施例を示す図
【図12】本発明の第9の実施例を示す図
【図13】本発明の第10の実施例を示す図
【符号の説明】
1 計算機 2 計算機 3 通信路 4 計算機プール 5 高速通信路 6 低速通信路 7 分散ファイルシステム 1−1 計算機 1−2 計算機 1−M 計算機(1≦M≦N) 1−N 計算機 20 計算機 101 ジョブ先導プロセス 102 通信プロセス 103 ジョブ管理プロセス 104 ジョブプロセス 111 ジョブ起動要求受付手段 112 通信プロセス生成手段 113 ジョブ終了コード受信手段 121 ジョブ起動条件獲得手段 122 ジョブ管理プロセス生成手段 123 ジョブ起動条件送信手段 124 通信プロセス待ち合わせ手段 125 出力手段 126 入力データ送信手段 127 終了コード通信手段 131 ジョブ起動条件受信手段 132 ジョブプロセス生成手段 133 ジョブ管理プロセス待ち合わせ手段 134 データ入力手段 135 出力データ送信手段 136 終了コード転送手段 211 ジョブ制御シグナル獲得手段 212 ジョブ制御シグナル転送手段 213 シグナル受信状態受信手段 214 シグナル受信状態表示手段 221 ジョブ制御シグナル受信手段 222 シグナル送出手段 223 シグナル受信状態検知手段 224 シグナル受信状態送信手段 301 計算機状態表 311 状態監視手段 312 決定要求受信手段 313 ジョブサーバ決定手段 314 決定通知手段 321 決定要求送信手段 322 決定受信手段 411 計算機状態問い合わせ手段 511 個別転送ジョブ登録手段 512 個別転送ジョブチェック手段 611 共通転送ジョブ登録手段 612 共通転送ジョブチェック手段 702 ジョブプロセス 703−L ジョブ子プロセス 711 ジョブ先導プロセス待ち合わせ手段 712 ジョブプロセス起動手段 713 中断指示手段 721 ジョブ子プロセス起動手段 722 ジョブプロセス待ち合わせ手段 723 処理継続判断手段 724 ジョブプロスセ中断手段 725 中断完了通知手段 726 ジョブ終了コード送信手段 727 中断指示マーク手段 731 完了通知手段 801 キャッシュミスヒットカウント手段 811 転送ジョブチェック手段 812 転送ジョブ登録手段 821 ミスヒットカウントチェック手段 831 ミスヒットカウントチェック手段 901 データ転送量カウント手段 921 転送量カウントチェック手段 931 転送量カウントチェック手段 1001 資源監視プロセス 1011 資源監視プロセス生成起動手段 1012 資源監視プロセス終了手段 1013 資源監視手段

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 第1の計算機およびこの第1の計算機に
    接続されたリモートの第2の計算機を含むシステムであ
    って、 前記第1の計算機上の通信プロセス、ジョブ起動条件
    を獲得するジョブ起動条件獲得手段と、 前記第2の計算機上にジョブ管理プロセスを生成するジ
    ョブ管理プロセス生成手段と、 このジョブ管理プロセス生成手段で生成されたジョブ管
    理プロセスに前記ジョブ起動条件獲得手段で獲得された
    ジョブ起動条件を送信するジョブ起動条件送信手段と、 前記ジョブ管理プロセスからの出力データの受信,終了
    コードの受信または自通信プロセスの標準入力ファイル
    からの入力を待つ通信プロセス待ち合わせ手段と、 この通信プロセス待ち合わせ手段で標準入力ファイルか
    らの入力を受信した場合、入力したデータをジョブ管理
    プロセスに送信する入力データ送信手段とを含み、 前記第2の計算機上のジョブ管理プロセス、前記通信
    プロセスから送信されるジョブ起動条件を受信するジョ
    ブ起動条件受信手段と、 このジョブ起動条件受信手段で受信したジョブ起動条件
    に基づいてジョブ実行のプロセスを生成起動するジョブ
    プロセス生成手段と、 前記入力データ送信手段からの入力データの受信,ジョ
    ブプロセスの終了コードの受信または該ジョブプロセス
    の標準/エラー出力ファイルへの出力データの受信を待
    つジョブ管理プロセス待ち合わせ手段と、 このジョブ管理プロセス待ち合わせ手段で前記入力デー
    タ送信手段からの入力データを受信した場合、該入力デ
    ータをジョブプロセスの標準入力ファイルに入力するデ
    ータ入力手段と、 前記ジョブ管理プロセス待ち合わせ手段で標準/エラー
    出力ファイルへの出力を受信した場合、受信したデータ
    を前記通信プロセス待ち合わせ手段に送信する出力デー
    タ送信手段と、 前記ジョブ管理プロセス待ち合わせ手段でジョブプロセ
    スの終了コードを受信した場合、前記通信プロセス待ち
    合わせ手段に該終了コードを転送する終了コード転送手
    段とを含むことを特徴とする分散処理システム。
  2. 【請求項2】 前記通信プロセス、ジョブに対し前記
    第1の計算機上で発生するジョブ制御シグナルを受信す
    るジョブ制御シグナル獲得手段と、 このジョブ制御シグナル獲得手段で獲得されたジョブ制
    御シグナルを前記ジョブ管理プロセスに転送するジョブ
    制御シグナル転送手段と、 ジョブプロセスのシグナル受信状態を受信するシグナル
    受信状態受信手段と、 このシグナル受信状態受信手段で受信したシグナル受信
    状態を自通信プロセスのエラー出力ファイルに表示する
    シグナル受信状態表示手段とを含み、 前記ジョブ管理プロセス、前記通信プロセスのジョブ
    制御シグナル転送手段により転送されたジョブ制御シグ
    ナルを受信するジョブ制御シグナル受信手段と、 このジョブ制御シグナル受信手段で受信したジョブ制御
    シグナルをジョブプロセスに送出するシグナル送出手段
    と、 前記ジョブプロセスが受けたシグナルの受信状態を検知
    するシグナル受信状態を検知するシグナル受信状態検知
    手段と、 このシグナル受信状態検知手段によって検知したジョブ
    プロセスのシグナル受信状態を前記シグナル受信状態受
    信手段に送信するシグナル受信状態送信手段とを含むこ
    とを特徴とする請求項1記載の分散処理システム。
JP32713793A 1993-12-24 1993-12-24 分散処理システム Expired - Fee Related JP2630239B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32713793A JP2630239B2 (ja) 1993-12-24 1993-12-24 分散処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32713793A JP2630239B2 (ja) 1993-12-24 1993-12-24 分散処理システム

Publications (2)

Publication Number Publication Date
JPH07182295A JPH07182295A (ja) 1995-07-21
JP2630239B2 true JP2630239B2 (ja) 1997-07-16

Family

ID=18195733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32713793A Expired - Fee Related JP2630239B2 (ja) 1993-12-24 1993-12-24 分散処理システム

Country Status (1)

Country Link
JP (1) JP2630239B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4577343B2 (ja) * 2007-09-13 2010-11-10 日本電気株式会社 計算機システムおよびジョブステップ並列処理方法
JP6255926B2 (ja) * 2013-11-13 2018-01-10 富士通株式会社 監視制御プログラム、監視制御方法、および監視制御装置

Also Published As

Publication number Publication date
JPH07182295A (ja) 1995-07-21

Similar Documents

Publication Publication Date Title
EP3851956B1 (en) Method and apparatus for accelerating cold-starting of application
US8359595B2 (en) Generic application server and method of operation therefor
CN107729559B (zh) 数据库读写异步访问的方法、系统、设备及存储介质
JP2021511588A (ja) データクエリ方法、装置およびデバイス
CN116048425B (zh) 一种分层缓存方法、系统及相关组件
US9390036B2 (en) Processing data packets from a receive queue in a remote direct memory access device
CN111190745A (zh) 一种数据处理方法、装置及计算机可读存储介质
US11836047B2 (en) Small file restore performance in a deduplication file system
JP4233635B2 (ja) アプリケーション・インタフェースに持続性を提供するための装置および方法
WO2024037629A1 (zh) 区块链的数据整合方法、装置、计算机设备及存储介质
WO2024007934A1 (zh) 中断处理方法、电子设备和存储介质
US11829262B2 (en) File restore performance using a file handler to disassociate prefetch and read streams
WO2021164163A1 (zh) 一种请求处理方法、装置、设备及存储介质
CN115934316A (zh) 基于数据库的任务处理方法、装置、设备及存储介质
CN111737027A (zh) 分布式存储系统的Lookup处理方法、系统、终端及存储介质
CN113014608A (zh) 一种流量分发控制方法、装置、电子设备及存储介质
JP2630239B2 (ja) 分散処理システム
US11836054B2 (en) File restore performance in a deduplication file system using adaptive prefetching
CN111428171B (zh) 接口调用处理方法和系统
WO2025156807A1 (zh) 任务消息传输方法、装置、电子设备、存储介质及程序产品
CN117909087B (zh) 一种数据处理方法、装置、中央处理器及电子设备
CN117407183B (zh) 线程间通信的方法及电子设备
US11841775B2 (en) File restore performance using adaptive prefetching and DDBoost application programming interfaces
CN110489358A (zh) 一种交互控制方法及设备系统
US20060242258A1 (en) File sharing system, file sharing program, management server and client terminal

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19970304

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080418

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090418

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100418

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees