JP7553197B2 - 分散処理システム内の運用データを管理する方法、システム、プログラム - Google Patents

Description

本発明は、一般に、コンピュータ・システムに関連しており、より詳細には、分散コンピューティング・システムにおいてサービス品質規格を維持する方法に関連している。

コンピューティング・システムは、長年にわたって著しく複雑になった。初期のコンピューティングでは、プロジェクトに関連するすべてのタスクを処理する単一のコンピュータが存在した。さらに補助的システムが現れ、ネットワーク・コンピューティング（特に、インターネット）が出現するにつれて、コンピューティングの世界の大部分が、分散コンピューティングに変化している。分散コンピューティングまたは分散システムは、異なるネットワーク・コンピュータなどの異なる場所で実装されるコンポーネントを含むシステムである。例としては、ピアツーピア・ネットワーク、オンライン・ゲーム、電話技術、およびデータ管理が挙げられる。

データ管理は、一般に、データ（すなわち、情報）の調達、保守、および使用に関連する技術である。データ自体は、名前およびアドレスなどの顧客の詳細のように、単純なものであることがあり、または金融サービス（例えば、金融犯罪捜査ソリューション）のように、より大規模なものであることがある。そのようなシステムにおけるデータの運用管理は、非常に複雑である。この課題は、マイクロサービスのような分散機能処理アーキテクチャ（distributed functional processing architectures）を使用するシステムにおいて特に当てはまる。マイクロサービスは、疎結合されたサービスの集合としてアプリケーションの構造化を可能にするソフトウェア開発技術である。アプリケーションをより小さい異なるサービスに分解することの１つの利点は、モジュール性を改善し、アプリケーションの理解、開発、テストを容易にし、アーキテクチャの崩壊に対する回復力を高めることである。マイクロサービスは、特に、ハイパーテキスト転送プロトコル（ＨＴＴＰ：hypertext transfer protocol）などの、特定の技術に依存しないプロトコルを使用して、ネットワークを経由して通信し、任意の目標を実現させる個別のプロセスであると考えることができる。

使用される特定のマイクロサービスの性質は、アプリケーションに大きく依存する。金融サービスの不正検出アプリケーションでは、例えば、マイクロサービスは、トランザクションをキューに配置する受信サービス、添付ファイルが存在するかをチェックし、添付ファイルが存在する場合、その添付ファイルを光学式文字認識サービスなどの別のマイクロサービスに送信する添付ファイル・プロセッサ・サービス、現在のトランザクションを分析し、そのトランザクションに関連するいずれかの過去のトランザクションに関連付けるコンテキスト作成サービス、違反を識別するようにクライアントによって設定されたルールを実行する決定実行エンジン、トランザクションを再調査し、外れ値にフラグを立てる分析エンジン、識別された問題に基づいて人間の追跡調査のためのケースを作成するかどうかを判断するケース・マネージャ・サービス、および各トランザクションの処理時の更新内容をクライアントの経費／調達システムに返す通知マネージャを含んでよい。

すべてのコンピューティング・システムに当てはまることであるが、分散コンピューティング・システムを監視し、それらの分散コンピューティング・システムがサービス品質（ＱｏＳ：quality-of-service）要件を満たしていることを保証できることは重要である。ＱｏＳは、電話技術もしくはコンピュータ・ネットワーク、またはクラウド・コンピューティング・サービスなどの、サービスの全体的性能、特に、ネットワークのユーザから見える性能の測定である。サービス品質を定量的に測定するために、多くの場合、ネットワーク・サービスの複数の関連する特徴が考慮される。マイクロサービスと同様に、ＱｏＳ要件の特定の性質は、含まれる特定のアプリケーションに依存する。ＱｏＳ基準は、例えば、データ・タイプに基づく応答時間の要件、ならびに時間およびデータの必要条件を含むコンテキストの必要条件を識別するサービス水準合意において、定められることがある。

本発明は、少なくとも１つの実施形態において、データ・ソースおよびデータ・ターゲットの定義、ならびにデータ・ソースおよびデータ・ターゲットのサービス品質基準を受信することと、分散処理システムの運用ワークロードを監視して、データ・ソースとデータ・ターゲットの間の運用データの移動の現在の評価を確立することと、サービス品質基準のうちの１つまたは複数を損なう結果をもたらす運用データの移動の以前の事例を含む、分散処理システム内の以前の運用データの移動に関する履歴情報を受信することと、現在の評価および履歴情報から、次回の運用データのアクションがサービス品質基準のうちの特定の１つを満たさないということを決定することと、前述の決定に応答して、定義に従って特定のサービス品質基準を向上させるように適応されたデータ管理最適化インフラストラクチャ（data management optimization infrastructure）を自動的に適用することとによって、分散処理システム内の運用データを管理する方法を一般に対象にしている。例示的な実装では、サービス水準合意モデルはサービス品質基準を提供し、サービス水準合意モデルは、データ・タイプ、コンテキストの必要条件、時間／日付の必要条件、および応答時間の要件を含み、データ移動実行履歴モデル（data movement execution history model）は履歴情報を提供し、データ移動実行履歴モデルは、サービスの統計値の履歴、サービスのリソース消費、およびサービスの種類の実行予測を含み、現行システム負荷モデル（current system load model）は運用ワークロードの前述の監視を提供し、現行システム負荷モデルは、リソースの利用、現在のクラスタ・サイズ、および能力評価を含み、データ・タイプおよびＱｏＳ要件モデルはデータ・タイプに関する定義および特性を提供し、データ・タイプおよびＱｏＳ要件モデルは、データ・タイプ定義およびデータ・サービス品質定義を含み、プロセス制御メカニズムは、必要に応じてサービス品質基準を満たすために、プロセス制御メカニズムから遠く離れたネットワークの位置でワーカー・スレッドを生成するようにデータ管理最適化インフラストラクチャを制御し、プロセス制御メカニズムは、データに最適化された選択、データ・サービス、サービス・フィードバック、およびデータ移動のディスパッチを含む。応答時間の要件は、データ・タイプ、コンテキストの必要条件、および時間／データの必要条件に基づく。決定することは、履歴情報を使用してトレーニングされた認知システムを使用することができ、認知システムは、現在の評価に基づいて運用結果を予測し、運用結果は特定のサービス品質基準が満たされないということの指示を提供する。現在の評価は、分散処理システムのリソースのリソース使用状況、リソースの能力、およびリソースの応答時間を含むことができる。データ管理最適化インフラストラクチャは、複数の拡張可能なデータ・バックプレーン・サービス（data backplane services）を含む。例示的なアプリケーションでは、分散処理システムは、不正検出ソリューションを提供し、データ・ソースおよびデータ・ターゲットは、名前、アドレス、電話番号、社会保障番号、または納税者登録番号などの大量の顧客情報、トランザクションの量および種類（ワイヤ、ＡＣＨ、クレジット、負債）などのトランザクション情報、ならびに前述の顧客情報または金融情報の集合を追跡するためのケース管理データを含む、データ・タイプを有し、サービス品質基準は、リソース割り当て、データ完全性仕様、およびサービスの使用可能時間を含み、データ・バックプレーン・サービスは、メッセージング・インターフェイス、ＡＰＩ、ストリーム、またはその他のデータ通信用の通信手段を含む。

上記に加えて、本発明のさまざまな実施形態における追加の目的、特徴、および利点が、以下の詳細に記述された説明において明らかになるであろう。

本発明は、添付の図面を参照することによって、よりよく理解されることができ、そのさまざまな実施形態の非常に多くの目的、特徴、および利点が、当業者にとって明らかになる。

本発明の１つの実装に従って、サービス品質基準によって指示される自動化された運用データ管理を実行するようにプログラムされたコンピュータ・システムのブロック図である。 本発明の１つの実装に従う、クラウド・コンピューティング環境の図的表現である。 本発明の１つの実装に従って、運用データ管理システムの機能モジュールを示すブロック図である。 サービス水準合意モデル、データ移動実行履歴モデル、現行システム負荷モデル、ならびにデータ・タイプおよびＱｏＳ要件モデルを使用する本発明の１つの実装に従って、自動化された運用データ管理のための１つの解決策を示すモデル図である。 本発明の１つの実装に従って、図３の運用データ管理システムの運用結果を予測するために使用される認知システムのブロック図である。 本発明の１つの実装に従って、データ管理プロセスの論理の流れを示すチャートである。

異なる図面における同じ参照シンボルの使用は、類似する項目または同一の項目を示す。

分散コンピューティングおよびマイクロサービスの使用は複数の利点を提供するが、この方法は新しい問題もシステム設計者に提示する。歴史的に、モノリシック・アプリケーションは、単一の大きい機能ユニットとして実行されて、データにアクセスすることができ、データの移動および複製を最小限に抑えるように最適化されることができた。データは、単一の共通データ・ストアに容易に存在することができ、統合されたメカニズムによって分散され、アクセスされることができ、複数の種類のデータ構造（データベース、ファイルベースなど）内に存在することもできたが、まだデータ・アクセスＡＰＩ層を可能にした。それらのいずれの場合でも、データの完全性、不一致、および流通に伴う問題の機会を導入するデータの移動および冗長性に依存しないための一貫した取り組みが存在した。

これらの仮定はすべて、分散コンピューティング・システムと共に変化する。難しいのは、多くの場合、セグメント化されたサービスを利用するためにデータが複製されなければならないということである。例えば、金融サービス・アプリケーションでは、金融犯罪捜査ソリューションをサポートするために、複数の技術要素を活用するのが望ましい。複数の技術要素を活用することは、例えば、銀行トランザクション・データを同じ個人に属しているとして関連付けるための要素技術を使用すること、その個人の仲間のネットワークを理解すること、またはデータに対して機械学習分析を実行し、不正である可能性がある挙動パターンを識別することを伴うことがある。既存のサービスをこれらの機能に活用することは重要であるが、設計者は、多くの場合、それらのサービスが類似するデータ・レコード（顧客情報、トランザクション・レコードなど）へのアクセスを必要とし、特定のスキーマに存在するか、または期待されるデータ・サービスへの特定のデータ・ストア・アクセス・インターフェイスを使用して、特定の形式でデータ・レコードを取得することを期待するという問題に直面している。そのような場合、アプリケーション作成者は、データがどのように使用できると期待されるか、ならびにデータの移動および複製を最小限に抑える方法を、制御することができない。この問題は、ソリューション・プロバイダ全体が管理するべき問題になり、現在、コンポーネントが変化することがあるが問題が残るため、プロジェクトごとに管理する必要がある。

したがって、そのような分散システムにおいてデータを管理する改善された方法を考案することが望ましい。含まれる特定のシステムに特有のサービス品質（ＱｏＳ）要件を満たすように方法が自動化されることができる場合、さらに有利である。本発明の種々の実施形態では、システムがシステム全体を通じてデータ移動を管理する方法を定義する管理されたＱｏＳの方法を使用して、データの移動、複製、および流通の必要性を満たすための解決策を提供することによって、これらおよびその他の利点が実現される。このシステムは、アプリケーション開発者が、特定のデータ要素のソースおよびターゲットを定義し、データがどのくらい速く移動する必要があるか（流通）、一貫性の目標が何か（例えば、保証された一貫性、最終的な一貫性など）、データがどのように削除されると期待されるか、および複製データがどこで作成されるかを示すＱｏＳ特性を提供できるようにする。このシステムは、拡張可能なインフラストラクチャをデータ移動（更新および削除を含む）に使用することができ、このインフラストラクチャの柔軟なスケーリングによって、ＱｏＳの目標を満たすことができるようにする。

ここで図を参照し、特に図１を参照すると、本発明に従って自動化された運用データ管理が実装されることができる、コンピュータ・システムの１つの実施形態１０が示されている。コンピュータ・システム１０は、システム・バス１４に接続された複数のプロセッサ１２ａ、１２ｂを含んでいる対称マルチプロセッサ（ＳＭＰ：symmetric multiprocessor）システムである。システム・バス１４は、インターフェイスをシステム・メモリ１８に提供する結合されたメモリ・コントローラ／ホスト・ブリッジ（ＭＣ／ＨＢ：memory controller/host bridge）１６に、さらに接続されて通信する。システム・メモリ１８は、ローカル・メモリ・デバイスであってよく、または代替として、複数の分散メモリ・デバイスを含んでよく、ダイナミック・ランダムアクセス・メモリ（ＤＲＡＭ：dynamic random-access memory）を含むのが好ましい。示されていないメモリ階層内に、オンボード（Ｌ１）および第２のレベル（Ｌ２）または第３のレベル（Ｌ３）のキャッシュなどの、追加の構造が存在し得る。システム・メモリ１８は、本発明に従って、分散システム、データ定義、ＱｏＳ基準、システム・モニタ、データの最適化、さまざまなバックプレーン・サービス、および運用結果を予測するために使用される認知システムの特定の機能を実行するために必要な運用プログラムを含む、１つまたは複数のアプリケーションまたはソフトウェア・モジュールを読み込んでおり、これらのすべてが、以下でさらに詳細に説明される。図１は、これらのさまざまなコンポーネントを単一のメモリ１８内に示しているが、これらのコンポーネントの一部が、コンピュータ・システム１０に類似するか、またはコンピュータ・システム１０と異なる、他の（遠く離れて位置する）ネットワーク・コンピュータ・システムに存在し得るということが理解される。特に、バックプレーン・サービスは、データの最適化から遠く離れた複数のネットワークの位置で実装されることができる。

ＭＣ／ＨＢ１６は、ＰＣＩ（peripheral componentinterconnect）Ｅｘｐｒｅｓｓリンク２０ａ、２０ｂ、２０ｃとのインターフェイスも含む。各ＰＣＩ Ｅｘｐｒｅｓｓリンク２０ａ、２０ｂは、各ＰＣＩｅアダプタ２２ａ、２２ｂに接続され、各ＰＣＩｅアダプタ２２ａ、２２ｂは、各入出力（Ｉ／Ｏ：input/output）デバイス２４ａ、２４ｂに接続される。ＭＣ／ＨＢ１６は、スイッチ（Ｉ／Ｏファブリック）２８に接続されたＩ／Ｏバス２６とのインターフェイスをさらに含んでよい。スイッチ２８は、複数のＰＣＩリンク２０ｄ、２０ｅ、２０ｆへのＩ／Ｏバスのファンアウトを提供する。これらのＰＣＩリンクは、さらにＰＣＩｅアダプタ２２ｃ、２２ｄ、２２ｅに接続され、次にこれらのＰＣＩｅアダプタは、さらにＩ／Ｏデバイス２４ｃ、２４ｄ、２４ｅをサポートする。Ｉ／Ｏデバイスは、キーボード、グラフィカル・ポインティング・デバイス（マウス）、マイクロホン、ディスプレイ・デバイス、スピーカ、永続的ストレージ・デバイス（ハード・ディスク・ドライブ）またはそのようなストレージ・デバイスのアレイ、ＣＤまたはＤＶＤなどの光ディスク２５（コンピュータ可読ストレージ媒体の１つの例）を受け取る光ディスク・ドライブ、およびネットワーク・カードを含んでよいが、これらに限定されない。各ＰＣＩｅアダプタは、ＰＣＩリンクと各Ｉ／Ｏデバイスの間のインターフェイスを提供する。ＭＣ／ＨＢ１６は、待ち時間の少ない経路を提供し、この経路を介して、プロセッサ１２ａ、１２ｂは、バス・メモリ内またはＩ／Ｏアドレス空間内のどこかにマッピングされたＰＣＩデバイスにアクセスすることができる。ＭＣ／ＨＢ１６は、ＰＣＩデバイスがメモリ１８にアクセスできるようにするための高帯域幅の経路をさらに提供する。スイッチ２８は、異なるエンドポイント間のピアツーピア通信を提供してよく、このデータ・トラフィックは、キャッシュ・コヒーレント・メモリ転送（cache-coherent memory transfers）を伴わない場合、ＭＣ／ＨＢ１６に転送される必要がない。スイッチ２８は、分離した論理コンポーネントとして示されているが、ＭＣ／ＨＢ１６に統合されることができる。

この実施形態では、ＰＣＩリンク２０ｃが、ＭＣ／ＨＢ１６をサービス・プロセッサ・インターフェイス３０に接続し、Ｉ／Ｏデバイス２４ａとサービス・プロセッサ３２の間の通信を可能にする。サービス・プロセッサ３２は、ＪＴＡＧインターフェイス３４を介してプロセッサ１２ａ、１２ｂに接続され、プロセッサ１２ａ、１２ｂの動作を中断するアテンション・ライン３６を使用する。サービス・プロセッサ３２は、それ自身のローカル・メモリ３８を含んでよく、システムの起動のための種々のプログラム命令を格納する読み取り専用メモリ（ＲＯＭ：read-only memory）４０に接続される。サービス・プロセッサ３２は、システムの状態および診断の情報を提供するために、ハードウェア・オペレータ・パネル４２にアクセスすることができてもよい。

代替の実施形態では、コンピュータ・システム１０は、これらのハードウェア・コンポーネントもしくはそれらの相互接続の変更、または追加のコンポーネントを含んでよく、そのため、示された例は、本発明に関するどのようなアーキテクチャの制限も意味すると解釈されるべきではない。本発明は、同等のクラウド・コンピューティング・ネットワーク内でさらに実装される。

コンピュータ・システム１０の電源が最初に入れられるときに、サービス・プロセッサ３２は、ＪＴＡＧインターフェイス３４を使用して、システム（ホスト）プロセッサ１２ａ、１２ｂおよびＭＣ／ＨＢ１６に問い合わせる。問い合わせの完了後に、サービス・プロセッサ３２は、コンピュータ・システム１０のインベントリおよびトポロジーを取得する。次に、サービス・プロセッサ３２は、コンピュータ・システム１０のコンポーネントに対して、ビルトイン・セルフテスト（ＢＩＳＴ：built-in-self-tests）、基本検証テスト（ＢＡＴ：basicassurance tests）、およびメモリ・テストなどの、さまざまなテストを実行する。テスト中に検出された故障に関するエラー情報が、サービス・プロセッサ３２によってオペレータ・パネル４２に報告される。テスト中に故障していることが検出されたコンポーネントを取り出した後に、システム・リソースの有効な構成がまだ可能である場合、コンピュータ・システム１０は、続行することが許可される。実行コードがメモリ１８に読み込まれ、サービス・プロセッサ３２が、プログラム・コード（例えば、アプリケーションを開始するために使用されるオペレーティング・システム（ＯＳ：operating system）、および特に、本発明の自動化された運用データ管理アプリケーション）の実行のためにホスト・プロセッサ１２ａ、１２ｂを解放し、その実行結果が、システムのハード・ディスク・ドライブ（Ｉ／Ｏデバイス２４）に格納される。ホスト・プロセッサ１２ａ、１２ｂがプログラム・コードを実行している間に、サービス・プロセッサ３２は、冷却ファンの速度および動作、熱センサ、電源制御装置、ならびにプロセッサ１２ａ、１２ｂ、メモリ１８、およびＭＣ／ＨＢ１６のいずれかによって報告された回復可能なエラーおよび回復不可能なエラーなどの、任意の動作パラメータまたはエラーを監視して報告するモードを入力してよい。サービス・プロセッサ３２は、エラーの種類または定義されたしきい値に基づいて、アクションをさらに実行し得る。

本発明は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組み合わせであってよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を含むコンピュータ可読ストレージ媒体を含んでよい。

コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用するための命令を保持および格納できる有形のデバイスであることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、またはこれらの任意の適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読ストレージ媒体のさらに具体的な例の非網羅的リストは、ポータブル・フロッピー（Ｒ）・ディスク、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ：random access memory）、読み取り専用メモリ（ＲＯＭ：read-onlymemory）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：erasableprogrammable read-only memoryまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：static random access memory）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：compact disc read-only memory）、デジタル・バーサタイル・ディスク（ＤＶＤ：digital versatile disk）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチカードまたは命令が記録されている溝の中の隆起構造などの機械的にエンコードされるデバイス、およびこれらの任意の適切な組み合わせを含む。本明細書において使用されるとき、コンピュータ可読ストレージ媒体は、それ自体が、電波またはその他の自由に伝搬する電磁波、導波管またはその他の送信媒体を伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、あるいはワイヤを介して送信される電気信号などの一過性の信号であると解釈されるべきではない。

本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から各コンピューティング・デバイス／処理デバイスへ、またはネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、または無線ネットワーク、あるいはその組み合わせ）を介して外部コンピュータまたは外部ストレージ・デバイスへダウンロードされる。このネットワークは、銅伝送ケーブル、光伝送ファイバ、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組み合わせを備えてよい。各コンピューティング・デバイス／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェイスは、コンピュータ可読プログラム命令をネットワークから受信し、それらのコンピュータ可読プログラム命令を各コンピューティング・デバイス／処理デバイス内のコンピュータ可読ストレージ媒体に格納するために転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：instruction-set-architecture）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＪａｖａ（Ｒ）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つもしくは複数のプログラミング言語の任意の組み合わせで記述されたソース・コードもしくはオブジェクト・コードであってよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に実行すること、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に実行すること、ユーザのコンピュータ上およびリモート・コンピュータ上でそれぞれ部分的に実行すること、もしくはリモート・コンピュータ上もしくはサーバ上で全体的に実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ：local area network）もしくは広域ネットワーク（ＷＡＮ：wide areanetwork）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてよく、または接続は、（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して行われてよい。一部の実施形態では、本発明の態様を実行するために、例えばプログラマブルロジック回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ：field-programmable gate arrays）、またはプログラマブル・ロジック・アレイ（ＰＬＡ：programmable logic arrays）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用することによって、電子回路をカスタマイズするためのコンピュータ可読プログラム命令を実行し得る。

本発明の態様は、本明細書において、本発明の実施形態に従って、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方に含まれるブロックの組み合わせが、コンピュータ可読プログラム命令によって実装されるということが理解されるであろう。

これらのコンピュータ可読プログラム命令は、コンピュータまたはその他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方のブロックに指定される機能／動作を実施する手段を作り出すべく、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令は、命令が格納されたコンピュータ可読ストレージ媒体がフローチャートまたはブロック図あるいはその両方のブロックに指定される機能／動作の態様を実施する命令を含んでいる製品を含むように、コンピュータ可読ストレージ媒体に格納され、コンピュータ、プログラム可能なデータ処理装置、または他のデバイス、あるいはその組み合わせに特定の方式で機能するように指示できるものであってもよい。

コンピュータ可読プログラム命令は、コンピュータ上、その他のプログラム可能な装置上、またはその他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方のブロックに指定される機能／動作を実施するように、コンピュータ、その他のプログラム可能なデータ処理装置、またはその他のデバイスに読み込まれてもよく、それによって、一連の動作可能なステップを、コンピュータ上、その他のプログラム可能な装置上、またはコンピュータ実装プロセスを生成するその他のデバイス上で実行させる。

図内のフローチャートおよびブロック図は、本発明の種々の実施形態に従って、システム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。これに関連して、フローチャートまたはブロック図内の各ブロックは、規定された論理機能を実装するための１つまたは複数の実行可能な命令を備える、命令のモジュール、セグメント、または部分を表してよい。一部の代替の実装では、ブロックに示された機能は、図に示された順序とは異なる順序で発生してよい。例えば、連続して示された２つのブロックは、実際には、含まれている機能に応じて、実質的に同時に実行されるか、または場合によっては逆の順序で実行される。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方に含まれるブロックの組み合わせは、規定された機能もしくは動作を実行するか、または専用ハードウェアとコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装され得るということにも注意する。

コンピュータ・システム１０は、新しい最適化技術を使用して分散システム内のデータを管理するする自動化された運用データ管理プロセスのためのプログラム命令を実行する。したがって、本発明を具現化するプログラムは、さまざまなデータ管理ツールの従来の特徴をさらに含んでよく、本開示を参照するときに、それらの詳細が当業者にとって明らかになる。それらのツールの一部は、クラウド・コンピューティングに関連し得る。本開示にはクラウド・コンピューティングに関する詳細な説明が含まれているが、本明細書において示された内容の実装は、クラウド・コンピューティング環境に限定されないと理解されるべきである。本発明の実施形態は、現在既知であるか、または今後開発される任意のその他の種類のコンピューティング環境と組み合わせて実装できる。

クラウド・コンピューティングは、構成可能な計算リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの便利なオンデマンドのネットワーク・アクセスを可能にするためのサービス提供モデルであり、管理上の手間またはサービス・プロバイダとのやりとりを最小限に抑えて、それらのリソースを迅速にプロビジョニングおよび解放することができる。クラウド・モデルは、さまざまな特性、サービス・モデル、およびデプロイメント・モデルを含むことができる。

特性は、オンデマンドのサービス、幅広いネットワーク・アクセス、リソース・プール、迅速な順応性、および測定されるサービスを含むことができるが、これらに限定されない。オンデマンドのセルフ・サービスは、サーバの時間およびネットワーク・ストレージなどの計算能力を一方的に、サービス・プロバイダとの人間的なやりとりを必要とせず、必要に応じて自動的にプロビジョニングする、クラウドの利用者の能力のことを指す。幅広いネットワーク・アクセスは、ネットワークを経由して利用可能である、標準的なメカニズムを使用してアクセスされる能力のことを指し、異種のシン・クライアントまたはシック・クライアント・プラットフォーム（例えば、携帯電話、ラップトップ、およびパーソナル・デジタル・アシスタントなど）による利用を促進する。リソース・プールは、プロバイダの計算リソースがプールされ、マルチテナント・モデルを使用して複数の利用者に提供されるときに発生し、さまざまな物理的および仮想的リソースが、要求に従って動的に割り当ておよび再割り当てされる。場所に依存しないという感覚があり、利用者は通常、提供されるリソースの正確な場所に関して管理することも知ることもないが、さらに高い抽象レベルでは、場所（例えば、国、州、またはデータセンター）を指定できる場合がある。迅速な順応性は、クラウドの能力が、迅速かつ柔軟に、場合によっては自動的にプロビジョニングされ、素早くスケールアウトし、迅速に解放されて素早くスケールインすることができるということを意味する。プロビジョニングに使用できる能力は、利用者には、多くの場合、任意の量をいつでも無制限に購入できるように見える。測定されるサービスは、計測機能を活用することによって、サービスの種類（例えば、ストレージ、処理、帯域幅、およびアクティブなユーザのアカウント）に適した抽象レベルで、リソースの使用を自動的に制御および最適化する、クラウド・システムの能力である。リソースの使用状況は監視、制御、および報告することができ、利用されるサービスのプロバイダと利用者の両方に透明性が提供される。

サービス・モデルは、ＳａａＳ（Software as a Service）、ＰａａＳ（Platform as a Service）、およびＩａａＳ（Infrastructureas a Service）を含むことができるが、これらに限定されない。ＳａａＳ（Software as aService）は、クラウド・インフラストラクチャ上で稼働しているプロバイダのアプリケーションを利用する、利用者に提供される能力のことを指す。それらのアプリケーションは、Ｗｅｂブラウザなどのシン・クライアント・インターフェイスを介して、さまざまなクライアント・デバイスからアクセスできる。利用者は、ネットワーク、サーバ、オペレーティング・システム、ストレージ、または個々のアプリケーション機能を含む基盤になるクラウド・インフラストラクチャを、限定的なユーザ固有のアプリケーション構成設定を行う可能性を除き、管理することも制御することもない。ＰａａＳ（Platform as a Service）は、プロバイダによってサポートされるプログラミング言語およびツールを使用して作成された、利用者が作成または取得したアプリケーションをクラウド・インフラストラクチャにデプロイする、利用者に提供される能力のことを指す。利用者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む基盤になるクラウド・インフラストラクチャを管理することも制御することもないが、デプロイされたアプリケーション、および場合によってはアプリケーション・ホスティング環境の構成を制御することができる。ＩａａＳ（Infrastructure as a Service）は、処理、ストレージ、ネットワーク、およびその他の基本的な計算リソースをプロビジョニングする、利用者に提供される能力のことを指し、利用者は、オペレーティング・システムおよびアプリケーションを含むことができる任意のソフトウェアをデプロイして実行できる。利用者は、基盤になるクラウド・インフラストラクチャを管理することも制御することもないが、オペレーティング・システム、ストレージ、デプロイされたアプリケーションを制御することができ、場合によっては、選択されたネットワーク・コンポーネント（例えば、ホスト・ファイアウォール）を限定的に制御できる。

デプロイメント・モデルは、プライベート・クラウド、コミュニティ・クラウド、パブリック・クラウド、およびハイブリッド・クラウドを含むことができるが、これらに限定されない。プライベート・クラウドは、ある組織のためにのみ運用されているクラウド・インフラストラクチャのことを指す。プライベート・クラウドは、この組織またはサード・パーティによって管理することができ、オンプレミスまたはオフプレミスに存在することができる。コミュニティ・クラウドは、複数の組織によって共有され、関心事（例えば、任務、セキュリティ要件、ポリシー、およびコンプライアンスに関する考慮事項）を共有している特定のコミュニティをサポートする、クラウド・インフラストラクチャを含む。コミュニティ・クラウドは、これらの組織またはサード・パーティによって管理することができ、オンプレミスまたはオフプレミスに存在することができる。パブリック・クラウドでは、クラウド・インフラストラクチャは、一般ユーザまたは大規模な業界団体が使用できるようになっており、クラウド・サービスを販売する組織によって所有される。ハイブリッド・クラウドのクラウド・インフラストラクチャは、データおよびアプリケーションの移植を可能にする標準化された技術または独自の技術（例えば、クラウド間の負荷バランスを調整するためのクラウド・バースト）によって固有の実体を残したまま互いに結合された２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の複合である。

クラウド・コンピューティング環境は、ステートレス、疎結合、モジュール性、および意味的相互運用性に重点を置いたサービス指向の環境であることができる。クラウド・コンピューティングの中心になるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。図２に、例示的なクラウド・コンピューティング環境５０が示されている。図示されているように、クラウド・コンピューティング環境５０は、クラウドの利用者によって使用されるローカル・コンピューティング・デバイス（例えば、パーソナル・デジタル・アシスタント（ＰＤＡ：personal digital assistant）または携帯電話５４ａ、デスクトップ・コンピュータ５４ｂ、ラップトップ・コンピュータ５４ｃ、または自動車コンピュータ・システム５４ｄ、あるいはその組み合わせなど）が通信できる、ネットワーク５６内の１つまたは複数のクラウド・コンピューティング・ノード５２を含む。ノード５２は、互いに通信してもよい。ノード５２は、１つまたは複数のネットワーク内で、上で説明されたプライベート・クラウド、コミュニティ・クラウド、パブリック・クラウド、もしくはハイブリッド・クラウド、またはこれらの組み合わせなどに、物理的または仮想的にグループ化される（図示されていない）。これによって、クラウド・コンピューティング環境５０は、クラウドの利用者がローカル・コンピューティング・デバイス上でリソースを維持する必要のないインフラストラクチャ、プラットフォーム、またはＳａａＳ、あるいはその組み合わせを提供できる。図２に示されたコンピューティング・デバイス７５４ａ～ｄの種類は、例示のみが意図されており、コンピューティング・ノード５２およびクラウド・コンピューティング環境５０は、任意の種類のネットワークまたはネットワーク・アドレス可能な接続（例えば、Ｗｅｂブラウザを使用した接続）あるいはその両方を経由して任意の種類のコンピュータ制御デバイスと通信できるということが理解される。

ここで図３を参照すると、本発明に従って構築された運用データ管理システム６０の１つの実施形態が示されている。運用データ管理システム６０は、通常、運用機能またはモジュール６２、システム・モニタ機能またはモジュール６４、およびデータ移動最適化機能またはモジュール６６を含む。運用モジュール６２は、データ工学（情報工学）６８、サービス水準合意７０、ならびにデータ・タイプ／オブジェクトの特性およびアドレスの集合７２を含む。データ工学６８は、運用モジュール６２の主要な機能を備えており、アプリケーションを計画、分析、設計、および実装するためのアーキテクチャの方法を含む。その具体的な機能は、特定のアプリケーションに従って変化する。サービス水準合意７０は、サービス・プロバイダと１つまたは複数のクライアントの間の契約である。品質、可用性、および責任などのサービスの特定の特徴が、サービス・プロバイダとクライアントの間で合意される。サービス水準合意は、対応するサービスレベル目標と共に、多数のサービス・パフォーマンス・メトリック（service-performance metrics）を含むことができる。金融サービスの例の場合、サービス水準合意指標は、サービスの可用性、コストのトレードオフ、およびサポートの応答時間を含むことができる。運用モジュール６２において具現化されるようなサービス水準合意７０は、契約に記載された定量値を反映する。データ・タイプ／オブジェクトの特性およびアドレスは、データ工学６８またはサービス水準合意７０のいずれかに適用されるアプリケーションの関連するデータの特徴を説明するために使用される。特性は、データ・タイプの基本的な特徴に加えて、より高度な特徴（データ構造、クラスなど）を含んでよい。金融サービスの例の場合、具体的な特性は、構造化データおよび非構造化データ、グラフ・データ、およびビッグ・データの実装を必要とする大量の情報を含むことができ、データ・ソースおよびデータ・ターゲットは、名前、アドレス、電話番号、社会保障番号、もしくは納税者登録番号、またはその他の識別番号などのデータ・タイプを含む。アドレスは、データが格納され、取り出されることになる（物理的または仮想的な）ネットワークの位置であり、使用されるプロトコル（ＨＴＴＰ、ＴＣＰ／ＩＰなど）に応じて、種々の形態であってよい。

システム・モニタ・モジュール６４は、分散データ・システムのコンポーネントの現在および過去の運用性能を追跡する。システム・モニタ・モジュール６４は、現在の情報を、中央処理装置（ＣＰＵ：central processing unit）、ディスク・ドライブまたはその他の永続的（不揮発性）メモリ、揮発性メモリ（すなわち、ＲＡＭ）、これらまたはその他のリソースのクラスタなどの、さまざまなハードウェア・ツール７６から受信する。この情報は、性能の使用状況、割り当て、電力消費、リソースの可用性などの、デバイスに関連付けられた任意のパラメータを含むことができる。この情報は、現在のシステム能力７８を構築するために使用される。システム・モニタ６４は、期間（例えば、ピーク使用時間）、特定のクライアント、または特定のサービスなどの、種々のパラメータと相関関係がある過去の運用性能情報８０（すなわち、デバイスの使用状況および能力の履歴）も含む。

データ移動最適化モジュール６６は、分散データ・システム内のデータ移動、ならびに特にシステム設計者によって提供された仕様に対して、一貫性および流通などの、その他のデータ性能要因（data performance factors）を追跡する分離したモニタ８２を含む。この情報は、システム・モニタ・モジュール６４の過去の運用性能８０に提供されることもできる。次に、データ移動最適化モジュールは、下でさらに説明されているように、必要に応じて、現在のデータ性能要因に基づいてデータ同期サービス８４を呼び出すことができる。これらのサービスは、例えば、ファイル・システムのコピー、メッセージング、データベース・アクセス、転送プロトコルなどを含んでよい。したがって、必要に応じてサービス・ワーカー８６が最適化される。

例示的な実装では、本発明は、さまざまなモデルを使用して、データ管理を最適化するために使用される入力を提供する。図４に示されているように、プロセス制御メカニズム９０が、サービス水準合意モデル９２、データ移動実行履歴モデル９４、現行システム負荷モデル９６、ならびにデータ・タイプおよびＱｏＳ要件モデル９８から入力を受信する。これらの特徴のいずれかまたはすべてが、コンピュータ・システム１０において具現化されることができる。サービス水準合意モデル９２は、各々について、データ・ソース、ターゲット、および関連するＱｏＳ基準の定義を格納することを規定する。このモデルは、データがシステム全体を通じて配置され、管理される方法を定義する。一般に、アプリケーション開発者は、この定義のみを作成し、その後、実行時に、データがシステムによって自動的に移動されて管理されるため、ソリューション開発者は、システム運用のその部分に重点を置く必要がなく、代わりに領域の価値（domain value）に重点を置くことができ、その領域においてインフラストラクチャのコーディングの投資を必要とせずに、データ・アーキテクチャの変更を採用する柔軟性を有することもできる。例示的な実装では、サービス水準合意モデル９２は、データ・タイプ、コンテキストの必要条件、時間／データの必要条件、および応答時間の要件のリストを含む。

データ移動実行履歴モデル９４はデータ移動要求の過去の運用を反映し、データ移動要求の過去の運用は、処理制御メカニズム９０によって、過去の運用から学習し、現在の運用結果を予測するために使用されることができ、基準を満たす（基準に従う）ために作業工数に適用される必要のあるリソースの量の情報に基づく評価を行うために、使用されることができる。図５と共に下でさらに説明されるように、データ移動実行履歴モデル９４は、機械学習および予測技術を使用して、システムが最適なしきい値で動作することを保証することができる。例示的な実装では、データ移動実行履歴モデル９４は、サービスの統計値の履歴、サービスのリソース消費、およびサービスの種類の実行予測を含む。現行システム負荷モデル９６は、システムの既存のワークロードを追跡する。この情報は、システムの現在の能力、および次回のデータ移動アクションのＱｏＳ基準を満たす能力を理解するために必要とされる。高負荷のシステムは、作業を完了するために、利用可能なリソースと共に、軽度に使用されるシステムよりも多くのバックプレーン操作スレッドの開始を必要とすることがある。当然ながら、これはリアルタイムに変化することがあるため、アクティブな監視および適応が必要である。例示的な実装では、現行システム負荷モデル９６は、リソースの利用、現在のクラスタ・サイズ、および能力評価を含む。データ・タイプおよびＱｏＳ要件モデル９８は、さまざまなデータ・タイプに関する特性、およびＱｏＳ定義を実現できる方法を表す。例えば、待ち時間の少ない流通要件と共にリアルタイムの一貫性を目標にすることは、リレーショナル・データベース、分散ファイル・システム、ブロック・ストレージなどの間で、実装において異なる。例示的な実装では、データ・タイプおよびＱｏＳ要件モデル９８は、データ・タイプ定義およびデータＱｏＳ定義を含む。

プロセス制御メカニズム９０は、柔軟なマイクロサービス１００（データ・バックプレーン）に対して、データを移動する必要性を満たすためにワーカー・スレッドを呼び出すよう指示する。柔軟なマイクロサービス１００は、異種のシステム・コンポーネントおよび技術にわたってデータを実際に移動（更新または削除）するように、拡張可能なインフラストラクチャを構成する。これらのシステムは、従来型であり、周知の予測可能なさまざまな挙動特性を有する。データ・バックプレーン・サービスは、データ・アーキテクチャにおけるデータの通信のためのメカニズムである。データ・バックプレーン・サービスの例は、ＡｐａｃｈｅのＫａｆｋａである。Ｋａｆｋａは、リアルタイムのデータ・フィードを処理するために、統一された高スループットで待ち時間の少ない通信メカニズムを提供する、オープンソースのストリーム処理ソフトウェア・プラットフォームである。不正検出ソリューションのためのデータ・バックプレーン・サービスは、そのようなメッセージング・インターフェイス、アプリケーション・プログラム・インターフェイス（ＡＰＩ：application program interfaces）、ストリーム、またはデータ通信用のその他の通信手段を含むことがある。柔軟なスケーリングとは、要求に応じてインフラストラクチャを動的に拡大または縮小する能力、すなわち、特定の時点でのアプリケーションの必要性に応じて、物理的ディスク空き容量、メモリ、ＣＰＵなどのリソースを増やすか、または減らす能力のことを指している。

例示的な実装では、プロセス制御メカニズム９０は、データに最適化された選択、データ・サービス、サービス・フィードバック、およびデータ移動のディスパッチを含む。データに最適化された選択は、応答時間要件をサービス水準合意モデル９２から受信し、データ・サービスによって処理されるサービスの順序を選択する。データ・サービスは、データ・タイプおよびＱｏＳ定義をデータ・タイプおよびＱｏＳ要件モデル９８から受信し、どのバックプレーン・サービスが特定のデータ・タイプに適しているかを決定する。その後、データ・サービスは、必要なデータ・バックプレーン・サービスを開始するように、データ移動のディスパッチを順序付けることができる。データ・バックプレーン・サービスは、プロセス制御メカニズム９０のサービス・フィードバックにフィードバックを提供し、プロセス制御メカニズム９０は、データ移動実行履歴モデル９４においてサービスの統計値の履歴を更新することもできる。

好ましい実装では、データ管理システムの予測機能が、新しい認知システムにおいて具現化される。認知システム（深層学習、ディープ・ソート、または深層質問回答（deep question answering）と呼ばれることもある）は、機械学習および問題解決を使用する人工知能の形態である。認知システムは、多くの場合、ニューラル・ネットワークを採用するが、代替の設計が存在する。ニューラル・ネットワークは、さまざまな種類であってよい。フィードフォワード・ニューラル・ネットワークは、ユニット間の接続が循環を形成しない人工ニューラル・ネットワークである。フィードフォワード・ニューラル・ネットワークは、最初に考案された最も単純な種類の人工ニューラル・ネットワークだった。このネットワークでは、情報が、入力ノードから（もしあれば）隠れノードを通って出力ノードへ、１つの方向（前方）のみに移動する。このネットワークには循環もループも存在しない。そのため、このネットワークは、回帰型ニューラル・ネットワークとは異なる。回帰型ニューラル・ネットワークは、ユニット間の接続が有向循環を形成する人工ニューラル・ネットワークの一種である。回帰型ニューラル・ネットワークは、動的な一時的挙動を示すことができるようにするネットワークの内部状態を作り出す。フィードフォワード・ニューラル・ネットワークとは異なり、回帰型ニューラル・ネットワークは、内部メモリを使用して、任意の順序の入力を処理することができる。畳み込みニューラル・ネットワークは、動物の視覚に基づく特定の種類のフィードフォワード・ニューラル・ネットワークであるため、画像データを処理すること特に役立つ。畳み込みニューラル・ネットワークは、通常のニューラル・ネットワークに類似しているが、学習可能な重みおよびバイアスを有するニューロンで構成されている。

サポート・ベクター・マシン（ＳＶＭ：support vector machine）などの、機械学習のためのニューラル・ネットワークの使用の多くの代替手段が存在する。ＳＶＭは、基本的に、トレーニング例に基づいて多次元の数学的空間を構築し、その空間内に境界を提供し、入力の２項分類（例えば、「良い」回答と「悪い」回答）を可能にする。別の方法は、有向非環状グラフで変数のセットを表すベイジアン・ネットワークを含む。このネットワークは、変数間の確率的関係を計算するために使用される。認知システムは、単一の方法の使用に限られず、すなわち、任意の数のこれらの機械学習アルゴリズムを組み込むことができる。

人工知能の最新の実装は、ＩＢＭ Ｗａｔｓｏｎ（ＴＭ）認知技術であり、この技術は、高度な自然言語処理、情報検索、知識表現、自動推論、および機械学習技術を、開領域質問回答の分野に適用する。そのような認知システムは、既存の文書（コーパス）に依存し、人、位置、組織、および特定の物体などの、照会に関連する回答を抽出するか、または肯定的感情および否定的感情を識別するために、それらの文書をさまざまな方法で分析することができる。さまざまな技術を使用して、自然言語を分析すること、ソースを識別すること、仮説を見つけて生成すること、証拠を見つけてスコア付けすること、および仮説をマージして順位付けすることができる。回答のスコア付けおよび順位付けのためのモデルは、質問（入力）と回答（出力）の対の大きいセットに基づいてトレーニングされることができる。同じ回答を独立して見つけるアルゴリズムが多いほど、回答が正しい可能性が高くなり、その結果、全体的スコアまたは信頼水準が高くなる。

図５は、本発明の１つの実装に従って新しい認知システム１２０がトレーニングされて適用されることができる方法を示している。認知システム１２０の予測機能は、トレーニング・データ１２２として使用される履歴情報に基づく。この例では、認知システムは、不正検出ソリューションを提供する金融サービス・アプリケーションの進行中の運用の結果を提供するために使用される。したがって、トレーニング・データ１２２は、ＱｏＳ要件に関する実際の結果を伴うさまざまな状況における前の運用因子の例を構成する。例えば、トレーニング・データ１２２は、ピーク使用時間または活動の一時的静止を反映する時間的情報（時刻、曜日、月の日付、またはその他の暦日付など）、リソースの可用性のスナップショット、サービスを提供されている特定の顧客（または単に、顧客の数）、トランザクション負荷（すなわち、最近要求されたか、または現在処理中のトランザクションの数）、および運用システムによって使用されている通信回線上のネットワーク・トラフィックを含むことができる。トレーニング・データ１２２内の各データ点は、この情報および、ＱｏＳ要件と比較した（すべてのデータ・タイプの）データ移動パラメータと相関関係があるその他の情報を含むことができる。言い換えると、データ点は、一部のＱｏＳ要件が満たされており、他のＱｏＳ要件が満たされていない、特定のデータ管理状態（過去の運用結果）をもたらす入力因子を提供する。このトレーニングは、特定の運用状況に関して、特定のＱｏＳ要件が満たされない可能性を認知システム１２０に学習させる。過去の運用因子は、データ・バックプレーン・サービスからのサービス・フィードバックで更新されることができる。

認知システム１２０は、そのようにトレーニングされた後に、現在の因子に基づいて可能性のある挙動を予測するために、運用データ管理システムによって使用されることができる。現行システム運用因子（current system operational factors）１２４は認知システム１２０に供給され、これらの因子は、トレーニング・データと同じ種類（時間的、リソースなど）の入力を含む。特定の機械学習アルゴリズムが認知システム１２０に実装された状態で、予測された運用結果がデータ管理システムのデータ移動最適化１２６に転送されることができる。不正検出の例に加えて、認知システムは、計算、リソース、データ割り当て、またはサービスの使用可能時間の要件のいずれかまたはすべてが現在または近い将来に損なわれる可能性があることの指示を提供することができる。次に、データ移動最適化１２６が、損なわれる特定のＱｏＳ要件に基づいて、これらの欠陥をより効果的に処理するために必要なデータ・バックプレーン・サービスを優先することができる。１つの実装では、予測された運用結果は、ＱｏＳの失敗の可能性を（認知システムによって生成された、特定のＱｏＳ基準が満たされないことの信頼値に基づいて）定量的形態で示す異なる値を割り当てることができ、データ移動最適化１２６は、失敗する可能性が最も高いとして示された要件に関連付けられたサービスを優先することができ、すなわち、それらのサービスを最初に呼び出すか、またはさらに多くのそれらのサービスを、より高い失敗の可能性を有するＱｏＳ基準に提供するか、あるいはその両方を行うことができる。

本発明は、１つの実装に従ってデータ管理プロセス１５０の論理の流れを示す図６のチャートを参照して、さらに理解されることができる。コンピュータ・システム１０または分散システムを含む任意のコンピュータ・システムに対して実行されるプロセス１５０は、ソースおよびターゲットのデータ定義ならびにそれらのソースおよびターゲットのサービス品質基準を受信することから開始する（１５２）。使用される特定のコーディングおよび変数に従って、アプリケーション開発者によって定義が提供されることができる。データ管理システムは、運用ワークロードを継続的に監視する（１５４）。監視される因子は、例えば、リソースの使用状況、能力、および応答時間を含むことができる。それによって、進行中の運用データ・フローに対する現在の評価が確立される（１５６）。現在の評価が、目前の運用結果を予測するために使用される（１５８）。これらの結果は、認知システムによって、過去の運用データの移動に関する履歴情報を使用して識別されることができる（１６０）。予測された結果は、どのＱｏＳ基準が危険にさらされているかを識別するデータ移動最適化を可能にする（１６２）。一部のＱｏＳ基準は、より大きい危険にさらされており、それに応じて、リソースの割り当てにおける優先度が付与される。次に、データ移動最適化が、識別されたＱｏＳ基準を向上させるために、適切な最適化インフラストラクチャを適用することができる（１６４）。最適化インフラストラクチャ（データ・バックプレーン・サービス）は、必要に応じて達成されるべきＱｏＳの目標を満たすために、ワーカー・スレッドを生成する。運用が継続する限り（１６６）、プロセスが反復してボックス１５４に戻り、監視を継続する。

それによって、本発明は、データ・バックプレーンが特定の時点でのアプリケーションの必要性に動的に適応することができるように、ＱｏＳの規格を満たすためのワークロードの監視およびその後の予測スケーリングと組み合わせて、データ・バックプレーンの優れた順応性を実現する。本発明は特定の実施形態を参照して説明されたが、この説明は、制限の意味で解釈されるよう意図されていない。開示された実施形態の種々の変更および本発明の代替の実施形態は、本発明の説明を参照するときに、当業者にとって明らかになるであろう。したがって、添付の特許請求の範囲において定義された本発明の思想または範囲から逸脱することなく、そのような変更が行われるということが企図される。

Claims (16)

1. コンピュータの情報処理により、分散処理システム内の運用データを管理する方法であって、
   データ・ソースおよびデータ・ターゲットの定義、ならびに前記データ・ソースおよび前記データ・ターゲットのサービス品質（ＱｏＳ）基準を受信するステップであって、前記定義は、顧客の名前、顧客のアドレス、顧客の電話番号、顧客の識別番号、トランザクションの量およびトランザクション情報を含む、前記受信するステップと、
   前記分散処理システムの運用ワークロードを監視して、前記データ・ソースと前記データ・ターゲットの間の運用データの移動に関する、前記分散処理システムのリソースのリソース使用状況、リソースの能力、およびリソースの応答時間を含む現在の評価を行うステップと、
   前記ＱｏＳ基準のうちの１つまたは複数を損なう結果をもたらす運用データの移動の以前の事例を含む、前記分散処理システム内の以前の運用データの移動に関する履歴情報を受信するステップと、
   前記現在の評価および履歴情報から、次回の運用データのアクションが前記ＱｏＳ基準のうちの特定の１つを満たさないということを決定するステップと、
   前記決定に応答して、前記定義に従って特定の前記ＱｏＳ基準を満たすために適応されたデータ・バックプレーン・サービスを自動的に適用するステップであって、プロセス制御メカニズムが、必要に応じて前記ＱｏＳ基準を満たすために、前記プロセス制御メカニズムから離れたネットワークの位置でワーカー・スレッドを生成するように前記データ・バックプレーン・サービスを制御し、前記プロセス制御メカニズムが、データに最適化された選択、データ・サービス、サービスのフィードバック、およびデータ移動のディスパッチを含む、前記適用するステップと、を含む方法。
2. サービス・プロバイダとクライアントの間で合意に基づくサービスレベル目標とサービス・パフォーマンス・メトリックを含むサービス水準合意モデルが前記ＱｏＳ基準を提供し、前記サービス水準合意モデルが、データ・タイプ、コンテキストの必要条件、時間／日付の必要条件、および応答時間の要件を含み、
   データ・ソースとデータ・ターゲットの間の運用データの過去の移動履歴から機械学習し現在の運用結果を予測する、データ移動実行履歴モデルが、作業工数に適用される必要のあるリソースの量の情報に基づく評価、および機械学習および予測技術を使用して、前記分散処理システムが最適なしきい値で動作することを保証することを含み、、
   現行システム負荷モデルが前記運用ワークロードの前記監視を提供し、前記現行システム負荷モデルが、リソースの利用、現在のクラスタ・サイズ、および能力評価を含み、
   データ・タイプおよび、データのＱｏＳ定義を含むＱｏＳ要件モデルが前記データ・タイプに関する前記定義および特性を提供し、前記データ・タイプおよびＱｏＳ要件モデルが、データ・タイプ定義およびソースおよびターゲットのＱｏＳ基準を含む、請求項１に記載の方法。
3. 前記応答時間の要件が、前記データ・タイプ、前記コンテキストの必要条件、および前記時間／データの必要条件に基づく、請求項２に記載の方法。
4. 前記決定することが、前記履歴情報を使用してトレーニングされた認知システムを使用し、前記認知システムが、前記現在の評価に基づいて運用結果を予測し、前記運用結果が、前記特定のＱｏＳ基準が満たされないということの指示を提供する、請求項１に記載の方法。
5. 前記現在の評価が、前記分散処理システムのリソースのリソース使用状況、前記リソースの能力、および前記リソースの応答時間を含む、請求項１に記載の方法。
6. 前記データ・バックプレーン・サービスが、複数の拡張可能なデータ・バックプレーン・サービスである、請求項１に記載の方法。
7. 前記分散処理システムが、不正である可能性がある挙動パターンを識別する不正検出ソリューションを提供し、
   前記データ・ソースおよびデータ・ターゲットが、顧客の名前、顧客のアドレス、顧客の電話番号、顧客の識別番号、トランザクションの量およびトランザクションの種類を含むトランザクション情報、ならびに前記運用データの集合を追跡するためのケース管理データを含む、データ・タイプを有し、
   前記ＱｏＳ基準が、前記分散処理システムのリソース割り当てにおける優先度、データの完全性、および応答時間の要件を含み、
   前記データ・バックプレーン・サービスが、メッセージング・インターフェイス、アプリケーション・プログラム・インターフェイス、およびストリームを含む、請求項６に記載の方法。
8. コンピュータ・システムであって、
   プログラム命令を処理する１つまたは複数のプロセッサと、
   前記１つまたは複数のプロセッサに接続されたメモリ・デバイスと、
   データ・ソースおよびデータ・ターゲットの定義、ならびに前記データ・ソースおよび前記データ・ターゲットのサービス品質（ＱｏＳ）基準を受信することであって、前記定義は、顧客の名前、顧客のアドレス、顧客の電話番号、顧客の識別番号、トランザクションの量およびトランザクション情報を含む、前記受信することと、分散処理システムの運用ワークロードを監視して、前記データ・ソースと前記データ・ターゲットの間の運用データの移動に関する、前記分散処理システムのリソースのリソース使用状況、リソースの能力、およびリソースの応答時間を含む現在の評価を行うことと、前記ＱｏＳ基準のうちの１つまたは複数を損なう結果をもたらす運用データの移動の以前の事例を含む、前記分散処理システム内の以前の運用データの移動に関する履歴情報を受信することと、前記現在の評価および履歴情報から、次回の運用データのアクションが前記ＱｏＳ基準のうちの特定の１つを満たさないということを決定することと、前記決定に応答して、前記定義に従って特定の前記ＱｏＳ基準を満たすために適応されたデータ・バックプレーン・サービスを自動的に適用することであって、プロセス制御メカニズムが、必要に応じて前記ＱｏＳ基準を満たすために、前記プロセス制御メカニズムから離れたネットワークの位置でワーカー・スレッドを生成するように前記データ・バックプレーン・サービスを制御し、前記プロセス制御メカニズムが、データに最適化された選択、データ・サービス、サービスのフィードバック、およびデータ移動のディスパッチを含む、前記適用することとによって、前記分散処理システム内の前記運用データを管理するために前記メモリ・デバイスに存在するプログラム命令とを備える、コンピュータ・システム。
9. サービス・プロバイダとクライアントの間で合意に基づくサービスレベル目標とサービス・パフォーマンス・メトリックを含むサービス水準合意モデルが前記ＱｏＳ基準を提供し、前記サービス水準合意モデルが、データ・タイプ、コンテキストの必要条件、時間／日付の必要条件、および応答時間の要件を含み、
   データ・ソースとデータ・ターゲットの間の運用データの過去の移動履歴から機械学習し現在の運用結果を予測する、データ移動実行履歴モデルが、作業工数に適用される必要のあるリソースの量の情報に基づく評価、および機械学習および予測技術を使用して、前記分散処理システムが最適なしきい値で動作することを保証することを含み、、
   現行システム負荷モデルが前記運用ワークロードの前記監視を提供し、前記現行システム負荷モデルが、リソースの利用、現在のクラスタ・サイズ、および能力評価を含み、
   データ・タイプおよび、データのＱｏＳ定義を含むＱｏＳ要件モデルが前記データ・タイプに関する前記定義および特性を提供し、前記データ・タイプおよびＱｏＳ要件モデルが、データ・タイプ定義およびソースおよびターゲットのＱｏＳ基準を含む、
   請求項８に記載のコンピュータ・システム。
10. 前記応答時間の要件が、前記データ・タイプ、前記コンテキストの必要条件、および前記時間／データの必要条件に基づく、請求項９に記載のコンピュータ・システム。
11. 前記決定することが、前記履歴情報を使用してトレーニングされた認知システムを使用し、前記認知システムが、前記現在の評価に基づいて運用結果を予測し、前記運用結果が、前記特定のＱｏＳ基準が満たされないということの指示を提供する、請求項８に記載のコンピュータ・システム。
12. 前記現在の評価が、前記分散処理システムのリソースのリソース使用状況、前記リソースの能力、および前記リソースの応答時間を含む、請求項８に記載のコンピュータ・システム。
13. 前記データ・バックプレーン・サービスが、複数の拡張可能なデータ・バックプレーン・サービスである、請求項８に記載のコンピュータ・システム。
14. 前記分散処理システムが、不正である可能性がある挙動パターンを識別する不正検出ソリューションを提供し、
    前記データ・ソースおよびデータ・ターゲットが、顧客の名前、顧客のアドレス、顧客の電話番号、顧客の識別番号、トランザクションの量およびトランザクションの種類を含むトランザクション情報、ならびに前記運用データの集合を追跡するためのケース管理データを含む、データ・タイプを有し、
    前記ＱｏＳ基準が、前記分散処理システムのリソース割り当てにおける優先度、データの完全性、および応答時間の要件を含み、
    前記データ・バックプレーン・サービスが、メッセージング・インターフェイス、アプリケーション・プログラム・インターフェイス、およびストリームを含む、請求項１３記載のコンピュータ・システム。
15. 請求項１～７の何れか１項に記載の方法の各ステップをコンピュータに実行させる、コンピュータ・プログラム。
16. 請求項１５に記載の前記コンピュータ・プログラムをコンピュータ可読ストレージ媒体に記憶した、ストレージ媒体。