JP7618804B2 - 自己学習分析ソリューションコア - Google Patents

Description

本開示は、データ分析プラットフォーム、より具体的には、自己学習分析ソリューションコアを促進するシステム及び方法を対象とする。

関連技術において、モデルの作成は、１つにはリソースのギャップに起因して、データ分析にとって非常に困難な問題である。データサイエンティスト及び主題の専門家は、企業内では、ますますまれなポジションとなっている。

関連技術では、以前の訓練モデルから学習するシステムの促進に関する問題がある。一般的なデータサイエンスプロセス中に、データサイエンティストは、複数のハイパーパラメータを使用して、幾つかの種類のモデルを試す。このプロセスは、データサイエンスチームにかなりの時間を要求し、結局は、データサイエンティストは、作成された少数のモデルしか保持しない。たとえ後でモデルを構築する際に潜在的に有用である可能性があるとしても、機能しなかったこれらのモデルからの学習はすべて破棄される。モデルの履歴が保持されないため、将来の分析で何が機能する可能性があるかを識別することは不可能である。

関連技術において、分析における難題の１つは、ビジネス要件を使用してモデルを作成することである。ビジネスの問題を理解し、それを仮説試験に変換し、及び適切なパイプラインを適用するプロセスは、ステージの無限の可能性により複雑である。ステージは、機械学習パイプラインにおける分析パイプラインの１つの逐次ステップである。

関連技術では、以前のフィーチャエンジニアリング実験から教訓を得ることに問題がある。データサイエンティストは、データの準備にかなりの時間を費やす。フィーチャエンジニアリング及びフィーチャ選択から学習されたすべての教訓は、この学習は保存されないため、無駄になる。これらのメタフィーチャの教訓を維持することは、将来のモデルで使用するために重要となり得る。

関連技術の問題に対処するために、例示的実装形態は、ツール及びプロシージャの一群を含むフレームワークを含む。以前の訓練モデルから学習し、ビジネス要件を使用してモデルを作成するシステムを促進するために、本明細書に記載する例示的実装形態は、メタ学習を取り入れ、それらのリソースギャップを解消し、分析ソリューションを製品に組み込む。

例示的実装形態では、自然言語処理（ＮＬＰ）を使用して、分析ソリューションコア（ＡＳＣ）の仮説キャンバス（テキスト）の数値表現を作成し、それを、（以前のユースケースで使用された）メタパイプラインを保存し、並びに分析アプリケーション及び機械学習アプリケーションの一群を含む１つ又は複数のメタステージコンポーネントで構成される、メタ学習データベース（ＤＢ）に保存する。例示的実装形態は、モデリングフェーズに関するすべての情報を保存できるデータベースを作成することを含む。データサイエンスサイクルでは、モデリングフェーズは、どのモデルが問題の解決に最も適するかを決定するために、データサイエンティストが幾つかの異なるフィーチャ及びモデルを試すときである。データベースは、これらすべての実験を保存し、将来の分析の生成において、それらを使用することによって、以前の実験を将来の潜在的アセットに変換する。

このソリューションの主な目的は、将来の分析で機能する可能性のあるモデルを保持し、それによって時間及びリソースを節約することである。

さらに、ソリューションに対する新しい要求に応答して、ＮＬＰは、確率的検索を使用して、単語のペアの数値表現を使用すること（例えば、低尤度は、異なる単語群であり、高確率は、類似の単語群である）、及び入力情報を使用してメタアーニングＤＢにおいてペアの類似度を算出するために距離法を使用することによって、テキストの異なるシーケンスの尤度を検出める。

データサイエンスプロジェクトの作成は、データエンジニアリング、データサイエンス、及び主題の専門知識を必要とする。これら３つの役割はそれぞれ、データサイエンスプロジェクトに極めて重要な寄与をする。データサイエンティストは、ビジネス、数学、及びコーディングの専門知識を提供し、主題の専門家は、ユースケースのドメイン知識に寄与し、データエンジニアは、プロジェクトのデータエンジニアリングの部分で、データサイエンティスト及び主題の専門家をサポートする。例示的実装形態は、システムにおいて、データサイエンティスト、主題の専門家、及びドメイン専門家の知識をカプセル化するデータサイエンスプロジェクトの作成を可能にする。例示的実装形態は、分析ソリューションを構築するために必要とされるすべてのビジネス要件を備えた入力情報として機能するアーチファクトである、仮説ビジネスキャンバスを使用する。

分析ソリューションコアの構成可能性は、分析アーチファクトの再利用性の欠如の問題を解決する。現在では、分析アーチファクトは、自動プロシージャにおいて再利用されない。データサイエンティストは、ステージを再利用するために、分析パイプラインを設計する必要がある。分析コンポーネントは、接続されて、ＡＳＣを構築する。このＡＳＣは、コンポーネントを使用して生成され、ソリューションは、分析のコンテキストとして仮説キャンバスを使用して、権利ステージを選ぶ。例えば、ユースケースが、チャーン分析であり、ユーザが、チャーン分析を実行するために取引情報を使用したい場合、変換に関するデータセットは、顧客製品の表現を作成するためにカテゴリフィーチャをコード化する取引データセットの最新購買日、購買頻度、及び購買金額を含み得る。この表現は、訓練すべき幾つかの機械学習アルゴリズムの入力となる。

適切なソリューションコアを見つけることができない場合は、最も近いメタステージが、ＤＢから選択され、選択されたコンポーネントは、新しいタスクを学習し、どれが最良の学習方法であるかを学習する能力を有するシミュレーションプロセスを使用して、新しいメタパイプラインＡＳＣとなるように組み合わせられる。最良の方法を学習した後、システムは、将来のモデルにおいて、それらの方法を適用する。ＡＳＣのすべての組み合わせは、メタ学習ＤＢに保存される。

関連技術の実装形態では、データサイエンスプロジェクトは、データサイエンティストが最終モデルを選んだ後に、未使用のモデルを捨てる。ここでの主な目的は、将来のモデルの参照として、生成されたすべてのモデルからのすべての情報を保存することである。この情報を保持することは、新しい分析実験で有用となる場合がある。

本明細書に記載する例示的実装形態は、ビジネスユーザにエンドツーエンドのソリューションを提供することを目的とする。仮説ビジネスキャンバスは、データサイエンティストがレイヤを構築するために必要なすべての要件を提供し、キャンバスは、自然言語理解（ＮＬＵ）と、再利用性及び構成可能性のような分析ソリューションコア特性を使用して分析パイプラインでビジネスユースケースを変換するセマンティックマッチングレイヤとに接続する。

本開示の態様は、複数の装置に関連付けられた複数のセンサを含むシステムのための方法であって、方法は、複数のセンサから仮説キャンバス及びメタデータを受信するために、複数のメタパイプラインステージを生成することであって、複数のメタパイプラインステージは、メタデータ及び１又は複数のステージを含み、１又は複数のステージのそれぞれは、メタデータ及び仮説キャンバスに基づいた実行順序でスタックされた分析アプリケーション又は機械学習アプリケーションである、生成することと、システムの分析モデルを生成するために、複数のメタパイプラインステージをメタデータに対して実行順序で実行することと、を含む、方法を含む。

本開示の態様は、複数の装置に関連付けられた複数のセンサを含むシステムのための命令を記憶するコンピュータプログラムであって、命令は、複数のセンサから仮説キャンバス及びメタデータを受信するために、複数のメタパイプラインステージを生成することであって、複数のメタパイプラインステージが、メタデータ及び１又は複数のステージを含み、１又は複数のステージのそれぞれは、メタデータ及び仮説キャンバスに基づいた実行順序でスタックされた分析アプリケーション又は機械学習アプリケーションである、生成することと、システムの分析モデルを生成するために、複数のメタパイプラインステージをメタデータに対して実行順序で実行することと、を含む、コンピュータプログラムを含む。コンピュータプログラムは、非一時的コンピュータ可読媒体に記憶され、１又は複数のプロセッサによって実行されてもよい。

本開示の態様は、複数の装置に関連付けられた複数のセンサと、複数のセンサから仮説キャンバス及びメタデータを受信するために、複数のメタパイプラインステージを生成するための手段であって、複数のメタパイプラインステージは、メタデータ及び１又は複数のステージを含み、１又は複数のステージのそれぞれは、メタデータ及び仮説キャンバスに基づいた実行順序でスタックされた分析アプリケーション又は機械学習アプリケーションである、生成するための手段と、システムの分析モデルを生成するために、複数のメタパイプラインステージをメタデータに対して実行順序で実行するための手段と、を含む、システムを含む。

本開示の態様は、複数の装置に関連付けられた複数のセンサを含むシステムのための管理装置であって、管理装置は、複数のセンサから仮説キャンバス及びメタデータを受信するために、複数のメタパイプラインステージを生成することであって、複数のメタパイプラインステージは、メタデータ及び１又は複数のステージを含み、１又は複数のステージのそれぞれは、メタデータ及び仮説キャンバスに基づいた実行順序でスタックされた分析アプリケーション又は機械学習アプリケーションである、生成することと、システムの分析モデルを生成するために、複数のメタパイプラインステージをメタデータに対して実行順序で実行することと、を行うように構成されたプロセッサを含む、管理装置を含む。

図１は、ある例示的実装形態による、ＡＳＣのバリューチェーンとして協働する様々な役割に関する一例を示す図である。

図２は、ある例示的実装形態による、システムのアーキテクチャ例を示す図である。

図３は、ある例示的実装形態による、プロセスを開始するためのデータサイエンティストキュレーションフローの一例を示す図である。

図４は、ある例示的実装形態による、移動中のアセットに関するＡＳＣ連続異常監視及び位置識別からのＡＳＣキャンバスの一例を示す図である。

図５は、ある例示的実装形態による、移動中のアセットに関する連続異常監視及び位置識別からの仮説キャンバスの一例を示す図である。

図６は、ある例示的実装形態によるシステム認知の一例を示す図である。

図７は、ある例示的実装形態によるメタ学習サブシステムプロセスの一例を示す図である。

図８は、ある例示的実装形態による分類ツリーの一例を示す図である。

図９は、ある例示的実装形態によるメタ学習プロセスの一例を示す図である。

図１０は、ある例示的実装形態による強化学習（ＲＬ）プロセスを示す図である。

図１１は、ある例示的実装形態による例示的メタパイプラインを示す図である。

図１２は、ある例示的実装形態による、接続されたセンサを有する複数のシステム及び管理装置を含むシステムを示す図である。

図１３は、いくつかの例示的実装形態での使用に適した例示的コンピュータデバイスを備えた例示的コンピューティング環境を示す図である。

以下の詳細な説明は、本出願の図面及び例示的実装形態の詳細を提供する。明確さのために、図面間の冗長な要素の参照番号及び説明は省略されている。明細書全体を通して使用される用語は、例として提供されるものであり、限定することを意図したものではない。例えば、「自動」という用語の使用は、本出願の実装形態を実施する当業者の所望の実装形態に応じて、実装形態の特定の態様に対するユーザ又は管理者の制御を伴う完全自動又は半自動実装形態を含んでもよい。選択は、ユーザインタフェース又は他の入力手段を用いてユーザによって行われ得、又は所望のアルゴリズムを用いて実装され得る。本明細書に記載するような例示的実装形態は、単独で、又は組み合わせて利用され得、例示的実装形態の機能は、所望の実装形態による任意の手段によって実装され得る。

分析コードは、顧客関与から生まれ、市場観点から有用な関連性を示す。分析ソリューションコア（ＡＳＣ）を中心とするバリューチェーンを説明するために、３人の主要な登場人物：プロデューサ、キュレータ、及び消費者が関与する。プロデューサは、分析ユースケースを作成するエンティティを含む。プロデューサは、コアアーチファクトを作成し、それらのアーチファクトをキュレータに提供する。キュレータは、プロデューサによって提供されたアーチファクトの品質を選択し、標準化し、及び改善するエンティティである。消費者は、バリューチェーンの末端におり、キュレータが変換プロシージャを適用した後にアーチファクトを消費するエンティティを含む。

図１は、ある例示的実装形態による、ＡＳＣのバリューチェーンとして協働する様々な役割に関する一例を示す。

分析プロジェクトが必要とされる場合、分析プロジェクトは、機密保持契約及び知的財産条項の必要性の決定などの、プロジェクトの財務及び法的プロファイルを含むビジネスユースケースを作成するデータサイエンティストチームを含むプロデューサ１００によって、システムに配置される。データサイエンティストチームは、特に仮説キャンバス及び分析コードを含むアーチファクトの構築に取り組む。プロジェクトの最後には、幾つかのアーチファクトは、ＡＳＣで変換される準備が整う。

プロジェクトの終了後に、データサイエンスチームは、ＡＳＣチームを含み得るキュレータ１０１に顧客アーチファクトを届ける。ＡＳＣチームは、アーチファクトを準備し、すべてをＡＳＣの仕様及び要件に適合させ、コードの品質を制御し、必要に応じてコードを改良する。

キュレーションプロセスの後には、アーチファクトは、消費者１０２のために展開される準備が整っている。プロデューサ１００は、顧客との幾つかの分析的関与を持っていてもよい。これらの関与から、そのドメインの専門家と共にアイデアをテストし、関連する分析コードを開発し、及びそれをＡＳＣに変換することができる。コードをＡＳＣに変換する際に、データサイエンティストにとっての最初のステップは、コードを標準化することである。このプロセスのために、データサイエンティストは、ｐｙｔｈｏｎ言語、仮説キャンバス、元のデータセット、ビジネスドキュメンテーション、技術ドキュメンテーション、仮説キャンバステンプレート、及びＡＳＣキャンバステンプレートなどのアーチファクトを作成する必要がある。

図２は、ある例示的実装形態による、システムの例示的アーキテクチャを示す。具体的には、図２は、例示的実装形態をサポートするために、どのようにサブグループが統一されたプロセスフローに加わるかを示す。図１で説明したように、プロデューサ１００は、ユーザインタフェース２０１に入力される顧客関与２００から分析プロジェクトを受け取る。キュレータ１０１は、コーディングリファクタ、仕様定義、及びユニットテスト２０２をウェブサービスメタデータ２０３に提供する。メタデータ２０３は、メタ学習システム２１０の管理者ユーザインタフェース２０４を介して、アーチファクト２１３としてＡＳＣカタログ２０７で発行され得る。

消費者１０２は、チャットボット２０５を介してメタ学習システム２１０と通信する。チャットボット２０５は、消費者１０２とメタ学習システム２１０との間の通信を促進するために、仮説キャンバスコンテキスト化２０６のための自然言語処理（ＮＬＰ）を促進する機能とインタフェースを確立する。メタ学習２１０は、データカタログ２１５をクエリできるようにインタフェース２１２に提供するために、仮説キャンバスコンテキスト化２０６のためのＮＬＰの出力に対してセマンティックマッチング２１１を行う。メタ学習２１０の要素のさらなる説明は、図７に関して以下に提供する。

図３は、ある例示的実装形態による、プロセスを開始するためのデータサイエンティストキュレーションフローの一例を示す。

データサイエンティストは、アーチファクト２１３を「顧客関与からの分析プロジェクト」として受け取る。これらのアーチファクト２１３は、限定されないが、所望の実装形態に応じて、Ｐｙｔｈｏｎ言語のコード、仮説キャンバス、元のデータセット、（仮説キャンバステンプレートで処理される）ユースケースのビジネス部分の説明を備えたドキュメンテーション、（ＡＳＣキャンバステンプレートで処理される）ユースケースの技術的部分の説明を備えたドキュメンテーションなどを含み得る。

このドキュメンテーションを用いて、プロデューサ１００は、ＵＩ／ＵＸインタフェース２０４を使用して作業を開始するために、すべてのパッケージをキュレータ１０１のためのコードリポジトリに提出する。キュレータ１０１の主な目的は、パイプライン及びステージを形成するために、一連のコード片から標準化された逐次ロジックにコードを変換することである。次に、キュレータ１０１は、プロデューサ１００によって以前に行われたすべての作業を検証する。キュレータ１０１は、幾つかの主要なプロセスを実行する。

第１の主要なプロセスは、以下のプロシージャを含む「コーディングリファクタ仕様定義及びユニットテスト（Ｃｏｄｉｎｇ Ｒｅｆａｃｔｏｒ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｄｅｆｉｎｉｔｉｏｎ ａｎｄ Ｕｎｉｔ Ｔｅｓｔ）」群２０２と呼ばれる。

１．ＡＳＣカタログ２０７に発行するために、分析コードをＡＳＣ規格に変換する。

２．クライアントデータソースシステムの依存性を除去する。

３．テストデータセットを含めて、確認する。

４．訓練データの準備を含み、訓練データの検査及び検証を行う。

５．コードの品質保証対策を実行する。

６．水平及び垂直アプリケーションのコードをテストする。

７．ＹＡＭＬによる処理のためのＹＭＬフォーマットを作成する。

第２の主要なプロセスは、以下のプロシージャを含む、ＡＳＣのためのドキュメンテーション準備に焦点が当てられている。

１．ＡＳＣモデルのドキュメントを検査する。

２．コードのコメント及び規格を検査する。

３．コードをｐｙｔｈｏｎスクリプトフォーマットからＪｕｐｙｔｅｒ Ｎｏｔｅｂｏｏｋフォーマットに書き換える。

４．ＡＳＣ開発キャンバスを検査する。

５．ユーザ行程統合のドキュメントを作成する。

６．仮説開発キャンバスを検査する。

７．ＡＳＣ訓練ドキュメントを作成する。

８．訓練データドキュメンテーションの検査及び検証を行う。

第３の主要なプロセスは、コード拡充群に焦点を当てたプロシージャの一群である。この群は、追加のフィーチャで分析コードを拡充する方法を含む。

１．モデルの処理時間及び／又は精度のためにコード性能を向上させる新しいフィーチャを追加することによって、元の分析コードを拡充する。

２．必要であれば、コンプライアンス及びソフトウェアライセンスのチェック及び改訂。

図３に示される主な目標の１つは、以下を含む将来のフェーズのためにコード及びアーチファクトを準備することである。

１．ＹＡＭＬファイルの作成：プロデューサ１００のデータサイエンティストチームメンバーは、ツールの仕様に基づいてＹＡＭＬファイルを作成する。このＹＡＭＬファイルは、ＡＳＣを起動及び実行するためにアプリケーションが必要なすべてのガイドラインを有する。

２．Ｐｙｔｈｏｎコードのリファクタリング：図１に示されるように、プロデューサ１００のデータサイエンティストチームメンバーは、ＰｙｔｈｏｎコードをＡＳＣのＰｙｔｈｏｎコード規格に変換する。

３．ＡＳＣのメタデータ情報の検証：ＡＳＣからのメタデータ情報の検証は、ウェブサービスメタデータ２０３によって利用される。この情報を使用して、データベースにおける通常の検索の代わりに、コンテキスト検索を行うことができる。

４．単体テスト及び統合テストの作成：ＡＳＣ内のブロック、ステージ、及びパイプラインをテストするための単体テストの作成。

上記の３つのプロセス及びメタデータ情報は、ウェブサービスメタデータ２０３の基本情報である。内容は、以下のアーチファクトに必要とされる。

１．ＹＡＭＬファイル（パイプライン及びステージ）：パイプライン及びステージに関する情報を有する、ＹＡＭＬフォーマットのファイルの一群。

２．Ｐｙｔｈｏｎファイル：ＡＳＣコードを有するＰｙｔｈｏｎファイル。

３．ユースケースメタデータ：業種、解決すべき問題、及び使用される機械類の仕様などの、ＡＳＣに関する参照の詳細を有するユースケースの情報。ＡＳＣキャンバスは、以下に論じられる。

ＡＳＣ及び仮説キャンバスは、分析のランタイム環境の技術的コンポーネントに関する異なるメタデータを含む２つのアーチファクトであり、ビジネスユースケースに関する情報も含む。どちらのキャンバスも、自然言語理解（ＮＬＵ）及びＮＬＰプロセスを供給し、ＡＳＣの技術的なｅビジネスコンテキストをシステムに提供する。

図４は、ある例示的実装形態による、移動中のアセットに関するＡＳＣ連続異常監視及び位置識別からのＡＳＣキャンバスの一例を示す。

例示的ＡＳＣキャンバスでは、内容の様々なセクションが存在する。このようなセクションは、以下のものを含み得る。

モデル記述４０１は、モデル及びその適用性の簡単な説明を提供する。アルゴリズムライブラリ４０２は、ＡＳＣを起動するために必要なライブラリ及びアプリケーションのリストを含む。ソフトウェア及びハードウェア技術要件４０３は、データの処理及び保存に必要なリソースのリストを含む。ライセンス変数４０４は、ライブラリのライセンスのリストを含む。潜在的ユースケース４０５は、このモデルで機能する潜在的なユースケースの記述を含む。変数及びデータソース４０６は、アルゴリズムを処理するために必要な変数及びデータソースのリストを含む。フィーチャエンジニアリング要件４０７は、生データを処理し、より意味のある情報をモデルに供給するために必要なフィーチャのリストを含む。モジュールメトリクス／ＫＰＩ４０８は、モデルの性能を測定するために使用されるメトリクのリストを含む。アプリケーションプログラミングインタフェース（ＡＰＩ）（出力）４０９は、ＡＳＣの出力の記述を含む。動作コメント４１０は、ＡＳＣにとって重要な追加コメントを含む。

例示的実装形態では、以下の要素に関するモデルフィーチャを訓練し、テストし、及び推論するためにＡＳＣによって使用されるデータセット。データスキーマは、各列の記述、列名、変数のタイプ、テーブル間の関係などを含む、データセットの定義を含む。データ内容は、データの内容を含む。

図５は、ある例示的実装形態による、移動中のアセットに関する連続異常監視及び位置識別からの仮説キャンバスの一例を示す。具体的には、仮説キャンバスは、ＡＳＣのビジネスデータについての詳細な情報を提供する。

仮説キャンバスを作成するために、インタフェースは、入力のために以下の要素を提供する。仮説５０１は、仮説を定義する。キーパフォーマンス指標（ＫＰＩ）５０２は、仮説の進行及び成功が測定されるＫＰＩを定義する。事業価値５０３は、仮説の事業価値を定義する。ステークホルダ５０４は、仮説によって影響を受ける構成要素を示す。エンティティ５０５は、分析を構築するためのエンティティを定義する。決定５０６は、仮説の裏付けとして最も重要な決定を定義する。予測５０７は、決定を裏付ける予測を定義する。

データソース５０８は、使用されるデータソースを定義する。データソース５０８は、データソースが仮説を裏付けるために必要とされる点数も定義することができる（例えば、最も価値の低い１から最も価値の高い４まで）。変数（大きさ）５０９は、性能のより良い予測因子を生じさせる可能性がある変数を定義する。推奨５１０は、決定を裏付けるために必要とされる推奨を示す。障害５１１は、成功に対する技術的障害、データ障害、及び組織的障害を含む。リスク５１２は、偽陽性及び偽陰性に関連するコスト又はリスクを示す。財務評価５１３は、仮説の利得のメトリクス、及び障害によって仮説が影響を受ける点数（例えば、最も価値の低い１から最も価値の高い４まで）を含む。障害評価５１４は、仮説の障害評価の変数、及び仮説が障害によって影響を受ける点数（例えば、最も価値の低い１から最も価値の高い４まで）を含む。

図６は、ある例示的実装形態によるシステム認知の一例を示す。図６のシステムは、仮説キャンバスに基づいて、ユーザから要求されたＡＳＣのコンテキストを決定するように構成される。ユーザは、チャットボット２０５を介して、ＮＬＰ、ＮＬＵ、及びセマンティックマッチングプロセス２０６に情報を提供し、次に、システムは、ユーザが必要とするものを翻訳し、データベースを検索して、ユーザのニーズを満たすＡＳＣが存在するか否か、又は類似のＡＳＣが存在するかどうかを決定する。本明細書に記載する例示的実装形態では、仮説キャンバスの翻訳から生成されたクエリを使用して、クエリに基づいてメタパイプラインの検索し、又は生成を行う。メタパイプラインは、システムの基礎となる装置からのデータを含むメタデータ、及びメタデータに対して逐次実行されるように構成された１又は複数のメタステージで構成され、各メタステージは、分析アプリケーション又は機械学習アプリケーションを含む。

システム認知の一部として生成されるコンポーネントの幾つかは、以下の態様を含む。最初に、ユーザは、チャットボット２０５と情報を交換する。次に、自然言語処理アルゴリズム２０６は、ユーザの発言から幾つかの「ｎｏｔ」ワードを除去する。次に、自然言語理解モデルは、分類モデルを適用して、会話中のユーザの意図を認識する。チャットボット２０５は、この情報を取得し、ルールベースのアルゴリズムの使用により、ユーザの質問に答える。

幾つかのインタラクションの後に、セマンティックマッチングプロセス２１１は、グラフ化技術、分類法、及びオントロジーを使用して、意味的に関連する情報の識別に関連するファジーマッチを作成し、それらの表現を、ウェブサービスメタデータ２０３に格納された仮説キャンバスのデータベースと比較する。ウェブサービスがセマンティックマッチングを見つけると、ＡＳＣは、アーチファクト作成２１３及び汎用モデルＺｏｏデータベース２１８からユーザに提供される。成功マッチがない場合、プロセスは、メタ学習プロセス２１０の開始をトリガして、メタ学習システム２１６を使用して新しいＡＳＣを作成する。

図７は、ある例示的実装形態によるメタ学習サブシステムプロセス２１０の一例を示す。システム認知が、マッチするユースケースを選択しようとして、その結果が成功しなかった後に、メタ学習プロセス２１０が呼び出される。データベースは、オントロジー／分類法を使用して、事前定義されたすべてのパイプラインの格納に対処する。

図８は、ある例示的実装形態による分類ツリー９０３の一例を示す。分類ツリーは、ビジネスの観点を分析にリンクさせる。例えば、分類上のビジネスの問題のニーズに適合するようにＡＳＣを事前定義することができる。分類ツリー９０３は、ビジネスの観点を分析にリンクさせるために横断する様々なレベル８００、８０１、８０２、８０３を含み得る。レベルの例は、限定されないが、ＡＳＣ８００、分析８０１、問題８０２、及びビジネスの分野８０３が含まれ得る。

データベースに加えて、それは、プロセスを維持し、また結果をユーザに説明するために、説明可能な人工知能（ＡＩ）２１９の事前構築されたプロシージャを有する。この説明可能なＡＩ２１９の能力は、ユースケースにとって最良の説明可能なフィーチャを含む分類ツリーも含む。このプロセスは、アセット階層内のあらゆるアセットについて、次のフローにおけるモデル管理プロセスによって調整される。

最初に、モデルマネージャ２２４は、ビジネスユーザの入力に基づいてＡＳＣを使用すること、並びに分類法及びアセットモデルのアセットを使用することによって、プロセスを開始する。モデルマネージャは、最も類似したＡＳＣを探す。

次に、モデルマネージャは、事前定義された分類法を使用して、データカタログ２１５上のデータを識別する。必要であれば、それは、欠測値を埋めるか、或いは現在のサンプリングに基づいて合成データ２１４を準備する。サンプリング方法の場合、現在のサンプルの使用から、モデルマネージャ２２４は、データの分布を使用して新しいデータを再現し、どの分布がサンプルデータセットを表すかを調べる。このステップの後に、それは、モンテカルロシミュレーションを行い、同じ分布のランダムサンプルを生成する。データカタログ２１５及び合成データプロセス２１４は、アセット階層２２０内のあらゆるアセットに対して呼び出される。

類似のＡＳＣが見つからない場合は、モデルマネージャ２２４は、図９に関して説明されるメタ学習プロセスからＡＳＣを構築するプロセスを経る。既存のＡＳＣに基づいて、又は新しいＡＳＣに基づいて、ＡＳＣは、本番システム２２５上でモデルを実行できるモデルサーバ２２２を使用して展開される。次いで、モデル監視２２１は、モデルのドリフトを監視し、新しいデータを使用して新しい訓練フェーズを開始する。訓練フェーズが十分な結果を得なければ、プロシージャは、新しいモデルを見つけるために、メタ学習プロセス２１６及びデータ特性化プロセス２１７を開始する。メタ学習プロセスが成功しなければ、全体的なソリューションは、データサイエンティストが前進するために微調整することを必要とする。このプロセスは、アセット階層のアセットごとに繰り返され、すべてのアセットの最適性能のために並行して行われる。

図９は、ある例示的実装形態によるメタ学習プロセスの一例を示す。

モデル展開フェーズでは、モデルは、メタパイプライン９０５及びモデル作成９０８を形成するメタステージの実行から生成される。モデルは、ＡｕｔｏＭＬライブラリ９００によって展開され、図１０でさらに説明するように、強化学習９０１を使用することによって訓練される。モデルは、モデル判断９０２によって、ＫＰＩに対して評価される。モデルを再作成する必要がある場合は、メタステージを修正し、モデル作成９０８によって新しいモデルを作成するために、フィードバックがメタパイプライン９０５に提供され得る。

モデル訓練ステップ中に、図９のメタ学習プロセスは、別のＡＳＣ方法が存在しない場合に、別のＡＳＣ方法を実現するために使用される。メタ学習フェーズは、以下のように定義される。

最初に、分類法９０３を使用することによって、プロセスは、メタステージリポジトリ９０４を横断し、事前定義されたメタパイプライン９０５、メタデータ９０７、及びメタフィーチャ９０６を選択する。メタ学習の概念は、以前の機械学習モデルからの自動学習が再利用され、将来のモデルで学習されるプロセスである。メタステージは、以前は他のユースケースで使用され、同じ性質の将来のユースケースで有用となり得る分析のアトムコンポーネントである。そのようなメタステージは、メタステージリポジトリ９０４に格納され得る。メタパイプライン９０５は、他のユースケースで以前に使用されたメタステージによって構成された分析パイプラインであり、それは、同じ性質の将来のユースケースに有用となり得る。

図１０は、ある例示的実装形態による強化学習（ＲＬ）プロセスを示す。ＲＬプロセスの入力は、幾つかの異なるシナリオを作成するために以前に定義されたメタデータ、メタフィーチャ、及びメタパイプラインを使用する幾つかの潜在的モデルである。

ＲＬの第１ラウンドは、最良のモデルが、アクションに基づいて選択され、報酬システムを最大化し、及びマルチアームドバンディット（ｍｕｌｔｉ－ａｒｍｅｄ ｂａｎｄｉｔ）手法からなるリグレットを最小化する探索フェーズである。各モデルは、エージェント１０００と名付けられる。この目的は、インスタンスのスコアを最大化し、性能メトリックを最大化することである。アクションは、ハイパーパラメータポリシーを使用してのモデルにおける異なるハイパーパラメータの選択である。最高の報酬を集めるエージェント１０００は、モデル管理により、本番時に配備される。これは、エージェントの活用である。本番環境１００１では、モデル管理はヘルス状態を測定し、エージェントの挙動を監視する。エージェントの報酬が最適なものではない場合は、モデル管理は、現在のエージェントを本番から除外し、活用される第２エージェントを選択する。このプロセスは、プロセスがすべてのエージェント１０００を使い果たすまで繰り返される。

図１１は、ある例示的実装形態による例示的メタパイプライン１１００を示す。メタパイプライン１１００は、異なるやり方で構成可能な異なるメタステージ１１０１によって処理されるメタデータ１１０２を含む。これらのメタステージ１１０１のそれぞれは、評価され、どのメタステージ１１０１又はそれらの組み合わせが最良の性能を有するかを決定するために、顧客からのメタデータと比較される。

メタステージ１１０１は、異なる分析アプリケーション（例えば、統計アプリケーション、視覚化アプリケーションなど）及び／又は逐次適用及び実行される機械学習アプリケーションを含み得る。例えば、メタステージ１１０１は、メタパイプライン１１００を作成するために使用され、且つ実行順序で相互接続され得る、統計、分析、データ情報、又は機械学習モデルのユニットを含み得る。メタステージ１１０１の例は、限定されないが、メタフィーチャ１１０３、メタモデル１１０４、及びメタ視覚化アプリケーション１１０５を含み得る。

メタパイプライン１１００の以下の例では、メタデータ１１０２は、限定されないが、製品階層１１１０、取引１１１１、顧客マーケティング属性１１１２、気象データ１１１３、及び作付面積１１１４を含み得る。メタデータ１１０２は、メタフィーチャ１１０３である第１メタステージにリンクされる。メタフィーチャ１１０３は、メタデータ１１０２からフィーチャを生成するアプリケーションを含む。メタデータ１１０２からフィーチャを生成するためにメタフィーチャ１１０３によって使用されるサブ機能の例は、メタデータを好ましい構造にフォーマットするためのデータスキーマ１１１５、及び処理されたメタデータからフィーチャを導出するためのフィーチャエンジニアリング１１１６を含み得る。次に、メタフィーチャ１１０３メタステージは、メタモデル１１０４である次のメタステージにリンクされる。

メタモデル１１０４は、モデルを生成するために、メタフィーチャ１１０３から生成されたフィーチャを取り込むように構成される。この例では、メタモデル１１０４は、モデルの組み合わせから形成された最良適合モデルを識別するためにグリッド検索を使用することによるマルチモデル手法を含む。グリッド検索、ランダム検索、又はベイジアン最適化のためのそのようなモデルは、限定されないが、決定木１１１７、ランダムフォレスト１１１８、サポートベクターマシン１１１９、及びロジスティック回帰１１２０を含み得る。

次に、メタモデル１１０４は、メタ視覚化アプリケーション１１０５である次のメタステージにリンクされる。次に、メタモデル１１０４によって生成されたモデルは、分析を視覚化するための出力を生成するメタ視覚化アプリケーション１１０５に接続される。視覚化アプリケーション１１０５からの出力の例は、尤度ｐ（ｉ）１１２１、属性１１２２、及びＥ（Ｒｅｖ）－ｐ（ｉ）＊昨年収益１１２３を含み得る。

したがって、例示的メタパイプライン１１００では、メタデータ１１０２は、メタデータ１１０２を処理してフィーチャを抽出するためのメタフィーチャ１１０３の実行、次に、モデルを生成するためにメタフィーチャ１１０３からフィーチャを取り込むためのメタモデル１１０４の実行、及び次に、視覚化出力を生成するためのメタ視覚化１１０５の実行を含む実行順序で、メタステージ１１０１を通して処理される。別の例示的実装形態では、メタステージ１１０１の別の例は、メタモデル１１０４の出力に基づいてシステムの基礎となる装置を制御するコントローラアプリケーションを含み得る。

本明細書に記載の例示的実装形態を用いて、大規模システム（例えば、分析工場、生産ラインなど）における展開により、モデルがリアルタイムで更新されながらシステムを制御することを許容し得る。ある例では、分析コード及びビジネスアーチファクトを含む、仮説キャンバス及びメタデータを介して、出力は、ＳａａＳサービスフォーマットに配備され得るモデルを有する分析システムでよい。

本明細書に記載する例示的実装形態は、モデルのデータウェアハウスを促進することができ、データサイエンティストが所与のソリューションのために任意のモデルをチェックして、再利用することを容易にする。「悪い」結果をもたらしたモデルを保持することによって、データサイエンティストは、うまく機能しなかった領域をチェックし、検査することができる。うまく機能したモデルに関して、データサイエンティストは、それらのモデルを維持し、別のデータでそれらを再訓練するか、或いは再訓練しないで再利用することができる。

図１２は、ある例示的実装形態による、接続されたセンサを有する複数のシステム及び管理装置を含むシステムを示す。接続されたセンサを有する１又は複数のシステム１２０１－１、１２０１－２、１２０１－３、及び１２０１－４は、モノのインターネット（ＩｏＴ）ゲートウェイ又は他の製造管理システムの機能を促進する管理装置１２０２に接続されているネットワーク１２００に通信可能に接続されている。管理装置１２０２は、システム１２０１－１、１２０１－２、１２０１－３、及び１２０１－４から受け取ったラベル付きデータ及びラベルなしデータを含み得る、システム１２０１－１、１２０１－２、１２０１－３、及び１２０１－４のセンサから収集された履歴データを含むデータベース１２０３を管理する。代替例示的実装形態では、システム１２０１－１、１２０１－２、１２０１－３、１２０１－４のセンサからのデータは、中央リポジトリ、又は企業資源計画システムなどのデータを取り込む専用データベースなどの中央データベースに保存され得、管理装置１２０２は、中央リポジトリ又は中央データベースからデータにアクセスすること、又はデータを取り出すことができる。そのようなシステムは、所望の実装形態に応じて、センサを備えたロボットアーム、センサを備えたタービン、センサを備えた旋盤などを含み得る。

図１３は、図１２に示されるような管理装置１２０２などの、いくつかの例示的実装形態での使用に適した例示的コンピュータデバイスを備えた例示的コンピューティング環境を示す。

コンピューティング環境１３００内のコンピュータデバイス１３０５は、１又は複数の処理ユニット、コア、又はプロセッサ１３１０と、メモリ１３１５（例えば、ＲＡＭ、ＲＯＭ、及び／又は同様のもの）、内部ストレージ１３２０（例えば、磁気、光学、ソリッドステートストレージ、及び／又は有機）、及び／又はＩ／Ｏインタフェース１３２５を含み得、これらの何れも、情報を通信するための通信機構又はバス１３３０上で接続されてもよく、又はコンピュータデバイス１３０５に埋め込まれてもよい。Ｉ／Ｏインタフェース１３２５はまた、所望の実装形態に応じて、カメラから画像を受信するか、或いはプロジェクタ又はディスプレイに画像を提供するように構成される。

コンピュータデバイス１３０５は、入力／ユーザインタフェース１３３５及び出力デバイス／インタフェース１３４０に通信可能に接続され得る。入力／ユーザインタフェース１３３５及び出力デバイス／インタフェース１３４０の一方又は両方は、有線又は無線インタフェースであってもよく、取り外し可能であってもよい。入力／ユーザインタフェース１３３５は、入力を提供するために使用され得る、物理的又は仮想の任意のデバイス、コンポーネント、センサ、又はインタフェース（例えば、ボタン、タッチスクリーンインタフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサ、光学リーダ、及び／又は同様のもの）を含んでもよい。出力デバイス／インタフェース１３４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでもよい。いくつかの例示的実装形態では、入力／ユーザインタフェース１３３５及び出力デバイス／インタフェース１３４０は、コンピュータデバイス１３０５に埋め込まれ得、又は物理的にされ得る。他の例示的実装形態では、他のコンピュータデバイスが、コンピュータデバイス１３０５のための入力／ユーザインタフェース１３３５及び出力デバイス／インタフェース１３４０として機能してもよく、又はそれらの機能を提供してもよい。

コンピュータデバイス１３０５の例は、限定されないが、高移動性デバイス（例えば、スマートフォン、車両及び他の機械内のデバイス、人及び動物によって携行されるデバイスなど）、モバイルデバイス（例えば、タブレット、ノート型パソコン、ラップトップ型コンピュータ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、並びに移動用に設計されていないデバイス（例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、内部に埋め込まれた、及び／又は接続された１又は複数のプロセッサを備えたテレビ、ラジオなど）を含み得る。

コンピュータデバイス１３０５は、（例えば、Ｉ／Ｏインタフェース１３２５を介して）外部ストレージ１３４５、並びに任意の数のネットワーク化されたコンポーネント、デバイス、及び、同じ又は異なる構成の１又は複数のコンピュータデバイスを含んでいるシステムと通信するためのネットワーク１３５０に通信可能に接続されてもよい。コンピュータデバイス１３０５又は任意の接続されたコンピュータデバイスは、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、若しくは別のラベルとして機能すること、それらのサービスを提供すること、又はサーバ、クライアント、シンサーバ、汎用マシン、専用マシン、若しくは別のラベルと呼ばれることが可能である。

Ｉ／Ｏインタフェース１３２５は、限定されないが、コンピューティング環境１３００内の少なくともすべての接続されたコンポーネント、デバイス、及びネットワークへ及び／又はそれらから情報を通信するための任意の通信又はＩ／Ｏプロトコル又は規格（例えば、イーサネット、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラーネットワークプロトコルなど）を含み得る。ネットワーク１３５０は、任意のネットワーク、又はネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク、電話網、セルラーネットワーク、衛星ネットワークなど）であり得る。

コンピュータデバイス１３０５は、一時的媒体及び非一時的媒体を含む、コンピュータ使用可能又はコンピュータ可読媒体を使用すること、及び／又はそれらを使用して通信することができる。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスク及びテープ）、光学媒体（例えば、ＣＤ－ＲＯＭ、デジタルビデオディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、ソリッドステート媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ）、及び他の不揮発性ストレージ又はメモリを含む。

コンピュータデバイス１３０５は、幾つかの例示的コンピューティング環境において、技術、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を実装するために使用され得る。コンピュータ実行可能命令は、一時的媒体から取り出すこと、並びに非一時的媒体に格納し及び非一時的媒体から取り出すことができる。実行可能命令は、任意のプログラミング、スクリプティング、及び機械語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔなど）の１又は複数から由来し得る。

１つ又は複数のプロセッサ１３１０は、ネイティブ又は仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行することができる。論理ユニット１３６０、アプリケーションプログラミングインタフェース（ＡＰＩ）ユニット１３６５、入力ユニット１３７０、出力ユニット１３７５、並びに異なるユニットが互いに通信するため、ＯＳと通信するため、及び他のアプリケーション（図示せず）と通信するためのユニット間通信機構１３９５を含む１又は複数のアプリケーションが展開され得る。記載したユニット及び要素は、設計、機能、構成、又は実装において変更することができ、提供された記載に限定されない。

幾つかの例示的実装形態では、情報又は実行命令がＡＰＩユニット１３６５によって受信されると、それは、１つ又は複数の他のユニット（例えば、論理ユニット１３６０、入力ユニット１３７０、出力ユニット１３７５）に通信されてもよい。場合によっては、論理ユニット１３６０は、上記の幾つかの例示的実装形態において、ユニット間の情報フローを制御し、ＡＰＩユニット１３６５、入力ユニット１３７０、出力ユニット１３７５によって提供されるサービスを指示するように構成されてもよい。例えば、１又は複数のプロセス又は実装のフローは、論理ユニット１３６０単独で、又はＡＰＩユニット１３６５と併せて制御されてもよい。入力ユニット１３７０は、例示的実装形態に記載される計算のための入力を取得するように構成されてもよく、出力ユニット１３７５は、例示的実装形態に記載される計算に基づいて出力を提供するように構成されてもよい。

複数のセンサから図５に示されるような仮説キャンバス及びメタデータを受け取るために、プロセッサ１３１０は、複数のメタパイプラインステージを生成することであって、複数のメタパイプラインステージは、メタデータ及び１又は複数のステージを含み、１又は複数のステージのそれぞれは、図１１に示されるようなメタデータ及び仮説キャンバスに基づいて実行順序でスタックされた分析アプリケーション又は機械学習アプリケーションである、生成することと、図９に示されるように、システムの分析モデルを生成するために、複数のメタパイプラインステージをメタデータに対して実行順序で実行することと、を行うように構成され得る。

プロセッサ１３１０は、図１０に示されるように、メタデータに対して実行するための、生成された複数のメタパイプラインステージのうちの１つを選択するために、強化学習プロセスを実行するように構成され得る。

プロセッサ１３１０は、図３及び図６に示されるように、自然言語処理を使用してセマンティック検索のためのクエリを生成するために、仮説キャンバスを翻訳することと、複数の装置に関連する１又は複数のパイプラインを検索するために、クエリからメタ学習データベースに対してセマンティック検索を実行することと、１又は複数のパイプラインからメタパイプラインステージを生成することと、メタパイプラインステージから生成された学習モデル、学習モデルに関連付けられたメタデータ、及び学習モデルに関連付けられたメタフィーチャを追跡するように構成されたリポジトリにおいてメタパイプラインステージを管理することと、によって複数のメタパイプラインステージを生成するように構成され得る。

プロセッサ１３１０は、図９及び図１０に示されるように、仮説キャンバスから抽出された１又は複数のキーパフォーマンス指標に対して分析モデルを評価するように構成され得、評価に基づいて、複数のメタパイプラインステージのうちの１又は複数を修正する。

図７～１１に示されるように、プロセッサ１３１０は、ハイパーパラメータポリシーから選択された様々なハイパーパラメータを有する複数の候補分析モデルを生成することを含んで、システムの分析モデルを生成するために、メタデータに対して複数のメタパイプラインステージを実行順序で実行するように構成することができ、仮説キャンバスから抽出された１又は複数のキーパフォーマンス指標に対して分析モデルを評価することは、マルチアームドバンディット手法を用いて複数の候補分析モデルを通して処理された複数のセンサから受信されたセンサデータに対して複数の候補分析モデルを評価することを含み、評価に基づいて複数のメタパイプラインステージのうちの１又は複数を修正することは、マルチアームドバンディット手法を用いて収集された報酬を最大化する候補分析モデルのうちの１つを分析モデルとして選択することと、候補分析モデルのうちの選択された１つに従って、複数のパイプラインステージのうち１又は複数を修正することと、をさらに含む。

図５に示されるように、仮説キャンバスは、メタデータ、システムに関連付けられた仮説、仮説から予期される予測、及び仮説に関連付けられたリスクを取得するために、複数のセンサのうちの１つを識別する複数のデータソースを含み得る。

図９に示されるように、プロセッサ１３１０は、新しいデータセットにメタパイプラインを適用するために、異なるメタデータ及びメタフィーチャからのデータ構造、既存のデータセット及び新しいデータセットからのデータ構造、並びに異なるデータセットからのデータ構造を比較するように構成されたメタ学習プロセスを実行するように構成され得る。

プロセッサ１３１０は、システム上で分析モデルを展開することにより、複数の装置のうちの１又は複数を制御するように構成され得る。例えば、プロセッサ１３１０は、所望の実装形態に応じて、分析モデルの出力に基づいて、装置の電源をオン／オフすること、職長にフラグを立てるために装置の近くでアンドンを起動すること、リアルタイムで装置の設定を調整することなどを行うように構成され得る。

詳細な説明のいくつかの部分は、コンピュータ内の動作のアルゴリズム及び記号表現で提示される。これらのアルゴリズム記述及び記号表現は、データ処理分野の当業者が、イノベーションの本質を他の当業者に伝えるために使用される手段である。アルゴリズムは、所望の最終状態又は最終結果に至る一連の定義されたステップである。例示的実装形態では、実行されるステップは、具体的な成果を達成するために具体的な量の物理的操作を必要とする。

特に別段の記載のない限り、説明から明らかなように、明細書の記載全体を通して、「処理する」、「算出する」、「計算する」、「決定する」、「表示する」などの用語を利用した説明は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを操作し、コンピュータシステムのメモリ又はレジスタ又は他の情報ストレージ、伝送デバイス、又は表示デバイス内の物理量として同様に表される他のデータに変換する、コンピュータシステム又は他の情報処理デバイスのアクション及びプロセスを含み得ることが理解される。

例示的実装形態は、本明細書の動作を実行するための装置にも関係してもよい。この装置は、必要とされる目的のために特別に構築されてもよく、又は１若しくは複数のコンピュータプログラムによって選択的に起動又は再構成される１若しくは複数の汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、コンピュータ可読ストレージ媒体又はコンピュータ可読信号媒体などのコンピュータ可読媒体に保存されてもよい。コンピュータ可読ストレージ媒体は、限定されないが、光ディスク、磁気ディスク、リードオンリーメモリ、ランダムアクセスメモリ、ソリッドステートデバイス及びドライブ、又は電子情報の格納に適した任意の他のタイプの有形若しくは非一時的媒体などの有形媒体が含まれてもよい。コンピュータ可読信号媒体は、搬送波などの媒体を含んでもよい。本明細書に提示されるアルゴリズム及び表示は、本質的に特定のコンピュータ又は他の装置に関連するものではない。コンピュータプログラムは、所望の実装形態の動作を実行する命令を含む純粋なソフトウェア実装形態を含み得る。

様々な汎用システムは、本明細書の例によるプログラム及びモジュールと共に使用されてもよく、又は所望の方法ステップを実行するために、より専門化した装置を構築することが便利であると判明する場合がある。さらに、例示的実装形態は、特定のプログラミング言語に関して説明されていない。本明細書に記載する例示的実装形態の技術を実装するために、様々なプログラミング言語を使用してもよいことが理解されるだろう。１又は複数のプログラミング言語の命令は、１又は複数の処理デバイス（例えば中央処理装置（ＣＰＵ）、プロセッサ、又はコントローラ）によって実行されてもよい。

当該技術分野で知られているように、上記の動作は、ハードウェア、ソフトウェア、又はソフトウェア及びハードウェアの何らかの組み合わせによって実行され得る。例示的実装形態の様々な態様は、回路及び論理デバイス（ハードウェア）を使用して実装されてもよく、他の態様は、プロセッサによって実行される場合にプロセッサに本出願の実装形態を実施するための方法を行わせる、機械可読媒体（ソフトウェア）に格納された命令を使用して実装されてもよい。さらに、本出願のいくつかの例示的実装形態は、ハードウェアのみで実行されてもよいが、他の例示的実装形態は、ソフトウェアのみで実行されてもよい。さらに、記載された様々な機能は、単一のユニットで実行され得、又は様々な方法いくつかのコンポーネントに分散されてもよい。ソフトウェアによって実行される場合、方法は、コンピュータ可読媒体に格納された命令に基づいて、汎用コンピュータなどのプロセッサによって実行されてもよい。必要に応じて、命令は、圧縮及び／又は暗号化されたフォーマットで媒体に格納され得る。

さらに、本出願の他の実装形態は、本明細書の考察及び本出願の技術の実施から、当業者には明らかとなるであろう。記載した例示的実装形態の様々な態様及び／又はコンポーネントは、単独で又は任意の組み合わせで使用されてもよい。本明細書及び例示的実装形態は、単なる例と見なされることが意図されたものであり、本出願の真の範囲及び精神は、以下の特許項によって示される。

Claims (14)

1. 複数の装置に関連付けられた複数のセンサを含むシステムのための方法であって、前記方法は、前記複数のセンサから仮説キャンバス及びメタデータを受け取るために、
   前記システムの分析モデルを生成するための複数のメタパイプラインステージを生成することであって、前記複数のメタパイプラインステージは、前記メタデータ及び１又は複数のステージを含み、前記１又は複数のステージのそれぞれは、前記メタデータ及び前記仮説キャンバスに基づいた実行順序に従って接続されている、前記メタデータに基づく前記システムの分析に関わる処理を行う分析アプリケーション又は学習モデルの訓練を行う機械学習アプリケーションである、生成することと、
   前記システムの分析モデルを生成するために、前記複数のメタパイプラインステージを前記メタデータに対して前記実行順序に従って実行することと、
   を含み、
   前記複数のメタパイプラインステージを前記生成することは、
   自然言語処理を使用してセマンティック検索のためのクエリを生成するために、前記仮説キャンバスを変換することと、
   前記複数の装置に関連する１又は複数のパイプラインを検索するために、前記クエリからメタ学習データベースに対してセマンティック検索を実行することと、
   前記１又は複数のパイプラインから前記メタパイプラインステージを生成することと、
   前記メタパイプラインステージ、学習モデルに関連付けられたメタデータ、及び前記学習モデルにおいて関連付けられ且つ前記メタデータからフィーチャを生成するメタフィーチャから生成された学習モデルを追跡するように構成されたリポジトリにおいて前記メタパイプラインステージを格納することと、
   を含む、方法。
2. 前記メタデータに対して実行するための前記生成された複数のメタパイプラインステージのうちの１つを選択する強化学習プロセスを実行することをさらに含む、請求項１に記載の方法。
3. 前記仮説キャンバスから抽出された１又は複数のキーパフォーマンス指標に対して前記分析モデルを評価することと、
   前記評価に基づいて、前記複数のメタパイプラインステージのうちの１又は複数を修正することと、
   をさらに含む、請求項１に記載の方法。
4. 前記システムの前記分析モデルを生成するために、前記複数のメタパイプラインステージを前記メタデータに対して実行順序で前記実行することは、ハイパーパラメータを選択するためのハイパーパラメータポリシーから選択された異なるハイパーパラメータを有する前記分析モデルの候補となる複数の候補分析モデルを生成することを含み、
   前記仮説キャンバスから抽出された１又は複数のキーパフォーマンス指標に対して前記分析モデルを前記評価することは、マルチアームドバンディット手法を用いて前記複数の候補分析モデルを通して処理された前記複数のセンサから受信されたセンサデータに対して前記複数の候補分析モデルを評価することを含み、
   前記評価に基づいて前記複数のメタパイプラインステージのうちの１又は複数を前記修正することは、
   前記マルチアームドバンディット手法を用いて収集された報酬を最大化する前記候補分析モデルのうちの１つを前記分析モデルとして選択することと、
   前記候補分析モデルのうちの前記選択された１つに従って、前記複数のパイプラインステージのうちの前記１又は複数を修正することと、
   を含む、請求項３に記載の方法。
5. 前記分析モデルを前記システムにおいて展開することにより、前記複数の装置のうちの１又は複数を制御することをさらに含む、請求項１に記載の方法。
6. 前記仮説キャンバスは、前記メタデータ、前記システムに関連付けられた仮説、前記仮説から予期される予測、及び前記仮説に関連付けられたリスクを取得するための、前記複数のセンサのうちの１つを識別する複数のデータソースを含む、請求項１に記載の方法。
7. 新しいデータセットにメタパイプラインを適用するために、異なるメタデータ及びメタフィーチャからのデータ構造、既存のデータセット及び前記新しいデータセットからのデータ構造、並びに異なるデータセットからのデータ構造を比較するように構成されたメタ学習プロセスを実行することをさらに含む、請求項１に記載の方法。
8. 複数の装置に関連付けられた複数のセンサを含むシステムのための命令を格納する、非一時的コンピュータ可読媒体であって、前記命令は、前記複数のセンサから仮説キャンバス及びメタデータを受け取るために、
   前記システムの分析モデルを生成するための複数のメタパイプラインステージを生成することであって、前記複数のメタパイプラインステージは、前記メタデータ及び１又は複数のステージを含み、前記１又は複数のステージのそれぞれは、前記メタデータ及び前記仮説キャンバスに基づいた実行順序に従って接続されている、前記メタデータに基づく前記システムの分析に関わる処理を行う分析アプリケーション又は学習モデルの訓練を行う機械学習アプリケーションである、生成することと、
   前記システムの分析モデルを生成するために、前記複数のメタパイプラインステージを前記メタデータに対して前記実行順序に従って実行することと、
   を含み、
   前記複数のメタパイプラインステージを前記生成することは、
   自然言語処理を使用してセマンティック検索のためのクエリを生成するために、前記仮説キャンバスを変換することと、
   前記複数の装置に関連する１又は複数のパイプラインを検索するために、前記クエリからメタ学習データベースに対してセマンティック検索を実行することと、
   前記１又は複数のパイプラインから前記メタパイプラインステージを生成することと、
   前記メタパイプラインステージ、学習モデルに関連付けられたメタデータ、及び前記学習モデルにおいて関連付けられ且つ前記メタデータからフィーチャを生成するメタフィーチャから生成された学習モデルを追跡するように構成されたリポジトリにおいて前記メタパイプラインステージを格納することと、
   を含む、非一時的コンピュータ可読媒体。
9. 前記命令は、前記メタデータに対して実行するための前記生成された複数のメタパイプラインステージのうちの１つを選択する強化学習プロセスを実行することをさらに含む、請求項８に記載の非一時的コンピュータ可読媒体。
10. 前記命令は、
    前記仮説キャンバスから抽出された１又は複数のキーパフォーマンス指標に対して前記分析モデルを評価することと、
    前記評価に基づいて、前記複数のメタパイプラインステージのうちの１又は複数を修正することと、
    をさらに含む、請求項８に記載の非一時的コンピュータ可読媒体。
11. 前記システムの前記分析モデルを生成するために、前記複数のメタパイプラインステージを前記メタデータに対して実行順序で前記実行することは、ハイパーパラメータを選択するためのハイパーパラメータポリシーから選択された異なるハイパーパラメータを有する前記分析モデルの候補となる複数の候補分析モデルを生成することを含み、
    前記仮説キャンバスから抽出された１又は複数のキーパフォーマンス指標に対して前記分析モデルを前記評価することは、マルチアームドバンディット手法を用いて前記複数の候補分析モデルを通して処理された前記複数のセンサから受信されたセンサデータに対して前記複数の候補分析モデルを評価することを含み、
    前記評価に基づいて前記複数のメタパイプラインステージのうちの１又は複数を前記修正することは、
    前記マルチアームドバンディット手法を用いて収集された報酬を最大化する前記候補分析モデルのうちの１つを前記分析モデルとして選択することと、
    前記候補分析モデルのうちの前記選択された１つに従って、前記複数のパイプラインステージのうちの前記１又は複数を修正することと、
    を含む、請求項１０に記載の非一時的コンピュータ可読媒体。
12. 前記命令は、前記分析モデルを前記システムにおいて展開することにより、前記複数の装置のうちの１又は複数を制御することをさらに含む、請求項８に記載の非一時的コンピュータ可読媒体。
13. 前記仮説キャンバスは、前記メタデータ、前記システムに関連付けられた仮説、前記仮説から予期される予測、及び前記仮説に関連付けられたリスクを取得するための、前記複数のセンサのうちの１つを識別する複数のデータソースを含む、請求項８に記載の非一時的コンピュータ可読媒体。
14. 前記命令は、新しいデータセットにメタパイプラインを適用するために、異なるメタデータ及びメタフィーチャからのデータ構造、既存のデータセット及び前記新しいデータセットからのデータ構造、並びに異なるデータセットからのデータ構造を比較するように構成されたメタ学習プロセスを実行することをさらに含む、請求項８に記載の非一時的コンピュータ可読媒体。