JP7776241B2 - 自動時系列予測パイプラインランク付け - Google Patents

Description

本開示は、一般に、コンピューティングシステムに関し、より詳細には、コンピューティングプロセッサを使用するコンピューティングシステムにおいて、時系列予測機械学習パイプラインをランク付けするための種々の実施形態に関する。

本発明の一実施形態によれば、コンピューティングシステムにおいて、１つ以上のプロセッサによるコンピューティング環境において時系列予測機械学習パイプラインをランク付けする方法が提供される。時系列データは、時系列データの季節性または時間的依存性の程度に基づいて、候補の機械学習パイプラインによるテストのために、時系列データセットから増加的に割り当てられることがある。中間評価スコアは、各時系列データの割り当てに続いて、候補の機械学習パイプラインのそれぞれによって提供されることがある。１つ以上の機械学習パイプラインは、中間評価スコアから生成された予測の学習曲線に基づいて、１つ以上の候補の機械学習パイプラインのランク付けされたリストから自動的に選択されることがある。

追加の実施形態では、時系列データの定義されたサブセットは、１つ以上の候補の機械学習パイプラインのそれぞれに時間的に遡って割り当てられることがある。時間ベースの閾値を超える時系列データの一部は、履歴時系列データとして識別されることがある。履歴時系列データは、より最近の学習データと比較して、より精度の低いトレーニングデータである。

別の実施形態において、候補の機械学習パイプラインは、時系列データの各割り当てについてトレーニングおよび評価されてもよい。１つ以上の候補の機械学習パイプラインにおけるトレーニングデータの割り当て量は、トレーニングデータの１つ以上の以前の割り当て量からの中間評価スコアに基づいて、段階的に増加させてもよい。中間評価スコアのそれぞれから生成される学習曲線が決定／計算されてもよい。候補の機械学習パイプラインのそれぞれは、予測の学習曲線に基づいてランク付けされてもよい。

実施形態は、コンピュータが使用可能なプログラム製品を含む。コンピュータが使用可能なプログラム製品は、コンピュータ可読記憶媒体と、記憶媒体に記憶されたプログラム命令とを含む。

実施形態は、コンピュータシステムを含む。コンピュータシステムは、プロセッサと、コンピュータ可読メモリと、コンピュータ可読記憶装置と、プロセッサによる実行のためにメモリを介して記憶装置に記憶されたプログラム命令とを含む。

したがって、前述の例示的な方法の実施形態に加えて、適応的なホワイトボックス敵対演算下での機械学習モデルの頑強性の自動評価のための他の例示的なシステムおよびコンピュータ製品の実施形態が提供される。

本発明の実施形態による例示的なクラウドコンピューティングノードを示すブロック図である。 本発明の実施形態によるクラウドコンピューティング環境を示す図である。 本発明の実施形態による抽象化モデルレイヤを示す図である。 本発明の様々な実施形態間の例示的な機能的関係を示す追加のブロック図である。 本発明の実施形態によるコンピューティング環境における機械学習パイプラインを示す図である。 本発明の実施形態が実現され得る、プロセッサによるコンピューティング環境における、時系列予測機械学習パイプラインのランク付けのための共同最適化を行う例示的なシステム及び機能を示すブロックフロー図である。 本発明の実施形態が実現され得る、プロセッサによるコンピューティング環境における、自動時系列予測パイプライン生成のための共同最適化を行う例示的なシステムおよび機能を示すブロック図である。 本発明の実施形態が実現され得る、プロセッサによるコンピューティング環境における、共同最適化スコアおよび出力割り当てを示すグラフ図である。 本発明の実施形態が実現され得る、プロセッサによるコンピューティング環境における、時系列予測機械学習パイプラインをランク付けするための追加の例示的な方法を示す追加のフローチャート図である。

本発明は、一般に、例えば機械学習もしくは深層学習又はその組み合わせなどの人工知能（「ＡＩ」）の分野に関する。機械学習は、コンピュータシステムまたは特殊な処理回路などの自動処理システム（「機械」）が、特定のデータセットに関する一般化を開発し、一般化を使用して、例えば、新しいデータを分類することによって関連する問題を解決することを可能にする。機械は、入力データまたはトレーニングデータからの既知の特性により一般化を学習すると（またはそれを用いてトレーニングされると）、その一般化を将来のデータに適用して未知の特性を予測することができる。

さらに、機械学習は、システムが明示的なプログラミングによってではなく、データから学習することを可能にするＡＩの一形態である。機械学習研究の主な焦点は、複雑なパターンを認識し、データに基づいてインテリジェントな意思決定を行うことを自動的に学習し、機械学習モデルやパイプラインをより効率的にトレーニングすることである。しかし、機械学習は単純なプロセスではない。アルゴリズムが学習データを摂取すると、そのデータに基づいてより精度の高いモデルを生成することができるようになる。機械学習モデルとは、機械学習アルゴリズムがデータによりトレーニングされたときに生成される出力である。トレーニング後、機械学習モデルに入力が提供され、出力が生成される。例えば、予測アルゴリズムは、予測モデルを作成してもよい。そして、予測モデルにデータが提供され、モデルをトレーニングしたデータに基づいて予測が生成される（例えば、「出力」）。

機械学習では、機械学習モデルを導入する前にデータセットで学習させることができる。機械学習モデルの中には、オンラインで継続的に学習できるものもある。このオンラインモデルの反復プロセスにより、データ要素間の関連付けの種類が改善される。機械学習モデルやニューラルネットワークモデルを作成するために、さまざまな従来技術が存在する。既存の手法の基本的な前提条件としては、データセットがあること、機械学習モデルの合成、ニューラルネットワークアーキテクチャの合成、コーディングスキルなどの基本的な知識があることが挙げられる。

一実施形態において、自動ＡＩ機械学習（「ＭＬ」）システム（「自動ＡＩシステム」または自動機械学習システム「自動ＭＬシステム」）は、複数（例えば、数百）の機械学習パイプラインを生成し得る。機械学習パイプラインの設計には、例えば、どのデータ準備および前処理動作を適用すべきか、どの機械アルゴリズムをどの設定（ハイパーパラメータ）で使用すべきか、といったいくつかの決定が含まれる。ＡＩ機械学習システムは、承認された、または満足に実行されているパイプラインを自動的に検索することができる。この目的のために、いくつかの機械学習パイプラインを選択し、収束するまでトレーニングさせることができる。その性能は、データのホールドアウトセットで推定される。しかし、データセット全体、特に時系列データセットで機械学習モデルをトレーニングし、収束するまで待つことは、時間がかかる。

時系列データは多くのシステムで生成され、多くの場合、これらのシステムにおける将来の事象を予測、予知するための基礎となるものである。例えば、データセンターでは、監視システムが数万から数十万の時系列データを生成し、それぞれが特定の構成要素（例えば、サーバのプロセッサとメモリの使用率、ネットワークリンクの帯域幅使用率など）の状態を表していることがある。自己回帰統合移動平均法（「ＡＲＩＭＡ」）は、時系列データのモデリングと時系列の将来値の予測に使用される統計モデルの一種である。このようなモデリングと予測は、将来の事象を予測し、事前対策を講じ、もしくは異常な傾向を検出することまたはその組み合わせのために使用される。時系列分析は、例えば、金融、インターネットオブシングス（「ＩｏＴ」）、もしくは技術産業またはその組み合わせなど、様々な種類の産業において極めて重要である。時系列はノイズが多く複雑な場合があり、可能であれば意味のあるモデルを学習するために、大規模なデータセット、多大な時間、専門知識を必要とする場合がある。

そのため、特に時系列データに関連する機械学習パイプラインを最適化するためのトレーニングおよび識別に課題が生じる。一態様において、機械学習パイプラインは、例示的な機械学習パイプラインを示す図５に示されるように、一連の変換器と推定器を含むワークフローを指す場合がある。このように、最適化された機械学習パイプラインを特定し選択することは、時系列予測のための自動機械学習システムにおける重要な構成要素である。さらに、時系列機械学習パイプライン予測のためのランク付けされた機械学習パイプラインを迅速に特定することは、課題である。例えば、時系列予測のための最適化された、または「トップパフォーマンス」の機械学習パイプラインを特定することは、１）大きく異なるドメインからの大規模なデータセット、２）マルチモーダルおよび多変量の時系列の複雑さ、もしくは３）機械学習パイプライン内の多数の推定器および変換器またはその組み合わせのために難しい。また、機械学習パイプラインの性能を単純な線形回帰で予測し、入力時系列の特性を考慮せずに固定的にデータを割り当てるなど、非効率なデータ割り当て方式により、データ割り当てを伴う機械学習パイプラインの評価ベースの運用は、時系列予測にさらなる課題をもたらす。さらに、機械学習パイプラインを実行する評価ベースの命令は、１）時系列データは一連であり、その順序をランダムにすることができない、２）時系列データには季節性や傾向があり、データ割り当てスキーマで考慮しなければならない、３）データは時間とともに進化するため、時間の経過とともに履歴データの関連性が低くなる、という理由から表形式のデータを対象に設計されており、時系列（「ＴＳ」）データに直接適用できない。このように、学習データが多ければ多いほど精度が上がるという推定は不正確なものである。

したがって、時系列機械学習パイプライン予測のための機械学習パイプラインの自動評価と診断を提供する必要性が存在する。より詳細には、時系列機械学習パイプライン予測のための時系列予測機械学習パイプラインのランク付けに対するニーズが存在する。このように、本発明の様々な実施形態は、評価ベースの共同最適化装置を用いて機械学習パイプラインを選択する自動機械学習システムであって、機械学習パイプラインを増加的なデータ割り当てにより実行するものを提供する。

そのため、本明細書に記載されるように、図示された実施形態のメカニズムは、時系列データの割り当てを実行することによって機械学習パイプラインを実行し、実行時間を改善するために事前に計算された特徴をキャッシュする「評価ベースの共同オプティマイザ」（「ジョイントオプティマイザ」）を使用する自動機械学習システムを提供する。ジョイントオプティマイザは、１）時系列データ（例えば、入力データ）の時系列特性に基づいて割り当てサイズを決定し、２）時間的に遡ってデータ割り当てを実行し、もしくは３）事前計算された特徴をキャッシュ、またはこれらの組み合わせにより最終推定量を更新し得る。

図示された実施形態のメカニズムは、増加的なデータ割り当ておよび学習曲線予測に基づく時系列パイプラインの共同最適化のための上限を用いた時系列データ割り当て（「ＴＤＡＵＢ」）を提供することによって、現在の技術状態に勝る利点を提供する。ＴＤＡＵＢは、不確実性の下での楽観主義の原則に従い、本明細書で上限を用いたデータ割り当て（「ＤＡＵＢ」）モデルと呼ばれるデータ割り当て戦略に基づいてもよい。すなわち、より多くのトレーニングデータを割り当てることの効用逓減のマイルドな推定の下で、ＤＡＵＢモデルは、トレーニングコスト関数があまり異質でない場合、トレーニングコストの点でのサブリニアリグレットに拡張する、ミスアロケーションデータにおけるサブリニアリグレットを達成する。さらに、ＤＡＵＢモデルは、精度関数を推定することなく、漸近的に厳しいミスアロケーションデータに関する境界を得ることができる。このようにして、ＤＡＵＢモデルを利用するシステムは、与えられたデータセットが大きく、分類器のトレーニングが全データセットで数週間かかる可能性がある場合でも、広範囲の分析ツール（例えば、自動化ツール）のライブかつ動的な監視と分析、およびこのシステムとの対話能力をデータサイエンティストに提供できる。

共同最適化のためのＴＤＡＵＢ演算の使用において、本発明の実施形態は、増加的なデータ割り当て及び学習曲線予測に基づく時系列パイプラインの共同最適化を提供することができる。時系列データのデータ割り当てサイズは、時系列データセットの１つ以上の特性に基づいて決定されてもよい。入力データのサイズが大きく、候補の機械学習パイプラインの入力セットが大きい可能性があるため、データの割り当てが重要であることに留意されたい。候補の機械学習パイプラインのそれぞれが入力データセット全体を提供される場合、自動ＡＩ機械学習システムの実行時間は、特に候補のパイプラインを微調整するためにハイパーパラメータ最適化（「ＨＰＯ」）が利用される場合、時間がかかりすぎることがある。このように、時系列データのデータ割り当ては、元の時系列データセットのより小さな部分を候補の機械学習パイプラインに割り当てる。機械学習パイプラインのサブセットは、縮小されたデータセットでの性能に基づいて、候補の機械学習パイプラインから選択される。時系列データは、データ割り当てサイズに基づいて、候補の機械学習パイプラインが使用するために割り当てられることができる。

時系列データの特徴は、候補の機械学習パイプラインによって決定され、キャッシュされる場合がある。少なくとも１つ以上の特徴を使用する候補の機械学習パイプラインのそれぞれの予測が評価される場合がある。機械学習パイプラインのランク付けされたリストは、１つ以上の候補の機械学習パイプラインのそれぞれの予測の評価に基づいて、時系列予測のための候補の機械学習パイプラインから自動的に生成されてもよい。学習曲線（１つ以上の部分学習曲線を含み得る）は、機械学習パイプラインの性能レベルを予測し得る。

追加の実施形態では、データ割り当てサイズに基づいて時系列データを割り当てる間、時系列データセットの一連の順序が使用される場合がある。時系列データを割り当てるために、ホールドアウトデータセット、テストデータセット、及びトレーニングデータセットが時系列データから識別され、決定される場合がある。時系列データは、時間的に遡って割り当てられる場合がある。

別の実施形態では、候補となる機械学習パイプラインは、時系列データ、ホールドデータセット、テストデータセット、及び時系列データからのトレーニングデータセットを用いてトレーニング及び評価されることであってもよい。

別の実施形態では、特徴は、１つ以上の候補の機械学習パイプラインによって使用するために以前に決定された特徴と組み合わせてもよく、特徴は、１つ以上の候補の機械学習パイプラインの最終推定器にキャッシュされてもよい。

本明細書で使用する場合、２種類の学習曲線が存在する可能性があることに留意されたい。一態様では、（例えば、定義１）、学習曲線は、費やされたトレーニングの反復数を検証損失に対応付ける関数であってもよい。別の態様では、（例えば、定義２）、学習曲線は、全トレーニングデータから使用されるデータの割合を検証損失にマッピングする関数であってもよい。学習曲線は、機械学習モデルに対してより多くのトレーニング時間が費やされるほど、長くなる可能性がある。したがって、例えば自動機械学習システムなどの図示された実施形態のメカニズムは、任意の長さと両方の定義タイプを有する（例えば、様々な学習曲線は組み合わせることもできる）各学習曲線を処理し取り扱うことが可能となる。

一態様において、検証損失は、機械学習モデルがどの程度良好に（例えば、測定可能な値、ランク付け、値の範囲、もしくは性能レベルを示すパーセンテージまたはその組み合わせ）動作するかを定義するメトリックであってよい。検証損失は、機械学習モデルのトレーニングに使用されていないデータで計算された損失であってもよく、新しいデータで実際に使用されるときにモデルがどの程度うまくいくかを知ることができる。

追加の態様において、本明細書で使用されるように、機械学習パイプラインは、機械学習プロセスまたはモデルをトレーニングするための１つ以上のプロセス、動作、またはステップ（例えば、コンピューティングアプリケーションコードの作成、種々のデータ操作の実行、１つ以上の機械学習モデルの作成、機械学習モデルまたは動作の調整もしくはチューニング又はその組み合わせ、または機械学習動作を伴う種々の定義された連続動作もしくはその組み合わせ）でもよい。加えて、機械学習パイプラインは、結果を達成するためにテストおよび評価され得る機械学習モデルにおいて、データのシーケンスが変換され、一緒に相関されることを可能にし得る１つ以上の機械学習ワークフローであってもよい。さらに、トレーニングされた機械学習パイプラインは、異なるデータキュレーションおよび前処理ステップの任意の組合せを含んでもよい。機械学習パイプラインは、少なくとも１つの機械学習モデルを含んでもよい。また、トレーニングされた機械学習パイプラインは、少なくとも１つのトレーニングされた機械学習モデルを含んでもよい。

ある態様では、機械学習モデルは、キュレーションされ前処理されたデータを入力とし、タスクに応じて予測（例えば、機械学習パイプラインの前に起こったすべてのステップの出力）を出力するシステムであってよく、予測（ｐｒｅｄｉｃｔｉｏｎ）は、予測（ｆｏｒｅｃａｓｔ）、クラス、もしくは、例えば、翻訳の場合の文のようなより複雑な出力またはその組み合わせであってよい。別の態様では、機械学習モデルは、機械学習アルゴリズムをデータでトレーニングする際に生成される出力である。トレーニング後、機械学習モデルには入力が提供されることがあり、機械学習モデルは出力を提供することになる。

一般に、本明細書で使用される場合、「最適化」は、「最大化」、「最小化」、または１つ以上の特定のターゲット、目的、ゴール、または意図を達成することを指し、もしくは定義することまたはその組み合わせができる。最適化はまた、ユーザに対する利益を最大化することを指す場合がある（例えば、トレーニングされた機械学習パイプライン／モデルの利益を最大化する）。また、最適化とは、状況、機会、またはリソースを最も効果的または機能的に使用することを指す場合もある。

さらに、最適化は、最良の解決策または結果を指す必要はないが、例えば、特定のアプリケーションに対して「十分な」解決策または結果を指すことがある。いくつかの実装形態では、目的は、前処理動作（「プレプロセッサー」）もしくは機械学習モデル／機械学習パイプラインまたはその組み合わせの「最良の」組み合わせを提案することであるが、前処理動作（「プレプロセッサー」）もしくは機械学習モデル又はその両方の組み合わせの代替提案をもたらす可能性がある様々な要因が存在し得、より良い結果がもたらされる。ここで、「最適化」という用語は、最小値（または、最適化問題で考慮されるパラメータに応じて最大値）に基づくそのような結果を指す場合がある。追加の態様において、用語「最適化（ｏｐｔｉｍｉｚｅ）」もしくは「最適化する（ｏｐｔｉｍｉｚｉｎｇ）」またはその両方は、最適な結果が実際に達成されるかどうかにかかわらず、実行コストの削減またはリソース使用の増加などの改善された結果を達成するために行われる動作を指す場合がある。同様に、「最適化（ｏｐｔｉｍｉｚｅ）」という用語は、そのような改善動作を行うためのコンポーネントを指す場合があり、「最適化された（ｏｐｔｉｍｉｚｅｄ）」という用語は、そのような改善動作の結果を表すために使用することができる。

本開示はクラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載した教示の実装形態はクラウドコンピューティング環境に限定されないことが予め理解される。むしろ、本発明の実施形態は、現在公知のまたは将来開発される他の任意の種類のコンピュータ環境と共に実施することができる。

クラウドコンピューティングは、設定可能なコンピューティングリソースの共有プール（例えばネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、記憶装置、アプリケーション、仮想マシンおよびサービス）へ、簡便かつオンデマンドのネットワークアクセスを可能にするためのサービス提供のモデルであり、リソースは、最小限の管理労力または最小限のサービスプロバイダとのやり取りによって速やかに準備（provision）およびリリースできるものである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの実装モデルを含むことがある。

特性は以下の通りである。

オンデマンド・セルフサービス：クラウドの消費者は、サービスプロバイダとの人的な対話を必要することなく、必要に応じて自動的に、サーバ時間やネットワークストレージなどのコンピューティング能力を一方的に準備することができる。

ブロード・ネットワークアクセス：コンピューティング能力はネットワーク経由で利用可能であり、また、標準的なメカニズムを介してアクセスできる。それにより、異種のシンまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、ＰＤＡ）による利用が促進される。

リソースプーリング：プロバイダのコンピューティングリソースはプールされ、マルチテナントモデルを利用して複数の消費者に提供される。様々な物理リソースおよび仮想リソースが、需要に応じて動的に割り当ておよび再割り当てされる。一般に消費者は、提供されたリソースの正確な位置を管理または把握していないため、位置非依存（location independence）の感覚がある。ただし消費者は、より高い抽象レベル（例えば、国、州、データセンタ）では場所を特定可能な場合がある。

迅速な柔軟性（elasticity）：コンピューティング能力は、迅速かつ柔軟に準備することができるため、場合によっては自動的に、直ちにスケールアウトし、また、速やかにリリースされて直ちにスケールインすることができる。消費者にとって、準備に利用可能なコンピューティング能力は無制限に見える場合が多く、任意の時間に任意の数量で購入することができる。

測定されるサービス：クラウドシステムは、サービスの種類（例えば、ストレージ、処理、帯域幅、アクティブユーザアカウント）に適したある程度の抽象化レベルでの測定機能を活用して、リソースの使用を自動的に制御し最適化する。リソース使用量を監視、制御、および報告して、利用されるサービスのプロバイダおよび消費者の両方に透明性を提供することができる。

サービスモデルは以下の通りである。

サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される機能は、クラウドインフラストラクチャ上で動作するプロバイダのアプリケーションを利用できることである。当該そのアプリケーションは、ウェブブラウザ（例えばウェブメール）などのシンクライアントインタフェースを介して、各種のクライアント装置からアクセスできる。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージや、個別のアプリケーション機能さえも含めて、基礎となるクラウドインフラストラクチャの管理や制御は行わない。

サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される機能は、プロバイダによってサポートされるプログラム言語およびツールを用いて、消費者が作成または取得したアプリケーションを、クラウドインフラストラクチャに展開（deploy）することである。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージを含む、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、展開されたアプリケーションを制御でき、かつ場合によってはそのホスティング環境の構成も制御できる。

サービスとしてのインフラストラクチャ（ＩａａＳ）：消費者に提供される機能は、オペレーティングシステムやアプリケーションを含む任意のソフトウェアを消費者が展開および実行可能な、プロセッサ、ストレージ、ネットワーク、および他の基本的なコンピューティングリソースを準備することである。消費者は、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、オペレーティングシステム、ストレージ、および展開されたアプリケーションを制御でき、かつ場合によっては一部のネットワークコンポーネント（例えばホストファイアウォール）を部分的に制御できる。

展開モデルは以下の通りである。

プライベートクラウド：このクラウドインフラストラクチャは、組織専用で運用される。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

コミュニティクラウド：このクラウドインフラストラクチャは、複数の組織によって共有され、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンスへの懸念）を持つ特定のコミュニティをサポートする。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

パブリッククラウド：このクラウドインフラストラクチャは、不特定多数の人々や大規模な業界団体に提供され、クラウドサービスを販売する組織によって所有される。

ハイブリッドクラウド：このクラウドインフラストラクチャは、２つ以上のクラウドモデル（プライベート、コミュニティまたはパブリック）を組み合わせたものとなる。それぞれのモデル固有の実体は保持するが、標準または個別の技術によってバインドされ、データとアプリケーションの可搬性（例えば、クラウド間の負荷分散のためのクラウドバースティング）を実現する。

クラウドコンピューティング環境は、ステートレス性（statelessness）、低結合性（low coupling）、モジュール性（modularity）および意味論的相互運用性（semantic interoperability）に重点を置いたサービス指向型環境である。クラウドコンピューティングの中核にあるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。

ここで図１を参照すると、クラウドコンピューティングノードの一例の概略図が示されている。クラウドコンピューティングノード１０は、好適なクラウドコンピューティングノードの一例に過ぎず、本明細書に記載の本発明の実施形態の使用範囲または機能性に関する制限を示唆することを意図するものではない。関係なく、クラウドコンピューティングノード１０は、本明細書で規定された機能性のいずれかを実装もしくは実行またはその両方をすることが可能である。

クラウドコンピューティングノード１０では、多数の他の汎用または特殊目的のコンピューティングシステム環境または構成で運用可能なコンピュータシステム／サーバ１２が存在する。コンピュータシステム／サーバ１２と共に使用するのに適した周知のコンピューティングシステム、環境、もしくは構成またはその組み合わせの例としては、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラマブル家電、ネットワークＰＣ、ミニコンシステム、メインフレームコンピュータシステム、上記のシステムまたは装置のいずれかを含む分散クラウドコンピューティング環境等があるがそれに限定されない。

コンピュータシステム／サーバ１２は、プログラムモジュールなどのコンピュータシステム実行可能な命令がコンピュータシステムによって実行されるという一般的なコンテクストで説明されることがある。一般に、プログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、論理、データ構造などを含むことができる。コンピュータシステム／サーバ１２は、通信ネットワークを介してリンクされているリモート処理デバイスによってタスクが実行される分散型クラウドコンピューティング環境において実施され得る。分散型クラウドコンピューティング環境では、プログラムモジュールは、メモリ記憶装置を含むローカルおよびリモートコンピュータシステム記憶媒体の両方に配置されることがある。

図１に示すように、クラウドコンピューティングノード１０のコンピュータシステム／サーバ１２は、汎用コンピューティングデバイスの形態で示されている。コンピュータシステム／サーバ１２の構成要素は、１つ以上のプロセッサまたは処理ユニット１６、システムメモリ２８、およびシステムメモリ２８を含む様々なシステム構成要素を処理ユニット１６に結合するバス１８を含むことができるが、これらに限定されるものではない。

バス１８は、メモリバスまたはメモリコントローラ、周辺機器バス、加速グラフィックスポート、および様々なバスアーキテクチャのいずれかを使用するプロセッサまたはローカルバスを含む、いくつかのタイプのバス構造のうちのいずれか１つまたは複数を表す。限定ではない一例として、かかるアーキテクチャは、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、およびペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含む。

コンピュータシステム／サーバ１２は一般的に、種々のコンピュータシステム可読媒体を含む。かかる媒体は、コンピュータシステム／サーバ１２によってアクセス可能な任意の利用可能な媒体でよく、揮発性媒体および不揮発性媒体の両方と、取り外し可能媒体および取り外し不能媒体の両方とを含むことができる。

システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０もしくはキャッシュメモリ３２またはその両方など、揮発性メモリとしてのコンピュータシステム可読媒体を含むことができる。コンピュータシステム／サーバ１２はさらに、他の取り外し可能／取り外し不能コンピュータシステム可読媒体および揮発性／不揮発性コンピュータシステム可読媒体を含んでもよい。一例として、ストレージシステム３４は、取り外し不能な不揮発性磁気媒体もしくはソリッドステートドライブまたはその両方（不図示。一般に「ハードドライブ」と呼ばれる）への読み書きのために設けることができる。また、図示は省略するが、取り外し可能な不揮発性磁気ディスク（例えば、フロッピーディスク）への読み書きのための磁気ディスクドライブ、および取り外し可能な不揮発性光学ディスク（ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭや他の光学媒体など）への読み書きのための光学ディスクドライブを設けることができる。これらの例において、それぞれを、１つ以上のデータ媒体インタフェースによってバス１８に接続することができる。以下でさらに図示および説明するように、システムメモリ２８は、本発明の実施形態の機能を実行するように構成されたプログラムモジュールのセット（例えば、少なくとも１つ）を有する少なくとも１つのプログラム製品を含むことができる。

限定ではない一例として、プログラムモジュール４２のセット（少なくとも１つ）を有するプログラム／ユーティリティ４０は、オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータと同様に、システムメモリ２８に記憶することができる。オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータ、またはそれらのいくつかの組み合わせの各々は、ネットワーク環境の実装形態を含むことができる。プログラムモジュール４２は一般に、本明細書に記載の本発明の実施形態の機能もしくは方法またはその両方を実行する。

また、コンピュータシステム／サーバ１２は、キーボード、ポインティングデバイス、ディスプレイ２４などの１つ以上の外部装置１４、ユーザとコンピュータシステム／サーバ１２との対話を可能にする１つ以上の装置、もしくはコンピュータシステム／サーバ１２と１つ以上の他のコンピュータ装置との通信を可能にする任意の装置（例えば、ネットワークカードやモデムなど）またはこれらの組み合わせと通信することができる。かかる通信は、入力／出力（Ｉ／Ｏ）インタフェース２２を介して行うことができる。さらに、コンピュータシステム／サーバ１２は、ネットワークアダプタ２０を介して１つ以上のネットワーク（ローカルエリアネットワーク（ＬＡＮ）、汎用広域ネットワーク（ＷＡＮ）、もしくはパブリックネットワーク（例えばインターネット）またはこれらの組み合わせなど）と通信することができる。図示するように、ネットワークアダプタ２０は、バス１８を介してコンピュータシステム／サーバ１２の他のコンポーネントと通信することができる。なお、図示は省略するが、他のハードウェアコンポーネントもしくはソフトウェアコンポーネントまたはその両方を、コンピュータシステム／サーバ１２と併用することができる。それらの一例としては、マイクロコード、デバイスドライバ、冗長化処理ユニット、外付けディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ、データアーカイブストレージシステムなどがあるが、これらに限定されるものではない。

ここで図２を参照すると、例示的なクラウドコンピューティング環境５０が示されている。図示のように、クラウドコンピューティング環境５０は１つまたは複数のクラウドコンピューティングノード１０を含む。これらに対して、クラウド消費者が使用するローカルコンピュータ装置（例えば、パーソナルデジタルアシスタント（ＰＤＡ）もしくは携帯電話５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ、もしくは自動車コンピュータシステム５４Ｎまたはこれらの組み合わせなど）は通信を行うことができる。ノード１０は互いに通信することができる。ノード１０は、例えば、上述のプライベート、コミュニティ、パブリックもしくはハイブリッドクラウドまたはこれらの組み合わせなど、１つまたは複数のネットワークにおいて、物理的または仮想的にグループ化（不図示）することができる。これにより、クラウドコンピューティング環境５０は、サービスとしてのインフラストラクチャ、プラットフォームもしくはソフトウェアまたはこれらの組み合わせを提供することができ、クラウド消費者はこれらについて、ローカルコンピュータ装置上にリソースを維持する必要がない。なお、図２に示すコンピュータ装置５４Ａ～Ｎの種類は例示に過ぎず、コンピューティングノード１０およびクラウドコンピューティング環境５０は、任意の種類のネットワークもしくはネットワークアドレス指定可能接続（例えば、ウェブブラウザの使用）またはその両方を介して、任意の種類の電子装置と通信可能であることを理解されたい。

ここで図３を参照すると、図２に示されるクラウドコンピューティング環境５０によって提供される機能的抽象化レイヤのセットを示すブロック図である。なお、図３に示すコンポーネント、レイヤおよび機能は例示に過ぎず、本発明の実施形態はこれらに限定されないことをあらかじめ理解されたい。図示するように、以下のレイヤおよび対応する機能が提供される。

デバイスレイヤ５５は、クラウドコンピューティング環境５０において様々なタスクを実行するために、電子機器、センサ、アクチュエータ、および他のオブジェクトと一緒にもしくは独立又はその組み合わせにより埋め込まれた、物理的もしくは仮想的またはその両方のデバイスを含む。デバイスレイヤ５５のデバイスのそれぞれは、デバイスから得られた情報もしくは他の抽象化レイヤからの情報又はその両方がデバイスに提供され得るように、他の機能抽象化レイヤへのネットワーキング能力を組み込む。一実施形態では、デバイスレイヤ５５を包含する様々なデバイスは、「インターネットオブシングス」（ＩｏＴ）として集合的に知られているエンティティのネットワークを組み込むことができる。エンティティのそのようなネットワークは、当業者が理解するように、非常に多様な目的を達成するために、データの相互通信、収集、および普及を可能にする。

図示のようなデバイスレイヤ５５は、センサ５２、アクチュエータ５３、統合処理、センサ、およびネットワーク電子機器を有する「学習」サーモスタット５６、カメラ５７、制御可能な家庭用コンセント／レセプタクル５８、および制御可能な電気スイッチ５９を含む。他の可能なデバイスには、様々な追加のセンサデバイス、ネットワークデバイス、電子機器デバイス（遠隔操作デバイスなど）、追加のアクチュエータデバイス、冷蔵庫や洗濯機／乾燥機などのいわゆる「スマート」家電、および多種多様な他の可能な相互接続オブジェクトが含まれるが、これらに限定されない。

ハードウェアおよびソフトウェアレイヤ６０は、ハードウェアコンポーネントおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例には、メインフレーム６１、ＲＩＳＣ（縮小命令セットコンピュータ）アーキテクチャベースのサーバ６２、サーバ６３、ブレードサーバ６４、記憶装置６５、ならびにネットワークおよびネットワークコンポーネント６６が含まれる。いくつかの実施形態において、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア６７およびデータベースソフトウェア６８を含む。

仮想化レイヤ７０は、抽象化レイヤを提供する。当該レイヤから、例えば以下の仮想エンティティを提供することができる：仮想サーバ７１、仮想ストレージ７２、仮想プライベートネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティングシステム７４、ならびに仮想クライアント７５。

一例として、管理レイヤ８０は以下の機能を提供することができる。リソース準備８１は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソースおよび他のリソースの動的な調達を可能にする。計量および価格設定８２は、クラウドコンピューティング環境内でリソースが利用される際のコスト追跡、およびこれらのリソースの消費に対する請求またはインボイス送付を可能にする。一例として、これらのリソースはアプリケーションソフトウェアのライセンスを含んでよい。セキュリティは、データおよび他のリソースに対する保護のみならず、クラウドコンシューマおよびタスクの識別確認を可能にする。ユーザポータル８３は、コンシューマおよびシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理８４は、要求されたサービスレベルが満たされるように、クラウドコンピューティングリソースの割り当ておよび管理を可能にする。サービス品質保証（ＳＬＡ）の計画および履行８５は、ＳＬＡに従って将来必要になると予想されるクラウドコンピューティングリソースの事前手配および調達を可能にする。

ワークロードレイヤ９０は、クラウドコンピューティング環境が利用可能な機能の例を提供する。このレイヤから提供可能なワークロードおよび機能の例には、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想教室教育の配信９３、データ分析処理９４、取引処理９５、ならびに、本発明の図示の実施形態のコンテクストでは、コンピューティング環境（例えば、ニューラルネットワークアーキテクチャ）における時系列予測機械学習パイプラインをランク付けするための様々なワークロードおよび機能９６が含まれる。さらに、コンピューティング環境における時系列予測機械学習パイプラインをランク付けするためのワークロードおよび機能９６は、分析、深層学習、およびさらに説明されるように、ユーザおよびデバイス管理機能などの動作を含み得る。当業者であれば、コンピューティング環境における時系列予測機械学習パイプラインをランク付けするためのワークロードおよび機能９６は、ハードウェアおよびソフトウェア６０、仮想化７０、管理８０、および他のワークロード９０（たとえば、データ分析処理９４など）におけるものなど、様々な抽象化レイヤの他の部分と連携して、本発明の例示された実施形態の様々な目的を達成してもよいことを理解するだろう。

前述のように、本発明は、コンピューティングシステム内の１つ以上のプロセッサによるコンピューティング環境において、時系列予測機械学習パイプラインをランク付けする新規ソリューションを提供する。時系列データは、時系列データの季節性または時間的依存性の程度に基づいて、候補の機械学習パイプラインによるテストのために時系列データセットから増加的に割り当てられる場合がある。各時系列データの割り当てに続いて、候補の機械学習パイプラインのそれぞれによって中間評価スコアが提供される場合がある。中間評価スコアから生成された予測の学習曲線に基づいて、１つ以上の候補の機械学習パイプラインのランク付けされたリストから１つ以上の機械学習パイプラインが自動的に選択されることがある。

追加の態様において、様々な実施形態が、時系列パイプライン（変換器および推定器を含む）を共同で最適化し、増加的なデータ割り当てスキーマを介して完全／十分なデータセットで各パイプラインをトレーニングすることなく、１つ以上の最適化またはトップパフォーマンスの機械学習パイプラインを選択するために提供される。一態様では、時系列データ、変換器および推定器のライブラリが、入力として取得され得る。出力として、１つ以上の最適化またはトップパフォーマンスの機械学習パイプラインが識別／選択され、中間評価スコアが決定される場合がある。

１つの態様では、増加的なデータ割り当てスキーマを使用して、季節性または時間依存性のレベルのいずれかに基づいてトレーニングデータを割り当てることができる。各データ割り当てに続いて評価スコアを提供するために、パイプライン評価命令が実行されることがある。学習曲線が予測され、複数のテストセットが学習曲線の予測と評価の繰り返しに使用されることがある。学習曲線上のカットオフポイントが特定され、履歴／昔のデータ（もしあれば）に対して位置づけられることがある。

ここで図４を参照すると、図示された実施形態の様々なメカニズムに従って、コンピューティング環境において（例えば、ニューラルネットワークアーキテクチャにおいて）時系列予測機械学習パイプラインをランク付けするためのシステム４００の例示的な機能コンポーネントを示すブロック図が示される。一態様では、図１～３で説明したコンポーネント、モジュール、サービス、アプリケーション、もしくは機能またはその組み合わせのうちの１つまたは複数が、図４で使用され得る。このことからわかるように、機能ブロックの多くは、図１～３で先に説明したのと同じ記述的な意味で、機能性の「モジュール」または「コンポーネント」とも見なされ得る。

本発明の様々な態様に従って様々な計算、データ処理および他の機能を実行するための処理装置４２０（「プロセッサ」）を組み込んだ、時系列予測機械学習パイプラインランク付けサービス４１０が示される。一態様では、プロセッサ４２０およびメモリ４３０は、時系列予測機械学習パイプラインランク付けサービス４１０の内部もしくは外部又はその両方、ならびにコンピュータシステム／サーバ１２の内部もしくは外部又はその両方であり得る。時系列予測機械学習パイプラインランク付けサービス４１０は、図１で説明したように、コンピュータシステム／サーバ１２に含まれるもしくは外部にある又はその両方であってもよい。プロセッサ４２０は、メモリ４３０と通信してもよい。時系列予測機械学習パイプラインランク付けサービス４１０は、機械学習コンポーネント４４０、割り当てコンポーネント４５０、評価コンポーネント４６０、ジョイントオプティマイザコンポーネント４７０、および学習コンポーネント４９０を含んでもよい。

一態様において、システム４００は、仮想化コンピューティングサービス（すなわち、仮想化コンピューティング、仮想化ストレージ、仮想化ネットワーキングなど）を提供してもよい。より具体的には、システム４００は、ハードウェア基板上で実行される仮想化コンピューティング、仮想化ストレージ、仮想化ネットワーキングおよび他の仮想化サービスを提供してもよい。

機械学習コンポーネント４４０は、割り当てコンポーネント４５０、評価コンポーネント４６０、ジョイントオプティマイザコンポーネント４７０、および学習コンポーネント４９０と関連して、コンピューティングシステム内の１つ以上のプロセッサによるコンピューティング環境において、時系列予測機械学習パイプラインをランク付けしてもよい。

一態様において、機械学習コンポーネント４４０は、機械学習モデルもしくは機械学習パイプラインまたはその両方、機械学習モデルもしくは機械学習パイプラインまたはその両方をテストするために使用されるデータセット（例えば、時系列データセット）のデータセットを受信、識別、もしくは選択またはその組み合わせをし得る。

機械学習コンポーネント４４０は、割り当てコンポーネント４５０、評価コンポーネント４６０、ジョイントオプティマイザコンポーネント４７０と関連して、時系列データセットの１つまたは複数の特性に基づいて、時系列データのデータ割り当てサイズを決定してもよい。機械学習コンポーネント４４０は、割り当てコンポーネント４５０と関連して、データ割り当てサイズに基づいて、１つ以上の候補の機械学習パイプラインによって使用するために時系列データを割り当ててもよい。

機械学習コンポーネント４４０は、割り当てコンポーネント４５０、評価コンポーネント４６０、ジョイントオプティマイザコンポーネント４７０と関連して、時系列データの季節性または時間依存性の程度に基づいて、候補の機械学習パイプラインによるテストのために、時系列データセットから時系列データを増加的に割り当ててもよい。

機械学習コンポーネント４４０は、割り当てコンポーネント４５０、評価コンポーネント４６０、ジョイントオプティマイザコンポーネント４７０と関連して、中間評価スコアを決定してもよく、各時系列データの割り当てに続いて候補の機械学習パイプラインのそれぞれによって提供されてもよい。機械学習コンポーネント４４０は、割り当てコンポーネント４５０、評価コンポーネント４６０、ジョイントオプティマイザコンポーネント４７０と関連して、中間評価スコアから生成された予測の学習曲線に基づいて、１つ以上の候補の機械学習パイプラインのランク付けされたリストから１つ以上の機械学習パイプラインを自動的に選択してもよい。

追加の実施形態では、機械学習コンポーネント４４０は、割り当てコンポーネント４５０、評価コンポーネント４６０、ジョイントオプティマイザコンポーネント４７０と関連して、１つ以上の候補の機械学習パイプラインのそれぞれに時間的に遡って時系列データの定義されたサブセットを割り当ててもよい。時間ベースの閾値を超える時系列データの一部は、履歴時系列データとして識別されてもよい。履歴時系列データは、より最近のトレーニングデータと比較して、より精度の低いトレーニングデータである。

機械学習コンポーネント４４０は、割り当てコンポーネント４５０、評価コンポーネント４６０、ジョイントオプティマイザコンポーネント４７０と関連して、時系列データの各割り当て量について各候補の機械学習パイプラインをトレーニングおよび評価してもよい。１つ以上の候補の機械学習パイプラインにおけるトレーニングデータの割り当て量は、トレーニングデータの１つ以上の以前の割り当て量からの中間評価スコアに基づいて段階的に増加してもよい。学習コンポーネント４９０は、決定／計算され得る中間評価スコアのそれぞれから生成される学習曲線を予測、生成、または提供してもよい。候補の機械学習パイプラインのそれぞれは、予測の学習曲線に基づいてランク付けされてもよい。

機械学習コンポーネント４４０は、割り当てコンポーネント４５０と関連して、データ割り当てサイズに基づいて時系列データを割り当てる間、時系列データセットの一連の順序を使用することができる。機械学習コンポーネント４４０は、割り当てコンポーネント４５０と関連して、時系列データを割り当てるために、時系列データからホールドアウトデータセット、テストデータセット、およびトレーニングデータセットを決定もしくは識別またはその両方をしてもよい。機械学習コンポーネント４４０は、割り当てコンポーネント４５０と関連して、時系列データを時間的に遡って割り当ててもよい。

他の実施形態では、機械学習コンポーネント４４０は、割り当てコンポーネント４５０、評価コンポーネント４６０、およびジョイントオプティマイザコンポーネント４７０と関連して、時系列データ、ホールドデータセット、テストデータセット、および時系列データからの学習データセットを使用して、候補の機械学習パイプラインをトレーニングおよび評価し得る。

他の実施形態では、機械学習コンポーネント４４０は、割り当てコンポーネント４５０、評価コンポーネント４６０、ジョイントオプティマイザコンポーネント４７０、およびキャッシュコンポーネント４８０と関連して、１つ以上の候補の機械学習パイプラインによって使用するために１つ以上の特徴を以前に決定した特徴と組み合わせ、その特徴は１つ以上の候補の機械学習パイプラインの最終推定器でキャッシュされてもよい。

一態様では、本明細書に記載の機械学習コンポーネント４４０は、教師あり学習、教師なし学習、時間差学習、強化学習などの多種多様な方法または方法の組み合わせを使用して、様々な機械学習動作を実行し得る。本技術と共に使用され得る教師あり学習のいくつかの非限定的な例としては、ＡＯＤＥ（平均化一依存性推定量）、人工ニューラルネットワーク、バックプロパゲーション、ベイズ統計、ナイーブベイズ分類器、ベイズネットワーク、ベイズ知識ベース、ケースベース推論、デシジョンツリー、誘導論理プログラミング、ガウス過程回帰、遺伝子発現プログラミング、データ処理グループ法（ＧＭＤＨ）、学習自動化、学習ベクトル量子化、最小メッセージ長（デシジョンツリー、デシジョングラフ、その他)、遅延学習、インスタンスベース学習、最近傍アルゴリズム、類推モデリング、ＰＡＣ（probably approximately correct）学習、リップルダウンルール、知識獲得手法、記号的機械学習アルゴリズム、サブ記号的機械学習アルゴリズム、サポートベクターマシン、ランダムフォレスト、分類器のアンサンブル、ブートストラップ集計（bagging）、ブースティング（meta-algorithm）、序列分類、回帰分析、情報ファジーネットワーク（ＩＦＮ）、統計分類、線形分類器、フィッシャーの線形判別、ロジスティック回帰、パーセプトロン、サポートベクターマシン、二次分類器、ｋ近傍、隠れマルコフモデル及びブーストが挙げられる。本技術で使用され得る教師なし学習の非限定的な例としては、人工ニューラルネットワーク、データクラスタリング、期待値最大化、自己組織化マップ、放射基底関数ネットワーク、ベクトル量子化、生成地形マップ、情報ボトルネック法などがある、ＩＢＳＥＡＤ（distributed autonomous entity systems based interaction）、連想規則学習、アプリオリアルゴリズム、イークラットアルゴリズム、ＦＰグロースアルゴリズム、階層型クラスタリング、単一連結クラスタリング、概念クラスタリング、部分的クラスタリング、ｋミーンズアルゴリズム、ファジークラスタリング、強化学習が挙げられる。時間差学習のいくつかの非限定的な例は、Ｑ－ラーニングおよび学習オートマトンを含み得る。本段落で説明した教師あり、教師なし、時間差、または他の機械学習の例のいずれかに関する具体的な詳細は、既知であり、本開示の範囲内である。また、１つ以上の機械学習モデルを展開する場合、コンピューティングデバイスは、公共の場で展開される前に、制御された環境で最初にテストされ得る。また、公共の環境（例えば、制御された、テスト環境の外部）に展開されるときでさえ、コンピューティングデバイスは、コンプライアンスを監視され得る。

次に、図５を参照すると、コンピューティング環境における機械学習パイプライン５００を示すブロック図が示される。一態様では、図１～４に記載されたコンポーネント、モジュール、サービス、アプリケーション、もしくは機能またはその組み合わせのうちの１つまたは複数が、図５において使用され得る。示されるように、機能の様々なブロックは、システム５００のブロックの互いの関係を指定し、プロセスフロー（例えば、ステップまたは動作）を示すための矢印で描かれている。さらに、システム５００の機能ブロックのそれぞれに関連する説明的な情報も示される。示されるように、機能ブロックの多くは、図１～４で先に説明されたものと同じ記述的な意味で、機能性の「モジュール」とも見なされ得る。前述のことを念頭に置いて、システム５００のモジュールブロックは、本発明によって、コンピューティング環境における機械学習モデルの自動評価のためのシステムの様々なハードウェアおよびソフトウェアコンポーネントに組み込まれることもできる。システム５００の機能ブロックの多くは、分散型コンピューティングコンポーネント内または他の場所で、様々なコンポーネント上のバックグラウンドプロセスとして実行され得る。

一態様では、機械学習パイプライン５００は、例えば、変換器５１０、５２０（例えば、ウィンドウ変換器「変換器」、インピュータ「変換器２」）などの一連の変換器と、例えば、最終推定器５３０（例えば、出力）などの一つ以上の推定器を含むワークフローを指す場合がある。

次に図６を参照すると、ブロックフロー図は、プロセッサを使用するコンピューティング環境における、時系列予測機械学習パイプラインのランク付けのための共同最適化を行う例示的なシステム６００および機能が示される。一態様では、図１～図５で説明したコンポーネント、モジュール、サービス、アプリケーション、もしくは機能またはその組み合わせのうちの１つまたは複数が、図６において使用され得る。

示されるように、機能性の様々なブロックは、システム６００のブロックが互いに関係し、プロセスの流れ（例えば、ステップまたは動作）を示すように指定する矢印で描かれている。さらに、システム６００の機能ブロックのそれぞれに関連する説明的な情報も示される。示されるように、機能ブロックの多くは、図１～５で先に説明されたものと同じ記述的な意味で、機能性の「モジュール」ともみなされ得る。前述のことを念頭に置いて、システム６００のモジュールブロックは、本発明によって、コンピューティング環境における機械学習モデルの自動評価のためのシステムの様々なハードウェアおよびソフトウェアコンポーネントに組み込まれることもできる。システム６００の機能ブロックの多くは、分散型コンピューティングコンポーネント内または他の場所で、様々なコンポーネント上のバックグラウンドプロセスとして実行され得る。

図６に示されるように、ブロック６０２（時系列データの入力）で開始すると、１つ以上の候補の機械学習パイプライン６０４は、時系列データ（前処理済み）を受け取ることができる。候補の機械学習パイプライン６０４は、１つ以上の変換器（例えば、変換器１－Ｎ）および１つ以上の推定器を含んでもよい。候補の機械学習パイプライン６０４は、変換器（例えば、変換器１、２、および３）および推定器（例えば、推定器１、２、および３）を共同最適化し、ジョイントオプティマイザ（例えば、ＴＤＡＵＢ命令）を使用してパイプラインを形成してもよい。

ブロック６０６のようなジョイントオプティマイザ（例えば、ＴＤＡＵＢ命令）は、ブロック６０４の機械学習パイプラインを、時系列データの最小配分で開始することによってトレーニングすることができる。追加の時系列データは、ａ）季節性もしくはｂ）時間的依存性のレベルまたはその組み合わせに基づいて割り当てられる場合がある。学習曲線が予測され、学習曲線上のデータの古くなった部分を示すカットオフポイントがマークされ識別される場合がある。

ブロック６０８では、ハイパーパラメータ最適化命令が実行されることがある。一態様において、ハイパーパラメータ最適化は、学習アルゴリズムのための最適なハイパーパラメータのセットをセレクト／チューズするプロセスである。ハイパーパラメータは、その値が学習プロセスを制御するために使用されるパラメータであってよい。

ブロック６１０（例えば、ブロック６０６および６０８の出力）では、１つ以上の機械学習パイプラインが、ＴＤＡＵＢ中間評価メトリクスに基づいてランク付けされ、関連するトレーニングデータに関する提案が提供されることがある。

次に図７を参照すると、ブロック図７００は、コンピューティング環境における自動時系列予測パイプライン生成のための共同最適化を行う例示的なシステム７００および機能性を示している。示されるように、機能の様々なブロックは、システム７００のブロックの互いの関係を指定し、プロセスフロー（例えば、ステップまたは動作）を示すための矢印で描かれている。さらに、システム７００の機能ブロックのそれぞれに関連する説明的な情報も示される。示されるように、機能ブロックの多くは、図１～６で先に説明されたものと同じ記述的な意味で、機能性の「モジュール」とも見なされ得る。前述のことを念頭に置いて、システム７００のモジュールブロックは、本発明によって、コンピューティング環境における自動時系列予測機械学習パイプライン生成のためのシステムの様々なハードウェアおよびソフトウェアコンポーネントに組み込まれることもできる。機能ブロック７００の多くは、分散型コンピューティングコンポーネント内またはその他の場所で、様々なコンポーネント上のバックグラウンドプロセスとして実行され得る。

示されるように、自動化された時系列予測パイプライン生成のための共同最適化を行うデータ割り当てスキーマである。示されるように、トレーニングデータセット７０２（例えば、時系列データセット）が受信され、トレーニングデータセット７０２の選択された部分（例えば、ラスト／ファイナルまたは「最も右（right most）」の部分）をテストセット（「テスト」）として取り、トレーニングデータの小さなサブセットを順次後方に割り当てる。

例えば図４のジョイントオプティマイザコンポーネント４７０のようなジョイントオプティマイザは、時系列データ割り当て上限（「ＴＤＡＵＢ」）命令／モデルを採用することができる。一態様では、ＴＤＡＵＢ命令は、例えば機械学習パイプライン７０４Ａ～Ｄのような機械学習パイプラインの大規模なセットの間で、トレーニングデータセット７０２の割り当てられたサイズの１つ以上のサブセット（例えば、小さなサブセット）を順次割り当てるジョイントオプティマイザである。機械学習パイプライン７０４Ａ～Ｄのそれぞれの実行および評価は、優先順位キューに基づいて実行されてもよく、より有望なパイプライン（例えば、機械学習パイプライン７０４Ｄ）が最初に競合することが期待される。共同最適化命令（例えば、ＴＤＡＵＢ命令）は、例えば機械学習パイプライン７０４Ａ～Ｄのような予め選択されたパイプラインの各変換器および推定器に対して実施されてもよい。共同最適化は、ＴＤＡＵＢ命令、ＡＤＭＭ、もしくは連続共同最適化またはその組み合わせを含んでもよい。

さらに、本明細書に記載のジョイントオプティマイザは、固定データ割り当てサイズの使用のみに限定されず、時系列固有のデータ割り当てスキームも含む。すなわち、時系列固有のジョイントオプティマイザは、１）データサイズの割り当てを自動化してもよく（例えば、割り当てられたデータサイズは固定ではない）、データサイズの割り当ては、季節性パターン、トレンドパターンなどの入力時系列の特徴に適応的に依存してもよい。時系列固有のジョイントオプティマイザは、入力時系列から固定ホールドアウトセット、固定テストセット、およびトレーニングセットを定義し、候補のパイプラインのトレーニングデータを時間的に遡って割り当てることができる。時系列固有のジョイントオプティマイザは、割り当てられたトレーニングセットと固定テストセットで候補の機械学習パイプラインをトレーニングして評価し、次のデータ割り当てのために潜在的に最善／最適な候補の機械学習パイプラインを見つけることができる。

そしてnはアロケーション数である。

スペクトルは、下式を用いて決定／計算することができる。

Sp_kは、時系列データの季節長である。

このように、第４のステップでは、季節長Sp_kが選択されることがある。第５のステップにおいて、データ割り当てサイズは、それが等しいところで決定されてもよい。
C* Sp_k （４）

Cは、予め選択された整数である。このように、データ割り当てサイズは、季節長に基づいて選択／決定することができ、各データ割り当て命令は、少なくとも時系列データの１つの完全な季節周期をカバー／含むことを保証する。

さらに、ＴＤＡＵＢ命令のために、以下を含むこともできる。一態様において、入力時系列データの全長は「L」と示され、パイプラインの数は「np」と示され得る。ＤＡＵＢは、例えば、入力時系列データの全長が最小割り当てサイズ（「min_allocation_size」）よりも大きい場合（例えば、「L＞min_allocation_size」）実行され、最小割り当てサイズ（「min_allocation_size」）はＴＤＡＵＢをトリガするために先験的に選択された閾値となる。

一態様において、最小データ割り当てサイズ（「min_allocation_size」）は、データが１Ｋ以下の場合、最小データ割り当て量であってもよく、パイプラインはデータ全体を使って評価され、選択的にユーザ入力も可能である。

固定配置部については、以下の動作を行うことができる。

ステップ１．１において、最小割り当てサイズ（「min_allocation_size」）データは、最新のデータ（例えば、機械学習パイプライン７０４Ａ）から始まる、例えば、機械学習パイプライン７０４Ａ～Ｄなどの各機械学習パイプラインに割り当てられてもよい。初期データの割り当ては、トレーニングセット（「トレイン」）とテストセット（「テスト」）とに分割／スプリントされ得る。機械学習パイプライン７０４Ａ～Ｄは、トレーニングセットでトレーニングされ、その後、機械学習パイプライン７０Ａ～Ｄのそれぞれは、テストセットでスコア付けされてもよい。機械学習パイプライン７０４Ａ～Ｄのそれぞれについて、スコア（「score １」）が記録されてもよい。

ステップ１．２において、追加および増加的なデータ（例えば、allocation_increment data）が、例えば機械学習パイプライン７０４Ａ～Ｄなどのパイプラインのそれぞれに時間的に遡って割り当てられてもよい。機械学習パイプライン７０４Ａ～Ｄのそれぞれは、トレーニングセット上でトレーニングされてもよく、機械学習パイプライン７０４Ａ～Ｄのそれぞれについて、テストセット上でスコアが決定されてもよい。スコア（「score ２」）は、機械学習パイプライン７０４Ａ～Ｄのそれぞれについて記録されてもよい。

一態様において、allocation_incrementは、季節性に基づく割り当て量であってもよい。時系列データの季節性は、高速フーリエ変換を使用して推定される場合がある。allocation_incrementは、季節長に等しく設定され得る（例えば、allocation_increment = seasonality length）。一態様では、トレーニングデータが少数の季節長しか含まない場合、allocation_incrementは、割り当て数で割った季節長に等しく設定されてもよい（例えば、allocation_increment = seasonality length /number of desired allocations）。また、時間的依存性に基づいて割り当てを行うこともできる。相関ラグの数は、基準法「ＡＩＣ」及び「ＢＩＣ」を用いて推定することができる。allocation_incrementは、予め選択された整数に有意なラグの数を乗じたものに等しく設定されてもよい（例えば、allocation_increment = C* number of significant lags）。

ステップ１．３において、固定割り当てカットオフ（「fixed_allocation_cutoff」）は、テストセットの後に後方へのallocation_incrementのｎ回、すなわちn=（fixed_allocation_cutoff/allocation_increment）として指示／表示され得る。ステップ１．３は、ｎ－１回繰り返すことができる。

固定割り当て部分の後、サンプルサイズ[min_allocation_size, min_allocation_size+ allocation_increment, …, fixed_allocation_cutoff]に対応するパイプラインごとにスコア[score 1, … score n]のベクトル（「Ｖ」）が収集されて集まる場合がある。

ステップ１．４では、各パイプラインについて、ターゲット変数のスコアＶの予測サンプルサイズについて回帰フィットが実行される場合がある。サンプルサイズが入力時系列データの全長「Ｌ」に等しい場合、スコアが予測されることがある。予測されたスコアベクトルは、例えば機械学習パイプライン７０４Ａ～Ｄのようなパイプライン１、パイプライン２、…、パイプラインnpに対応する、[S₁, S₂, …S_np]と示される場合がある。

ステップ１．５で、予測されたスコアベクトル[S₁, S₂, …S_np]は、スコアが小さいほどパイプラインがより正確であると推定して、最小（「min」）から最大（「max」）までランク付けされる場合がある。ランク付けされたスコアベクトルは、[S'₁, S'₂, …S'_np]のように示されることがあり、対応するパイプラインは、優先順位キューに保持されることがある。

割り当て加速部／パートでは、すべての機械学習パイプラインが追加のデータ割り当てを受けるわけではない。むしろ、上位の機械学習パイプラインのみが追加のデータ割り当てを受けることになる。追加データの割り当ては幾何学的に増加する。例えば、以下に示す通りである。
rounded_inc_mult = int(last_allocation * initial_geo_allocation_increment)))/ allocation_increment．
next_allocation = int(rounded_inc_mult * allocation_increment)

ステップ２．１において、追加のnext_allocationデータポイントは、優先順位キュー内のトップ／最適化された機械学習パイプライン（例えば、機械学習パイプライン７０４Ｄ）に割り当てられてもよい。以前に使用されたものと同じテストセットが与えられると、機械学習パイプライン７０４Ｄは、トレーニングセット上でトレーニングされてもよく、パイプライン（例えば、機械学習パイプライン７０４Ｄ）は、テストセット上でスコアリングされてもよい。新しいスコアは、このトップパイプライン（例えば、機械学習パイプライン７０４Ｄ）のスコアベクトルに記録されてもよい。線形回帰は、更新されたスコアＶｓ予測サンプルサイズ上で再適合するために適用されてもよい。サンプルサイズがＬ（例えば、入力時系列データの全長）に等しい場合、スコアが予測されてもよい。

ステップ２．２において、トップ／最適化パイプライン（例えば、機械学習パイプライン７０４Ｄ）の以前に得られたスコアは、ランク付けされたスコアベクトルにおいて、新たに予測されたものによって置換されてもよい。スコアベクトルは再びランク付けされてもよく、対応する優先順位キューが更新されてもよい。

ステップ２．３では、ステップ２．１－２．２のそれぞれを、これ以上データを割り当てることができなくなるまで繰り返すことができる。

ＴＤＡＵＢ命令は、通常、複数のテストセットに対して複数回実行されることに留意されたい。その結果は多数決によって結合される。

図７に示すように、ＤＵＡＢによって学習曲線が予測されることがある。一態様では、早期の学習曲線予測のために、より多くのデータポイントを割り当てた後でも、内部テストデータセットで「同様のエラー分布（similar error distribution）」となる機械学習モデルは、以下を示唆する。機械学習モデルは、１）追加的な利益を伴わない学習を既に獲得している、２）機械学習モデルのパフォーマンスが著しく低い場合、何らかのパラメータを変更するよう指示するか、早期に決定する、３）「競合における早期フィードバックの導入」、つまりパフォーマンスが低いパイプラインのパフォーマンスを高める機会を増やす。例えば、パイプラインＡが１回目のデータ割り当てで与えられたデータに基づいて、１つ以上のパラメータを調整したと推定する。また、あるパラメータの設定が望ましい結果を達成していないと推定する。このように、初期のフィードバックは、最初の５ラウンドのデータ割り当てが完了する前に、パイプラインがパラメータを調整する機会をもたらす可能性がある。

また、内部テストデータは変化しないので、同様の誤差分布を適用して、発生する誤差に対してより多くのデータポイントを割り当てた場合の効果を比較する比較演算が可能である。

次に図８を参照すると、グラフ図８００は、プロセッサによるコンピューティング環境における時系列予測機械学習パイプラインを時間ランク付けするための例示的なオペレーション８００を示している。一態様では、図１～７で説明したコンポーネント、モジュール、サービス、アプリケーション、もしくは機能またはその組み合わせのうちの１つまたは複数が、図８において使用され得る。

グラフ８００に示されるように、テスト精度はＹ軸に描かれ、行数（データの古さ）はＸ軸に沿って描かれる。したがって、テストセットが与えられると、トップ／最適化されたrun_to_completion機械学習パイプラインが選択され、利用可能なデータの残りでトレーニングされる。最終的なスコアは、記録され、ランク付けされることがある。時系列予測のための機械学習パイプラインの最終ランク付けされたリストが、特定され、決定され、選択され得る。

中間ＴＤＡＵＢ精度メトリクスに基づき、学習曲線が減少し始める時間閾値またはポイントが特定され、１つ以上の勧告が、データの古くなった部分についてユーザに提供されることがある。例えば、時間閾値に到達する前は、追加のデータにより行数あたりのテスト精度が向上する。しかし、時間閾値に到達し、それを超えると、追加データは冗長になるか、有害になる可能性があり、時系列データのテストの精度が低くなる。

ここで図９を参照すると、プロセッサを使用するコンピューティング環境において時系列予測機械学習パイプラインをランク付けするための方法９００が示されており、この方法では、図示された実施形態の様々な態様が実装され得る。機能９００は、マシン上で命令として実行される方法（例えば、コンピュータ実装方法）として実装されてもよく、命令は少なくとも１つのコンピュータ可読媒体または１つの非一過性の機械可読記憶媒体に含まれる。機能９００は、ブロック９０２で開始することができる。

ブロック９０４に示すように、時系列データは、時系列データの季節性または時間依存性の程度に基づいて、候補の機械学習パイプラインによるテストのために時系列データセットから増加的に割り当てられる場合がある。ブロック９０６に示すように、中間評価スコアは、各時系列データの割り当てに続いて候補の機械学習パイプラインのそれぞれによって提供される場合がある。ブロック９０８に示すように、中間評価スコアから生成された予測の学習曲線に基づいて、１つ以上の機械学習パイプラインが、１つ以上の候補の機械学習パイプラインのランク付けされたリストから自動的に選択される場合がある。機能９００は、ブロック９１０に示すように、終了してもよい。

一態様では、図９の少なくとも１つのブロックと関連して、もしくはその一部として、またはその両方において、方法９００のオペレーションは、以下の各項目を含み得る。９００のオペレーションは、１つ以上の候補の機械学習パイプラインのそれぞれに時間的に遡って時系列データの定義されたサブセットを割り当てることができる。

９００のオペレーションは、時間ベースの閾値を超える時系列データの一部を履歴時系列データとして識別し、履歴時系列データはより精度の低いトレーニングデータであり、時系列データの各割り当てについて１つ以上の候補の機械学習パイプラインをトレーニングし、評価し得る。

９００のオペレーションは、１つ以上の候補の機械学習パイプラインにおけるトレーニングデータの割り当て量を、トレーニングデータの１つ以上の以前の割り当て量からの中間評価スコアに基づいて段階的に増加させ得る。

９００のオペレーションは、中間評価スコアのそれぞれから生成される学習曲線を決定し、予測の学習曲線に基づいて１つ以上の候補の機械学習パイプラインのそれぞれをランク付けしてもよい。

本発明は、システム、方法もしくはコンピュータプログラム製品またはそれらの組み合せとすることができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を記憶したコンピュータ可読記憶媒体を含んでよい。

コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し、記憶することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、一例として、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置またはこれらの適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な一例としては、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカードまたは溝内の隆起構造などに命令を記録した機械的に符号化された装置、およびこれらの適切な組み合せが挙げられる。本明細書で使用されるコンピュータ可読記憶装置は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号のような、一過性の信号それ自体として解釈されるべきではない。

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置に、または、ネットワーク（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくはワイヤレスネットワークネットワークまたはその組み合わせ）を介して外部コンピュータまたは外部記憶装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバー、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバーまたはその組み合わせで構成される。各コンピューティング／処理装置のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と「Ｃ」プログラミング言語や類似のプログラミング言語などの手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかであってよい。コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、完全にユーザのコンピュータ上で、または部分的にユーザのコンピュータ上で実行可能である。あるいは、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバ上で実行可能である。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され、または（例えば、インターネットサービスプロバイダーを使用したインターネット経由で）外部コンピュータに接続されてよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用してパーソナライズすることにより、コンピュータ可読プログラム命令を実行することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図もしくはブロック図またはその両方を参照して本明細書に記載されている。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図もしくはブロック図またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令がフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／動作を実装するための手段を生成するように、汎用コンピュータ、特殊用途コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されることができる。これらのコンピュータ可読プログラム命令はまた、フローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／行為の態様を実装する命令を含む生成品の１つを命令が記憶されたコンピュータ可読プログラム命令が構成するように、コンピュータ、プログラム可能なデータ処理装置、もしくは特定の方法で機能する他のデバイスまたはその組み合わせに接続可能なコンピュータ可読記憶媒体の中に記憶されることができる。

コンピュータ、他のプログラム可能な装置、または他のデバイス上でフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／行為を実行する命令のように、コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラム可能な装置、または他のデバイス上で一連の操作ステップを実行し、コンピュータ実装された過程を生成することができる。

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品が実行可能な実装の構成、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表してよく、これは、指定された論理機能を実装するための１つまたは複数の実行可能命令を構成する。いくつかの代替の実施形態では、ブロックに示されている機能は、図に示されている順序とは異なる場合がある。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行され、またはブロックは、関係する機能に応じて逆の順序で実行される場合がある。ブロック図もしくはフローチャート図またはその両方の各ブロック、およびブロック図もしくはフローチャート図またはその両方のブロックの組み合わせは、指定された機能または動作を実行する、または特別な目的のハードウェアとコンピュータ命令の組み合わせを実行する特別な目的のハードウェアベースのシステムによって実装できることにも留意されたい。

本発明の実施形態の説明は、例示の目的で提示されているが、網羅的であることを意図するものではなく、開示される実施形態に限定されることを意図するものでもない。本発明の範囲から逸脱することなく、多くの修正および変更が当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見られる技術に対する実際の適用または技術的改善を最もよく説明するため、または当業者が本明細書に記載の実施形態を理解できるようにするために選択された。

Claims (20)

1. １つ以上のプロセッサによるコンピューティング環境において、時系列予測機械学習パイプラインをランク付けする方法であって、前記方法は、
   複数の候補の機械学習パイプラインをジョイントオプティマイザによってトレーニングすることであって、前記候補の機械学習パイプラインは複数の時系列データパイプラインを含み、前記トレーニングは時系列データの最小割り当てから開始する、トレーニングすることと、
   時系列データの季節性パターン、トレンドパターン、または時間依存性の程度に基づいて、１つ以上の候補の機械学習パイプラインによるテストのために、時系列データセットから追加の時系列データを前記トレーニングに順次増加的に割り当てることと、
   各時系列データの割り当てに続いて、前記１つ以上の候補の機械学習パイプラインのそれぞれによる中間評価スコアを提供することと、
   前記中間評価スコアから生成された予測の学習曲線に基づいて、前記１つ以上の候補の機械学習パイプラインのランク付けされたリストから１つ以上の機械学習パイプラインを自動的に選択することと、を含む方法。
2. 前記１つ以上の候補の機械学習パイプラインのそれぞれに時間的に遡って前記時系列データの定義されたサブセットを割り当てることをさらに含む、請求項１に記載の方法。
3. 時間ベースの閾値を超える前記時系列データの一部を履歴時系列データとして識別することをさらに含み、前記履歴時系列データはより精度の低いトレーニングデータである、請求項１に記載の方法。
4. 前記時系列データの各割り当てについて、前記１つ以上の候補の機械学習パイプラインをトレーニングし、評価することをさらに含む、請求項１に記載の方法。
5. 前記１つ以上の候補の機械学習パイプラインにおけるトレーニングデータの割り当て量を、前記トレーニングデータの１つ以上の以前の割り当て量からの中間評価スコアに基づいて段階的に増加させることをさらに含む、請求項１に記載の方法。
6. 前記中間評価スコアのそれぞれから生成される前記学習曲線を決定することをさらに含む、請求項１に記載の方法。
7. 前記予測の学習曲線に基づいて、前記１つ以上の候補の機械学習パイプラインのそれぞれをランク付けすることをさらに含む、請求項１に記載の方法。
8. コンピューティング環境において、時系列予測機械学習パイプラインをランク付けするシステムであって、前記システムは、
   実行可能な命令を有する１つ以上のコンピュータを含み、前記実行可能な命令は、実行されると、前記システムに、
   複数の候補の機械学習パイプラインをジョイントオプティマイザによってトレーニングすることであって、前記候補の機械学習パイプラインは複数の時系列データパイプラインを含み、前記トレーニングは時系列データの最小割り当てから開始する、トレーニングすることと、
   時系列データの季節性パターン、トレンドパターン、または時間依存性の程度に基づいて、１つ以上の候補の機械学習パイプラインによるテストのために、時系列データセットから追加の時系列データを前記トレーニングに順次増加的に割り当てることと、
   各時系列データの割り当てに続いて、前記１つ以上の候補の機械学習パイプラインのそれぞれによる中間評価スコアを提供することと、
   前記中間評価スコアから生成された予測の学習曲線に基づいて、前記１つ以上の候補の機械学習パイプラインのランク付けされたリストから１つ以上の機械学習パイプラインを自動的に選択することと、を実行させるコンピュータを含む、システム。
9. 前記実行可能な命令が実行されると、前記システムに、前記１つ以上の候補の機械学習パイプラインのそれぞれに時間的に遡って前記時系列データの定義されたサブセットを割り当てることを実行させる、請求項８に記載のシステム。
10. 前記実行可能な命令が実行されると、前記システムに、時間ベースの閾値を超える前記時系列データの一部を履歴時系列データとして識別することを実行させ、前記履歴時系列データはより精度の低いトレーニングデータである、請求項８に記載のシステム。
11. 前記実行可能な命令が実行されると、前記システムに、前記時系列データの各割り当てについて、前記１つ以上の候補の機械学習パイプラインをトレーニングし、評価することを実行させる、請求項８に記載のシステム。
12. 前記実行可能な命令が実行されると、前記システムに、前記１つ以上の候補の機械学習パイプラインにおけるトレーニングデータの割り当て量を、前記トレーニングデータの１つ以上の以前の割り当て量からの中間評価スコアに基づいて段階的に増加させることを実行させる、請求項８に記載のシステム。
13. 前記実行可能な命令が実行されると、前記システムに、前記中間評価スコアのそれぞれから生成される前記学習曲線を決定することを実行させる、請求項８に記載のシステム。
14. 前記実行可能な命令が実行されると、前記システムに、前記予測の学習曲線に基づいて、前記１つ以上の候補の機械学習パイプラインのそれぞれをランク付けすることを実行させる、請求項８に記載のシステム。
15. コンピューティング環境において、時系列予測機械学習パイプラインをランク付けするためのコンピュータプログラムであって、前記コンピュータプログラムは、
    複数の候補の機械学習パイプラインをジョイントオプティマイザによってトレーニングするプログラム命令であって、前記候補の機械学習パイプラインは複数の時系列データパイプラインを含み、前記トレーニングは時系列データの最小割り当てから開始する、プログラム命令と、
    時系列データの季節性パターン、トレンドパターン、または時間依存性の程度に基づいて、１つ以上の候補の機械学習パイプラインによるテストのために、時系列データセットから追加の時系列データを前記トレーニングに順次増加的に割り当てるプログラム命令と、
    各時系列データの割り当てに続いて、前記１つ以上の候補の機械学習パイプラインのそれぞれによる中間評価スコアを提供するプログラム命令と、
    前記中間評価スコアから生成された予測の学習曲線に基づいて、前記１つ以上の候補の機械学習パイプラインのランク付けされたリストから１つ以上の機械学習パイプラインを自動的に選択するプログラム命令と、を含むコンピュータプログラム。
16. 前記１つ以上の候補の機械学習パイプラインのそれぞれに時間的に遡って前記時系列データの定義されたサブセットを割り当てるプログラム命令をさらに含む請求項１５に記載のコンピュータプログラム。
17. 時間ベースの閾値を超える前記時系列データの一部を履歴時系列データとして識別するプログラム命令をさらに含み、前記履歴時系列データはより精度の低いトレーニングデータである、請求項１５に記載のコンピュータプログラム。
18. 前記時系列データの各割り当てについて、前記１つ以上の候補の機械学習パイプラインをトレーニングし、評価し、
    前記１つ以上の候補の機械学習パイプラインにおけるトレーニングデータの割り当て量を、前記トレーニングデータの１つ以上の以前の割り当て量からの中間評価スコアに基づいて増加させるプログラム命令をさらに含む、請求項１５に記載のコンピュータプログラム。
19. 前記中間評価スコアのそれぞれから生成される前記学習曲線を決定するプログラム命令をさらに含む請求項１５に記載のコンピュータプログラム。
20. 前記予測の学習曲線に基づいて、前記１つ以上の候補の機械学習パイプラインのそれぞれをランク付けするプログラム命令をさらに含む請求項１５に記載のコンピュータプログラム。