JP7828695B2 - 人工知能モデルを訓練する方法、コンピュータシステム、コンピュータプログラム（管理限界を使用して人工知能モデル訓練を早期停止すること） - Google Patents

Description

本発明は人工知能モデルに関し、特に、人工知能モデルの訓練に関する。

自動化機械学習は、多数の人工知能モデルまたは推定器が訓練されるプロセスであり得る。人工知能モデルは、人工知能モデルの検証の最中に性能メトリックを使用してランク付けされ得る。これは、適切な人工知能モデルを見つけることを、より容易にするという利点を有する。人工知能モデルを訓練する従来の方法は、望ましい性能メトリックが満たされるときに訓練を中止するように管理限界を活用するものではないので、大幅に準最適な効率で動作する。

人工知能モデルを訓練する従来の方法は、望ましい性能メトリックが満たされるときに訓練を中止するように管理限界を活用するものではないので、大幅に準最適な効率で動作する。

本発明の一態様は、人工知能モデルを訓練する方法を提供する。方法は反復訓練ループを備える。反復訓練ループは、訓練データの現在のセットを受信することを備える。反復訓練ループはさらに、訓練データのセットを所定の数の訓練データサブセットに分割することを備える。訓練データサブセットはまた、ｋ－フォールドと称され得る。所定の数の訓練データサブセットのそれぞれは、訓練部分と検証部分とに分割される。訓練データサブセットの訓練部分は、人工知能モデルをさらに訓練するために使用される。検証部分は、そのそれぞれの訓練部分によって訓練された後の人工知能モデルの性能を確認するために使用される。

反復訓練ループはさらに、訓練部分を使用して、所定の数の訓練データサブセットのそれぞれによって人工知能モデルを連続的に訓練することを備える。人工知能モデルの連続的な訓練は、検証部分を使用して、所定の数の訓練データサブセットに関する性能メトリックを計算することを備える。反復訓練ループはさらに、所定の数の訓練データサブセットに関する性能メトリックの平均、および、所定の数の訓練データサブセットに関する性能メトリックの範囲から、訓練管理限界を計算することを備える。性能メトリックの平均は、性能メトリックの最大値と最小値との間などの範囲と同様に計算されてよい。性能メトリックのこの平均および範囲は、訓練管理限界を計算するように使用されてよい。この訓練管理限界は、反復訓練ループの以後の期間の結果を評価するように使用され得る。

反復訓練ループはさらに、改善性能メトリック条件が満たされているかどうかを判断するように、反復訓練ループの直前の反復からの訓練管理限界を、所定の数の訓練データセットに関する性能メトリックの平均と比較することを備える。

方法はさらに、所定の数の前の反復のうちに、少なくとも一度は改善性能メトリック条件が満たされていない場合でない場合、前記反復訓練ループを停止することを備える。

本発明のさらなる態様によれば、本発明は、それに具現化されるコンピュータ可読プログラムコードを有するコンピュータ可読格納媒体を提供する。コンピュータ可読プログラムコードは、人工知能モデルを訓練する方法の一実施形態を実装するように構成される。

本発明のさらなる態様によれば、本発明は、プロセッサと、機械実行可能命令を格納するメモリとを備えるコンピュータシステムを提供する。機械実行可能命令の実行はプロセッサに、一実施形態による方法を実装させる。

本発明のさらなる態様によれば、本発明は、それに具現化されるコンピュータ可読プログラムコードを有するコンピュータ可読格納媒体を備えるコンピュータプログラム製品を提供する。コンピュータ可読プログラムコードは、一実施形態による方法を実装するように構成される。

本発明のさらなる態様によれば、本発明はコンピュータプログラム製品を提供する。コンピュータプログラム製品は、方法の一実施形態によって訓練された人工知能モデルをそこに格納するコンピュータ可読格納媒体を備える。

本発明のさらなる態様によれば、本発明は、データ処理システム上で実行されているアプリケーションプログラムによってアクセスするためのメモリ格納データを提供する。アプリケーションプログラムは、方法の一実施形態によって訓練された人工知能モデルを備える。

以下では、本発明の実施形態が、例としてのみ、以下の図面を参照してより詳細に説明される。

本発明の少なくとも１つの実施形態に従うコンピュータシステムの一例を示す。 図１のコンピュータシステムが本発明の少なくとも１つの実施形態に従って接続される例示的なコンピューティング環境を示す。

本発明の少なくとも１つの実施形態に従うコンピュータシステムのさらなる例を示す。

本発明の少なくとも１つの実施形態に従う、図３のコンピュータシステムを動作させる方法を示す。

本発明の少なくとも１つの実施形態に従う方法の一例を示す。

本発明の様々な実施形態の説明は、例示の目的で提示されるものであり、網羅的であることも、開示される実施形態に限定することも意図するものではない。説明される実施形態の範囲及び趣旨から逸脱することなく、多くの修正及び変形が、当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見られる技術の実用的な適用またはそれに対する技術的改善を最もよく説明し、あるいは、本明細書に開示された実施形態を他の当業者が理解可能にするように選ばれている。

実施形態は、人工知能モデルを訓練することに関連する計算負荷を減らす手段を提供し得るので、有益であり得る。モデルが十分に実行していない場合、訓練は早期に終了し、時間および計算量の双方を節約する。

別の利益は次のようであってよく、すなわち、所定の数の前の反復内で少なくとも一度、改善された性能メトリック条件が満たされていない場合にのみ停止が生じるという条件を追加することは、より高い品質またはより正確な人工知能モデルを提供し得るということである。人工知能モデルの訓練は一時的に頭打ちになり得るので、このようになり得る。人工知能モデルが、所定の数の前の反復のうちに改善していない場合、次いで、訓練後の人工知能モデルの品質が十分でない可能性があり、それは安全に停止または破棄され得る。

訓練データのセットは、反復訓練ループの前の反復からの訓練データの現在のセットとは異なり得るか、別個であり得る。すなわち、訓練ループが反復されるときはいつも、新しいまたは異なる、訓練データの現在のセットが使用される。これは、反復訓練ループが複数回実行されたとき、人工知能モデルがさらに訓練されることを意味する。

人工知能モデルが検証部分によって確認されるそれぞれの時間に、それは性能メトリックに関するデータ点を提供する。訓練データは所定の数の訓練データサブセットに分割されるので、メトリクスが計算される回数もまた、その所定の数である。

別の可能性のある利点は、後続の反復の品質が改善しているか改善していないかを定義するように、訓練管理限界が使用され得ることである。

いくつかの例において、反復訓練ループが初めて実行されるとき、訓練管理限界はなくともよい。この場合、訓練管理限界は無視されてよい。後続の反復において、訓練管理限界は、人工知能モデルの訓練が各反復訓練ループによって改善されているかどうかの客観的な測定を提供する。

他の実施形態において、方法はさらに、人工知能モデルの訓練方法を使用して、複数の人工知能モデルを同時に訓練することを備える。例えば、最良の人工知能モデルを確認または探索するように、人工知能モデル内の、多くの数の種々のタイプのモデルまたはパラメータが変更される、システムがあり得る。方法は、十分に実行していない複数の人工知能モデルから選択されたモデルが、完全に訓練される前に停止されることを可能にし得る。これは、プロセスを加速するための追加の計算リソースを解放することと同様に、残っている複数の人工知能モデルを訓練する時間の量を減らすという有意義な利点を有し得る。

他の実施形態において、方法はさらに、反復訓練ループの各反復に関するグローバル管理限界を選ぶことを備える。グローバル管理限界は、複数の人工知能モデルの最良の性能メトリックを示す反復訓練ループから、管理限界を選ぶことによって選択される。複数の人工知能モデルが訓練され、訓練管理限界が、これらのモデルのそれぞれに関して選択されるとき、最良の性能メトリックを示す訓練管理限界が選ばれる。次の反復において、複数の人工知能モデルのうち全てが、このグローバル管理限界と比較される。反復訓練ループはさらに、複数の人工知能モデルのそれぞれに関する反復訓練ループの直前の反復からの訓練管理限界を、反復訓練ループの直前の反復からの直前のグローバル管理限界で置き換えることを備える。この実施形態は、複数の人工知能モデルの間に競争があるという利益を有し得る。特定の人工知能モデルが、所定の数の回数の間、グローバル管理限界と比較して性能改善を有しない場合、次いで、このモデルの訓練は停止される。これは、訓練される必要がある人工知能モデルの量を減らす点で、有益であり得る。

他の実施形態において、反復訓練ループの各反復の最中の複数の人工知能モデルのそれぞれに関する訓練管理限界が、別個に計算される。この実施形態において、グローバル管理限界は使用されない。この場合、複数の人工知能モデルが、それら自身の個別の性能に対して評価される。

他の実施形態において、性能メトリックの増加している値は、より良好な人工知能モデル性能を示す。管理限界が、性能メトリックの平均に、定数を乗算した性能メトリックの範囲を加えることにより計算される。定数は、例えば、統計的プロセス管理チャートからの定数表を使用して識別または選択されてよい。

他の実施形態において、性能メトリックの減少している値は、より良好な人工知能モデル性能を示す。管理限界が、性能メトリックの平均から、定数を乗算した性能メトリックの範囲を減ずることにより計算される。定数は、上と同様に、統計的プロセス管理チャートからの定数表から選択されてよい。この実施形態において、管理限界は下方管理限界であり得る。

他の実施形態において、管理限界は統計的プロセス管理限界である。それは、例えば、統計的プロセス管理からのｘバー（ｘ－ｂａｒ）グラフに関する上方管理限界または下方管理限界であり得る。

他の実施形態において、性能メトリックは正解率である。

他の実施形態において、性能メトリックは適合率である。

他の実施形態において、性能メトリックは再現率である。

他の実施形態において、性能メトリックは曲線メトリクス（ｃｕｒｖｅ ｍｅｔｒｉｃ）下の面積である。

他の実施形態において、性能メトリックは真陽性率である。

他の実施形態において、性能メトリックは真陰性率である。

他の実施形態において、性能メトリックは偽陽性率である。

他の実施形態において、性能メトリックは真陽性率と真陰性率とを両者とも全体のサンプルサイズで除算したものの合計である。

他の実施形態において、性能メトリックは平均二乗誤差である。

他の実施形態において、性能メトリックはＦ１スコアである。

他の実施形態において、人工知能モデルは畳み込みニューラルネットワークである。訓練データサブセットを使用する人工知能モデルの訓練は、ディープラーニングアルゴリズムを使用して実施される。この実施形態は、畳み込みニューラルネットワークに関する異なるトポロジおよび訓練技法を評価する効率的な手段を提供し得るので、有益であり得る。例えば、ハイパーパラメータまたは他の値が、特定のニューラルネットワークに関して変わることがあり、それらは、訓練され、次いで、反復訓練ループを使用して評価されることができる。不十分に実施されるモデルは、早期に中断され得る。

他の実施形態において、人工知能モデルはニューラルネットワークである。

他の実施形態において、人工知能モデルは分類子ニューラルネットワークである。

他の実施形態において、人工知能モデルは畳み込みニューラルネットワークである。

他の実施形態において、人工知能モデルはベイジアンニューラルネットワークである。

他の実施形態において、人工知能モデルはベイジアンネットワークである。

他の実施形態において、人工知能モデルはベイズネットワークである。

他の実施形態において、人工知能モデルは単純ベイズ分類器である。

他の実施形態において、人工知能モデルは信念ネットワークである。

他の実施形態において、人工知能モデルは意思決定ネットワークである。

他の実施形態において、人工知能モデルは決定木である。

他の実施形態において、人工知能モデルはサポートベクタマシンである。

他の実施形態において、人工知能モデルは回帰分析である。

他の実施形態において、人工知能モデルは遺伝アルゴリズムである。

他の実施形態において、複数の人工知能モデルの訓練は、モデルのそれぞれが上で言及されたものから自由に選択され得るように、実施される。

他の実施形態において、命令の実行は、プロセッサに、人工知能モデルを訓練する方法を使用して同時に複数の人工知能モデルを訓練させる。

他の実施形態において、命令の実行は、プロセッサに、反復訓練ループの各反復に関するグローバル管理限界を選ばせる。上記命令の実行は、プロセッサに、最良の性能メトリックを示す反復訓練ループから管理限界を選ばせる。反復訓練ループはさらに、複数の人工知能モデルのそれぞれに関する反復訓練ループの直前の反復からの訓練管理限界を、直前のグローバル管理限界に置き換えることを備える。

他の実施形態において、反復訓練ループの反復の最中の複数の人工知能モデルのそれぞれに関する訓練管理限界が、別個に計算される。

本発明の実施形態は、コンピュータシステム、クライアント、またはサーバとも称され得るコンピューティングデバイスを使用して実装され得る。ここで図１を参照すると、コンピュータシステムの一例の概略が示される。コンピュータシステム１０は、好適なコンピュータシステムの一例のみであり、本明細書で説明される本発明の実施形態の使用または機能の範囲に関するいかなる制限の示唆も意図するものではない。とにかく、コンピュータシステム１０は、上に記載された機能のうち任意のものを実装もしくは実施すること、またはその組み合わせが可能である。

コンピュータシステム１０において、数多くの他の汎用、または専用のコンピューティングシステム環境、または構成で動作するコンピュータシステム／サーバ１２がある。コンピュータシステム／サーバ１２と共に使用するのに好適であり得るよく知られたコンピューティングシステム、環境、もしくは構成、またはその組み合わせの例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な消費者向け電子機器、ネットワークＰＣ、ミニコンピュータシステム、メインフレームコンピュータシステム、および、上のシステムまたはデバイスの任意のものを含む分散コンピューティング環境などを含むが、それらに限定されない。

コンピュータシステム／サーバ１２は、コンピュータシステムによって実行される、プログラムモジュールなどのコンピュータシステム実行可能命令の一般的な文脈で説明され得る。概して、プログラムモジュールは、特定のタスクを実施するか、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム／サーバ１２は、通信ネットワークを介してリンクされるリモート処理デバイスによってタスクが実施される分散コンピューティング環境において実施され得る。分散型コンピューティング環境では、プログラムモジュールは、メモリストレージデバイスを含む、ローカルなコンピュータシステムの記憶媒体とリモートのコンピュータシステムの記憶媒体との両方に位置し得る。

図１に示されるように、コンピュータシステム１０におけるコンピュータシステム／サーバ１２は、汎用コンピューティングデバイスの形態で示される。コンピュータシステム／サーバ１２のコンポーネントとしては、限定されないが、１または複数のプロセッサまたは処理ユニット１６と、システムメモリ２８と、システムメモリ２８を含む様々なシステムコンポーネントをプロセッサ１６に結合するバス１８とを含み得る。バス１８は、メモリバスまたはメモリコントローラ、ペリフェラルバス、アクセラレーテッドグラフィックスポート、および任意の様々なバスアーキテクチャを使用するプロセッサまたはローカルバスを含む、任意のいくつかのタイプのバス構造のうちの１または複数を表す。限定ではなく例として、そのようなアーキテクチャは、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、エンハンスドＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、およびペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含む。

コンピュータシステム／サーバ１２は、典型的には、様々なコンピュータシステム可読媒体を含む。そのような媒体は、コンピュータシステム／サーバ１２によってアクセス可能な任意の利用可能な媒体であってよく、そのような媒体は、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体のどちらも含む。

システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０もしくはキャッシュメモリ３２またはその組み合わせなどの揮発性メモリの形態のコンピュータシステム可読媒体を含み得る。コンピュータシステム／サーバ１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでよい。例としてのみ、ストレージシステム３４は、ノンリムーバブル不揮発性磁気媒体（図示せず、典型的には「ハードドライブ」と呼ばれる）に対して読み出し及び書き込みを行うために提供されることができる。図示していないが、取り外し可能な不揮発性磁気ディスク（例えば、「フロッピディスク」）に対して読み出しおよび書き込みを行うための磁気ディスクドライブと、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭまたは他の光学媒体などの取り外し可能な不揮発性光ディスクに対して読み出し、もしくは書き込みを行うための光学ディスクドライブとが提供されることができる。そのような例において、それぞれは１または複数のデータ媒体インターフェースによってバス１８へ接続することができる。以下でさらに図示及び説明されるように、メモリ２８は、本発明の実施形態の機能を実行するように構成されているプログラムモジュールのセット（例えば、少なくとも１つ）を含む少なくとも１つのプログラム製品を備えてよい。

オペレーティングシステム、１または複数のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータと同様に、プログラムモジュール４２のセット（少なくとも１つ）を含むプログラム／ユーティリティ４０が、限定ではなく例としてメモリ２８に格納されてよい。オペレーティングシステム、１または複数のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータまたはそのいくつかの組み合わせのそれぞれは、ネットワーク環境の実装を含むことができる。プログラムモジュール４２は概して、本明細書で説明されるような本発明の実施形態の機能もしくは方法論またはその組み合わせを実行する。

コンピュータシステム／サーバ１２はまた、キーボード、ポインティングデバイス、ディスプレイ２４などのような１または複数の外部デバイス１４と、ユーザがコンピュータシステム／サーバ１２と対話することを可能にする１または複数のデバイスと、もしくは、コンピュータシステム／サーバ１２が１または複数の他のコンピューティングデバイスと通信することを可能にする（例えば、ネットワークカード、モデムなどの）いかなるデバイスと、またはその組み合わせと通信してもよい。そのような通信は入力／出力（Ｉ／Ｏ）インターフェース２２を介して行うことができる。またさらに、コンピュータシステム／サーバ１２は、ネットワークアダプタ２０を介して、ローカルエリアネットワーク（ＬＡＮ）、一般的なワイドエリアネットワーク（ＷＡＮ）、もしくはパブリックネットワーク（例えば、インターネット）、またはその組み合わせなどの１または複数のネットワークと通信することができる。図示のように、ネットワークアダプタ２０は、バス１８を介して、コンピュータシステム／サーバ１２の他のコンポーネントと通信する。図示していないが、他のハードウェアもしくはソフトウェアコンポーネントまたはその組み合わせをコンピュータシステム／サーバ１２とともに使用できることを理解されたい。例としては、マイクロコード、デバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ、およびデータアーカイブストレージシステムなどを含むが、これらに限定されない。

図１に示されたコンピュータシステム１０などのコンピュータシステムが、人工知能モジュールを訓練することなどの、本明細書に開示された動作を実施するために使用され得る。そのようなコンピュータシステムは、ローカルインターフェースを介して人工知能モジュールを訓練するための訓練データセットなどの処理されるべきデータを受信し得るネットワーク接続を有しない、スタンドアロンコンピュータであり得る。そのような動作は、しかし、通信ネットワークもしくはコンピューティングネットワークまたはその組み合わせなどのネットワークに接続されるコンピュータシステムを使用して、同様に実施され得る。

図２は、コンピュータシステム１０などのコンピュータシステムが、例えばネットワークアダプタ２０を使用して、ネットワーク２００に接続されるコンピューティング環境を示す。限定するものではないが、ネットワーク２００は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、モバイル通信ネットワークなどの無線ネットワーク、などの通信ネットワークであってもよい。ネットワーク２００は、クラウドコンピューティングネットワークなどのコンピューティングネットワークを備えてもよい。コンピュータシステム１０は、人工知能モデルを訓練するための訓練データセットなどの、プロセスすべきデータをネットワーク２００から受信し得、もしくは、訓練データセットを使用して訓練された後の訓練された人工知能モジュールなどのコンピューティング結果を、ネットワーク２００を介してコンピュータシステム１０に接続された別のコンピューティングデバイスに提供し得、またはその組み合わせである。

コンピュータシステム１０は、ネットワーク２００を介して受信される要求に応答して、完全にまたは部分的に、本明細書に説明される動作を実施し得る。特に、コンピュータシステム１０は、ネットワーク２００を介してコンピュータシステム１０に接続され得る１または複数のさらなるコンピュータシステムと共に、分散計算においてそのような動作を実施し得る。その目的のために、コンピューティングシステム１０もしくは任意のさらなる関与するコンピュータシステムまたはその組み合わせは、ネットワーク２００を使用して、専用または共有メモリなどの、さらなるコンピューティングリソースにアクセスし得る。

図３は、コンピュータシステム１０の一例を示す。図３に示されたコンピュータシステム１０は、図１に示されたコンピュータシステムのひとつの表現である。処理ユニット１６は、ネットワークアダプタ２０、ＩＯインタフェース２２、およびメモリ２８に接続されるものとして示される。メモリ２８は、処理ユニット１６にアクセス可能であり得る様々なタイプのメモリを表すように意図される。

メモリ２８は、機械実行可能命令３００を含むものとして示される。機械実行可能命令３００は、処理ユニット１６が様々な計算およびデータ処理タスクを実施することを可能にする。例えば、これは、人工知能モデルを訓練するための管理限界を計算することおよび様々なアルゴリズムを実装することと同様に、様々な平均およびメトリクスを算出することを含み得る。メモリ２８はさらに、訓練されることになっている人工知能モデル３０２を含むものとして示される。メモリ２８はさらに、訓練データ３０４の現在のセットを含むものとして示される。各反復ループの最中に、訓練データ３０４の現在のセットが、新たな訓練データに置き換えられる。これは、例えば、各ループにおいてメモリ２８に提供され得、または、訓練データを含んでいるアーカイブまたはデータベースから取得され得る。

メモリ２８はさらに、訓練データ３０４の現在のセットを、訓練データの所定の数の群またはセットに分割することによって形成された、訓練データのセットを含むものとして示される。これらはまた、ｋ－フォールドと称され得る。メモリ２８はさらに、訓練プロセスの最中に訓練データ３０６のセットのそれぞれに関して計算された性能メトリックを含むものとして示される。メモリ２８はさらに、特定のループおよび特定の人工知能モデル３０２に関して計算された全ての性能メトリック３０８の平均を含むものとして示される。メモリ２８はさらに、特定の人工知能モデル３０２に関して計算された特定のループに関する全ての性能メトリックの範囲３１２を含むものとして示される。メモリは、ループに関する性能メトリック３１０の平均およびループに関する性能メトリックの範囲３１２から計算された訓練管理限界３１４を含んでいる。現在の性能メトリック３０８は、メモリ２８に格納されているものとしてまた示されている、前の反復３１６からの訓練管理要素と比較される。

図４は、図３に示されるコンピュータシステム１０を動作させる方法を示すフローチャートを示す。方法は、開始とラベリングされたステップ４００で開始する。方法は次いで、ステップ４０２に進む。ステップ４０２において、訓練データ３０４の現在のセットが受信される。ループの各反復の最中に、訓練データ３０４の現在のセットが置き換えられる。次に、方法は、訓練データ３０４の現在のセットが所定の数の訓練データサブセット３０６に分割される、ステップ４０４に進む。訓練データ３０６の所定のセットは、また、ｋ－フォールドとも称されてよい。次に、ステップ４０６において、所定の数の訓練データサブセットの訓練部分を使用して人工知能モデル３０２を連続的に訓練することによって、人工知能モデル３０２が訓練される。

訓練部分のそれぞれが使用された後、性能メトリック３０８を計算するように、対応する検証部分が使用される。次に、ステップ４０８において、方法は、モデルが完全に訓練されているかどうかを判断することによって進む。モデルが実際に完全に訓練された場合、方法はステップ４１０に進み、方法は終了する。モデルが完全に訓練されていない場合、方法はステップ４１２に進む。ステップ４１２において、訓練管理限界３１４が、性能メトリックの性能メトリック３１０と範囲３１２との平均から計算される。次いで、ステップ４１４において、直前の反復からの訓練管理限界３１６が、特定のループおよび特定のモデルに関する性能メトリック３１０の平均と比較される。これは、改善性能メトリック条件が満たされているか判断するように使用される。改善性能メトリックは、モデルの性能がさらなる訓練によって改善し続けているかどうかの測定値である。次に、ステップ４１６において、方法は次いで、所定の数の前の反復において改善性能メトリック条件が少なくとも一度は満たされたかどうかを判断するように進む。所定の数の前の反復において改善性能メトリックが少なくとも一度は満たされた場合、次いで、さらなる訓練が人工知能モデルを改善し、方法はさらなる訓練のためにステップ４０２に戻り、訓練データの現在のセットは、訓練データの新しい現在のセットに置き換えられる。

所定の数の前の反復において改善性能メトリックが少なくとも一度も満たされなかった場合、人工知能モデルは、さらなる訓練によってもはや改善されておらず、モデルの訓練は中断される。モデルの訓練が中断されるとき、方法はステップ４１０に戻り、人工知能モデル３０２の訓練は停止される。

図４の方法は、様々なやり方で修正されてよい。一例において、方法は、同時に複数の人工知能モデルを訓練するように適用される。これはまた、様々な異なる形態を取り得る。一例において、人工知能モデルは全て同時に訓練されるが、独立して評価される。訓練管理限界が、各人工知能モデルに関して別個に計算され、これはその人工知能モデルの訓練が停止されるべきかどうかを判断するために使用される。他の例において、人工知能モデルの訓練は、競争のために実施され得る。例えば、各ループで訓練管理限界が各人工知能モデルに関して別個に計算され、次いで最良の訓練管理限界がグローバル管理限界として選択される。データは次いで、訓練管理限界の代わりに、前の反復からのグローバル訓練管理限界と比較され、ループの前の反復の最優良モデルに対しての、人工知能モデルの本質的な改善が測定される。モデルが所定の数の回数の間、前の反復の最良のモデルに関して改善されていることが可能でない場合、次いで、その特定の人工知能モデルの訓練が停止される。このことは、他に対して標準以下である人工知能モデルを、非常に迅速に除外することができる。これは、非常に大きな計算の節約につながり得る。

図５は、人工知能モデルの自動化された訓練の代替の方法を示すフローチャートを示す。いくつかの場合において、図５に示された方法の様々な部分が、図４に示された方法の部分と交換されてよい。ステップ５００は、モデル選択のステップを示す。これは、訓練データ５０２を提供することを含む。訓練データはまた、まとめて、訓練データの割り当てとも称される。ステップ５００はまた、様々な推定器５０４を提供することを含む。本明細書で称される推定器とは、個別の人工知能モデルである。割り当てのうちの１つの割り当ては、訓練データ３０４の現在のセットの均等物である。各ループの最中に、モデルは次いで、相互検証プロセス５０８に進む。相互検証において、訓練および検証が実施され、訓練データ３０４の割り当てまたは現在のセットは、データのｋ－フォールドへと分割される。いくつかの場合、データのｋ－フォールドは、訓練データ３０６のセットの均等物であり得る。訓練の最中に、性能メトリック３０８が、ｋ－フォールド３０６のそれぞれに関して計算される。ステップ５１０において、ｋ－フォールド統計が計算される。ｋ－フォールド統計は、性能メトリック３０８に関する範囲３１２と同様に、性能メトリック３０８の全ての平均を含み得る。ｋ－フォールド統計は次いで、管理限界または訓練管理限界３１４を計算するように使用され得る。管理限界３１４は、ループからループへと保持され、ステップ５１４において、前の反復３１６からの訓練管理限界を、性能メトリック３１０の平均と比較するために使用される。ボックス５１２は、性能メトリック３１０の平均が、最近の所定の数のループ内で改善された性能を示したかどうかテストするために使用される機能を表す。これは次いで、ステップ４１６に関して、停止または継続の決定を提供するために使用される。

各反復において、推定器５０４（複数の人工知能モデル）のセットからの推定器（人工知能モデル）は、割り当てともまた称されるデータ点のサブサンプル上で評価される。割り当ては、訓練データの現在のセットである。評価は、相互検証技術を使用して行われる。相互検証技術は、データをｋ－フォールド（訓練データサブセット）に分割し、次に、モデルがｋ－フォールドのそれぞれで実施されることを訓練および評価することに基づく。

各推定器に関する各割り当てにおいて、ｋメトリクスが計算される（ｋ－フォールド）。ｋメトリクスのそれぞれは、訓練済みモデルの（性能メトリックを使用して）性能、例えば正解率、適合率、再現率などを説明する機械学習メトリクスに対応し得る。

（単純化における）次のステージへの推奨（最も期待できる推定器）を与える全体のデータセット（全ての割り当て）が検査されたとき、プロセスは終了する。

下で説明されるシステムは、進行中の割り当ておよび相互検証結果の分析に基づいて、はるかに速く推奨の提供を可能にする。

システムは、以下のステージの１または複数を備え得る。

１．管理限界を計算する：割り当て（ａｌｌｏｃａｔｉｏｎｓ）（ｉ）および推定器（ｅｓｔｉｍａｔｏｒ）（ｅ）あたりのフォールドスコア（ｆｏｌｄｓ＿ｓｃｏｒｅ）（メトリクス）に関する上方管理限界（ＵＣＬ）および下方管理限界（ＬＣＬ）。

ＵＣＬ＝ｍｅａｎ（ｆｏｌｄｓ＿ｓｃｏｒｅ）＋Ｒ＊Ａ２

ＬＣＬ＝ｍｅａｎ（ｆｏｌｄｓ＿ｓｃｏｒｅ）－Ｒ＊Ａ２

ここで、Ｒ＝ｍａｘ（ｆｏｌｄｓ＿ｓｃｏｒｅ）－ｍｉｎ（ｆｏｌｄｓ＿ｓｃｏｒｅ）であり、Ａ２は統計的プロセス管理表から得られる。

２．次に、次の割り当てフォールドスコアに関する平均値を計算する。

３．割り当て（ｉ＋ｊ）の平均値と推定器（ｅ）と割り当て（ｉ）の間の関係を分析する。ここで、
ｊ＝１，．．，ｌｅｎ（ａｌｌｏｃａｔｉｏｎｓ） ＩＦ ＵＣＬ＞平均値＞ＬＣＬ。これは、（ｉ＋ｊ）割り当ておよび推定器（ｅ）に関して計算されたメトリクス値に増加も減少もないことを意味する。

ＩＦ 平均値＞ＵＣＬ。これは、（ｉ＋ｊ）割り当ておよび推定器（ｅ）に関するメトリクス値（モデル性能／品質）に改善があることを意味する。

ＩＦ 平均値＜ＬＣＬ。これは、（ｉ＋ｊ）割り当ておよび推定器（ｅ）に関するモデル性能に劣化があることを意味する。

４．ｊ＝ｉｔｅｒｓ＿ｎｏ＿ｉｍｐｒｏｖｅｍｅｎｔとなるまで分析を繰り返す。例えば、ｉｔｅｒｓ＿ｎｏ＿ｉｍｐｒｏｖｅｍｅｎｔ＝３は、今後に３個の割り当てが分析されることを意味する。推定器（ｅ）に関して次のｊ（この例では３）個の割り当てで改善がない場合には、この特定の推定器（ｅ）に関する次の割り当てのさらなる調査は停止される。別の変形例は、平均メトリック値を改善していないという条件が満たされる場合、次の割り当てをスキップすることである。

そのようなデータに関して、システムの挙動がシミュレーションされ得る。一例として、ＬＧＢＭ推定器例が調査された。ライトＧＢＭ（ＬＧＢＭ）は、決定木アルゴリズムに基づく勾配ブースティングフレームワークである。

ステップは以下の通りである。

１．特定の割り当て（５００）に関して、推定器性能をクロス検証し、ＵＣＬを計算する。この例において、上方管理限界は訓練管理限界として使用された。

２．次の割り当て（１０００）に関して、相互検証結果はＵＣＬを計算し、現在の平均値と以前の割り当て（５００）からのＵＣＬとを平均し、比較分析を行う。この例では、検出された改善は０．７１％であった。

３．次の割り当て（１５００）に関して、相互検証結果はＵＣＬを計算し、現在の平均値と以前の割り当て（１０００）からのＵＣＬとを平均し、比較分析を行う。この例において、改善は全く検出されなかった。これは、改善のない第１の反復である。

４．次の割り当て（２０００）に関して、相互検証結果はＵＣＬを計算し、現在の平均値と以前の割り当て（１５００）からのＵＣＬとを平均し、比較分析を行う。この例において、改善は全く検出されなかった。これは、改善のない第２の反復である。

５．次の割り当て（２５００）に関して、相互検証結果はＵＣＬを計算し、現在の平均値と以前の割り当て（２０００）からのＵＣＬとを平均し、比較分析を行う。この例において、改善は全く検出されなかった。これは、改善のない第３の反復である。

６．改善のない反復の数を確認する。それがｎｏ＿ｉｔｅｒ＿ｉｍｐｒｏｖｅｍｅｎｔパラメータ（別名ウインドウサイズ、または所定の数の前の反復）と等しい場合、推定器：ＬＧＢＭに関する探索過程を停止する。

７．他の推定器（人工知能モデル）に関して同じことを繰り返す。

本発明は、任意の可能な技術的詳細レベルの統合における、システム、方法、もしくはコンピュータプログラム製品、またはその組み合わせであり得る。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読格納媒体（または媒体）を含み得る。

コンピュータ可読格納媒体は、命令実行デバイスによる使用のために命令を保持及び格納し得る有形デバイスであり得る。コンピュータ可読格納媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光学ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、または前述したものの任意の好適な組み合わせであり得るが、これらに限定されない。コンピュータ可読格納媒体のより具体的な例の非網羅的なリストは以下の、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、パンチカードもしくは命令が記録された溝内の隆起構造などの機械的にエンコードされたデバイス、および前述したものの任意の好適な組み合わせを含む。本明細書において使用される場合、コンピュータ可読格納媒体は、電波または他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、ワイヤを通じて伝送される電気信号など、それ自体で一時的な信号として解釈されるべきでない。

本明細書で説明されたコンピュータ可読プログラム命令は、コンピュータ可読格納媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされてもよく、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくは無線ネットワーク、またはその組み合わせ、を介して、外部コンピュータもしくは外部格納デバイスにダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバまたはその組み合わせを備え得る。それぞれのコンピューティング／処理デバイスのネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、個別のコンピューティングデバイス／処理デバイス内のコンピュータ可読格納媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、あるいはＳｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語などの手続き型プログラミング言語もしくは同様のプログラミング言語、を含む１または複数のプログラミング言語のあらゆる組み合わせで記述された、ソースコードまたはオブジェクトコードのいずれかであってもよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に実行されてもよいし、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で部分的に実行されてもよいし、部分的にユーザのコンピュータ上で、かつ、部分的にリモートコンピュータ上で実行されてもよいし、リモートコンピュータもしくはサーバ上で完全に実行されてもよい。後者のシナリオでは、リモートコンピュータが、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、またはその接続が、（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータに対して行われてもよい。いくつかの実施形態において、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行して電子回路をパーソナライズすることができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図もしくはブロック図またはその組み合わせを参照して本明細書で説明される。フローチャート図もしくはブロック図またはその組み合わせの各ブロックと、フローチャート図もしくはブロック図またはその組み合わせにおけるブロックの組み合わせとが、コンピュータ可読プログラム命令によって実装できることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータのプロセッサまたは他のプログラマブルデータ処理装置を介して実行する命令が、フローチャートもしくはブロック図またはその組み合わせのブロックまたは複数のブロックにおいて特定される機能／動作を実装する手段を生成するように、汎用コンピュータ、専用コンピュータ、またはマシンを生じさせる他のプログラマブルデータ処理装置のプロセッサに提供され得る。また、これらのコンピュータ可読プログラム命令は、コンピュータ可読格納媒体に格納されてよく、コンピュータ、プログラマブルデータ処理装置もしくは他のデバイスまたはその組み合わせに対し、特定の方式で機能するよう命令することができ、その結果、命令を格納したコンピュータ可読格納媒体は、フローチャートもしくはブロック図またはその組み合わせのブロックまたは複数のブロックにおいて特定された機能／動作の態様を実装する命令を含む製品を備える。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上にロードされて、一連の動作段階をコンピュータ、他のプログラマブル装置、または他のデバイス上で実施させて、コンピュータ実装プロセスを生成し得、その結果、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行する命令は、フローチャートもしくはブロック図またはその組み合わせのブロックもしくは複数のブロックで特定された機能／動作を実装する。

図面内のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び動作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、特定された論理機能を実装する１または複数の実行可能命令を備える命令のモジュール、セグメント、または部分を表し得る。いくつかの代替的な実装において、ブロックに記される機能は、図面に記される順序とは異なる順序で行われ得る。例えば、連続して示される２つのブロックは、実際には実質的に同時に実行されてもよく、またはブロックは伴う機能性に依存して、時には逆の順序で実行されてもよい。ブロック図もしくはフローチャート図またはその組み合わせのそれぞれのブロック、ならびに、ブロック図もしくはフローチャート図またはその組み合わせにおけるブロックの組み合わせが、特定された機能もしくは動作を実施する、または、専用ハードウェア及びコンピュータ命令の組み合わせを実行する専用ハードウェアベースシステムによって実装され得ることもまた留意されたい。

様々な例が、場合によっては、以下の番号つきの節において、以下の特徴のうち１または複数によって説明され得る。

節１：人工知能モデルを訓練する方法であって、前記方法は反復訓練ループを備え、前記反復訓練ループは、訓練データの現在のセットを受信することであって、訓練データの前記現在のセットは、前記反復訓練ループの前の反復からの訓練データの前記現在のセットと異なる、受信することと、訓練データの前記現在のセットを所定の数の訓練データサブセットに分割することであって、前記所定の数の訓練データサブセットのそれぞれは、訓練部分と検証部分とに分割される、分割することと、前記所定の数の訓練データサブセットのそれぞれが前記訓練部分を使用して、前記人工知能モデルを連続的に訓練することであって、前記人工知能モデルを連続的に訓練することは、前記それぞれの検証部分を使用して前記所定の数の訓練データサブセットに関する性能メトリックを計算することを備える、訓練することと、前記所定の数の訓練データサブセットに関する前記性能メトリックの平均および前記所定の数の訓練データサブセットに関する前記性能メトリックの範囲から、訓練管理限界を計算することと、改善性能メトリック条件が満たされているかどうかを判断するように、前記反復訓練ループの直前の反復からの前記訓練管理限界を、前記所定の数の訓練データサブセットに関する前記性能メトリックの前記平均と比較することとを備え、前記方法はさらに、所定の数の前の反復において少なくとも一度は前記改善性能メトリック条件が満たされていない場合でない場合、前記反復訓練ループを停止することを備える、人工知能モデルを訓練する方法。

節２：前記方法はさらに、前記人工知能モデルを訓練する方法を使用して複数の人工知能モデルを同時に訓練することを備える、節１に記載の方法。

節３：前記複数の人工知能モデルを前記訓練することは、以下の、ニューラルネットワーク、分類子ニューラルネットワーク、畳み込みニューラルネットワーク、ベイジアンニューラルネットワーク、ベイジアンネットワーク、ベイズネットワーク、単純ベイズ分類器、信念ネットワークまたは意思決定ネットワーク、決定木、サポートベクタマシン、回帰分析、および遺伝アルゴリズムのうちいずれか１つからそれぞれ選択される、節２に記載の方法。

節４：前記方法はさらに、前記反復訓練ループの各反復に関するグローバル管理限界を選ぶことを備え、前記グローバル管理限界は、前記複数の人工知能モデルの最良の性能メトリックを示す前記反復訓練ループから前記管理限界を選ぶことによって選択され、前記反復訓練ループはさらに、前記複数の人工知能モデルのそれぞれに関する前記反復訓練ループの直前の反復からの前記訓練管理限界を、前記反復訓練ループの直前の反復からの直前のグローバル管理限界で置き換えることを備える、節１または２に記載の方法。

節５：前記反復訓練ループの各反復の最中の前記複数の人工知能モデルのそれぞれに関する前記訓練管理限界は、別個に計算される、節２または３に記載の方法。

節６：前記性能メトリックの増加している値は、より良好な人工知能モデル性能を示し、前記管理限界は、前記性能メトリックの前記平均に、前記性能メトリックの前記範囲を定数倍したものを加えたものとして計算される、節１から５のいずれか１つに記載の方法。

節７：前記性能メトリックの減少している値は、より良好な人工知能モデル性能を示し、前記管理限界は、前記性能メトリックの前記平均から、前記性能メトリックの前記範囲を定数倍したものを減じたものとして計算される、節１から６のいずれか１つに記載の方法。

節８：前記管理限界は統計的プロセス管理限界である、節１から７のいずれか１つに記載の方法。

節９：前記性能メトリックは以下の、正解率、適合率、再現率、曲線メトリクス下の面積、真陽性率、真陰性率、偽陽性率、前記真陽性率と前記真陰性率とを両者とも全体のサンプルサイズによって除算したものの合計、平均二乗誤差、およびＦ１スコアのいずれか１つから選択される、節１から８のいずれか１つに記載の方法。

節１０：前記人工知能モデルは畳み込みニューラルネットワークであり、前記人工知能モデルの前記訓練は、ディープラーニングアルゴリズムを使用して実施される、節１から９のいずれか１つに記載の方法。

節１１：前記人工知能モデルは以下の、ニューラルネットワーク、分類子ニューラルネットワーク、畳み込みニューラルネットワーク、ベイジアンニューラルネットワーク、ベイジアンネットワーク、ベイズネットワーク、単純ベイズ分類器、信念ネットワーク、または意思決定ネットワーク、決定木、サポートベクタマシン、回帰分析、および遺伝アルゴリズムのうちいずれか１つである、節１から９のいずれか１つに記載の方法。

節１２：具現化されるコンピュータ可読プログラムコードを有するコンピュータ可読格納媒体を備え、前記コンピュータ可読プログラムコードは節１から１１のいずれか１つに記載の前記方法を実装するように構成される、コンピュータプログラム製品。

節１３：コンピュータシステムであって、前記コンピュータシステムを制御するように構成されたプロセッサと、機械実行可能な命令を格納したメモリとを備え、前記命令の実行は、前記プロセッサに、人工知能モデルを訓練するための反復訓練ループを実施させ、前記反復訓練ループは、訓練データの現在のセットを受信することであって、訓練データの前記現在のセットは、前記反復訓練ループの前の反復からの訓練データの前記現在のセットと異なる、受信することと、訓練データの前記セットを所定の数の訓練データサブセットに分割することであって、前記所定の数の訓練データサブセットのそれぞれは、訓練部分と検証部分とに分割される、分割することと、前記所定の数の訓練データサブセットのそれぞれが前記訓練部分を使用して、前記人工知能モデルを連続的に訓練することであって、前記人工知能モデルを連続的に訓練することは、前記それぞれの検証部分を使用して前記所定の数の訓練データサブセットのそれぞれに関する性能メトリックを計算することを備える、訓練することと、前記所定の数の訓練データサブセットのそれぞれに関する前記性能メトリックの平均および前記所定の数の訓練データサブセットのそれぞれに関する前記性能メトリックの範囲から訓練管理限界を計算することと、改善性能メトリック条件が存在するかどうかを判断するように、前記反復訓練ループの直前の反復からの前記訓練管理限界を、前記所定の数の訓練データサブセットのそれぞれに関する前記性能メトリックの前記平均と比較することとを備え、前記方法はさらに、所定の数の前の反復において少なくとも一度も前記改善性能メトリック条件が存在しない場合でない場合、前記反復訓練ループを停止することを備える、コンピュータシステム。

節１４：前記命令の実行は、前記プロセッサに、前記人工知能モデルの訓練の前記方法を使用して同時に複数の人工知能モデルを訓練させる、節１３に記載のコンピュータシステム。

節１５：前記命令の実行は、前記プロセッサに、前記反復訓練ループの各反復に関するグローバル管理限界を選ばせ、前記命令の実行は、前記プロセッサに、最良の性能メトリックを示す前記反復訓練ループから前記管理限界を選ばせ、前記反復訓練ループはさらに、前記複数の人工知能モデルのそれぞれに関する前記反復訓練ループの直前の反復からの前記訓練管理限界を、前記直前のグローバル管理限界で置き換えることを備える、節１４に記載のコンピュータシステム。

節１６：前記反復訓練ループの各反復の最中の前記複数の人工知能モデルのそれぞれに関する前記訓練管理限界は、別個に計算される、節１４に記載のコンピュータシステム。

節１７：前記性能メトリックは以下の、正解率、適合率、再現率、曲線メトリクス下の面積、真陽性率、真陰性率、偽陽性率、前記真陽性率と前記真陰性率とを両者とも全体のサンプルサイズによって除算したものの合計、平均二乗誤差、およびＦ１スコアのいずれか１つから選択される、節１３から１６のいずれか１つに記載のコンピュータシステム。

節１８：前記人工知能モデルは以下の、ニューラルネットワーク、分類子ニューラルネットワーク、畳み込みニューラルネットワーク、ベイジアンニューラルネットワーク、ベイジアンネットワーク、ベイズネットワーク、単純ベイズ分類器、信念ネットワーク、または意思決定ネットワーク、決定木、サポートベクタマシン、回帰分析、および遺伝アルゴリズムのうちいずれか１つである、節１３から１７のいずれか１つに記載のコンピュータシステム。

節１９：節１から１１のいずれか１つに記載の前記方法によって訓練された人工知能モデルを格納したコンピュータ可読格納媒体を備える、コンピュータプログラム製品。

節２０：節１から１１のいずれか１つに記載の前記方法によって訓練された人工知能モデルを備える、データ処理システム上で実行されているアプリケーションプログラムによるアクセスのためのデータを格納するメモリ。

例示を目的として本発明の様々な実施形態の説明を提示してきたが、網羅的であること、または開示された実施形態に限定することを意図するものではない。説明される実施形態の範囲及び趣旨から逸脱することなく、多くの修正及び変形が、当業者には明らかであろう。本明細書で使用されている用語は、実施形態の原理、実用的な適用、もしくは市場で見られる技術に対する技術的改善を最もよく説明するために、または、他の当業者による本明細書に開示されている実施形態の理解を可能にするために、選ばれた。
本明細書によれば、以下の各項目もまた開示される。
［項目１］
人工知能モデルを訓練する方法であって、前記方法は反復訓練ループを備え、前記反復訓練ループは、
訓練データの現在のセットを受信する段階であって、訓練データの前記現在のセットは、前記反復訓練ループの前の反復からの訓練データと異なる、受信する段階と、
訓練データの前記現在のセットを、それぞれの訓練部分とそれぞれの検証部分とを有する訓練データサブセットに分割する段階と、
前記それぞれの訓練部分を使用して、前記訓練データサブセットで前記人工知能モデルを連続的に訓練する段階であって、前記人工知能モデルを連続的に訓練する段階は、前記それぞれの検証部分を使用して前記訓練データサブセットに関する性能メトリックを計算することを含む、訓練する段階と、
改善性能条件が満たされているかどうかを判断するように、前記反復訓練ループの前の反復からの前記性能メトリックを、前記訓練データサブセットに関する前記計算された性能メトリックと比較する段階と、
所定の数の前の反復において少なくとも一度は改善性能メトリック条件が満たされているとの判断に応答して、前記反復訓練ループを停止する段階と、を備える、
人工知能モデルを訓練する方法。
［項目２］
前記方法はさらに、前記反復訓練ループを使用して複数の人工知能モデルを同時に訓練する段階を備える、項目１に記載の方法。
［項目３］
管理限界は統計的プロセス管理限界である、項目１に記載の方法。
［項目４］
前記性能メトリックは、正解率、適合率、再現率、曲線メトリクス下の面積、真陽性率、真陰性率、偽陽性率、前記真陽性率と前記真陰性率とを両者とも全体のサンプルサイズによって除算したものの合計、平均二乗誤差、およびＦ１スコアからなる群から選択される、項目１に記載の方法。
［項目５］
前記人工知能モデルは畳み込みニューラルネットワークであり、前記人工知能モデルの前記訓練は、ディープラーニングアルゴリズムを使用して実施される、項目１に記載の方法。
［項目６］
前記人工知能モデルは、ニューラルネットワーク、分類子ニューラルネットワーク、畳み込みニューラルネットワーク、ベイジアンニューラルネットワーク、ベイジアンネットワーク、ベイズネットワーク、単純ベイズ分類器、信念ネットワーク、または意思決定ネットワーク、決定木、サポートベクタマシン、回帰分析、および遺伝アルゴリズムからなる群から選択される、項目１から５のいずれか一項に記載の方法。
［項目７］
前記複数の人工知能モデルのそれぞれは、ニューラルネットワーク、分類子ニューラルネットワーク、畳み込みニューラルネットワーク、ベイジアンニューラルネットワーク、ベイジアンネットワーク、ベイズネットワーク、単純ベイズ分類器、信念ネットワーク、または意思決定ネットワーク、決定木、サポートベクタマシン、回帰分析、および遺伝アルゴリズムからなる群から選択される、項目２に記載の方法。
［項目８］
コンピュータシステムであって、
前記コンピュータシステムを制御するように構成されたプロセッサと、
機械実行可能な命令を格納したメモリと、を備え、前記命令の実行は、前記プロセッサに、反復訓練ループを実施させ、前記反復訓練ループは、
訓練データの現在のセットを受信することであって、訓練データの前記現在のセットは、前記反復訓練ループの前の反復からの訓練データと異なる、受信することと、
訓練データの前記現在のセットを、それぞれの訓練部分とそれぞれの検証部分とを有する訓練データサブセットに分割することと、
前記それぞれの訓練部分を使用して、前記訓練データサブセットで人工知能モデルを連続的に訓練することであって、前記人工知能モデルを連続的に訓練することは、前記それぞれの検証部分を使用して前記訓練データサブセットに関する性能メトリックを計算することを含む、訓練することと、
改善性能条件が満たされているかどうかを判断するように、前記反復訓練ループの前の反復からの前記性能メトリックを、前記訓練データサブセットに関する前記計算された性能メトリックと比較することと
所定の数の前の反復において少なくとも一度は改善性能メトリック条件が満たされているとの判断に応答して、前記反復訓練ループを停止することと、を備える、
コンピュータシステム。
［項目９］
前記反復訓練ループはさらに、前記反復訓練ループを使用して複数の人工知能モデルを同時に訓練することを備える、項目８に記載のコンピュータシステム。
［項目１０］
管理限界は統計的プロセス管理限界である、項目８または９に記載のコンピュータシステム。
［項目１１］
人工知能モデルを訓練する方法であって、前記方法は反復訓練ループを備え、前記反復訓練ループは、
訓練データの現在のセットを受信する段階であって、訓練データの前記現在のセットは、前記反復訓練ループの前の反復からの訓練データと異なる、受信する段階と、
訓練データの前記現在のセットを、それぞれの訓練部分とそれぞれの検証部分とを有する訓練データサブセットに分割する段階と、
前記それぞれの訓練部分を使用して、前記訓練データサブセットで前記人工知能モデルを連続的に訓練する段階であって、前記人工知能モデルを連続的に訓練する段階は、前記それぞれの検証部分を使用して前記訓練データサブセットに関する性能メトリックを計算することを含む、訓練する段階と、
前記訓練データサブセットに関する前記計算された性能メトリックに少なくとも部分的に基づいて、現在の訓練管理限界を計算する段階と、
改善性能メトリック条件が満たされているかどうかを判断するように、前記反復訓練ループの前の反復からの訓練管理限界を、前記計算された現在の訓練管理限界と比較する段階と、
所定の数の前の反復において少なくとも一度は前記改善性能メトリック条件が満たされているとの判断に応答して、前記反復訓練ループを停止する段階と、を備える、
人工知能モデルを訓練する方法。
［項目１２］
前記方法はさらに、前記反復訓練ループを使用して複数の人工知能モデルを同時に訓練する段階を備える、項目１１に記載の方法。
［項目１３］
前記方法はさらに、前記反復訓練ループの各反復に関するグローバル管理限界を選ぶ段階を備え、前記グローバル管理限界は、前記複数の人工知能モデルの最良の性能メトリックを示す前記反復訓練ループから管理限界を選ぶことによって選択され、前記反復訓練ループはさらに、前記複数の人工知能モデルのそれぞれに関する前記反復訓練ループの直前の反復からの前記訓練管理限界を、前記反復訓練ループの直前の反復からの直前のグローバル管理限界で置き換える段階を備える、項目１２に記載の方法。
［項目１４］
前記反復訓練ループの各反復の最中の前記複数の人工知能モデルのそれぞれに関する前記訓練管理限界は、別個に計算される、項目１２に記載の方法。
［項目１５］
前記性能メトリックの増加している値は、より良好な人工知能モデル性能を示し、管理限界は、前記性能メトリックの平均に、前記性能メトリックの範囲を定数倍したものを加えたものとして計算される、項目１１に記載の方法。
［項目１６］
前記性能メトリックの減少している値は、より良好な人工知能モデル性能を示し、管理限界は、前記性能メトリックの平均から、前記性能メトリックの範囲を定数倍したものを減じたものとして計算される、項目１１に記載の方法。
［項目１７］
管理限界は統計的プロセス管理限界である、項目１１に記載の方法。
［項目１８］
改善性能メトリック条件が満たされているかどうかを判断するように、前記反復訓練ループの前の反復からの訓練管理限界を、前記訓練データサブセットに関する前記性能メトリックの平均と比較する段階は、前記反復訓練ループの直前の反復からの訓練管理限界を、前記訓練データサブセットに関する前記性能メトリックの前記平均と比較する段階を含む、項目１１から１７のいずれか一項に記載の方法。
［項目１９］
プログラム命令を備えるコンピュータプログラムであって、前記プログラム命令は、
訓練データの現在のセットを受信することであって、訓練データの前記現在のセットは、反復訓練ループの前の反復からの訓練データと異なる、受信することと、
訓練データの前記現在のセットを、それぞれの訓練部分とそれぞれの検証部分とを有する訓練データサブセットに分割することと、
前記それぞれの訓練部分を使用して、前記訓練データサブセットで人工知能モデルを連続的に訓練することであって、前記人工知能モデルを連続的に訓練することは、前記それぞれの検証部分を使用して前記訓練データサブセットに関する性能メトリックを計算することを含む、訓練することと、
前記訓練データサブセットに関する前記計算された性能メトリックに少なくとも部分的に基づいて、現在の訓練管理限界を計算することと、
改善性能メトリック条件が満たされているかどうかを判断するように、前記反復訓練ループの前の反復からの訓練管理限界を、前記計算された現在の訓練管理限界と比較することと、
所定の数の前の反復において少なくとも一度は前記改善性能メトリック条件が満たされているとの判断に応答して、前記反復訓練ループを停止することと、を行う命令を備える、
コンピュータプログラム。
［項目２０］
コンピュータシステムであって、
前記コンピュータシステムを制御するように構成されるプロセッサと、
機械実行可能な命令を格納したメモリと、を備え、前記命令の実行は、前記プロセッサに、反復訓練ループを実施させ、前記反復訓練ループは、
訓練データの現在のセットを受信することであって、訓練データの前記現在のセットは、前記反復訓練ループの前の反復からの訓練データと異なる、受信することと、
訓練データの前記現在のセットを、それぞれの訓練部分とそれぞれの検証部分とを有する訓練データサブセットに分割することと、
前記それぞれの訓練部分を使用して、前記訓練データサブセットで人工知能モデルを連続的に訓練することであって、前記人工知能モデルを連続的に訓練することは、前記それぞれの検証部分を使用して前記訓練データサブセットに関する性能メトリックを計算することを含む、訓練することと、
前記訓練データサブセットに関する前記計算された性能メトリックに少なくとも部分的に基づいて、現在の訓練管理限界を計算することと、
改善性能メトリック条件が満たされているかどうかを判断するように、前記反復訓練ループの前の反復からの訓練管理限界を、前記計算された現在の訓練管理限界と比較することと、
所定の数の前の反復において少なくとも一度は前記改善性能メトリック条件が満たされているとの判断に応答して、前記反復訓練ループを停止することと、を備える、
コンピュータシステム。
［項目２１］
前記命令の実行は、前記プロセッサに、訓練管理ループを使用して同時に複数の人工知能モデルを訓練させる、項目２０に記載のコンピュータシステム。
［項目２２］
前記命令の実行は、前記プロセッサに、前記反復訓練ループの各反復に関するグローバル管理限界を選ばせ、前記命令の実行は、前記プロセッサに、最良の性能メトリックを示す前記反復訓練ループから管理限界を選ばせ、前記反復訓練ループはさらに、前記複数の人工知能モデルのそれぞれに関する前記反復訓練ループの直前の反復からの前記訓練管理限界を、前記直前のグローバル管理限界で置き換えることを備える、項目２１に記載のコンピュータシステム。
［項目２３］
前記反復訓練ループの各反復の最中の前記複数の人工知能モデルのそれぞれに関する前記訓練管理限界は、別個に計算される、項目２１に記載のコンピュータシステム。
［項目２４］
前記性能メトリックは、正解率、適合率、再現率、曲線メトリクス下の面積、真陽性率、真陰性率、偽陽性率、前記真陽性率と前記真陰性率とを両者とも全体のサンプルサイズによって除算したものの合計、平均二乗誤差、およびＦ１スコアからなる群から選択される、項目２１に記載のコンピュータシステム。
［項目２５］
前記人工知能モデルは、ニューラルネットワーク、分類子ニューラルネットワーク、畳み込みニューラルネットワーク、ベイジアンニューラルネットワーク、ベイジアンネットワーク、ベイズネットワーク、単純ベイズ分類器、信念ネットワーク、または意思決定ネットワーク、決定木、サポートベクタマシン、回帰分析、および遺伝アルゴリズムからなる群から選択される、項目２１から２４のいずれか一項に記載のコンピュータシステム。

Claims (25)

1. 人工知能モデルを訓練する方法であって、前記方法は反復訓練ループを備え、前記反復訓練ループは、
   訓練データの現在のセットを受信する段階であって、訓練データの前記現在のセットは、前記反復訓練ループの前の反復からの訓練データと異なる、受信する段階と、
   訓練データの前記現在のセットを複数の訓練データサブセットに分割する段階であって、各訓練データサブセットはそれぞれの訓練部分とそれぞれの検証部分とを有する、分割する段階と、
   前記それぞれの訓練部分を使用して、前記複数の訓練データサブセットの各訓練データサブセットで前記人工知能モデルを連続的に訓練する段階であって、前記人工知能モデルを連続的に訓練する段階は、前記それぞれの訓練部分を用いて訓練した後に、前記それぞれの検証部分を使用して前記複数の訓練データサブセットの各訓練データサブセットに関する性能メトリックを計算することを含む、訓練する段階と、
   改善性能メトリック条件が満たされているかどうかを判断するように、前記反復訓練ループの前の反復からの平均に基づく管理限界を、前記複数の訓練データサブセットに関する前記計算された複数の性能メトリックの平均と比較する段階と、
   所定の数の前の反復において少なくとも一度は前記改善性能メトリック条件が満たされなかったとの判断に応答して、前記反復訓練ループを停止する段階と、を備える、
   コンピュータが人工知能モデルを訓練する方法。
2. 前記方法はさらに、前記反復訓練ループを使用して複数の人工知能モデルを同時に訓練する段階を備える、請求項１に記載の方法。
3. 前記性能メトリックの前記管理限界は統計的プロセス管理限界である、請求項１に記載の方法。
4. 前記性能メトリックは、正解率、適合率、再現率、曲線メトリクス下の面積、真陽性率、真陰性率、偽陽性率、前記真陽性率と前記真陰性率とを両者とも全体のサンプルサイズによって除算したものの合計、平均二乗誤差、およびＦ１スコアからなる群から選択される、請求項１に記載の方法。
5. 前記人工知能モデルは畳み込みニューラルネットワークであり、前記人工知能モデルの前記訓練は、ディープラーニングアルゴリズムを使用して実施される、請求項１に記載の方法。
6. 前記人工知能モデルは、ニューラルネットワーク、分類子ニューラルネットワーク、畳み込みニューラルネットワーク、ベイジアンニューラルネットワーク、ベイジアンネットワーク、ベイズネットワーク、単純ベイズ分類器、信念ネットワーク、または意思決定ネットワーク、決定木、サポートベクタマシン、回帰分析、および遺伝アルゴリズムからなる群から選択される、請求項１から５のいずれか一項に記載の方法。
7. 前記複数の人工知能モデルのそれぞれは、ニューラルネットワーク、分類子ニューラルネットワーク、畳み込みニューラルネットワーク、ベイジアンニューラルネットワーク、ベイジアンネットワーク、ベイズネットワーク、単純ベイズ分類器、信念ネットワーク、または意思決定ネットワーク、決定木、サポートベクタマシン、回帰分析、および遺伝アルゴリズムからなる群から選択される、請求項２に記載の方法。
8. コンピュータシステムであって、
   前記コンピュータシステムを制御するように構成されたプロセッサと、
   機械実行可能な命令を格納したメモリと、を備え、前記命令の実行は、前記プロセッサに、反復訓練ループを実施させ、前記反復訓練ループは、
   訓練データの現在のセットを受信することであって、訓練データの前記現在のセットは、前記反復訓練ループの前の反復からの訓練データと異なる、受信することと、
   訓練データの前記現在のセットを複数の訓練データサブセットに分割する段階であって、各訓練データサブセットはそれぞれの訓練部分とそれぞれの検証部分とを有する、分割することと、
   前記それぞれの訓練部分を使用して、前記複数の訓練データサブセットの各訓練データサブセットで人工知能モデルを連続的に訓練することであって、前記人工知能モデルを連続的に訓練することは、前記それぞれの訓練部分を用いて訓練した後に、前記それぞれの検証部分を使用して前記複数の訓練データサブセットの各訓練データサブセットに関する性能メトリックを計算することを含む、訓練することと、
   改善性能メトリック条件が満たされているかどうかを判断するように、前記反復訓練ループの前の反復からの平均に基づく管理限界を、前記複数の訓練データサブセットに関する前記計算された複数の性能メトリックの平均と比較することと
   所定の数の前の反復において少なくとも一度は前記改善性能メトリック条件が満たされなかったとの判断に応答して、前記反復訓練ループを停止することと、を備える、
   コンピュータシステム。
9. 前記反復訓練ループはさらに、前記反復訓練ループを使用して複数の人工知能モデルを同時に訓練することを備える、請求項８に記載のコンピュータシステム。
10. 前記性能メトリックの前記管理限界は統計的プロセス管理限界である、請求項８または９に記載のコンピュータシステム。
11. 人工知能モデルを訓練する方法であって、前記方法は反復訓練ループを備え、前記反復訓練ループは、
    訓練データの現在のセットを受信する段階であって、訓練データの前記現在のセットは、前記反復訓練ループの前の反復からの訓練データと異なる、受信する段階と、
    訓練データの前記現在のセットを、それぞれの訓練部分とそれぞれの検証部分とを有する訓練データサブセットに分割する段階と、
    前記それぞれの訓練部分を使用して、前記訓練データサブセットで前記人工知能モデルを連続的に訓練する段階であって、前記人工知能モデルを連続的に訓練する段階は、前記それぞれの検証部分を使用して前記訓練データサブセットに関する性能メトリックを計算することを含む、訓練する段階と、
    前記訓練データサブセットに関する前記計算された性能メトリックに少なくとも部分的に基づいて、現在の訓練管理限界を計算する段階と、
    改善性能メトリック条件が満たされているかどうかを判断するように、前記反復訓練ループの前の反復からの訓練管理限界を、前記計算された現在の訓練管理限界と比較する段階と、
    所定の数の前の反復において少なくとも一度は前記改善性能メトリック条件が満たされなかったとの判断に応答して、前記反復訓練ループを停止する段階と、を備える、
    コンピュータが人工知能モデルを訓練する方法。
12. 前記方法はさらに、前記反復訓練ループを使用して複数の人工知能モデルを同時に訓練する段階を備える、請求項１１に記載の方法。
13. 前記方法はさらに、前記反復訓練ループの各反復に関するグローバル管理限界を選ぶ段階を備え、前記グローバル管理限界は、前記複数の人工知能モデルの最良の性能メトリックを示す前記反復訓練ループから管理限界を選ぶことによって選択され、前記反復訓練ループはさらに、前記複数の人工知能モデルのそれぞれに関する前記反復訓練ループの直前の反復からの前記訓練管理限界を、前記反復訓練ループの直前の反復からの直前のグローバル管理限界で置き換える段階を備える、請求項１２に記載の方法。
14. 前記反復訓練ループの各反復の最中の前記複数の人工知能モデルのそれぞれに関する前記訓練管理限界は、別個に計算される、請求項１２に記載の方法。
15. 前記性能メトリックの増加している値は、より良好な人工知能モデル性能を示し、管理限界は、前記性能メトリックの平均に、前記性能メトリックの範囲を定数倍したものを加えたものとして計算される、請求項１１に記載の方法。
16. 前記性能メトリックの減少している値は、より良好な人工知能モデル性能を示し、管理限界は、前記性能メトリックの平均から、前記性能メトリックの範囲を定数倍したものを減じたものとして計算される、請求項１１に記載の方法。
17. 前記性能メトリックの前記訓練管理限界は統計的プロセス管理限界である、請求項１１に記載の方法。
18. 改善性能メトリック条件が満たされているかどうかを判断するように、前記反復訓練ループの前の反復からの訓練管理限界を、前記訓練データサブセットに関する前記性能メトリックの平均と比較する段階は、前記反復訓練ループの直前の反復からの訓練管理限界を、前記訓練データサブセットに関する前記性能メトリックの前記平均と比較する段階を含む、請求項１１から１７のいずれか一項に記載の方法。
19. プログラム命令を備えるコンピュータプログラムであって、前記プログラム命令は、反復訓練ループを行う命令を備え、前記反復訓練ループは、
    訓練データの現在のセットを受信することであって、訓練データの前記現在のセットは、前記反復訓練ループの前の反復からの訓練データと異なる、受信することと、
    訓練データの前記現在のセットを、それぞれの訓練部分とそれぞれの検証部分とを有する訓練データサブセットに分割することと、
    前記それぞれの訓練部分を使用して、前記訓練データサブセットで人工知能モデルを連続的に訓練することであって、前記人工知能モデルを連続的に訓練することは、前記それぞれの検証部分を使用して前記訓練データサブセットに関する性能メトリックを計算することを含む、訓練することと、
    前記訓練データサブセットに関する前記計算された性能メトリックに少なくとも部分的に基づいて、現在の訓練管理限界を計算することと、
    改善性能メトリック条件が満たされているかどうかを判断するように、前記反復訓練ループの前の反復からの訓練管理限界を、前記計算された現在の訓練管理限界と比較することと、
    所定の数の前の反復において少なくとも一度は前記改善性能メトリック条件が満たされなかったとの判断に応答して、前記反復訓練ループを停止することと、をコンピュータにより実行させる命令を備える、
    コンピュータプログラム。
20. コンピュータシステムであって、
    前記コンピュータシステムを制御するように構成されるプロセッサと、
    機械実行可能な命令を格納したメモリと、を備え、前記命令の実行は、前記プロセッサに、反復訓練ループを実施させ、前記反復訓練ループは、
    訓練データの現在のセットを受信することであって、訓練データの前記現在のセットは、前記反復訓練ループの前の反復からの訓練データと異なる、受信することと、
    訓練データの前記現在のセットを、それぞれの訓練部分とそれぞれの検証部分とを有する訓練データサブセットに分割することと、
    前記それぞれの訓練部分を使用して、前記訓練データサブセットで人工知能モデルを連続的に訓練することであって、前記人工知能モデルを連続的に訓練することは、前記それぞれの検証部分を使用して前記訓練データサブセットに関する性能メトリックを計算することを含む、訓練することと、
    前記訓練データサブセットに関する前記計算された性能メトリックに少なくとも部分的に基づいて、現在の訓練管理限界を計算することと、
    改善性能メトリック条件が満たされているかどうかを判断するように、前記反復訓練ループの前の反復からの訓練管理限界を、前記計算された現在の訓練管理限界と比較することと、
    所定の数の前の反復において少なくとも一度は前記改善性能メトリック条件が満たされなかったとの判断に応答して、前記反復訓練ループを停止することと、を備える、
    コンピュータシステム。
21. 前記命令の実行は、前記プロセッサに、訓練管理ループを使用して同時に複数の人工知能モデルを訓練させる、請求項２０に記載のコンピュータシステム。
22. 前記命令の実行は、前記プロセッサに、前記反復訓練ループの各反復に関するグローバル管理限界を選ばせ、前記命令の実行は、前記プロセッサに、最良の性能メトリックを示す前記反復訓練ループから管理限界を選ばせ、前記反復訓練ループはさらに、前記複数の人工知能モデルのそれぞれに関する前記反復訓練ループの直前の反復からの前記訓練管理限界を、前記直前のグローバル管理限界で置き換えることを備える、請求項２１に記載のコンピュータシステム。
23. 前記反復訓練ループの各反復の最中の前記複数の人工知能モデルのそれぞれに関する前記訓練管理限界は、別個に計算される、請求項２１に記載のコンピュータシステム。
24. 前記性能メトリックは、正解率、適合率、再現率、曲線メトリクス下の面積、真陽性率、真陰性率、偽陽性率、前記真陽性率と前記真陰性率とを両者とも全体のサンプルサイズによって除算したものの合計、平均二乗誤差、およびＦ１スコアからなる群から選択される、請求項２１に記載のコンピュータシステム。
25. 前記人工知能モデルは、ニューラルネットワーク、分類子ニューラルネットワーク、畳み込みニューラルネットワーク、ベイジアンニューラルネットワーク、ベイジアンネットワーク、ベイズネットワーク、単純ベイズ分類器、信念ネットワーク、または意思決定ネットワーク、決定木、サポートベクタマシン、回帰分析、および遺伝アルゴリズムからなる群から選択される、請求項２１から２４のいずれか一項に記載のコンピュータシステム。