JP7654649B2 - 機械学習解釈可能性のためのシステム及び方法 - Google Patents

Description

機械学習は、強力な予測ツールを提供するが、ユーザは、しばしば（機械学習モデルを訓練するために用いられる）訓練データが訓練済みモデルにより提供される予想にどのように関連があるかについて疑問に思ったままにしておかれる。

この現象は、しばしば「ブラック・ボックス」機械学習モデルと呼ばれる。表のデータに基づいて、機械学習予測結果の解釈をユーザに提供する１つの方法は図を用いる。画像又は文字データに特有のいくつかの解釈可能性の方法もまた存在する。しかしながら、時系列予想に適用できる方法は存在しない。

本開示は、ブラック・ボックス機械学習モデルから時系列予想の実例ベースの機械学習解釈可能性の説明を視覚的に示す問題に対処する。時系列データを解釈するのに適している視覚化によって示される、予想において選択された予測点とモデルを訓練するのに用いられる訓練データとの類似性測度を関連付ける方法及びシステムが開示される。この方法は、訓練データの１つ又は複数の点が、選択された予測の予想値を説明する時系列データのプロットから明白にするので、上述の問題を解決する。方法は、機械学習モデルの出力を説明する統一手法であるＳＨａｐｌｅｙ Ａｄｄｉｔｉｖｅ ｅｘＰｌａｎａｔｉｏｎｓ（ＳＨＡＰ）を用いることを含むことができる。ＳＨＡＰは、モデルにより用いられて、インスタンスごとの特徴重要性を計算してもよい。これらの特徴重要性及び特徴値は、訓練データと予測との類似性を計算するベクトルとして用いられる。この方法は、どのようにモデルが特定のインスタンスの説明のための特徴の重要性を重み付けするかを示すだけではなく、過去からの関連した実例に基づいてなぜかを説明することもできる。

１つの態様では、方法は、プロセッサによって、訓練データを用いて回帰機械学習モデルを訓練するステップと、プロセッサによって、訓練済みモデルに基づいて予測を予測するステップと、機械学習解釈可能性モジュールによって、訓練データ、訓練済みモデル及び予測を受信するステップと、機械学習解釈可能性モジュールによって、訓練データ及び予測の特性を比較するステップと、を含む。

方法のいくつかの実施例において、特性を比較するステップは、訓練データ、予測並びに訓練データ及び予測の特性の視覚化を含む。

方法のいくつかの実施例において、特性を比較するステップは、機械学習解釈可能性モジュールによって、各訓練データ点のヒューリスティック関数の値を決定するステップを含み、予測は、複数の予測されたデータ点を備え、ヒューリスティック関数は、各訓練データ点のＳＨＡＰ値と、予測されたデータ点のＳＨＡＰ値と、訓練データ点の特徴値と、予測されたデータ点の特徴値と、を組み込む。ヒューリスティック関数は、ＳＨＡＰ距離及び特徴距離の組み合わせを備えることができ、ＳＨＡＰ距離は、訓練データ点のＳＨＡＰベクトルと予測されたデータ点のＳＨＡＰベクトルとの間のユークリッド距離であり、特徴距離は、訓練データ点の特徴ベクトルと予測されたデータ点の特徴ベクトルとの間のユークリッド距離であり、ＳＨＡＰベクトルは、データ点のＳＨＡＰ値の順序列であり、特徴ベクトルは、データ点の特徴値の順序列である。

方法のいくつかの実施例において、特性を比較するステップは、機械学習解釈可能性モジュールによって、予測の１つ又は複数の点のＳＨＡＰ値を決定するステップと、機械学習解釈可能性モジュールによって、訓練データの１つ又は複数の点のＳＨＡＰ値を決定するステップと、機械学習解釈可能性モジュールによって、予測の１つ又は複数の点の各々のために、予測点のＳＨＡＰ値と訓練データの１つ又は複数の点の各々のＳＨＡＰ値との差を決定するステップと、を含む。差は、予測点のＳＨＡＰベクトルと訓練データの１つ又は複数の点の各々のＳＨＡＰベクトルとの間のユークリッド距離とすることができる。

方法のいくつかの実施例において、特性を比較するステップは、機械学習解釈可能性モジュールによって、訓練データから訓練データ点を除去し、訂正された訓練データ・セットを形成するステップと、機械学習解釈可能性モジュールによって、訂正された訓練データ・セットにおいて訓練済みモデルを再訓練するステップと、機械学習解釈可能性モジュールによって、訂正された訓練データ・セットに基づいて予測し、訂正された予測を提供するステップと、機械学習解釈可能性モジュールによって、予測と訂正された予測との差を比較するステップと、機械学習解釈可能性モジュールによって、差に基づいて、影響の測度を除去された訓練データ点に割り当てるステップと、を含む、

他の態様において、システムは、プロセッサと、命令を格納するメモリと、を備え、命令は、プロセッサによって実行されると、システムが、プロセッサによって、訓練データを用いて回帰機械学習モデルを訓練し、プロセッサによって、訓練済みモデルに基づいて予測を予測し、機械学習解釈可能性モジュールによって、訓練データ、訓練済みモデル及び予測を受信し、機械学習解釈可能性モジュールによって、訓練データ及び予測の特性を比較する、ように構成する。

いくつかの実施例において、システムは、訓練データ、予測並びに訓練データ及び予測の特性の視覚化を提供するようにさらに構成される。

いくつかの実施例において、システムは、機械学習解釈可能性モジュールによって、各訓練データ点のヒューリスティック関数の値を決定するようにさらに構成され、予測は、複数の予測されたデータ点を備え、ヒューリスティック関数は、各訓練データ点のＳＨＡＰ値と、予測されたデータ点のＳＨＡＰ値と、訓練データ点の特徴値と、予測されたデータ点の特徴値と、を組み込む。１１．ヒューリスティック関数は、ＳＨＡＰ距離及び特徴距離の組み合わせを備えることができ、ＳＨＡＰ距離は、訓練データ点のＳＨＡＰベクトルと予測されたデータ点のＳＨＡＰベクトルとの間のユークリッド距離であり、特徴距離は、訓練データ点の特徴ベクトルと予測されたデータ点の特徴ベクトルとの間のユークリッド距離であり、ＳＨＡＰベクトルは、データ点のＳＨＡＰ値の順序列であり、特徴ベクトルは、データ点の特徴値の順序列である。

いくつかの実施例において、システムは、機械学習解釈可能性モジュールによって、予測の１つ又は複数の点のＳＨＡＰ値を決定し、機械学習解釈可能性モジュールによって、訓練データの１つ又は複数の点のＳＨＡＰ値を決定し、機械学習解釈可能性モジュールによって、予測の１つ又は複数の点の各々のために、予測点のＳＨＡＰ値と訓練データの１つ又は複数の点の各々のＳＨＡＰ値との差を決定する、ようにさらに構成される。差は、予測点のＳＨＡＰベクトルと訓練データの１つ又は複数の点の各々のＳＨＡＰベクトルとの間のユークリッド距離とすることができる。

いくつかの実施例において、システムは、機械学習解釈可能性モジュールによって、訓練データから訓練データ点を除去し、訂正された訓練データ・セットを形成し、機械学習解釈可能性モジュールによって、訂正された訓練データ・セットにおいて訓練済みモデルを再訓練し、機械学習解釈可能性モジュールによって、訂正された訓練データ・セットに基づいて予測し、訂正された予測を提供し、機械学習解釈可能性モジュールによって、予測と訂正された予測との差を比較し、機械学習解釈可能性モジュールによって、差に基づいて、影響の測度を除去された訓練データ点に割り当てる、ようにさらに構成される。

さらに他の態様において、非一時的コンピュータ可読記憶媒体は命令を含み、命令は、コンピュータによって実行されると、コンピュータに、プロセッサによって、訓練データを用いて回帰機械学習モデルを訓練させ、プロセッサによって、訓練済みモデルに基づいて予測を予測させ、機械学習解釈可能性モジュールによって、訓練データ、訓練済みモデル及び予測を受信させ、機械学習解釈可能性モジュールによって、訓練データ及び予測の特性を比較させる。

非一時的コンピュータ可読記憶媒体のいくつかの実施例において、命令は、コンピュータによって実行されるとさらに、コンピュータに、訓練データ、予測並びに訓練データ及び予測の特性の視覚化を提供させる。

非一時的コンピュータ可読記憶媒体のいくつかの実施例において、命令は、コンピュータによって実行されるとさらに、コンピュータに、機械学習解釈可能性モジュールによって、各訓練データ点のヒューリスティック関数の値を決定させ、予測は、複数の予測されたデータ点を備え、ヒューリスティック関数は、各訓練データ点のＳＨＡＰ値と、予測されたデータ点のＳＨＡＰ値と、訓練データ点の特徴値と、予測されたデータ点の特徴値と、を組み込む。ヒューリスティック関数は、ＳＨＡＰ距離及び特徴距離の組み合わせを備えることができ、ＳＨＡＰ距離は、訓練データ点のＳＨＡＰベクトルと予測されたデータ点のＳＨＡＰベクトルとの間のユークリッド距離であり、特徴距離は、訓練データ点の特徴ベクトルと予測されたデータ点の特徴ベクトルとの間のユークリッド距離であり、ＳＨＡＰベクトルは、データ点のＳＨＡＰ値の順序列であり、特徴ベクトルは、データ点の特徴値の順序列である。

非一時的コンピュータ可読記憶媒体のいくつかの実施例において、命令は、コンピュータによって実行されるとさらに、コンピュータに、機械学習解釈可能性モジュールによって、予測の１つ又は複数の点のＳＨＡＰ値を決定させ、機械学習解釈可能性モジュールによって、訓練データの１つ又は複数の点のＳＨＡＰ値を決定させ、機械学習解釈可能性モジュールによって、予測の１つ又は複数の点の各々のために、予測点のＳＨＡＰ値と訓練データの１つ又は複数の点の各々のＳＨＡＰ値との差を決定させる。差は、予測点のＳＨＡＰベクトルと訓練データの１つ又は複数の点の各々のＳＨＡＰベクトルとの間のユークリッド距離とすることができる。

非一時的コンピュータ可読記憶媒体のいくつかの実施例において、命令は、コンピュータによって実行されるとさらに、コンピュータに、機械学習解釈可能性モジュールによって、訓練データから訓練データ点を除去し、訂正された訓練データ・セットを形成させ、機械学習解釈可能性モジュールによって、訂正された訓練データ・セットにおいて訓練済みモデルを再訓練させ、機械学習解釈可能性モジュールによって、訂正された訓練データ・セットに基づいて予測し、訂正された予測を提供させ、機械学習解釈可能性モジュールによって、予測と訂正された予測との差を比較させ、機械学習解釈可能性モジュールによって、差に基づいて、影響の測度を除去された訓練データ点に割り当てさせる。

この明細書の主題の１つ又は複数の実施例の詳細は、添付の図面及び以下の説明に記載される。主題の他の特徴、態様及び利点は、説明、図面及び特許請求の範囲から明らかになる。

さまざまな図面において類似の参照符号及び名称は、類似の要素を意味する。

任意の特定の要素又は動作の議論を容易に識別するために、参照符号の最上位数又は桁は、その要素が最初に導入される図番を意味する。

一実施例に従うフローチャートである。 一実施例に従う機械学習解釈可能性モジュールのフローチャートである。 一実施例に従うヒューリスティック関数の実例を示す図である。 図３Ａに示されるヒューリスティック関数の実例のさらなる態様を示す図である。 図３Ａに示されるヒューリスティック関数の実例のさらなる態様を示す図である。 一実施例に従う実例を示す図である。 一実施例に従う実例を示す図である。 一実施例に従うフローチャートである。 一実施例に従う実例を示す図である。 一実施例に従うシステムを示す図である。

本開示において、本願明細書に記載されている本主題の任意の実施例又は実装は、実例、例又は説明として機能し、必ずしも他の実施例より好ましいか有利であると解釈されるべきではない。

開示は、さまざまな修正及び代替形態に影響されやすいが、本発明の特定の実施例は、図面の実例として示され、以下に詳細に記載されている。しかしながら、それは、開示される特定の形式に開示を限定することを意図せず、これに反して、開示は、開示の趣旨及び範囲に該当するすべての修正物、均等物及び代替物をカバーする、ということを理解されたい。

「備える」、「備えている」という用語又はその他の任意のバリエーションは、非排他的な包含をカバーすることを意図するので、構成要素又はステップのリストを備えるセットアップ、デバイス又は方法は、それらの構成要素又はステップのみを含むわけではなく、明示的にはリストされないか、又は、この種のセットアップ又はデバイス又は方法に固有の他の構成要素又はステップを含んでもよい。換言すれば、「～を備える」システム又は装置内の１つ又は複数の要素は、より多くの制約なしで、システム又は装置内の他の要素又は追加の要素の存在を排除しない。

開示の実施例の以下の詳細な説明において、この一部を形成する添付の図面を参照し、図面には、開示が実施されうる特定の実施例が説明のために示される。これらの実施例は、当業者が開示を実施できるのに十分詳細に記載され、他の実施例を利用してもよく、本開示の範囲を逸脱することなく変化がなされてもよいことを理解されたい。それゆえ、以下の説明は、限定する意味でとらえるべきではない。

図１は、一実施例に従うフローチャート１００を示す。

フローチャート１００は、２つの段階、すなわち、第１の段階１０２及び第２の段階１０４を備える。

第１の段階１０２において、訓練データ１０６は、機械学習アルゴリズム１０８により用いられ、訓練済みモデル１１０を提供する。機械学習アルゴリズム１０８は、訓練済みモデル１１０を用いて、将来のデータの１つ（又は複数）の予測１１２を提供する。

第２の段階１０４において、次に、訓練データ１０６、訓練済みモデル１１０及び予測１１２は、機械学習解釈可能性モジュール１１４に入力され、説明出力１１６を提供する。説明出力１１６は、視覚的に出力可能であり、グラフィカル・ユーザ・インタフェース１１８を含んでもよいので、ユーザは、説明出力１１６と相互作用することができる。

図２は、一実施例に従うＭＬＩ（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｉｎｔｅｒｐｒｅｔａｂｉｌｉｔｙ）モジュールのフローチャート２００を示す。すなわち、図２は、機械学習解釈可能性モジュール１１４の一実施例を示す。

機械学習解釈可能性モジュール１１４は、以下の２つのステージにおいて動作することができる。第１のステージは、訓練データ１０６及び訓練済みモデル１１０に基づく過去のＳＨＡＰ値２０２と、訓練済みモデル１１０及び予測１１２に基づく将来のＳＨＡＰ値２０４と、の計算を備えることができる。

一旦、過去のＳＨＡＰ値２０２及び将来のＳＨＡＰ値２０４が計算されると、それらは、第２のステージにおいて用いられ、過去のＳＨＡＰ値２０２と将来のＳＨＡＰ値２０４との類似性測度２０６が計算される。

次に、類似性測度２０６は、ユーザのために説明出力１１６として出力可能である。説明出力１１６は、視覚的とすることができ、グラフィカル・ユーザ・インタフェース１１８を含んでもよいので、ユーザは、結果と相互作用することができる。

いくつかの実施例において、ヒューリスティック関数は、過去のＳＨＡＰ値２０２と将来のＳＨＡＰ値２０４との差及び過去の特徴値と将来の特徴値との差の両方の組み合わせを含むことによって、類似性測度２０６の計算において用いることができる。

いくつかの実施例において、各点（過去又は予想のいずれか）は、特徴ベクトル及びＳＨＡＰベクトルが与えられる。特徴ベクトルは、単に、データ点の所定の特徴に割り当てられる数値の順序列である。同様に、ＳＨＡＰベクトルは、単に、データ点の所定のＳＨＡＰ特性に割り当てられる数値の順序列である。

いくつかの実施例において、類似性測度は、各点に関連付けられたベクトル間の距離によって測定されるように、予想データ点と訓練データ点との類似性を意味することができる。例えば、特徴類似性の測度は、訓練データ点の特徴ベクトルと予想点の特徴ベクトルとの間の距離を計算することによって取得可能である。同様に、ＳＨＡＰ類似性の測度は、訓練データ点のＳＨＡＰベクトルと予想点のＳＨＡＰベクトルとの間の距離を計算することによって取得可能である。

いくつかの実施例において、ヒューリスティック関数は、特徴距離及びＳＨＡＰ距離の組み合わせとすることができる。

ヒューリスティック関数の実例

時系列において、各訓練データ点は、以下の特徴、すなわち、年、月、年の週、曜日、季節などを有することができる。季節に関して、数値を季節に割り当てることができる（例えば、冬には’０’、夏には’１’又は冬には’０’、春には’１’、夏には’２’及び秋には’３’）。特徴ベクトルは、データ点における属性又は値に関する情報を提供しなかった。例えば、リード時系列のために、特徴ベクトルは、いかなる所定のデータ点のリード時間に関する情報も提供せず、それは、そのデータ点の特徴に関する情報を提供するだけである。

所定の予想点’Ｐ_Ｆ’のために、’Ｐ_Ｆ’の特徴ベクトルは、’Ｐ_Ｆ’の特徴に基づいて取得される。各訓練データ点’Ｈ_ｉ’はまた、それ自身の特徴ベクトルを有する。各訓練データ点’Ｈ_ｉ’と予想点’Ｐ_Ｆ’との特徴類似性は、ベクトル間のユークリッド距離を計算するための標準的な技法によって計算可能である。

同様に、予想点’Ｐ_Ｆ’のために、’Ｐ_Ｆ’のＳＨＡＰベクトルが計算される。各訓練データ点’Ｈ_ｉ’のＳＨＡＰベクトルもまた計算される。特徴ベクトルとは異なり、ＳＨＡＰベクトルは、データ点に関連付けられた属性又は値に関する情報を含む。例えば、リード時間が予想される場合、ＳＨＡＰベクトルは、問題のデータ点のためのリード時間に関する情報を含む。各訓練データ点’Ｈ_ｉ’と予想点’Ｐ_Ｆ’とのＳＨＡＰ類似性は、ベクトル間のユークリッド距離を計算するための標準的な技法によって計算可能である。

特徴距離及びＳＨＡＰ距離の両方を含む単純なヒューリスティック関数ＨＦは、以下のように公式化可能である。

’ａ’の値は、０と１の間に調整可能である。ａ＝０のとき、ヒューリスティック関数は、特徴類似性のみを提供する。ａ＝１のとき、ヒューリスティック関数は、ＳＨＡＰ類似性のみを提供する。

図３Ａ、図３Ｂ及び図３Ｃは、一実施例に従うヒューリスティック関数の実例３００を示す。これらの図の各々において、過去のリード時間データ３１８は、大体２０１６年９月１日から大体２０１７年１１月３０日まで示され、一方、予想リード時間３２０は、大体２０１６年１２月１日から大体２０１８年１１月３０日の間に示される。

さらに、図３Ａ、図３Ｂ及び図３Ｃの各々は、ＳＨＡＰスケール３２２を示し、ＳＨＡＰスケール３２２は、（図３Ａに示すように）最小値’０’から（図３Ｃに示すように）最大値’１００’まで変化する。ＳＨＡＰスケール３２２の値は、’ａ’×１００の値に等しく、ここで、’ａ’は式１で定義される。すなわち、ａ＝１である場合、ＳＨＡＰスケール値は１００であり、’ａ’＝０．５である場合、ＳＨＡＰスケール値は５０に等しいなどである。すなわち、ＳＨＡＰスケール値は、上述の式１で定義されるヒューリスティック関数のＳＨＡＰ距離のスライディング値を表現する。

加えて、図３Ａ、図３Ｂ及び図３Ｃの各々は、予想リード時間３２０におけるさまざまな点を示す予想点スケール３２８を示す。図において、予想点スケール３２８は’１５１’に設定され、それは、予想点３０８に対応する。

ＳＨＡＰ及び特徴類似性は、図３Ａ、図３Ｂ及び図３Ｃの各々における予想点３０８に対する訓練データ点のために示される。さらに、各図は、勾配キーを示す（図３Ａの勾配キー３１０、図３Ｂの勾配キー３１２及び図３Ｃの勾配キー３１４）。各図において、勾配キーによる訓練データ点の濃淡が暗いほど、予想点３０８に対する訓練データ点のその影響又は重みが大きい。図面はグレイスケールで示されるが、グラフィック・ディスプレイがカラーであると理解される。

図３Ａは、ＳＨＡＰスケール３２２の値がゼロに等しい場合を示す。すなわち、式（１）において’ａ’＝０であり、これは、ヒューリスティック関数が特徴類似性プロット３０２のみを表現することを意味する。結果として生じる特徴類似性プロット３０２は、過去のリード時間データ３１８における最も暗い点が、（２０１８年５月１５日に近い）予想点３０８のために、２０１７年３月１日から２０１７年７月１日の範囲における訓練データ点の間に発生することを示す。すなわち、最も暗い勾配を有するこれらの点は、最大の類似性が、予想点３０８のために、２０１７年３月１日から２０１７年７月１日の範囲における訓練データ点の間に発生することを示す。これらが予想点３０８に類似の日付（すなわち特徴）を有する訓練データ点であるので、これは驚くべきことではない。リード時間は、特徴類似性と関係がない。

図３Ｂは、ＳＨＡＰスケール３２２の値が５０に等しい場合を示す。すなわち、式（１）において’ａ’＝０．５であり、これは、ヒューリスティック関数が、半分の特徴、半分のＳＨＡＰプロット３０４を表現することを意味する。結果として生じる半分の特徴、半分のＳＨＡＰプロット３０４は、最大の類似性が、最も暗い勾配を有する点によって推定されるように、（２０１８年５月１５日に近い）予想点３０８のために、２０１７年４月１５日から２０１７年６月１５日の範囲における訓練データ点の間に発生することを示す。どのように、類似性範囲が、（特徴類似性のみを有する）図３Ａに示される２０１７年３月１日から２０１７年７月１日の範囲から、（半分の特徴、半分のＳＨＡＰ類似性を有する）図３Ｂの２０１７年４月１５日から２０１７年６月１５日までに狭くなったのかに留意されたい。

図３Ｃは、ＳＨＡＰスケール３２２の値が１００に等しい場合を示す。すなわち、式（１）において’ａ’＝１．０であり、これは、ヒューリスティック関数がＳＨＡＰ類似性プロット３０６を表現することを意味する。結果として生じるＳＨＡＰ類似性プロット３０６は、最大のＳＨＡＰ類似性が、（２０１８年５月１５日に近い）予想点３０８のために、２０１７年５月１日頃の訓練データ点の間に発生することを示す。どのように、図３Ｃの類似性範囲が、図３Ａに示される特徴類似性プロット３０２から、及び、図３Ｂに示される半分の特徴、半分のＳＨＡＰプロット３０４から、連続して狭くなったのかに留意されたい。

図３Ｃはまた、予想点３０８のＳＨＡＰ値３１６を示し、ＳＨＡＰ値３１６は、予想点３０８のための過去のリード時間データ３１８における最も重要な特徴とは、曜日が１に等しいときであることを示し、これは、（他の曜日とは対照的に）予想リード時間を７．６日まで低下させる。訓練データを見ると、ＳＨＡＰ類似性に基づいて、２０１７年５月１日頃の１つの訓練データ点は、予想点３０８のそれと類似のリード時間を有する。過去のこの点を見ることは、なぜ、この予測された点（すなわち予想点３０８）がそれのそばの予想点より低い予測されたリード時間が与えられたかについて、なんらかの説明を提供することができる。予想点３０８の隣の予想点のために、曜日は’１’とは異なる値を有し、それは、ＳＨＡＰ値３１６によれば、予想に最小の影響を与える。それゆえ、予想点３０８に隣接した任意の点は、リード時間が予想点３０８によって示される範囲まで減少することを示さない。

予想点３０８のための過去のリード時間データ３１８において次に最も重要な特徴は、月が５に等しい（すなわち、５月の月）である。

図４は、一実施例に従う実例４００を示す。

図４において、過去及び将来のＳＨＡＰ値の差は、２つの隣接する予想点３０８及び予想点４０４のために示される。ＳＨＡＰ類似性プロット３０６及びＳＨＡＰ値３１６は、図３Ｃに示される対応する図と同一である。

予想点４０４は、予想点３０８の１日後である。

予想点３０８のために、予想リード時間を７．６日まで低下させる際の最大の影響は、ＳＨＡＰ値３１６に示すように、曜日が１であるときである。予想点４０４のために、予想リード時間は、ＳＨＡＰ値４０６で示すように、２２にジャンプする。さらに、曜日は、予測リード時間を低下させる際に影響を有さない。予想点３０８とは異なり、１９に設定される年の週は、予想点４０４のための最高の影響を有する。図面はグレイスケールで示されるが、グラフィック・ディスプレイがカラーであると理解される。

図５は、一実施例に従う実例５００を示す。

グラフ５０２は、リード時間対日付の実例を示し、過去データ５０４及び予測５０６の両方を示す。図５において、（矢印によって示される７月５日頃の）予測点５０８が強調される。実例５００において、特徴は、年、年の月、年の週、年の日及び季節（例えば、冬には’０’、夏には’１’）である。

予測点５０８のＳＨＡＰ値５１０は、予測点５０８が１．００（出力値）の予想リード時間を有することを示す。値２８の年の週は、予想に対して最大の影響を及ぼし、一方、年（２０１８）は、次に影響を及ぼす。曜日は、予想に対する影響に関して次であり、曜日が５以外である場合、リード時間の結果として生じる予想はより高い。（値’１’を有する）季節は、予測点５０８に対して最小の影響を及ぼす。

予測点５０８に対する各訓練データ点の影響は、上述したように、過去のＳＨＡＰベクトル距離と特徴ベクトル距離との組み合わせを含むヒューリスティック関数の勾配キー５１２によって示される。図５において、ＳＨＡＰスケール３２２の値は５０であり、これは、式（１）における’１’＝０．５に対応する。図面はグレイスケールで示されるが、グラフィック・ディスプレイがカラーであると理解される。

図５において、（ＳＨＡＰスケール３２２によって示される）（１００のうちの）５０のスライディング・スケール値が、ヒューリスティック関数の評価において用いられ、これは、特徴ベクトル距離及び過去のＳＨＡＰベクトル距離が、等しくヒューリスティック関数の評価に組み込まれることを意味する。

図６は、一実施例に従うフローチャート６００を示す。

フローチャート６００は、（予想上の）訓練データ点の影響が提供される機械学習解釈可能性の他の実施例を示す。影響は、ＳＨＡＰ特性により測定されないが、その代わりに、その訓練データ点の除去は、どのように予想に影響を及ぼすかに影響する。

ブロック６０４で、訓練データを用いて、機械学習モデルを訓練する。ブロック６０６で、モデルを用いて予測を行う。予測に対する各訓練データ点の影響の測度を取得するために、各訓練データ点は、（ブロック６０８で）個々に除去され、ブロック６１０で、変更されたか又は新しい訓練データ・セットを形成し、ブロック６１２で、モデルは新しいデータ・セットに関して再訓練され、ブロック６１４で、新しい予測が行われる。ブロック６１６で、（ブロック６１４で行われた）予測の結果は、（ブロック６０６で行われた）完全な訓練データ・セットを用いた予測の結果と比較される。比較は、任意の数の公知技術の方法で行ってもよい。次に、ブロック６１８で、除去された点は、除去されたデータ点の影響の測度とともに訓練データ・セットに戻される。影響の測度の実施例は後述される。

これが除去のためにサンプリングされた最後のデータ点ではない場合（決定ブロック６２０）、ブロック６２２で、新しい訓練データ点が除去され、ブロック６１０で、手順は、新しい訓練データ・セットを用いて繰り返される。

一方、除去のためにサンプリングすべきデータ点がない場合、ブロック６２４で、方法は終了し、各訓練データ点のための影響の測度を提供する。

特定の訓練データ点の除去が、結果として生じる訂正されたデータ予想の変化につながらない場合、その特定の訓練データ点は、予測に影響を与えない。完全なデータ予想からの訂正されたデータ予想の変化が大きいほど、予想に対する特定の訓練データ点の影響は大きい。

影響の測度は、公知技術の任意の好適な方法でユーザに提供可能である。いくつかの実施例において、各訓練データ点の影響の測度は、視覚的にグラフ形式で示される。いくつかの実施例において、各訓練データ点の影響の測度は、視覚的に表形式で示される。

図７は、機械学習解釈可能性の一実施例に従う実例７００を示す。フローチャート６００を用いて、図示する実例７００を取得した。

２０１６年９月１日頃から２０１８年１月７日頃までの（黒丸によって示される）リード時間の過去データ７０２を用いて、機械モデルを訓練し、完全なデータ予想７０４を導いた。

図７において、（２０１７年３月２５日頃の）過去データ点７１２は、訓練データ・セットから除去される。（過去データ点７１２の除去に基づいて）改訂された予測は、訂正されたデータ予想７０６として示され、それは、ほとんどの場合、２０１８年１月８日頃から２０１９年１月８日頃までの予想範囲の全体にわたって、完全なデータ予想７０４より低い。完全なデータ予想７０４と訂正されたデータ予想７０６の差は、従来技術における周知の手段によって評価可能であり、差は、過去データ点７１２のための差分値が与えられる。

図７において、残りの訓練データ点のすべて（すなわち、過去データ点７１２を除く過去データ７０２）は、過去データ点７１２のために上述した手順を受け、すでに差分値が与えられた。これは、過去データ７０２のさまざまな点の濃淡によって示される。図面はグレイスケールで示されるが、グラフィック・ディスプレイがカラーであると理解される。

図７において、勾配キー７１４は、訓練データ点の濃淡が薄いほど、予想に対するその影響が低いことを示す測度として用いられる。例えば、勾配キー７１４によるとほぼ白いデータ点７１０は、予想に対する最小の影響を有する。一方、（２０１７年８月１日頃の）データ点のグループ７０８は、勾配キー７１４によると暗く、予想に対して大きい影響を有する。

特定の訓練データ点の除去が、結果として生じる訂正されたデータ予想の変化につながらない場合、その特定の訓練データ点は、予測に影響を与えない。完全なデータ予想からの訂正されたデータ予想の変化が大きいほど、予想に対する特定の訓練データ点の影響は大きい。

ユーザは、高い影響のデータ点又は低い影響のデータ点のパターンを探すことによって、過去データ７０２のカラー勾配から、さらなる情報を収集することができる。これは、グラフィカル・ユーザ・インタフェースを介して達成可能であり、グラフィカル・ユーザ・インタフェースにより、ユーザは、過去データ７０２に従って異なるデータ点を選択することができ、どのように、結果として生じる訂正されたデータ予想７０６が、完全なデータ予想７０４に対して変化するのかを見ることができる。

図８は、機械学習解釈可能性の一実施例に従うシステム８００を示す。

システム・サーバ８０２は、機械学習アルゴリズム、機械学習解釈可能性モジュール及び他のモジュール及び／又はアルゴリズムを備え、ＳＨＡＰアルゴリズムのライブラリへのアクセスを含む。機械学習記憶装置８１２は、機械学習アルゴリズムを訓練するのに用いられる訓練データを含むことができる。

システム８００は、システム・サーバ８０２、機械学習記憶装置８１２、クライアント・データ・ソース８２２及び１つ又は複数のデバイス８１４、８１６及び８１８を含む。システム・サーバ８０２は、メモリ８０８、ディスク８０４、プロセッサ８０６及びネットワーク・インタフェース８２０を含むことができる。１つのプロセッサ８０６が示されるが、システム・サーバ８０２は、１つ又は複数のプロセッサを備えることができる。いくつかの実施例において、不揮発性メモリとすることができるディスク８０４と比較して、メモリ８０８は、揮発性メモリとすることができる。いくつかの実施例において、システム・サーバ８０２は、ネットワーク８１０を介して機械学習記憶装置８１２、クライアント・データ・ソース８２２並びに１つ又は複数の外部装置８１４、８１６及び８１８と通信することができる。機械学習記憶装置８１２は、システム・サーバ８０２と別個として示されるが、機械学習記憶装置８１２はまた、システム・サーバ８０２内の別個の構成要素として、又は、メモリ８０８及びディスク８０４の少なくとも一方の部分としてシステム・サーバ８０２内に組み込み可能である。

システム８００はまた、追加の特徴及び／又は機能性を含むことができる。例えば、システム８００はまた、磁気ディスク又は光学ディスク又はテープを含むがこれらに限定されるものではない追加の記憶装置（取り外し可能及び／又は取り外し不可能）を含むことができる。この種の追加の記憶装置は、図８ではメモリ８０８及びディスク８０４によって示される。記憶媒体は、コンピュータ可読命令、データ構造、プログラム・モジュール又は他のデータのような情報の記憶のための任意の方法又は技術において実装される揮発性及び不揮発性、取り外し可能及び取り外し不可能な媒体を含むことができる。メモリ８０８及びディスク８０４は、非一時的コンピュータ可読記憶媒体の実例である。非一時的コンピュータ可読媒体はまた、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ及び／又はその他のメモリ技術、コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）及び／又は他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又はその他の磁気記憶デバイス及び／又は所望の情報を格納するのに用いることができ且つシステム８００によってアクセス可能な他の任意の媒体を含むが、これらに限定されるものではない。任意のこの種の非一時的コンピュータ可読記憶媒体は、システム８００の部分とすることができる。

システム・サーバ８０２と、機械学習記憶装置８１２と、１つ又は複数の外部装置８１４、９１及び８１８と、の間のネットワーク８１０を介した通信は、さまざまなネットワーク・タイプ上とすることができる。いくつかの実施例において、プロセッサ８０６は、ネットワーク・インタフェース８２０を介してネットワーク８１０と通信するように配置されてもよい。ネットワーク・インタフェース８２０は、ネットワーク８１０と通信することができる。ネットワーク・インタフェース８２０は、直接結合、イーサネット（登録商標）（例えば、ツイスト・ペア１０／４０／４００ベースＴ）、伝送制御プロトコル／インターネット・プロトコル（ＴＣＰ／ＩＰ）、トークン・リング、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ｘなどを含むがこれらに限定されるものではない接続プロトコルを使用してもよい。非限定的な実例のネットワーク・タイプは、ファイバ・チャネル、スカジー（ＳＣＳＩ）、ブルートゥース（登録商標）、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、赤外線通信（ＩｒＤＡ）、ローカル・エリア・ネットワーク（ＬＡＮ）、無線ローカル・エリア・ネットワーク（ＷＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、例えばインターネット、シリアル及びユニバーサル・シリアル・バス（ＵＳＢ）を含むことができる。一般的に、システム８００のさまざまな構成要素の間の通信は、配線接続、セルラー、Ｗｉ－Ｆｉ又はブルートゥースのネットワーク構成要素などを通じて行われてもよい。いくつかの実施例において、システム８００の１つ又は複数の電子デバイスは、クラウド・ベースの特徴、例えばクラウド・ベースのメモリ記憶装置を含んでもよい。

機械学習記憶装置８１２は、「メモリ内の」データベースを実装してもよく、「メモリ内の」データベースでは、揮発性の（例えば、非ディスク・ベースの）記憶装置（例えば、ランダム・アクセス・メモリ）は、キャッシュ・メモリのため、及び、動作の間全データベースを格納するための両方に用いられ、永続記憶装置（例えば、１つ又は複数の固定ディスク）は、オフライン永続及びデータベース・スナップショットの維持のために用いられる。代替的には、揮発性記憶装置を、最近使用されたデータを格納するためのキャッシュ・メモリとして用いてもよく、永続記憶装置は、全データベースを格納する。

機械学習記憶装置８１２は、データの構造、関係及び意味に関するメタデータを格納してもよい。この情報は、データ内に格納されるデータベース・テーブルのスキーマを定義するデータを含んでもよい。データベース・テーブル・スキーマは、データベース・テーブルの名称、データベース・テーブルの列、各列に関連付けられたデータ型及びデータベース・テーブルに関連付けられた他の情報を特定してもよい。機械学習記憶装置８１２は、追加的又は代替的に、互いからプログラム的に分離される複数の論理的データベース・システムを提供することにより、マルチテナンシーを支持してもよい。さらに、データにインデックスを付ける及び／又はデータをインデックスで選択的に複製し、高速な探索及びその検索を可能にしてもよい。加えて、機械学習記憶装置８１２は、システム・サーバ８０２によってアクセスされる多くの機械学習モデルを格納することができる。多くのＭＬモデルを用いることができる。

機械学習が用いられるいくつかの実施例において、勾配ブースティング・ツリー、アンサンブル・ツリー及びサポート・ベクター回帰を用いることができる。機械学習のいくつかの実施例において、１つ又は複数のクラスタリング・アルゴリズムを用いることができる。非限定的な実例は、階層的クラスタリング、ｋ平均法、混合モデル、ノイズのあるアプリケーションの密度ベース空間クラスタリング及びｏｒｄｅｒｉｎｇ ｐｏｉｎｔｓ ｔｏ ｉｄｅｎｔｉｆｙ ｔｈｅ ｃｌｕｓｔｅｒｉｎｇ ｓｔｒｕｃｔｕｒｅを含む。

機械学習のいくつかの実施例において、１つ又は複数の異常検出アルゴリズムを用いることができる。非限定的な実例は、局所外れ値因子法を含む。

機械学習のいくつかの実施例において、ニューラル・ネットワークを用いることができる。

クライアント・データ・ソース８２２は、ユーザから、あらゆる位置でのクライアントの製品のすべての販売記録を示す販売時点情報管理データ、あらゆる位置でのクライアントの製品のすべての在庫履歴、すべての位置でのすべての製品に関する販促キャンペーン詳細、及び、あらゆる位置でのクライアントの製品の販売に重要な／関連するイベントを含むがこれらに限定されるものではないさまざまな生データを提供してもよい。

ネットワーク・インタフェース８２０及びネットワーク８１０を用いて、システム・サーバ８０２は、１つ又は複数のデバイス８１４、８１６及び８１８と通信してもよい。これらのデバイス８１４、８１６及び８１８は、パーソナル・コンピュータ、サーバ、さまざまなモバイル機器、例えば、携帯電話、スマートフォン（例えば、アップルｉＰｈｏｎｅ（登録商標）、ブラックベリー、Ａｎｄｒｏｉｄベースの電話など）、タブレット型コンピュータ、電子書籍リーダー（アマゾン・キンドル、ヌークなど）、ラップトップ・コンピュータ、ノートブック、ゲーム機（マイクロソフトＸｂｏｘ、任天堂ＤＳ、ソニー・プレイステーションなど）などを含んでもよいが、これらに限定されるものではない。

ネットワーク８１０を用いて、システム・サーバ８０２は、機械学習記憶装置８１２及びクライアント・データ・ソース８２２からデータを検索することができる。検索したデータは、メモリ８０８又はディスク８０４内に保存可能である。いくつかの実施例において、システム・サーバ８０２はまた、ウェブ・サーバを備え、ウェブ・ブラウザに表示されるのに適したフォーマットに、リソースをフォーマットすることができる。

一旦、予備的な機械学習結果が１つ又は複数のデバイスのいずれかに提供されると、ユーザは結果を訂正することができ、その結果は、さらなる実行のために機械学習記憶装置８１２に再送される。結果は、次に機械学習記憶装置８１２に送信される１つ又は複数のデータ・ファイルとの相互作用によって、又は、１つ又は複数のデバイス８１４、８１６及び８１８でのユーザ・インタフェースを通して訂正可能である。例えば、デバイス８１６では、ユーザは、グラフィカル・ユーザ・インタフェースを用いて結果を訂正することができる。

上述したフローチャートに関するものを含む上述したアルゴリズムについては別個に説明したが、本明細書で開示したアルゴリズムの任意の２つ以上は、任意の組み合わせで組み合わせ可能であることを理解されたい。本明細書で説明した方法、モジュール、アルゴリズム、実装形態又は手順のいずれも、（ａ）プロセッサ、（ｂ）コントローラ及び／又は（ｃ）任意の他の好適な処理デバイスによる実行のための機械可読命令を含むことができる。本明細書で開示したどのアルゴリズム、ソフトウェア又は方法も、例えば、フラッシュ・メモリ、ＣＤ－ＲＯＭ、フロッピー（登録商標）・ディスク、ハード・ドライブ、デジタル多用途ディスク（ＤＶＤ）又は他のメモリ・デバイスなど、非一時的有形媒体上に記憶されたソフトウェアにおいて実施可能であるが、当業者は、アルゴリズム全体及び／又はそれの一部が、代替的に、コントローラ以外のデバイスによって実行可能であり、及び／又は、よく知られている様式でファームウェア又は専用のハードウェアにおいて実施可能である（例えば、それは、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フィールド・プログラマブル論理デバイス（ＦＰＬＤ）、ディスクリート論理などによって実装されてもよい）ことを容易に認識するものである。さらに、本明細書において示されたフローチャートを参照しながら特定のアルゴリズムについて説明したが、当業者は、例示的な機械可読命令を実装する多くの他の方法が代替的に使用されてもよいことを容易に認識するものである。例えば、ブロックの実行の順序は変更可能であり、及び／又は、説明したブロックのいくつかは、変更、削除又は組み合わせてもよい。

本明細書で示し、議論したアルゴリズムは、特定の機能を実行し、互いに対話するさまざまなモジュールを有することに留意されたい。これらのモジュールは、単に、説明のためにそれらの機能に基づいて分離され、また、コンピュータ・ハードウェア及び／又は適切なコンピューティング・ハードウェア上での実行のためにコンピュータ可読媒体上に記憶された実行可能なソフトウェア・コードを表すことを理解されたい。異なるモジュール及びユニットのさまざまな機能は、ハードウェアとして及び／又は任意の様式でモジュールとして上記のように非一時的コンピュータ可読媒体上に記憶されたソフトウェアとして組み合わせ可能又は分離可能であり、別個に又は組み合わせで使用可能である。

主題の特定の実施例が記載されてきた。他の実施例は、以下の特許請求の範囲内である。例えば、特許請求の範囲において詳述される動作は、異なる順番で実行可能であり、依然として望ましい結果を達成することができる。１つの実例として、添付の図面において描写されるプロセスは、望ましい結果を達成するために、必ずしも示される特定の順番又は順序を必要とするわけではない。特定の実施態様では、マルチタスク及び並列処理が有利であり得る。

Claims (18)

1. 方法であって、
   プロセッサによって、訓練データを用いて回帰機械学習モデルを訓練するステップと、
   前記プロセッサによって、訓練済みモデルに基づいて予測を予測するステップと、
   機械学習解釈可能性モジュールによって、前記訓練データ、前記訓練済みモデル及び前記予測を受信するステップと、
   前記機械学習解釈可能性モジュールによって、前記訓練データ及び前記予測の特性を比較するステップと、
   を含み、
   特性を比較するステップは、
   前記機械学習解釈可能性モジュールによって、前記訓練データから訓練データ点を除去し、訂正された訓練データ・セットを形成するステップと、
   前記機械学習解釈可能性モジュールによって、前記訂正された訓練データ・セットにおいて前記訓練済みモデルを再訓練するステップと、
   前記機械学習解釈可能性モジュールによって、前記訂正された訓練データ・セットに基づいて予測し、訂正された予測を提供するステップと、
   前記機械学習解釈可能性モジュールによって、前記予測と前記訂正された予測との差を比較するステップと、
   前記機械学習解釈可能性モジュールによって、前記差に基づいて、影響の測度を前記除去された訓練データ点に割り当てるステップと、
   を含む、方法。
2. 特性を比較するステップは、前記訓練データ、前記予測並びに前記訓練データ及び前記予測の前記特性の視覚化を含む、請求項１に記載の方法。
3. 特性を比較するステップは、
   前記機械学習解釈可能性モジュールによって、各訓練データ点のヒューリスティック関数の値を決定するステップを含み、
   前記予測は、複数の予測されたデータ点を備え、
   前記ヒューリスティック関数は、各訓練データ点のＳＨＡＰ（ＳＨａｐｌｅｙ Ａｄｄｉｔｉｖｅ ｅｘＰｌａｎａｔｉｏｎｓ）値と、前記予測されたデータ点のＳＨＡＰ値と、前記訓練データ点の特徴値と、前記予測されたデータ点の特徴値と、を組み込む、
   請求項１又は２に記載の方法。
4. 前記ヒューリスティック関数は、ＳＨＡＰ距離及び特徴距離の組み合わせを備え、
   前記ＳＨＡＰ距離は、訓練データ点のＳＨＡＰベクトルと予測されたデータ点のＳＨＡＰベクトルとの間のユークリッド距離であり、
   前記特徴距離は、訓練データ点の特徴ベクトルと予測されたデータ点の特徴ベクトルとの間のユークリッド距離であり、
   前記ＳＨＡＰベクトルは、データ点のＳＨＡＰ値の順序列であり、
   前記特徴ベクトルは、データ点の特徴値の順序列である、請求項３に記載の方法。
5. 特性を比較するステップは、
   前記機械学習解釈可能性モジュールによって、前記予測の１つ又は複数の点のＳＨＡＰ値を決定するステップと、
   前記機械学習解釈可能性モジュールによって、前記訓練データの１つ又は複数の点のＳＨＡＰ値を決定するステップと、
   前記機械学習解釈可能性モジュールによって、前記予測の前記１つ又は複数の点の各々のために、前記予測点の前記ＳＨＡＰ値と前記訓練データの前記１つ又は複数の点の各々の前記ＳＨＡＰ値との差を決定するステップと、
   を含む、請求項１又は２に記載の方法。
6. 前記差は、前記予測点のＳＨＡＰベクトルと前記訓練データの前記１つ又は複数の点の各々のＳＨＡＰベクトルとの間のユークリッド距離である、請求項５に記載の方法。
7. システムであって、
   プロセッサと、
   命令を格納するメモリと、
   を備え、前記命令は、前記プロセッサによって実行されると、前記システムが、
   プロセッサによって、訓練データを用いて回帰機械学習モデルを訓練し、
   前記プロセッサによって、訓練済みモデルに基づいて予測を予測し、
   機械学習解釈可能性モジュールによって、前記訓練データ、前記訓練済みモデル及び前記予測を受信し、
   前記機械学習解釈可能性モジュールによって、前記訓練データ及び前記予測の特性を比較し、
   前記機械学習解釈可能性モジュールによって、前記訓練データから訓練データ点を除去し、訂正された訓練データ・セットを形成し、
   前記機械学習解釈可能性モジュールによって、前記訂正された訓練データ・セットにおいて前記訓練済みモデルを再訓練し、
   前記機械学習解釈可能性モジュールによって、前記訂正された訓練データ・セットに基づいて予測し、訂正された予測を提供し、
   前記機械学習解釈可能性モジュールによって、前記予測と前記訂正された予測との差を比較し、
   前記機械学習解釈可能性モジュールによって、前記差に基づいて、影響の測度を前記除去された訓練データ点に割り当てる
   ように構成するシステム。
8. 前記訓練データ、前記予測並びに前記訓練データ及び前記予測の前記特性の視覚化を提供するようにさらに構成される、請求項７に記載のシステム。
9. 前記機械学習解釈可能性モジュールによって、各訓練データ点のヒューリスティック関数の値を決定するようにさらに構成され、
   前記予測は、複数の予測されたデータ点を備え、
   前記ヒューリスティック関数は、各訓練データ点のＳＨＡＰ値と、前記予測されたデータ点のＳＨＡＰ値と、前記訓練データ点の特徴値と、前記予測されたデータ点の特徴値と、を組み込む、請求項７又は８に記載のシステム。
10. 前記ヒューリスティック関数は、ＳＨＡＰ距離及び特徴距離の組み合わせを備え、
    前記ＳＨＡＰ距離は、訓練データ点のＳＨＡＰベクトルと予測されたデータ点のＳＨＡＰベクトルとの間のユークリッド距離であり、
    前記特徴距離は、訓練データ点の特徴ベクトルと予測されたデータ点の特徴ベクトルとの間のユークリッド距離であり、
    前記ＳＨＡＰベクトルは、データ点のＳＨＡＰ値の順序列であり、
    前記特徴ベクトルは、データ点の特徴値の順序列である、請求項９に記載のシステム。
11. 前記機械学習解釈可能性モジュールによって、前記予測の１つ又は複数の点のＳＨＡＰ値を決定し、
    前記機械学習解釈可能性モジュールによって、前記訓練データの１つ又は複数の点のＳＨＡＰ値を決定し、
    前記機械学習解釈可能性モジュールによって、前記予測の前記１つ又は複数の点の各々のために、前記予測点の前記ＳＨＡＰ値と前記訓練データの前記１つ又は複数の点の各々の前記ＳＨＡＰ値との差を決定する、
    ようにさらに構成される、請求項７又は８に記載のシステム。
12. 前記差は、前記予測点のＳＨＡＰベクトルと前記訓練データの前記１つ又は複数の点の各々のＳＨＡＰベクトルとの間のユークリッド距離である、請求項１１に記載のシステム。
13. 命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、コンピュータによって実行されると、前記コンピュータに、
    プロセッサによって、訓練データを用いて回帰機械学習モデルを訓練させ、
    前記プロセッサによって、訓練済みモデルに基づいて予測を予測させ、
    機械学習解釈可能性モジュールによって、前記訓練データ、前記訓練済みモデル及び前記予測を受信させ、
    前記機械学習解釈可能性モジュールによって、前記訓練データ及び前記予測の特性を比較させ、
    前記機械学習解釈可能性モジュールによって、前記訓練データから訓練データ点を除去し、訂正された訓練データ・セットを形成させ、
    前記機械学習解釈可能性モジュールによって、前記訂正された訓練データ・セットにおいて前記訓練済みモデルを再訓練させ、
    前記機械学習解釈可能性モジュールによって、前記訂正された訓練データ・セットに基づいて予測し、訂正された予測を提供させ、
    前記機械学習解釈可能性モジュールによって、前記予測と前記訂正された予測との差を比較させ、
    前記機械学習解釈可能性モジュールによって、前記差に基づいて、影響の測度を前記除去された訓練データ点に割り当てさせる
    非一時的コンピュータ可読記憶媒体。
14. 命令は、コンピュータによって実行されるとさらに、前記コンピュータに、前記訓練データ、前記予測並びに前記訓練データ及び前記予測の前記特性の視覚化を提供させる、請求項１３に記載のコンピュータ可読記憶媒体。
15. 命令は、コンピュータによって実行されるとさらに、前記コンピュータに、
    前記機械学習解釈可能性モジュールによって、各訓練データ点のヒューリスティック関数の値を決定させ、
    前記予測は、複数の予測されたデータ点を備え、
    前記ヒューリスティック関数は、各訓練データ点のＳＨＡＰ値と、前記予測されたデータ点のＳＨＡＰ値と、前記訓練データ点の特徴値と、前記予測されたデータ点の特徴値と、を組み込む、請求項１３又は１４に記載のコンピュータ可読記憶媒体。
16. 前記ヒューリスティック関数は、ＳＨＡＰ距離及び特徴距離の組み合わせを備え、
    前記ＳＨＡＰ距離は、訓練データ点のＳＨＡＰベクトルと予測されたデータ点のＳＨＡＰベクトルとの間のユークリッド距離であり、
    前記特徴距離は、訓練データ点の特徴ベクトルと予測されたデータ点の特徴ベクトルとの間のユークリッド距離であり、
    前記ＳＨＡＰベクトルは、データ点のＳＨＡＰ値の順序列であり、
    前記特徴ベクトルは、データ点の特徴値の順序列である、請求項１５に記載のコンピュータ可読記憶媒体。
17. 命令は、コンピュータによって実行されるとさらに、前記コンピュータに、
    前記機械学習解釈可能性モジュールによって、前記予測の１つ又は複数の点のＳＨＡＰ値を決定させ、
    前記機械学習解釈可能性モジュールによって、前記訓練データの１つ又は複数の点のＳＨＡＰ値を決定させ、
    前記機械学習解釈可能性モジュールによって、前記予測の前記１つ又は複数の点の各々のために、前記予測点の前記ＳＨＡＰ値と前記訓練データの前記１つ又は複数の点の各々の前記ＳＨＡＰ値との差を決定させる、請求項１３又は１４に記載のコンピュータ可読記憶媒体。
18. 前記差は、前記予測点のＳＨＡＰベクトルと前記訓練データの前記１つ又は複数の点の各々のＳＨＡＰベクトルとの間のユークリッド距離である、請求項１７に記載のコンピュータ可読記憶媒体。