JP7775989B2 - モデル分析装置、モデル分析方法、及び、プログラム - Google Patents

Description

本開示は、機械学習モデルの分析に関する。

近年、様々な分野において、機械学習により得られた予測モデルが利用されている。特許文献１は、予測モデルを用いて不動産価格の予測を行う手法を記載している。

国際公開ＷＯ２０２０／００４０４９

特許文献１では、モデルによる予測の外し方（予測値－実際の値）が逆、すなわち予測誤差の正負が異なるデータサンプルをペアで表示する手法を記載している。しかし、そもそも誤差をどのように定義するかによって、モデルの評価は変わってくる。

本開示の１つの目的は、予測モデルの誤差を定義し、定義した誤差に基づいて適切にモデルを評価することが可能なモデル分析装置を提供することにある。

本開示の一つの観点では、モデル分析装置は、
入力データに対するモデルの予測値を取得する予測値取得手段と、
前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力する出力手段と、
前記判定基準を取得する基準取得手段と、
前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示す抽出手段と、
を備え、
前記判定基準は、前記予測値と前記実測値の誤差の種類を指定する誤差指標、及び、前記予測値を予測ミスと判定するための閾値を規定する情報を含む。
本開示の他の観点では、モデル分析装置は、
入力データに対するモデルの予測値を取得する予測値取得手段と、
前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力する出力手段と、
前記判定基準を取得する基準取得手段と、
前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示す抽出手段と、
を備え、
前記抽出手段は、ユーザにより前記グラフ上の特定の予測値が指定された場合に、当該予測値を予測ミスと判定するように前記判定基準を変更し、変更後の判定基準に基づいて予測ミスに該当する予測値を抽出する。
本開示のさらに他の観点では、モデル分析装置は、
入力データに対するモデルの予測値を取得する予測値取得手段と、
前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力する出力手段と、
前記判定基準を取得する基準取得手段と、
前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示す抽出手段と、
を備え、
前記評価情報は、前記予測値のグラフ上に表示され、前記予測ミスに該当する予測値を示すマークを含み、
前記表示エリアは、予測ミスに該当する予測値から、表示の対象とする予測値を選択するための複数のルールの情報を含み、
前記評価情報は、ユーザにより選択されたルールに従って選択された予測値を示すマークを含む。

本開示のさらに他の観点では、コンピュータにより実行されるモデル分析方法は、
入力データに対するモデルの予測値を取得し、
前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
前記判定基準を取得し、
前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示し、
前記判定基準は、前記予測値と前記実測値の誤差の種類を指定する誤差指標、及び、前記予測値を予測ミスと判定するための閾値を規定する情報を含む。
本開示のさらに他の観点では、コンピュータにより実行されるモデル分析方法は、
入力データに対するモデルの予測値を取得し、
前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
前記判定基準を取得し、
前記判定基準に基づいて、予測ミスに該当する予測値の抽出を行って前記グラフ上に示し、
前記予測値の抽出は、ユーザにより前記グラフ上の特定の予測値が指定された場合に、当該予測値を予測ミスと判定するように前記判定基準を変更し、変更後の判定基準に基づいて予測ミスに該当する予測値を抽出する。
本開示のさらに他の観点では、コンピュータにより実行されるモデル分析方法は、
入力データに対するモデルの予測値を取得し、
前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
前記判定基準を取得し、
前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示し、 前記評価情報は、前記予測値のグラフ上に表示され、前記予測ミスに該当する予測値を示すマークを含み、
前記表示エリアは、予測ミスに該当する予測値から、表示の対象とする予測値を選択するための複数のルールの情報を含み、
前記評価情報は、ユーザにより選択されたルールに従って選択された予測値を示すマークを含む。

本開示のさらに他の観点では、プログラムは、
入力データに対するモデルの予測値を取得し、
前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
前記判定基準を取得し、
前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示す処理をコンピュータに実行させ、
前記判定基準は、前記予測値と前記実測値の誤差の種類を指定する誤差指標、及び、前記予測値を予測ミスと判定するための閾値を規定する情報を含む。
本開示のさらに他の観点では、プログラムは、
入力データに対するモデルの予測値を取得し、
前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
前記判定基準を取得し、
前記判定基準に基づいて、予測ミスに該当する予測値の抽出を行って前記グラフ上に示す処理をコンピュータに実行させ、
前記予測値の抽出は、ユーザにより前記グラフ上の特定の予測値が指定された場合に、当該予測値を予測ミスと判定するように前記判定基準を変更し、変更後の判定基準に基づいて予測ミスに該当する予測値を抽出する。
本開示のさらに他の観点では、プログラムは、
入力データに対するモデルの予測値を取得し、
前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
前記判定基準を取得し、
前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示す処理をコンピュータに実行させ、
前記評価情報は、前記予測値のグラフ上に表示され、前記予測ミスに該当する予測値を示すマークを含み、
前記表示エリアは、予測ミスに該当する予測値から、表示の対象とする予測値を選択するための複数のルールの情報を含み、
前記評価情報は、ユーザにより選択されたルールに従って選択された予測値を示すマークを含む。

本開示によれば、予測モデルの誤差の判定基準を設定し、設定した判定基準に基づく誤差を用いて適切にモデルを評価することが可能となる。

第１実施形態に係るモデル生成システムの全体構成を示すブロック図である。 モデル生成装置のハードウェア構成を示すブロック図である。 第１実施形態のモデル生成装置の機能構成を示すブロック図である。 評価情報の第１の表示例を示す。 評価情報の第２の表示例を示す。 評価情報の第３の表示例を示す。 閾値の他の設定例を示す。 モデル生成装置によるモデル分析処理のフローチャートである。 サーバと端末装置を用いたモデル生成システムの概略構成を示すブロック図である。 第２実施形態のモデル分析装置の機能構成を示すブロック図である。 第２実施形態のモデル分析装置による処理のフローチャートである。

以下、図面を参照して、本開示の好適な実施形態について説明する。
＜第１実施形態＞
［全体構成］
図１は、第１実施形態に係るモデル生成システムの全体構成を示すブロック図である。モデル生成システム１は、モデル生成装置１００と、表示装置２と、入力装置３とを備える。モデル生成装置１００は、本開示のモデル分析装置を適用したものであり、例えばパーソナルコンピュータ（ＰＣ）などのコンピュータにより構成される。表示装置２は、例えば液晶表示装置などであり、モデル生成装置１００が生成した評価情報を表示する。入力装置３は、例えばマウス、キーボードなどであり、ユーザがモデルの修正時や評価情報の閲覧時に必要な指示、入力を行うために使用される。

まず、モデル生成システム１の動作を概略的に説明する。モデル生成装置１００は、予め用意された訓練データを用いて、機械学習モデル（以下、単に「モデル」と呼ぶ。）を生成する。また、モデル生成装置１００は、生成したモデルの評価を行う。具体的に、モデル生成装置１００は、評価用データなどを用いてモデルによる予測を行い、予測結果に基づいてモデルの予測ミスを検出し、評価情報としてユーザに提示する。ユーザは、モデルの予測ミスを確認し、入力装置３を操作してモデルの修正のための修正情報を入力することができる。特に、本実施形態では、ユーザは、予測ミスの判定基準を入力し、さらに必要に応じて適宜変更することができる。よって、ユーザは、自身が適切と考える観点で予測ミスの判定基準を設定し、その基準に基づいた評価情報を見ることにより、適切にモデルの評価を行うことができる。

ここで、「モデル」とは、説明変数と目的変数の関係を表す情報である。モデルは、例えば、説明変数に基づいて目的とする変数を算出することにより推定対象の結果を推定するためのコンポーネントである。モデルは、既に目的変数の値が得られている学習用データと任意のパラメータとを入力として、学習アルゴリズムを実行することにより生成される。モデルは例えば、入力ｘを正解ｙに写像する関数ｃにより表されてもよい。モデルは、推定対象の数値を推定するものであってもよいし、推定対象のラベルを推定するものであってもよい。モデルは、目的変数の確率分布を記述する変数を出力してもよい。モデルは、「学習モデル」、「分析モデル」、「ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデル」または「予測式」などと記載されることもある。

［ハードウェア構成］
図２は、モデル生成装置１００のハードウェア構成を示すブロック図である。図示のように、モデル生成装置１００は、インタフェース（Ｉ／Ｆ）１１１と、プロセッサ１１２と、メモリ１１３と、記録媒体１１４と、データベース（ＤＢ）１１５と、を備える。

Ｉ／Ｆ１１１は、外部装置との間でデータの入出力を行う。具体的に、モデルの生成に使用する訓練データ、評価用データ、及び、ユーザが入力装置３を用いて入力した指示や入力は、Ｉ／Ｆ１１１を通じてモデル生成装置１００に入力される。また、モデル生成装置１００が生成したモデルの評価情報は、Ｉ／Ｆ１１１を通じて表示装置２へ出力される。

プロセッサ１１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することによりモデル生成装置１００の全体を制御する。なお、プロセッサ１１２は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）であってもよい。プロセッサ１１２は、後述するモデル分析処理を実行する。

メモリ１１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１１３は、プロセッサ１１２による各種の処理の実行中に作業メモリとしても使用される。

記録媒体１１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、モデル生成装置１００に対して着脱可能に構成される。記録媒体１１４は、プロセッサ１１２が実行する各種のプログラムを記録している。モデル生成装置１００が各種の処理を実行する際には、記録媒体１１４に記録されているプログラムがメモリ１１３にロードされ、プロセッサ１１２により実行される。

ＤＢ１１５は、モデル生成装置１００が生成したモデル（以下、「既存モデル」と呼ぶ。）、及び、再訓練による修正後のモデル（以下、「修正後モデル」と呼ぶ。）に関する情報を記憶する。また、ＤＢ１１５は、必要に応じて、Ｉ／Ｆ１１１を通じて入力された訓練データ、評価用データ、ユーザが入力した修正情報、ユーザが入力した予測ミスの判定基準の履歴などを記憶する。

（機能構成）
図３は、第１実施形態のモデル生成装置１００の機能構成を示すブロック図である。モデル生成装置１００は、機能的には、訓練データＤＢ１２１と、モデル訓練部１２２と、モデルＤＢ１２３と、評価用データＤＢ１２４と、予測ミス分析部１２５と、評価情報出力部１２６とを備える。

訓練データＤＢ１２１は、モデルの生成に用いられる訓練データを記憶する。訓練データＤ１は、モデル訓練部１２２に入力される。なお、訓練データＤ１は、入力データと、その入力データに対する正解ラベル（教師ラベル）との複数の組み合わせにより構成される。

モデル訓練部１２２は、訓練データＤ１を用いてモデルの訓練を行い、モデルを生成する。モデル訓練部１２２は、生成したモデルに対応するモデルデータＭをモデルＤＢ１２３及び予測ミス分析部１２５へ出力する。なお、モデルデータＭは、モデルを構成する複数のパラメータ情報を含む。パラメータ情報は、例えば、モデルの入力として用いられる説明変数（または、特徴量）の情報、各説明変数に対する重みの情報、入力データを構成する各サンプルに対する重みの情報などを含む。

また、モデル訓練部１２２は、既存モデルを再訓練して修正後モデルを生成する。この場合、モデル訓練部１２２は、ユーザが入力装置３を用いて入力した修正情報Ｄ３に基づいて、モデルを構成するパラメータを修正し、必要に応じて再訓練用の訓練データを用いてモデルの再訓練を行う。モデル訓練部１２２は、再訓練により得られた修正後モデルのモデルデータＭをモデルＤＢ１２３へ記憶するとともに、予測ミス分析部１２５へ出力する。

評価用データＤＢ１２４は、生成されたモデルの評価に使用する評価用データを記憶する。評価用データは、モデルの評価に使用できる各種のデータを含む。評価用データは、基本的には入力データと、その入力データに対する正解ラベル（教師ラベル）との複数の組み合わせにより構成される。評価用データの例としては、以下のようなものが挙げられる。
（１）バリデーションデータやテストデータと呼ばれる「モデルの生成に使用しなかったデータ」
この場合、評価用データは、基本に入力データと正解ラベルのセットとなる。
（２）運用データなどの「モデルの生成後に新たに収集されたデータ」
なお、ラベリングが即時で行われない場合、評価用データは入力のみのデータとなる可能性もある。
（３）「何らかの方法で生成された、モデルにとって未知のデータ」
例えば、入力データ内の特徴量が、（曜日、祝日、天気）だった場合、カレンダー情報や天気予報を用いて疑似的に未来のデータを作ることができる。
（４）「訓練データと同一のデータ」
モデルの生成に使用した訓練データを、評価用データとして使用することができる。この場合、訓練データと同一のデータを評価用データとして評価用データＤＢ１２４に記憶しておけばよい。

予測ミス分析部１２５は、評価用データを用いて既存モデルの予測ミスを分析する。具体的に、予測ミス分析部１２５は、評価用データの入力データを既存モデルに入力して予測を行い、予測結果を取得する。そして、予測ミス分析部１２５は、使用した評価用データと予測結果とに基づいて、モデルの予測結果から、既存モデルが起こした予測ミスを抽出する。

ここで、予測ミスの定義、即ち、予測ミスの判定基準は、ユーザにより設定される。予測ミス分析部１２５は、ユーザが設定した判定基準に基づいて、モデルによる予測結果を分析する。ユーザが設定した判定基準の情報Ｄ４は、入力装置３から予測ミス分析部１２５へ送られる。予測ミス分析部１２５は、取得した判定基準に従って、予測結果に含まれる予測ミスを抽出する。そして、予測ミス分析部１２５は、モデルによる予測結果と、抽出した予測ミスを評価情報出力部１２６へ出力する。なお、必要に応じて、予測ミス分析部１２５は、使用した評価用データなども評価情報出力部１２６へ出力する。なお、予測ミスの判定基準の設定方法については、後に詳しく説明する。予測ミス分析部１２５は、予測値取得手段、基準取得手段及び抽出手段の一例である。

評価情報出力部１２６は、予測ミス分析部１２５から入力された情報に基づいて、既存モデルを評価するための評価情報Ｄ２を生成する。具体的に、評価情報Ｄ２は、実測値と既存モデルによる予測結果（予測値）との関係、及び、検出された予測ミスを示す情報を含む。そして、評価情報出力部１２６は、生成した評価情報Ｄ２を表示装置２へ出力する。評価情報出力部１２６は、出力手段の一例である。

表示装置２は、評価情報出力部１２６が出力した評価情報Ｄ２を表示装置２に表示する。これにより、ユーザは、実測値と既存モデルによる予測値との関係、及び、モデルによる予測値に含まれる予測ミスを示す情報を参照し、既存モデルの性能を評価することができる。予測ミスを示す情報としては、例えば、予測ミスに該当する予測値のサンプル（以下、「予測ミスサンプル」と呼ぶ。）を示す情報が挙げられる。ユーザは、必要に応じて、予測ミスが生じないようにモデルを修正するための修正情報Ｄ３を入力装置３に入力する。修正情報Ｄ３は、モデルの入力として用いられる説明変数の情報、各説明変数に対する重みの情報、入力データを構成する各サンプルに対する重みの情報などの修正に関する情報である。モデル訓練部１２２は、入力された修正情報Ｄ３を用いてモデルの再訓練を行うことにより、モデルの修正を行う。

［評価情報の表示例］
次に、表示装置２に表示される評価情報の表示例を説明する。
（第１の表示例）
図４は、評価情報の第１の表示例を示す。この例では、予測モデルは、ある商品の売り上げを予測するモデルとする。なお、図４は、ユーザが既に予測ミスの判定基準を設定した後の表示例である。第１の表示例４０は、グラフ４１ａ～４１ｃと、入力エリア４２とを含む。グラフ４１ａはモデルによる予測値を示し、グラフ４１ｂは実測値を示す。グラフ４１ａ及び４１ｂの横軸は、ある月の日付を示し、縦軸は売り上げを示す。予測値のグラフ４１ａ上には、予測ミスサンプルを示すマーク４１ｘが表示される。

グラフ４１ｃは、モデルによる予測値と実測値との誤差を評価するための誤差指標を示すグラフである。図４の例では、グラフ４１ｃは、モデルによる予測値と実測値との絶対誤差を示す棒グラフである。グラフ４１ｃの横軸は日付を示し、縦軸は絶対誤差を示す。グラフ４１ｃ上には、閾値４１ｄが示されている。閾値は、誤差指標として指定された絶対誤差に基づき、予測ミスサンプルを抽出するために用いられる。

入力エリア４２は、予測ミスの判定基準をユーザが設定するための領域である。即ち、ユーザは、入力エリア４２へ必要な事項を入力することにより、自らが抽出したい予測ミスの判定基準を設定する。図４の例では、判定基準として、誤差指標と、閾値とが設定される。この場合、前述の予測ミス分析部１２５は、ユーザが設定した誤差指標による予測値と実測値の誤差が、ユーザが設定した閾値より大きいサンプルを、予測ミスサンプルとして抽出することになる。

「誤差指標」としては、例えば絶対誤差や二乗誤差などの誤差が設定される。ユーザは、入力エリア４３を操作して、自分が使用したい誤差指標を設定する。「閾値」は、閾値の基準値と、閾値調整パラメータとにより規定される。なお、本例では、閾値調整パラメータは、閾値が基準値の何倍であるかを示す倍率である。閾値の基準値は、使用するデータの種類と、誤差指標として指定された誤差に応じた平均誤差と、により規定される。使用するデータとしては、例えば、訓練データ、バリデーションデータ、所定期間の訓練データ、所定期間のバリデーションデータなどを用いることができる。ユーザは、入力エリア４４を操作して、自分が使用したい閾値の基準値を設定する。例えば、ユーザは、誤差指標として絶対誤差を指定し、バリデーションデータを使用する場合、図４に示すように「バリデーションデータＭＡＥ」を選択する。「ＭＡＥ」は、平均絶対誤差（ＭＡＥ：Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ）を示す。なお、誤差指標として二乗誤差を使用する場合には、通常、誤差の種類として平均二乗誤差（ＭＳＥ：Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）が使用される。

また、ユーザは、入力エリア４５を操作して、閾値調整パラメータとして任意の倍率を設定する。閾値の値は、入力エリア４４に設定された閾値の基準値と、入力エリア４５に設定された倍率との積となる。図４の例では、ユーザは入力エリア４４にバリデーションデータＭＡＥを設定し、入力エリア４５に倍率「２」を設定しているため、閾値は、
閾値＝２×ＭＡＥ＿ｖａ
として計算される。なお、「ＭＡＥ＿ｖａ」はバリデーションデータの平均絶対誤差（ＭＡＥ）の計算値である。

入力エリア４２には、ＯＫボタン４９が表示される。ＯＫボタン４９は、ユーザが、入力エリア４２において判定基準の設定を完了した旨を指示するためのボタンである。さらに、入力エリア４２には、抽出結果４８として、抽出された予測ミスサンプルのサンプル数が表示される。

なお、前述のように、図４の表示例４０は、ユーザが既に予測ミスの判定基準を設定した後の表示例である。初期状態、即ち、ユーザが予測ミスの判定基準を設定する前の状態では、予測値のグラフ４１ａと実績値のグラフ４１ｂは表示されているが、グラフ４１ｃや予測ミスを示すマーク４１ｘは表示されておらず、入力エリア４２内の各入力エリア４３～４５も未入力となっている。

そして、ユーザが予測ミスの判定基準を設定し、ＯＫボタン４９を押すと、設定された判定基準の情報Ｄ４、具体的には、入力エリア４３～４５に入力された情報が入力装置３から予測ミス分析部１２５へ送信される。予測ミス分析部１２５は、受信した判定基準の情報Ｄ４に基づいて、モデルの予測値から、判定基準に該当するサンプルを予測ミスサンプルとして抽出し、評価情報出力部１２６に出力する。評価情報出力部１２６は、受信した予測ミスサンプルに関する情報を表示装置２に送信し、予測ミスサンプルを示すマーク４１ｘをグラフ４１ａ上に表示させるとともに、予測ミスサンプルの抽出結果４８を入力エリア４２内に表示する。こうして、ユーザが設定した判定基準に従って予測ミスサンプルが抽出され、表示装置２に表示される。その結果、図４に例示するような表示が行われる。

なお、ここではユーザが判定基準を設定する場合を説明したが、第１の表示例はそれに限定されない。例えば、表示装置２は、判定基準として、事前に定められている値を表示してもよい。あるいは、表示装置２は、前回の操作でユーザが設定した判定基準を表示してもよい。または、表示装置２はユーザ毎に、判定基準の入力履歴から学習された機械学習モデルを用いて推薦される判定基準を表示するようにしてもよい。

（第２の表示例）
図５は、評価情報の第２の表示例を示す。第２の表示例４０ａは、ユーザがグラフ４１ａのグラフ上のサンプルを指定することにより、予測ミスの判定基準を設定又は修正することができる点で、第１の表示例４０と異なる。

ユーザは、グラフ４１ａに示す予測値のグラフを見て、予測ミスと思われるサンプルを指定する。具体的に、図５の例では、ユーザは、グラフ４１ａの予測値のグラフ上で、「８日」と「１１日」のサンプルの値が予測ミスに該当すると判断し、マーク４６に示すように、これら２つのサンプルをクリックするなどして指定する。そして、ユーザは、入力エリア４２内のＯＫボタン４９を押す。これにより、マーク４６が示す２つのサンプルを指定する情報が予測ミス分析部１２５へ送信される。予測ミス分析部１２５は、指定された２つのサンプルが予測ミスとして抽出されるように判定基準を修正し、修正後の判定基準に基づいて抽出した予測ミスの情報を評価情報出力部１２６へ出力する。評価情報出力部１２６は、修正後の予測ミスの情報を含む評価情報を表示装置２に送信し、表示させる。

これにより、図５に示す修正後の表示例４０ａでは、入力エリア４５内の倍率の値が「１」に変更され、修正後の閾値４１ｄと、修正前の閾値４１ｅとが表示されている。即ち、この例では、ユーザが指定した２つのサンプルを予測ミスと判定するように、倍率を「２」から「１」に変更して閾値を減少させる修正が行われ、それに応じて閾値のグラフが変更されている。

なお、上記の例では、予測値のグラフ４１ａ上でサンプルを指定することにより判定基準を修正しているが、最初からこの方法で判定基準を入力することとしてもよい。この場合、ユーザは、グラフ４１ａ及び４１ｂのみが表示された初期状態において、入力エリア４３及び４４に入力した後、入力エリア４５に入力せずに、予測ミスと判定したいサンプルを予測値のグラフ４１ａ上で指定し、ＯＫボタン４９を押せばよい。

このように、第２の表示例によれば、ユーザが予測値のグラフ上のサンプルを指定すると、予測ミス分析部１２５は指定されたサンプルが予測ミスと判定されるように判定基準を設定又は修正する。よって、知識や経験が不足しており、入力エリア４２への設定、特に閾値の設定が難しいユーザであっても、適切に判定基準を設定、修正することができる。

（第３の表示例）
図６は、評価情報の第３の表示例を示す。第３の表示例４０ｂは、入力エリア４２にオプション欄４７を設けている点で、第１の表示例４０と異なる。オプション欄４７は、予測ミスサンプルの表示ルールをユーザが指定するための項目である。図６の例では、表示ルールＲ１「全ての予測ミスサンプルを表示」、表示ルールＲ２「連続する予測ミスサンプルのみを表示」、表示ルールＲ３「連続する場合の最終日のみを表示」が用意されている。

具体的に、ユーザが表示ルールＲ１を選択した場合、予測ミス分析部１２５は、判定基準に該当する全ての予測ミスサンプルを抽出して表示する。図６のグラフ４１ａはこの場合の例を示している。

ユーザが表示ルールＲ２を選択した場合、予測ミス分析部１２５は、判定基準に該当する複数の予測ミスサンプルのうち、連続する予測ミスサンプルのみを抽出して表示する。よって、この場合、グラフ４１ａの横軸（日付）方向において連続していない予測ミスサンプルは表示されない。例えば、表示例４０ｂのグラフ４１ａにおいて、１８日と１９日の連続している予測ミスサンプルは表示されるが、９日や１６日のように前後に連続する予測ミスサンプルがない場合、その予測ミスサンプルは表示されないことになる。

また、ユーザが表示ルールＲ３を選択した場合、予測ミス分析部１２５は、判定基準に該当する複数の予測ミスサンプルのうち、連続する予測ミスサンプルの最終日のもののみを抽出する。よって、例えば、予測ミスサンプルが２日連続した場合、２日目のみについて予測ミスサンプルが表示される。なお、予測ミスサンプルの表示ルールは、上記の３つに限らず、任意に設定することができる。

第３の表示例によれば、モデルの評価の目的や表示内容の見易さなどの観点で、表示装置２に予測ミスサンプルを表示させるルールをユーザが選択することが可能となる。

（閾値の他の設定例）
上記の第１～第３の表示例では、「閾値＝倍率＊基準値」として閾値を設定しているが、閾値の設定方法はこれには限られず、他の様々な方法を用いることができる。図７は、表示例に含まれる入力エリアの他の例を示す。図７に示す入力エリア４２ｘは、入力エリア５１、５２と、ヒストグラム５３と、閾値バー５４と、を有する。入力エリア５１はユーザがデータセットを指定するために使用され、入力エリア５２はユーザが誤差指標を指定するために使用される。ヒストグラム５３は、ユーザの指定に基づいて、データセットに含まれる各サンプルについて計算された誤差を示す。閾値バー５４は、ユーザが閾値の値を任意に設定するために移動させるバーである。

図７の例では、まず、ユーザは、入力エリア５１を操作してデータセットを指定し、次に、入力エリア５２を操作して誤差指標を指定する。ここで、ユーザが指定できる誤差指標としては、例えば以下のものが挙げられる。なお、「ｙ」は実績値を示し、「ｙ_pred」は予測値を示す。
（例１） 誤差 ｙ－ｙ_pred
（例２） 絶対誤差 ｜ｙ－ｙ_pred｜
（例３） 二乗誤差 （ｙ－ｙ_pred）^２
（例４） 誤差率 （ｙ－ｙ_pred）／ｙ
（例５） 絶対誤差率 ｜ｙ－ｙ_pred｜／ｙ

予測ミス分析部１２５は、ユーザが指定したデータセット中の各サンプルについて、ユーザが指定した誤差指標を計算し、得られた各サンプルの誤差をヒストグラム５３として表示する。ユーザは、表示されたヒストグラム５３を見ながら閾値バー５４を移動させ、ユーザの感覚で閾値を決定することができる。なお、ユーザが閾値を設定する代わりに、予測ミス分析部１２５は、データセット中の所定割合（例えば２０％）のサンプルが予測ミスサンプルとなるように、閾値を自動で設定するようにしてもよい。

［モデル分析処理］
次に、モデル生成装置１００によるモデル分析処理について説明する。図８は、モデル生成装置１００によるモデル分析処理のフローチャートである。モデル分析処理は、モデル訓練部１２２により生成された既存モデルの予測ミスを抽出し、表示装置２に表示する処理である。この処理は、図２に示すプロセッサ１１２が予め用意されたプログラムを実行し、図３に示す要素として動作することにより実現される。

まず、モデル生成装置１００は、評価用データを既存モデルに入力し、既存モデルによる予測値を取得する（ステップＳ１０）。次に、モデル生成装置１００は、評価用データに含まれる実測値と、既存モデルによる予測値とを示すグラフを生成する（ステップＳ１１）。生成されたグラフは、表示装置２に表示される。

ユーザは、例えば図４のように表示された実測値と予測値のグラフを見て、入力エリア４２に対して予測ミスサンプルの判断基準を設定する。モデル生成装置１００は、設定された予測ミスサンプルの判定基準を取得する（ステップＳ１２）。次に、モデル生成装置１００は、取得した判定基準に該当する予測値のサンプルを予測ミスサンプルとして抽出し、出力する（ステップＳ１３）。抽出された予測ミスサンプルは、図４に示すように、表示装置２に表示された予測値のグラフ上でマーク４１ｘにより示される。

次に、モデル生成装置１００は、ユーザにより判定基準の修正指示が入力されたか否かを判定する（ステップＳ１４）。判定基準の修正指示が入力された場合（ステップＳ１４：Ｙｅｓ）、処理はステップＳ１２へ戻り、モデル生成装置１００は、修正後の判定基準を取得し、その判定基準に従って予測ミスサンプルを抽出し、出力する（ステップＳ１３）。こうして、ユーザは、必要に応じて判定基準の修正を繰り返しつつ、モデルを評価することができる。

一方、判定基準の修正指示が入力されなかった場合（ステップＳ１４：Ｎｏ）、モデル生成装置１００は、ユーザにより終了指示が入力されたか否かを判定する（ステップＳ１５）。終了指示が入力されなかった場合（ステップＳ１５：Ｎｏ）、処理はステップＳ１４へ戻る。一方、終了指示が入力された場合（ステップＳ１５：Ｙｅｓ）、モデル分析処理は終了する。

なお、ユーザは、図５に示す第２の表示例のように、予測値のグラフ上のサンプルを指定することにより、判定基準の設定又は修正を行ってもよい。この場合、モデル生成装置１００は、ステップＳ１２において、予測値のグラフ上のサンプルを指定する入力を取得する。そして、モデル生成装置１００は、ステップＳ１３において、そのサンプルが予測ミスと判定されるように予測ミスサンプルの判定基準を修正した上で、予測ミスサンプルを抽出する。また、図６に示す第３の表示例のように、ユーザがオプション欄４７で予測ミスサンプルの表示ルールを指定した場合、モデル生成装置１００は、ステップＳ１３において、指定された表示ルールに従って予測ミスサンプルを選択し、表示装置２に表示させる。

［変形例］
上記の実施形態では、モデル生成装置１００をＰＣなどの独立した装置として構成しているが、その代わりに、モデル生成装置をサーバと端末装置により構成してもよい。図９は、サーバと端末装置を用いたモデル生成システム１ｘの概略構成を示すブロック図である。図９において、サーバ１００ｘは、図３に示すモデル生成装置１００の構成を備える。また、ユーザが使用する端末装置７の表示装置２ｘ及び入力装置３ｘを、図３に示す表示装置２及び入力装置３として使用する。

＜第２実施形態＞
図１０は、第２実施形態のモデル分析装置７０の機能構成を示すブロック図である。モデル分析装置７０は、予測値取得手段７１と、出力手段７２と、基準取得手段７３と、抽出手段７４と、を備える。

図１１は、第２実施形態のモデル分析装置７０による処理のフローチャートである。予測値取得手段７１は、入力データに対するモデルの予測値を取得する（ステップＳ７１）。出力手段７２は、予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力する（ステップＳ７２）。基準取得手段７３は、判定基準を取得する（ステップＳ７３）。抽出手段７４は、判定基準に基づいて、予測ミスに該当する予測値を抽出し、グラフ上に示す（ステップＳ７４）。

第２実施形態のモデル分析装置７０によれば、予測モデルの誤差の判定基準を設定し、設定した判定基準に基づく誤差を用いて適切にモデルを評価することが可能となる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
入力データに対するモデルの予測値を取得する予測値取得手段と、
前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力する出力手段と、
前記判定基準を取得する基準取得手段と、
前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示す抽出手段と、
を備えるモデル分析装置。

（付記２）
前記評価情報は、前記予測値のグラフ上に表示され、前記予測ミスに該当する予測値を示すマークを含む付記１に記載のモデル分析装置。

（付記３）
前記判定基準は、前記予測値と前記実測値の誤差の種類を指定する誤差指標、及び、前記予測値を予測ミスと判定するための閾値を規定する情報を含む付記１又は２に記載のモデル分析装置。

（付記４）
前記閾値を規定する情報は、前記閾値の基準値を示す情報と、前記閾値を調整するパラメータとを含む付記３に記載のモデル分析装置。

（付記５）
前記評価情報は、指定された誤差指標による前記予測値と前記実測値の誤差と、前記閾値とを示すグラフを含む付記３又は４に記載のモデル分析装置。

（付記６）
前記抽出手段は、ユーザにより前記グラフ上の特定の予測値が指定された場合に、当該予測値を予測ミスと判定するように前記判定基準を変更し、変更後の判定基準に基づいて予測ミスに該当する予測値を抽出する付記１乃至５のいずれか一項に記載のモデル分析装置。

（付記７）
前記入力エリアは、予測ミスに該当する予測値から、表示の対象とする予測値を選択するための複数のルールの情報を含み、
前記評価情報は、ユーザにより選択されたルールに従って選択された予測値を示すマークを含む付記２に記載のモデル分析装置。

（付記８）
入力データに対するモデルの予測値を取得し、
前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
前記判定基準を取得し、
前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示すモデル分析方法。

（付記９）
入力データに対するモデルの予測値を取得し、
前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
前記判定基準を取得し、
前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示す処理をコンピュータに実行させるプログラムを記録した記録媒体。

以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

１、１ｘ モデル生成システム
２、２ｘ 表示装置
３、３ｘ 入力装置
７ 端末装置
１００ モデル生成装置
１１２ プロセッサ
１２１ 訓練データＤＢ
１２２ モデル訓練部
１２３ モデルＤＢ
１２４ 評価用データＤＢ
１２５ 予測ミス分析部
１２６ 評価情報出力部

Claims (9)

1. 入力データに対するモデルの予測値を取得する予測値取得手段と、
   前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力する出力手段と、
   前記判定基準を取得する基準取得手段と、
   前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示す抽出手段と、
   を備え、
   前記判定基準は、前記予測値と前記実測値の誤差の種類を指定する誤差指標、及び、前記予測値を予測ミスと判定するための閾値を規定する情報を含むモデル分析装置。
2. 入力データに対するモデルの予測値を取得する予測値取得手段と、
   前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力する出力手段と、
   前記判定基準を取得する基準取得手段と、
   前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示す抽出手段と、
   を備え、
   前記抽出手段は、ユーザにより前記グラフ上の特定の予測値が指定された場合に、当該予測値を予測ミスと判定するように前記判定基準を変更し、変更後の判定基準に基づいて予測ミスに該当する予測値を抽出するモデル分析装置。
3. 入力データに対するモデルの予測値を取得する予測値取得手段と、
   前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力する出力手段と、
   前記判定基準を取得する基準取得手段と、
   前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示す抽出手段と、
   を備え、
   前記評価情報は、前記予測値のグラフ上に表示され、前記予測ミスに該当する予測値を示すマークを含み、
   前記表示エリアは、予測ミスに該当する予測値から、表示の対象とする予測値を選択するための複数のルールの情報を含み、
   前記評価情報は、ユーザにより選択されたルールに従って選択された予測値を示すマークを含むモデル分析装置。
4. コンピュータにより実行されるモデル分析方法であって、
   入力データに対するモデルの予測値を取得し、
   前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
   前記判定基準を取得し、
   前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示し、
   前記判定基準は、前記予測値と前記実測値の誤差の種類を指定する誤差指標、及び、前記予測値を予測ミスと判定するための閾値を規定する情報を含むモデル分析方法。
5. コンピュータにより実行されるモデル分析方法であって、
   入力データに対するモデルの予測値を取得し、
   前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
   前記判定基準を取得し、
   前記判定基準に基づいて、予測ミスに該当する予測値の抽出を行って前記グラフ上に示し、
   前記予測値の抽出は、ユーザにより前記グラフ上の特定の予測値が指定された場合に、当該予測値を予測ミスと判定するように前記判定基準を変更し、変更後の判定基準に基づいて予測ミスに該当する予測値を抽出するモデル分析方法。
6. コンピュータにより実行されるモデル分析方法であって、
   入力データに対するモデルの予測値を取得し、
   前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
   前記判定基準を取得し、
   前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示し、 前記評価情報は、前記予測値のグラフ上に表示され、前記予測ミスに該当する予測値を示すマークを含み、
   前記表示エリアは、予測ミスに該当する予測値から、表示の対象とする予測値を選択するための複数のルールの情報を含み、
   前記評価情報は、ユーザにより選択されたルールに従って選択された予測値を示すマークを含むモデル分析方法。
7. 入力データに対するモデルの予測値を取得し、
   前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
   前記判定基準を取得し、
   前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示す処理をコンピュータに実行させ、
   前記判定基準は、前記予測値と前記実測値の誤差の種類を指定する誤差指標、及び、前記予測値を予測ミスと判定するための閾値を規定する情報を含むプログラム。
8. 入力データに対するモデルの予測値を取得し、
   前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
   前記判定基準を取得し、
   前記判定基準に基づいて、予測ミスに該当する予測値の抽出を行って前記グラフ上に示す処理をコンピュータに実行させ、
   前記予測値の抽出は、ユーザにより前記グラフ上の特定の予測値が指定された場合に、当該予測値を予測ミスと判定するように前記判定基準を変更し、変更後の判定基準に基づいて予測ミスに該当する予測値を抽出するプログラム。
9. 入力データに対するモデルの予測値を取得し、
   前記予測値と実測値とを示すグラフ、及び、予測ミスの判定基準を表示するための表示エリアを含む評価情報を出力し、
   前記判定基準を取得し、
   前記判定基準に基づいて、予測ミスに該当する予測値を抽出し、前記グラフ上に示す処理をコンピュータに実行させ、
   前記評価情報は、前記予測値のグラフ上に表示され、前記予測ミスに該当する予測値を示すマークを含み、
   前記表示エリアは、予測ミスに該当する予測値から、表示の対象とする予測値を選択するための複数のルールの情報を含み、
   前記評価情報は、ユーザにより選択されたルールに従って選択された予測値を示すマークを含むプログラム。