JP7794290B2 - モデル分析装置、モデル分析方法、及び、プログラム - Google Patents

Description

本開示は、機械学習モデルの分析に関する。

近年、様々な分野において、機械学習により得られた予測モデルが利用されている。特許文献１は、半導体製造に関連するプロセスを学習及び／最適化するシステムに関し、候補プロセスモデルを品質値や多様性値に基づいて順位付けする手法を記載している。

特表２０１７－５０４８７２号公報

機械学習に用いる予測モデルを選択する際には、予測モデルを適用するタスクに応じて複数の評価指標を比較考量して予測モデルを評価し、適切な予測モデルを選択することが望まれる。

本開示の１つの目的は、複数の評価指標を考慮してモデルの評価や適切なモデルの選択を行うことにある。

本開示の一つの観点では、モデル分析装置は、
モデルに関する複数の評価指標の指定を取得する指標取得手段と、
前記複数の評価指標に対する重要度を取得する重要度取得手段と、
複数のモデルについて、前記複数の評価指標の値を取得する指標値取得手段と、
取得した評価指標の値と、重要度とに基づいて、前記複数のモデルの順位を分析する分析手段と、
前記複数の評価指標の値に基づき、前記複数のモデルについての評価指標空間を表示する表示手段と、
を備え、
前記評価指標空間は、前記複数の評価指標を座標軸とし、
前記複数のモデルの各々が、前記評価指標空間上において当該モデルの評価指標の値に対応する位置に埋め込まれており、
前記評価指標空間上に、前記複数の評価指標が同一レベルとなる複数の線分が描画されている。

本開示の他の観点では、コンピュータにより実行されるモデル分析方法は、
モデルに関する複数の評価指標の指定を取得し、
前記複数の評価指標に対する重要度を取得し、
複数のモデルについて、前記複数の評価指標の値を取得し、
取得した評価指標の値と、重要度とに基づいて、前記複数のモデルの順位を分析し、
前記複数の評価指標の値に基づき、前記複数のモデルについての評価指標空間を表示し、
前記評価指標空間は、前記複数の評価指標を座標軸とし、
前記複数のモデルの各々が、前記評価指標空間上において当該モデルの評価指標の値に対応する位置に埋め込まれており、
前記評価指標空間上に、前記複数の評価指標が同一レベルとなる複数の線分が描画されている。

本発明のさらに他の観点では、プログラムは、
モデルに関する複数の評価指標の指定を取得し、
前記複数の評価指標に対する重要度を取得し、
複数のモデルについて、前記複数の評価指標の値を取得し、
取得した評価指標の値と、重要度とに基づいて、前記複数のモデルの順位を分析し、
前記複数の評価指標の値に基づき、前記複数のモデルについての評価指標空間を表示する処理をコンピュータに実行させ、
前記評価指標空間は、前記複数の評価指標を座標軸とし、
前記複数のモデルの各々が、前記評価指標空間上において当該モデルの評価指標の値に対応する位置に埋め込まれており、
前記評価指標空間上に、前記複数の評価指標が同一レベルとなる複数の線分が描画されている。

本開示によれば、複数の評価指標を考慮してモデルの評価や適切なモデルの選択を行うことが可能となる。

第１実施形態に係るモデル生成システムの全体構成を示すブロック図である。 モデル生成装置のハードウェア構成を示すブロック図である。 第１実施形態のモデル生成装置の機能構成を示すブロック図である。 第１実施形態の評価情報の表示例を示す。 第１実施形態の評価情報の他の表示例を示す。 第１実施形態のモデル分析処理のフローチャートである。 サーバと端末装置を用いたモデル生成システムの概略構成を示すブロック図である。 第２実施形態の評価情報の表示例を示す。 第２実施形態のモデル分析装置による処理のフローチャートである。 第３実施形態のモデル分析装置の機能構成を示すブロック図である。 第３実施形態のモデル分析装置による処理のフローチャートである。

以下、図面を参照して、本開示の好適な実施形態について説明する。
＜第１実施形態＞
［全体構成］
図１は、第１実施形態に係るモデル生成システムの全体構成を示すブロック図である。モデル生成システム１は、モデル生成装置１００と、表示装置２と、入力装置３とを備える。モデル生成装置１００は、本開示のモデル分析装置を適用したものであり、例えばパーソナルコンピュータ（ＰＣ）などのコンピュータにより構成される。表示装置２は、例えば液晶表示装置などであり、モデル生成装置１００が生成した評価情報を表示する。入力装置３は、例えばマウス、キーボードなどであり、ユーザがモデルの修正時や評価情報の閲覧時に必要な指示、入力を行うために使用される。

まず、モデル生成システム１の動作を概略的に説明する。モデル生成装置１００は、予め用意された訓練データを用いて、機械学習モデル（以下、単に「モデル」とも呼ぶ。）を生成する。また、モデル生成装置１００は、生成したモデルの分析、評価を行う。具体的に、モデル生成装置１００は、評価用データなどを用いてモデルによる予測を行い、予測結果に基づいてモデルを評価する。モデル生成装置１００は、複数の評価指標を用いて複数のモデルを評価する。評価指標は、例えば、モデルの予測精度、互換性、公平性などの各種の指標を含む。なお、予測精度とは、モデルによる予測結果が正しい確率を示す。互換性とは、あるモデルと別のモデルの予測結果が一致する度合いを示す。また、公平性とは、異なる属性のデータに対するモデルの予測結果の差異の程度やばらつきの度合いを示す。そして、モデル生成装置１００は、複数の評価指標との関係において複数のモデルを評価した結果を評価情報としてユーザに提示する。ユーザは、評価情報を確認し、複数のモデルから適切なモデルを選択したり、入力装置３を操作してモデルの修正のための修正情報を入力したりすることができる。

なお、「機械学習モデル」とは、説明変数と目的変数の関係を表す情報である。機械学習モデルは、例えば、説明変数に基づいて目的とする変数を算出することにより推定対象の結果を推定するためのコンポーネントである。機械学習モデルは、既に目的変数の値が得られている学習用データと任意のパラメータとを入力として、学習アルゴリズムを実行することにより生成される。機械学習モデルは、例えば、入力ｘを正解ｙに写像する関数ｃにより表されてもよい。機械学習モデルは、推定対象の数値を推定するものであってもよいし、推定対象のラベルを推定するものであってもよい。機械学習モデルは、目的変数の確率分布を記述する変数を出力してもよい。機械学習モデルは、「学習モデル」、「分析モデル」、「ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデル」または「予測式」などと記載されることもある。また、説明変数とは機械学習モデルにおいて入力として用いられる変数である。説明変数は、「特徴量」または「特徴」などと記載されることがある。

また、機械学習モデルを生成するための学習アルゴリズムは特に限定されず、既存の学習アルゴリズムでよい。例えば、学習アルゴリズムは、ランダムフォレスト、サポートベクターマシン、ナイーブベイズ、ＦＡＢ推論（Ｆａｃｔｏｒｉｚｅｄ Ａｓｙｍｐｔｏｔｉｃ Ｂａｙｅｓｉａｎ Ｉｎｆｅｒｅｎｃｅ）を利用した区分線形モデル、またはニューラルネットワークであってよい。なお、ＦＡＢ推論を利用した区分線形モデルの手法は、例えば米国公開特許ＵＳ２０１４／０２２２７４１Ａ１号公報等に開示されている。

［ハードウェア構成］
図２は、モデル生成装置１００のハードウェア構成を示すブロック図である。図示のように、モデル生成装置１００は、インタフェース（Ｉ／Ｆ）１１１と、プロセッサ１１２と、メモリ１１３と、記録媒体１１４と、データベース（ＤＢ）１１５と、を備える。

Ｉ／Ｆ１１１は、外部装置との間でデータの入出力を行う。具体的に、モデルの生成に使用する訓練データ、評価用データ、及び、ユーザが入力装置３を用いて入力した指示や入力は、Ｉ／Ｆ１１１を通じてモデル生成装置１００に入力される。また、モデル生成装置１００が生成したモデルの評価情報は、Ｉ／Ｆ１１１を通じて表示装置２へ出力される。

プロセッサ１１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することによりモデル生成装置１００の全体を制御する。なお、プロセッサ１１２は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、量子プロセッサまたはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）であってもよい。プロセッサ１１２は、後述するモデル分析処理を実行する。

メモリ１１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１１３は、プロセッサ１１２による各種の処理の実行中に作業メモリとしても使用される。

記録媒体１１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、モデル生成装置１００に対して着脱可能に構成される。記録媒体１１４は、プロセッサ１１２が実行する各種のプログラムを記録している。モデル生成装置１００が各種の処理を実行する際には、記録媒体１１４に記録されているプログラムがメモリ１１３にロードされ、プロセッサ１１２により実行される。

ＤＢ１１５は、モデル生成装置１００が生成したモデル（以下、「既存モデル」と呼ぶ。）、及び、再訓練による修正後のモデル（以下、「修正後モデル」と呼ぶ。）に関する情報を記憶する。また、ＤＢ１１５は、必要に応じて、Ｉ／Ｆ１１１を通じて入力された訓練データ、評価用データ、ユーザが入力した修正情報などを記憶する。

［機能構成］
図３は、第１実施形態のモデル生成装置１００の機能構成を示すブロック図である。モデル生成装置１００は、機能的には、訓練データＤＢ１２１と、モデル訓練部１２２と、モデルＤＢ１２３と、評価用データＤＢ１２４と、分析部１２５と、を備える。

訓練データＤＢ１２１は、モデルの生成に用いられる訓練データを記憶する。訓練データＤ１は、モデル訓練部１２２に入力される。なお、訓練データＤ１は、入力データと、その入力データに対する正解（正解値又は正解ラベル）との複数の組み合わせにより構成される。

モデル訓練部１２２は、訓練データＤ１を用いてモデルの訓練を行い、モデルを生成する。モデル訓練部１２２は、生成したモデルに対応するモデルデータＭをモデルＤＢ１２３及び分析部１２５へ出力する。なお、モデルデータＭは、モデルを構成する複数のパラメータ情報を含む。パラメータ情報は、例えば、モデルの入力として用いられる説明変数の情報、各説明変数に対する重みの情報、入力データを構成する各サンプルに対する重みの情報などを含む。

モデルＤＢ１２３は、タスク毎に複数のモデルを記憶する。「タスク」とは、機械学習モデルにおいて、問題や質問、および利用可能なデータに基づいて行われる予測または推論の種類を指す。タスクには、分類タスク、回帰タスク、クラスター化タスク、物体認識タスクなど、各種のものが含まれる。例えば、分類タスクとは、データをカテゴリに割り当てることをいう。回帰タスクとは、ある目的変数の値を、別の説明変数の値に基づいて予測することをいう。クラスター化タスクとは、類似性に従ってデータをグループ化することをいう。物体認識タスクとは、画像中の物体を検出し、その位置及びクラスを出力することをいう。モデルＤＢ１２３には、各タスクについて複数のモデルが記憶されている。なお、あるタスクに対応する複数のモデルは、異なるアルゴリズムを用いるものであってもよく、異なるデータに対して同一のアルゴリズムを用いて得られた異なるモデルであってもよく、設定値（例えばハイパーパラメータ）の違う同一のアルゴリズムで得られた異なるモデルであってもよい。

モデル訓練部１２２は、既存モデルを再訓練して修正後モデルを生成する。この場合、モデル訓練部１２２は、ユーザが入力装置３を用いて入力した修正情報Ｄ３に基づいて、モデルを構成するパラメータを修正し、必要に応じて再訓練用の訓練データを用いてモデルの再訓練を行う。モデル訓練部１２２は、再訓練により得られた修正後モデルのモデルデータＭをモデルＤＢ１２３へ記憶するとともに、分析部１２５へ出力する。

また、モデル訓練部１２２がモデルを再訓練する方法は特に限定されない。例えば、モデル訓練部１２２は、既存モデルを無視して完全に新しい修正後モデルを訓練しなおす方法、および、新たな訓練データを利用して、既存モデルを更新する方法を用いてもよい。他にも、モデル訓練部１２２が、既存モデルを再訓練する方法としては、モデルに用いる説明変数の種類を変えずに、再訓練によって係数のみ更新する方法、および、説明変数の選択も含めて再訓練する方法等がある。

評価用データＤＢ１２４は、生成されたモデルの評価に使用する評価用データを記憶する。評価用データは、例えば収集されたデータのうち、訓練データとして使用しなかった一部のデータや、新たに収集されたデータ、検証のために用意されたバリデーションデータなどである。なお、訓練データを評価用データとして使用してもよい。評価用データは、入力データと、その入力データに対する正解（正解値又は正解ラベル）との複数の組み合わせにより構成される。

分析部１２５は、評価用データを用いて、複数のモデルの性能を分析する。具体的に、分析部１２５は、ユーザが選択したタスクに対応する複数のモデルをモデルＤＢ１２３から取得し、評価用データを用いて各モデルの評価指標を算出する。以下の説明では、分析部１２５は、ユーザが指定した複数の評価指標として、各モデルについて精度指標及び互換性指標を算出するものとする。そして、分析部１２５は、各モデルを、精度指標及び互換性指標との関係において評価し、その結果を評価情報Ｄ２として表示装置２へ出力する。分析部１２５は、指標取得手段、重要度取得手段、指標値取得手段、及び、分析手段の一例である。

表示装置２は、分析部１２５が出力した評価情報Ｄ２を表示装置２に表示する。ユーザは、表示された評価情報を見ることにより、複数のモデルを精度指標及び互換性指標の観点で評価することができる。

また、ユーザは、必要に応じて、現行モデルを修正するための修正情報Ｄ３を入力装置３に入力する。修正情報Ｄ３は、例えば、モデルの入力として用いられる説明変数の情報、各説明変数に対する重みの情報、説明変数のカテゴリの属性毎に設定される重みの情報、入力データを構成する各サンプルに対する重みの情報などの修正に関する情報である。モデル訓練部１２２は、入力された修正情報Ｄ３を用いてモデルの再訓練を行うことにより、モデルの修正を行う。

［評価情報の表示例］
第１実施形態では、分析部１２５は、複数の評価指標に対してユーザが指定した重要度に基づいて、ある１つのタスクに対応する複数のモデルを順位付けして表示する。

図４は、第１実施形態による評価情報の表示例を示す。図４の表示例４０は、モデルリスト４１と、スライドバー４２とを備える。モデルリスト４１は、複数のモデルをリスト表示したものであり、候補モデル、精度指標及び互換性指標を含む。「候補モデル」は、１つのタスクに対応する複数のモデルを示す。図４の例では、ある１つのタスクに対応する４つの候補モデルｈ１～ｈ４が表示されている。

「精度指標」は、各候補モデルの精度を示す指標である。基本的に、精度指標はモデルの出力が正しい確率を示す。例えば、回帰タスクの場合、精度指標としては、Ｒ^２（決定係数）、ＲＭＳＥ（Root Means Square Error）、ＭＡＥ（Mean Absolute Error）などを用いることができる。但し、値が小さいほど精度が良いことを示す指標については、「－１」を掛けるなどして、値が大きいほど精度が良いことを示す指標として使用すればよい。具体的に、ＲＭＳＥやＭＳＥについては、「－１」を掛けた値を指標として使用すればよい。分類タスクの場合、精度指標としては、正解率（Accuracy）、適合率（Precision）、再現率（Recall）、F値（F1-score）、ＡＵＣ（Area under the ROC curve）などを用いることができる。「互換性指標」は、複数のモデル間の互換性を示すものであり、具体的には、あるモデルｈ０が正解したデータを別のモデルｈｘがどの程度正解できたかにより示される。

また、図４において、分析部１２５は、評価指標として「互換性指標」と「精度指標」とを用いている。しかし、分析部１２５が用いる評価指標はこれらに限定されず、任意の評価指標を利用することができる。例えば、分析１２５は「公平性指標」を評価指標としてモデルの性能を分析してもよい。

スライドバー４２は、精度指標と互換性指標の重要度（重み）の割合を指定するためのバーであり、ユーザにより操作される。具体的に、カーソル４２ａがスライドバー４２の左端にある場合、精度指標の重要度は１００％、互換性指標の重要度は０％となる。一方、カーソル４２ａがスライドバー４２の右端にある場合、精度指標の重要度は０％、互換性指標の重要度は１００％となる。また、カーソル４２ａがスライドバー４２の中央にある場合、精度指標の重要度は５０％、互換性指標の重要度は５０％となる。ユーザは、スライドバー４２におけるカーソル４２ａの位置を指定することにより、精度指標と互換性指標のどちらをどれぐらい重要視するかを指定することができる。

いま、図４において、カーソル４２ａの位置が、精度指標の重要度＝８０%、互換性指標の重要度＝２０％に対応すると仮定する。分析部１２５は、まず、候補モデルｈ１～ｈ４のそれぞれについて、評価用データなどを用いて精度指標の値と互換性指標の値を算出する。なお、精度指標は値が大きいほど精度が高く、互換性指標は値が大きいほど互換性が高いものとする。

次に、分析部１２５は、ユーザが指定した重要度の比を用いて、評価指標を集約した値（以下、「集約評価値」とも呼ぶ。）を用いて、候補モデルを順位付けする。この集約評価値は、ユーザが指定した重要度に基づき、複数の評価指標に関する総合的な評価を示す値となる。よって、集約評価値を用いて複数の候補モデルを順位付けすることにより、ユーザは、自身が指定した重要度の条件下で適切な候補モデルを選択することが可能となる。

好適な例では、分析部１２５は、線形関数を用いて評価指標を集約し、集約評価値として重み付け和を用いる。この場合、分析部１２５は、ユーザが指定した精度指標と互換性指標の重要度の比（８０％：２０％＝４：１）を重みとして用いて、各候補モデルの精度指標の値と互換性指標の値の重み付け和を算出する。例えば、分析部１２５は、各候補モデルについて重み付け和Ｓを以下のように算出する。
Ｓ＝４×（精度指標）＋１×（互換性指標） （１）

分析部１２５は、上記の式（１）により全ての候補モデルｈ１～ｈ４について重み付け和を算出し、候補モデルを重み付け和Ｓの大きい順に順位付けし、リスト表示する。これにより、図４の例では、ユーザは、自身が指定した精度指標と互換性指標の重要度の比（８０％：２０％）においては、モデルｈ３が最も適切であることがわかる。

このように、分析部１２５は、ユーザが指定した重要度を用いて精度指標と互換性指標を集約した集約評価値に従って、複数の候補モデルをリスト表示する。よって、ユーザは、自分が指定した重要度において、どの候補モデルを使用すべきかを容易に知ることができる。

図５は、第１実施形態による評価情報の他の表示例を示す。この例も、ある１つのタスクに対応する複数のモデルについて、精度指標と互換性指標を示す。但し、図４の例ではスライドバー４２を用いてユーザが重要度を指定するのに対し、図５の例では棒グラフによりユーザが重要度を指定する。図５の表示例５０は、モデルリスト５１と、棒グラフ５２とを備える。モデルリスト４１は、第１例と同様に複数のモデルをリスト表示したものである。但し、図５の例では、ユーザが選択した２つの精度指標及び２つの互換性指標が用いられている。なお、互換性指標については、例えば、互換性指標１は、新旧２つのモデルがある場合に、互換性指標１は旧モデルが正解したデータを新モデルも正解した割合とすることができる。また、互換性指標２は、新旧２つのモデルがある場合に、新モデルが不正解であったデータを旧モデルも不正解であった割合とすることができる。

棒グラフ５２は、評価指標毎にバー５２ａを備える。ユーザは、カーソルＣなどを用いて、各評価指標に対応するバー５２ａの長さを変えることにより、その評価指標に対する重要度を変えることができる。図５の例では、ユーザはカーソルＣにより、精度指標１の重要度を変更している。なお、表示例５０上の表示領域との関係でバー５２ａを延ばす余地が無くなった場合、ユーザは、再規格化ボタン５２ｂを押すことにより、複数の評価指標間の重要度の比を変えずに、表示例５０における各バー５２ａの長さを表示領域内に収めることができる。また、図５に示すように、各バー５２ａの下に、全体（４つのバーの合計）に対する各バー５２ａの長さの割合を表示することで、ユーザは各評価指標に対する重要度の比を細かく調整できるようになる。

分析部１２５による複数の候補モデルの順位付けの方法は、第１例と同様である。即ち、分析部１２５は、ユーザの指定した重要度の比を用い、集約評価値として各評価指標（本例では、精度指標１、精度指標２、互換性指標１、互換性指標２）の重み付け和Ｓを算出し、その順に複数の候補モデルをモデルリスト５１に表示する。この例においても、ユーザは、自分が指定した重要度の比において、どの候補モデルが最適であるかを容易に知ることができる。

［モデル分析処理］
図６は、第１実施形態によるモデル分析処理を示すフローチャートである。モデル分析処理は、ユーザが指定したタスクに対応する複数のモデルを、ユーザが指定した評価指標の重要度に応じて順位付けして表示する処理である。この処理は、図２に示すプロセッサ１１２が予め用意されたプログラムを実行し、主として図３に示すモデル訓練部１２２及び分析部１２５として動作することにより実現される。

まず、分析部１２５は、ユーザによるタスク及び評価指標の指定を取得する（ステップＳ１０）。図４は、ユーザがあるタスクを指定し、評価指標として、ある精度指標とある互換性指標を指定した例である。図５は、ユーザがあるタスクを指定し、評価指標として、精度指標１、精度指標２、互換性指標１及び互換性指標２を指定した例である。

次に、分析部１２５は、ユーザが指定したタスクに対応する複数の候補モデルを取得する（ステップＳ１１）。図４及び図５の例では、分析部１２５は、候補モデルｈ１～ｈ４を取得している。

次に、分析部１２５は、複数の評価指標のうち、デフォルト表示として、１つの評価指標に基づいて表示順を決定し（ステップＳ１２）、決定された表示順で複数の候補モデルのリストを表示する（ステップＳ１３）。なお、この場合の１つの評価指標は、例えば複数の評価指標からユーザが指定した評価指標であってもよく、ユーザが最初に指定した評価指標を使用してもよい。これにより、デフォルト表示において、複数の候補モデルは、その１つの評価指標が高い順にリスト表示される。

次に、分析部１２５は、ユーザが重要度を変更したか否かを判定する（ステップＳ１４）。具体的に、図４の例では、分析部１２５は、ユーザがスライドバー４２のカーソル４２ａの位置を変更したか否かを判定する。また、図５の例では、分析部１２５は、ユーザがいずれかの評価指標のバー５２ａの長さを変更したかを判定する。ユーザが重要度を変更した場合（ステップＳ１４：Ｙｅｓ）、分析部１２５は、変更後の重要度に基づいて前述の重み付け和Ｓを算出し、重み付け和Ｓの順に複数の候補モデルの表示順を決定する（ステップＳ１５）。そして、分析部１２５は、決定された表示順でモデルリストを再表示する（ステップＳ１３）。これにより、図４に示すモデルリスト４１、又は、図５に示すモデルリスト５１が表示される。

一方、ユーザが重要度を変更しなかった場合（ステップＳ１４：Ｎｏ）、分析部１２５は、ユーザにより終了指示が入力されたか否かを判定する（ステップＳ１６）。終了指示が入力されていない場合（ステップＳ１６：Ｎｏ）、処理はステップＳ１４へ戻る。一方、終了指示が入力された場合（ステップＳ１６：Ｙｅｓ）、処理は終了する。

なお、上記のフローチャートでは、ステップＳ１２において、デフォルト表示として、任意の１つの評価指標に基づいて複数の候補モデルの表示順を決定している。その代わりに、最初からユーザに重要度の入力を促し、入力された重要度に基づいて複数の候補モデルの表示順を決定して表示してもよい。

以上のように、第１実施形態のモデル分析処理では、ユーザが指定した複数の評価指標及びそれらの重要度に基づいて複数の評価指標についての集約評価値が算出され、集約評価値に基づいてユーザが指定したタスクに対応する複数の候補モデルが順位付けされて表示される。よって、ユーザは、自分が指定した重要度の場合に、最適な候補モデルを容易に知ることができる。

［変形例］
（変形例１）
上記のモデル分析処理では、分析部１２５は、重み付け和を示す線形関数を用いて複数の評価指標を集約しているが、その代わりに、他の線形関数又は非線形関数を用いて複数の評価指標を集約し、集約評価値を算出することとしてもよい。

（変形例２）
上記のモデル分析処理においてユーザが指定した重要度の比をタスクと関連付けて学習してもよい。これにより、タスクと、そのタスクについてユーザが適切と考える重要度の比との関係を学習した機械学習モデルを生成することができる。この機械学習モデルを用いれば、ユーザはタスクを入力することにより、そのタスクに対して適切な重要度の比を出力として得ることができる。

（変形例３）
第１実施形態では、分析部１２５は、ユーザが指定したタスクに対応する複数のモデルを順位付けしてリスト表示している。その代わりに、分析部１２５は、タスクの同一性を問わず、ユーザが指定した任意の複数のモデルを順位付けして表示することとしてもよい。

（変形例４）
第１実施形態では、分析部１２５は、ユーザが選択したタスクに対応する複数のモデルをモデルＤＢ１２３から取得し、評価用データを用いて各モデルの評価指標を算出している。その代わりに、各モデルの評価指標を算出する機能を外部に設けてもよい。例えば、分析部１２５は、各モデルの評価指標を記憶したＤＢなどから各モデルの評価指標を取得してもよい。

（変形例５）
上記の実施形態では、モデル生成装置１００をＰＣなどの独立した装置として構成しているが、その代わりに、モデル生成装置をサーバと端末装置により構成してもよい。図７は、サーバと端末装置を用いたモデル生成システム１ｘの概略構成を示すブロック図である。図７において、サーバ１００ｘは、図３に示すモデル生成装置１００の構成を備える。また、ユーザが使用する端末装置７の表示装置２ｘ及び入力装置３ｘを、図３に示す表示装置２及び入力装置３として使用する。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態に係るモデル生成システム１の全体構成、並びに、モデル生成装置１００のハードウェア構成及び機能構成は、基本的に第１実施形態と同様であるので説明を省略する。

［評価情報の表示例］
第２実施形態では、分析部１２５は、複数の評価指標に基づいて、１つのタスクに対応する複数のモデルの関係を表示する。具体的には、分析部１２５は、ユーザが指定した複数の評価指標の値に基づいて各モデルを空間に埋め込むとともに、複数の評価指標及びユーザが指定した重要度との関係で同一レベルとみなせるモデルの領域をその空間上に描画する。

図８は、第２実施形態による評価情報の表示例を示す。図８の表示例６０は、ユーザが指定した互換性指標及び精度指標をそれぞれＸ軸、Ｙ軸とした空間（以下、「評価指標空間」とも呼ぶ。）上に各モデルを埋め込んだものである。分析部１２５は、第１実施形態と同様に、ユーザが指定した１つのタスクに対応する複数のモデルを取得し、それらについてユーザが指定した互換性指標及び精度指標の値を算出する。そして、分析部１２５は、各モデルの互換性指標及び精度指標の値に基づいて、各モデルを評価指標空間に埋め込む。これにより、表示例６０が得られる。

次に、分析部１２５は、前述の集約評価値に基づいて、評価指標空間上に２つの評価指標が同一レベルとなる線分Ｌ１～Ｌ５を描画し、表示例６１を作成する。いま、集約評価値として重み付け和Ｓを用いることとする。ユーザが精度指標について指定した重要度（重み）をｗ₁とし、互換性指標について指定した重要度（重み）をｗ_２とすると、重み付け和Ｓは以下の式で表される。
Ｓ＝ｗ₁×（精度）＋ｗ_２×（互換性） （２）

分析部１２５は、重み付け和Ｓの値を所定値Ｓ１とし、評価指標空間上に線分Ｌ１を描画する。同様に、分析部１２５は、重み付け和Ｓの値を任意の幅でＳ２、Ｓ３、．．．と変化させ、評価指標空間上に線分Ｌ２～Ｌ５を描画する。また、分析部１２５は、線分Ｌ１～Ｌ５により規定される領域Ａ１～Ａ５を異なる色などにより区別して表示する。

ここで、線分Ｌ１～Ｌ５は、ユーザが指定した重要度（ｗ_１／ｗ_２）、及び、複数の評価指標の集約評価値Ｓを固定し、精度指標及び互換性指標の値を変化させた場合の評価指標空間上におけるモデルの位置を示す。よって、例えば線分Ｌ１上に２つのモデルＭ１とＭ２がある場合、それらはユーザが指定した精度指標と互換性指標の重要度の比を満足し、かつ、複数の評価指標に関する総合的な評価を示す集約評価値Ｓが同一のモデルであり、ユーザが指定した重要度の観点で同一レベルのモデルと考えることができる。これは、他の線分Ｌ２～Ｌ５についても同様である。即ち、線分Ｌ１～Ｌ５は、評価指標空間上で、ユーザが指定した重要度を満足し、総合的な評価が同等であるモデルの位置を示す等高線と考えることができる。

従って、評価指標空間上で線分Ｌ１とＬ２により規定される領域Ａ２は、ユーザが指定した重要度をほぼ満足し、性能がほぼ同レベルであるモデルの位置を示す領域と考えることができる。これは、他の領域Ａ１、Ａ３～Ａ５についても同様である。従って、ユーザは、表示例６１において同一の領域に属する複数のモデルは、ユーザが指定した重要度の観点でほぼ同一レベルのモデルと知ることができる。例えば、ユーザは、領域Ａ２に属するモデルｈ１とｈ２はほぼ同一レベルであり、領域Ａ３に属するモデルｈ３とｈ４はほぼ同一レベルと認識することができる。

このように、第２実施形態では、評価指標空間上に複数のモデルを表示することにより、ユーザは、自身が指定した評価指標についての重要度の観点で同一レベルのモデルを視覚的に容易に把握することが可能となる。特に、ユーザは、トレードオフが大きいと考えられる２つの評価指標を指定して上記の表示を行うことにより、相反する２つの評価指標をうまく調整して適切な性能を示すことが可能なモデルを見つけることができる。

［モデル分析処理］
図９は、第２実施形態によるモデル分析処理を示すフローチャートである。モデル分析処理は、ユーザが選択したタスクに対応する複数のモデルを、ユーザが指定した評価指標の重要度に応じて評価指標空間上に表示する処理である。この処理は、図２に示すプロセッサ１１２が予め用意されたプログラムを実行し、主として図３に示すモデル訓練部１２２及び分析部１２５として動作することにより実現される。

まず、分析部１２５は、ユーザによるタスク、複数の評価指標、及び、それら評価指標の重要度を取得する（ステップＳ１０）。図８は、ユーザがあるタスクを指定し、評価指標として精度指標と互換性指標を指定した例である。

次に、分析部１２５は、ユーザが指定したタスクに対応する複数の候補モデルを取得する（ステップＳ１１）。図８の例では、分析部１２５は、モデルｈ１～ｈ５を取得している。次に、分析部１２５は、各モデルについて評価指標の値を算出し、評価指標空間に埋め込む（ステップＳ２２）。図８の例では、分析部１２５は、モデルｈ１～ｈ５について、精度指標及び互換性指標を算出し、表示例６０のように各モデルｈ１～ｈ５を評価指標空間に埋め込んでいる。

次に、分析部１２５は、ユーザが指定した重要度と、各評価指標の値とを用いて、等高線Ｌ１～Ｌ５を描画する。図８の例では、分析部１２５は、上記の式（２）において、ユーザが指定した各評価指標の重要度の比（ｗ_１／ｗ_２）を固定し、重み付け和Ｓの値を所定幅で変更しつつ、精度指標及び互換性指標を変化させることにより、等高線Ｌ１～Ｌ５を描画する。そして、分析部１２５は、等高線Ｌ１～Ｌ５により規定される領域Ａ１～Ａ５を異なる色で色分けし、同一レベルとみなせるモデルの領域を描画する（ステップＳ２３）。そして、処理は終了する。

以上のように、第２実施形態のモデル分析処理では、ユーザが指定した複数の評価指標及びそれらの重要度に基づいて、ユーザが指定したタスクに対応する複数のモデルが評価指標空間上に表示される。また、ユーザが指定した評価指標及びその重要度に基づいて、同一レベルとみなせるモデルの領域が評価指標空間上に表示される。よって、ユーザは、自分が指定した重要度の場合に同一レベルとみなせるモデル、例えば代替的に使用可能なモデルを容易に知ることができる。

［変形例］
（変形例１）
上記の例では、分析部１２５は、重み付け和を示す線形関数を用いて２つの評価指標を集約し、評価指標空間上に等高線を描画している。その代わりに、分析部１２５は、他の線形関数や非線形関数を用いて２つの評価指標を集約し、評価指標空間上に等高線を描画してもよい。

（変形例２）
第２実施形態においても、分析部１２５は、ユーザが指定したタスクに対応する複数のモデルを順位付けしてリスト表示している。その代わりに、分析部１２５は、タスクの同一性を問わず、ユーザが指定した任意の複数のモデルを評価指標空間上に表示することとしてもよい。

（変形例３）
第２実施形態においても、第１実施形態の変形例４と同様に、分析部１２５は、各モデルの評価指標を外部から取得してもよい。

（変形例４）
第２実施形態においても、第１実施形態の変形例５と同様に、図７に示すようにモデル生成装置をサーバと端末装置により構成してもよい。

＜第３実施形態＞
図１０は、第３実施形態のモデル分析装置７０の機能構成を示すブロック図である。モデル分析装置７０は、指標取得手段７１と、重要度取得手段７２と、指標値取得手段７３と、分析手段７４とを備える。

図１１は、第３実施形態のモデル分析装置７０による処理のフローチャートである。指標取得手段７１は、モデルに関する複数の評価指標の指定を取得する（ステップＳ７１）。重要度取得手段７２は、複数の評価指標に対する重要度を取得する（ステップＳ７２）。指標値取得手段７３は、複数のモデルについて、複数の評価指標の値を取得する（ステップＳ７３）。分析手段７４は、取得した評価指標の値と、重要度とに基づいて複数のモデルの順位を分析する（ステップＳ７４）。

第３実施形態のモデル分析装置７０によれば、複数の評価指標を考慮してモデルの評価や適切なモデルの選択を行うことが可能となる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
モデルに関する複数の評価指標の指定を取得する指標取得手段と、
前記複数の評価指標に対する重要度を取得する重要度取得手段と、
前記複数のモデルについて、前記複数の評価指標の値を取得する指標値取得手段と、
取得した評価指標の値と、重要度とに基づいて、前記複数のモデルの順位を分析する分析手段と、
を備えるモデル分析装置。

（付記２）
前記分析手段は、前記重要度に基づいて前記複数の評価指標の値を集約して前記モデル毎に集約評価値を算出し、前記複数のモデルを前記集約評価値に従って順位付けした情報を出力する付記１に記載のモデル分析装置。

（付記３）
タスクの指定を受け取るタスク取得手段を備え、
前記算出手段は、指定されたタスクに対応する複数のモデルについて前記評価指標の値を算出する付記１又は２に記載のモデル分析装置。

（付記４）
前記重要度取得手段は、前記複数の評価指標に対する重要度の比を取得する付記１又は２に記載のモデル分析装置。

（付記５）
前記重要度取得手段は、前記複数の評価指標の各々に対する重要度の値を取得する付記１又は２に記載のモデル分析装置。

（付記６）
前記出力手段は、前記重要度と前記複数の評価指標の値との重み付け和を前記集約評価値として算出する付記１乃至５のいずれか一項に記載のモデル分析装置。

（付記７）
モデルに関する複数の評価指標の指定を取得し、
前記複数の評価指標に対する重要度を取得し、
前記複数のモデルについて、前記複数の評価指標の値を取得し、
取得した評価指標の値と、重要度とに基づいて、前記複数のモデルの順位を分析するモデル分析方法。

（付記８）
モデルに関する複数の評価指標の指定を取得し、
前記複数の評価指標に対する重要度を取得し、
前記複数のモデルについて、前記複数の評価指標の値を取得し、
取得した評価指標の値と、重要度とに基づいて、前記複数のモデルの順位を分析する処理をコンピュータに実行させるプログラムを記録した記録媒体。

以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

１、１ｘ モデル生成システム
２、２ｘ 表示装置
３、３ｘ 入力装置
７ 端末装置
１００ モデル生成装置
１１２ プロセッサ
１２１ 訓練データＤＢ
１２２ モデル訓練部
１２３ モデルＤＢ
１２４ 評価用データＤＢ
１２５ 分析部

Claims (8)

1. モデルに関する複数の評価指標の指定を取得する指標取得手段と、
   前記複数の評価指標に対する重要度を取得する重要度取得手段と、
   複数のモデルについて、前記複数の評価指標の値を取得する指標値取得手段と、
   取得した評価指標の値と、重要度とに基づいて、前記複数のモデルの順位を分析する分析手段と、
   前記複数の評価指標の値に基づき、前記複数のモデルについての評価指標空間を表示する表示手段と、
   を備え、
   前記評価指標空間は、前記複数の評価指標を座標軸とし、
   前記複数のモデルの各々が、前記評価指標空間上において当該モデルの評価指標の値に対応する位置に埋め込まれており、
   前記評価指標空間上に、前記複数の評価指標が同一レベルとなる複数の線分が描画されているモデル分析装置。
2. 前記分析手段は、前記重要度に基づいて前記複数の評価指標の値を集約して前記モデル毎に集約評価値を算出し、前記複数のモデルを前記集約評価値に従って順位付けした情報を出力し、
   前記分析手段は、前記重要度と前記複数の評価指標の値との重み付け和を前記集約評価値として算出する請求項１に記載のモデル分析装置。
3. タスクの指定を受け取るタスク取得手段を備え、
   前記指標値取得手段は、指定されたタスクに対応する複数のモデルについて前記評価指標の値を算出する請求項１又は２に記載のモデル分析装置。
4. 前記重要度取得手段は、前記複数の評価指標に対する重要度の比を取得する請求項１又は２に記載のモデル分析装置。
5. 前記重要度取得手段は、前記複数の評価指標の各々に対する重要度の値を取得する請求項１又は２に記載のモデル分析装置。
6. 前記評価指標は２つであり、
   前記評価指標空間は、前記評価指標のうちの一方をＸ軸とし、他方をＹ軸とする請求項１に記載のモデル分析装置。
7. コンピュータにより実行されるモデル分析方法であって、
   モデルに関する複数の評価指標の指定を取得し、
   前記複数の評価指標に対する重要度を取得し、
   複数のモデルについて、前記複数の評価指標の値を取得し、
   取得した評価指標の値と、重要度とに基づいて、前記複数のモデルの順位を分析し、
   前記複数の評価指標の値に基づき、前記複数のモデルについての評価指標空間を表示し、
   前記評価指標空間は、前記複数の評価指標を座標軸とし、
   前記複数のモデルの各々が、前記評価指標空間上において当該モデルの評価指標の値に対応する位置に埋め込まれており、
   前記評価指標空間上に、前記複数の評価指標が同一レベルとなる複数の線分が描画されているモデル分析方法。
8. モデルに関する複数の評価指標の指定を取得し、
   前記複数の評価指標に対する重要度を取得し、
   複数のモデルについて、前記複数の評価指標の値を取得し、
   取得した評価指標の値と、重要度とに基づいて、前記複数のモデルの順位を分析し、
   前記複数の評価指標の値に基づき、前記複数のモデルについての評価指標空間を表示する処理をコンピュータに実行させ、
   前記評価指標空間は、前記複数の評価指標を座標軸とし、
   前記複数のモデルの各々が、前記評価指標空間上において当該モデルの評価指標の値に対応する位置に埋め込まれており、
   前記評価指標空間上に、前記複数の評価指標が同一レベルとなる複数の線分が描画されているプログラム。