JP6573272B2 - 生成装置、生成方法、及び、プログラム - Google Patents

Description

本発明は、評価関数の生成装置、生成方法、及び、プログラムに関する。

最適化問題等における解等を評価関数で評価する方法が知られている（非特許文献１−２及び特許文献１−２）。例えば、人による解の定量的な評価（例えば、１００点満点による解の評価）と評価関数の出力値が一致するように、評価関数の重みを調整する手法が知られている。

しかし、従来の方法によると、評価者による評価の基準が一貫しないことがあり、また、複数の評価者によって評価する場合に評価の基準点及び採点のスケール等が評価者ごとに異なる場合があった。更に、従来、評価対象の属性値をそのまま重みづけした評価関数を用いていたので、評価対象の属性値の変化を適切に評価関数に反映させられなかった。
［非特許文献１］評価関数の重みパラメータを推定する対話型遺伝的アルゴリズム、石川等、電子情報通信学会論文誌 D, Vol.J94-D, No.11, pp.1888-1898, 2011
［非特許文献２］麻雀の牌譜からの打ち手評価関数の学習、北川等、情報処理学会シンポジウム論文集 2007, Vol.12, pp.76-83
［特許文献１］特開２００９−１８１１９５号公報
［特許文献２］特開２００４−１１８５５２号公報

以上のことから、従来、評価者による解の評価結果を正確に再現する評価関数を生成することができなかった。

本発明の第１の態様においては、評価対象の評価値を算出する評価関数を生成する生成装置であって、評価対象の定性的評価を含む学習データを取得する取得部と、学習データに基づいて、評価対象に対する評価関数の値が満たすべき制約条件を生成する生成部と、制約条件を満たすように、評価関数における複数の属性に対する重みを決定する決定部と、を備える生成装置、当該生成装置による生成方法、及び、当該生成装置に用いるプログラムを提供する。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態の生成装置１０のブロック図を示す。 評価対象及び定量評価の一例を示す。 本実施形態における定性評価の一例を示す。 本実施形態の生成装置１０の処理フローを示す。 判定部１７０が生成する散布図の一例を示す。 追加的に取得された定性的評価に基づく散布図の一例を示す。 コンピュータ１９００のハードウェア構成の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、生成装置１０のブロック図を示す。生成装置１０は、評価対象の評価値を算出する評価関数を生成する。例えば、生成装置１０は、最適化問題の解を入力して解の定量的評価を示す評価値を出力する評価関数を生成する。生成装置１０は、取得部１１０、生成部１３０、決定部１５０、判定部１７０、及び、提示部１９０を備える。

取得部１１０は、評価対象と評価者による当該評価対象の定性的評価とを含む学習データを取得する。例えば、取得部１１０は、外部のデータベース２０等から属性ごとの属性値（例えば、属性「充填率」の属性値０．７６）を有する評価対象と、評価主体が２以上の評価対象を定性的に比較した比較結果を有する定性的評価（例えば、「評価対象ｉは評価対象ｊより少し優れる」）とを含む学習データを取得する。取得部１１０は、取得した学習データを生成部１３０に供給する。

生成部１３０は、学習データに基づいて、評価対象に対する評価関数の値が満たすべき制約条件を生成する。例えば、生成部１３０は、制約条件として、比較対象となった２以上の評価対象に対する評価関数の評価値の差と、定性的評価の基準となる評価閾値とを含む不等式を生成する。また、例えば、生成部１３０は、評価対象の属性ごとに属性値を入力とする複数の基底関数の重み付け和に基づく項を有する評価関数に基づく制約条件を生成する。

生成部１３０は、出力値が最適化（例えば、最小化）の対象となり、複数の変数を有する目的関数を生成する。例えば、生成部１３０は、誤差変数を含む目的関数を生成する。生成部１３０は、評価関数に含まれる基底関数の数の合計を含む目的関数を生成してもよい。生成部１３０が生成する制約条件及び目的関数の詳細は後述する。生成部１３０は、生成した制約条件及び目的関数を決定部１５０に供給する。

決定部１５０は、制約条件を満たしつつ目的関数の出力値を最適化するための、制約条件中の変数及び目的関数中の変数の値を決定する。例えば、決定部１５０は、生成部１３０が生成した制約条件を満たしつつ目的関数の出力値を最小化するように、評価関数における１又は複数の属性に対する重み、複数の基底関数のそれぞれの重み、及び、評価閾値の値を決定する。決定部１５０は、決定した各変数の値を判定部１７０に供給する。

判定部１７０は、決定部１５０が決定した重みに基づく評価関数により、２以上の評価対象について評価値の差を算出する。判定部１７０は、算出した評価値の差が、決定部１５０が決定した評価閾値に対して基準範囲内にあるか否かを判定する。判定部１７０は、判定結果を提示部１９０に供給する。

提示部１９０は、判定部１７０が評価値の差が基準範囲内にないと示す場合に、評価閾値近傍の評価値の差が得られるであろう評価対象のペアを評価主体に提示する。例えば、提示部１９０は、現在の評価関数において２以上の評価対象の評価値の差が基準範囲内となる２以上の評価対象を評価主体に提示する。

判定部１７０による判定が否定的な場合、近傍にデータがない評価閾値を得たことになるので、評価閾値の精度が十分でない可能性がある。従って、評価閾値の精度を向上させるために評価閾値近辺のデータを追加することが好ましい。そこで、提示部１９０が閾値近辺のデータを取得するための評価対象を評価主体に提示する。これにより、提示部１９０は、提示された評価対象についての評価主体による定性的評価を取得部１１０に取得させて、生成装置１０に評価閾値の精度を向上させるための追加的な学習をさせることができる。

このように、生成装置１０は、評価主体による評価対象の比較結果の定性的評価を含む学習データを取得して、定性的評価に基づく制約条件及び目的関数を生成する。評価対象の比較結果の定性的評価は、評価対象の序列を示す順序尺度であり、スケール及び基準点等の比率尺度を含まない。

従って、生成装置１０は、順序尺度である定性的評価に基づいて生成された制約条件付きの目的関数を解くことにより、評価主体の比率尺度による評価で生じ得るブレ等が少ない評価関数を生成することができる。また、生成装置１０は、評価対象の属性ごとに属性値を入力とする複数の基底関数の重み付け和に基づく項を有する評価関数を生成するので、属性ごとに属性値が評価値へ与える影響を最適化することができる。

図２は、従来の評価対象、及び、評価対象の定量的評価の一例を示す。図２に示す表中の評価対象１、評価対象２、評価対象３…は、評価関数が評価値を出力する対象となるそれぞれ異なる評価対象である。評価対象１〜３等は、最適化問題をソルバに解かせて得た解、最適化問題から人が生成した解、又は、初期条件をシミュレータに入力して得られたシミュレーション結果等であってよい。

ここでは、一例として、評価対象が手術等に用いられる医療用具のパッキング方法である場合を示す。評価対象１〜３の各パッキング方法は、「充填率（空間に十分用具が詰められているか）」、「滅菌容易性（パッキングが滅菌しやすいか）」、「縦横バランス（パッキングの縦横のバランスが良いか）」等の属性により評価される。

例えば、評価対象１は、属性「充填率」が属性値０．７６を有し、属性「滅菌容易性」が属性値０．５２を有し、属性「縦横バランス」が属性値０．８３を有する。その結果、評価主体である評価者Ａには１００点満点中７０点と評価され、評価者Ｂには１００点満点中５２点と評価される。

例えば、評価対象２は、属性「充填率」が属性値０．８９を有し、属性「滅菌容易性」が属性値０．６２を有し、属性「縦横バランス」が属性値０．４６を有する。その結果、評価主体である評価者Ａには１００点満点中７５点と評価され、評価者Ｂには１００点満点中８１点と評価される。

例えば、評価対象３は、属性「充填率」が属性値０．４１を有し、属性「滅菌容易性」が属性値０．５０を有し、属性「縦横バランス」が属性値０．６１を有する。その結果、評価主体である評価者Ａには１００点満点中６２点と評価され、評価者Ｂには１００点満点中３８点と評価される。

評価者Ａ及び評価者Ｂによる各評価対象の定量的評価は共通の傾向を有する。すなわち、評価者Ａ及び評価者Ｂは、いずれも評価対象２が最も優れていると評価し、次に評価対象１が優れていると評価し、評価対象３が最も劣っていると評価する。

しかし、評価者Ａ及び評価者Ｂの評価の定量的な性質は大きく異なる。例えば、評価者Ａによる評価対象１〜３の評価結果は、平均点６９、分散が２９となるのに対し、評価者Ｂによる評価対象１〜３の評価結果は、平均点５７、分散が３２１となる。すなわち、評価者Ａは、評価者Ｂに比較して基準点が高く評価のスケールが小さい（すなわち、評価者Ａは相対的に評価が甘く優劣を小さく評価する傾向がある）。

また、同じ評価者が複数の評価対象を評価する場合でも評価がぶれる場合がある。例えば、一人の評価者が非常に多数の評価対象を評価する場合、評価の最初と最後で評価の基準点及びスケール等が変遷してしまうことがある。このような、当該比率尺度における基準及びスケールの相違／変遷等に起因して、複数の評価者による評価を再現する評価関数を定量的評価から正確に学習することは従来困難であった。

図３は、本実施形態における定性評価の一例を示す。本実施形態における取得部１１０は、学習データとして、図２と同様の評価対象について、複数の評価対象の定性的な比較結果を含む定性的評価を取得する。例えば、取得部１１０は、図２に示す定量的評価の代わりに、評価者Ａによる評価対象１及び評価対象２の比較結果（両者は同程度）、評価者Ａによる評価対象３及び評価対象４の比較結果（評価対象３が少し優れる）、評価者Ｂによる評価対象１及び評価対象２の比較結果（評価対象２が遥かに優れる）、及び、評価者Ｂによる評価対象３及び評価対象４の比較結果（評価対象３が遥かに優れる）を取得する。

図３に示すように評価者Ａと評価者Ｂは、異なる基準で評価対象を評価する。例えば、評価者Ｂの方が評価対象の優劣の差を大きく感じやすい傾向がある。しかし、本実施形態の生成部１３０は、このような評価者による相違を含めた制約条件を生成するので、評価者の相違による影響を低減した評価関数を生成することができる。

図４は、本実施形態の生成装置１０の処理フローを示す。本実施形態において、生成装置１０は、Ｓ１１０からＳ２１０の処理を実行することにより、学習データに応じた評価関数を生成する。

まず、Ｓ１１０において、取得部１１０は、評価関数を生成するための学習データを取得する。例えば、取得部１１０は、属性ごとの属性値を有する評価対象と、評価主体による評価対象の定性的評価とを含む学習データを取得する。取得部１１０は、生成装置１０の内部の記憶装置、生成装置１０に接続された外部のデータベース２０、及び／又は、ネットワーク等から学習データを取得してよい。

取得部１１０は、評価対象として、最適化問題を解いた解、シミュレーションにより得られた解、人が生成した解等を扱ってよい。一例として、取得部１１０は、作業方法（例えば、手術用具のパッキング方法）、スケジューリング（例えば、製品等の製造工程又は交通機関のダイヤグラム）、ゲーム／競技等における行動（例えば、将棋の指し手）、事業上の戦略／戦術（例えば、フランチャイズ店舗の出店）、及び／又は、創作物（例えば、建築物の設計又は芸術作品）等を評価対象として扱ってよい。

取得部１１０は、評価対象として、各評価対象ｉの各属性の属性値を取得する。例えば、取得部１１０は、評価対象ｉのＫ個の属性値からなる属性ベクトルｘ^（ｉ）＝（ｘ_ｉ１，ｘ_ｉ２，…，ｘ_ｉＫ）を取得する。例えば、取得部１１０は、評価対象の特性／特徴を表す整数値、バイナリ値、又は実数値を属性値として取得する。取得部１１０は、１つの属性に対して２以上の属性値を取得してよい。例えば、取得部１１０は、複数の属性値を含む属性ベクトルを属性ごとに取得し、属性ベクトルを連結したベクトルを評価対象として取得してよい。

取得部１１０は、評価対象の定性的評価として、評価主体が２以上の評価対象を定性的に比較した比較結果を有する定性的評価を取得する。例えば、取得部１１０は、学習データに含まれる比較結果と比較対象となった評価対象のペアとを取得し、評価対象のペアを比較結果ごとに分類した結果を定性的評価として取得してよい。一例として、取得部１１０は、全Ｎ個の評価対象から生成されるペアの全組み合わせ（Ｎ×（Ｎ−１）×１／２個）の比較結果、又は、一部のペアの組み合わせの比較結果を分類した結果を定性的評価として取得してよい。

取得部１１０は、リッカート尺度に基づいて、評価対象のペアの評価の差により分類した結果を定性的評価として取得する。一例として、取得部１１０は、「評価対象ｉと評価対象ｊは同程度」に分類されるペアを含むペア集合Ｒ_＝ ^（ｕ）、「評価対象ｉが評価対象ｊよりも少し優れている」に分類されるペアを含むペア集合Ｒ_＞ ^（ｕ）、及び、「評価対象ｉが評価対象ｊよりも遥かに優れている」に分類されるペアを含むペア集合Ｒ_＞＞ ^（ｕ）をそれぞれ取得してよい。

また、取得部１１０は、３個以上の評価対象のグループを比較結果の種類ごとに分類した結果を定性的評価として取得してよい。例えば、取得部１１０は、「評価対象ｉを含む複数の評価対象からなるグループＡ_ｇの中で、評価対象ｉは最も良い」に分類された評価対象ｉ及びグループＡ_ｇのグループ集合Ｒ_ｂｅｓｔ、又は、「評価対象ｉを含む複数の評価対象からなるグループＡ_ｇの中で、評価対象ｉは最も悪い」に分類された評価対象ｉ及びグループＡ_ｇのグループ集合Ｒ_{ｗｏｒｓｔ}を、定性的評価として取得してよい。

取得部１１０は、複数の評価対象の比較結果に基づく定性的評価に代えて／加えて、評価対象と予め定められた評価基準とを定性的に比較した比較結果を、定性的評価として取得してよい。例えば、取得部１１０は、各評価対象を単一の評価基準又は複数の評価基準のいずれかと定性的に比較した比較結果を定性的評価として取得してよい。一例として、取得部１１０は、各評価対象を、予め定められた悪い評価のモデルとなる評価対象、予め定められた中庸な評価のモデルとなる評価対象、又は、予め定められた良い評価のモデルとなる評価対象等と比較した比較結果（モデルとなる評価対象に対して同程度／良い／悪い等）を定性的評価として取得してよい。

取得部１１０は、１の評価主体ｕ（例えば、１人の評価者）による定性的評価を取得してよい。これに代えて、取得部１１０は、複数の評価主体ｕ（ｕ∈Ｕ）による定性的評価を含む学習データを取得してよい。取得部１１０は、取得した学習データを生成部１３０に供給する。

次に、Ｓ１３０において、生成部１３０は、学習データに基づいて、評価対象に対する評価関数の値が満たすべき制約条件、及び、最適化の対象となる目的関数を生成する。

例えば、生成部１３０は、制約条件として、比較対象となった２以上の評価対象に対する評価関数の評価値の差と、定性的評価の基準となる評価閾値とを含む不等式を生成する。一例として、生成部１３０は、学習データ中の「評価対象ｉと評価対象ｊは同程度」であることが示されたペア集合Ｒ_＝ ^（ｕ）中のペア（評価対象ｉと評価対象ｊ）の各々に対して、評価対象ｉに対する評価関数の評価値ｆ_ｗ（ｘ^（ｉ））と評価対象ｊに対する評価関数の評価値ｆ_ｗ（ｘ^（ｊ））の差に、評価対象ｉ及び評価対象ｊのペアに対応する誤差変数σ_ｉｊを加えた値の絶対値が、第１の評価閾値ｚ_ｕ０以下となるような不等式を生成する。一例として、生成部１３０は、数式１に示す不等式を生成する。

また、例えば、生成部１３０は、学習データ中の「評価対象ｉが評価対象ｊよりも少し優れている」であることが示されたペア集合Ｒ_＞ ^（ｕ）中のペア（評価対象ｉと評価対象ｊ）の各々に対して、評価対象ｉに対する評価関数の評価値ｆ_ｗ（ｘ^（ｉ））と評価対象ｊに対する評価関数の評価値ｆ_ｗ（ｘ^（ｊ））の差に、評価対象ｉ及び評価対象ｊのペアに対応する誤差変数σ_ｉｊを加えた値の絶対値が、第１の評価閾値ｚ_ｕ０以上かつ第２の評価閾値ｚ_ｕ１以下となるような不等式を生成する。一例として、生成部１３０は、数式２に示す不等式を生成する。

また、例えば、生成部１３０は、学習データ中の「評価対象ｉが評価対象ｊよりも遥かに優れている」であることが示されたペア集合Ｒ_＞＞ ^（ｕ）中のペア（評価対象ｉと評価対象ｊ）の各々に対して、評価対象ｉに対する評価関数の評価値ｆ_ｗ（ｘ^（ｉ））と評価対象ｊに対する評価関数の評価値ｆ_ｗ（ｘ^（ｊ））の差に、評価対象ｉ及び評価対象ｊのペアに対応する誤差変数σ_ｉｊを加えた値の絶対値が、第２の評価閾値ｚ_ｕ０以上となるような不等式を生成する。一例として、生成部１３０は、数式３に示す不等式を生成する。

また、例えば、生成部１３０は、学習データ中の「評価対象ｉを含む複数の評価対象からなるグループＡ_ｇの中で、評価対象ｉはで最も良い」であることが示されたグループ集合Ｒ_ｂｅｓｔ中の各グループから制約条件を生成する。一例として、生成部１３０は、当該グループから生成できる評価対象ｉと評価対象ｉ以外の評価対象ｊとの複数のペアの各々に対して、評価対象ｉに対する評価関数の評価値ｆ_ｗ（ｘ^（ｉ））と評価対象ｊに対する評価関数の評価値ｆ_ｗ（ｘ^（ｊ））の差に、評価対象ｉ及び評価対象ｊのペアに対応する誤差変数σ_ｉｊを加えた値の絶対値が、０以上となるような不等式を生成する。一例として、生成部１３０は、数式４に示す不等式を生成する。

また、例えば、生成部１３０は、学習データ中の「評価対象ｉを含む複数の評価対象からなるグループＡ_ｇの中で、評価対象ｉはで最も悪い」であることが示されたグループ集合Ｒ_{ｗｏｒｓｔ}中の各グループから制約条件を生成する。一例として、生成部１３０は、当該グループから生成できる評価対象ｉと評価対象ｉ以外の評価対象ｊとの複数のペアの各々に対して、評価対象ｉに対する評価関数の評価値ｆ_ｗ（ｘ^（ｉ））と評価対象ｊに対する評価関数の評価値ｆ_ｗ（ｘ^（ｊ））の差に、評価対象ｉ及び評価対象ｊのペアに対応する誤差変数σ_ｉｊを加えた値の絶対値が、０以下となるような不等式を生成する。一例として、生成部１３０は、数式５に示す不等式を生成する。

評価主体ｕ（ｕ∈Ｕ）ごとの定性的評価を学習データとして取得した場合、生成部１３０は、制約条件として、評価主体ｕ（ｕ∈Ｕ）ごとの評価閾値を含む不等式を生成してよい。例えば、生成部１３０は、数式１〜５の不等式を評価主体ｕごとに生成してよい。これに代えて、生成部１３０は、全評価主体に共通で数式１〜５の不等式を生成してもよい。

生成部１３０は、評価関数についての制約条件を生成する。例えば、生成部１３０は、評価対象の属性ｋ（ｋ∈Ｋ）ごとに属性値ｘ_ｋを入力とするＭ_ｋ個（但し、ｌ及びＭ_ｋは１≦ｌ≦Ｍ_ｋとなる整数）の種類の基底関数φ_ｋｌ（ｘ_ｋ）の重み付け和に基づく項ｗ_ｋｌφ_ｋｌ（ｘ_ｋ）を有する評価関数ｆ_ｗ（ｘ）に基づく制約条件を生成する。

生成部１３０は、Ｍ_ｋ個の種類の基底関数φ_ｋｌ（ｘ）として、種々の関数を用いてよい。例えば、生成部１３０は、基底関数φ_ｋｌ（ｘ）として、ａｘ＋ｂ、ａ（ｘ−ｂ）^２＋ｃ、ａ（ｘ−ｂ）^１／２＋ｃ、ａ／（ｘ−ｂ）＋ｃ、ａ・ｅｘｐ（−ｂ（ｘ−ｃ）^２）＋ｄ、又は、ａ／（ｂ＋ｃ・ｅｘｐ（ｄ（ｘ−ｅ）））等を用いてよい。なお、ａ、ｂ、ｃ、ｄ、及びｅは予め定められた定数であってよい。生成部１３０は、同一種類で異なる定数の基底関数φ_ｋｌ（ｘ）を用いてよい（例えば、ｘ＋５と２ｘ−５等）。

一例として、生成部１３０は、数式６に示す制約条件を生成する。これにより、生成部１３０は、評価関数を定義する。

生成部１３０は、全属性ｋ∈Ｋの全基底関数の種類ｌ∈Ｍ_ｋについての全重みｗ_ｋｌの和についての制約条件を生成する。例えば、生成部１３０は、全重みｗ_ｋｌの和を１とする制約条件を生成する。すなわち、生成部１３０は、数式７に示す制約条件を生成する。

生成部１３０は、重みｗ_ｋｌ及び基底関数の選択変数ｙ_ｋｌに関する制約条件を生成する。例えば、生成部１３０は、重みｗ_ｋｌが０以上、選択変数ｙ_ｋｌ以下となる制約条件を生成する。更に、生成部１３０は、基底関数の選択変数ｙ_ｋｌが０又は１のいずれかの値のみを取ることを規定する制約条件も生成してよい。

これにより、基底関数の選択変数ｙ_ｋｌが１となる場合、評価関数における対応する基底関数φ_ｋｌ（ｘ）の重みが０より大きい値が取り得る。従って、評価関数において基底関数φ_ｋｌ（ｘ）の採用が許される。一方で、基底関数の選択変数ｙ_ｋｌが０となる場合、評価関数における対応する基底関数φ_ｋｌ（ｘ）の重みが０に定まるので、評価関数において基底関数φ_ｋｌ（ｘ）の採用が許されない。

すなわち、選択変数ｙ_ｋｌは、評価関数ｆ_ｗ（ｘ）における基底関数φ_ｋｌ（ｘ）の採否を決定する。このように、生成部１３０は、複数の基底関数φ_ｋｌ（ｘ）の各々を含むか否かを示す選択変数ｙ_ｋｌを含む制約条件を生成する。例えば、生成部１３０は、数式８及び数式９に示す制約条件を生成する。

生成部１３０は、評価関数において、属性ｋ（ｋ∈Ｋ）ごとに採用されうる基底関数φ_ｋｌ（ｘ）の数を制限する制約条件を生成してよい。例えば、生成部１３０は、評価関数の属性ｋに対応する項において、用いられる基底関数φ_ｋｌ（ｘ）の種類の合計が予め定められた数Ｂ_ｋ以下となる制約条件を生成してよい。これにより、生成部１３０は、評価関数が学習データに過剰適合することを防ぐことができる。一例として、生成部１３０は、数式１０に示す制約条件を生成してよい。Ｂ_ｋは、基底関数の数の上限を表す予め定められた整数である。

生成部１３０は、評価関数において、属性ｋ（ｋ∈Ｋ）ごとに採用されうる基底関数φ_ｋｌ（ｘ）の重みの合計が予め定められた基準Ｗ_ｋ以上となる制約条件を生成してよい。これにより、生成部１３０は、評価関数が評価対象の一部の属性を全く反映しなくなることを防止できる。一例として、生成部１３０は、数式１１に示す制約条件を生成してよい。Ｗ_ｋは、重み和の下限を表す予め定められた実数である。

生成部１３０は、数式１〜１１に対する制約条件の全てを生成してもよく、これらの制約条件の一部を省略してもよい。例えば、生成部１３０は、数式２−３及び数式４−５の一方に対応する制約条件を省略してよく、及び／又は、数式８〜１１の少なくとも一部に対応する制約条件を省略してもよい。

生成部１３０は、制約条件と合わせて、目的関数を生成する。例えば、生成部１３０は、評価閾値に係る不等式に含まれる誤差変数σ_ｉｊの絶対値の総和を含む目的関数を生成する。また、例えば、生成部１３０は、目的関数に選択変数ｙ_ｋｌの総和を加えてもよい。目的関数に選択変数ｙ_ｋｌの総和を加えた場合、評価関数で採用されるφ_ｋｌ（ｘ）の種類が少なくなるので、評価関数が学習データに過剰適合することを防ぐことができる。一例として、生成部１３０は、数式１２に係る目的変数を生成する。

λ_ｙは、予め定められた定数（例えば、１）であり、誤差変数σ_ｉｊの総和と選択関数ｙ_ｋｌの総和との評価関数におけるバランスを定める。生成部１３０は、誤差変数σ_ｉｊ等の変数を固定した上で、交叉検定でλ_ｙを最適化してもよい。

生成部１３０は、生成した制約条件及び目的関数を決定部１５０に供給する。

次に、Ｓ１５０において、決定部１５０は、評価関数に含まれる基底関数の数の合計、及び／又は、誤差変数を含む目的関数を用いて重みを含む各変数の値を最適化する。例えば、決定部１５０は、Ｓ１３０で生成した制約条件を満たしつつ目的関数の出力値を最適化するように、評価関数における１又は複数の属性に対する複数の基底関数のそれぞれの重みｗ_ｋｌ、及び、評価閾値ｚ_ｕ０及びｚ_ｕ１の値を決定する。

一例として、決定部１５０は、数式１〜１１の制約条件を満たしつつ、数式１２の目的関数を最小化するように、評価対象のペア及びグループの各々についての評価対象ｉ、ｊの誤差変数σ_ｉｊ、各属性ｋ及び各基底関数ｌについての重みｗ_ｋｌと選択変数ｙ_ｋｌ、及び、各評価主体ｕについての各評価閾値ｚ_ｕ０とｚ_ｕ１を決定する。

制約条件付きの目的関数の最適化問題は混合整数計画問題（Ｍｉｘｅｄ Ｉｎｔｅｇｅｒ Ｐｒｏｇｒａｍｍｉｎｇ：ＭＩＰ）となるので、決定部１５０は、Ｓ１５０の処理を既存のソルバ（例えば、ＩＢＭ ＩＬＯＧ ＣＰＬＥＸ）により実行することができる。選択変数ｙ_ｋｌを用いる制約条件を省略する場合は、決定部１５０は、線形計画問題（Ｌｉｎｅａｒ Ｐｒｏｇｒａｍｍｉｎｇ：ＬＰ）を解くことにより簡易的にＳ１５０の処理を実行できる。決定部１５０は、決定した各変数の値を判定部１７０に供給する。

次に、Ｓ１７０において、判定部１７０は、決定した重み等の変数に基づく評価関数に基づいて、学習データの２以上の評価対象から散布図を生成する。例えば、判定部１７０は、Ｓ１１０で比較結果を取得した学習データの複数の評価対象のペア（すなわち、ペア集合Ｒ_＝ ^（ｕ）、ペア集合Ｒ_＞ ^（ｕ）、及び、ペア集合Ｒ_＞＞ ^（ｕ）に含まれるペア）の属性値を、Ｓ１５０で決定した評価関数に入力して、ペアに係る評価対象の評価値を得る。そして、ペア内の評価値の差を横軸とする散布図を生成する。

図５に、判定部１７０が生成する散布図の一例を示す。図５では、２人の評価者Ａ及び評価者Ｂが複数の同一の評価対象のペアを評価した結果の例を示す。判定部１７０は、複数の評価者が異なる評価対象のペアを評価した散布図を生成してもよい。図中の＋は評価者Ａ又は評価者Ｂにより同程度と判断された評価対象のペアに対応し、Ｘは評価者Ａ又は評価者Ｂにより一方が少し優れていると判断された評価対象のペアに対応し、＊は評価者Ａ又は評価者Ｂにより一方が遥かに優れていると判断された評価対象のペアに対応する。図中の、Ｒ１_Ａは評価者Ａが同程度と判断した評価対象ののペア集合を示し、Ｒ２_Ａは評価者Ａが一方が少し優れていると判断した評価対象のペアのペア集合を示し、Ｒ３_Ａは評価者Ａが一方が遥かに優れていると判断した評価対象のペアのペア集合を示す。

ｚ_ｕ０ＡはＲ１_ＡとＲ２_Ａとを区分する第１の評価閾値を示し、ｚ_ｕ１ＡはＲ２_ＡとＲ３_Ａとを区分する第２の評価閾値を示し、ｚ_ｕ０Ｂは評価者Ｂの第１の評価閾値を示し、ｚ_ｕ１Ｂは評価者Ｂの第２の評価閾値を示す。図示するように、評価者Ａは、第１の評価閾値及び第２の評価閾値が評価者Ｂと比較して大きい。すなわち、評価者Ａに違いが評価されるためには、評価者Ｂに評価されるよりもより大きな評価の相違が必要となる。

次に、Ｓ１９０において、判定部１７０がＳ１５０で決定した評価閾値の値が適切か否か判定する。例えば、判定部１７０は、Ｓ１７０で生成した散布図において、評価値の差の値が、評価閾値に対して基準範囲内あるか否かを判定する。例えば、図５において評価者Ａの第２の評価閾値ｚ_ｕ１Ａは、評価値の差の最も近い値とそれぞれ距離ｒ_１及び距離ｒ_２離れているが、距離ｒ_１及び距離ｒ_２の大きい／小さい一方、又は、両者の合計が予め定められた基準以上大きいか否かを判定する。

評価閾値と当該評価閾値に最も近い評価値の差との距離は、当該評価閾値の精度に関係する。この距離が大きい場合、決定部１５０が、評価閾値の近くのデータがないにも関わらず評価閾値を決定したこととなるので、決定した評価閾値の信頼性が低下する傾向がある。従って、判定部１７０は、Ｓ１９０の処理において評価閾値の精度が十分であるかを判定する。

判定部１７０は、基準範囲内にあると判定した場合は処理を終了する。判定部１７０は、基準範囲内にあると判定した場合には、判定結果を提示部１９０に供給し、処理をＳ２１０に進める。

Ｓ２１０において、取得部１１０は、評価値の差が評価閾値に対して基準範囲内にないと判定されたことに応じて、追加の定性的評価を取得して学習データに追加する。例えば、提示部１９０は、判定結果が評価値の差が基準範囲内にないと示す場合に、評価閾値近辺に対応する評価対象のペア又はグループを評価主体に提示する。例えば、提示部１９０は、現在の評価関数において２以上の評価対象の評価値の差が評価閾値に対して基準範囲内となることが想定される２以上の評価対象を評価閾値に係る評価主体に提示する。

提示部１９０による提示の後、取得部１１０は、提示した２以上の評価対象について評価主体がした追加の定性的評価を取得する。例えば、提示部１９０は、評価者Ａの第２の評価閾値ｚ_ｕ１Ａに近い評価値の差を与えることが予想される２個の評価対象のペア等を評価者Ａに提示し、定性的評価として評価値の差ｎ_１及びｎ_２を取得する。

取得部１１０は、取得した追加の定性的評価を学習データに追加する。生成装置１０は、処理をＳ１３０に戻す。その結果、生成部１３０は定性的評価が追加された学習データに基づいて再び制約条件を生成し、決定部１５０が新しい評価関数を生成する。

図６は、追加的に取得された定性的評価に基づいて生成された評価関数により得られる散布図の一例を示す。図示するように、第２の評価閾値ｚ_ｕ１Ａの近傍で追加の定性的評価に対応する評価値の差ｎ_１及びｎ_２が示される。ここで、評価値の差ｎ_１及びｎ_２と第２の評価閾値ｚ_ｕ１Ａとの距離ｒ'_１及びｒ'_２はそれぞれ、追加の定性的評価を取得する前の当該評価閾値の評価値の差との最短距離ｒ_１及びｒ_２の各々よりも短い。従って、生成装置１０は、追加の定性的評価により、より正確な第２の評価閾値ｚ_ｕ１Ａを得ることが示される。

このように、生成装置１０によると、評価主体による評価対象の比較結果の定性的評価に基づいて生成された制約条件付きの目的関数を解く。比較結果の定性的評価は順序尺度であるので、比率尺度である定量的評価に比べてぶれが少なく一貫性が高い。従って、生成装置１０は、評価主体の評価基準のぶれに起因する誤差の影響が少ない評価関数を生成することができる。

生成装置１０は、評価関数に対して評価主体に共通の重みづけをしつつ、評価主体ごとに異なる評価閾値を設定した制約条件を生成する。これにより、複数の評価主体の比較基準の相違を受容しつつ複数の評価主体に共通の評価関数を生成することができる。

また、生成装置１０は、評価対象の１又は複数の属性ごとに属性値を入力とする複数の基底関数の重み付け和に基づく項を有する評価関数を生成する。すなわち、生成装置１０は、属性の特性に合わせて適切な基底関数を選択した評価関数を生成するので、属性値が評価値へ与える影響を最適化することができる。

上記の例では取得部１１０が３段階の定性的評価（同程度、少し優れる、及び、遥かに優れる）を含む学習データを取得し、生成部１３０が３段階の評価閾値を含む不等式を含む制約条件を生成したが、取得部１１０は１〜２段階又は４段階以上の定性的評価を含む学習データを取得し、生成部１３０が定性的評価の段階に対応する評価閾値の不等式を含む制約条件を生成してよい。

また、取得部１１０は、２個の評価対象を比較した定性的評価（同程度、一方が少し優れる、及び、一方が遥かに優れる）を含む学習データに加えて／代えて、２個の評価対象の定性的評価の差と、別の２個の評価対象の定性的評価の差とを比較した定性的評価を含む学習データを取得してもよい。例えば、取得部１１０は、「評価対象ｉ_１と評価対象ｉ_２との差は、評価対象ｉ_３と評価対象ｉ_４との差と同程度／少し大きい／遥かに大きい」等の定性的評価を含む学習データを取得してもよい。この場合、生成部１３０は対応する制約条件（例えば、−ｚ_ｕ０≦｜ｆ_ｗ（ｘ^（ｉ１））−ｆ_ｗ（ｘ^（ｉ２））｜−｜ｆ_ｗ（ｘ^（ｉ３））−ｆ_ｗ（ｘ^（ｉ４））｜≦ｚ_ｕ０等）を生成する。

上記実施形態の説明において、生成装置１０が、複数の評価対象の定性的評価を取得して制約条件を生成する例を説明した。これに加えて／代えて、生成装置１０は、複数の評価対象の特性の違いの定性的評価を取得して制約条件を生成してもよい。例えば、生成部１３０は、評価主体から評価対象のペアの特性の違いについての定性的評価（例えば、「評価対象ｉと評価対象ｊは全く特性が異なる」、「評価対象ｉと評価対象ｊは特性が近い」等）を取得し、各評価対象の属性値から属性ベクトルを生成する。生成部１３０は、ペア内の評価対象の属性ベクトルのユークリッド距離と、取得した定性的評価とに基づく不等式を含む制約条件を生成してもよい。

図７は、生成装置１０として機能するコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部を備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信インターフェイスは、通信を行うハードウェアとして機能する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ１９００にインストールされ、コンピュータ１９００を生成装置１０として機能させるプログラムは、取得モジュール、生成モジュール、決定モジュール、判定モジュール、及び、提示モジュールを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、取得部１１０、生成部１３０、決定部１５０、判定部１７０、及び、提示部１９０としてそれぞれ機能させてよい。

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である取得部１１０、生成部１３０、決定部１５０、判定部１７０、及び、提示部１９０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の生成装置１０が構築される。

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０及び外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。

例えば、生成装置１０の記憶部は、取得部１１０、生成部１３０、決定部１５０、判定部１７０、及び、提示部１９０から受け取った／へ提供するデータを適宜記憶してよい。例えば、記憶部は、取得部１１０が生成部１３０に供給した学習データを受け取って記憶してよい。また、記憶部は、生成部１３０が生成した制約条件等を記憶してよい。

本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすか否かを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

また、実施形態の説明において複数の要素が列挙された場合には、列挙された要素以外の要素を用いてもよい。例えば、「Ｘは、Ａ、Ｂ及びＣを用いてＹを実行する」と記載される場合、Ｘは、Ａ、Ｂ及びＣに加え、Ｄを用いてＹを実行してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 生成装置、２０ データベース、１１０ 取得部、１３０ 生成部、１５０ 決定部、１７０ 判定部、１９０ 提示部、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ

Claims (14)

1. 評価対象の評価値を算出する評価関数を生成する生成装置であって、
   評価対象の定性的評価を含む学習データを取得する取得部と、
   前記学習データに基づいて、前記評価対象に対する評価関数の値が満たすべき制約条件であって、前記評価対象の属性ごとに属性値を入力とする複数の基底関数の重み付け和に基づく項を有する前記評価関数に基づく前記制約条件と、前記複数の基底関数の各々を含むか否かを示す変数を含む前記制約条件とを生成する生成部と、
   前記制約条件を満たすように、前記評価関数における複数の属性に対する重みとして前記複数の基底関数のそれぞれの重みを決定し、前記評価関数に含まれる基底関数の数の合計を含む目的関数を用いて前記重みを最適化する決定部と、
   を備える生成装置。
2. 前記取得部は、２以上の前記評価対象を定性的に比較した比較結果を、前記定性的評価として含む学習データを取得する、
   請求項１に記載の生成装置。
3. 前記取得部は、前記評価対象と予め定められた評価基準とを定性的に比較した比較結果を、前記定性的評価として含む学習データを取得する、
   請求項１に記載の生成装置。
4. 前記生成部は、誤差変数を含む前記目的関数を生成し、
   前記決定部は、前記誤差変数を含む前記目的関数を用いて前記重みを最適化する、
   請求項１から３のいずれか１項に記載の生成装置。
5. 前記生成部は、前記制約条件として、比較対象となった２以上の前記評価対象に対する前記評価関数の評価値の差と、前記定性的評価の基準となる評価閾値とを含む不等式を生成し、
   前記決定部は、前記制約条件を満たすように、前記評価閾値の値を決定する、
   請求項２に記載の生成装置。
6. 前記取得部は、複数の評価主体による前記定性的評価を含む前記学習データを取得し、
   前記生成部は、前記制約条件として、評価主体ごとの前記評価閾値を含む不等式を生成する、
   請求項５に記載の生成装置。
7. 評価対象の評価値を算出する評価関数を生成する生成装置であって、
   複数の評価主体による、２以上の評価対象を定性的に比較した比較結果を、定性的評価として含む学習データを取得する取得部と、
   前記学習データに基づいて、前記評価対象に対する評価関数の値が満たすべき制約条件として、比較対象となった２以上の前記評価対象に対する前記評価関数の評価値の差と、前記定性的評価の基準となる評価主体ごとの評価閾値とを含む不等式を生成する生成部と、
   前記制約条件を満たすように、前記評価関数における複数の属性に対する重み及び前記評価閾値の値を決定する決定部と、
   を備える生成装置。
8. 前記決定部が決定した前記重みに基づく前記評価関数による前記２以上の評価対象の評価値の差が、前記評価閾値に対して予め定められた基準範囲内にあるか否かを判定する判定部を更に備え、
   前記取得部は、前記評価値の差が前記評価閾値に対して前記基準範囲内にないと判定されたことに応じて、追加の前記定性的評価を取得して前記学習データに追加する、
   請求項６又は７に記載の生成装置。
9. 評価対象の評価値を算出する評価関数を生成する生成装置であって、
   ２以上の前記評価対象を定性的に比較した比較結果を、定性的評価として含む学習データを取得する取得部と、
   前記学習データに基づいて、前記評価対象に対する評価関数の値が満たすべき制約条件として、比較対象となった２以上の前記評価対象に対する前記評価関数の評価値の差と、前記定性的評価の基準となる評価閾値とを含む不等式を生成する生成部と、
   前記制約条件を満たすように、前記評価関数における複数の属性に対する重み及び前記評価閾値の値を決定する決定部と、
   前記決定部が決定した前記重みに基づく前記評価関数による前記２以上の評価対象の評価値の差が、前記評価閾値に対して予め定められた基準範囲内にあるか否かを判定する判定部と、
   を備え、
   前記取得部は、前記評価値の差が前記評価閾値に対して前記基準範囲内にないと判定されたことに応じて、追加の前記定性的評価を取得して前記学習データに追加する、
   生成装置。
10. 前記２以上の評価対象の評価値の差が前記基準範囲内となる前記２以上の評価対象を前記評価主体に提示する提示部を更に備え、
    前記取得部は、提示された前記２以上の評価対象について前記評価主体がした前記定性的評価を取得して、前記学習データに追加する、
    請求項８に記載の生成装置。
11. コンピュータにより実行される評価対象の評価値を算出する評価関数を生成する生成方法であって、
    評価対象の定性的評価を含む学習データを取得する取得段階と、
    前記学習データに基づいて、前記評価対象に対する評価関数の値が満たすべき制約条件であって、前記評価対象の属性ごとに属性値を入力とする複数の基底関数の重み付け和に基づく項を有する前記評価関数に基づく前記制約条件と、前記複数の基底関数の各々を含むか否かを示す変数を含む前記制約条件とを生成する生成段階と、
    前記制約条件を満たすように、前記評価関数における複数の属性に対する重みとして前記複数の基底関数のそれぞれの重みを決定し、前記評価関数に含まれる基底関数の数の合計を含む目的関数を用いて前記重みを最適化する決定段階と、
    を備える生成方法。
12. コンピュータにより実行される評価対象の評価値を算出する評価関数を生成する生成方法であって、
    複数の評価主体による、２以上の評価対象を定性的に比較した比較結果を、定性的評価として含む学習データを取得する取得段階と、
    前記学習データに基づいて、前記評価対象に対する評価関数の値が満たすべき制約条件として、比較対象となった２以上の前記評価対象に対する前記評価関数の評価値の差と、前記定性的評価の基準となる評価主体ごとの評価閾値とを含む不等式を生成する生成段階と、
    前記制約条件を満たすように、前記評価関数における複数の属性に対する重み及び前記評価閾値の値を決定する決定段階と、
    を備える生成方法。
13. コンピュータにより実行される評価対象の評価値を算出する評価関数を生成する生成方法であって、
    ２以上の前記評価対象を定性的に比較した比較結果を、定性的評価として含む学習データを取得する取得段階と、
    前記学習データに基づいて、前記評価対象に対する評価関数の値が満たすべき制約条件として、比較対象となった２以上の前記評価対象に対する前記評価関数の評価値の差と、前記定性的評価の基準となる評価閾値とを含む不等式を生成する生成段階と、
    前記制約条件を満たすように、前記評価関数における複数の属性に対する重み及び前記評価閾値の値を決定する決定段階と、
    前記決定段階で決定した前記重みに基づく前記評価関数による前記２以上の評価対象の評価値の差が、前記評価閾値に対して予め定められた基準範囲内にあるか否かを判定する判定段階と、
    前記評価値の差が前記評価閾値に対して前記基準範囲内にないと判定されたことに応じて、追加の前記定性的評価を取得して前記学習データに追加する追加の取得段階と、
    を備える生成方法。
14. コンピュータを請求項１から１０のいずれか１項の生成装置として機能させるプログラム。

Images