JP6320844B2 - パーツの影響度に基づいて感情を推定する装置、プログラム及び方法 - Google Patents

Description

本発明は、キャラクタ等の表現体が表現する感情を推定する技術に関する。

画像として表示されたキャラクタ等の表情は、人間の実際の表情と同様に内面的な状態や感情を表現することができるため、ユーザとのコミュニケーションにおいて非常に重要な役割を果たす。画像に表現されたバリエーション豊かな表情は、ビジュアルキャラクタを用いた会話エージェントやアニメ−ションにおいても、高い品質のサービスを提供する上で重要な要素となっている。

従来、人間の表情については、そこから感情を推定する技術が種々考案されている。例えば、特許文献1には、人間の顔の表情から心理状態を推定する技術が開示されている。この技術では、最初に、人間の顔画像における口及び左右の眼の形状をそれぞれ、フーリエ記述子を用いて定量的に表す。次いで、このフーリエ記述子を用いた線形判別式を用い、口及び左右の眼のそれぞれの形状において、予め設定された複数の基本感情についての判定得点を算出して正規化する。最後に、それぞれの形状についての各基本感情に関する感情確信度を、表情要素毎の重要度を加味した重回帰式に当てはめて算出し、その結果から人間の心理状態を推定している。

また、特許文献２には、不特定人物の表情を認識し、その人物の感情を推定する感情推定技術が開示されている。この技術では、所定の感情に関連付けられた特定人物の表情画像を学習してニューラルネットワークによる表情マップを生成する。次いで、生成された表情マップを所定の感情に基づいて複数の領域に区分し、不特定人物の表情画像と、区分された領域を有する複数の表情マップとに基づいて不特定人物の感情を推定する。

特開２００７−６５９６９号公報 特開２００８−１４６３１８号公報

しかしながら、特許文献1及び２に開示されたような従来技術は、人間の表情からの感情推定にとどまっており、例えば、画像として表示されたキャラクタ等の表情に対して適するものではない。

実際、特許文献1及び２に開示された技術では、ビジュアルキャラクタのモデルデータに対し、感情を付与することが何ら想定されていない。例えば、これらの技術では、感情を推定する対象の顔画像において、表情を特徴量化するための計測処理が必要となる。しかしながら、表情のモデルデータが予め設定されているビジュアルキャラクタでは、この処理が逆に多大な負担となってしまう。このように、ビジュアルキャラクタに対する上述した従来技術の適用は、非常に非効率なものとなる。

さらに、特許文献1及び２に示したような従来技術では、感情を予め複数の基本感情や区分領域に分類し、分類問題的に感情を推定する。そのため、例えば表情及び表情の変化を設計する際、とり得る感情全体の中で、ある表情についての感情値が占める位置や変化の方向を認識しつつ、所望の感情を表す刻々の表情を決定することは難しい。その結果、表情又はその変化によって、微妙な感情又はその推移を表現することが非常に困難となる。

そこで、本発明は、表情のモデルデータが予め設定されているキャラクタに対しても高い効率で感情を推定することができ、とり得る感情全体の中での推定される感情の位置を容易に把握可能な感情推定装置、プログラム及び方法を提供することを目的とする。

本発明によれば、複数のパーツを含む表現体画像において表現された感情を推定する感情推定装置であって、
当該表現体画像に含まれ得る複数のパーツの各々に対する複数の主観による感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布を決定するパーツ感情分布決定手段と、
分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布を決定する表現体感情分布決定手段と、
決定された表現体感情値分布は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布を重み付けして重畳させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、重みとしての影響度を算出する影響度算出手段と、
推定対象の表現体画像に対する表現体感情値分布を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布と、当該推定対象の表現体画像に含まれるパーツの各々について算出された影響度とに基づいて算出する感情値算出手段と
を有する感情推定装置が提供される。

また、本発明によれば、複数のパーツを含む表現体画像において表現された感情を推定する感情推定装置であって、
当該表現体画像に含まれ得る複数のパーツの各々に対する複数の感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布における平均値を決定するパーツ感情分布決定手段と、
分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布における平均値を決定する表現体感情分布決定手段と、
決定された表現体感情値分布における平均値は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布における平均値を重み付けして結合させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、平均値での重みとしての平均値影響度を算出する影響度算出手段と、
推定対象の表現体画像に対する感情値を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布における平均値と、当該推定対象の表現体画像に含まれるパーツの各々について算出された平均値影響度とに基づいて算出する感情値算出手段と
を有する感情推定装置が提供される。

さらに、本発明によれば、 複数のパーツを含む表現体画像において表現された感情を推定する感情推定装置であって、
当該表現体画像に含まれ得る複数のパーツの各々に対する複数の感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布における分散共分散行列を決定するパーツ感情分布決定手段と、
分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布における分散共分散行列を決定する表現体感情分布決定手段と、
決定された表現体感情値分布における分散共分散行列は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布における分散共分散行列を重み付けして結合させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、分散共分散行列での重みとしての分散共分散行列影響度を算出する影響度算出手段と、
推定対象の表現体画像に対する感情値の分散の程度を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布における分散共分散行列と、当該推定対象の表現体画像に含まれるパーツの各々について算出された分散共分散行列影響度とに基づいて算出する感情値算出手段と
を有する感情推定装置が提供される。

また、上記の分散共分散行列を利用する本発明の感情推定装置における一実施形態として、算出された感情値が感情空間内において所定範囲内にある複数の表現体画像について、算出された分散共分散行列の小さい表現体画像ほどより高い優先度をもって提示を行う表現体画像提示手段を更に有することも好ましい。

さらに、影響度算出手段についての一実施形態として、影響度算出手段は、当該分析対象の表現体画像に対する表現体感情値分布を規定する値を目的変数とし、当該分析対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布を規定する値を説明変数として、重回帰分析を実行し、当該説明変数の係数として影響度を算出することも好ましい。

また、本発明によれば、複数のパーツを含む表現体画像において表現された感情を推定する感情推定装置であって、
当該表現体画像に含まれ得る複数のパーツの各々に対する複数の感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布を決定するパーツ感情分布決定手段と、
分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布を決定する表現体感情分布決定手段と、
決定された表現体感情値分布は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布を重み付けして重畳させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布を規定する値ｘと、当該分析対象の表現体画像に対する表現体感情値分布を規定する値ｙとの組をサンプル（ｘ,ｙ）として、当該サンプルと回帰曲線ｆ(ｘ)＝x・ｗ＋ｂ（ｂは定数項）との残差ｒのε許容誤差ξ(ｒ)と、当該回帰曲線における重みｗとを含む所定の関数Σξ(ｙ−ｆ(ｘ))＋λ｜ｗ｜^２／２を最小化する重みｗに基づいて、影響度を算出する影響度算出手段と、
推定対象の表現体画像に対する表現体感情値分布を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布と、当該推定対象の表現体画像に含まれるパーツの各々について算出された影響度とに基づいて算出する感情値算出手段と
を有する感情推定装置が提供される。

さらに、本発明によれば、複数のパーツを含む表現体画像において表現された感情を推定する感情推定装置であって、
当該表現体画像に含まれ得る複数のパーツの各々に対する複数の感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布を決定するパーツ感情分布決定手段と、
分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布を決定する表現体感情分布決定手段と、
決定された表現体感情値分布は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布を重み付けして重畳させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、重みとしての影響度を算出する影響度算出手段と、
推定対象の表現体画像に対する表現体感情値分布を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布と、当該推定対象の表現体画像に含まれるパーツの各々について算出された影響度とに基づいて算出する感情値算出手段と
を有し、
パーツ感情分布決定手段は、感情評価の基準となる標準表現体画像において、感情評価対象のパーツに対応するパーツを、当該感情評価対象のパーツに置き換えたパーツ評価用画像に対する複数の感情評価結果から、当該感情評価対象のパーツに対するパーツ感情値分布を決定する
ことを特徴とする感情推定装置が提供される。

また、本発明によれば、複数のパーツを含む表現体画像において表現された感情を推定する感情推定装置であって、
当該表現体画像に含まれ得る複数のパーツの各々に対する複数の感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布を決定するパーツ感情分布決定手段と、
分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布を決定する表現体感情分布決定手段と、
決定された表現体感情値分布は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布を重み付けして重畳させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、重みとしての影響度を算出する影響度算出手段と、
推定対象の表現体画像に対する表現体感情値分布を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布と、当該推定対象の表現体画像に含まれるパーツの各々について算出された影響度とに基づいて算出する感情値算出手段と
を有し、
パーツ感情値分布及び影響度の規定された新たなパーツを用いて生成された新たな表現体画像の表現体感情値分布は、新たな感情評価試験を必要とせず自動的に生成される
ことを特徴とする感情推定装置が提供される。

本発明によれば、さらに、複数のパーツを含む表現体画像において表現された感情を推定する装置に搭載されたコンピュータを機能させるプログラムであって、
当該表現体画像に含まれ得る複数のパーツの各々に対する複数の主観による感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布を決定するパーツ感情分布決定手段と、
分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布を決定する表現体感情分布決定手段と、
決定された表現体感情値分布は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布を重み付けして重畳させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、重みとしての影響度を算出する影響度算出手段と、
推定対象の表現体画像に対する表現体感情値分布を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布と、当該推定対象の表現体画像に含まれるパーツの各々について算出された影響度とに基づいて算出する感情値算出手段と
してコンピュータを機能させる感情推定プログラムが提供される。

本発明によれば、さらにまた、複数のパーツを含む表現体画像において表現された感情を推定する方法であって、
当該表現体画像に含まれ得る複数のパーツの各々に対する複数の主観による感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布を決定し、また、分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布を決定する第１のステップと、
決定された表現体感情値分布は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布を重み付けして重畳させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、重みとしての影響度を算出する第２のステップと、
推定対象の表現体画像に対する表現体感情値分布を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布と、当該推定対象の表現体画像に含まれるパーツの各々について算出された影響度とに基づいて算出する第３のステップと
を有する感情推定方法が提供される。

本発明の感情推定装置、プログラム及び方法によれば、表情のモデルデータが予め設定されているキャラクタに対しても高い効率で感情を推定することができ、また、とり得る感情全体の中での推定される感情の位置を容易に把握することができる。

本発明による感情推定方法の一実施形態における顔表情画像の生成を示す模式図である。 本発明による感情推定装置の一実施形態における機能構成を示す機能ブロック図である。 パーツデータ保存部に保存されたパーツデータの一例である。 顔表情画像の一実施例を示す模式図である。 パーツデータ保存部に保存されたパーツデータの他の例である。 顔表情画像の他の実施例を示す模式図である。 感情値を規定する感情空間の一実施例を示す模式図である。 感情空間の原点を規定する標準顔表情画像の一実施例を示す模式図である。 主観感情評価実験に使用されるパーツ評価用画像の実施例を示す模式図である。 図９において主観感情評価の対象となった顔パーツを組み合わせた顔表情画像に対する主観感情評価実験の結果を示すグラフである。 顔表情画像提示部の機能を説明するための模式図である。

以下では、本発明の実施形態について、図面を用いて詳細に説明する。

図１は、本発明による感情推定方法の一実施形態における顔表情画像の生成を示す模式図である。

図１によれば、本実施形態では、感情を表現可能な表現体画像としての顔表情画像２が、ベースパーツ２１と、複数の顔パーツ２２とから生成されている。ベースパーツ２１は、顔の輪郭を規定するパーツであり、このベースパーツ２１の上に各顔パーツ２２が重畳して顔表情画像２が生成される。複数の顔パーツ２２はそれぞれ、顔を構成する複数の部位（図１ではスキンカラー、目、口、眉）に対応する顔構成部位データである。

本発明の感情推定方法は、複数のパーツ（顔パーツ２２）を含む表現体画像（顔表情画像２）において表現された感情を推定する方法である。具体的には、最初に、
（ア）表現体画像（顔表情画像２）に含まれ得る複数のパーツ（顔パーツ２２）の各々に対する複数の感情評価結果から、これら複数のパーツの各々について、当該パーツに対する感情値の分布である「パーツ感情値分布」を決定し、また、
（イ）分析対象の表現体画像（顔表情画像２）に対する複数の感情評価結果から、この分析対象の表現体画像に対する感情値の分布である「表現体感情値分布」を決定する。

ここで、感情評価結果は、例えば、感情の主観評価実験の結果として取得される。この主観評価実験は、評価者が、複数のパーツの各々（又は表現体画像）を見た際に感得した感情を感情値として記録する実験である。複数の感情評価結果は、この場合、評価対象である１つのパーツ（又は表現体画像）を見た複数の評価者によって記録された複数の感情値の集合となる。この複数の感情値の集合から、感情空間における感情値分布としての「パーツ感情値分布（表現体感情値分布）」が決定される。

次いで、
（ウ）決定された「表現体感情値分布」は、この分析対象の表現体画像に含まれるパーツに対する「パーツ感情値分布」を重み付けして重畳させた結果であるとして、この分析対象の表現体画像に含まれるパーツの各々について、重みとしての「影響度」を算出する。

例えば、顔表情画像２の「表現体感情値分布」は、顔表情画像２を構成する顔パーツ２２それぞれの「パーツ感情値分布」の畳み込みの結果であるとみなすことも好ましい。各顔パーツ２２の「影響度」は、当該顔パーツの「パーツ感情値分布」を畳み込む際の重みとして算出される。

最後に、
（エ）推定対象の表現体画像（顔表情画像２）に対する「表現体感情値分布」を、この推定対象の表現体画像（顔表情画像２）に含まれるパーツ（顔パーツ２２）の各々に対する「パーツ感情値分布」と、この推定対象の表現体画像に含まれるパーツ（顔パーツ２２）の各々について算出された「影響度」とに基づいて算出する。
ここで、算出された「表現体感情値分布」が、推定対象の表現体画像（顔表情画像２）の感情推定結果となる。

このように、本発明によれば、表現体画像（顔表情画像２）の感情を推定する際、例えば予め複数の基本感情を設定し、表現体画像がどの基本感情の範疇に分類されるのかとの分類問題として感情を推定するのではない。そうではなく、本発明では、最初に、感情空間における感情値の分布を示す「表現体感情値分布」及び「パーツ感情値分布」を決定するのである。

次いで、両分布を結びつける各パーツ（顔パーツ２２）の「影響度」を算出する。これにより、推定対象の表現体画像（顔表情画像２）に含まれる各パーツ（顔パーツ２２）の「パーツ感情値分布」及び「影響度」が確定し、これらを用いることによって、感情推定結果としての「表現体感情値分布」を算出することができるのである。

このように、本感情推定方法は、表現体画像（顔表情画像２）及び各パーツ（顔パーツ２２）を、感情空間での感情値の分布に対応付けて捉えるので、例えば表情の特徴量化等の処理を実施する必要がない。従って、例えば表情のモデルデータが予め設定されているビジュアルキャラクタへの適用について高い親和性を発揮することができ、より高い効率で感情を推定することが可能となる。

さらに、感情値分布の形で感情が推定されるので、とり得る感情全体の中での推定される感情の位置を容易に把握することができる。また、それ故に、表現体画像における感情の強度を規定したり、表現体画像間の感情距離を定義して、感情の類似度を規定したりすることも可能となる。

さらに、本感情推定方法においては、「パーツ感情値分布」及び「影響度」の規定された新たなパーツを用いて生成された新たな表現体画像の「表現体感情値分布」は、新たな感情評価試験を必要とせず自動的に生成される。その結果、種々のパーツを様々に組み合わせることで、「表現体感情値分布」の規定された豊富なバリエーションの表情を容易に提供することができる。

尚、「パーツ感情値分布」を決定するパーツの中に、ベースパーツ２１を入れてもよいが、本実施形態では、「パーツ感情値分布」を決定するパーツは、顔パーツ２２のみとしている。この場合、顔パーツ２２について算出された「影響度」は、１つのベースパーツ２１を選択した下での値と解釈することができる。さらに、表現体画像は、２次元（２Ｄ）のコンピュータグラフィックスによるものに限定されず、例えば３次元コンピュータグラフィックス（３ＤＣＧ）によるものでもよい。

また、パーツの形態も、当然、上述したものに限定されるものではない。例えば、ベースパーツとして、女性モデル、男性モデル又はマスコットモデル等の本体モデルについての顔、上半身又は全身といったパーツを採用してもよい。さらに、パーツとして、例えば「目及び眉」といった複数の身体部位を１つにまとめた単位をとることも可能である。さらにまた、パーツとして、ＣＧ画像以外に、写真画像や映像フレーム部分を採用してもよい。また、パーツは、身体部位に対応するデータに限定されるものではなく、例えば、服装、所持品、背景等に対応するデータとすることもできる。即ち、パーツは、感情を表現可能な表現体（オブジェクト）の部分であれば、種々の形態をとることが可能である。

図２は、本発明による感情推定装置の一実施形態における機能構成を示す機能ブロック図である。

図２によれば、感情推定装置としての情報端末１は、通信インタフェース１０１と、パーツデータ保存部１０２と、感情評価結果保存部１０３と、顔表情感情分布保存部１０４と、パーツ感情分布保存部１０５と、タッチパネル・ディスプレイ１０６と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは情報端末１に搭載されたコンピュータを機能させるプログラムを実行することによって、感情推定機能を実現させる。

また、プロセッサ・メモリは、顔表情生成・決定部１１１と、パーツ感情分布決定部１１３と、顔表情感情分布決定部１１４と、影響度算出部１１５と、顔表情感情値算出部１１６と、顔表情画像提示部１１７と、入出力制御部１２１と、アプリケーション処理部１２２として機能する。さらに、感情評価試験実施部１１２として機能することも好ましい。ここで、図２によれば、各機能構成部を矢印で接続した処理の流れは、本発明による感情推定方法の一実施形態としても理解される。

尚、情報端末１は、例えば、スマートフォン、タブレット型コンピュータ、ノート型コンピュータ又はパーソナルコンピュータ（ＰＣ）、セットトップボックス（ＳＴＢ）、テレビ（ＴＶ）等の情報処理装置である。タッチパネル・ディスプレイ１０６に表示されるビジュアルキャラクタは、例えば、対話の状況に応じてバリエーション豊かな表情を示す会話エージェントであってもよい。さらに、情報端末１は、通信インタフェース１０１を備えていないスタンドアローンの装置であってもよい。この場合、顔パーツ２２のデータ及び主観感情評価実験の結果データはそれぞれ、予めパーツデータ保存部１０２及び感情評価結果保存部１０３に保存されていてもよい。

通信インタフェース１０１は、情報端末１の通信機能部であり、例えば基地局やアクセスポイント等を介したサーバ等とのデータのやり取りを実行する。本実施形態では、特に、
（ａ）顔パーツ２２やベースパーツ２１等のパーツのデータを、これらの識別子（ＩＤ）と対応付けた形で外部から受信して、パーツデータ保存部１０２に保存させ、また、
（ｂ）外部で実施された主観感情評価実験の結果を、評価対象である顔表情画像２や顔パーツ２２等の識別子（ＩＤ）と対応付けた形で外部から受信して、感情評価結果保存部１０３に保存させる
ことも好ましい。通信インタフェース１０１は、さらに、情報端末１で実施された主観感情評価実験の結果や、情報端末１で生成されたパーツや顔表情画像のデータ等を外部に送信してもよい。

パーツデータ保存部１０２は、顔パーツ２２やベースパーツ２１等のパーツのデータを保存する。

図３は、パーツデータ保存部１０２に保存されたパーツデータの一例である。

図３に示したパーツデータは、３ＤＣＧのデータである。本実施形態では、パーツデータ保存部１０２のパーツデータ記憶領域において、パーツデータが、ベースパーツデータ、目パーツデータ、口パーツデータ等のパーツの種類毎に区分けして記憶されている。さらに、例えばベースパーツデータの記憶領域では、個々のベースパーツデータ（ベースパーツデータ１、・・・）が区別して記憶され、同じく例えば目パーツデータの記憶領域でも、個々の目パーツデータ（目パーツデータ１、・・・）が区別して記憶されている。

１つのパーツデータは、属性項目として「素材」、「面」及び「基準位置」を有する。ここで、「素材」で規定される属性は、テクスチャ画像や、物理効果の設定値等である。また、「面」で規定される属性は、パーツを構成する全頂点の相対位置や、各頂点のテクスチャ画像内での対応位置等である。

さらに、ベースパーツには、目パーツや眉パーツ等の顔パーツを付加するための「基準位置」が設定されている。また、付加される顔パーツにも、ベースパーツの「基準位置」に対応した「基準位置」が設定されている。顔パーツがベースパーツへ付加される際、ベースパーツの「基準位置」に、顔パーツの対応する「基準位置」が一致するようにスケーリング及び位置合わせが実行され、その上で、顔パーツがベースパーツと合成される。

図４は、顔表情画像の一実施例を示す模式図である。

図４に示した３ＤＣＧの顔表情画像２では、ベースパーツ２１上に顔パーツである眉パーツ２２が付加されている。ここで、この付加の際、眉パーツ２２の「基準位置」（頂点位置）が線形変換されて、ベースパーツ２１に設定された眉パーツ付加位置としての「基準位置」に合わせられている。

図５は、パーツデータ保存部１０２に保存されたパーツデータの他の例である。また、図６は、顔表情画像２の他の実施例を示す模式図である。

図５に示したパーツデータは、２Ｄのデータである。このパーツデータも、パーツデータ保存部１０２のパーツデータ記憶領域において、ベースパーツデータ、目パーツデータ、口パーツデータ等のパーツの種類毎に区分けして記憶されている。さらに、例えばベースパーツデータの記憶領域では、個々のベースパーツデータ（ベースパーツデータ１、・・・）が区別して記憶され、同じく例えば目パーツデータの記憶領域でも、個々の目パーツデータ（目パーツデータ１、・・・）が区別して記憶されている。

１つのパーツデータは、属性項目として「画像データ」及び「基準位置」を有する。「画像データ」は、例えば図６に示すような２Ｄの顔表情画像を構成する当該パーツのデータである。図６に示した顔表情画像２においても、ベースパーツ２１上に顔パーツである眉パーツ２２が付加されている。ここで、この付加の際、眉パーツ２２の「基準位置」（頂点位置）がベースパーツ２１に設定された眉パーツ付加位置としての「基準位置」に合わせられる。

以上、図３〜図６を用いて説明した顔表情画像の生成方法は、パーツデータとして「基準位置」を設定することに特徴を有する。即ち、従来のようにポリゴンの頂点を移動させて表情を形成するのではなく、感情値の規定された顔パーツを直接配置して顔表情画像を生成する。これにより、感情値の規定（推定）された様々な種類の表情を、容易に提供することが可能となる。

図２に戻って、顔表情生成・決定部１１１は、「影響度」を算出するための分析対象としての顔表情画像２を生成又は決定する。この際、例えば、パーツデータ保存部１０２に保存されたベースパーツ２１及び顔パーツ２２の中から必要なパーツを取り出して、顔表情画像２を生成してもよい。または、顔表情感情分布保存部１０４に保存された顔表情画像２の中から所望のものを選択し、分析対象の顔表情画像２に決定してもよい。また、このような顔表情画像２の生成・決定は、例えば、タッチパネル・ディスプレイ１０６及び入出力制御部１２１を介したユーザによる生成・決定の指示に従って実行されることも好ましい。

感情評価試験実施部１１２は、主観感情評価試験を実施する。ここで、主観感情評価試験には、顔表情画像２に対する評価試験と、顔パーツ２２（及びベースパーツ２１）に対する評価試験との２種類が存在する。顔表情画像２の評価試験では、例えば、
（ａ）顔表情生成・決定部１１１で生成又は決定された顔表情画像２を、タッチパネル・ディスプレイ１０６に表示して、評価者（ユーザ）に提示し、
（ｂ）表示された顔表情画像２を評価者が見た際に感得した感情を、タッチパネル・ディスプレイ１０６（に表示された入力画面）を介して感情値として入力させ、
（ｃ）複数の評価者（ユーザ）から入力された複数の感情値データを、感情評価結果保存部１０３に記録する
ことも好ましい。ここで、変更態様として、複数の評価者による感情値データの一部（又は全部）は、外部から通信インタフェース１０１を介して受信され、感情評価結果保存部１０３に直接記録された（当該顔表情画像２についての）感情値データであってもよい。また、評価者の数は、例えば３０人以上とすることができる。

一方、顔パーツ２２に対する評価試験では、例えば、上記ステップ（ａ）で提示する顔表情画像として、後に図９を用いて説明するパーツ評価用画像４を用い、以下、上記ステップ（ｂ）及び（ｃ）と同様に処理を行うことができる。

図７は、感情値を規定する感情空間の一実施例を示す模式図である。

図７に示した感情空間は、ラッセル（Russell）の円環モデルに基づいており、快-不快軸及び活性-不活性軸の２軸を有する２次元空間である。１つの感情は、この空間上の点、即ち２次元座標値をとる感情値で表される。例えば、図７の感情空間において、快-不快値が「３」で活性-不活性値が「−３」である感情値（３,−３）は、非常にリラックスした感情状態を示すものとすることができる。このように、この感情空間を用いれば、１つの感情を、離散値ではなく連続値で表現することができ、また、感情の変化を感情空間上での連続曲線として表現することもできる。また、例えば、主観感情評価試験の上記ステップ（ｂ）において、ユーザは、顔表情画像２を見て感得した感情を、この感情空間上の１点を指定することによって容易に入力することもできる。

尚、感情値を表現するモデルは、上述のラッセルの円環モデルに限定されるものではない。例えば、感情の３つ以上の側面を評価可能な属性に対応する３つ以上の軸を設定し、３次元以上の空間上の点として感情値を表現してもよい。また、感情の種類を選択列挙し、それらにそれぞれ強度を与えることで感情値を定義することも可能である。

図８は、感情空間の原点を規定する標準顔表情画像の一実施例を示す模式図である。

図８によれば、標準顔表情画像３として、標準的とされる顔パーツ２２を組み合わせてベースパーツ２１に付与した（重畳させた）画像が生成されている。この標準顔表情画像３については、この画像に対して複数の評価者が主観感情評価実験を実施した際に取得される複数の感情値の分布が、平均値μを原点（０,０）とし、分散共分散行列Σを

とする正規分布に従うように設定される。ここで、αは任意の定数である。実際には、設定した標準顔表情画像３に対する主観感情評価実験の結果が、このような正規分布となるように、感情空間の座標値（の絶対値）を決定してもよい。

図２に戻って、パーツ感情分布決定部１１３は、顔表情画像（表現体画像）２に含まれ得る複数の顔パーツ２２の各々に対する複数の主観感情評価実験の結果から、これらの複数の顔パーツ２２の各々について、顔パーツ２２に対する感情値の分布である「パーツ感情値分布」を決定する。ここで、パーツ感情分布決定部１１３は、「パーツ感情値分布」を、平均（中心）μ及び分散共分散行列Σを有する２次元正規分布Ｎ（μ,Σ）と規定して、平均値μ及び／又は分散共分散行列Σを決定することも好ましい。

図９は、主観感情評価実験に使用されるパーツ評価用画像の実施例を示す模式図である。

図９（Ａ）〜（Ｄ）にはそれぞれ、顔パーツ２２としての「スキンカラー」パーツ、「目」パーツ、「口」パーツ及び「眉」パーツに対する主観感情評価実験において使用されるパーツ評価用画像４が示されている。パーツ評価用画像４は、（例えば図８に示した）標準顔表情画像３において、主観評価対象である顔パーツのみを、標準顔表情画像３における対応する顔パーツと入れ替えて付与した画像である。例えば、「目」パーツが主観評価対象である場合、図９（Ｂ）に示すように、標準顔表情画像３の「目」パーツに替えて、この主観評価対象の「目」パーツを付与してパーツ評価用画像４を生成する。

顔パーツ２２に対する主観感情評価実験では、標準顔表情画像３と、以上に説明したパーツ評価用画像４とを並べて評価者に提示した上で、評価者が、パーツ評価用画像４に対し、標準顔表情画像３からの変化分として感得する感情値を記録することも好ましい。この場合、言い換えれば、評価対象である顔パーツ２２に対する感情値は、標準顔表情画像３に対し、この顔パーツ部分のみを当該顔パーツ２２へ変化させた際に感得される感情の値となる。

図９（Ｃ）には、「口」パーツに対する主観感情評価実験の結果としての「パーツ感情値分布」が示されている。この「パーツ感情値分布」は、複数の評価者が、「口」パーツのパーツ評価用画像４に対し評価・決定した感情値から推定された分布である。このように、パーツ感情分布決定部１１３（図２）は、感情評価の基準となる標準表情画像において、感情評価対象のパーツに対応するパーツを、当該感情評価対象のパーツに置き換えた画像に対する複数の感情評価結果から、「パーツ感情値分布」を決定している。

ここで、主観感情評価実験で取得された感情値から、「パーツ感情値分布」の分散共分散行列Σを算出する方法を説明する。最初に、顔パーツデータｉに対応する「パーツ感情値分布」が正規分布N_i(μ_i,Σ_i)になると規定する。次に、顔パーツデータｉに係るパーツ評価用画像４に対し、評価者j（j＝1,2,・・・,n）が評価した２次元の感情値をx_ij＝[x¹ _ij,x² _ij]とし、平均値μ_i＝[μ¹ _i,μ² _i]とすると、分散共分散行列Σ_iは、次式

を用いて算出される。

因みに、分散共分散行列Σの値が大きいほど、この感情値分布のピークの高さ、即ち、分布数（分布確率）を示す関連度は小さくなる。これは、この感情値分布の中心（平均）の値をとる確率が小さいことを示している。

図２に戻って、顔表情感情分布決定部１１４は、分析対象の顔表情画像（表現体画像）２に対する複数の主観感情評価結果から、当該分析対象の顔表情画像２に対する感情値の分布である「表現体感情値分布」を決定する。ここで、顔表情感情分布決定部１１４は、「表現体感情値分布」として平均値μ及び／又は分散共分散行列Σを決定することも好ましい。

図１０は、図９において主観感情評価の対象となった顔パーツ２２を組み合わせた顔表情画像２に対する主観感情評価実験の結果を示すグラフである。

図１０に示した顔表情画像２は、図９において選択された顔パーツ２２を全て付与して生成された画像である。また、同じく図１０に示した感情値分布は、この顔表情画像２に対し、複数の評価者が感得した感情を表現した複数の感情値を取得し、これらの感情値から決定した「表現体感情値分布」である。ここで、この「表現体感情値分布」の分散共分散行列Σも、上述した式（２）〜（４）と同様の式を用いて算出することができる。

以上に述べたように、顔表情感情分布決定部１１４（図２）は、「パーツ感情値分布」の決定された顔パーツ２２を用いて生成された顔表情画像２について、「表現体感情値分布」を決定する。ここで、これらの決定された「パーツ感情値分布」及び「表現体感情値分布」から、以下に説明するように、各顔パーツの「影響度」を算出することができる。

尚、以上に説明した感情値分布決定の実施形態の変更態様として、「パーツ感情値分布」及び「表現体感情値分布」の両方又はいずれか一方を、主観評価実験に依るのではなく、システム設計者等が予め設定してしまうことも可能である。この場合、設定の内容次第で、顔表情に対する感情の推定の確からしさが左右されることになる。

図２に戻って、影響度算出部１１５は、決定された「表現体感情値分布」が、分析対象の顔表情画像２に含まれる顔パーツ２２に対する「パーツ感情値分布」の畳み込みの結果であるとして、その重みとしての「影響度」を算出する。ここで、「影響度」は、当該分析対象の顔表情画像２に含まれる顔パーツ２２の各々について算出される。また、算出した「影響度」を、該当パーツと対応付けてパーツ感情分布保存部１０５に保存することも好ましい。さらに、「影響度」として、例えば、「平均値影響度」と「分散共分散行列影響度」との２種類を設定することができる。

具体的に、影響度算出部１１５は、「表現体感情値分布」における平均値μが分析対象の顔表情画像２に含まれる顔パーツ２２に対する「パーツ感情値分布」における平均値μを重み付けして結合させた結果であるとして、分析対象の顔表情画像２に含まれる顔パーツ２２の各々について、平均値μでの重みとしての「平均値影響度」を算出することも好ましい。また、「表現体感情値分布」における分散共分散行列Σが分析対象の顔表情画像２に含まれる顔パーツ２２に対する「パーツ感情値分布」における分散共分散行列Σを重み付けして結合させた結果であるとして、分析対象の顔表情画像２に含まれる顔パーツ２２の各々について、分散共分散行列Σでの重みとしての「分散共分散行列影響度」を算出することも好ましい。

ここで、「パーツ感情値分布」の畳み込みを算出する際、各顔パーツ２２の「パーツ感情値分布」を上述したように正規分布であると規定する。さらに、正規分布の再生性から、正規分布の畳み込みは正規分布となり、畳み込みにより生成された正規分布の平均値μ及び分散共分散行列Σはそれぞれ、元の正規分布の平均値μ及び分散共分散行列Σの線形結合として表される事実を利用する。

具体的に、分析対象の顔表情画像２がｍ個の顔パーツ２２から構成される場合、この顔表情画像２に対応する「表現体感情値分布」N(μ,Σ)の平均値μ及び分散共分散行列Σは、次式

を用いて算出される。ここで、μ_k（k＝1,2,・・・,m）及びΣ_k（k＝1,2,・・・,m）はそれぞれ、顔パーツデータｋに対応する「パーツ感情値分布」における平均値及び分散共分散行列である。また、β_k（k＝1,2,・・・,m）及びγ_k（k＝1,2,・・・,m）はそれぞれ、顔パーツデータｋの「平均値影響度」及び「分散共分散影響度」である。さらに、ｃ及びｄは定数である。

このように、顔パーツデータｋの平均値影響度β_k（分散共分散影響度γ_k）は、「表現体感情値分布」の平均値μ（分散共分散行列Σ）をμ_k（Σ_k）の線形結合で表現した場合の重み係数となっており、まさに、顔表情の感情値に対する顔パーツデータｋの影響の度合いを示している。

より具体的に、顔表情画像２が、スキンカラー、目、口及び眉の４つの顔パーツ２２で構成される場合、上記の式（５）は、

となり、具体的な「影響度」の算出例として、例えば、

が得られる。

ここで、顔パーツデータｋの平均値影響度β_k及び分散共分散影響度γ_k並びにｃ及びｄは、顔パーツデータｋ毎の「パーツ感情値分布」と、分析対象の顔表情画像２の「表現体感情値分布」とから回帰的に求めることができる。

具体的に、影響度算出部１１５（図２）は、分析対象の顔表情画像（表現体画像）２に対する「表現体感情値分布」を規定する値（例えばμ又はΣ）を目的変数とし、分析対象の顔表情画像２に含まれる顔パーツ２２の各々（顔パーツデータｋ）に対する「パーツ感情値分布」を規定する値（例えばμ_k又はΣ_k）を説明変数として、重回帰分析を実行し、当該説明変数の係数として「影響度」（例えばβ_k又はγ_k）を算出することも好ましい。この重回帰分析は、例えば、公知の重回帰分析用ソフトウェアを用いて実行することができる。

さらに、「影響度」算出の他の実施形態として、以上に説明した線形回帰分析ではなく、サポートベクタ回帰等の非線形回帰分析を実行し、重みを学習して「影響度」を算出することも好ましい。例えば、影響度算出部１１５（図２）は、最初に、分析対象の顔表情画像（表現体画像）２に含まれる顔パーツ２２の各々（顔パーツデータｋ）に対する「パーツ感情値分布」を規定する値ｘと、分析対象の顔表情画像２に対する「表現体感情値分布」を規定する値ｙとの組をサンプル（ｘ,ｙ）とする。ここで、ｘをｍ次元ベクトルである[μ₁,・・・,μ_m]又は[Σ₁,・・・,Σ_m]とし、ｙを平均値μ又は分散共分散行列Σとすることも好ましい。この場合、サンプル（ｘ,ｙ）のｘとｙとの関係は、上式（５）で規定される。

次いで、サンプル（ｘ,ｙ）と回帰曲線ｆ(ｘ)＝x・ｗ＋ｂ（ｂは定数項）との残差ｒのε許容誤差ξ(ｒ)を、次式

のように取り決め、このε許容誤差ξ(ｒ)と、当該回帰曲線における重みｗとを含む所定の関数を最小化する最小化問題を解いて「影響度」を算出する。具体的には、次式

を満たす重みｗに基づいて、「影響度」を算出する。ここで、λは正則化パラメータである。この最適化問題を解くことで得られるｗ及びｂによって、各顔パーツｋの平均値影響度β_k又は分散共分散影響度γ_k並びにｃ及びｄ（定数項）を決定する。尚、以上に述べたサポートベクタ回帰を用いた「影響度」の算出も、例えば、公知のサポートベクタ回帰分析用ソフトウェアを用いて実行することができる。

図２に戻って、顔表情感情値算出部１１６は、推定対象の顔表情画像（表現体画像）２に対する「表現体感情値分布」を、この推定対象の顔表情画像２に含まれる顔パーツ２２の各々に対する「パーツ感情値分布」と、この推定対象の顔表情画像２に含まれる顔パーツ２２の各々について算出された「影響度」とに基づいて算出する。

具体的には、顔表情感情値算出部１１６は、推定対象の顔表情画像２に対する感情値を、この顔表情画像２に含まれる顔パーツ２２の各々に対する「パーツ感情値分布」における平均値μと、この顔表情画像２に含まれる顔パーツ２２の各々について算出された「平均値影響度」とに基づいて算出することも好ましい。また、推定対象の顔表情画像２に対する感情値の分散の程度を、この顔表情画像２に含まれる顔パーツ２２の各々に対する「パーツ感情値分布」における分散共分散行列Σと、この顔表情画像２に含まれる顔パーツ２２の各々について算出された「分散共分散行列影響度」とに基づいて算出することも好ましい。

ここで、推定対象の顔表情画像２の特定は、例えば、ユーザによる推定対象画像の指定入力を、タッチパネル・ディスプレイ１０６及び入出力制御部１２１を介して受け取ることで実行されてもよい。または、顔表情感情値算出部１１６は、顔表情生成・決定部１１１で生成又は決定された顔表情画像２を直接、推定対象としてもよい。この場合、顔表情生成・決定部１１１は、パーツ感情分布保存部１０５に保存された、感情値分布の規定された顔パーツを取り出し、感情値の推定対象として新たな顔表情画像２を生成する。さらに、顔表情感情値算出部１１６は、顔表情感情分布保存部１０４に保存された顔表情画像から１つを選択して推定対象としてもよい。

さらに、他の実施形態として、「パーツ感情値分布」及び「影響度」の規定された新たな顔パーツを用いて新たな顔表情画像を生成した場合、顔表情感情値算出部１１６は、この新たな顔表情画像の「表現体感情値分布」を自動的に生成することができる。即ち、この場合、顔表情感情値算出部１１６は、構成要素となるパーツの全ての「パーツ感情値分布」及び「影響度」を取得することができるので、新たな感情評価試験を実施することなく、「表現体感情値分布」を算出することが可能となる。

同じく図２によれば、顔表情画像提示部１１７は、算出された感情値が感情空間内において所定範囲内にある複数の顔表情画像（表現体画像）２について、算出された分散共分散行列Σの小さい顔表情画像ほどより高い優先度をもって提示する。

図１１は、顔表情画像提示部１１７の機能を説明するための模式図である。

顔表情画像提示部１１７（図２）は、図１１に示すような感情空間を、感情値の入力画面としてタッチパネル・ディスプレイ１０６に表示させる。ここで、ユーザが、表示された感情空間上の１点を（例えばタップ又はクリックによって）指定した際、顔表情画像提示部１１７は、指定された点に相当する感情値を有する顔表情画像（表現体画像）２を、タッチパネル・ディスプレイ１０６に列挙して表示させる。ユーザは、表示された顔表情画像２から、所望のものを選択することができる。

ここで、この表示の際、分散共分散行列Σの小さい顔表情画像２ほど、より高い優先順位を有する候補として表示させることも好ましい。一般に、分散共分散行列Σの値が小さいほど、対応する「感情値分布」のピークの高さ、即ち、分布数（分布確率）を示す関連度は大きくなる。従って、上記のように表示することによって、指定された感情値をとる確率のより高い顔表情画像を、選択すべき順位のより高い候補として提示することが可能となる。

尚、顔表情画像提示部１１７は、ユーザによって指定された感情値を中心とした所定範囲内にある感情値を有する顔表情画像２を、列挙して表示させることも好ましい。これにより、概ね同様の感情を表現している顔表情画像２を選択候補としてユーザに提示することができる。

図２に戻って、アプリケーション処理部１２２は、例えば、感情値の規定されたビジュアルキャラクタ（表現体画像）を、表情の豊かな会話エージェントとしてタッチパネル・ディスプレイに表示させ、ユーザに種々のサービスを提供するアプリケーション・ソフトウェアを起動させ、制御する。

以上、詳細に説明したように、本発明によれば、表情のモデルデータが予め設定されているキャラクタに対しても高い効率で感情を推定することができ、また、とり得る感情（感情空間）全体の中での推定される感情（感情値）の位置を容易に把握することができる。特に、様々な形状のパーツの組合せである表情（表現体画像）に対し、各パーツの感情値分布を予め定めることによって、この表情の特徴量化処理等を必要とせずに、この表情の感情値分布をより効率良く決定（推定）することができる。

また、感情値分布及び影響度の規定されたパーツを組み合わせることによって、バラエティに富んだ、感情値分布の規定された表情を提供することが可能となる。さらに、分散共分散行列Σを求めることによって、所定範囲内の感情値を有する表情の候補を、優先順位を付けて提示することも可能となる。また、その結果、状況に適合した適切な表情を有するユーザフレンドリーなキャラクタを生成して表示し、ユーザにより適したサービスを構築したり実施したりすることも可能となる。

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例であって、何ら発明の範囲を制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 情報端末（感情推定装置）
１０１ 通信インタフェース
１０２ パーツデータ保存部
１０３ 感情評価結果保存部
１０４ 顔表情感情分布保存部
１０５ パーツ感情分布保存部
１０６ タッチパネル・ディスプレイ
１１１ 顔表情生成・決定部
１１２ 感情評価試験実施部
１１３ パーツ感情分布決定部
１１４ 顔表情感情分布決定部
１１５ 影響度算出部
１１６ 顔表情感情値算出部
１１７ 顔表情提示部
１２１ 入出力制御部
１２２ アプリケーション処理部
２ 顔表情画像（表現体画像）
２１ ベースパーツ
２２ 顔パーツ
３ 標準顔表情画像
４ パーツ評価用画像

Claims (10)

1. 複数のパーツを含む表現体画像において表現された感情を推定する感情推定装置であって、
   当該表現体画像に含まれ得る複数のパーツの各々に対する複数の主観による感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布を決定するパーツ感情分布決定手段と、
   分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布を決定する表現体感情分布決定手段と、
   決定された表現体感情値分布は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布を重み付けして重畳させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、重みとしての影響度を算出する影響度算出手段と、
   推定対象の表現体画像に対する表現体感情値分布を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布と、当該推定対象の表現体画像に含まれるパーツの各々について算出された影響度とに基づいて算出する感情値算出手段と
   を有することを特徴とする感情推定装置。
2. 複数のパーツを含む表現体画像において表現された感情を推定する感情推定装置であって、
   当該表現体画像に含まれ得る複数のパーツの各々に対する複数の感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布における平均値を決定するパーツ感情分布決定手段と、
   分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布における平均値を決定する表現体感情分布決定手段と、
   決定された表現体感情値分布における平均値は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布における平均値を重み付けして結合させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、平均値での重みとしての平均値影響度を算出する影響度算出手段と、
   推定対象の表現体画像に対する感情値を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布における平均値と、当該推定対象の表現体画像に含まれるパーツの各々について算出された平均値影響度とに基づいて算出する感情値算出手段と
   を有することを特徴とする感情推定装置。
3. 複数のパーツを含む表現体画像において表現された感情を推定する感情推定装置であって、
   当該表現体画像に含まれ得る複数のパーツの各々に対する複数の感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布における分散共分散行列を決定するパーツ感情分布決定手段と、
   分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布における分散共分散行列を決定する表現体感情分布決定手段と、
   決定された表現体感情値分布における分散共分散行列は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布における分散共分散行列を重み付けして結合させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、分散共分散行列での重みとしての分散共分散行列影響度を算出する影響度算出手段と、
   推定対象の表現体画像に対する感情値の分散の程度を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布における分散共分散行列と、当該推定対象の表現体画像に含まれるパーツの各々について算出された分散共分散行列影響度とに基づいて算出する感情値算出手段と
   を有することを特徴とする感情推定装置。
4. 算出された感情値が感情空間内において所定範囲内にある複数の表現体画像について、算出された分散共分散行列の小さい表現体画像ほどより高い優先度をもって提示を行う表現体画像提示手段を更に有することを特徴とする請求項３に記載の感情推定装置。
5. 前記影響度算出手段は、当該分析対象の表現体画像に対する表現体感情値分布を規定する値を目的変数とし、当該分析対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布を規定する値を説明変数として、重回帰分析を実行し、当該説明変数の係数として影響度を算出することを特徴とする請求項１に記載の感情推定装置。
6. 複数のパーツを含む表現体画像において表現された感情を推定する感情推定装置であって、
   当該表現体画像に含まれ得る複数のパーツの各々に対する複数の感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布を決定するパーツ感情分布決定手段と、
   分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布を決定する表現体感情分布決定手段と、
   決定された表現体感情値分布は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布を重み付けして重畳させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布を規定する値ｘと、当該分析対象の表現体画像に対する表現体感情値分布を規定する値ｙとの組をサンプル（ｘ,ｙ）として、当該サンプルと回帰曲線ｆ(ｘ)＝x・ｗ＋ｂ（ｂは定数項）との残差ｒのε許容誤差ξ(ｒ)と、当該回帰曲線における重みｗとを含む所定の関数Σξ(ｙ−ｆ(ｘ))＋λ｜ｗ｜^２／２を最小化する重みｗに基づいて、影響度を算出する影響度算出手段と、
   推定対象の表現体画像に対する表現体感情値分布を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布と、当該推定対象の表現体画像に含まれるパーツの各々について算出された影響度とに基づいて算出する感情値算出手段と
   を有することを特徴とする感情推定装置。
7. 複数のパーツを含む表現体画像において表現された感情を推定する感情推定装置であって、
   当該表現体画像に含まれ得る複数のパーツの各々に対する複数の感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布を決定するパーツ感情分布決定手段と、
   分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布を決定する表現体感情分布決定手段と、
   決定された表現体感情値分布は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布を重み付けして重畳させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、重みとしての影響度を算出する影響度算出手段と、
   推定対象の表現体画像に対する表現体感情値分布を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布と、当該推定対象の表現体画像に含まれるパーツの各々について算出された影響度とに基づいて算出する感情値算出手段と
   を有し、
   前記パーツ感情分布決定手段は、感情評価の基準となる標準表現体画像において、感情評価対象のパーツに対応するパーツを、当該感情評価対象のパーツに置き換えたパーツ評価用画像に対する複数の感情評価結果から、当該感情評価対象のパーツに対するパーツ感情値分布を決定する
   ことを特徴とする感情推定装置。
8. 複数のパーツを含む表現体画像において表現された感情を推定する感情推定装置であって、
   当該表現体画像に含まれ得る複数のパーツの各々に対する複数の感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布を決定するパーツ感情分布決定手段と、
   分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布を決定する表現体感情分布決定手段と、
   決定された表現体感情値分布は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布を重み付けして重畳させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、重みとしての影響度を算出する影響度算出手段と、
   推定対象の表現体画像に対する表現体感情値分布を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布と、当該推定対象の表現体画像に含まれるパーツの各々について算出された影響度とに基づいて算出する感情値算出手段と
   を有し、
   パーツ感情値分布及び影響度の規定された新たなパーツを用いて生成された新たな表現体画像の表現体感情値分布は、新たな感情評価試験を必要とせず自動的に生成される
   ことを特徴とする感情推定装置。
9. 複数のパーツを含む表現体画像において表現された感情を推定する装置に搭載されたコンピュータを機能させるプログラムであって、
   当該表現体画像に含まれ得る複数のパーツの各々に対する複数の主観による感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布を決定するパーツ感情分布決定手段と、
   分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布を決定する表現体感情分布決定手段と、
   決定された表現体感情値分布は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布を重み付けして重畳させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、重みとしての影響度を算出する影響度算出手段と、
   推定対象の表現体画像に対する表現体感情値分布を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布と、当該推定対象の表現体画像に含まれるパーツの各々について算出された影響度とに基づいて算出する感情値算出手段と
   してコンピュータを機能させることを特徴とする感情推定プログラム。
10. 複数のパーツを含む表現体画像において表現された感情を推定する方法であって、
    当該表現体画像に含まれ得る複数のパーツの各々に対する複数の主観による感情評価結果から、当該複数のパーツの各々について、当該パーツに対する感情値の分布であるパーツ感情値分布を決定し、また、分析対象の表現体画像に対する複数の感情評価結果から、当該分析対象の表現体画像に対する感情値の分布である表現体感情値分布を決定する第１のステップと、
    決定された表現体感情値分布は、当該分析対象の表現体画像に含まれるパーツに対するパーツ感情値分布を重み付けして重畳させた結果であるとして、当該分析対象の表現体画像に含まれるパーツの各々について、重みとしての影響度を算出する第２のステップと、
    推定対象の表現体画像に対する表現体感情値分布を、当該推定対象の表現体画像に含まれるパーツの各々に対するパーツ感情値分布と、当該推定対象の表現体画像に含まれるパーツの各々について算出された影響度とに基づいて算出する第３のステップと
    を有することを特徴とする感情推定方法。

Images