JP7106041B2 - 情報処理装置、感情推定方法、及び感情推定プログラム - Google Patents

Description

本開示は、情報処理装置、感情推定方法、及び感情推定プログラムに関する。

生体情報、音声情報、画像、視線データなどに基づいてユーザの振舞いを特定することができる。また、ユーザの振舞いを示す情報に基づいて、機器を使用するユーザの感情を推定することができる。ここで、感情を推定する技術が提案されている（特許文献１を参照）。特許文献１の情報処理装置は、撮影者の視線データと撮影者のセンサデータとに基づいて、撮影者の感情を推定する。

機器は、推定された感情に応じた応答又は処理を行う。例えば、エレベータ前に存在するユーザの感情が特定される。ユーザが苛立っている場合、機器は、苛立ちを低減するための処理を行う。

特開２０１９－４７２３４号公報

ところで、ユーザが注目しているときの状態に基づいて、ユーザの感情を推定する方法が考えられる。しかし、ユーザが注目しているときの感情は、同じでない。例えば、ユーザが被写体の背景に存在する歩行者を注目しているときの感情と、ユーザが撮影対象である被写体を注目しているときの感情とは、異なる。このように、ユーザが注目しているときの感情が常に同じと推定することは、誤りである。

本開示の目的は、感情の推定精度を向上させることである。

本開示の一態様に係る情報処理装置が提供される。情報処理装置は、ある状況におけるユーザに関する情報である入力情報と、感情を推定する方法である、複数の方法を示す方法情報と、前記ユーザが使用する機器に関する情報である機器情報とを取得する取得部と、前記入力情報に基づいて、前記ユーザが注目している物体と前記ユーザが前記物体を注目しているときの様子とを特定する特定部と、前記機器情報に基づいて、前記ユーザが前記機器を操作してから前記操作に対する応答が返ってくるまでの時間を、待ち時間として特定する待ち時間特定部と、前記待ち時間と、特定された前記物体を示す物体情報と、特定された様子を示す様子情報と、前記方法情報とに基づいて、前記複数の方法の中から、前記待ち時間と前記物体情報と前記様子情報とに対応する方法を選択する方法選択部と、選択された方法と、前記物体情報と、前記様子情報とに基づいて、前記ユーザの感情を推定する感情推定部と、を有する。

本開示によれば、感情の推定精度を向上させることができる。

実施の形態１の情報処理装置が有する機能ブロックを示す図である。 実施の形態１の情報処理装置が有するハードウェアの構成を示す図である。 実施の形態１の情報処理装置が実行する処理の例を示すフローチャートである。 実施の形態１の注目関連情報の例を示す図である。 実施の形態１の方法テーブルの例を示す図である。 実施の形態２の情報処理装置が有する機能ブロックを示す図である。 実施の形態２の情報処理装置が実行する処理の例を示すフローチャートである。 実施の形態３の情報処理装置が有する機能ブロックを示す図である。 実施の形態３の情報処理装置が実行する処理の例を示すフローチャートである。 実施の形態３の方法テーブルの例を示す図である。 実施の形態４の情報処理装置が有する機能ブロックを示す図である。 実施の形態４の情報処理装置が実行する処理の例を示すフローチャートである。 実施の形態４の方法テーブルの例を示す図である。

以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。

実施の形態１．
図１は、実施の形態１の情報処理装置が有する機能ブロックを示す図である。情報処理装置１００は、感情推定方法を実行する装置である。情報処理装置１００は、感情推定装置と呼んでもよい。

ここで、情報処理装置１００が有するハードウェアを説明する。
図２は、実施の形態１の情報処理装置が有するハードウェアの構成を示す図である。情報処理装置１００は、プロセッサ１０１、揮発性記憶装置１０２、不揮発性記憶装置１０３、入力インタフェース１０４、及び出力インタフェース１０５を有する。

プロセッサ１０１は、情報処理装置１００全体を制御する。例えば、プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などである。プロセッサ１０１は、マルチプロセッサでもよい。情報処理装置１００は、プロセッサ１０１に代えて、処理回路を有してもよい。処理回路は、単一回路又は複合回路でもよい。

揮発性記憶装置１０２は、情報処理装置１００の主記憶装置である。例えば、揮発性記憶装置１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。不揮発性記憶装置１０３は、情報処理装置１００の補助記憶装置である。例えば、不揮発性記憶装置１０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。
入力インタフェース１０４は、外部から入力情報を取得する。入力情報については、後で説明する。出力インタフェース１０５は、情報処理装置１００に接続可能な外部装置に情報を出力する。

図１に戻って、情報処理装置１００の機能を説明する。
情報処理装置１００は、記憶部１１０、取得部１２０、物体認識処理実行部１３０、特定部１４０、方法選択部１５０、及び感情推定部１６０を有する。
記憶部１１０は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。

取得部１２０、物体認識処理実行部１３０、特定部１４０、方法選択部１５０、及び感情推定部１６０の一部又は全部は、処理回路によって実現してもよい。取得部１２０、物体認識処理実行部１３０、特定部１４０、方法選択部１５０、及び感情推定部１６０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ１０１が実行するプログラムは、感情推定プログラムとも言う。例えば、感情推定プログラムは、記録媒体に記録されている。

記憶部１１０は、方法テーブルを記憶してもよい。方法テーブルには、複数の方法が登録されている。複数の方法のそれぞれは、感情を推定する方法である。ここで、方法テーブルは、方法情報とも言う。

取得部１２０は、入力情報Ｘ１を取得する。入力情報Ｘ１は、ある状況におけるユーザに関する情報である。入力情報Ｘ１は、ある時点のある状況におけるユーザに関する情報でもよい。例えば、ある状況とは、ユーザがエレベータを待っている状況、ユーザが車を運転している状況などである。また、入力情報Ｘ１は、ユーザの振舞いに関する情報と表現してもよい。具体的には、入力情報Ｘ１には、画像Ｘ２、ユーザの音声を示す音声情報、ユーザの生体情報、視線データ、モーション情報などが含まれる。なお、入力情報Ｘ１には、少なくとも画像Ｘ２が含まれていてもよい。なお、入力情報Ｘ１は、センサ情報と呼んでもよい。

入力情報Ｘ１に含まれる生体情報は、非接触センサ又は接触センサを用いて取得できる。例えば、非接触センサは、カメラ、サーモグラフィカメラ、又は呼気センサである。非接触センサがカメラである場合、カメラから得られた画像に含まれる顔表面の血流情報に基づいて心拍、脈拍などの生体情報が得られる。非接触センサがサーモグラフィカメラである場合、サーモグラフィに基づいて、体温を示す生体情報が得られる。非接触センサが呼気センサである場合、呼気に関する情報である生体情報が呼気センサから得られる。また、例えば、接触センサは、スマートウォッチなどのウェアラブルデバイスである。心拍、脈拍、発汗などの生体情報がウェアラブルデバイスから得られる。また、ハンドル又はシートベルトに接触センサが埋め込まれた場合、心拍及び脈拍が生体情報として接触センサから得られる。

入力情報Ｘ１に含まれる視線データは、画像Ｘ２内におけるユーザの注目位置を示すデータである。例えば、視線データは、アイトラッキングセンサから得られる。
入力情報Ｘ１に含まれるモーション情報は、ユーザの動作を示す情報である。モーション情報は、モーションキャプチャによって得られる。また、モーション情報は、マイクロソフト（登録商標）のＫｉｎｅｃｔ（登録商標）から得られる。

物体認識処理実行部１３０は、画像Ｘ２に含まれている物体を認識する処理を実行する。
特定部１４０は、入力情報Ｘ１に基づいて、ユーザが注目している物体とユーザが物体を注目しているときの様子とを特定する。また、特定部１４０は、当該処理により得られた情報と入力情報Ｘ１とに基づいて、ユーザが注目している物体を特定してもよい。

方法選択部１５０は、特定された物体を示す物体情報と、特定された様子を示す様子情報と、方法テーブルとに基づいて、複数の方法の中から、物体情報と様子情報とに対応する方法を選択する。
感情推定部１６０は、選択された方法と物体情報と様子情報とに基づいて、ユーザの感情を推定する。

次に、情報処理装置１００が実行する処理を、フローチャートを用いて説明する。
図３は、実施の形態１の情報処理装置が実行する処理の例を示すフローチャートである。
（ステップＳ１１）取得部１２０は、入力情報Ｘ１を取得する。

（ステップＳ１２）物体認識処理実行部１３０は、入力情報Ｘ１に含まれている画像Ｘ２を取得する。画像Ｘ２は、ユーザの周辺を撮影することにより得られた画像である。なお、画像Ｘ２には、後述するように、ユーザが注目している物体が含まれていればよい。そのため、画像Ｘ２には、ユーザが含まれていなくてもよい。よって、周辺とは、ユーザから離れた場所、又はユーザを含む範囲と考えてもよい。
物体認識処理実行部１３０は、画像Ｘ２に含まれている物体を認識する処理を実行する。例えば、当該処理では、一般物体認識又は特定物体認識が用いられる。当該処理が実行されることで、処理結果Ｘ３が得られる。すなわち、処理結果Ｘ３は、当該処理により得られた情報である。

例えば、処理結果Ｘ３は、ユーザが操作している機器の部位を示す。例えば、エレベータの場合、当該部位は、呼出ボタン、エレベータ扉、階数表示、又は床である。また、車の場合、当該部位は、ナビゲーション画面、又は窓である。また、例えば、処理結果Ｘ３は、ユーザの身体的部位を示す。例えば、身体的部位は、足先である。また、例えば、処理結果Ｘ３は、ユーザが身に着けている物品、ユーザが所有する物品などである。例えば、ユーザが身に着けている物品は、時計である。例えば、ユーザが所有する物品は、スマートフォンである。

また、処理結果Ｘ３が示す物体（詳細には、物体の名称）には、ＩＤ（identifier）が対応付けられてもよい。また、処理結果Ｘ３が示す物体には、画像Ｘ２内の位置を示す情報が対応付けられてもよい。なお、位置を示す情報は、座標で表される。また、処理結果Ｘ３には、画像Ｘ２内における、特定された物体の範囲を示す領域情報が含まれてもよい。

また、物体認識処理実行部１３０は、複数の画像を取得してもよい。例えば、当該複数の画像は、エレベータホールに存在するユーザを３０秒間、１秒単位で撮影することにより得られた画像である。物体認識処理実行部１３０は、複数の画像のそれぞれに含まれている物体を認識する処理を実行する。すなわち、物体認識処理実行部１３０は、画像毎に、物体を認識する処理を実行する。これにより、連続した処理結果が得られる。例えば、３０枚の画像に基づく、連続した３０個の処理結果が得られる。

（ステップＳ１３）特定部１４０は、ユーザが注目している物体を特定する。特定処理を詳細に説明する。
特定部１４０は、処理結果Ｘ３とユーザが含まれている画像Ｘ２とに基づいて、ユーザが注目している物体を特定する。詳細には、特定部１４０は、画像Ｘ２に基づいて、ユーザの顔の向き、ユーザの身体方向、ユーザが物体を注目している時の特有の動作、ユーザの姿勢などを特定する。なお、特定部１４０は、公知の技術を用いて、ユーザの顔の向き、ユーザの身体方向、当該特有の動作、ユーザの姿勢などを特定することができる。特定部１４０は、特定された情報と処理結果Ｘ３とに基づいて、ユーザが注目している物体を特定する。以下、具体的に特定処理を説明する。

ユーザの顔の向きが特定された場合、特定部１４０は、処理結果Ｘ３に基づいて、ユーザの顔の向きに存在する物体を、ユーザが注目している物体として、特定する。
当該特有の動作が特定された場合を説明する。例えば、当該特有の動作とは、腕時計を見る動作、スマートフォンを見る動作などである。腕時計を見る動作が特定された場合、特定部１４０は、処理結果Ｘ３に基づいて、ユーザが注目している腕時計を特定する。

例えば、ユーザの姿勢が特定された場合、特定部１４０は、ユーザの姿勢が示す首の傾き及び腕の位置と、処理結果Ｘ３とに基づいて、ユーザが注目している物体を特定する。詳細には、ユーザの姿勢が“腕を上げて、首を斜め横に向けている”ことを示している場合、特定部１４０は、処理結果Ｘ３の中から腕時計を特定する。

入力情報Ｘ１に視線データが含まれている場合、特定部１４０は、視線データと処理結果Ｘ３とに基づいて、ユーザが注目している物体を特定する。詳細には、処理結果Ｘ３が示す物体に、画像Ｘ２内の位置を示す情報が対応付けられている場合、特定部１４０は、処理結果Ｘ３が示す物体の位置と視線データが示すユーザの注目位置とに基づいて、ユーザが注目している物体を特定する。

入力情報Ｘ１に音声情報が含まれている場合、特定部１４０は、音声情報に基づいて、ユーザが注目している物体を特定する。詳細には、特定部１４０は、音声情報が示すユーザの発話内容を分析し、分析の結果に基づいて、ユーザが注目している物体を特定する。
例えば、入力情報Ｘ１にモーション情報が含まれている場合、特定部１４０は、モーション情報が示すユーザの首方向又は身体方向と処理結果Ｘ３とに基づいて、ユーザが注目している物体を特定する。

（ステップＳ１４）特定部１４０は、入力情報Ｘ１に基づいて、ユーザが物体を注目しているときの様子を特定する。言い換えれば、特定部１４０は、入力情報Ｘ１に基づいて、ユーザが物体を注目しているときの状態を特定する。ここで、当該様子を示す様子情報は、注目行動情報と呼んでもよい。注目行動情報の“行動”とは、外部から客観的に観察できる、人間又は動物の静的あるいは動的な状態又は反応であると考えてもよい。また、当該反応には、視線の動き、心拍などの生理的現象も含まれる。

例えば、様子情報とは、ユーザが物体を注目する頻度である注目頻度を示す情報、ユーザが物体を注目しているときの姿勢を示す情報、ユーザが物体を注目しているときの生体情報、ユーザが物体を注目しているときの音声情報に基づく特徴量などである。

次に、注目頻度を説明する。例えば、ユーザが注目している物体が階数表示である場合、特定部１４０は、ユーザが含まれている複数の画像Ｘ２に基づいて、予め設定された時間内にユーザが階数表示を注目している時間又は注目回数を算出し、算出の結果に基づいて、注目頻度を特定する。

姿勢を説明する。特定部１４０は、ユーザが含まれている画像Ｘ２を用いて、ユーザが物体を注目しているときの姿勢を特定する。詳細には、特定部１４０は、ユーザが含まれている画像Ｘ２と姿勢を特定するための画像とに基づいて、ユーザが物体を注目しているときの姿勢を特定する。例えば、エレベータホールに存在するユーザが腕組みをしながら階数表示を注目している状態を画像Ｘ２が示している場合、特定部１４０は、画像Ｘ２と腕組みを示す画像とに対してテンプレートマッチングを行うことで、腕組みを特定する。姿勢検出センサから得られた姿勢情報が入力情報Ｘ１に含まれている場合、特定部１４０は、ユーザの姿勢を示す姿勢情報に基づいて、姿勢を特定する。ユーザの骨格情報が入力情報Ｘ１に含まれている場合、特定部１４０は、骨格情報に基づいて、姿勢を特定する。モーション情報が入力情報Ｘ１に含まれている場合、特定部１４０は、モーション情報に基づいて、姿勢を特定する。

生体情報を説明する。生体情報は、入力情報Ｘ１に含まれている生体情報である。例えば、生体情報は、心拍数、発汗度合などである。
音声情報に基づく特徴量を説明する。例えば、音声情報に基づく特徴量は、ピッチ、パワー、スペクトルなどである。また、例えば、音声情報に基づく特徴量は、ユーザの発話内容でもよい。

このように、特定部１４０は、ユーザが注目している物体とユーザが注目しているときの様子を特定する。特定された当該物体を示す物体情報と、特定された当該様子を示す様子情報とは、注目関連情報Ｘ４と呼ぶ。ここで、注目関連情報Ｘ４を例示する。

図４は、実施の形態１の注目関連情報の例を示す図である。図４の注目関連情報Ｘ４が示す“注目対象”は、ユーザが注目している物体を示す。また、図４の注目関連情報Ｘ４が示す“注目頻度”、“姿勢”、“心拍数”は、ユーザが注目しているときの様子を示す。図４が示すように、“注目対象”には、ユーザが注目しているときの様子を示す複数の情報が対応付けられてもよい。

また、“注目対象”と当該複数の情報とには、フレーム番号が対応付けられてもよい。フレーム番号は、１つのフレームの番号、又は複数のフレームを１つのフレームとしたときの番号である。例えば、複数のフレームを１つのフレームとしたときの“注目頻度”、“姿勢”、及び“心拍数”は、予め設定された時間における“注目頻度”、“姿勢”、及び“心拍数”を示す。予め設定された時間における“注目頻度”及び“心拍数”は、予め設定された時間における値の平均値、最大値、最小値、又は代表値でもよい。
なお、ステップＳ１４は、ステップＳ１３の前に実行されてもよい。また、ステップＳ１４は、ステップＳ１３と並行に実行されてもよい。

（ステップＳ１５）取得部１２０は、方法テーブルを取得する。方法テーブルが記憶部１１０に格納されている場合、取得部１２０は、記憶部１１０から方法テーブルを取得する。また、方法テーブルは、情報処理装置１００に接続可能な外部装置に格納されてもよい。方法テーブルが外部装置に格納されている場合、取得部１２０は、外部装置から方法テーブルを取得する。

方法選択部１５０は、注目関連情報Ｘ４と方法テーブルとに基づいて、感情を推定する際に用いる方法を選択する。上述したように、方法テーブルには、複数の方法が登録されている。複数の方法を具体的に説明する。

例えば、方法テーブルには、式を用いて感情を推定する方法が登録されている。
また、例えば、方法テーブルには、感情を判定する際に用いられる特徴量と閾値を用いて感情を推定する方法が登録されている。また、方法テーブルには、注目頻度が０．８以上である場合、苛立ちと推定する方法が登録されてもよい。また、方法テーブルには、心拍数が６０未満である場合、平常と推定する方法が登録されてもよい。

また、例えば、方法テーブルには、感情を判定する際に用いられる特徴量、又は感情を示す数値に対して重み付けして感情を推定する方法が登録されている。なお、感情を示す数値は、感情の重要度と表現してもよい。
また、例えば、方法テーブルには、様子情報が示す情報の重要度に対して重み付けして感情を推定する方法が登録されている。具体的には、方法テーブルには、様子情報が示す“注目頻度”に対して重み付けして感情を推定する方法が登録されている。

また、例えば、方法テーブルには、予め設定されたルールに基づいて感情を推定する方法が登録されている。また、例えば、方法テーブルには、学習済モデルを用いて感情を推定する方法、又はＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ニューラルネットワークなどの識別器を用いて感情を推定する方法が登録されている。ここで、方法テーブルの具体例を示す。

図５は、実施の形態１の方法テーブルの例を示す図である。例えば、方法テーブル１１１は、記憶部１１０に格納されている。方法テーブル１１１は、方法ＩＤ、注目対象、条件、及び方法の項目を有する。方法ＩＤの項目には、識別子が登録される。注目対象の項目には、注目対象の物体が登録される。条件の項目には、条件が登録される。図５では、３つの条件の項目が例示されている。条件の項目の数は、１つでもよい。すなわち、条件の項目の数は、３つに限らない。方法の項目には、方法が登録される。図５の方法の項目には、感情を判定する際に用いられる特徴量、又は感情を示す数値に対して重み付けして感情を推定する方法が登録されている。

例えば、方法選択部１５０は、注目関連情報Ｘ４に含まれている“階数表示”（注目対象）、“０．８”（注目頻度）、“腕組み”（姿勢）、及び“８０”（心拍数）の条件に合致するレコードを方法テーブル１１１の中から検索する。方法選択部１５０は、“苛立ち：１．５”を重みとして、重み付けして感情を推定する方法を選択する。

また、同一の感情であり、かつ複数の重みが検索された場合、方法選択部１５０は、複数の重みを乗算、加算、又は平均した値を重みとしてもよい。また、方法選択部１５０は、当該複数の重みの最大値又は最小値を重みとしてもよい。

選択された方法を示す情報は、方法情報Ｘ５と呼ぶ。また、方法情報Ｘ５は、選択された方法を示す方法ＩＤでもよい。さらに、方法情報Ｘ５は、注目対象と選択された方法とを組み合わせた情報でもよい。例えば、方法情報Ｘ５は、“階数表示：苛立ち：１．５”のような情報でもよい。

（ステップＳ１６）感情推定部１６０は、注目関連情報Ｘ４と方法情報Ｘ５とに基づいて、ユーザの感情を推定する。また、方法情報Ｘ５に方法ＩＤが含まれている場合、感情推定部１６０は、方法テーブル１１１を参照し、当該方法ＩＤに対応する方法を特定する。感情推定部１６０は、特定された方法と注目関連情報Ｘ４とに基づいて、ユーザの感情を推定する。

例えば、方法情報Ｘ５が示す方法で使用される重みが“苛立ち：１．５”であり、注目関連情報Ｘ４に基づいて推定された感情が“苛立ち”である場合、感情推定部１６０は、“苛立ち”を示す値に“１．５”を重み付けする。
また、例えば、ある値を用いて感情値を推定する方法を方法情報Ｘ５が示している場合、感情推定部１６０は、注目関連情報Ｘ４と当該値とを用いて感情値を推定する。

また、例えば、方法情報Ｘ５が、注目頻度が０．８以上である場合に苛立ちと推定する方法を示している場合、感情推定部１６０は、注目関連情報Ｘ４が示す注目頻度と“０．８”とを比較して感情を推定する。
また、例えば、感情推定部１６０は、方法情報Ｘ５が示す方法で使用されるルール、式、学習済モデル、又は識別器を用いて感情を推定する。
感情推定部１６０は、方法情報Ｘ５が示す方法で使用される重み又は閾値を変更し、変更された値を用いて感情を推定してもよい。

推定された結果は、結果情報Ｘ６と呼ぶ。結果情報Ｘ６は、喜怒哀楽、疲労、ストレス、ユーザの内面などを示す。また、結果情報Ｘ６は、喜怒哀楽などの感情を数値で示してもよい。例えば、感情を示す数値とは、“喜：０．５”である。感情推定部１６０は、結果情報Ｘ６を出力する。例えば、感情推定部１６０は、結果情報Ｘ６をディスプレイに出力する。

また、感情推定部１６０は、フレーム番号ごとに、感情を推定する。感情推定部１６０は、複数の結果情報Ｘ６を出力する。複数の結果情報Ｘ６が数値を示している場合、感情推定部１６０は、最大値を出力してもよい。また、複数の結果情報Ｘ６が数値を示している場合、感情推定部１６０は、特定のフレーム番号の数値を代表値として出力してもよい。

実施の形態１によれば、情報処理装置１００は、注目関連情報Ｘ４に基づいて感情を推定する。詳細には、情報処理装置１００は、ユーザが注目している物体とユーザが注目しているときの様子とに基づいて感情を推定する。そのため、情報処理装置１００は、感情の推定精度を向上させることができる。

また、情報処理装置１００は、注目関連情報Ｘ４に基づいて、感情を推定する際に用いる方法を方法テーブル１１１の中から選択する。すなわち、情報処理装置１００は、注目関連情報Ｘ４が示す情報を用いて感情を推定する際に最も適切な方法を選択する。そして、情報処理装置１００は、選択された方法で感情を推定する。そのため、情報処理装置１００は、精度の高い推定を実現できる。

上記では、感情推定部１６０が、選択された方法を用いて感情を推定する場合を説明した。感情推定部１６０は、物体情報と、様子情報と、予め設定された、感情を推定する方法とに基づいて、ユーザの感情を推定してもよい。例えば、予め設定された当該方法とは、閾値を用いて感情を推定する方法、感情を判定する際に用いられる特徴量、又は感情を示す数値に対して重み付けして感情を推定する方法である。また、例えば、予め設定された当該方法とは、ルール、式、学習済モデル、ＳＶＭなどの識別器を用いて感情を推定する方法である。

実施の形態２．
次に、実施の形態２を説明する。実施の形態２では、実施の形態１と相違する事項を主に説明する。そして、実施の形態２では、実施の形態１と共通する事項の説明を省略する。実施の形態２の説明では、図１～５を参照する。
図６は、実施の形態２の情報処理装置が有する機能ブロックを示す図である。図１に示される構成と同じ図６の構成は、図１に示される符号と同じ符号を付している。
情報処理装置１００ａは、感情推定部１６０ａを有する。

取得部１２０は、入力情報Ｘ１を取得する。入力情報Ｘ１は、ある状況で予め設定された時間内におけるユーザに関する情報である。具体的には、入力情報Ｘ１には、予め設定された時間内に撮影することにより得られた複数の画像Ｘ２、予め設定された時間内におけるユーザの音声を示す音声情報、予め設定された時間内におけるユーザの生体情報、予め設定された時間内における視線データ、予め設定された時間内におけるモーション情報などが含まれる。言い換えれば、入力情報Ｘ１は、画像Ｘ２、音声情報、生体情報、視線データ、モーション情報などの特徴量を示す時系列データである。
感情推定部１６０ａの機能については、後で説明する。

次に、情報処理装置１００ａが実行する処理を、フローチャートを用いて説明する。
図７は、実施の形態２の情報処理装置が実行する処理の例を示すフローチャートである。図７の処理では、ステップＳ１６ａが実行される点が、図３の処理と異なる。そのため、図７では、ステップＳ１６ａを説明する。図７における他のステップについては、図３のステップ番号と同じ番号を付することによって、処理の説明を省略する。

（ステップＳ１６ａ）感情推定部１６０ａは、入力情報Ｘ１と方法情報Ｘ５とに基づいて、ユーザの感情を推定する。例えば、方法情報Ｘ５が特徴量と予め設定された閾値を用いて感情を推定する方法を示している場合、感情推定部１６０ａは、入力情報Ｘ１が示す特徴量と当該閾値とに基づいて感情を推定する。また、例えば、感情推定部１６０ａは、方法情報Ｘ５が示す方法で使用されるルール、式、学習済モデル、又は識別器を用いて感情を推定する。

推定された結果は、結果情報Ｘ６と呼ぶ。結果情報Ｘ６は、喜怒哀楽、疲労、ストレス、ユーザの内面などを示す。また、結果情報Ｘ６は、喜怒哀楽などの感情を数値で示してもよい。感情推定部１６０ａは、結果情報Ｘ６を出力する。

ここで、実施の形態１では、注目関連情報Ｘ４を用いて感情が推定された。すなわち、実施の形態１では、ユーザが注目している時点の情報を用いて感情が推定された。実施の形態２によれば、情報処理装置１００ａは、入力情報Ｘ１を用いて感情を推定する。そのため、情報処理装置１００ａは、予め設定された時間内におけるユーザの感情を推定できる。

実施の形態３．
次に、実施の形態３を説明する。実施の形態３では、実施の形態２と相違する事項を主に説明する。そして、実施の形態３では、実施の形態２と共通する事項の説明を省略する。実施の形態３の説明では、図６，７を参照する。
図８は、実施の形態３の情報処理装置が有する機能ブロックを示す図である。図６に示される構成と同じ図８の構成は、図６に示される符号と同じ符号を付している。

情報処理装置１００ｂは、取得部１２０ｂと方法選択部１５０ｂと待ち時間特定部１７０とを有する。待ち時間特定部１７０の一部又は全部は、処理回路によって実現してもよい。待ち時間特定部１７０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。

取得部１２０ｂは、入力情報Ｘ１と機器情報Ｘ７とを取得する。入力情報Ｘ１は、実施の形態２で説明した入力情報Ｘ１である。機器情報Ｘ７は、ユーザが使用する機器に関する情報である。例えば、機器情報Ｘ７は、エレベータの呼出ボタンが押下された時刻情報、エレベータの階数表示情報、エレベータ籠の現在位置を示す情報などである。また、例えば、機器情報Ｘ７は、車に備えられているナビゲーション機器のボタンが押下されたことを示す情報、ナビゲーション機器に表示されている画面の情報、ナビゲーション機器が出力した音声案内の情報などである。
方法選択部１５０ｂと待ち時間特定部１７０の機能については、後で説明する。

次に、情報処理装置１００ｂが実行する処理を、フローチャートを用いて説明する。
図９は、実施の形態３の情報処理装置が実行する処理の例を示すフローチャートである。図９の処理では、ステップＳ１１ａ，１１ｂ，１５ａが実行される点が、図７の処理と異なる。そのため、図９では、ステップＳ１１ａ，１１ｂ，１５ａを説明する。図９における他のステップについては、図７のステップ番号と同じ番号を付することによって、処理の説明を省略する。

（ステップＳ１１ａ）取得部１２０ｂは、入力情報Ｘ１と機器情報Ｘ７とを取得する。
（ステップＳ１１ｂ）待ち時間特定部１７０は、機器情報Ｘ７に基づいて、ユーザが機器を操作してから当該操作に対する応答が返ってくるまでの時間を、待ち時間として、特定する。待ち時間の特定方法を具体的に説明する。

例えば、機器情報Ｘ７は、ユーザがエレベータの呼出ボタンが押下された時刻である押下時刻と、エレベータ籠が到着して扉が開いた時刻とを含んでいるものとする。待ち時間特定部１７０は、押下時刻と扉が開いた時刻とに基づいて、待ち時間を特定する。また、扉が開いた時刻を機器情報Ｘ７が含んでいない場合、待ち時間特定部１７０は、押下時刻と、ステップＳ１１ｂを実行している時刻（すなわち、現在時刻）とに基づいて、待ち時間を特定してもよい。

また、例えば、機器情報Ｘ７は、ナビゲーション機器を操作した時刻である操作時刻と当該操作に対する応答が実行された時刻である実行時刻とを含んでいるものとする。待ち時間特定部１７０は、操作時刻と実行時刻とに基づいて、待ち時間を特定する。

また、例えば、機器情報Ｘ７は、ユーザが発した音声の音声情報がナビゲーション機器に入力された時刻である入力時刻と、当該音声に対する応答が実行された時刻である実行時刻とを含んでいるものとする。待ち時間特定部１７０は、入力時刻と実行時刻とに基づいて、待ち時間を特定する。

特定された待ち時間を示す情報は、待ち時間情報Ｘ８と呼ぶ。また、待ち時間情報Ｘ８は、時間の長さで表してもよい。例えば、時間の長さとは、“長い”又は“短い”である。
なお、ステップＳ１１ｂは、ステップＳ１５ａが実行される前であれば、どのタイミングで実行されてもよい。

（ステップＳ１５ａ）取得部１２０ｂは、方法テーブル１１１を取得する。方法選択部１５０ｂは、注目関連情報Ｘ４と待ち時間情報Ｘ８と方法テーブル１１１とに基づいて、感情を推定する際に用いる方法を選択する。詳細には、方法選択部１５０ｂは、待ち時間情報Ｘ８が示す待ち時間と物体情報と様子情報と方法テーブル１１１とに基づいて、方法テーブル１１１が示す複数の方法の中から、待ち時間と物体情報と様子情報とに対応する方法を選択する。ここで、方法テーブル１１１を例示する。

図１０は、実施の形態３の方法テーブルの例を示す図である。図１０は、方法テーブル１１１が、条件“待ち時間”の項目を有していることを示している。
例えば、方法選択部１５０ｂは、注目関連情報Ｘ４に含まれている“階数表示”（注目対象）、“０．８”（注目頻度）、“腕組み”（姿勢）、及び“８０”（心拍数）と、待ち時間情報Ｘ８に含まれている“１５０秒”（待ち時間）との条件に合致するレコードを方法テーブル１１１の中から検索する。方法選択部１５０ｂは、“苛立ち：１．５”を重みとして、重み付けして感情を推定する方法を選択する。

選択された方法を示す情報は、方法情報Ｘ５と呼ぶ。また、方法情報Ｘ５は、選択された方法を示す方法ＩＤでもよい。さらに、方法情報Ｘ５は、注目対象と選択された方法とを組み合わせた情報でもよい。例えば、方法情報Ｘ５は、“階数表示：苛立ち：１．５”のような情報でもよい。

実施の形態３によれば、情報処理装置１００ｂは、注目関連情報Ｘ４と待ち時間情報Ｘ８に基づいて、感情を推定する際に用いる方法を方法テーブル１１１の中から選択する。すなわち、情報処理装置１００ｂは、待ち時間が考慮された方法を選択する。そして、情報処理装置１００ｂは、選択された方法で感情を推定する。そのため、情報処理装置１００ｂは、精度の高い推定を実現できる。

実施の形態３の変形例．
実施の形態３では、方法選択部１５０ｂが選択した方法で感情推定部１６０ａが感情を推定する。実施の形態３の変形例では、方法選択部１５０ｂが選択した方法で感情推定部１６０が感情を推定する。すなわち、実施の形態３の変形例では、ステップＳ１５ａの後に、ステップＳ１６が実行される。

実施の形態３の変形例によれば、情報処理装置１００ｂは、注目関連情報Ｘ４に基づいて感情を推定する。詳細には、情報処理装置１００ｂは、ユーザが注目している物体とユーザが注目しているときの様子とに基づいて感情を推定する。そのため、情報処理装置１００ｂは、感情の推定精度を向上させることができる。

また、情報処理装置１００ｂは、注目関連情報Ｘ４と待ち時間情報Ｘ８に基づいて、感情を推定する際に用いる方法を方法テーブル１１１の中から選択する。すなわち、情報処理装置１００ｂは、待ち時間が考慮された方法を選択する。そして、情報処理装置１００ｂは、選択された方法で感情を推定する。そのため、情報処理装置１００ｂは、精度の高い推定を実現できる。

実施の形態４．
次に、実施の形態４を説明する。実施の形態４では、実施の形態２と相違する事項を主に説明する。そして、実施の形態４では、実施の形態２と共通する事項の説明を省略する。実施の形態４の説明では、図６，７を参照する。

図１１は、実施の形態４の情報処理装置が有する機能ブロックを示す図である。図６に示される構成と同じ図１１の構成は、図６に示される符号と同じ符号を付している。
情報処理装置１００ｃは、方法選択部１５０ｃと識別部１８０とを有する。識別部１８０の一部又は全部は、処理回路によって実現してもよい。識別部１８０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。

記憶部１１０は、複数の方法テーブルを記憶してもよい。複数の方法テーブルについては、後で説明する。
方法選択部１５０ｃの機能については、後で説明する。
識別部１８０は、入力情報Ｘ１に基づいて、ユーザとユーザのタイプとのうちの少なくとも１つを識別する。

次に、情報処理装置１００ｃが実行する処理を、フローチャートを用いて説明する。
図１２は、実施の形態４の情報処理装置が実行する処理の例を示すフローチャートである。図１２の処理では、ステップＳ１１ｃ，１５ｂが実行される点が、図７の処理と異なる。そのため、図１２では、ステップＳ１１ｃ，１５ｂを説明する。図１２における他のステップについては、図７のステップ番号と同じ番号を付することによって、処理の説明を省略する。

（ステップＳ１１ｃ）識別部１８０は、入力情報Ｘ１に基づいて、ユーザとユーザのタイプとのうちの少なくとも１つを識別する。

ユーザを識別する方法を具体的に説明する。例えば、ユーザが含まれている画像Ｘ２が入力情報Ｘ１に含まれている場合、識別部１８０は、画像Ｘ２を用いて、ユーザを識別する。詳細には、識別部１８０は、画像Ｘ２と公知技術とに基づいて、ユーザを識別する。例えば、公知技術とは、一般物体認識又は特定物体認識である。また、例えば、入力情報Ｘ１にモーション情報が含まれている場合、識別部１８０は、モーション情報から特定されるユーザの癖に基づいて、ユーザを識別する。詳細には、識別部１８０は、モーション情報が示す特徴的な動作と、個人を特定可能な動作の癖を示す情報とに基づいて、ユーザを識別する。なお、当該癖を示す情報は、記憶部１１０に格納されてもよい。また、例えば、音声情報が入力情報Ｘ１に含まれている場合、識別部１８０は、音声情報に基づく特徴量を用いて、ユーザを識別する。また、例えば、心拍、虹彩、指紋などの生体情報が入力情報Ｘ１に含まれている場合、識別部１８０は、生体情報を用いて、ユーザを識別する。詳細には、識別部１８０は、生体情報と公知技術とに基づいて、ユーザを識別する。

次に、タイプを識別する方法を具体的に説明する。例えば、１以上の画像Ｘ２が入力情報Ｘ１に含まれている場合、識別部１８０は、画像Ｘ２が示すユーザの表情、又は複数の画像Ｘ２から特定されるユーザの表情の変化に基づいて、ユーザのタイプを識別する。例えば、識別されるタイプは、怒りっぽいタイプ、温和なタイプなどである。また、例えば、モーション情報が入力情報Ｘ１に含まれている場合、識別部１８０は、モーション情報が示す特徴的な動作に基づいて、ユーザのタイプを識別する。また、例えば、音声情報が入力情報Ｘ１に含まれている場合、識別部１８０は、音声情報から特定される喋り方に基づいて、ユーザのタイプを識別する。また、例えば、生体情報が入力情報Ｘ１に含まれている場合、識別部１８０は、生体情報を用いて、ユーザのタイプを識別する。詳細には、識別部１８０は、生体情報が示す特徴量に基づいて、ユーザのタイプを識別する。例えば、識別されるタイプは、汗を掻きやすいタイプなどである。

また、ユーザとタイプとの対応関係を示す情報であるユーザタイプ情報が記憶部１１０又は外部装置に格納されており、かつユーザが識別された場合、識別部１８０は、識別されたユーザとユーザタイプ情報とに基づいて、ユーザのタイプを特定してもよい。

ユーザとユーザのタイプとのうちの少なくとも１つを示す情報が入力情報Ｘ１に含まれている場合、識別部１８０は、当該情報に基づいて、ユーザとユーザのタイプとのうちの少なくとも１つを識別する。

識別された情報は、識別情報Ｘ９と呼ぶ。識別情報Ｘ９は、ユーザの名前とタイプとのうちの少なくとも１つを示す情報である。また、識別情報Ｘ９は、識別されたユーザのＩＤと識別されたタイプのＩＤとのうちの少なくとも１つを示す情報でもよい。
なお、ステップＳ１１ｃは、ステップＳ１５ｂが実行される前であれば、どのタイミングで実行されてもよい。

（ステップＳ１５ｂ）取得部１２０は、識別情報Ｘ９が示すユーザ又はタイプに対応する方法テーブルを取得する。取得される方法テーブルは、記憶部１１０又は外部装置に格納されている。

ここで、取得される方法テーブルが記憶部１１０に格納されている場合を説明する。例えば、記憶部１１０は、個人に対応する方法テーブル１１１ａ１～１１１ａ３と、タイプに対応する方法テーブル１１１ｂ１～１１１ｂ３を記憶する。

例えば、取得部１２０は、識別情報Ｘ９が示すユーザＵ１に対応する方法テーブル１１１ａ１を記憶部１１０から取得する。ここで、方法テーブル１１１ａ１の方法の項目には、ユーザＵ１の感情を推定するのに適した方法が登録されている。このように、方法テーブル１１１ａ１～１１１ａ３のそれぞれには、識別情報Ｘ９が示すユーザの感情を推定するのに適した方法が登録されている。

また、例えば、取得部１２０は、識別情報Ｘ９が示すタイプＴＹ１に対応する方法テーブル１１１ｂ１を記憶部１１０から取得する。ここで、方法テーブル１１１ｂ１の方法の項目には、タイプＴＹ１のユーザの感情を推定するのに適した方法が登録されている。このように、方法テーブル１１１ｂ１～１１１ｂ３のそれぞれには、識別情報Ｘ９が示すタイプのユーザの感情を推定するのに適した方法が登録されている。

方法選択部１５０ｃは、注目関連情報Ｘ４と、取得された方法テーブルとに基づいて、感情を推定する際に用いる方法を選択する。当該選択の処理は、実施の形態１のステップＳ１５と同じである。そのため、当該選択の処理の説明は、省略する。

また、識別情報Ｘ９がユーザとタイプを示す情報である場合、次の処理が行われる。取得部１２０は、方法テーブル１１１を取得する。方法選択部１５０ｃは、注目関連情報Ｘ４と識別情報Ｘ９と方法テーブル１１１とに基づいて、感情を推定する際に用いる方法を選択する。ここで、方法テーブル１１１を例示する。

図１３は、実施の形態４の方法テーブルの例を示す図である。図１３は、方法テーブル１１１が、条件“ユーザ”の項目と条件“タイプ”の項目とを有していることを示している。

例えば、方法選択部１５０ｃは、注目関連情報Ｘ４に含まれている“階数表示”（注目対象）、“０．８”（注目頻度）、“腕組み”（姿勢）、及び“８０”（心拍数）と、識別情報Ｘ９に含まれている“Ｕｓｒ_１”（ユーザ）、及び“怒りっぽい”（タイプ）との条件に合致するレコードを方法テーブル１１１の中から検索する。方法選択部１５０ｃは、“苛立ち：１．５”を重みとして、重み付けして感情を推定する方法を選択する。

選択された方法を示す情報は、方法情報Ｘ５と呼ぶ。また、方法情報Ｘ５は、選択された方法を示す方法ＩＤでもよい。さらに、方法情報Ｘ５は、注目対象と選択された方法とを組み合わせた情報でもよい。例えば、方法情報Ｘ５は、“階数表示：苛立ち：１．５”のような情報でもよい。

実施の形態４によれば、情報処理装置１００ｃは、識別情報Ｘ９が示すユーザに対応する方法テーブルを取得することで、当該ユーザの感情を推定するのに適した方法を選択する。そして、情報処理装置１００ｃは、選択された方法で感情を推定する。そのため、情報処理装置１００ｃは、精度の高い推定を実現できる。また、情報処理装置１００ｃは、識別情報Ｘ９が示すタイプに対応する方法テーブルを取得することで、当該タイプのユーザの感情を推定するのに適した方法を選択する。そして、情報処理装置１００ｃは、選択された方法で感情を推定する。そのため、情報処理装置１００ｃは、精度の高い推定を実現できる。

実施の形態４の変形例．
実施の形態４では、方法選択部１５０ｃが選択した方法で感情推定部１６０ａが感情を推定する。実施の形態４の変形例では、方法選択部１５０ｃが選択した方法で感情推定部１６０が感情を推定する。すなわち、実施の形態４の変形例では、ステップＳ１５ｂの後に、ステップＳ１６が実行される。

実施の形態４の変形例によれば、情報処理装置１００ｃは、注目関連情報Ｘ４に基づいて感情を推定する。詳細には、情報処理装置１００ｃは、ユーザが注目している物体とユーザが注目しているときの様子とに基づいて感情を推定する。そのため、情報処理装置１００ｃは、感情の推定精度を向上させることができる。

また、情報処理装置１００ｃは、識別情報Ｘ９が示すユーザに対応する方法テーブルを取得することで、当該ユーザの感情を推定するのに適した方法を選択する。そして、情報処理装置１００ｃは、選択された方法で感情を推定する。そのため、情報処理装置１００ｃは、精度の高い推定を実現できる。また、情報処理装置１００ｃは、識別情報Ｘ９が示すタイプに対応する方法テーブルを取得することで、当該タイプのユーザの感情を推定するのに適した方法を選択する。そして、情報処理装置１００ｃは、選択された方法で感情を推定する。そのため、情報処理装置１００ｃは、精度の高い推定を実現できる。

以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。

１００，１００ａ，１００ｂ，１００ｃ 情報処理装置、 １０１ プロセッサ、 １０２ 揮発性記憶装置、 １０３ 不揮発性記憶装置、 １０４ 入力インタフェース、 １０５ 出力インタフェース、 １１０ 記憶部、 １１１，１１１ａ１～１１１ａ３，１１１ｂ１～１１１ｂ３ 方法テーブル、 １２０，１２０ｂ 取得部、 １３０ 物体認識処理実行部、 １４０ 特定部、 １５０，１５０ｂ，１５０ｃ 方法選択部、 １６０，１６０ａ 感情推定部、 １７０ 待ち時間特定部、 １８０ 識別部。

Claims (28)

1. ある状況におけるユーザに関する情報である入力情報と、感情を推定する方法である、複数の方法を示す方法情報と、前記ユーザが使用する機器に関する情報である機器情報とを取得する取得部と、
   前記入力情報に基づいて、前記ユーザが注目している物体と前記ユーザが前記物体を注目しているときの様子とを特定する特定部と、
   前記機器情報に基づいて、前記ユーザが前記機器を操作してから前記操作に対する応答が返ってくるまでの時間を、待ち時間として特定する待ち時間特定部と、
   前記待ち時間と、特定された前記物体を示す物体情報と、特定された様子を示す様子情報と、前記方法情報とに基づいて、前記複数の方法の中から、前記待ち時間と前記物体情報と前記様子情報とに対応する方法を選択する方法選択部と、
   選択された方法と、前記物体情報と、前記様子情報とに基づいて、前記ユーザの感情を推定する感情推定部と、
   を有する情報処理装置。
2. 物体認識処理実行部をさらに有し、
   前記入力情報には、前記ユーザの周辺を撮影することにより得られた画像が含まれ、
   前記物体認識処理実行部は、前記画像に含まれている物体を認識する処理を実行し、
   前記特定部は、前記処理により得られた情報と前記入力情報とに基づいて、前記ユーザが注目している物体を特定する、
   請求項１に記載の情報処理装置。
3. 前記特定部は、前記処理により得られた情報と前記ユーザが含まれている前記画像とに基づいて、前記ユーザが注目している物体を特定する、
   請求項２に記載の情報処理装置。
4. 前記入力情報には、前記画像内における前記ユーザの注目位置を示す視線データが含まれ、
   前記特定部は、前記処理により得られた情報と前記視線データとに基づいて、前記ユーザが注目している物体を特定する、
   請求項２に記載の情報処理装置。
5. 前記入力情報には、前記ユーザの動作を示すモーション情報が含まれ、
   前記特定部は、前記処理により得られた情報と前記モーション情報とに基づいて、前記ユーザが注目している物体を特定する、
   請求項２に記載の情報処理装置。
6. 前記入力情報には、前記ユーザの音声を示す音声情報が含まれ、
   前記特定部は、前記音声情報に基づいて、前記ユーザが注目している物体を特定する、
   請求項１に記載の情報処理装置。
7. 前記入力情報には、前記ユーザが含まれている複数の画像が含まれており、
   前記特定部は、前記複数の画像に基づいて、前記ユーザが前記物体を注目する頻度である注目頻度を特定し、前記注目頻度を前記様子として、特定する、
   請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記入力情報には、前記ユーザが含まれている画像が含まれており、
   前記特定部は、前記画像を用いて、前記ユーザが前記物体を注目しているときの姿勢を特定し、前記姿勢を前記様子として、特定する、
   請求項１から６のいずれか１項に記載の情報処理装置。
9. 前記入力情報には、前記ユーザの姿勢を示す姿勢情報又は前記ユーザの骨格情報が含まれ、
   前記特定部は、前記姿勢情報が示す姿勢又は前記骨格情報から特定される姿勢を前記様子として、特定する、
   請求項１から６のいずれか１項に記載の情報処理装置。
10. 前記入力情報には、前記ユーザが前記物体を注目しているときの生体情報が含まれ、
    前記様子情報は、前記生体情報である、
    請求項１から６のいずれか１項に記載の情報処理装置。
11. 前記入力情報には、前記ユーザの音声を示す音声情報が含まれ、
    前記様子情報は、前記音声情報に基づく特徴量である、
    請求項１から６のいずれか１項に記載の情報処理装置。
12. 前記入力情報に基づいて、前記ユーザを識別する識別部をさらに有し、
    前記取得部は、前記ユーザに対応する前記方法情報を取得する、
    請求項１に記載の情報処理装置。
13. 前記入力情報には、前記ユーザが含まれている画像が含まれ、
    前記識別部は、前記画像を用いて、前記ユーザを識別する、
    請求項１２に記載の情報処理装置。
14. 前記入力情報には、前記ユーザの動作を示すモーション情報が含まれ、
    前記識別部は、前記モーション情報から特定される前記ユーザの癖に基づいて、前記ユーザを識別する、
    請求項１２に記載の情報処理装置。
15. 前記入力情報には、前記ユーザの音声を示す音声情報が含まれ、
    前記識別部は、前記音声情報に基づく特徴量を用いて、前記ユーザを識別する、
    請求項１２に記載の情報処理装置。
16. 前記入力情報には、前記ユーザの生体情報が含まれ、
    前記識別部は、前記生体情報を用いて、前記ユーザを識別する、
    請求項１２に記載の情報処理装置。
17. 前記入力情報に基づいて、前記ユーザのタイプを識別する識別部をさらに有し、
    前記取得部は、前記タイプに対応する前記方法情報を取得する、
    請求項１に記載の情報処理装置。
18. 前記入力情報には、前記ユーザが含まれている１以上の画像が含まれ、
    前記識別部は、前記画像が示す前記ユーザの表情、又は前記ユーザの表情の変化に基づいて、前記タイプを識別する、
    請求項１７に記載の情報処理装置。
19. 前記入力情報には、前記ユーザの動作を示すモーション情報が含まれ、
    前記識別部は、前記モーション情報が示す特徴的な動作に基づいて、前記タイプを識別する、
    請求項１７に記載の情報処理装置。
20. 前記入力情報には、前記ユーザの音声を示す音声情報が含まれ、
    前記識別部は、前記音声情報から特定される喋り方に基づいて、前記タイプを識別する、
    請求項１７に記載の情報処理装置。
21. 前記入力情報には、前記ユーザの生体情報が含まれ、
    前記識別部は、前記生体情報を用いて、前記タイプを識別する、
    請求項１７に記載の情報処理装置。
22. ある状況で予め設定された時間内におけるユーザに関する情報である入力情報と、感情を推定する方法である、複数の方法を示す方法情報と、前記ユーザが使用する機器に関する情報である機器情報とを取得する取得部と、
    前記入力情報に基づいて、前記ユーザが注目している物体と前記ユーザが前記物体を注目しているときの様子とを特定する特定部と、
    前記機器情報に基づいて、前記ユーザが前記機器を操作してから前記操作に対する応答が返ってくるまでの時間を、待ち時間として、特定する待ち時間特定部と、
    前記待ち時間と、特定された前記物体を示す物体情報と、特定された様子を示す様子情報と、前記方法情報とに基づいて、前記複数の方法の中から、前記待ち時間と前記物体情報と前記様子情報とに対応する方法を選択する方法選択部と、
    選択された方法と前記入力情報とに基づいて、前記ユーザの感情を推定する感情推定部と、
    を有する情報処理装置。
23. 前記入力情報に基づいて、前記ユーザを識別する識別部をさらに有し、
    前記取得部は、前記ユーザに対応する前記方法情報を取得する、
    請求項２２に記載の情報処理装置。
24. 前記入力情報に基づいて、前記ユーザのタイプを識別する識別部をさらに有し、
    前記取得部は、前記タイプに対応する前記方法情報を取得する、
    請求項２２に記載の情報処理装置。
25. 情報処理装置が、
    ある状況におけるユーザに関する情報である入力情報と、感情を推定する方法である、複数の方法を示す方法情報と、前記ユーザが使用する機器に関する情報である機器情報とを取得し、前記入力情報に基づいて、前記ユーザが注目している物体と前記ユーザが前記物体を注目しているときの様子とを特定し、前記機器情報に基づいて、前記ユーザが前記機器を操作してから前記操作に対する応答が返ってくるまでの時間を、待ち時間として特定し、
    前記待ち時間と、特定された前記物体を示す物体情報と、特定された様子を示す様子情報と、前記方法情報とに基づいて、前記複数の方法の中から、前記待ち時間と前記物体情報と前記様子情報とに対応する方法を選択し、
    選択された方法と、前記物体情報と、前記様子情報とに基づいて、前記ユーザの感情を推定する、
    感情推定方法。
26. 情報処理装置が、
    ある状況で予め設定された時間内におけるユーザに関する情報である入力情報と、感情を推定する方法である、複数の方法を示す方法情報と、前記ユーザが使用する機器に関する情報である機器情報とを取得し、前記入力情報に基づいて、前記ユーザが注目している物体と前記ユーザが前記物体を注目しているときの様子とを特定し、前記機器情報に基づいて、前記ユーザが前記機器を操作してから前記操作に対する応答が返ってくるまでの時間を、待ち時間として、特定し、
    前記待ち時間と、特定された前記物体を示す物体情報と、特定された様子を示す様子情報と、前記方法情報とに基づいて、前記複数の方法の中から、前記待ち時間と前記物体情報と前記様子情報とに対応する方法を選択し、
    選択された方法と前記入力情報とに基づいて、前記ユーザの感情を推定する、
    感情推定方法。
27. 情報処理装置に、
    ある状況におけるユーザに関する情報である入力情報と、感情を推定する方法である、複数の方法を示す方法情報と、前記ユーザが使用する機器に関する情報である機器情報とを取得し、前記入力情報に基づいて、前記ユーザが注目している物体と前記ユーザが前記物体を注目しているときの様子とを特定し、前記機器情報に基づいて、前記ユーザが前記機器を操作してから前記操作に対する応答が返ってくるまでの時間を、待ち時間として特定し、
    前記待ち時間と、特定された前記物体を示す物体情報と、特定された様子を示す様子情報と、前記方法情報とに基づいて、前記複数の方法の中から、前記待ち時間と前記物体情報と前記様子情報とに対応する方法を選択し、
    選択された方法と、前記物体情報と、前記様子情報とに基づいて、前記ユーザの感情を推定する、
    処理を実行させる感情推定プログラム。
28. 情報処理装置に、
    ある状況で予め設定された時間内におけるユーザに関する情報である入力情報と、感情を推定する方法である、複数の方法を示す方法情報と、前記ユーザが使用する機器に関する情報である機器情報とを取得し、前記入力情報に基づいて、前記ユーザが注目している物体と前記ユーザが前記物体を注目しているときの様子とを特定し、前記機器情報に基づいて、前記ユーザが前記機器を操作してから前記操作に対する応答が返ってくるまでの時間を、待ち時間として、特定し、
    前記待ち時間と、特定された前記物体を示す物体情報と、特定された様子を示す様子情報と、前記方法情報とに基づいて、前記複数の方法の中から、前記待ち時間と前記物体情報と前記様子情報とに対応する方法を選択し、
    選択された方法と前記入力情報とに基づいて、前記ユーザの感情を推定する、
    処理を実行させる感情推定プログラム。

Images