Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4704952B2 - 心的状態判定装置、およびプログラム - Google Patents
[go: Go Back, main page]

JP4704952B2 - 心的状態判定装置、およびプログラム - Google Patents

心的状態判定装置、およびプログラム Download PDF

Info

Publication number
JP4704952B2
JP4704952B2 JP2006127306A JP2006127306A JP4704952B2 JP 4704952 B2 JP4704952 B2 JP 4704952B2 JP 2006127306 A JP2006127306 A JP 2006127306A JP 2006127306 A JP2006127306 A JP 2006127306A JP 4704952 B2 JP4704952 B2 JP 4704952B2
Authority
JP
Japan
Prior art keywords
excitement
subject
voice
biological
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006127306A
Other languages
English (en)
Other versions
JP2007296169A (ja
Inventor
俊二 光吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2006127306A priority Critical patent/JP4704952B2/ja
Publication of JP2007296169A publication Critical patent/JP2007296169A/ja
Application granted granted Critical
Publication of JP4704952B2 publication Critical patent/JP4704952B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、心的状態判定装置、およびプログラムに関する。
従来、心拍などの生体情報に基づいて、被験者の精神状態を推定する技術が知られている。例えば、特許文献1には、心拍数が高いほど、被験者の興奮度が高いと判断するとの記載がある。
なお、本発明者は、特許文献2において、被験者の音声信号に基づいて、被験者の精神状態を推定する技術を開示している。
特開2002−34936号公報 特許第3676969号公報
一般に、不安のような心理的なストレスがかかると、被験者の生理的な興奮度は高まり、心拍数が増加する。また、強い怒りを感じる状況においても、被験者の生理的な興奮度は同様に高まり、心拍数が増加する。そのため、心拍などの生体情報のみでは、不安/怒りといった心的状態を的確に区別することが難しかった。
そこで、本発明では、被験者の心的状態を的確に区別する技術を提供する。
発明の心的状態判定装置は、生体興奮度判定部、音声興奮度判定部、対応記憶部、および推定部を備える。
生体興奮度判定部は、生理的な興奮や緊張のレベルを反映する生体情報を取得し、生体情報に基づいて被験者の生理的な興奮度(以下『生体興奮度』という)を判断する。
音声興奮度判定部は、被験者の音声信号に基づいて、被験者の音声的な興奮度(以下『音声興奮度』という)を判断する。
対応記憶部は、予め定められた『生体興奮度および音声興奮度』と『心的状態』との対応関係を保持する。
推定部は、対応関係に基づいて、被験者の生体興奮度および音声興奮度から、被験者の心的状態を推定する。
さらに、上記の推定部は、生体興奮度が高いと判断され、かつ音声興奮度が低いと判断された場合に、被験者は不安の状態にあると推定する。
た好ましくは、上記の推定部は、生体興奮度が高いと判断され、かつ音声興奮度が高いと判断された場合、被験者は怒りまたは極度の不安の状態と推定する。
お好ましくは、上記の推定部は、生体興奮度が低いと判断され、かつ音声興奮度が低いと判断された場合、被験者は鬱または恐怖の状態であると推定する。
発明のプログラムは、コンピュータを、本発明の心的状態判定装置として機能させるためのプログラムである。
述した本発明では、被験者の興奮度を、生体情報と音声信号の2種類の切り口からそれぞれ判断する。
この内、生体情報は、血圧や心拍のように、意志によるコントロールが困難な不随意の情報である。この生体情報からは、不随意に人体に現れる興奮や緊張、すなわち生体興奮度を判断することができる。
一方、音声信号は、被験者の感情や意志を反映して変化する情報である。この音声信号からは、被験者の感情や意志をよく反映した興奮度、すなわち音声興奮度を判断することができる。
通常、これら2種類の生体興奮度と音声興奮度は同一傾向を示し、正の相関を強く示すと考えられる。しかしながら、本発明者は、ストレスや意志などを原因として、生体興奮度と音声興奮度は別の傾向を示すことに気が付いた。
このことから、生体興奮度と音声興奮度が同一傾向を示す場合、被験者は、感情を表白できる素直な心的状態にあると判断できる。一方、生体興奮度と音声興奮度が別の傾向を示す場合、被験者は、不安定な心的状態(強い情動、ストレス、ひらめき、演技、または、嘘など)にあると判断できる。
本発明は、このような現象を活用して、生体興奮度および音声興奮度を比較対照することによって、心的状態をより詳細に区分することに成功している。
そして、不随意な人体の興奮や緊張が高い一方で、感情や意志を反映する音声興奮度が低いケースが起こりうる。このようなケースは、被験者が不安(心配)を抱えた心的状態にあると考えられる。すなわち、不安による生命危機に対抗するために交感神経が活性化し、生体興奮度は上昇する。一方、不安によって精神が萎縮するため、音声興奮度は下がる。
そこで、生体興奮度が高いと判断され、かつ音声興奮度が低いと判断された場合は、被験者は不安の状態にあると推定することが好ましい。
た、不随意な人体の興奮や緊張が高く、かつ感情や意志を反映する音声興奮度も高いケースが起こりうる。もしも生体興奮度および音声興奮度が正常範囲にあれば、このケースは、怒りなどの興奮感情を素直に表白する心的状態にあると考えられる。そこで、2種類の興奮度が正常範囲内で揃って高ければ、怒りの状態と推定することが好ましい。
なお、このケースにおいて音声興奮度が顕著に高いような場合、不安情動が強いために感情の萎縮状態を超えて失調(分裂)状態に移行した可能性もありうる。そこで、2種類の興奮度が高く、かつ音声興奮度が予め定められた正常範囲を超えて高いと判断された場合は、極度な不安の状態と推定することが好ましい。
また、上述した2つの可能性を区別する必要がなければ、被験者は怒りまたは極度の不安のいずれかの状態にあると推定することが好ましい。
お、不随意な人体の興奮や緊張が低く、かつ感情や意志を反映する音声興奮度も低いケースが起こりうる。このようなケースは、被験者が心底から凍り付いている状態であり、鬱または恐怖の状態であると考えられる。
そこで、生体興奮度が低いと判断され、かつ音声興奮度が低いと判断された場合に、被験者は鬱または恐怖のいずれかの状態にあると推定することが好ましい。
《構成説明》
図1は、心的状態判定装置11の構成を示すブロック図である。
図1に示すように、心的状態判定装置11は下記の構成要件を備える。
(1)生体興奮度判定部12…被験者の生体情報に基づいて、生体興奮度のレベルを判断する。
(2)音声解析部14…音声信号を解析し、抑揚およびピッチ周波数の少なくとも一方を含む音声パラメータを検出する。
(3)音声興奮度判定部15…音声パラメータに基づいて、被験者の音声興奮度のレベルを判断する。
(4)対応記憶部18…『生体興奮度のレベル』と『音声興奮度のレベル』の組み合わせごとに、『心的状態の推定結果』が予め設定される。この対応関係は、複数人による心的状態の自己申告と、生体興奮度および音声興奮度の判断結果とを対応付けることによって実験的に作成することが好ましい。
(5)推定部17…被験者の『生体興奮度のレベル』および『音声興奮度のレベル』を、対応記憶部18内の対応関係に当てはめ、被験者の心的状態を推定する。
なお、上述した構成要件については、その一部または全部をハードウェア的に構成してもよい。また、コンピュータにおいてプログラムを実行することにより、これら構成要件の一部または全部をソフトウェア的に実現してもよい。
《動作説明》
図2は、心的状態判定装置11の動作を説明する流れ図である。
以下、図2に沿って、心的状態の推定動作を具体的に説明する。
ステップS1: 生体興奮度判定部12は、心拍計、心電計、血圧計、体温計、皮膚抵抗計、またはカメラなどから、下記の生体情報を少なくとも1つ取得する。
(1)心拍(脈拍)数・・興奮や緊張により体内のアドレナリン分泌量が増すことによって心臓の拍動が増加し、心拍数は増加する。心拍計などにより計測可能である。
(2)心拍変動・・心電波形を周波数解析することにより得られる。低周波成分LF(例えば0.04〜0.14Hz〉は主に交感神経の活動に伴って増え、高周波成分HF(例えば0.14〜0.5Hz)は、副交感神経の活動に伴って増える。低周波成分LFと高周波成分HFの量を対比することにより、興奮や緊張のレベルを判断することができる。心電波形については心電計により計測可能である。心電波形の周波数成分についてはFFT装置や周波数フィルタなどによって解析可能である。
(3)血圧・・興奮や緊張に伴って血管が収縮すると、血流抵抗が増して血圧が増加する。血圧計により計測可能である。
(4)体温・・興奮や緊張によって心拍増加、血糖値上昇、筋肉の緊張などが生じ、体内で熱が生成されて体温が上昇する。体温計により計測可能である。
(5)発汗量(皮膚抵抗,皮膚電位)・・興奮や緊張によって発汗が促進され、皮膚抵抗が下がる。皮膚抵抗計などにより計測可能である。
(6)眼球の運動・・興奮や緊張により眼球の運動が激しくなる。眼電位計やカメラ撮影などにより計測可能である。
(7)瞳孔径・・興奮や緊張により、瞳孔が拡大する。カメラ撮影などにより計測可能である。
(8)まばたき数・・興奮や緊張により、まばたきの回数が増える。眼電位計やカメラ撮影などにより計測可能である。
(9)吐息・・興奮や緊張により、吐息の回数,速度,量が上昇する。呼吸量や呼吸音により計測可能である。
(10)ホルモン、生体分子などの体内分泌物・・興奮や緊張により、体内におけるホルモンや生体分子の分泌量または質が変化する。唾液、血液、リンパ液、汗、消化液、または尿などの化学分析により計測可能である。また、抹消血管、消化系、筋電位、末梢皮膚温度、血流量、または免疫系などからも分析や計測が可能である。
(11)脳波・・興奮や緊張により脳波が変化する。脳波計や光学的脳活動計を用いて計測可能である。
(12)fMRI(functional MRI)情報・・興奮や緊張により脳内の活動部位が変化する。特に、情動レベルの興奮も緊張は、辺縁系(扁桃体)、視床下部、小脳、脳幹、または海馬等に血流量の変化となって現れる。このような血流量の変化は、酸化ヘモグロビンの脳内分布を変化させるため、MRI(磁気共鳴画像装置)などを用いて計測可能である。
なお、上記の生体情報に限らず、交感神経や副交感神経などの生理作用に応じて変化する身体の計測情報であれば、生体情報として使用することができる。
ステップS2: 生体興奮度判定部12は、生体情報を閾値判定し、生体興奮度の高低を判断する。
なお、生体情報は個人差が大きいため、被験者別の閾値Th1,Th2を次のように決定することが好ましい。
まず、被験者について生体情報を所定時間に渡って蓄積し、図3に示すような生体情報の度数分布を作成する。この度数分布を統計解析して標準偏差σを求める。この標準偏差σに比例定数Aを乗じることにより、生体興奮度が平常を示す範囲A・σを定める。なお、比例定数Aの値については、複数人による生体興奮度の自己申告と合致するように、実験的に予め決定しておけばよい。
このような範囲A・σの上限を閾値Th1に設定し、下限を閾値Th2に設定する。生体情報が閾値Th1を上回った場合には、生体興奮度が高いと判断する。逆に、生体情報が閾値Th2を下回った場合には、生体興奮度が低いと判断する。
ステップS3: 音声解析部14は、被験者の音声信号を解析し、抑揚またはピッチ周波数を少なくとも含む音声パラメータを求める。
この抑揚の算出手順については、本発明者の特許第3676969号公報に開示される。すなわち、音声信号の単語内の強度変化パターンから同一周波数成分の領域を検出し、その同一周波数成分の領域が出現する時間間隔を検出して抑揚とする。
一方、ピッチ周波数の算出手順については、次のように実施される。まず、音声信号を周波数スペクトルに変換する。この周波数スペクトルを周波数軸上でずらしながら自己相関波形を求める。求めた自己相関波形のローカルな山と山または谷と谷の間隔に基づいてピッチ周波数を求める。
なお、公知のケプストラム(cepstrum)手法を組み合わせて、音声信号の周波数解析を行ってもよい。
ステップS4: 一般に、抑揚が示す『同一周波数成分の出現間隔』が密になるほど、被験者の音声興奮度は高い。また、ピッチ周波数が高いほど、被験者の音声興奮度は高い。
そこで、音声興奮度判定部15は、図4に示すように、抑揚またはピッチ周波数を閾値判定し、音声興奮度の高低を判断する。この場合の閾値Th3,Th4は、ステップS2と同様の統計解析を用いて設定することが好ましい。
ステップS5: 推定部17は、ステップS2,S4で判断された『生体興奮度のレベル』および『音声興奮度のレベル』を取り込む。推定部17は、これらを対応記憶部18内の対応関係に当てはめ、心的状態の推定結果を求める。
図5は、この対応関係の一例を示す図である。以下、この図に示す組み合わせごとに、心的状態の推定動作を具体的に説明する。
[その1]生体興奮度が高く、かつ音声興奮度が低いと判断されたケース
このケースは、被験者の内面は興奮状態や緊張状態を示すが、それに反して外面に現れる音声は萎縮した状態を示す。この歪んだ矛盾状態は、一種のストレス状態であり、被験者が不安(心配)を抱えた心的状態であると考えられる。
[その2]生体興奮度が高く、かつ音声興奮度が高いと判断されたケース
このケースは、人体の興奮や緊張の高まりと共に、音声も一緒に興奮しており、感情を素直に外面に出させる心的状態にあると考えられる。このような状態は、怒りといった比較的原始的な感情状態にあることが多い。なお、音声興奮度が格別に高い場合は、極度の不安によって、一種の失調(分裂)状態になったと考えることもできる。
[その3]生体興奮度が低く、かつ音声興奮度が低いと判断されたケース
このケースは、被験者が心底から凍り付いている状態であり、鬱または恐怖の状態であると考えられる。
[その4]生体興奮度が低く、かつ音声興奮度が高いと判断されたケース
このケースは、人体の興奮は落ち着いているのに、それに反して音声が一方的に興奮している状態である。このような状態は、被験者が作為的に音声を興奮させている状態であり、無理に演技(嘘)を行っている状態と考えられる。
ステップS6: 心的状態判定装置11は、ステップS5で求めた心的状態の推定結果を外部に出力する。
《実施形態の効果など》
従来、心拍数による感情検出では、怒り感情による興奮状態と、不安情動による興奮状態とを区別することができなかった。
一方、本実施形態では、被験者の興奮状態を、血圧や心拍から判断される生理的(不随意)な生体興奮度と、被験者の感情や意志をよく反映する音声興奮度とに区別して判断する。その結果、図5に示すように、不安/怒りと言った心的状態をより的確に判別することに可能になった。
《実施形態の補足事項》
なお、上述した実施形態では、生体興奮度と音声興奮度をそれぞれ高低2段階にレベル分けし、これらレベルの組み合わせによって、2×2=4種類に心的状態を区別している。しかしながら、実施形態はこれに限定されるものではない。
例えば、興奮度の平常範囲(図3,図4参照)を新たなレベルとすることにより、3×3=9種類に心的状態を区別することもできる。また、生体興奮度や音声興奮度を更に複数段階にレベル分けすることにより、被験者の心的状態を更に細かく区別することが可能になる。また、興奮度以外のパラメータを追加することにより、被験者の心的状態を更に細かく区別することが可能になる。
このように被験者の心的状態を細かく区別することにより、怒りと不安が混合した中間的な心的状態や、そこから自然に移行するであろう焦燥感や哀しみといった新たな心的状態を推定することも可能になる。
なお、上述した実施形態では、説明を簡明にするために、具体的な推定ルール(図5参照)を挙げて説明した。しかしながら、本実施形態はこの推定ルールに限定されるものではない。例えば、この種の推定ルールについては、例えば、上記の興奮度などで区別される心的状態と、複数の被験者の自己申告による心的状態とを統計的に合わせることによって具体的に定めればよい。
また、上述した実施形態では、音声興奮度と相関の強い抑揚やピッチ周波数を音声パラメータとして使用している。しかしながら、実施形態はこれに限定されるものではない。抑揚やピッチ周波数以外にも、音声信号の波形的特徴(立ち上がり時間Attack,持続時間Keep,減衰時間Decay)や音量パワーなどを音声パラメータに含めてもよい。このように音声パラメータを増やすことによって、より正確な音声興奮度を判断することが可能になる。
また、上述した実施形態では、生体興奮度や音声興奮度のレベル判定の閾値th1〜4を、統計解析により決定している。しかしながら、実施形態はこれに限定されるものではない。例えば、これらの閾値を任意に初期設定し、心的状態判定装置11による心的状態の推定結果の成績に応じて、閾値を増減調整することによって、試行錯誤的に適切な閾値を決定することも可能である。
《心的状態の応用分野の例》
(1) 一般に、心的状態の推定結果は、心的状態に反応して処理を変化させる製品全般に使用が可能である。例えば、相手の心的状態に応じて応答(性格、会話特性、心理特性、感性、感情パターン、または会話分岐パターンなど)を変化させる仮想人格(エージェント、キャラクターなど)をコンピュータ上で構築することが可能である。また例えば、お客様の心的状態に柔軟に応じて、商品検索、商品クレーム対応、コールセンタ業務、受付システム、顧客感性分析、顧客管理、ゲーム、パチンコ、パチスロ、コンテンツ配信、コンテンツ作成、ネット検索、携帯電話サービス、商品説明、プレゼンテーション、または教育支援などを実現するシステムにも応用が可能となる。
(2) また、心的状態の推定結果は、心的状態をユーザーに関する校正情報とすることで処理の正確性を高める製品全般にも使用が可能である。例えば、音声認識システムにおいて、認識された語彙の候補の中から、発話者の心的状態に対して親和度の高い語彙を選択することにより、音声認識の精度を高めることが可能になる。
(3) さらに、心的状態の推定結果は、心的状態からユーザーの不正意図を推測することにより、セキュリティを高める製品全般にも使用が可能である。例えば、ユーザー認証システムでは、不安または演技などの心的状態を示すユーザーに対して、認証拒否をしたり、追加の認証を要求することによってセキュリティを高めることが可能になる。さらには、このような高セキュリティーな認証技術を基礎として、ユビキタスシステムを構築することも可能である。
(4) また、心的状態の推定結果は、心的状態を操作入力として扱う製品全般にも使用が可能である。例えば、心的状態を操作入力として処理(制御、音声処理、画像処理、またはテキスト処理など)を実行するシステムを実現することができる。また例えば、心的状態を操作入力としてキャラクター動作をコントロールすることによって、ストーリーを展開させるストーリー創作支援システムを実現することが可能になる。また例えば、心的状態を操作入力として、音律、キー、または楽器構成などを変更することにより、心的状態に沿った音楽創作や編曲を行う音楽創作支援システムを実現することも可能になる。また例えば、心的状態を操作入力として、照明、BGMなどの周辺環境をコントロールする演出装置を実現することも可能である。
(5) さらに、心的状態の推定結果は、精神分析、感情分析、感性分析、性格分析、または心理分析を目的とする装置全般にも使用が可能である。
(6) また、心的状態の推定結果は、音、音声、音楽、香り、色、映像、文字、振動、または光などの表現手段を用いて、心的状態を外部出力する装置全般にも使用が可能である。このような装置を使用することで、対人間における心情のコミュニケーションを支援することが可能になる。
(7) さらに、心的状態の推定結果は、心的状態を情報通信する通信システム全般にも使用が可能である。例えば、感性通信、または感性感情共鳴通信などに応用することができる。
(8) また、心的状態の推定結果は、映像や音楽などのコンテンツが人間に与える心理的な効果を判定(評価)する装置全般にも使用が可能である。さらに、この心理効果を項目としてコンテンツを分類することで、心理効果の面からコンテンツ検索が可能になるデータベースシステムを構築することも可能になる。
なお、映像や音楽などのコンテンツそのものを、音声信号と同様に分析することにより、コンテンツ出演者や楽器演奏者の音声興奮度や感情傾向などを検出することも可能である。また、コンテンツの音声を音声認識または音素片認識することでコンテンツの特徴を検出することも可能である。このような検出結果に従ってコンテンツを分類することで、コンテンツの特徴を切り口にしたコンテンツ検索が可能になる。
(9) さらに、心的状態の推定結果は、商品使用時におけるユーザー満足度などを心的状態によって客観的に判定する装置全般にも使用が可能である。このような装置を使用することにより、ユーザーにとって親しみやすい製品開発や仕様作成が容易になる。
(10) さらに、心的状態の推定結果は、下記の分野などにも応用が可能である。
介護支援システム、カウンセリングシステム、カーナビゲーション、自動車制御、運転者の状態監視、ユーザーインターフェース、オペレーションシステム、ロボット、アバター、ネットショッピングモール、通信教育システム、Eラーニング、学習システム、マナー研修、ノウハウ学習システム、能力判定、意味情報判断、人工知能分野、ニューラルネットワーク(ニューロンも含む)への応用、確率モデルが必要なシミュレーションやシステムなどの判断基準や分岐基準、経済・金融などの市場シミュレーションへの心理要素入力、アンケート収集、芸術家の感情や感性の解析、金融信用調査、与信管理システム、占いなどのコンテンツ、ウェアラブルコンピュータ、ユビキタスネットワーク商品、人間の知覚判断の支援、広告業務、ビルやホールなどの管理、フィルタリング、ユーザーの判断支援、キッチンやバスやトイレなどの制御、ヒューマンデバイス、柔らかさ、通気性が変化する繊維との連動による被服、癒しやコミュニケーションを目的とした仮想ペットやロボット、プランニングシステム、コーディネーターシステム、交通支援制御システム、料理支援システム、演奏支援、DJ映像効果、カラオケ装置、映像制御システム、個人認証、デザイン、設計シミュレーター、購買意欲を刺激するシステム、人事管理システム、オーディション、仮想の顧客集団市場調査、陪審員・裁判員シミュレーションシステム、スポーツや芸術や営業や戦略などのイメージトレーニング、故人や先祖のメモリアルコンテンツ作成支援、生前の感情や感性のパターンを保存するシステムやサービス、ナビゲーション・コンシェルジェサービス、ブログ作成支援、メッセンジャーサービス、目覚まし時計、健康器具、マッサージ器具、歯ブラシ、医療器具、生体デバイス、スイッチング技術、制御技術、ハブ、分岐システム、コンデンサシステム、分子コンピュータ、量子コンピュータ、ノイマン型コンピュータ、生体素子コンピュータ、ボルツマンシステム、AI制御、ファジー制御。
《備考:fMRI情報の計測環境における音声信号の取得について》
MRIのガントリー内はジェット機なみの騒音レベルに達するため、ガントリー内の被験者から音声信号を良好に取得することは難しい。そのため、脳内活動の計測と、音声信号の取得とを同時並行に実施することは不可能となる。
本発明者は、この問題を解決するため、次のような計測環境を構築した。
まず、被験者の後頭部を、熱塑性などで後頭部の形状に整形した発泡スチロールなどの固定具にあてがう。この状態で、被験者の頭部(眉毛の上)をナイロンベルトなどでガントリーベットに固定する。
この状態で、下記構造の防音マスクを被験者の口に装着する。
まず、防音マスクの基材として防毒マスク(TOYO SAFETY No1880-1)を調達する。この防毒マスクは、口に接して覆う部分がゴム製である。このゴムは周辺騒音によって振動するため、周辺騒音がマスク内に侵入する。そこで、このゴム部分にシリコン(日新レジン株式会社製、クイックシリコーン、ライトグレー液状、比重1.3)を注入して重くする。 さらに、防毒マスクの通気フィルタには、キッチンペーパー5枚以上とスポンジを多層に重ねて密閉性を高める。この状態のマスク室の中央部分に小型マイクをフィットさせて設ける。このように準備された防音マスクは、シリコンの自重と異質物の積層構造によって周辺騒音の振動を効果的に減衰させることができる。その結果、被験者の口周辺にマスク形態の小型防音室を設けることに成功し、周辺騒音の影響を抑えつつ、被験者の音声を良好に集音できるようになる。
さらに、同様の防音対策を施したヘッドホンを被験者の耳に装着することにより、周辺騒音の影響をさほど受けずに、被験者と会話を行うことが可能になる。
なお、ピッチ周波数の検出には、上記の防音マスクが有効である。ただし、防音マスクの密閉空間が狭いために、音声がこもりやすい傾向となる。そのため、ピッチ周波数以外の周波数解析や音色の分析には適さない。そのような用途には、マスク同様の防音処理を施したパイプラインを防音マスクに通し、防音環境の外界(空気室)と通気させることが好ましい。この場合、呼吸に支障がないため、口だけでなく鼻も含めてマスクすることができる。この通気設備の追加によって、防音マスクにおける音声のこもりを低減することができる。さらに、被験者にとって息苦しさなどの不快感が少ないため、より自然な状態の音声を集音できるようになる。
以上の計測設備によって、fMRI情報による生体興奮度の検出と、音声信号による音声興奮度の検出とが同時並行に初めて実施可能となり、被験者の心的状態を推定することができるようになった。
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
以上説明したように、本発明は、心的状態判定装置やプログラムなどに利用可能な技術である。
心的状態判定装置11の構成を示すブロック図である。 心的状態判定装置11の動作を説明する流れ図である。 生体興奮度の判断を説明する図である。 音声興奮度の判断を説明する図である。 対応関係の一例を示す図である。
符号の説明
11…心的状態判定装置,12…生体興奮度判定部,14…音声解析部,15…音声興奮度判定部,17…推定部,18…対応記憶部

Claims (4)

  1. 生理的な興奮や緊張のレベルを反映する生体情報を取得し、前記生体情報に基づいて被験者の生理的な興奮度(以下『生体興奮度』という)を判断する生体興奮度判定部と、
    前記被験者の音声信号に基づいて、前記被験者の音声的な興奮度(以下『音声興奮度』という)を判断する音声興奮度判定部と、
    予め定められた『前記生体興奮度および前記音声興奮度』と『心的状態』との対応関係を保持する対応記憶部と、
    前記対応関係に基づいて、前記被験者の前記生体興奮度および前記音声興奮度から、前記被験者の心的状態を推定する推定部とを備え、
    前記推定部は、
    前記生体興奮度が高いと判断され、かつ前記音声興奮度が低いと判断された場合に、前記被験者は不安の状態にあると推定する
    とを特徴とする心的状態判定装置。
  2. 請求項1に記載の心的状態判定装置において、
    前記推定部は、
    前記生体興奮度が高いと判断され、かつ前記音声興奮度がいと判断された場合前記被験者は怒りまたは極度の不安の状態推定する
    ことを特徴とする心的状態判定装置。
  3. 請求項1または請求項2に記載の心的状態判定装置において、
    前記推定部は、
    前記生体興奮度がいと判断され、かつ前記音声興奮度がいと判断された場合、前記被験者はまたは恐怖の状態であると推定する
    ことを特徴とする心的状態判定装置。
  4. コンピュータを、請求項1ないし請求項3のいずれか1項に記載の心的状態判定装置として機能させるためのプログラム
JP2006127306A 2006-05-01 2006-05-01 心的状態判定装置、およびプログラム Expired - Lifetime JP4704952B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006127306A JP4704952B2 (ja) 2006-05-01 2006-05-01 心的状態判定装置、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006127306A JP4704952B2 (ja) 2006-05-01 2006-05-01 心的状態判定装置、およびプログラム

Publications (2)

Publication Number Publication Date
JP2007296169A JP2007296169A (ja) 2007-11-15
JP4704952B2 true JP4704952B2 (ja) 2011-06-22

Family

ID=38766190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006127306A Expired - Lifetime JP4704952B2 (ja) 2006-05-01 2006-05-01 心的状態判定装置、およびプログラム

Country Status (1)

Country Link
JP (1) JP4704952B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11026613B2 (en) * 2015-03-09 2021-06-08 Koninklijke Philips N.V. System, device and method for remotely monitoring the well-being of a user with a wearable device

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5789735B2 (ja) * 2011-05-18 2015-10-07 パナソニックIpマネジメント株式会社 コンテンツ評価装置、方法、及びそのプログラム
JP5772448B2 (ja) 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析システムおよび音声解析装置
JP5942761B2 (ja) * 2012-10-03 2016-06-29 トヨタ自動車株式会社 運転支援装置および運転支援方法
KR101448793B1 (ko) 2013-06-04 2014-10-08 현대자동차 주식회사 음성신호기반 안전 운행 장치 및 방법
US10485467B2 (en) 2013-12-05 2019-11-26 Pst Corporation, Inc. Estimation device, program, estimation method, and estimation system
JP6122816B2 (ja) 2014-08-07 2017-04-26 シャープ株式会社 音声出力装置、ネットワークシステム、音声出力方法、および音声出力プログラム
JP6761598B2 (ja) * 2016-10-24 2020-09-30 富士ゼロックス株式会社 感情推定システム、感情推定モデル生成システム
JP7265313B2 (ja) * 2017-07-12 2023-04-26 パラマウントベッド株式会社 療養支援システム
JP7112851B2 (ja) * 2018-02-05 2022-08-04 株式会社疲労科学研究所 情報処理装置、疲労評価方法及びプログラム
EP3821815A4 (en) 2018-07-13 2021-12-29 Life Science Institute, Inc. Mental/nervous system disorder estimation system, estimation program, and estimation method
JP7132546B2 (ja) * 2018-10-25 2022-09-07 マツダ株式会社 ウェルビーイング値推定システム
JP7276096B2 (ja) * 2019-11-22 2023-05-18 トヨタ自動車株式会社 情報処理装置、情報処理方法、およびシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3953468B2 (ja) * 2004-02-25 2007-08-08 三洋電機株式会社 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11026613B2 (en) * 2015-03-09 2021-06-08 Koninklijke Philips N.V. System, device and method for remotely monitoring the well-being of a user with a wearable device

Also Published As

Publication number Publication date
JP2007296169A (ja) 2007-11-15

Similar Documents

Publication Publication Date Title
Ramaswamy et al. Multimodal emotion recognition: A comprehensive review, trends, and challenges
KR102379132B1 (ko) 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법
Schmidt et al. Wearable affect and stress recognition: A review
Cowley et al. The psychophysiology primer: a guide to methods and a broad review with a focus on human–computer interaction
US10376197B2 (en) Diagnosing system for consciousness level measurement and method thereof
Nacke An introduction to physiological player metrics for evaluating games
Dávila-Montero et al. Review and challenges of technologies for real-time human behavior monitoring
JP4704952B2 (ja) 心的状態判定装置、およびプログラム
Timmons et al. Using multimodal wearable technology to detect conflict among couples
CN113397548A (zh) 驾驶员监测系统中将驾驶情绪与媒体诱发情绪分离的技术
Knapp et al. Physiological signals and their use in augmenting emotion recognition for human–machine interaction
JP2005237561A (ja) 情報処理装置及び方法
JP2004310034A (ja) 対話エージェントシステム
Bong et al. Methods and approaches on inferring human emotional stress changes through physiological signals: A review
JP2005293209A (ja) 個人認証装置、情報端末、個人認証方法、およびプログラム
Handouzi et al. Objective model assessment for short-term anxiety recognition from blood volume pulse signal
Zhang Stress recognition from heterogeneous data
Przybyło et al. Eyetracking-based assessment of affect-related decay of human performance in visual tasks
CN120656649B (zh) 一种基于高人类情感贴合度模拟分析的心理疗愈机器人
KR102437264B1 (ko) 의사 창발 장치, 의사 창발 방법 및 의사 창발 프로그램
KR20190054357A (ko) 가상현실 및 바이오피드백을 이용하여 사용자의 스트레스를 저감시키는 방법 및 시스템
Tivatansakul et al. Healthcare system design focusing on emotional aspects using augmented reality—Relaxed service design
US10820851B2 (en) Diagnosing system for consciousness level measurement and method thereof
Saygin et al. Speech Detection via Respiratory Inductance Plethysmography, Thoracic Impedance, Accelerometers, and Gyroscopes: A Machine Learning‐Informed Comparative Study
KR102901081B1 (ko) 디지털 컨텐츠 정보 제공 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110310

R150 Certificate of patent or registration of utility model

Ref document number: 4704952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140318

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140318

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140318

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140318

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S201 Request for registration of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140318

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140318

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R314531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250