JP6893366B2

JP6893366B2 - 評価システム

Info

Publication number: JP6893366B2
Application number: JP2019178321A
Authority: JP
Inventors: 太田　和代; 和代太田
Original assignee: 株式会社なごみテクノロジー
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2021-06-23
Anticipated expiration: 2039-09-30
Also published as: JP2021056335A

Description

本発明は、ユーザの発話に基づいてユーザの状態を評価する評価システムに関する。

現在人生１００年時代を迎えて高齢者が増加していく中で、一人暮らしをする高齢者（独居老人）や、同居人が仕事に出かける日中を一人で暮らす高齢者が増加しており、このような高齢者に対し支援が必要とされている。一方で、特に介護・介助現場では人出不足が深刻化しており、支援の手がなかなか高齢者に行き届かないという現実がある。

そこで、特許文献１には、介助者の負担を軽減してより良いサービスを介助者に提供する療養支援システムが開示されている。より詳細には被介助者（例えば高齢者）の生体状態を検出する生体センサと被介助者の声を検出する音センサとを備え、生体センサ又は音センサのいずれかに基づいて推定された被介助者の感情状態に応じて変化する視覚情報又は聴覚情報の少なくともいずれかを出力する構成を備える。この構成により、被介助者の感情の変化の影響を除いて生体状態をより正確に把握することができ、より適正な療養のための処置を被介助者に提供することができる。

特開２０１９−１７４９９号公報

しかしながら、上述したシステムは自立して日常生活を営むことのできる高齢者に向けたサービスではなく、また高齢者を見守るためのものではない。また、上述したシステムに用いられる被介助者の感情状態を推定する生体センサや音センサは、被介助者の物理量、例えば体温、脈拍、声の大きさ、音圧等を取得するものである。このような物理量を取得するセンサは高額であるため、システムの構築にコストがかかるという問題もある。また、居宅内にセンサを設置するという心理的な負担もある。

本発明は上述した問題に鑑みてなされたものであって、発話を通じてユーザ（高齢者等）の状態を評価することによって、経済的、心理的負担を低減して、日常的にユーザを見守る評価システムを提供することをその主たる目的とするものである。また、本発明はユーザの個々の状態に適したサービスを提供することができるものである。

本発明の評価システムは、ユーザの発話から前記ユーザの状態を評価する評価システムであって、前記ユーザの発話を音声データとして受信する受信部と、前記音声データから前記ユーザの状態をカテゴリー毎に評価するものであって、少なくとも２以上のカテゴリー評価部を有する評価部とを備え、前記カテゴリー評価部は、全ての前記カテゴリー評価部に共通する予め学習した機械学習モデルを用いて当該カテゴリーにおける前記音声データが示す前記ユーザの状態を示す状態値を少なくとも１以上評価するとともに、前記カテゴリー及び前記状態値の組み合わせからなる評価データの前記音声データに対する信頼度を少なくとも１以上生成し、前記評価部は、前記評価データ及び前記信頼度を紐付けて出力することを特徴とする。

上述の構成により、カテゴリー毎に複数設けられたカテゴリー評価部においてユーザの発話からユーザの状態値を評価するので、カテゴリー毎にユーザの状態を評価して多角的にユーザの状態を評価することができる。またカテゴリー及び状態値の組み合わせからなる評価データの音声データに対する信頼度を生成し、評価データに信頼度を紐付けて出力するので、この信頼度を用いて実際のユーザの状態により則した評価を行うことができる。そのため、本システムを用いれば例えば高齢者の日常生活を見守ることができ、人出不足の問題を解消することができる。さらに、この評価システムをＡＩスピーカーやペットロボット等に内蔵すれば、高齢者であっても簡便に使用することができる。加えて、物理量を測定するセンサ等を用いずにユーザの発話からユーザの状態を評価するのでコストを抑えてシステムを構築することができる。

本発明の評価システムの具体的な一態様としては、前記評価部が出力した前記評価データのうち、最も高い前記信頼度に紐づけられた前記評価データを抽出する抽出部をさらに備えるものを挙げることができる。

上述の構成により、最も信頼度の高い評価データを抽出部が抽出するので、よりユーザの状態に則した評価を行うことができ、この評価データを用いてユーザへの応答を作成すれば、よりユーザの状態に則した応答を作成することができる。

本発明の評価システムの具体的な一態様としては、前記評価部が出力した前記評価データのうち、所定の閾値を超える前記信頼度に紐付けられた前記評価データを判定する判定部と、前記判定部が所定の閾値を超えると判定した前記評価データを用いて前記ユーザに対する応答データを生成する第２応答生成部とをさらに備え、前記第２応答生成部は、前記判定部が所定の閾値を超えると判定した前記評価データが複数存在する場合、複数の前記評価データの組み合わせに対応する前記応答データを生成するものを挙げることができる。

上述の構成により、判定部が所定の閾値を超える信頼度に紐付けられた評価データを抽出するので、これらの評価データを組み合わせればユーザの状態をより多角的に評価することができるとともに、第２応答生成部は、これら評価データを組み合わせてユーザへの応答を作成するのでより複雑な応答が可能となる。

本発明によれば、発話を通じてユーザ（高齢者等）の状態を評価することによって、経済的、心理的負担を低減して、日常的にユーザを見守る評価システムを提供することができる。また、本発明によれば、ユーザの個々の状態に適したサービスを提供することができる。

第１実施形態における評価システムを示すブロック図。第２実施形態における評価システムを示すブロック図。第２実施形態において第１応答生成部において用いられる応答テーブル。第３実施形態における評価システムを示すブロック図。第３実施形態において第２応答生成部において用いられる応答表。第４実施形態における評価システムを示すブロック図。第５実施形態における評価システムを示すブロック図。第６実施形態における評価システムを示すブロック図。第６実施形態において用いられるＰｌｕｔｃｈｉｋの感情の輪を示す模式図。別の実施形態における評価システムを示すブロック図。

本発明の評価システムについて、図面を用いながら詳細に説明する。

＜第１実施形態＞
第１実施形態における評価システムは、ユーザの音声データからユーザの状態を評価することにより、ユーザを見守るものであって、例えばＡＩスピーカーやロボット等に用いることができるものである。

本実施形態の評価システム１は、図１に示すように、ユーザの発話を音声データとして受信する受信部２と、カテゴリーに沿って音声データを評価する評価部３とを備える。

受信部２は、ユーザの音声データを受信するものであって、例えば図示しないマイクと音声認識装置を備え、該マイク及び音声認識装置によって音声データを取得するものである。音声データには、例えば「電源を入れたい」、「分からない単語を調べたい」等といったユーザの要求を含むものや、雑談のようにコミュニケーションを図ることを目的とするもの等、様々なものが含まれるが本発明では後者のものをユーザの状態評価の対象とする。受信部２は、受信した音声データを評価部３へ送信する。

評価部３は、受信部２が受信した音声データを受けて、該音声データからユーザの状態をカテゴリー毎に評価するものであって、少なくとも２以上のカテゴリー評価部４を備える。

カテゴリー評価部４は、それぞれカテゴリーを備え、音声データを受け付けて機械学習モデルを用いてユーザの音声データから当該カテゴリーにおけるユーザの状態値を評価するとともに、当該カテゴリー及び状態値の組み合わせからなる評価データの音声データに対する信頼度を生成する。

ここで、カテゴリーとはユーザの状態を複数の要素に分類したものである。例えばユーザの状態を感情、体調、環境の要素に分類する場合にはカテゴリーは感情、体調、環境となり、図１に示すようにカテゴリー評価部（感情）４ａ、カテゴリー評価部（体調）４ｂ、カテゴリー評価部（環境）４ｃが用いられる。なお本実施形態においては説明のために上記３つの要素をカテゴリーとして以下用いるが、本発明はこの要素に限られたものではない。

状態値とは、カテゴリーに沿ってユーザの状態を評価したものであって、例えば本実施形態では、カテゴリー評価部（感情）４ａでは、好意、嫌悪、安心、退屈、残念、平静、楽しみ、悲しみ、不安、怒り等の状態値が用いられ、カテゴリー評価部（体調）４ｂでは、良好、不良、疲労、通常、痛み等の状態値が用いられ、カテゴリー評価部（環境）４ｃでは、暑い、寒い、いい天気、悪い天気等の状態値が用いられる。但し、上述した状態値は説明のために一例を示したものであって、本発明は上記状態値に限られたものではない。

機械学習モデルは、多数のユーザの発話に係る音声データに対して、カテゴリー毎にユーザの状態を示す状態値を予め学習したものである。この機械学習モデルは、全てのカテゴリー評価部４において共通に使用される。この機械学習モデルは、例えば「爽やかな季節だね」というユーザの発話に係る音声データに対して、「感情」というカテゴリーでは「安心」という状態値及び「環境」というカテゴリーでは「いい天気」という状態値を学習する。なお、上述の例では１つの学習する音声データに対し、２つカテゴリーにおいて状態値を学習していたが、機械学習モデルは、学習する音声データに対して少なくとも１つのカテゴリーに基づく状態値を学習していればよい。

カテゴリー評価部４の音声データを用いたユーザの状態の評価を、以下具体的に説明する。

例えば、受信部２から受け付けた音声データが「秋めいてきましたね」であった場合、「感情」をカテゴリーとするカテゴリー評価部（感情）４ａは、機械学習モデルの中の「感情」というカテゴリーにおいて、「安心」という状態値を評価する。同時に、「環境」をカテゴリーとするカテゴリー評価部（環境）４ｃは、「いい天気」という状態値を評価する。これにより、「感情」カテゴリーにおける「安心」という状態値を組み合わせた評価データ１、「環境」カテゴリーにおける「いい天気」という状態値を組み合わせた評価データ２が生成される。なお、音声データに対して各カテゴリー評価部４が評価する状態値は１つであっても良いし、複数であっても良い。

加えて、カテゴリー評価部４は機械学習モデルを用いて受信部２から受け付けた音声データに対する評価データの信頼度を生成する。本実施形態では、受信部２から受け付けた音声データ「秋めいてきましたね」に対して、カテゴリー評価部（感情）４ａが評価データ１の信頼度１を生成し、カテゴリー評価部（環境）４ｃが評価データ２の信頼度２を生成する。この信頼度は０〜１で生成され、１に近似するほど該カテゴリーにおける状態値が実際のユーザの状態を示している確率が高くなると判断される。

評価部３は、各カテゴリー評価部４が生成した評価データに該評価データに対する信頼度を紐付けて出力する。つまり、本実施形態ではカテゴリー評価部（感情）４ａが生成した評価データ１と信頼度１、カテゴリー評価部（環境）４cが生成した評価データ２と信頼度２をそれぞれ紐付けて出力する。なお、上記具体例ではカテゴリー評価部（感情）４ａとカテゴリー評価部（環境）４cについて説明したが、カテゴリー評価部（体調）４ｂにおいても同様に、状態値の評価、評価データ及び信頼度が生成されて、評価データと信頼度とが紐づけられて出力される。

また、上記具体例では、異なるカテゴリー評価部４の組合せを例示したが、同じカテゴリー評価部４から複数の評価データを生成するとともに信頼度を生成してこれらを紐付けて出力しても良い。

第１実施形態における評価システム１では、上述の構成を備えることにより、カテゴリー毎に複数設けられたカテゴリー評価部４においてユーザの発話からユーザの状態値を評価するので、多角的にユーザの状態を評価することができる。また併せてカテゴリー及び状態値の組み合わせからなる評価データの音声データに対する信頼度を生成し、評価データに信頼度を紐付けて出力するので、この信頼度を用いてより実際のユーザの状態に則した評価を行うことができる。そのため、本システムを用いてユーザ、例えば高齢者の日常生活を見守ることができ、人出不足の問題を解消して高齢者のＱＯＬを高めることができる。さらに、この評価システム１をＡＩスピーカー等に用いれば高齢者であっても簡便に使用することができ、物理量を測定するセンサが備えないので、経済的、心理的負担を低減することができる。

＜第２実施形態＞
第２実施形態における評価システムについて、以下図面を用いながら説明する。なお、第１実施形態と同様の部分には同一の符号を付し、説明を省略する。

第２実施形態の評価システム１０は、評価部３が出力した信頼度が紐付けられた評価データを用いてユーザへの応答を作成する構成において第１実施形態と異なる。

第２実施形態は、図２に示すように、受信部２、評価部３に加えて評価部３が出力した評価データのうち、最も高い信頼度に紐づけられた評価データを抽出する抽出部１１、この抽出部１１が抽出した評価データに基づきユーザへの応答を作成する第１応答生成部１２をさらに備える。

抽出部１１は、評価部３が出力した評価データ及び評価データに紐付けられた信頼度を受け付ける。このとき、評価部３では全てのカテゴリー評価部４が評価データ及び評価データに紐付いた信頼度を生成しているので、これらを全て抽出部１１が受け付ける。

そして抽出部１１は受け付けた全ての評価データ及び信頼度のうち、最も高い信頼度に紐づけられた評価データを抽出する。例えば、カテゴリー評価部（感情）４ａにおいて評価データ１Ａ及び評価データ１Ａに紐付いた信頼度１Ａが生成され、カテゴリー評価部（体調）４ｂにおいて評価データ１Ｂ及び評価データ１Ｂに紐付いた信頼度１Ｂが生成され、カテゴリー評価部（環境）４ｃにおいて評価データ１Ｃ及び評価データ１Ｃに紐付いた信頼度１Ｃが生成されて評価部３から出力されたとする。ここで前述したように信頼度は０〜１で生成され、信頼度１Ａが０．６、信頼度１Ｂが０．７、信頼度１Ｃが０．８であったとすると、抽出部１１はこの中で信頼度が最も高い信頼度１Ｃに紐付いた評価データ１Ｃを抽出する。

このとき、抽出部１１は各カテゴリーを同等に信頼度のみを用いて評価データを抽出するのではなく、カテゴリーに重み付けをしても良い。たとえば、健康の評価を重視する場合には、「体調」のカテゴリーの信頼度に適切な係数（例えば、１.２）をかけて、重み付けした信頼度を用いて評価データの抽出を行っても良い。

第１応答生成部１２は、抽出部１１が抽出した評価データに基づいて応答データを生成するものである。ここで、応答データとはユーザの発話に対するテキストデータ、病院や警備会社等の施設への通信データやメッセージデータ、ユーザの近親者へのメッセージデータ等が含まれる。本実施形態では説明のためユーザの発話に対するテキストデータを作成するものとする。

第１応答生成部１２は、図示しない記録部に予め記録された応答テーブルを備える。この応答テーブルは、図３に示すように、カテゴリーと状態値との組み合わせによってテキストデータを予め定めたものであって、例えばカテゴリー「感情」と状態値「好意」との組み合わせでは「私も好きです」というテキストデータが定められている。また、カテゴリー「感情」と状態値「楽しみ」との組み合わせにおいて、「それは楽しかったですね」「ウキウキしますね」の２つのテキストデータが定められているが、１つのカテゴリーと状態値の組み合わせに複数のテキストデータが定められていてもよい。

第１応答生成部１２は、抽出部１１が抽出した評価データが有するカテゴリーと状態値の組み合わせと一致するテキストデータを応答テーブルから取り出して、該テキストデータを出力部１３に送信する。つまり、上述の例では評価データ１Ｃがカテゴリー「環境」と状態値「寒い」の組み合わせであった場合、この組み合わせと一致するテキストデータ「ちょっと寒く感じますね」が応答テーブルから取り出される。また、１つの評価データに複数のテキストデータが定められていた場合には、第１応答生成部１２は、複数のテキストデータの中からランダムに１つを選択して、この選択したテキストデータを取り出して出力部１３に送信する。

出力部１３は、応答データを出力するものであって、本実施形態においては、例えば図示しない音声合成装置を備え、第１応答生成部１２から受け付けた該テキストデータを音声データに変換して出力する。出力部１３の構成は上述のものに限られたものではなく、例えば第１応答生成部１２から通信データやメッセージデータが送信された場合には、この通信データを用いて病院や警備会社等の施設に電話をかけたり、施設側に配置されたランプを点灯させたり、ＰＣやスマートフォン等の端末にメッセージが送信されるように構成してもよい。

上述のように構成された第２実施形態の評価システム１０では、最も信頼度の高い評価データを抽出部１１が抽出するので、よりユーザの状態に則した評価を行うことができ、この評価データを用いて第１応答生成部１２によってユーザへの応答を作成するので、よりユーザの状態に則した応答を作成することができる。

＜第３実施形態＞
第３実施形態における評価システム２０について、以下図面を用いながら説明する。なお、第１実施形態又は第２実施形態と同様の部分には同一の符号を付し、説明を省略する。

第３実施形態の評価システム２０は、評価部３が出力した信頼度が紐付けられた評価データを用いてユーザへの応答を作成する構成において第１実施形態及び第２実施形態と異なる。

第３実施形態は、図４に示すように、受信部２、評価部３に加えて評価部３が出力した評価データのうち、所定の閾値を超える信頼度に紐付けられた評価データを判定する判定部２１、この判定部２１が判定した評価データに基づきユーザへの応答を作成する第２応答生成部２２をさらに備える。

判定部２１は、評価部３が出力した評価データ及び評価データに紐付けられた信頼度を受け付ける。このとき、評価部３では全てのカテゴリー評価部４が評価データ及び評価データに紐付いた信頼度を生成しているので、これらを全て判定部２１が受け付ける。判定部２１は、予め入力された所定の閾値を用いて受け付けた評価データのうちで、所定の閾値を超える信頼度に紐付けられた評価データを判定して、該評価データを第２応答生成部２２へ送信する。判定部２１が判定する所定の閾値を超える信頼度に紐づけられた評価データが複数ある場合には、該複数の評価データが第２応答生成部２２へと送信される。

ここで、前述したように信頼度は０〜１の値で生成されている。そのため、例えば所定の閾値を０．８と定めると、判定部２１は、０．８以上の信頼度に紐づけられた評価データを判定することになる。

第２応答生成部２２は、判定部２１から送られた評価データの組み合わせに対応する応答データを生成する。ここで、応答データとはユーザの発話に対するテキストデータ、病院や警備会社等の施設への通信データやメッセージデータ、ユーザの近親者へのメッセージデータ等が含まれる。本実施形態では説明のためユーザの発話に対するテキストデータを作成するものとする。

第２応答生成部２２は、図示しない記録部に予め記録された応答表を備える。この応答表は、図５に示すように評価データの組み合わせに対応するテキストデータを予め定めたものである。

例えば評価部３において、カテゴリー評価部（感情）４ａでは、好意、嫌悪、安心、退屈、怒りの５つの状態値が用いられ、カテゴリー評価部（体調）４ｂでは、良好、不良、疲労、通常、痛みの５つの状態値が用いられ、カテゴリー評価部（環境）４ｃでは、暑い、寒い、いい天気、悪い天気の４つの状態値が用いられている場合、評価部３において生成可能な評価データは１４通り存在することになる。

ここで、判定部２１が判定しうる評価データの数（つまり、所定の閾値を超える評価データの数）は、１個〜１４個存在することになるので、応答表には、_１４Ｐ_１＋_１４Ｐ_２＋_１４Ｐ_３＋_１４Ｐ_４・・・＋_１４Ｐ_１４個の評価データの組み合わせ及びこれに対応するテキストデータが存在する。一般化すると、評価部３において生成可能な評価データがｎ通り存在し、判定部２１が判定しうる評価データの数が１個〜ｎ個存在する場合には、応答表には、_ｎＰ_１＋_ｎＰ_２＋_ｎＰ_３・・・＋_ｎＰ_ｎ個の評価データの組み合わせ及びこれに対応するテキストデータが存在する。なお、評価データの組み合わせの数を減らすために、信頼度などを用いて、組み合わせの数を上位ｍ個に限定しても良い。

また、判定部２１においても各カテゴリーを同等に信頼度のみを用いて評価データを抽出するのではなく、カテゴリーに重み付けをしても良い。たとえば、健康の評価を重視する場合には、「体調」のカテゴリーの信頼度に適切な係数（例えば、１.２）をかけて、重み付けした信頼度を用いて評価データの判定を行っても良い。

第２応答生成部２２は、応答表から判定部２１が判定した評価データの組み合わせと一致する評価データに対応したテキストデータを取り出して、該テキストデータを出力部１３に送信する。例えば、判定部２１が所定の閾値を超えると判断した評価データが評価データ１と評価データ９であった場合、図５に示すように第２応答生成部はこれら評価データ１と評価データ９の組み合わせに対応するテキストデータ「何処かに出かけませんか」を取り出して出力部１３へ送信する。このとき、判定部２１が判定した評価データの組み合わせに複数のテキストデータが定められていた場合、第２応答生成部２２は、複数のテキストデータの中からランダムに１つを選択して、この選択したテキストデータを取り出す。出力部１３では、該テキストデータを音声データに変換して出力する。

第３実施形態における評価システム２０では、上述の構成を備えることにより、判定部２１が所定の閾値を超える信頼度に紐付けられた評価データを判定してユーザの状態をより多角的に評価することができるとともに、第２応答生成部２２がこれらの評価データの組み合わせにより定められるテキストデータを用いてユーザへの応答データを作成するので、ユーザに適した複雑な応答が可能となる。

＜第４実施形態＞
第４実施形態における評価システム３０について、以下図面を用いながら説明する。なお、第１実施形態、第２実施形態又は第３実施形態と同様の部分には同一の符号を付し、説明を省略する。

第４実施形態における評価システム３０は、図６に示すように、評価部３が外部サーバ３１に接続されている構成が第１実施形態、第２実施形態又は第３実施形態と異なる。

カテゴリー評価部４は音声データを受け付けて機械学習モデルを用いてユーザの音声データからカテゴリーに基づくユーザの状態値を評価するとともに、外部サーバ３１へ接続して外部サーバ３１から取得した情報を用いてカテゴリーに基づくユーザの状態値を評価する。この外部サーバ３１は、例えば気候情報、交通情報、ユーザのバイタルデータ等を発信するサーバであるが、この例に限られず必要に応じて適宜追加変更することができる。

例えばカテゴリー評価部（環境）４ｃにおいて、「今日は暑いですね」というユーザの音声データに基づき、機械学習モデルを用いてカテゴリーに基づくユーザの状態値「暑い」を評価するとともに、気候情報に関する外部サーバ３１へ接続して実際の気温情報を取得し、この気温情報に基づいてカテゴリーに基づくユーザの状態値を評価する。このとき、実際の気温情報が０℃だった場合にはカテゴリーに基づくユーザの状態値「寒い」と評価する。

これにより評価部３はカテゴリー評価部（環境）４ｃにおいて、「環境」カテゴリーと状態値「暑い」を組み合わせた評価データ、「環境」カテゴリーと状態値「寒い」を組み合わせた評価データ及びこれら評価データについての信頼度をそれぞれ生成して出力する。

上述した評価データを受け付けた判定部２１が、「環境」カテゴリーと状態値「暑い」を組み合わせた評価データ、「環境」カテゴリーと状態値「寒い」を組み合わせた評価データの信頼度がそれぞれ所定の閾値を超えていると判断した場合、第２応答生成部２２は上述した評価データの組み合わせから「体調は大丈夫ですか？」というテキストデータを生成して出力部１３へ送信して出力部１３が該テキストデータを「体調は大丈夫ですか？」という音声に変換して出力することにより、ユーザが環境に適応していないことを指摘することができる。

また、例えばカテゴリー評価部（体調）４ｂにおいて、「今日は体調が悪い」というユーザの音声データに基づき、機械学習モデルを用いてカテゴリーに基づくユーザの状態値「不良」を評価するとともに、ユーザのバイタルデータに関する外部サーバ３１へ接続して実際のユーザのバイタルデータを取得し、このユーザのバイタルデータに基づいてカテゴリーに基づくユーザの状態値を評価する。このとき、実際のユーザの体温４０℃であった場合にはカテゴリーに基づくユーザの状態値「危険」と評価する。

これにより評価部３はカテゴリー評価部（体調）４ｂにおいて、「体調」カテゴリーと状態値「不良」を組み合わせた評価データ、「体調」カテゴリーと状態値「危険」を組み合わせた評価データ及びこれら評価データについての信頼度をそれぞれ生成して出力する。

上述した評価データを受け付けた判定部２１が、「体調」カテゴリーと状態値「不良」を組み合わせた評価データ、「体調」カテゴリーと状態値「危険」を組み合わせた評価データの信頼度がそれぞれ所定の閾値を超えていると判断した場合、第２応答生成部２２は上述した評価データの組み合わせから例えば医療機関等の施設へ連絡する通信データを生成し、出力部１３が施設に該通信データを用いて通信すれば、ユーザの体調の変化を施設に知らせることができる。

第４実施形態における評価システム３０は、上述した構成によってカテゴリー評価部４が外部サーバ３１に接続して、実際の気候情報やユーザのバイタルデータを用いた状態値を評価するとともに評価データ及び信頼度を作成するので、ユーザの状態をより正確に把握することができ、ユーザの状態に則した支援を行うことができる。

なお、上述した第４実施形態において、カテゴリー評価部４は常に外部サーバ３１に接続して評価データを作成しても良いし、音声データのキーワード等をトリガーにして外部サーバ３１へ接続するように構成してもよい。また、カテゴリー評価部４が外部サーバ３１へ接続された場合には機械学習モデルを用いた状態値を評価しないように構成してもよい。

＜第５実施形態＞
第５実施形態における評価システム４０について、以下図面を用いながら説明する。なお、第１実施形態、第２実施形態、第３実施形態又は第４実施形態と同様の部分には同一の符号を付し、説明を省略する。

第５実施形態における評価システム４０は、図７に示すように、評価部３が抽出部１１や判定部２１が過去に抽出又は判定した評価データを蓄積する記録部４１をさらに備える。

記録部４１は、過去に抽出部１１が抽出した評価データ又は判定部２１が判定した評価データを記録する。このとき、第５実施形態における評価システム４０では、記録部４１が、抽出部１１が抽出した日付に紐付けて抽出部１１が抽出した評価データを記録するように構成し又は判定部２１が判定した日付に紐付けて判定部２１が判定した評価データを記録するように構成してもよい。なお、記録部４１は上述の構成に限られず、抽出部１１が抽出した評価データ又は判定部２１が判定した評価データのみを記録してもよいし、日付以外の情報と紐付けて記録してもよい。

抽出部１１又は判定部２１は、記録部４１に記録した評価データを参照して評価部３から送信された評価データの抽出又は判定を行う。

特に判定部２１は、評価部３から送信された評価データのうち所定の閾値を超える評価データと、記録部４１から送信された過去の評価データとを第２応答生成部２２へ送信し、第２応答生成部２２は過去の評価データを用いてユーザへの応答データを生成する。例えば、評価部３から送信された評価データのうち所定の閾値を超える評価データが、「体調」カテゴリーと状態値「不良」を組み合わせた評価データであり、記録部４１から送信された過去の評価データが、「体調」カテゴリーと状態値「不良」を組み合わせた評価データであった場合、第２応答生成部２２は、「ユーザの体調が数日間不良である」とのメッセージデータを生成し、出力部１３は、予め接続されている連絡可能な医療施設へ該メッセージデータを送信する。

第５実施形態における評価システム４０は、上述の構成により記録部４１を備えることで過去の評価データを用いてユーザの状態を経時的に評価することができる。

＜第６実施形態＞
第６実施形態における評価システム５０について、以下図面を用いながら説明する。なお、第１実施形態、第２実施形態、第３実施形態、第４実施形態又は第５実施形態と同様の部分には同一の符号を付し、説明を省略する。

第６実施形態における評価システム５０は、カテゴリー評価部５１の構成が他の実施形態と異なっており、第６実施形態におけるカテゴリー評価部５１は、ユーザの状態の評価要素を感情に着目して分類したものである。

つまり、第６実施形態の評価システム５０では、複数設けられたカテゴリー評価部５１が、図８に示すように、それぞれ人間の基本感情とされる「喜び」「期待」「信頼」「恐れ」「驚き」「悲しみ」「嫌悪」「怒り」をカテゴリーとするカテゴリー評価部（喜び）５１ａ、カテゴリー評価部（期待）５１ｂ、カテゴリー評価部（信頼）５１ｃカテゴリー評価部（恐れ）５１ｄ、カテゴリー評価部（驚き）５１ｅ、カテゴリー評価部（悲しみ）５１ｆ、カテゴリー評価部（嫌悪）５１ｇ、カテゴリー評価部（怒り）５１ｈを備える。なおこの人間の基本感情となる８つの分類は、図９に示すＰｌｕｔｃｈｉｋの感情の輪という心理学的理論より得られたものである。状態値は、例えばカテゴリー評価部（喜び）５１ａの場合、「喜び」「平穏」「恍惚」となる。

８つのカテゴリー評価部５１は、それぞれ音声データに対して状態値を評価するとともに、評価データ及び信頼度を生成して、該評価データに信頼度を紐付けて判定部２１へと送信する。

判定部２１は、所定の閾値を超える信頼度に紐付けされた評価データを判定して第２応答生成部２２へと送信する。

第２応答生成部２２は、判定部２１から受け付けた評価データの組み合わせから図９に示すＰｌｕｔｃｈｉｋの感情の輪を用いて、ユーザの感情状態を判断する。つまり、人間の基本感情となる８つの分類のカテゴリーに基づき評価データを作成し、これら評価データを組み合わせて上述した８つの基本感情以外の人間の感情状態を判断する。なお、図９に示すＰｌｕｔｃｈｉｋの感情の輪を用いた感情状態の組み合わせでは、評価部３において生成可能な評価データが２４通り存在することになるので、_２４Ｐ_１＋_２４Ｐ_２＋_２４Ｐ_３・・・＋_２４Ｐ_２４個の評価データの組み合わせ、つまり感情状態を判断することができる。そして、ユーザの感情状態にそれぞれ対応するテキストデータが予め入力された図示しない記録部を備え、該記録部からユーザの感情状態に対応するテキストデータを選択して出力部１３へと送信する。

例えば判定部２１から受け付けた評価データの組み合わせが、「喜び」のカテゴリーにおける状態値「喜び」と「信頼」のカテゴリーにおける状態値「信頼」であった場合、第２応答生成部２２は、ユーザの感情状態は「愛」であると判断する。そして、ユーザの感情状態「愛」に紐づけられたテキストデータを選択して出力部１３へと送信する。

出力部１３は、該テキストデータを音声データに変換して出力する。

第６実施形態における評価システム５０では、基本感情毎にカテゴリー評価部４を備えることによって、人間の複雑な感情をカテゴリー評価部４から出力される評価の組み合わせによって判定することができるようになる。

本発明は上述の実施形態に限られたものではない。

上述の実施形態はあくまで本発明の一例であって、カテゴリー評価部は上述したもの以外のカテゴリーを用いてもよいし、状態値もカテゴリーに合わせて適宜変更することができる。また、第１応答生成部が用いる応答テーブルや第２応答生成部が用いる応答表も上述の実施形態に限られたものではなく、適宜カテゴリーや状態値に合わせて作成することができる。

また、第４実施形態の外部サーバや第５実施形態の記録部の構成は適宜他の実施形態にも用いることができる。

併せて、図１０に示すように、第１実施形態においてカテゴリー評価部（感情）４ａ、カテゴリー評価部（体調）４ｂ、カテゴリー評価部（環境）４ｃを備えるが、カテゴリー評価部（感情）４ａの中にさらに第６実施形態のように人間の基本感情を８つの分類した「喜び」「期待」「怒り」「嫌悪」「悲しみ」「驚き」「恐れ」「信頼」のカテゴリー評価部５１が設けられていてもよい。

本発明は、その趣旨に反しない範囲で様々な変形が可能である。

１・・・評価システム
２・・・受信部
３・・・評価部
４・・・カテゴリー評価部

Claims

ユーザの発話から前記ユーザの状態を評価する評価システムであって、
前記ユーザの発話を音声データとして受信する受信部と、
前記音声データを受け付けて、異なるカテゴリーごとに前記音声データを評価するカテゴリー評価部と、
前記カテゴリー評価部を少なくとも２以上有する評価部とを備え、
前記カテゴリー評価部は、全ての前記カテゴリー評価部に共通する予め学習した機械学習モデルを用いて当該カテゴリーにおける前記音声データが示す前記ユーザの状態を示す状態値を少なくとも１以上評価するとともに、前記カテゴリー及び前記状態値の組み合わせからなる評価データの前記音声データに対する信頼度を少なくとも１以上生成し、
前記評価部は、前記カテゴリー評価部ごとに前記評価データ及び前記信頼度を紐付けて、出力することを特徴とする評価システム。
前記評価部が出力した前記評価データのうち、最も高い前記信頼度に紐づけられた前記評価データを抽出する抽出部をさらに備えることを特徴とする請求項１記載の評価システム。
前記評価部が出力した前記評価データのうち、所定の閾値を超える前記信頼度に紐付けられた前記評価データを判定する判定部と、前記判定部が所定の閾値を超えると判定した前記評価データを用いて前記ユーザに対する応答データを生成する第２応答生成部とをさらに備え、
前記第２応答生成部は、前記判定部が所定の閾値を超えると判定した前記評価データが複数存在する場合、複数の前記評価データの組み合わせに対応する前記応答データを生成することを特徴とする請求項１記載の評価システム。