Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4389512B2 - 腕時計型会話補助装置、会話補助システム、眼鏡型会話補助装置および会話補助装置 - Google Patents
[go: Go Back, main page]

JP4389512B2 - 腕時計型会話補助装置、会話補助システム、眼鏡型会話補助装置および会話補助装置 - Google Patents

腕時計型会話補助装置、会話補助システム、眼鏡型会話補助装置および会話補助装置 Download PDF

Info

Publication number
JP4389512B2
JP4389512B2 JP2003280818A JP2003280818A JP4389512B2 JP 4389512 B2 JP4389512 B2 JP 4389512B2 JP 2003280818 A JP2003280818 A JP 2003280818A JP 2003280818 A JP2003280818 A JP 2003280818A JP 4389512 B2 JP4389512 B2 JP 4389512B2
Authority
JP
Japan
Prior art keywords
sensor
user
information processing
conversation
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003280818A
Other languages
English (en)
Other versions
JP2005046305A5 (ja
JP2005046305A (ja
Inventor
祐己 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003280818A priority Critical patent/JP4389512B2/ja
Publication of JP2005046305A publication Critical patent/JP2005046305A/ja
Publication of JP2005046305A5 publication Critical patent/JP2005046305A5/ja
Application granted granted Critical
Publication of JP4389512B2 publication Critical patent/JP4389512B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Description

この発明は、会話補助装置、会話補助システム、会話補助方法、情報伝達装置、情報伝達システム、情報伝達方法、制御装置、制御システムおよび制御方法に関し、例えば、人間がより適切な会話を行うのに適用して好適なものである。
現在の情報化社会では、通信による情報の伝送やストレージによる情報の保持に関する基盤は急速に整備されてきている。その基盤の上に立って最も求められている技術は、どういった有効な情報をどのように取り込むか、また、その情報をどのように人に伝達するか、という2点にあると考えられる。
情報を取り込むための手段としてのセンサの重要性は年々高まってきている。現在までに多くのセンサが開発されている(非特許文献1,2)。これらは、その測定原理によって、物理センサ、化学センサ、生物センサの3つに大きく分けられる。このうち、物理センサの例としては光センサや温度センサ、化学センサの例としてはイオンセンサやガスセンサ、生物センサの例としてはグルコースセンサや免疫センサなど、非常に多岐に亘るセンサが知られている。
高橋清 他:「センサの辞典」,(朝倉書店,1991) 腰谷欣司:「図解でわかるセンサーのはなし」,(日本実業出版社, 1995)
その中でも、感情のような、脳に由来すると考えられる人の高次機能を非侵襲で計測することができるセンサとして、機能的磁気共鳴イメージング(fMRI)や脳磁計(MEG)などが知られており、心理学などの研究現場では重要な測定装置となっている(非特許文献3)。
宮田洋 監修:「新生理心理学1」,(北大路書房,1998)
最近、非侵襲的でかつ携帯性のある脳の測定装置として光トポグラフィー装置が利用されてきている(非特許文献4)。この光トポグラフィー装置は頭の一部に固定することができる程度の大きさであって被験者が自由に行動を取ることができるため、書字による言語野の活性などの研究で成果を上げている。
H.Koizumi,et.al.: "Higher-order brain function analysis by trans-cranial dynamic near-infrared spectroscopy imaging.", J.Biomedical Optics 4 403-413,1999
上記のセンサは脳の働きを直接測定するものであるが、もう1つ、脳で起こった感情の結果として現れる生理反応を測定することも考えられている。実際、ストレスの影響を計る指標として、唾液中の免疫グロブリンや血液中のコルチゾールなどを化学センサで計測することが行われている(非特許文献3)。
また、ユーザの発声音を認識する音声認識方法において、マイクから受信する音声信号をバイオ信号を用いて修正し、感情状態の変化に起因するユーザの音声の変化を補償することが知られている(特許文献1)。また、脳波、体温、脈拍、発汗、呼吸数などの生体情報検出装置を用いて利用者の生体情報を取得し、取得した生体情報に応じて合成音声を生成する音声合成装置が知られている(特許文献2)。さらに、脈拍数によりユーザの感情状態を知る技術が知られている(特許文献3)。
特許第2798621号明細書 特開2002−169582号公報 特許第3159242号明細書
なお、リズムの揺らぎがリズムの周波数の逆数程度である場合に安静効果が大きいという研究もある(非特許文献5)。
武者利光 編:「ゆらぎの科学1〜10」,(森北出版)
また、精神性発汗についての解説がある(非特許文献6)。
小川徳雄:「汗の常識・非常識」,(講談社,1998)
また、歩行時に加わる圧力による発電について知られている(非特許文献7,8)。また、体温と外気温との温度差を活かした発電機が知られている(非特許文献9)。
[平成15年4月30日検索]、インターネット〈URL:http://www.erg.s ri.com/automation/actuators.html〉 [平成15年4月30日検索]、インターネット〈URL:http://www.zdnet .co.jp/news/0011/10/shoes.html〉 [平成15年4月30日検索]、インターネット〈URL:http://pcweb.myc om.co.jp/news/2001/10/02/14.html〉
また、マイクロ流体技術を用いたラボ・オンチップによる微量な血液採取の方法が知られている(非特許文献10)。
堀池靖浩 他:「極微量全血分離・分析を目指したヘルスケアチップの 創成」,医用電子と生体工学,第39巻,特別号2,(2001) また、分子刷り込みの手法に関し、ゲルの膨潤・収縮転移(膨潤で離し、収縮で結合)で分子認識が可能であることが知られている(非特許文献11)。 田中豊一:「ゲルと生命(田中豊一英文論文選集)」(東京大学出版会)、 p132-136、p158-161
ところで、会話においては、言語を通じて伝わる情報以外に、感情などの変化による雰囲気や仕草の変化も同時に伝わることで、実際の情報伝達が成立していると考えられている。そのため、冷静に考えているつもりの苦言が実は感情的であることが相手に伝わってしまうことなど、話者の自覚していない感情が相手に伝わってしまったため会話の目的が破綻するということが起こってしまう。こういったコミュニケーション不全を未然に防ぐことは重要である。
しかしながら、これまで、人のコミュニケーションを円滑化する目的でセンサを使用することについては、具体的な提案はなされていない。また、この目的に用いるセンサは、話者の感情をセンシングすることができることが必要であるが、感情のセンシングが可能なセンサとして挙げた上述のfMRIやMEGはいずれも巨大な装置が必要であって、会話の場面で常に使用するために必要な携帯性に欠ける。また、脳で起こった感情の結果として現れる生理反応を測定する化学センサでは、経時的に測定を続けることは難しいと考えられる。さらに、光トポグラフィー装置は非侵襲的でかつ携帯性のあるものであるが、装着部位が頭に限られてしまう難点がある。
さらに、同じく感情の結果として現れるものとして、目の動きや仕草の変化が考えられる。これらはCCDなどを用いたイメージセンサを用いて捉えることができる。しかし、この方式では、少し離れた位置からの動きの変化を捉える必要があり、そのままでは携帯性が確保できない。
従って、この発明が解決しようとする課題は、使用者による他者との会話を円滑に行うことができ、しかも携帯性に優れた会話補助装置、会話補助システムおよび会話補助方法を提供することにある。
この発明が解決しようとする他の課題は、人間や犬、猫などの動物を含む各種の生物とのコミュニケーションを円滑に行うことができ、しかも携帯性に優れた情報伝達装置、情報伝達システムおよび情報伝達方法を提供することにある。
この発明が解決しようとする他の課題は、人間や犬、猫などの動物を含む各種の生物を制御することができる制御装置、制御システムおよび制御方法を提供することにある。
上記課題を解決するために、この発明の第1の発明は、
使用者の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果を出力する出力手段とを有する
ことを特徴とする会話補助装置である。
この発明の第2の発明は、
使用者の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果を出力する出力手段とを有する
ことを特徴とする会話補助システムである。
この発明の第3の発明は、
使用者の生体情報を1つまたは複数のセンサにより検出するステップと、
センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
情報処理の結果を出力するステップとを有する
ことを特徴とする会話補助方法である。
第1〜第3の発明においては、典型的には、出力手段の出力に基づいて使用者が自身の状態を制御することを補助する。生体情報は使用者が他者との会話を円滑に進めるために重要な生体情報であり、典型的には感情情報である。ここで、感情とは、精神の働きを知・情・意に分けたときの情的過程全般を指し、情動・気分・情操などが含まれるが、ここではストレスも含まれるものとする。感情は、例えば各種の外部刺激(例えば、視聴覚刺激)によって変化するが、その際に内分泌系・外分泌系による分泌量の変化を伴うため、その分泌量の変化から感情の変化を測定することが可能である。使用者の生体情報を検出するセンサは、使用者の感情を常時かつ経時的に測定するために、好適には、使用者が携帯可能であり、連続的に測定可能な1つまたは複数のセンサ(1つのセンサまたはセンサ群)である。好適には、会話補助装置全体を使用者が携帯可能とする。典型的な1つの例では、センサの1つとして、使用者の皮膚表面からの分泌物(例えば、汗など)を計測するセンサを用いる。この分泌物を計測するセンサとしては、好適には、表面プラズモン共鳴(Surface-Plasmon Resonance:SPR)型化学センサが用いられる。センサの1つとして、使用者の脳の血流を計測するセンサを用いてもよい。この血流を計測するセンサは好適には、非侵襲光トポグラフィー型センサである。出力手段は、好適には、測定した感情を使用者に伝える際に目的となる会話を妨げない1つまたは複数の効果器(エフェクタ)(1つの効果器または効果器群)である。効果器の1つとして、上記のセンサにより測定した感情を文字情報や振動情報などにより使用者に伝達する装置を用いることができる。センサにより測定した感情の制御を補助する効果器または効果器群を用いてもよい。このような効果器の1つとして、興奮状態を静めるために使用者の皮膚の表面にリズムを持った刺激を与える装置や、安心感を与えるために手を握り合った感触を再現するために柔らかい素材を使用した適度な大きさの装置を用いることができる。
会話を円滑に進めるためには多くの条件が必要となる。例として、話す内容に適した環境、万全の体調、相応しい服装、話の構成、聞きやすい発声、心の安定を表す仕草、誠実な雰囲気などが考えられる。環境や体調など、話者の意思で変更できる部分が少ない要素もあれば、構成や発声など話者の意思により比較的変更し易い要素もある。中でも仕草・雰囲気・発声などは、感情をうまく制御することで良い状態に変化させることが可能であるといえる。そこで、この会話補助装置では、例えば、話者の感情を測定し、それを話者に伝えて顕在化させることで、話者が自身の感情を制御し、会話を円滑化する。このような会話補助装置は、例えば、使用者(話者)の生体情報を測定する1つまたは複数のセンサと、このセンサにより測定される生体情報に基づいて所定の情報処理を行う情報処理部と、この情報処理の結果を出力し、感情の状態を使用者に伝達する1つまたは複数の効果器とから構成される。
ここで、センサとしては、感情を司ると考えられる脳の状態を測定する方式と、感情の結果の生理的・身体的変化を捉えるものとが考えられる。前者としては、fMRI、MEG、光トポグラフィーなどがある。また、後者としては、イメージセンサや分泌物の変化を捉える化学センサ、更には脳以外の部分の血流センサや脈拍センサなどが考えられる。「会話」という経時的な変化を常時捉える必要があることを考慮すると、好適には、携帯性があり連続測定が可能であるセンサ群(例えば、光トポグラフィー型センサ、皮膚表面の分泌物を捕らえる化学センサ、もしくはそれらの組み合わせなど)を採用する。光トポグラフィー型センサは、帽子など頭部に自然に接するものに組み込むことを想定する。分泌型センサは、腕時計や指輪、手で握る効果器に組み込むことを想定する。この装置により、使用者の感情の時間的な変化を、測定されるストレスなく自然に正確に逐一捉えることができる。
上記の感情情報を用いた効果器としては、他者との会話を円滑に進めるという目的を考慮したものである必要がある。すなわち、例えば音声による情報伝達では、会話が妨げられるだけでなく、会話の相手に自分の伝えたくない感情が結局伝わってしまうという危険性もある。そこで、例えば、怒りを中心とした、会話を円滑に進める上で問題となる可能性の高い感情を測定した場合に、振動や圧力などの外から見えない手法により使用者に伝達する。また、より詳細な感情情報が必要なときに限って、文字情報でそれを伝達するようにすることもできる。ただし、その文字情報が相手に伝わらないようにすることが必要であり、例えば腕時計型のディスプレイを使用することが考えられる。これらにより、自らの感情を顕在化し知ることができ、感情を抑制することも容易になる。
ここでは更に、感情の制御を補助するための効果器も考える。ここで制御すべき状態は怒りなどの興奮状態や不安感である。興奮を静めるためには、あるリズムで手などに振動を与える効果器を用いる。特に、リズムの揺らぎがリズムの周波数の逆数程度である場合に安静効果が大きいという研究もある(非特許文献5)。また、不安感を解消するためには、手を握り合った状態を再現するような適度な大きさ・柔らかさをもった効果器を用いる。これはまた、上記の感情情報のセンサおよび効果器と共通化することで、感情のような実体のない情報に実在感を与えて伝達することができるという効果も期待される。
感情の測定には、好適には、感情の変化に伴って生体から分泌される分泌物などの対象物が検出部に結合したときのこの検出部の性質の変化を測定することにより感情の変化を検出するセンサであって、検出部の空間的構造を用いて、対象物の存在・非存在または分布の情報を含む複数の情報を抽出するものを用いることもできる。この検出部の空間的構造は、典型的には、検出部の幾何学的構造である。この幾何学的構造は、例えば、結合部位の配置、形状、それらの統計的分布(例えば、結合部位を一定の形状で規則格子状に配置しようとする場合におけるその格子点からの位置ずれや形状の分布)などである。対象物と検出部との結合に関与する結合力としては、例えばファン・デル・ワールス力、静電引力(クーロン力)、水素結合などが挙げられ、これらの1つまたは2つ以上が結合に関与する。典型的には、検出部は複数の結合部位を有し、これらの結合部位に複数の対象物がそれぞれ選択的に結合する。これらの結合部位は対象物に応じて適切に配置されるが、その配置は周期的であっても非周期的であってもよく、周期的部分と非周期的部分とが混在してもよい。あるいは、配列情報を指定せずに、結合部位の存在分布の情報を与えるようにしてもよい。これらの結合部位は典型的には複数の対象物のサイズに合わせて配置され、これらの対象物のサイズの違いを利用して立体障害を作り出したりすることでこれらの対象物の存在量の時間的変化を検出する。これらの対象物のサイズの違いが小さく、結合部位の配置のみでは対象物の存在量の時間的変化の検出が困難であるような場合には、例えば検出部の検出面に段差を設け、この段差を利用して立体障害を作り出すことで対象物の存在量の時間的変化を検出するようにしてもよい。あるいは、1種の結合部位を金属微粒子上に作製することで立体障害を作り出すことも可能である。情報の抽出は、一般には、対象物の検出部への結合によるこの検出部の物理的性質または構造の変化を測定することにより行われる。ここで、物理的性質としては、測定を容易に行うことができる観点より、検出部の誘電率や重量が好適に用いられる。また、構造は例えばタンパク質などの分子のコンフォメーションであり、このコンフォメーション変化によって立体障害などが起こる。
結合部位は、対象物に応じて適切なものが用いられる。例えば、対象物が免疫グロブリンの場合は結合部位として抗原を用いることができる。すなわち、対象物と結合部位とが抗体と対応する抗原との組み合わせの関係を有するようにし、抗原抗体反応により抗原と抗体とが結合することを利用する。対象物がタンパク質の場合、結合部位としては、適切なリンカーが結合した金属微粒子を用いることもできる。また、対象物が一般の分子の場合も、分子刷り込みの手法を用いることで特異的に結合可能な高分子を作製し、結合部位として用いることができる(非特許文献11)。
上記の対象物の結合による検出部の誘電率の変化は、表面プラズモン共鳴(SPR)の原理を用いて簡便に行うことができる。この表面プラズモン共鳴を用いたセンサ(SPRセンサ)は、こういった系の変化を敏感に計測することのできるセンサである。このSPRセンサの一例は、結合部位、基板、プリズムの三層からなる構造を持ち、対象物の結合による入射光の全反射臨界角の変化によって対象物の結合を測定する。この場合、対象物の結合による誘電率の変化が全反射臨界角の変化に寄与する。より詳細には次のとおりである。すなわち、屈折率の高いプリズム部と低い基板部との界面では、ある臨界角で入射光は全反射する。その際に、その界面に全反射の臨界角に応じたエバネッセント光が出現し、それが基板の伝導電子の疎密波である表面プラズモンと適切に結合した場合に表面プラズモン共鳴が起こる。結合部位に対象物が結合した場合には、エバネッセント光の届く範囲の有効な屈折率の変化に伴い表面プラズモンが変化し、表面プラズモン共鳴を起こす臨界角が変化する。これによって、対象物が検出部に結合することによる系の誘電率の変化を検出することができる。
また、対象物の結合による検出部の重量の変化は、発振回路と周波数測定装置とを用いて簡便に行うことができる。より具体的には、対象物が検出部に結合したときの検出部の重量変化を、基板に一定の振動を与え続けた際の振動数変化で測定する発振型センサを用いることができる。これは、結合の前後での系の誘電率の変化がそれほど大きくないときなどに有効な手法である。
掌や足の裏からの精神性発汗を利用して感情を測定することができる。精神性発汗は、掌・足の裏のエクリン腺およびアポクリン腺から行われる。全身の皮膚に存在するエクリン腺の中で、感情の変化などに応じた精神性発汗を担うものは、その多くが掌と足の裏に存在することが知られている(非特許文献6)。図1にエクリン腺およびアポクリン腺の構造を示す(非特許文献6のp.41の図2−1)。発汗成分にはイオン、有機化合物、タンパク質などがある。このうちイオンには、ナトリウム(30〜120mM/l)、塩素(10〜100mM/l)、カリウム(5〜35mM/l)、カルシウム(0.5〜10mM/l)、重炭酸(0〜>30mM/l)などのほか、微量のマグネシウム、マンガン、亜鉛、銅、鉛、銀、金、カドミウム、コバルトなどもある。有機化合物には、アンモニア(2〜8mM/l)、尿素(12〜27mM/l)、乳酸(8〜40mM/l)などのほか、微量のブドウ糖、ピルビン酸などがある。タンパク質には、微量のアルブミン、αグロブリン、γグロブリン、糖タンパク質、ペプチドタンパク質分解酵素(カリクレイン)などがある。以上のデータはエクリン腺からの発汗成分である(非特許文献6の第3章、p.64〜86)。アポクリン腺からの発汗成分は、タンパク質成分が多く、また、蛍光物質や色素成分も含有している。イオンセンサや免疫センサなどを用いることで汗の成分分布の変化を捉えることができる。
上記の精神性発汗を利用した感情の測定方法の一例として、足の裏からの精神性発汗を利用することを考える。測定した感情を使用者に伝える場合には、会話を妨げず、かつ、会話の相手に気付かれない方法を用いる必要がある。そのためには、簡単な注意は振動装置で、また、具体的な指示などを与える必要がある場合は文字情報で伝達することを考える。ただし、文字情報を伝える装置は靴に装着しては読むことができないので、例えば腕時計型装置などの別の装置と通信を行う必要が生じる。常時測定を行うためには常時通信を行うことが必要となり、その電力が問題となる。結果を表示するときだけ測定を行えば良い状況であったなら、電磁誘導などを用いた近接場通信でセンサに電力を与えることは可能であるが、常時測定を行うためには別の手段を用いることが望ましい。この場合、例えば、靴に発電機を埋め込み、歩行時の圧力により発電を行うことができる(非特許文献7,8)。また、体温と外気温との温度差を活かした発電機を利用することもできる(非特許文献9)。
無痛針とラボ・オンチップとを用いて血中物質を計測することで感情を測定することもできる。ストレスなどの感情に関係する事柄による内分泌系・免疫系の変化は、唾液や尿と比べて血液中でより直接的に現れることが知られている(非特許文献3)。
内分泌系指標としては、唾液がコルチゾール1種類であるのに比べて、副腎皮質刺激ホルモン(ACTH)、コルチゾール、カテコールアミンなど多数のものが知られている。また、免疫指標としては、唾液では分泌型免疫グロブリンA、尿ではインターロイキン6のそれぞれ1種類のみが知られているのに対して、血液では白血球数、リンパ球数、ナチュラルキラー活性、免疫グロブリンなど多数のものが知られている。特に、血液中では、ACTHからコルチゾールへの流れや、白血球からリンパ球・免疫グロブリンへの流れなど、神経系に近いところから末端までの対象物の分布の時間的変化を測定することが可能となる。
問題は、通常の採血では使用者にかかる負担が大きすぎるということである。これに関しては、無痛針により採血時の痛みをなくすことと、マイクロ流体技術を用いたラボ・オンチップにより微量な血液採取で測定することにより、負荷を大幅に軽減することができる(非特許文献10)。これにより、感情を測る指標となる物質が豊富な血液を、使用者に多大な負荷を与えることなく常時計測することが可能となる。このセンサシステムは、例えば、腕時計に埋め込んで用いることなどが考えられる。そうすることで、測定した感情を使用者に伝達するための振動装置や表示装置も一体として組み込むことができる。
感情は、使用者の顔の表情や目の動きを捉えることにより測定することもできる。すなわち、感情を測定する指標としては、顔の表情や目の動きを捉えることも良く行われている。特に、眼球運動・瞬目は重要な指標として感情との関係が活発に研究されている(非特許文献4)。眼球運動と瞬目の測定では、大きく分けて、光学的な方法と電気的な方法とが存在する。光学的な方法としては、眼球運動ではアイカメラや赤外線を用いた光電子法があり、瞬目では小型カメラによる撮影がある。また、電気的な方法としては、眼電図(EOG)法がある。EOG法では、目を閉じた状態であっても、眼球運動や瞬目の測定が可能であるという利点がある。
上記のように使用者の顔の表情や目の動きを捉えることにより感情を測定する場合、携帯性があり、使用者に負荷をかけないセンシング方法として、眼鏡にセンサを埋め込むことが望ましい。例えば、眼鏡のレンズに近いフレーム部にカメラを埋め込むことで、瞬目を測定するとともに顔の表情も捉えることができる。また、アイカメラを眼鏡のレンズ上部のフレームに埋め込むことにより眼球運動を捉えることもできる。また、フレームのこめかみに当たる場所に電極を取り付けることで、EOG法により眼球運動・瞬目を捉えることもできる。こうして測定した感情を使用者に伝える手段としては、振動による注意喚起や文字情報による伝達が適している。そこで、振動を与える装置は眼鏡のフレームに埋め込む。また、文字情報を伝えるディスプレイは、透過型のものを用いて眼鏡のレンズの内面に映し出す。また、骨伝導を用いた音声伝達により、会話相手に知られることなく感情情報を伝えることもできる。
この発明の第4の発明は、
使用者の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果に基づいて使用者の状態を制御する制御手段とを有する
ことを特徴とする会話補助装置である。
この発明の第5の発明は、
使用者の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果に基づいて使用者の状態を制御する制御手段とを有する
ことを特徴とする会話補助システムである。
この発明の第6の発明は、
使用者の生体情報を1つまたは複数のセンサにより検出するステップと、
センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
情報処理の結果に基づいて使用者の状態を制御するステップとを有する
ことを特徴とする会話補助方法である。
第4〜第6の発明において、使用者の状態を制御するとは、情報処理の結果を単に出力するのではなく、更に進んでその結果に基づいて積極的に使用者の状態を制御することを意味する。例えば、感情の測定の結果、使用者が会話の際に極度のストレス状態や激しい怒りの状態に陥っていることが分かった場合に、使用者がリラックスするような心地よい振動(一定のリズムを持った振動など(非特許文献5参照))を振動装置により使用者の体に加えたり、使用者がリラックスする香りを香り発生装置により発したりすることである。
第4〜第6の発明においては、その性質に反しない限り、第1の発明に関連して述べたことが成立する。
この発明の第7の発明は、
生物の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果を出力する出力手段とを有する
ことを特徴とする情報伝達装置である。
この発明の第8の発明は、
生物の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果を出力する出力手段とを有する
ことを特徴とする情報伝達システムである。
この発明の第9の発明は、
生物の生体情報を1つまたは複数のセンサにより検出するステップと、
センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
情報処理の結果を出力するステップとを有する
ことを特徴とする情報伝達方法である。
この発明の第10の発明は、
生物の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果に基づいて生物の状態を制御する制御手段とを有する
ことを特徴とする制御装置である。
この発明の第11の発明は、
生物の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果に基づいて生物の状態を制御する制御手段とを有する
ことを特徴とする制御システムである。
この発明の第12の発明は、
生物の生体情報を1つまたは複数のセンサにより検出するステップと、
センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
情報処理の結果に基づいて生物の状態を制御するステップとを有する
ことを特徴とする制御方法である。
第7〜第12の発明において、生物には、人間や、犬や猫などの動物が含まれる。
第7〜第12の発明においては、その性質に反しない限り、第1〜第6の発明に関連して述べたことが成立する。
上述のように構成されたこの発明によれば、使用者、より一般的には生物の生体情報の検出にはSPRセンサなどの小型でしかも使用者にかかる負担が少ないセンサを使用することができ、情報処理手段としては小型のシングルチップマイクロコンピュータなどを使用することができ、出力手段としては小型のディスプレイや振動装置などを使用することができる。
この発明によれば、使用者が他者との会話を円滑に行うことができる。また、この発明による会話補助装置および会話補助システムは小型かつ軽量に構成することができ、携帯性に優れている。また、この発明による会話補助装置および会話補助システムは、常時使用しても使用者にほとんど負荷を与えないように構成することができる。
より一般的には、この発明によれば、人間や犬、猫などの動物を含む各種の生物とのコミュニケーションを円滑に行うことができる。また、この発明による情報伝達装置、情報伝達システム、制御装置および制御システムは小型かつ軽量に構成することができ、携帯性に優れている。また、この発明による情報伝達装置、情報伝達システム、制御装置および制御システムは、常時使用しても使用者にほとんど負荷を与えないように構成することができる。
以下、この発明の実施形態について図面を参照しながら説明する。
まず、この発明の第1の実施形態による腕時計型会話補助装置について説明する。図2はこの腕時計型会話補助装置を示す。
図2に示すように、この腕時計型会話補助装置は、本体11とこの本体11に接続されたバンド12とを有する。本体11は、時刻を表示する時計13と状態表示部14とを有する。これらの時計13および状態表示部14は例えば液晶ディスプレイなどからなる。また、図示は省略するが、この本体11には、シングルチップマイクロコンピュータなどからなる情報処理部および振動装置が内蔵されている。バンド12の内側の面には、発汗センサ15、脈拍センサ16および血流センサ17が取り付けられている。これらの発汗センサ15、脈拍センサ16および血流センサ17による測定結果は電気信号として、バンド12に埋め込まれた配線(図示せず)を介して本体11内の情報処理部に送られて所定の情報処理が行われた後、その結果が状態表示部14に文字などで表示されるようになっている。なお、図2においては、発汗センサ15、脈拍センサ16および血流センサ17はそれぞれ1つ示されているが、これらの発汗センサ15、脈拍センサ16および血流センサ17の個数および配置はこれに限定されず、必要に応じて選ぶことができるものである。
図3Aおよび図3Bは、使用者がこの腕時計型会話補助装置を手首に装着した状態を示し、図3Aは平面図、図3Bは断面図である。図3Aおよび図3Bに示すように、使用者がこの腕時計型会話補助装置を手首に装着した状態において、バンド12の内側の面に取り付けられた発汗センサ15、脈拍センサ16および血流センサ17が手首の手の平に連なる側の表面に接触あるいは近接しており、これらの発汗センサ15、脈拍センサ16および血流センサ17によりそれぞれ、発汗、脈拍および血流を測定し、それによって感情の変化を測定することができるようになっている。
状態表示部14には、この腕時計型会話補助装置を装着している使用者の感情を上記の発汗センサ15、脈拍センサ16および血流センサ17により測定し、その測定結果に基づいて情報処理部で処理した結果が文字などで表示される。例えば、発汗センサ15、脈拍センサ16および血流センサ17による測定の結果、使用者が怒り気味である場合は、例えば「怒り気味」と表示される。この状態表示部14には、これに加えて、使用者の状態に応じて、注意を促すメッセージが表示されるようになっている。例えば、使用者が怒り気味である場合は、「冷静な会話を」というメッセージが表示される(図3A参照)。発汗センサ15、脈拍センサ16および血流センサ17による測定結果に応じて、上記の状態表示部14における表示に代えて、または、状態表示部14における表示とともに、振動装置により振動を発生させ、これを使用者の手首に伝えることによっても使用者にその状態を伝えることができる。この場合、使用者はこの振動を感知することによって、自身が怒り気味であるなどの情報を入手することができる。
以上のように、この第1の実施形態によれば、使用者がこの腕時計型会話補助装置を手首に装着して他者と会話を行うことにより、使用者に負荷を与えることなく、感情を常時測定することができる。そして、会話中に好ましくない感情の変化があったとき、この腕時計型会話補助装置の表示部14に表示される内容や振動装置により手首に伝わる振動に応じて会話の仕方や内容を修正することができる。このため、他者との会話を円滑に行うことができる。また、この腕時計型会話補助装置は小型かつ軽量に構成することができ、携帯性に優れている。
次に、この発明の第2の実施形態による会話補助システムについて説明する。
この会話補助システムは、図4に示す靴21と図5に示す腕時計型受信表示装置31とにより構成される。
図4に示すように、靴21の内側の底面には発汗センサ22が装着され、靴21の内側の先端部には血流センサ23が装着されている。また、靴21の前方上部には振動装置24が装着され、靴21の内側の後方底部には発電装置25が装着され、靴21の後端部には無線通信装置26が装着されている。発汗センサ22および血流センサ23による計測データは電気信号として、靴21に内蔵された配線(図示せず)を通して、無線通信装置26に送られるようになっている。また、発電装置25により、発汗センサ22、血流センサ23、振動装置24および無線通信装置26に電力が供給されるようになっている。この発電装置25としては、例えば、歩行時に足により加わる圧力による発電機(非特許文献7,8)や、体温と外気温との温度差を利用した発電機(非特許文献9)を用いることができる。
図5に示すように、腕時計型受信表示装置31は、本体32とこの本体32に接続されたバンド33とを有する。本体32は、時刻を表示する時計34と状態表示部35とを有する。これらの時計34および状態表示部35は例えば液晶ディスプレイなどからなる。また、図示は省略するが、この本体32には、シングルチップマイクロコンピュータなどからなる情報処理部および受信回路が内蔵されている。
図6および図7は、使用者が靴21を履き、腕時計型受信表示装置31を手首に装着した状態を示す。図6に示すように、使用者が靴21を履いた状態において、発汗センサ22に足の裏が接触あるいは近接し、血流センサ23に足のつま先が接触あるいは近接しており、これらの発汗センサ22および血流センサ23によりそれぞれ、発汗および血流を測定し、それによって感情の変化を測定することができるようになっている。これらの発汗センサ22および血流センサ23による計測データは電気信号として無線通信装置26に送られ、この無線通信装置26から腕時計型受信表示装置31に送信される。この腕時計型受信表示装置31では、受信した信号に基づいて情報処理部で所定の情報処理が行われ、その結果が状態表示部35に文字などで表示される。例えば、第1の実施形態と同様に、発汗センサ22および血流センサ23による測定の結果、使用者が怒り気味である場合は、状態表示部35に例えば「怒り気味」と表示される。状態表示部35には、これに加えて、使用者の状態に応じて、注意を促すメッセージが表示されるようになっている。例えば、使用者が怒り気味である場合は、「冷静な会話を」というメッセージが表示される。また、発汗センサ22および血流センサ23による測定結果に応じて、上記の状態表示部35における表示に代えて、または、状態表示部35における表示とともに、振動装置24により振動を発生させ、これを使用者の足の甲に伝えることによっても使用者にその状態を伝えることができる。この場合、使用者はこの振動を感知することによって、自身が怒り気味であるなどの情報を入手することができる。
この第2の実施形態によれば、使用者が靴21を履き、腕時計型受信表示装置31を手首に装着して他者と会話を行うことにより、使用者に負荷を与えることなく、感情を常時測定することができる。そして、会話中に好ましくない感情の変化があったとき、この腕時計型受信表示装置31の表示部35に表示される内容や振動装置24により足の甲に伝わる振動に応じて会話の仕方や内容を修正することができる。このため、他者との会話を円滑に行うことができる。また、靴21と腕時計型受信表示装置31とからなるこの会話補助システムは小型かつ軽量に構成することができ、携帯性に優れている。
次に、この発明の第3の実施形態による腕時計型会話補助装置について説明する。図8はこの腕時計型会話補助装置を示す。
図8に示すように、この腕時計型会話補助装置においては、バンド12の内側の面に、1本または複数本の無痛針41を有する血液センサ42が取り付けられている。この血液センサ42は、マイクロ流体技術を用いたラボ・オンチップ(非特許文献10)を内蔵している。この場合、使用者がこの腕時計型会話補助装置を手首に装着した状態において、無痛針41が手首の表面に刺さってその先端が手首の血管に到達し、その先端から血液を採取してその血中物質を上記のラボ・オンチップを用いて測定し、それによって感情の変化を測定することができるようになっている。
上記以外のことは第1の実施形態と同様であるので、説明を省略する。
この第3の実施形態によれば、第1の実施形態と同様の利点を得ることができる。
次に、この発明の第4の実施形態による眼鏡型会話補助装置について説明する。図9、図10および図11はこの眼鏡型会話補助装置を示し、図9は正面図、図10は側面図、図11は斜視図である。
図9、図10および図11に示すように、この眼鏡型会話補助装置は、フレーム51とレンズ52とからなる通常の眼鏡の構成に加えて、フレーム51のレンズ52に近い両端部に小型カメラ53が埋め込まれているとともに、フレーム51のレンズ52の上の部分にアイカメラ54が埋め込まれている。そして、小型カメラ53によって、瞬目を測定するとともに、顔の表情も捉えることができ、アイカメラ54によって、眼球運動を捉えることができるようになっている。また、フレーム51のアーム部の側面には、頭のこめかみに当たる部分にEOGセンサ電極55が取り付けられている。このEOGセンサ電極55により、目を閉じた状態であっても、眼球運動や瞬目を測定することができるようになっている。フレーム51のアーム部の端部には振動装置56および骨伝導装置57が取り付けられている。更に、レンズ52の内面には透過型ディスプレイ(図示せず)が設けられており、この透過型ディスプレイによりレンズ52の内面に文字情報を映し出すことができるようになっている。フレーム51には、例えば超小型のシングルチップマイクロコンピュータなどからなる情報処理部(図示せず)が埋め込まれている。この情報処理部と、小型カメラ53、アイカメラ54、EOGセンサ電極55、振動装置56および骨伝導装置57とは、フレーム51に埋め込まれた所定の配線(図示せず)により接続されている。
図12および図13は使用者がこの眼鏡型会話補助装置を装着した状態を示し、図12は正面図、図13は側面図である。
図12および図13に示すように、使用者が眼鏡型会話補助装置を装着した状態において、フレーム51のアーム部の端部に取り付けられた振動装置56および骨伝導装置57が耳の骨に接触するようになっている。そして、この腕時計型会話補助装置を装着している使用者の感情を、小型カメラ53による瞬目や顔の表情の測定、アイカメラ54による眼球運動の測定およびEOGセンサ電極55による眼球運動や瞬目の測定により測定し、その測定結果に基づいて情報処理部で処理した結果を、レンズ52の内面の透過型ディスプレイに文字などで表示したり、振動装置56により振動を耳に伝えたり、骨伝導装置57による骨伝導により音声伝達を行うことなどにより、使用者に伝えることができるようになっている。例えば、小型カメラ53、アイカメラ54およびEOGセンサ電極55による測定の結果、使用者が怒り気味である場合は、例えばレンズ52の内面の透過型ディスプレイに「注意!」というメッセージが表示される(図11参照)。これによって、使用者は、自身が怒り気味であるなどの情報を入手することができる。
この第4の実施形態によれば、第1の実施形態と同様な利点を得ることができる。
次に、この発明の第5の実施形態について説明する。
この第5の実施形態においては、会話補助装置などにおいて、感情の測定に適用して有効なセンサについて説明する。
測定しようとする系に存在する複数の物質(対象物)の分布がその系の状態に伴って変化する場合に、その複数の物質の分布やその時間変化を測定するセンサは重要となる。ここでは、二種類の物質が存在する系で、その物質の分布の情報に加えて、その存在比が時間とともに変化するという情報を測定することのできるセンサの構造を与える。
最も簡単な例として、図14に示すような形状を持った二種類の対象物a,bを測定する場合を考える。これらの対象物a,bのそれぞれのサイズをd(a),d(b)とし、これらは互いにほぼ等しいと仮定する。これに対し、d(a),d(b)と直交する方向のサイズは図14に示す比率を持ち、互いにかなり異なっている。
図15に示すように、このセンサにおいては、基板61の一方の主面(表面)に対象物a,bのそれぞれが選択的に結合することのできる二種類の結合部位A,Bを適切な位置に交互に配置する。ここでは、これらの結合部位A,Bは、それぞれに着目した場合に面心平面格子をなすように周期的に配置する。また、最近接の結合部位A間の距離および最近接の結合部位B間の距離は、対象物a,bのそれぞれが独立に結合するとした場合に、全ての結合部位Aに対象物aが立体障害を受けることなく同時に結合することができ、かつ、全ての結合部位Bに対象物bが立体障害を受けることなく同時に結合することができるように選ばれている。具体的には、例えば、最近接の結合部位A間の距離および最近接の結合部位B間の距離はd(a),d(b)より少し大きく選ばれる。
対象物a,bと結合部位A,Bとの組み合わせは、対象物a,bに応じて適切なものが選ばれる。具体的には、例えば、対象物a,bが免疫グロブリンである場合は、抗原抗体反応により特異的に結合する抗原と抗体との組み合わせや適切なリンカーが結合した金属微粒子を用いるものを用いることができる。
次に、上述のように構成されたセンサの使用方法について説明する。
まず、対象物a,bが存在する系(例えば、液相または気相)にセンサを設置する。
この設定で、始めに対象物aの存在比率が高く、後に対象物bの存在比率が増加した場合を考える。この場合、まず、図16に示すように、多数存在する対象物aが基板61の結合部位Aに結合し、その後対象物bも何ら立体障害を受けることなく結合部位Bに結合する。
一方、始めに対象物bの存在比率が高く、後に対象物aの存在比率が増加するという上述と逆の状況を考えると、図17に示すように、始めに結合部位Bに対象物bが結合したことによる立体障害のため、その後増加した対象物aがほとんど結合部位Aに結合しないという状況が発生する。そこで、この違いを測定することにより、系の状態の時間的な変化、より詳しくは、始めに対象物aの存在比率が高く、後に対象物bの存在比率が増加したのか、それとも、始めに対象物bの存在比率が高く、後に対象物aの存在比率が増加したのかを特定することができる。
実際に上記の2状態の違いを測定するためには、例えば、対象物a,bの誘電率が互いに異なる場合はSPRセンサを、対象物a,bの重量が互いに異なる場合は水晶発振型センサを用いて測定を行えばよい。
図18にSPRセンサを用いて測定を行う例を示す。このSPRセンサは、基板61の他方の主面(裏面)にプリズムを接触させることにより構成され、このプリズムに外部から例えばレーザ光のような単色光を入射させる。図18中左の図に示すように対象物a,bとも結合している場合には、基板61の他方の主面に入射光が臨界角に等しい入射角θ1 で入射したときにSPRが起きる。これに対して、図18中右図に示すように対象物bだけが結合している場合には、基板61の他方の主面に入射光が臨界角に等しい入射角θ2 で入射したときにSPRが起きる。このときθ1 ≠θ2 (この例の場合はθ1 >θ2 )であるから、この違いを測定することにより、基板61の一方の主面に対象物a,bとも結合した状態と、対象物bだけが結合した状態とを容易に識別することができる。
以上のように、この第5の実施形態によれば、検出部である基板61の一方の主面に、測定しようとする対象物a,bと選択的に結合する結合部位A,Bを適切な位置に適切な間隔で配置し、これらの結合部位A,Bへの対象物a,bの結合の様子を観測することにより、単一のセンサで、これらの対象物a,bの存在・非存在または分布の情報に加えて、これらの対象物a,bの存在比率の時間変化の情報も抽出することができる。すなわち、基板61の検出面の幾何学的構造の制御により、センサ内部で対象物a,bに関して幾何学的情報処理を行うことができ、多くの情報を必要な形に処理して外部に取り出すことができる。
次に、この発明の第6の実施形態について説明する。
この第6の実施形態においては、第5の実施形態と同様に、会話補助装置などにおいて感情の測定に適用して有効なセンサについて説明する。このセンサは、測定しようとする対象物a,bの形状およびサイズが互いにそれほど異なるものではない場合に好適なものである。
この第6の実施形態においては、図19に示すような形状を持った二種類の対象物c,dを測定する場合を考える。これらの対象物c,dのそれぞれのサイズをd(c),d(d)とし、これらは互いにほぼ等しいと仮定する。この場合、d(c),d(d)と直交する方向のサイズも互いにほぼ等しい。
図20に示すように、このセンサは、基板61の一方の主面に対象物c,dのそれぞれが選択的に結合することのできる二種類の結合部位C,Dが適切な位置に交互に配置されていることは第5の実施形態と同様であるが、この場合には、基板61の一方の主面上の結合部位Cに対応する部分に微細加工により矩形断面の凹部62が設けられており、結合部位Cはこの凹部62の底面に設けられ、結合部位Dはこの凹部62による段差上部に設けられていることが第5の実施形態と異なる。
次に、上述のように構成されたセンサの使用方法について説明する。
まず、対象物c,dが存在する系にセンサを設置する。
この設定で、始めに対象物cの存在比率が高く、後に対象物dの存在比率が増加した場合を考える。この場合、まず、図20に示すように、多数存在する対象物cが基板61の結合部位Cに結合し、その後対象物dも何ら立体障害を受けることなく結合部位Dに結合する。
一方、始めに対象物dの存在比率が高く、後に対象物cの存在比率が増加するという上述と逆の状況を考えると、図21に示すように、始めに結合部位Dに対象物dが結合したことによる立体障害のため、その後増加した対象物cがほとんど結合部位Cに結合しないという状況が発生する。そこで、この違いを測定することにより、系の状態の時間的な変化、より詳しくは、始めに対象物cの存在比率が高く、後に対象物dの存在比率が増加したのか、それとも、始めに対象物dの存在比率が高く、後に対象物cの存在比率が増加したのかを特定することができる。
上記以外のことは第5の実施形態と同様であるので、説明を省略する。
図22に対象物c,dおよび結合部位C,Dの具体例を示す。この例では、対象物c,dがそれぞれx:血清アルブミン(Serum Albumin)、y:ストレプトアビジン(Streptavidin)であり、結合部位C,DがそれぞれX:HS−Cys、Y:ジスルフィドビオチンアナログ(disulfide-biotin analogue)であり、それぞれ図22に示すようなサイズを有している。また、基板61は金基板であり、X,Yはこの金基板とチオールなどを用いて結合される。さらに、図23に示すように、この場合、最近接の結合部位A間の距離および最近接の結合部位B間の距離は10nm程度である。図24は図20に対応する図であり、xがXと、yがYと結合している。
この第6の実施形態によれば、測定しようとする対象物c,dの形状およびサイズがほぼ等しい場合においても、第5の実施形態と同様な利点を得ることができる。
以上、この発明の実施形態につき具体的に説明したが、この発明は、上述の実施形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。
例えば、上述の実施形態において挙げた数値、構造、配置、形状、材料などはあくまでも例に過ぎず、必要に応じてこれらと異なる数値、構造、配置、形状、材料などを用いてもよい。
アポクリン腺およびエクリン腺の構造を示す略腺図である。 この発明の第1の実施形態による腕時計型会話補助装置を示す斜視図である。 この発明の第1の実施形態による腕時計型会話補助装置を使用者が腕に装着した状態を示す平面図である。 この発明の第1の実施形態による腕時計型会話補助装置を使用者が腕に装着した状態を示す断面図である。 この発明の第2の実施形態による会話補助システムを構成する腕時計型受信表示装置を示す斜視図である。 この発明の第2の実施形態による会話補助システムを構成する靴を示す斜視図である。 この発明の第2の実施形態による会話補助システムを構成する腕時計型受信表示装置を使用者が腕に装着した状態を示す平面図である。 この発明の第2の実施形態による会話補助システムを構成する靴を使用者が履いた状態を示す平面図である。 この発明の第3の実施形態による腕時計型会話補助装置を示す斜視図である。 この発明の第4の実施形態による眼鏡型会話補助装置を示す正面図である。 この発明の第4の実施形態による眼鏡型会話補助装置を示す側面図である。 この発明の第4の実施形態による眼鏡型会話補助装置を示す斜視図である。 この発明の第4の実施形態による眼鏡型会話補助装置を使用者が装着した状態を示す正面図である。 この発明の第4の実施形態による眼鏡型会話補助装置を使用者が装着した状態を示す側面図である。 この発明の第5の実施形態によるセンサにより測定しようとする対象物の例を示す略線図である。 この発明の第5の実施形態によるセンサの結合部位が配置された基板を示す略線図である。 この発明の第5の実施形態によるセンサの使用方法を説明するための略線図である。 この発明の第5の実施形態によるセンサの使用方法を説明するための略線図である。 この発明の第5の実施形態によるセンサの使用方法を説明するための略線図である。 この発明の第6の実施形態によるセンサにより測定しようとする対象物の例を示す略線図である。 この発明の第6の実施形態によるセンサの使用方法を説明するための略線図である。 この発明の第6の実施形態によるセンサの使用方法を説明するための略線図である。 この発明の第6の実施形態によるセンサにおいて測定しようとする対象物の具体例を示す略線図である。 この発明の第6の実施形態によるセンサの結合部位が配置された基板の具体例を示す略線図である。 この発明の第6の実施形態によるセンサにおいて図9に示す対象物が図23に示す基板の結合部位に結合した状態を示す略線図である。
符号の説明
11,32…本体部、12,33…バンド、14,35…状態表示部、15,22…発汗センサ、16…脈拍センサ、17,23…血流センサ、21…靴、24,56…振動装置、25…発電装置、26…無線通信装置、31…腕時計型受信表示装置、41…無痛針、42…血液センサ、51…フレーム、52…レンズ、53…小型カメラ、54…アイカメラ、55…EOGセンサ電極、57…骨伝導装置、a,b,c,d…対象物、A,B,C,D…結合部位、61…基板、62…凹部

Claims (10)

  1. 時刻を表示する時計と状態表示部と情報処理部とを有する本体と、
    上記本体に接続されたバンドと、
    上記バンドの内側の面に取り付けられた発汗センサ、脈拍センサおよび血流センサとを有し、
    使用者が手首に装着した状態において、上記発汗センサ、上記脈拍センサおよび上記血流センサが手首の手の平に連なる側の表面に接触または近接するように構成され、
    上記発汗センサ、上記脈拍センサおよび上記血流センサによりそれぞれ発汗、脈拍および血流を測定し、それによって上記使用者の感情の変化を測定し、その測定結果に基づいて上記情報処理部で処理した結果を上記状態表示部に表示し、この表示に基づいて上記使用者による他者との会話を円滑に行うための腕時計型会話補助装置。
  2. 上記本体は振動装置を有し、上記測定結果に応じて、上記状態表示部における表示に代えて、または、上記状態表示部における表示とともに、上記振動装置により振動を発生させ、上記使用者の手首に伝える請求項1記載の腕時計型会話補助装置。
  3. 靴と、
    腕時計型受信表示装置とを有し、
    上記靴の内側の底面に発汗センサが装着され、上記靴の内側の先端部に血流センサが装着され、上記靴の後端部に無線通信装置が装着され、
    上記腕時計型受信表示装置は、時刻を表示する時計と状態表示部と情報処理部とを有する本体と、上記本体に接続されたバンドとを有し、
    使用者が上記靴を履き、上記腕時計型受信表示装置を手首に装着した状態において、上記発汗センサに上記使用者の足の裏が接触または近接し、上記血流センサに上記使用者の足のつま先が接触または近接するように構成され、
    上記発汗センサおよび上記血流センサによりそれぞれ発汗および血流を測定し、それによって上記使用者の感情の変化を測定し、上記発汗センサおよび上記血流センサによる計測データは電気信号として上記無線通信装置に送られ、上記無線通信装置から上記腕時計型受信表示装置に送信され、
    上記腕時計型受信表示装置の上記情報処理部で処理した結果を上記状態表示部に表示し、この表示に基づいて上記使用者による他者との会話を円滑に行うための会話補助システム。
  4. 上記靴の前方上部に振動装置が装着され、上記測定結果に応じて、上記腕時計型受信表示装置の上記状態表示部における表示に代えて、または、上記腕時計型受信表示装置の上記状態表示部における表示とともに、上記振動装置により振動を発生させ、上記使用者の足の甲に伝える請求項3記載の会話補助システム。
  5. 上記靴の内側の後方底部に発電装置が装着され、上記発電装置により上記発汗センサ、上記血流センサ、上記振動装置および上記無線通信装置に電力を供給するように構成されている請求項4記載の会話補助システム。
  6. 時刻を表示する時計と状態表示部と情報処理部とを有する本体と、
    上記本体に接続されたバンドと、
    上記バンドの内側の面に取り付けられた、1本または複数本の無痛針を有し、マイクロ流体技術を用いたラボ・オンチップを内蔵した血液センサとを有し、
    使用者が手首に装着した状態において、上記無痛針が手首の表面に刺さってその先端が手首の血管に到達するように構成され、
    上記無痛針の先端から血液を採取してその血中物質を上記ラボ・オンチップを用いて測定し、それによって上記使用者の感情の変化を測定し、その測定結果に基づいて上記情報処理部で処理した結果を上記状態表示部に表示し、この表示に基づいて上記使用者による他者との会話を円滑に行うための腕時計型会話補助装置。
  7. 情報処理部が埋め込まれたフレームとレンズとからなる眼鏡を有し、
    上記フレームの上記レンズに近い両側部に小型カメラが埋め込まれているとともに、上記フレームの上記レンズの上の部分にアイカメラが埋め込まれており、上記フレームのアーム部の側面に使用者の頭のこめかみに当たる部分に眼電図センサ電極が取り付けられており、
    上記レンズの内面に透過型ディスプレイが設けられており、
    上記小型カメラによる上記使用者の瞬目または顔の表情の測定、上記アイカメラによる上記使用者の眼球運動の測定および上記眼電図センサ電極による上記使用者の眼球運動または瞬目の測定により上記使用者の感情の変化を測定し、その測定結果に基づいて上記情報処理部で処理した結果を上記透過型ディスプレイに表示し、この表示に基づいて上記使用者による他者との会話を円滑に行うための眼鏡型会話補助装置。
  8. 上記フレームの上記アーム部の端面に振動装置または骨伝導装置が取り付けられており、上記測定結果に応じて、上記振動装置により振動を上記使用者の耳に伝え、上記骨伝導装置による骨伝導により音声伝達を行う請求項7記載の眼鏡型会話補助装置。
  9. 使用者の感情情報を検出する1つまたは複数のセンサと、
    上記センサにより検出される感情情報に基づいて所定の情報処理を行う情報処理手段と、
    上記情報処理の結果を出力する出力手段とを有し、
    上記センサの1つとして上記使用者の皮膚表面からの分泌物を計測するセンサを用い、このセンサは複数の分泌物がそれぞれ選択的に結合する複数の結合部位を有する検出部を有し、上記複数の分泌物がそれぞれ選択的に結合する結合部位における最近接の結合部位間の距離は、上記複数の分泌物のそれぞれが独立に結合するとした場合に、全ての結合部位にそれぞれの分泌物が立体障害を受けることなく同時に結合することができるように選ばれており、上記出力手段の出力に基づいて上記使用者による他者との会話を円滑に行うための会話補助装置。
  10. 上記複数の結合部位は、上記複数の分泌物がそれぞれ選択的に結合する結合部位に着目した場合に面心平面格子をなすように周期的に配置されている請求項9記載の会話補助装置。
JP2003280818A 2003-07-28 2003-07-28 腕時計型会話補助装置、会話補助システム、眼鏡型会話補助装置および会話補助装置 Expired - Fee Related JP4389512B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003280818A JP4389512B2 (ja) 2003-07-28 2003-07-28 腕時計型会話補助装置、会話補助システム、眼鏡型会話補助装置および会話補助装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003280818A JP4389512B2 (ja) 2003-07-28 2003-07-28 腕時計型会話補助装置、会話補助システム、眼鏡型会話補助装置および会話補助装置

Publications (3)

Publication Number Publication Date
JP2005046305A JP2005046305A (ja) 2005-02-24
JP2005046305A5 JP2005046305A5 (ja) 2006-06-15
JP4389512B2 true JP4389512B2 (ja) 2009-12-24

Family

ID=34266524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003280818A Expired - Fee Related JP4389512B2 (ja) 2003-07-28 2003-07-28 腕時計型会話補助装置、会話補助システム、眼鏡型会話補助装置および会話補助装置

Country Status (1)

Country Link
JP (1) JP4389512B2 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122154A (ja) * 2005-10-25 2007-05-17 Kozo Nagata サプライチェーンのソリューションシステム及びソリューション方法
JP2008119198A (ja) * 2006-11-10 2008-05-29 Tokai Rika Co Ltd 状況改善助言装置
JP5061931B2 (ja) * 2008-02-04 2012-10-31 ソニー株式会社 情報処理装置および情報処理方法
US8715178B2 (en) * 2010-02-18 2014-05-06 Bank Of America Corporation Wearable badge with sensor
US9138186B2 (en) * 2010-02-18 2015-09-22 Bank Of America Corporation Systems for inducing change in a performance characteristic
US8715179B2 (en) 2010-02-18 2014-05-06 Bank Of America Corporation Call center quality management tool
CN103339926A (zh) * 2011-11-24 2013-10-02 株式会社Ntt都科摩 表情输出装置和表情输出方法
JP5929145B2 (ja) * 2011-12-07 2016-06-01 株式会社ニコン 電子機器、情報処理方法およびプログラム
ITUD20120024A1 (it) * 2012-02-15 2013-08-16 Qbell Technology S P A Dispositivo elettronico visuale emozionale
US20130237867A1 (en) * 2012-03-07 2013-09-12 Neurosky, Inc. Modular user-exchangeable accessory for bio-signal controlled mechanism
JPWO2014129212A1 (ja) * 2013-02-22 2017-02-02 ソニー株式会社 画像表示装置及び画像表示方法、記憶媒体、並びにモニタリング・システム
US9213044B2 (en) * 2013-10-14 2015-12-15 Nokia Technologies Oy Deviational plane wrist input
EP3246870A4 (en) * 2015-01-14 2018-07-11 Sony Corporation Navigation system, client terminal device, control method, and storage medium
JP6798484B2 (ja) * 2015-05-07 2020-12-09 ソニー株式会社 情報処理システム、制御方法、およびプログラム
KR102196380B1 (ko) * 2016-07-21 2020-12-30 매직 립, 인코포레이티드 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술
EP3649949A4 (en) 2017-07-07 2020-09-23 Panasonic Intellectual Property Management Co., Ltd. INFORMATION PROVISION METHODS, INFORMATION PROCESSING SYSTEM, INFORMATION TERMINAL DEVICE AND INFORMATION PROCESSING METHODS
CN110249224B (zh) 2017-07-07 2021-12-31 松下知识产权经营株式会社 信息提供方法、信息处理系统、信息终端及信息处理方法
EP3649952B1 (en) 2017-07-07 2023-08-02 Panasonic Intellectual Property Management Co., Ltd. Information provision method, information processing system, information terminal, and information processing method
JP6970900B2 (ja) 2017-07-07 2021-11-24 パナソニックIpマネジメント株式会社 情報提供方法、情報処理システム、及び情報処理方法
JP6924970B2 (ja) 2017-07-07 2021-08-25 パナソニックIpマネジメント株式会社 情報提供方法、情報処理システム、情報端末、及び情報処理方法
WO2019008996A1 (ja) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 情報提供方法、情報処理システム、情報端末、及び情報処理方法
CN110573077B (zh) 2017-07-07 2022-08-12 松下知识产权经营株式会社 信息提供方法、信息处理系统、信息终端及信息处理方法
WO2019008970A1 (ja) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 情報提供方法、情報処理システム、情報端末、及び情報処理方法
CN110582700B (zh) 2017-07-07 2022-07-08 松下知识产权经营株式会社 信息提供方法、信息处理系统、信息终端及信息处理方法
CN110536637B (zh) 2017-07-07 2022-08-12 松下知识产权经营株式会社 信息提供方法、信息处理系统、信息终端及信息处理方法
KR20200026794A (ko) 2017-07-07 2020-03-11 파나소닉 아이피 매니지먼트 가부시키가이샤 정보 제공 방법, 정보 처리 시스템, 정보 단말, 및 정보 처리 방법
JP7153880B2 (ja) 2017-07-07 2022-10-17 パナソニックIpマネジメント株式会社 情報提供方法、情報処理システム、及び情報処理方法
JP6301547B1 (ja) * 2017-11-16 2018-03-28 朝美 鈴木 緊張型頭痛予測システム
JP2021035499A (ja) * 2020-10-14 2021-03-04 株式会社東芝 アイウエア、データ収集システム及びデータ収集方法
EP4202578A1 (en) * 2021-12-22 2023-06-28 Swatch Ag Method and system for keeping a first user and a second user continuously informed of their respective emotional states
JP2024082726A (ja) * 2022-12-09 2024-06-20 シチズン時計株式会社 判定装置、判定方法およびプログラム

Also Published As

Publication number Publication date
JP2005046305A (ja) 2005-02-24

Similar Documents

Publication Publication Date Title
JP4389512B2 (ja) 腕時計型会話補助装置、会話補助システム、眼鏡型会話補助装置および会話補助装置
US11504067B2 (en) Biometric, physiological or environmental monitoring using a closed chamber
Sun et al. A review of recent advances in vital signals monitoring of sports and health via flexible wearable sensors
US20210174778A1 (en) Biometric, physiological or environmental monitoring using a closed chamber
Angelov et al. Healthcare sensing and monitoring
Li et al. Recent progress of skin-integrated electronics for intelligent sensing
JP6803299B2 (ja) システム及び方法
Rodgers et al. Recent advances in wearable sensors for health monitoring
AU2014225626B2 (en) Form factors for the multi-modal physiological assessment of brain health
US9814425B2 (en) Health monitoring appliance
US8108036B2 (en) Mesh network stroke monitoring appliance
US8968195B2 (en) Health monitoring appliance
US8647268B2 (en) Patient monitoring apparatus
JP7048709B2 (ja) システム及び方法
US20150126825A1 (en) Physiological Monitoring Apparatus
Neťuková et al. Lower limb exoskeleton sensors: state-of-the-art
CN105873503A (zh) 脉搏波测定装置、便携式设备、医疗设备系统以及生物体信息通信系统
He et al. Toward wearable sensors: advances, trends, and challenges
Uniyal et al. Pervasive healthcare-a comprehensive survey of tools and techniques
Gao et al. Wearable technology for signal acquisition and interactive feedback in autism spectrum disorder intervention: A review
Lee et al. Real-time deep learning-assisted mechano-acoustic system for respiratory diagnosis and multifunctional classification
Pachkawade Bioinspired micro-electromechanical systems/nano-electromechanical systems: an overview, applications, and perspective
Tsiourti Artificial agents as social companions: design guidelines for emotional interactions
Díaz-Boladeras et al. Validation of a nonintrusive wearable device for distress estimation during robotic roller assisted gait
Lin et al. Biosensors and Human Behavior Measurement

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090928

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4389512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees