Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7756926B2 - 情報処理システム - Google Patents
[go: Go Back, main page]

JP7756926B2 - 情報処理システム - Google Patents

情報処理システム

Info

Publication number
JP7756926B2
JP7756926B2 JP2022531099A JP2022531099A JP7756926B2 JP 7756926 B2 JP7756926 B2 JP 7756926B2 JP 2022531099 A JP2022531099 A JP 2022531099A JP 2022531099 A JP2022531099 A JP 2022531099A JP 7756926 B2 JP7756926 B2 JP 7756926B2
Authority
JP
Japan
Prior art keywords
information processing
information
processing system
data
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022531099A
Other languages
English (en)
Other versions
JPWO2021255632A1 (ja
JPWO2021255632A5 (ja
Inventor
陽一郎 仁科
唐木 信太郎
ヤコブ チェルニャク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
K.K. FOVE
Original Assignee
K.K. FOVE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by K.K. FOVE filed Critical K.K. FOVE
Publication of JPWO2021255632A1 publication Critical patent/JPWO2021255632A1/ja
Publication of JPWO2021255632A5 publication Critical patent/JPWO2021255632A5/ja
Priority to JP2025009966A priority Critical patent/JP2025061772A/ja
Application granted granted Critical
Publication of JP7756926B2 publication Critical patent/JP7756926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Instruments for taking body samples for diagnostic purposes; Other methods or instruments for diagnosis, e.g. for vaccination diagnosis, sex determination or ovulation-period determination; Throat striking implements

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、情報処理システムに関する。
歩行動作に基づいて認知機能を評価することが行われている(特許文献1参照)。
特開2021-030050号公報
しかしながら、特許文献1に記載の方法では被験者に歩行させなくてはならない。
本発明はこのような背景を鑑みてなされたものであり、容易に認知機能を評価することのできる技術を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、情報処理システムであって、PHRデータを取得するPHRデータ取得部と、前記PHRデータを改善するための介入情報を記憶する介入情報記憶部と、ユーザの認知機能を評価するための評価情報を取得する評価情報取得部と、前記評価情報に基づく評価値が第1の閾値以下である場合に、前記PHRデータのうち前記PHRデータの種別のうち第2の閾値以下であるものを特定するPHR特定部と、特定した前記PHRデータに対応する前記介入情報を取得してユーザ端末に送信する介入情報送信部と、を備えることを特徴とする。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
本発明によれば、容易に認知機能を評価することができる
本実施形態の認知機能評価システムの全体構成例を示す図である。
管理サーバ20及びユーザ端末10を実現するコンピュータのハードウェア構成例を示す図である。
ユーザ端末10のソフトウェア構成例を示す図である。
管理サーバ20のソフトウェア構成例を示す図である。
認知機能のテスト時に表示される画面の一例を示す図である。
本願実施形態の認知機能評価システムの動作について説明する図である。
発明の概要
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
[項目1]PHRデータを取得するPHRデータ取得部と、
前記PHRデータを改善するための介入情報を記憶する介入情報記憶部と、
ユーザの認知機能を評価するための評価情報を取得する評価情報取得部と、
前記評価情報に基づく評価値が第1の閾値以下である場合に、前記PHRデータのうち前記PHRデータの種別のうち第2の閾値以下であるものを特定するPHR特定部と、
特定した前記PHRデータに対応する前記介入情報を取得してユーザ端末に送信する介入情報送信部と、
を備えることを特徴とする情報処理システム。
[項目2]項目1に記載の情報処理システムであって、
前記ユーザが装着する、前記ユーザの注視点を検出可能なヘッドマウントディスプレイと通信可能に接続され、
前記評価情報取得部は、前記ユーザに対する指示とともに、前記ヘッドマウントディスプレイに画像データを表示し、前記画像データ上の前記注視点を前記ヘッドマウントディスプレイから取得し、前記注視点に応じて前記認知機能を評価すること、
を特徴とする情報処理システム。
[項目3]項目1又は2に記載の情報処理システムであって、
前記PHRデータを入力データとし前記評価値を教師データとした機械学習により作成された学習モデルを記憶する学習モデル記憶部と、
取得した前記PHRデータを前記学習モデルに与えて前記評価値を予測する予測部と、
を備えることを特徴とする情報処理システム。
システムの概要
以下、本発明の一実施形態に係る認知機能評価システムについて説明する。本実施形態の認知機能評価システムは、認知症を診断使用とするものではなく、認知機能の状態を把握しようとするものである。
現状のHDS-RやMMSEといった1次スクリニーング検査として利用される検査手法は、認知症の発症有無を診断するツールとして利用されている。一方で、認知症については認知症としての診断がなされたとしても明確な回復手段が確立されていないというのが現状である。また、認知症の前段である軽度認知障害(MCI)の時点で状態を検知することで、概ね30%程度は健常な状態へ回復が可能と言われている。
認知症に関しては、早期介入、早期発見を行うことが重要であることが認識されているが、治療法が明確でない認知症か否かを診断することより、認知症の前段であるMCIに特化し、その進行状態を健常な状態から把握する、早期介入を行う必要であると言える。
本実施形態の認知機能評価システムでは、VR機器を用いて認知機能の状態を容易に把握し、これにより健常な状態から早期介入を行うことを可能とする。
図1は、本実施形態の認知機能評価システムの全体構成例を示す図である。本実施形態の認知機能評価システムは、管理サーバ20を含んで構成される。管理サーバ20は、ユーザ端末10と通信ネットワークを介して通信可能に接続される。通信ネットワークは、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット(登録商標)などにより構築される。
ユーザ端末10は、ユーザが操作する、たとえば、スマートウォッチやスマートフォン、タブレットコンピュータ、パーソナルコンピュータなどのコンピュータである。
HMD11は、VR機器であるヘッドマウントディスプレイである。HMD11は、画像(3次元画像であってもよいし、2次元画像であってもよい。また、動画像であってもよい。)を表示する。HMD11はまた、視線検出機能を備えており、ユーザが画像上のどこを見ているか(注視点)を取得することができる。
HMD11を使用することにより、自動的に暗室空間を作り出すことができる。また、HMD11を使用することにより、目線を検知するセンサーと眼球との物理的距離を狭めることができ、モニター型、タブレット型により視線追跡を行うための筐体を使用する際に比べて、高精度な眼球運動の追跡データ取得を行うことができる。
また、HMD11を使用することにより、モニター型、タブレット型により視線追跡を行うための筐体を使用する際に比べて、部屋の明るさ、筐体と利用者の顔までの距離、テスト時間中の顔の位置固定等が必要ではなくなる。
また、本実施形態の認知機能評価システムによれば、ユーザがHMD11を覗き込むだけで、簡便かつ低コスト、客観的、定量的、非言語依存で認知機能の評価を行うことが可能となる。
ユーザ端末10は、HMD11を制御する。ユーザ端末10は、HMD11に画像を表示させるとともに、HMD11において入力された又は検出されたデータをHMD11から取得することができる。HMD11は、コントローラ(不図示)と連動するようにしてもよく、コントローラからの入力を直接又はHMD11経由でユーザ端末10が受け付けることができる。
管理サーバ20は、認知機能の評価を行うコンピュータである。管理サーバ20は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。
[コンピュータ]図2は、管理サーバ20及びユーザ端末10を実現するコンピュータのハードウェア構成例を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。コンピュータは、CPU201、メモリ202、記憶装置203、通信インタフェース204、入力装置205、出力装置206を備える。記憶装置203は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース204は、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット(登録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのUSB(Universal Serial Bus)コネクタやRS232Cコネクタなどである。入力装置205は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置206は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。後述するユーザ端末10及び管理サーバ20が備える各機能部は、ユーザ端末10及び管理サーバ20において、CPU201が記憶装置203に記憶されているプログラムをメモリ202に読み出して実行することにより実現され、後述するユーザ端末10及び管理サーバ20が備える各記憶部は、ユーザ端末10及び管理サーバ20において、メモリ202及び記憶装置203が提供する記憶領域の一部として実現される。
[ユーザ端末10]図3は、ユーザ端末10のソフトウェア構成例を示す図である。ユーザ端末10は、PHRデータ取得部121、PHRデータ送信部122、テスト表示部123、注視点取得部124、回答入力部125、回答送信部126、介入情報出力部127、認知機能予測出力部128、PHR記憶部131を備える。
PHRデータ取得部121は、ユーザのPHR(Personal Health Record)データを取得する。PHRデータには、身体活動(運動量、歩数等)、体重、心拍(脈拍)、ストレス、血圧、睡眠時間、摂取した栄養、アルコール量、糖尿病等の持病などが含まれうる。ユーザ端末10は、例えば、3軸加速度センサや気圧計などを備えることができ、これらを用いてPHRデータ取得部121は、ユーザ端末10の移動量をユーザの移動量として把握し、身体活動データを取得することができる。また、PHRデータ取得部121は、この身体活動データを解析してユーザが睡眠しているか否かを定期的に検出し、睡眠している時間を合計して睡眠時間を計測することができる。また、ユーザ端末10は、心拍/脈拍センサを備えるようにし、このセンサを用いてPHRデータ取得部121は、心拍(脈拍)データを取得することができ、また心拍(脈拍)データを解析することによりユーザのストレス状態や睡眠等を評価することもできる。また、ユーザ端末10は、血圧センサを備えるようにして、PHRデータ取得部121はこのセンサを用いてユーザの血圧を測定するようにしてもよい。また、PHRデータ取得部121は、血圧計から血圧データを取得するようにしてもよい。また、PHRデータ取得部121は、ユーザに対してアンケートを行い、アルコールの摂取量や喫煙量などのPHRデータの入力を受け付けるようにしてもよい。PHRデータ取得部121は、取得したPHRデータをPHR記憶部131に登録する。
PHR記憶部131は、PHRデータを記憶する。PHR記憶部131は、例えば、スマートフォンの機能として備えられているものであってもよい。PHR記憶部131は、ユーザを示すユーザIDに対応付けて、PHRデータを計測又は計算した日時と、PHRデータの種別(運動量、歩数、体重、心拍、脈拍、ストレス、血圧、睡眠時間、栄養素、アルコール量、糖尿病など)と、PHRデータとを記憶することができる。
PHRデータ送信部122は、PHRデータを管理サーバ20に送信する。PHRデータ送信部122は、PHR記憶部131に記憶されているPHRデータを定期的に送信するようにしてもよいし、PHRデータ取得部121がPHRデータを取得する都度送信するようにしてもよい。
テスト表示部123は、ユーザの認知機能を評価するためのテスト問題を表示する。テスト問題は、管理サーバ20から提供される。本実施形態では、テスト問題は、ユーザに対する指示を示す文字列又は音声データと、画像データとが含まれることを想定している。テスト表示部123は、HMD11に画像データを表示するとともに、ユーザに対する指示を表示又は音声出力することができる。
注視点取得部124は、HMD11からユーザの注視点(ユーザが見ている画像上の位置)を取得する。
回答入力部125は、テストに係る質問に対するユーザの回答を取得する。回答入力部125は、注視点取得部124が取得する注視点を回答として受け付けることもできるし、ユーザ端末10が備えるタッチパネルやキーボード等の入力装置からユーザへのアンケートの回答を受け付けることもできる。
回答送信部126は、回答を管理サーバ20に送信する。回答には、注視点が含まれる。ユーザにアンケートを行った場合には、アンケートへの入力データを回答煮含めることもできる。
介入情報出力部127は、PHRデータに関連するアドバイス(介入情報)を出力する。介入情報は管理サーバ20から提供される。介入情報には、認知機能の改善に役立つ診断及び予防に関する情報が含まれうる。介入情報は、例えば、医療従事者により提供されうる。
認知機能予測出力部128は、PHRデータに基づくユーザの認知機能の予測評価値を出力する。認知機能の予測評価値は、管理サーバ20から提供される。例えば、PHRデータ送信部122が送信したPHRデータに応じて管理サーバ20から認知機能の予測評価値が応答され、認知機能予測出力部128は、この認知機能の予測評価値を表示することができる。また、認知機能予測出力部128は、認知機能の予測評価値の変化値(例えば、ユーザ端末10が予測評価値の履歴を記録する予測評価履歴記憶部を備えるようにし、取得した予測評価値が、直近の予測評価値や過去の所定期間の予測評価値の平均値等の集計値から所定値以上下がっている場合に、ユーザに対してアラートを出力するようにすることもできる。このアラートにより、ユーザは認知機能の評価テストを受けて状態を確認しようとする動機づけがなされうる。また、このアラートにより、ユーザは介入情報を確認して認知機能の低下対策をしようとする動機づけもなされうる。なお、アラートの出力時に、介入情報のリクエストを管理サーバ20に送信するようにしてもよい。
[管理サーバ20] 図4は、管理サーバ20のソフトウェア構成例を示す図である。管理サーバ20は、PHRデータ取得部211、テスト送信部212、回答取得部213、認知機能評価部214、学習処理部215、介入情報取得部216、介入情報送信部217、認知機能予測部218、PHR記憶部231、テスト記憶部232、介入情報記憶部233、学習モデル記憶部234を備える。
PHRデータ取得部211は、ユーザのPHRデータを取得する。PHRデータ取得部211は、ユーザ端末10からPHRデータを受信する。PHRデータ取得部211は、例えば、ユーザがPHRデータを管理しているコンピュータにアクセスしてPHRデータを取得するように構成することもできる。PHRデータ取得部211は、取得したPHRデータをPHR記憶部231に登録することができる。
PHR記憶部231は、PHRデータを記憶する。PHR記憶部231の構成は、ユーザ端末10が備えるPHR記憶部131と同一とすることができるが、その他の項目を加えるようにしてもよい。
テスト記憶部232は、認知機能を評価するためのテストを実施するための情報(テスト情報)を記憶する。テスト情報は、テストを特定するテストIDに対応付けて、設問及び画像を含むことができる。本実施形態では、テストでは、説明を表示するとともに、画像を見せて、ユーザが画像のどこを見ているかを検出した注視点に応じて認知機能の評価を行うことを想定している。なお、テスト情報には、問題画像と回答画像とを含めるようにすることもできる。
図5は、認知機能のテスト時に表示される画面の一例を示す図である。例えば、「記憶力問題」では、図5に示すように、設問31をテキストデータとして表示するとともに、記憶するべき図形(正解図形)を表示する問題画像32を表示することができる。例えば、図5に示す「記憶力問題」、「注意力問題」、「空間認知力問題」、「計算問題」などのそれぞれについてテスト情報を登録することができる。これらの設問31や問題画像32(正解画像及び間違い画像)をテスト情報に含めることができる。また、同一のテストIDを含むテスト情報を複数登録することができる。
テスト送信部212は、テスト情報をユーザ端末10に送信する。テスト送信部212は、特定のテストIDを含むテスト情報を全て同時に又は順次、テスト記憶部231から読み出してユーザ端末10に送信することができる。テスト情報に応じて、図5に示すような画面がHMD11に表示されることになる。
回答取得部213は、テストに対するユーザからの回答を受信する。本実施形態では、回答にはHMD11で測定された注視点が含まることを想定している。また、回答には、ユーザ端末10のタッチパネルやキーボードなどの入力装置により入力されたデータが含まれていてもよい。
認知機能評価部214は、回答に応じてユーザの認知機能を評価する。認知機能評価部214は、例えば、図5に示す「記憶力問題」のような画面において、設問31及び問題画像32(正解画像32)を表示し、その後、正解画像32と間違い画像とを含む回答画像(不図示)を表示し、回答画像中に正解画像の領域に注視点が存在する時間を計測し、所定時間以上正解画像上に注視点が存在していた場合に、正解したと判定することができる。
また、認知機能評価部214は、図5の「注意力問題」の画面においても、テキストデータの設問31と、正解画像321及び間違い画像322とを含む問題画像32を表示し、正解画像321の上に注視点が存在した時間に応じて正解、不正解を判定することができる。
そして、認知機能評価部214は、全ての回答に応じてユーザの認知機能を評価することができる。例えば、各設問に正解した割合(正解率)に応じて認知機能を評価することができる。
認知機能評価部214は、評価値をユーザ端末10に送信することができる。
学習処理部215は、認知機能の評価値と、PHRデータとの相関を解析することができる。学習処理部215は、例えば、PHRデータを入力データとし、認知機能の評価値を教師データとして機械学習を行い、学習モデルを作成することができる。学習処理部215が作成した学習モデルは、学習モデル記憶部234に登録することができる。また、学習処理部215は、学習モデル記憶部234に記憶されている学習モデルを新たなPHRデータを用いて学習させて更新することもできる。
学習モデル記憶部234は、学習モデルを記憶する。本実施形態では、複数のユーザのPHRデータを学習して1つの学習モデルを作成し、学習モデル記憶部234に登録することを想定するが、ユーザごとのPHRデータを学習して、ユーザごとに学習モデルを作成して学習モデル記憶部234に登録することもできる。
介入情報記憶部233は、介入情報を記憶する。介入情報記憶部233は、PHRデータの種別に対応付けて介入情報を記憶することができる。
介入情報取得部216は、介入情報を取得する。介入情報取得部216は、介入情報記憶部233に該当する種別の介入情報が登録されている場合には、介入情報記憶部233から介入情報を取得することができる。介入情報記憶部233に該当する種別の介入情報が登録されていない場合、介入情報取得部216は、医療従事者から介入情報の入力を受け付けるようにしてもよい。介入情報取得部216は、例えば、PHRデータと認知機能の評価値とを医療従事者の端末(不図示)に送信し、当該端末に入力された介入情報を取得するようにすることができる。介入情報取得部216は、取得した介入情報を介入情報記憶部233に登録することができる。
介入情報送信部217は、介入情報をユーザ端末10に送信する。介入情報送信部217は、例えば、PHRデータが所定の閾値以下(又は閾値以上)である場合に、介入情報をユーザ端末10に送信することができる。閾値は、例えば、一般的な健康診断や人間ドックに用いられている異常なしの値範囲を採用することができる。
なお、介入情報送信部217が認知機能評価部214による評価値を送信するようにしてもよい。
認知機能予測部218は、PHRデータに基づいて認知機能の予測評価値を求める。認知機能予測部218は、学習モデルにPHRデータを与えることにより認知機能の予測評価値を求めることができる。認知機能予測部218は、予測評価値をユーザ端末10に送信することができる。認知機能予測部218は、例えば、PHRデータをユーザ端末10から取得するたびに予測評価値を求めるようにすることができる。
[動作] 図6は、本願実施形態の認知機能評価システムの動作について説明する図である。
管理サーバ20は、ユーザ端末10からPHRデータを受信し(S301)、設問や問題画像を含むテスト情報をユーザ端末10に送信し(S302)、注視点を含むテストの回答をユーザ端末10から受信し(S303)、受信した回答に応じてユーザの認知機能を評価してユーザ端末10に送信する(S304)。
認知機能の評価値が所定の閾値未満である場合(S305:YES)、管理サーバ20は、平均よりも低いPHRデータの種別を特定し(S306)、特定した種別に対応する介入情報が登録されていない場合には(S307:NO)、医療従事者の端末にPHRデータ及び認知機能の評価値を送信して(S308)、医療従事者から入力された介入情報を取得する(S309)。管理サーバ20は、介入情報をユーザ端末10に送信する(S310)。
以上のようにして、本実施形態の認知機能評価システムによれば、認知機能低下の予防となるPHRデータへの介入を行うことができる。
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
例えば、本実施形態では、問題画像を見ていた注視点に基づいて認知機能の評価を行うものとしたが、その他の手法を用いて認知機能を評価することもできる。例えば、HMD11を用いて問題回答時におけるユーザの瞳孔のサイズと眼球運動とを観測し、ユーザの瞳孔の拡大縮小とマイクロサッケード運動とに基づいてユーザの認知機能を評価することができる。なお、瞳孔の拡大縮小及びマイクロサッケード運動に基づく認知機能の評価手法については、公知の手法を用いることができる。
また、ユーザの認証に虹彩認証を用いるようにしてもよい。この場合、HMD11において虹彩を撮影して、撮影した虹彩画像に基づいて一般的な虹彩認証の手法により認証を行うことができる。また、この場合に、ユーザごとのキャリブレーションデータを記憶するキャリブレーション記憶部を管理サーバ20に備えさせ、毎回のキャリブレーションを行うことなく、記憶されているデータに基づいてHMD11のキャリブレーションを行うようにすることができる。また、虹彩の撮影画像に基づいて、HMD11の装着具合のズレを検出し、キャリブレーションを自動調整(例えば、注視点のオフセット等の設定)を行うようにすることができる。
また、ユーザの認証に顔認識を用いるようにしてもよい。この場合、HMD11においてユーザの顔画像を撮影して、顔画像に基づいて一般的な顔認識の手法により認証を行うようにすることができる。また、この場合にも、ユーザごとのキャリブレーションデータを記憶するキャリブレーション記憶部を管理サーバ20に備えさせ、毎回のキャリブレーションを行うことなく、記憶されているデータに基づいてHMD11のキャリブレーションを行うようにすることができる。また、顔画像に基づいて、HMD11の装着具合のズレを検出し、キャリブレーションを自動調整(例えば、注視点のオフセット等の設定)を行うようにすることもできる。
また、本実施形態では、問題画像を表示して問題画像上の注視点を測定するとのみ記載したが、問題画像は3次元画像であってもよい。すなわち、3次元空間内でテスト問題を出題し、HMD11により3次元空間内での注視点を検出して、例えば、記憶問題として、店内を動いてどんな商品が陳列されていたかを回答させ、また、店内に居る人同士の会話の内容を回答させたりすることができる。この場合に、正解の回答の数(店内に陳列されていた商品と一致する商品を選択できた数や、会話に含まれていた単語を選択できた数など)をカウントして、正解率に応じて
また、HMD11によりユーザの視線を検出して、正解画像を見つめるまでの時間(注視点が正解画像上に到達するまでの時間)や、正解画像を見つめるまでの軌跡(注視点の移動軌跡)などに応じて、上述した各種能力の評価を行うこともできる。ここで、3次元空間での注視点を検知し、ユーザが注視した点の奥行きを判断して診断するようにすることもできる。例えば、正解画像を見つめるまでの時間が短いほど高くなるように認知機能を評価することができる。また、例えば、正解画像が表示されてから、ユーザの注視点が正解画像の領域内に到達して領域内に所定時間以上留まるようになるまでの注視点の移動軌跡の長さが短いほど高くなるように認知機能を評価することができる。また3次元空間での注視点(x、y、z座標)を検出して、注視した点に正解のオブジェクトが存在しているか否か(すなわち、正解のオブジェクトが存在する方向に漠然と顔を向けただけではなく、正解のオブジェクトに焦点を合わせたか否か)に応じて、認知できたか否かを判定することができる。
また、例えば、2次元または3次元の空間内に回答(絵でも文字でもよい)を配置し、ユーザの視線及び注視点を検出し、利用者が注視していた位置に配置されている回答を検出するようにすることができる。
また、画面や音での指示・刺激に対して瞳孔径の変化を計測し、瞳孔系に基づいて認知機能の評価を行うこともできる。
10 ユーザ端末
11 HMD
20 管理サーバ
121 PHRデータ取得部
122 PHRデータ送信部
123 テスト表示部
124 注視点取得部
125 回答入力部
126 回答送信部
127 介入情報出力部
128 認知機能予測出力部
131 PHR記憶部
211 PHRデータ取得部
212 テスト送信部
213 回答取得部
214 認知機能評価部
215 学習処理部
216 介入情報取得部
217 介入情報送信部
218 認知機能予測部
231 PHR記憶部
232 テスト記憶部
233 介入情報記憶部
234 学習モデル記憶部

Claims (9)

  1. ユーザの認知機能を評価するための評価情報を取得する評価情報取得部と、
    複数のPHRデータの種類のそれぞれに対応付けて、前記認知機能を改善するための介入情報を記憶する介入情報記憶部と、
    前記評価情報に基づく評価値が第1の閾値以下である場合に、前記PHRデータのうち第2の閾値以下であるものを特定するPHR特定部と、
    特定した前記PHRデータの種類に対応する前記介入情報を取得する介入情報取得部と、
    を備えることを特徴とする情報処理システム。
  2. 請求項1に記載の情報処理システムであって、
    前記ユーザが装着する、前記ユーザの注視点を検出可能なヘッドマウントディスプレイと通信可能に接続され、
    前記評価情報取得部は、前記ユーザに対する指示とともに、前記ヘッドマウントディスプレイに画像データを表示し、前記画像データ上の前記注視点を前記ヘッドマウントディスプレイから取得し、前記注視点に応じて前記認知機能を評価すること、
    を特徴とする情報処理システム。
  3. 請求項1又は2に記載の情報処理システムであって、
    前記PHRデータを入力データとし前記評価値を教師データとした機械学習により作成された学習モデルを記憶する学習モデル記憶部と、
    取得した前記PHRデータを前記学習モデルに与えて前記評価値を予測する予測部と、
    を備えることを特徴とする情報処理システム。
  4. 請求項1に記載の情報処理システムであって、
    PHRデータ取得部を備え、
    前記PHRデータは、運動量や歩数を含む身体活動、体重、心拍、脈拍、ストレス、血圧、睡眠時間、栄養素、アルコール量、糖尿病を含む持病に関するデータを含むこと、
    を特徴とする情報処理システム。
  5. 請求項1に記載の情報処理システムであって、
    前記評価情報取得部は、前記ユーザによる問題への回答に応じて認知機能を評価すること、
    を特徴とする情報処理システム。
  6. 請求項1に記載の情報処理システムであって、
    前記評価情報取得部は、前記ユーザの注視点に基づく回答に応じて認知機能を評価すること、
    を特徴とする情報処理システム。
  7. 請求項1に記載の情報処理システムであって、
    ヘッドマウントディスプレイが、虹彩認証機能を備え、前記虹彩認証機能により前記ユーザを識別すること、
    を特徴とする情報処理システム。
  8. 請求項1に記載の情報処理システムであって、
    ヘッドマウントディスプレイが、虹彩認証の結果に応じて、キャリブレーションデータを用いてキャリブレーションを行うこと、
    を特徴とする情報処理システム。
  9. ユーザの認知機能を評価するための評価情報を取得するステップと、
    複数のPHRデータの種類のそれぞれに対応付けて、前記認知機能を改善するための介入情報を記憶する介入情報記憶部と、
    前記評価情報に基づく評価値が第1の閾値以下である場合に、前記PHRデータのうち第2の閾値以下であるものを特定するステップと、
    特定した前記PHRデータの種類に対応する前記介入情報を取得するステップと、
    をコンピュータが実行することを特徴とする情報処理方法。
JP2022531099A 2020-06-15 2021-06-15 情報処理システム Active JP7756926B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025009966A JP2025061772A (ja) 2020-06-15 2025-01-23 情報処理システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020103411 2020-06-15
JP2020103411 2020-06-15
PCT/IB2021/055254 WO2021255632A1 (ja) 2020-06-15 2021-06-15 情報処理システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2025009966A Division JP2025061772A (ja) 2020-06-15 2025-01-23 情報処理システム

Publications (3)

Publication Number Publication Date
JPWO2021255632A1 JPWO2021255632A1 (ja) 2021-12-23
JPWO2021255632A5 JPWO2021255632A5 (ja) 2024-06-25
JP7756926B2 true JP7756926B2 (ja) 2025-10-21

Family

ID=79268651

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022531099A Active JP7756926B2 (ja) 2020-06-15 2021-06-15 情報処理システム
JP2025009966A Pending JP2025061772A (ja) 2020-06-15 2025-01-23 情報処理システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2025009966A Pending JP2025061772A (ja) 2020-06-15 2025-01-23 情報処理システム

Country Status (2)

Country Link
JP (2) JP7756926B2 (ja)
WO (1) WO2021255632A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025154690A1 (ja) * 2024-01-19 2025-07-24 株式会社Fove ヘッドマウントディスプレイ、および、視力検査方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013010501A (ja) 2012-07-26 2013-01-17 Denso Corp 車両制御装置
US20150120081A1 (en) 2013-10-25 2015-04-30 International Business Machines Corporation Cognitive state supported automotive travel
JP2015141312A (ja) 2014-01-29 2015-08-03 株式会社東芝 表示装置及び視線推定装置
US20160073947A1 (en) 2014-09-17 2016-03-17 Glen J. Anderson Managing cognitive assistance
US20180218268A1 (en) 2017-01-30 2018-08-02 International Business Machines Corporation System, method and computer program product for sensory stimulation to ameliorate a cognitive state
WO2019098173A1 (ja) 2017-11-14 2019-05-23 国立大学法人大阪大学 認知機能障害診断装置および認知機能障害診断プログラム
WO2019188398A1 (ja) 2018-03-30 2019-10-03 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
JP2019534061A (ja) 2016-08-26 2019-11-28 アキリ・インタラクティヴ・ラブズ・インコーポレイテッド 生理学的コンポーネントに接続された認知プラットフォーム
JP2020501853A (ja) 2016-11-17 2020-01-23 コグニート セラピューティクス,インク. 視覚刺激を介した神経刺激のための方法およびシステム
CN110801237A (zh) 2019-11-10 2020-02-18 中科搏锐(北京)科技有限公司 一种基于眼动和脑电特征的认知能力评估系统及其方法
JP2020032077A (ja) 2018-08-31 2020-03-05 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282992A (ja) * 2006-04-19 2007-11-01 Sky Kk 認知症診断支援システム
CN104246781B (zh) * 2012-03-29 2019-06-14 皇家飞利浦有限公司 用于改进神经科医师的关于阿尔茨海默氏病的工作流程的系统与方法
JP6699658B2 (ja) * 2015-04-22 2020-05-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN105022929B (zh) * 2015-08-07 2018-05-08 北京环度智慧智能技术研究所有限公司 一种人格特质值测验的认知准确度分析方法
US10332315B2 (en) * 2016-06-20 2019-06-25 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
KR101983279B1 (ko) * 2017-03-23 2019-05-30 사회복지법인 삼성생명공익재단 가상현실을 이용한 신경질환 진단 장치 및 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013010501A (ja) 2012-07-26 2013-01-17 Denso Corp 車両制御装置
US20150120081A1 (en) 2013-10-25 2015-04-30 International Business Machines Corporation Cognitive state supported automotive travel
JP2015141312A (ja) 2014-01-29 2015-08-03 株式会社東芝 表示装置及び視線推定装置
US20160073947A1 (en) 2014-09-17 2016-03-17 Glen J. Anderson Managing cognitive assistance
JP2019534061A (ja) 2016-08-26 2019-11-28 アキリ・インタラクティヴ・ラブズ・インコーポレイテッド 生理学的コンポーネントに接続された認知プラットフォーム
JP2020501853A (ja) 2016-11-17 2020-01-23 コグニート セラピューティクス,インク. 視覚刺激を介した神経刺激のための方法およびシステム
US20180218268A1 (en) 2017-01-30 2018-08-02 International Business Machines Corporation System, method and computer program product for sensory stimulation to ameliorate a cognitive state
WO2019098173A1 (ja) 2017-11-14 2019-05-23 国立大学法人大阪大学 認知機能障害診断装置および認知機能障害診断プログラム
WO2019188398A1 (ja) 2018-03-30 2019-10-03 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
JP2020032077A (ja) 2018-08-31 2020-03-05 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
CN110801237A (zh) 2019-11-10 2020-02-18 中科搏锐(北京)科技有限公司 一种基于眼动和脑电特征的认知能力评估系统及其方法

Also Published As

Publication number Publication date
JPWO2021255632A1 (ja) 2021-12-23
JP2025061772A (ja) 2025-04-11
WO2021255632A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
US11961620B2 (en) Method and apparatus for determining health status
US11998336B2 (en) Systems and methods for assessing user physiology based on eye tracking data
US11179093B2 (en) Apparatus and method for evaluating cognitive function
KR101983279B1 (ko) 가상현실을 이용한 신경질환 진단 장치 및 방법
CN109285602B (zh) 用于自我检查用户眼睛的主模块、系统和方法
US20050165327A1 (en) Apparatus and method for detecting the severity of brain function impairment
JP2002163361A (ja) 神経学的病理診断装置及び方法
JP2024512045A (ja) メンタルヘルスを診断および監視するための視覚システム
JP2019523027A (ja) 記憶及び機能の衰えの記録及び分析のための装置及び方法
CN102458220A (zh) 形状辨别视力评估和跟踪系统
US20240115213A1 (en) Diagnosing and tracking stroke with sensor-based assessments of neurological deficits
CN112535479B (zh) 一种情绪加工倾向的确定方法及相关产品
EP3867925A1 (en) Medical condition sensor
US20210236023A1 (en) TECHNOLOGY ADAPTED TO ENABLE IMPROVED COLLECTION OF INVOLUNTARY EYELlD MOVEMENT PARAMETERS, INCLUDING COLLECTION OF EYELlD MOVEMENT PARAMETERS TO SUPPORT ANALYSIS OF NEUROLOGICAL FACTORS
CN115497621A (zh) 一种老年人认知状况测评系统
KR20220047187A (ko) 피처 결합을 이용한 인지 기능 검사 방법 및 서버
US20190130077A1 (en) Sensor system and method for cognitive health assessment
JP2025061772A (ja) 情報処理システム
JP7599478B2 (ja) 情報処理方法、コンピュータプログラム、情報処理装置及び情報処理システム
CN120108725A (zh) 一种健康状态评估方法、装置、机器人及存储介质
TWI704579B (zh) 健康管理方法與系統
CN114746017B (zh) 通过处理受试对象对刺激的反应来测试认知的方法和系统
KR20230163822A (ko) 비대면 질환 진단 방법 및 장치
CN120676903A (zh) 神经状态评价系统、神经状态评价方法和神经状态评价程序
WO2025049707A1 (en) Systems and methods for determining memory metrics

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240617

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20241122

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20241122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250311

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20250514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251001

R150 Certificate of patent or registration of utility model

Ref document number: 7756926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150