JP7703218B2

JP7703218B2 - Biofeedback Device

Info

Publication number: JP7703218B2
Application number: JP2021142090A
Authority: JP
Inventors: 義徳山川
Original assignee: Brain Impact ISH
Current assignee: Brain Impact ISH
Priority date: 2021-09-01
Filing date: 2021-09-01
Publication date: 2025-07-07
Anticipated expiration: 2041-09-01
Also published as: JP2023035319A

Description

本発明は、バイオフィードバック装置に関する。
より詳細には、被験者または患者に対し、所定の視聴覚情報を提供しながら生体情報を計測し、被験者または患者の精神状態を推定することで、被験者または患者の心身状態を向上させるバイオフィードバック装置に関する。 The present invention relates to a biofeedback device.
More specifically, the present invention relates to a biofeedback device that improves the mental and physical condition of a subject or patient by providing the subject or patient with predetermined audiovisual information while measuring bioinformation and estimating the mental state of the subject or patient.

バイオフィードバックとは、特許文献１等に示されるように、心拍数等の、日常生活では数値として知覚できない生体情報をリアルタイムで被験者または患者に提示（フィードバック）することで、通常であれば自ら意識できない状態を制御するべく訓練する手法である。
バイオフィードバックにおける生体情報を脳情報にて応用した手法として、特許文献２等に開示されるニューロフィードバックがある。ニューロフィードバックとは、被験者または患者が自らの脳活動に関するフィードバックを受けることで、脳活動を自らの意思で制御するべく訓練する手法である。 As described in Patent Document 1, etc., biofeedback is a technique for training a subject or patient to control conditions that they would normally be unconscious of by presenting (feeding back) biological information, such as heart rate, which cannot be perceived as a number in everyday life, to the subject or patient in real time.
As a method of applying biological information in biofeedback to brain information, there is neurofeedback disclosed in Patent Document 2 etc. Neurofeedback is a method in which a subject or patient receives feedback regarding his or her own brain activity, thereby training the subject or patient to control his or her own brain activity at will.

特許文献１には、被評価者の姿勢の変化に伴う心拍データの変化から、被評価者の体調を正確に評価することができる体調評価方法及び体調評価システムが開示されている。
特許文献２には、計測される脳領域間の結合の相関をフィードバック情報に利用して、脳領域間の結合の相関を変化させる訓練を行うための脳活動訓練装置が開示されている。
特許文献３には、脳解析情報を扱い易い値に変換し、健康の指標として使用することができる、発明者らによる脳情報解析装置と脳健康指標演算装置が開示されている。
特許文献４には、架台のボア内の居住性を向上可能な磁気共鳴イメージング装置が開示されている。 Patent Document 1 discloses a method and system for evaluating physical condition that can accurately evaluate the physical condition of a person being evaluated from changes in heart rate data that accompany changes in the person's posture.
Patent Document 2 discloses a brain activity training device that uses the measured correlation of connections between brain regions as feedback information to perform training to change the correlation of connections between brain regions.
Patent Document 3 discloses a brain information analysis device and a brain health index calculation device developed by the inventors, which can convert brain analysis information into easy-to-handle values and use them as health indexes.
Patent Document 4 discloses a magnetic resonance imaging apparatus capable of improving the habitability within the bore of the gantry.

なお、これ以降、本明細書において脳画像データから得られる情報を、脳情報と総称する。脳情報とは例えば、脳画像データを画像解析した結果得られる、脳の特定部位における灰白質の量や、脳の特定部位における神経線維の異方性、脳活動に関連した血流動態反応に基づく大脳皮質領域の反応性や領域間の同期性等である。
脳情報は、特許文献３にも開示されている他、本発明において重要なキーワードである。 In the following description, information obtained from brain image data is collectively referred to as brain information. Examples of brain information include the amount of gray matter in a specific region of the brain, the anisotropy of nerve fibers in a specific region of the brain, and the reactivity of cerebral cortical regions and synchrony between regions based on hemodynamic responses related to brain activity, which are obtained as a result of image analysis of brain image data.
Brain information is also disclosed in Patent Document 3 and is an important keyword in the present invention.

特開２０２０－１１３１１８号公報JP 2020-113118 A 再表２０１９／１７２２４５号公報Re-table 2019/172245 publication 特開２０１８－３３５１６号公報JP 2018-33516 A 特許６７７５９４３号公報Patent No. 6775943

バイオフィードバックやニューロフィードバックの目的は、被験者または患者の心身の健康、特に精神面の健康を向上させることである。しかしながら、これまでのバイオフィードバックは、取得した生体情報に基づいて被験者又は患者の精神状態等をディスプレイ表示する際の、精神状態を表示する精度が必ずしも高くはない、という課題があった。また、特許文献２に開示されるニューロフィードバックは、ＭＲＩ装置の使用が前提条件であり、システムの運用コストが無視できない。 The purpose of biofeedback and neurofeedback is to improve the physical and mental health, especially the mental health, of a subject or patient. However, previous biofeedback techniques have had the problem that the accuracy of displaying the mental state of a subject or patient based on acquired bioinformation is not necessarily high. In addition, the neurofeedback disclosed in Patent Document 2 requires the use of an MRI device, and the operating costs of the system are not negligible.

本発明はかかる課題を解決し、低コストかつ高精度で、被験者または患者の生体情報から精神状態を推定するバイオフィードバック装置を提供することを目的とする。 The present invention aims to solve these problems and provide a biofeedback device that estimates the mental state of a subject or patient from their biometric information at low cost and with high accuracy.

上記課題を解決するために、本発明のバイオフィードバック装置は、被験者に対して感情面における刺激を与えるための、少なくとも映像を含む映像コンテンツを前記被験者に閲覧させるための映像表示装置と、映像表示装置に映像コンテンツを表示させた状態で、所定の生体情報取得用センサを用いて被験者の生体情報を取得し、生体情報に基づいて前記被験者の脳情報を推定して推定脳情報を出力する脳情報推定装置と、被験者の生体情報と推定脳情報に基づいて被験者の精神状態を推定して推定精神状態情報を出力する精神状態推定装置と、を備える。
そして、本発明のバイオフィードバック装置において、脳情報は、学習用被験者からｆＭＲＩ装置が生成したＭＲＩ画像ファイル群から得られる灰白質量と、神経線維異方性と、大脳皮質領域間相互作用であり、脳情報推定装置は、複数名の学習用被験者から得られる生体情報を入力データとし、脳情報をラベルとして学習処理を行うことで形成されるニューラルネットワークであり、精神状態推定装置は、複数名の学習用被験者から得られる生体情報及び脳情報を入力データとし、学習用被験者に対して実施したアンケート結果をラベルとして学習処理を行うことで形成されるニューラルネットワークである。 In order to solve the above problems, the biofeedback device of the present invention comprises a video display device for allowing a subject to view video content including at least a video in order to provide emotional stimulation to the subject, a brain information estimation device for acquiring bioinformation of the subject using a predetermined bioinformation acquisition sensor while the video content is displayed on the video display device, estimating brain information of the subject based on the bioinformation and outputting estimated brain information, and a mental state estimation device for estimating the subject's mental state based on the subject's bioinformation and estimated brain information, and outputting estimated mental state information .
In the biofeedback device of the present invention, the brain information is gray matter volume, nerve fiber anisotropy, and interaction between cerebral cortical regions obtained from a group of MRI image files generated by an fMRI device from a training subject , the brain information estimation device is a neural network formed by performing a learning process using biological information obtained from a plurality of training subjects as input data and brain information as labels, and the mental state estimation device is a neural network formed by performing a learning process using biological information and brain information obtained from a plurality of training subjects as input data and results of a questionnaire administered to the training subjects as labels.

本発明により、低コストかつ高精度で、被験者または患者の生体情報から精神状態を推定するバイオフィードバック装置を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 According to the present invention, it is possible to provide a biofeedback device that estimates the mental state of a subject or patient from biological information at low cost and with high accuracy.
Problems, configurations and effects other than those described above will become apparent from the following description of the embodiments.

本発明の実施形態に係るバイオフィードバック装置を示す概略図である。FIG. 1 is a schematic diagram illustrating a biofeedback device according to an embodiment of the present invention. バイオフィードバック装置の情報取得時における使用状態を示す概略図である。FIG. 2 is a schematic diagram showing a state in which the biofeedback device is used when acquiring information. ｆＭＲＩ装置の模式的断面図である。FIG. 1 is a schematic cross-sectional view of an fMRI device. バイオフィードバック装置のハードウェア構成を示すブロック図である。FIG. 2 is a block diagram showing a hardware configuration of the biofeedback device. バイオフィードバック装置のソフトウェア機能を示すブロック図である。FIG. 2 is a block diagram showing the software functions of the biofeedback device. 脳情報圧縮演算処理部の内部処理の詳細を示すブロック図である。13 is a block diagram showing details of internal processing of the brain information compression calculation processing unit. FIG. 各種テーブルのフィールド構成を示す図である。FIG. 4 is a diagram showing field configurations of various tables. バイオフィードバック装置の学習モードにおける処理手順を示すフローチャートである。10 is a flowchart showing a processing procedure in a learning mode of the biofeedback device. 圧縮脳情報学習処理、圧縮脳情報推定処理、被験者精神状態学習処理及び被験者精神状態推定処理を示す概略図である。FIG. 11 is a schematic diagram showing compressed brain information learning processing, compressed brain information estimation processing, subject mental state learning processing, and subject mental state estimation processing. 脳情報推定装置と精神状態推定装置の機能ブロック図である。FIG. 2 is a functional block diagram of the brain information estimation device and the mental state estimation device. バイオフィードバック装置の推定モードにおける処理手順を示すフローチャートである。11 is a flowchart showing a processing procedure in an estimation mode of the biofeedback device.

本発明は、先ず、心と脳と身体状態のデータベース、すなわち、精神状態と脳情報と生体情報のデータベースを構築する。これが脳情報データベースである。
次に本発明は、脳情報データベースを基にＤＮＮ（Deep Neural Network）を用いて、生体情報から脳情報を推定する装置を構築する。これが脳情報推定装置である。
次に本発明は、脳情報データベースを基にＤＮＮを用いて、脳情報から精神状態を推定する装置を構築する。これが精神状態推定装置である。
次に本発明は、上述の脳情報推定装置と精神状態推定装置を組み合わせて、生体情報から脳情報を推定し、推定した脳情報から精神状態を推定する装置を構築する。これがバイオフィードバック装置である。
なお、本発明の実施形態として、バイオフィードバック装置を説明するが、以上の説明より明らかなように、バイオフィードバック装置は、脳情報推定装置及び精神状態推定装置を構成要素として内包する。そして、脳情報推定装置及び精神状態推定装置は脳情報データベースを基に構築される。 In the present invention, first, a database of the mind, brain, and physical state, that is, a database of mental state, brain information, and biological information is constructed. This is the brain information database.
Next, the present invention constructs a device that estimates brain information from biological information using a deep neural network (DNN) based on a brain information database. This is the brain information estimation device.
Next, the present invention constructs a device that estimates a mental state from brain information using a DNN based on a brain information database. This is the mental state estimation device.
Next, the present invention combines the above-mentioned brain information estimation device and mental state estimation device to construct a device that estimates brain information from biological information and estimates the mental state from the estimated brain information. This is a biofeedback device.
As an embodiment of the present invention, a biofeedback device will be described, but as is clear from the above description, the biofeedback device includes a brain information estimation device and a mental state estimation device as components. The brain information estimation device and the mental state estimation device are constructed based on a brain information database.

人の心と体の間には脳が存在する。つまり、人の生体情報からいきなり精神状態を推定するよりも、生体情報から脳情報を推定して、推定脳情報から精神状態を推定する方が、推定精度が高い。更に、脳情報と精神状態との関連性を脳情報データベースから導き出すことができるので、脳情報データベースに蓄積されるデータ量が多くなるほど、バイオフィードバック装置における精神状態の推定精度の向上が見込まれる。
本発明は、発明者が特許文献３等を始めとする、脳情報に関する知見の蓄積により完成した。 The brain exists between the human mind and body. In other words, it is more accurate to estimate a person's mental state from the estimated brain information, rather than directly estimating the mental state from the person's biological information. Furthermore, since the correlation between brain information and the mental state can be derived from the brain information database, the more data is stored in the brain information database, the more accurate the estimation of the mental state in the biofeedback device is expected to be.
The present invention was completed by the inventors through the accumulation of knowledge regarding brain information, including that found in Patent Document 3 and the like.

図１は、本発明の実施形態に係るバイオフィードバック装置１０１を示す概略図である。
被験者１０２は、映像コンテンツを閲覧するための映像表示装置であるＶＲゴーグル１０３を装着し、ＶＲコンテンツＶ１０４を閲覧し、及び／またはＶＲゲームに興じる。
その際、被験者１０２から種々のセンサによって生体情報が取得される。 FIG. 1 is a schematic diagram illustrating a biofeedback device 101 according to an embodiment of the present invention.
A subject 102 wears VR goggles 103, which is a video display device for viewing video content, and views VR content V104 and/or plays a VR game.
At that time, biological information is acquired from the subject 102 by various sensors.

バイオフィードバック装置１０１は、ＶＲコンテンツＶ１０４及び／またはＶＲゲームの再生を行うと同時に、被験者１０２の生体情報を取得する。そして、バイオフィードバック装置１０１は、被験者１０２の生体情報から被験者１０２の脳情報を推定する。更にバイオフィードバック装置１０１は、推定した被験者１０２の脳情報から被験者１０２の精神状態を推定する。
推定した被験者１０２の脳情報及び精神状態は、例えばネットワーク１０５を通じて端末１０６にて表示される。なお、バイオフィードバック装置１０１はスタンドアロン構成でもよい。その場合、端末１０６は不要になる。
バイオフィードバック装置１０１は、被験者１０２の推定脳情報と推定精神状態から、ＶＲコンテンツＶ１０４及び／またはＶＲゲームの継続、切り替え、あるいは停止等を判断する。 The biofeedback device 101 acquires bio-information of the subject 102 while playing back the VR content V104 and/or the VR game. The biofeedback device 101 then estimates brain information of the subject 102 from the bio-information of the subject 102. Furthermore, the biofeedback device 101 estimates the mental state of the subject 102 from the estimated brain information of the subject 102.
The estimated brain information and mental state of the subject 102 are displayed on the terminal 106 via the network 105, for example. The biofeedback device 101 may have a stand-alone configuration. In that case, the terminal 106 is not necessary.
The biofeedback device 101 determines whether to continue, switch, or stop the VR content V104 and/or the VR game based on the estimated brain information and estimated mental state of the subject 102.

本発明におけるバイオフィードバック装置１０１は、被験者１０２が訓練を意識することなく、ＶＲコンテンツＶ１０４に興じるだけで、被験者１０２の心身の健康向上が期待できるという点において、従来技術におけるバイオフィードバックと異なる。よって、被験者１０２の精神的負担は軽微であり、被験者１０２は気軽にバイオフィードバックを受けることができる。 The biofeedback device 101 of the present invention differs from biofeedback in conventional technology in that the subject 102 is expected to improve his or her mental and physical health simply by enjoying the VR content V104 without the subject 102 being conscious of training. Therefore, the mental burden on the subject 102 is minor, and the subject 102 can receive biofeedback casually.

バイオフィードバック装置１０１は、その内部に脳情報推定装置と精神状態推定装置を内包する。
脳情報推定装置は、被験者１０２の生体情報の入力を受けると、被験者１０２の脳情報を推定し、推定圧縮脳情報を出力する。
精神状態推定装置は、被験者１０２の圧縮脳情報の入力を受けると、被験者１０２の精神状態を推定し、推定精神状態情報を出力する。 The biofeedback device 101 incorporates a brain information estimation device and a mental state estimation device.
When the brain information estimation device receives input of biological information of the subject 102, it estimates brain information of the subject 102 and outputs estimated compressed brain information.
When the mental state estimation device receives compressed brain information of the subject 102 as an input, it estimates the mental state of the subject 102 and outputs estimated mental state information.

図２は、バイオフィードバック装置１０１の情報取得時における使用状態を示す概略図である。
図３は、ｆＭＲＩ装置２０１の模式的断面図である。
バイオフィードバック装置１０１を構成する脳情報推定装置と精神状態推定装置は、脳情報データベースに後述する学習処理を施すことで、構成される。
なお、図２及び図３に図示されている被験者は、図１の被験者１０２とは別の、脳情報データベースにデータを収集して蓄積するための被験者なので、学習用被験者２０６として区別する。 FIG. 2 is a schematic diagram showing a state in which the biofeedback device 101 is used when acquiring information.
FIG. 3 is a schematic cross-sectional view of the fMRI device 201.
The brain information estimation device and mental state estimation device constituting the biofeedback device 101 are configured by performing a learning process, which will be described later, on a brain information database.
2 and 3 is a subject for collecting and storing data in a brain information database, different from the subject 102 in FIG. 1, and is therefore distinguished as a learning subject 206.

ｆＭＲＩ装置２０１（functional magnetic resonance imaging）は、通常のＭＲＩと比べ、学習用被験者２０６の脳活動に関連した血流動態反応をもデータ化できるＭＲＩ装置である。
図３に示すように、ｆＭＲＩ装置２０１には、特許文献４に開示されているものと同様の、学習用被験者２０６に映像を表示する反射板３０１とレンズ３０２を有するプロジェクタ３０３が、学習用被験者２０６の頭上に設置されている。また、反射板３０１の近傍には、学習用被験者２０６の顔を撮影する不図示のカメラが取り付けられている。このカメラは、学習用被験者２０６の脈拍を検出し、脈拍信号として出力することができる。カメラは更に、学習用被験者２０６の瞳孔を撮影し、瞳孔径を計測することができる。他にも、ｆＭＲＩ装置２０１には学習用被験者２０６の血圧や心拍、発汗等を取得するセンサが設けられている。 The fMRI (functional magnetic resonance imaging) device 201 is an MRI device that, unlike ordinary MRI, can also digitize the hemodynamic response associated with the brain activity of a learning subject 206 .
As shown in Fig. 3, in the fMRI device 201, a projector 303 having a reflector 301 and a lens 302 for displaying an image on the learning subject 206, similar to those disclosed in Patent Document 4, is installed above the head of the learning subject 206. In addition, a camera (not shown) for photographing the face of the learning subject 206 is attached near the reflector 301. This camera can detect the pulse of the learning subject 206 and output it as a pulse signal. The camera can further photograph the pupil of the learning subject 206 and measure the pupil diameter. In addition, the fMRI device 201 is provided with sensors for acquiring the blood pressure, heart rate, sweat, etc. of the learning subject 206.

以上より、ｆＭＲＩ装置２０１は、学習用被験者２０６のＭＲＩ画像ファイル群２０２を出力する他、学習用被験者２０６の計測時生体情報２０３を出力する。これらの情報はバイオフィードバック装置１０１の内部において、日時情報を伴う。
バイオフィードバック装置１０１は、学習用被験者２０６のＭＲＩ画像ファイル群２０２、学習用被験者２０６の計測時生体情報２０３の他、学習用被験者２０６の健康診断結果２０４、学習用被験者２０６のｆＭＲＩ装置２０１計測前及び計測後の生活環境アンケート結果２０５の入力を受け、内部のデータベースに登録する。バイオフィードバック装置１０１は、それら情報をデータベース登録した後、後述する学習処理を行うことで、脳情報推定装置と精神状態推定装置を構成する。 As described above, the fMRI device 201 outputs the MRI image file group 202 of the training subject 206, and also outputs biometric information 203 at the time of measurement of the training subject 206. These pieces of information are accompanied by date and time information inside the biofeedback device 101.
The biofeedback device 101 receives inputs of a group of MRI image files 202 of a learning subject 206, biological information 203 at the time of measurement of the learning subject 206, health check results 204 of the learning subject 206, and living environment questionnaire results 205 of the learning subject 206 before and after measurement by the fMRI device 201, and registers them in an internal database. After registering the information in the database, the biofeedback device 101 performs a learning process, which will be described later, thereby constituting a brain information estimation device and a mental state estimation device.

健康診断結果２０４は、通常の健康診断にて得られる診断結果の情報の集合体である。学習用被験者２０６の年齢、身長、体重、視力、聴力、体脂肪率、ＢＭＩ（Body Mass Index：ボディマス指数）、血中中性脂肪値、γＧＴＰ（γ-glutamyltransferase：ガンマグルタミルトランスフェラーゼ）等、年に一回実施される健康診断の診断結果の情報である。これらのデータは、学習用被験者２０６から機械的あるいは化学的な手段で取得される、学習用被験者２０６の主観が入り込む余地のない、客観的な測定結果である。なお、健康診断に留まらず、学習用被験者２０６から日常的に計測を行った体重や血圧等の生体計測データ、歩数や活動量等のライフログデータも、この健康診断結果２０４に含めることができる。 The health check result 204 is a collection of diagnostic result information obtained from a regular health check. It is information on the diagnostic results of a health check conducted once a year, such as the age, height, weight, eyesight, hearing, body fat percentage, BMI (Body Mass Index), blood triglyceride level, and γGTP (γ-glutamyltransferase) of the learning subject 206. This data is obtained from the learning subject 206 by mechanical or chemical means, and is an objective measurement result that does not allow for the subjective influence of the learning subject 206. In addition to the health check, the health check result 204 can also include biometric data such as weight and blood pressure measured daily from the learning subject 206, and life log data such as the number of steps and activity level.

生活環境アンケート結果２０５は、健康診断の際に設問され、学習用被験者２０６が回答する種々のアンケートの他に、精神神経系の健康指標を推し量るためのアンケートも含まれる。例えば、以下の様な項目について設問を設け、学習用被験者２０６に回答させる。
（１）階層帰属意識及び金融不安を含む社会経済的な状況の自覚
（２）生活に関する満足感と生活向上への意識を含む健康で安心なことについての自覚
（３）個人的な価値観、ポスト物質主義（物質や経済的な富よりも精神や心の安寧（リッチネス）を優先させる考え方）及びエピクロス主義（将来の為の準備よりも現在に生きることに優先権を与えて生きる主義）
（４）ストレスや疲労感（身体的疲労や精神的疲労等）及びその他の気分（怒り、混乱、抑うつ、緊張、無気力等）に関する自覚
（５）モチベーション（報酬反応性や刺激探求、駆動等）や対人関係（共感的関心や視点取得、空想、個人的苦痛等）、好奇心（進展型好奇心、包括型好奇心等）、根性（根気や一貫性等）等の性格特性や状態特性に関する自己評価
（６）幸福感やWellbeingに関する自覚
（７）ワークエンゲージメント（仕事への熱意、仕事への没頭、仕事への活力等）に関する自覚
すなわち、これらのデータは健康診断結果２０４とは異なり、学習用被験者２０６の主観が混じるアンケート結果等の情報である。
なお、「Wellbeing」とは、１９４８年の世界保健機関 (ＷＨＯ) 憲章における健康の定義から、当該個人が肉体的、精神的及び社会的に充足した状態を指す。 The living environment questionnaire result 205 includes various questionnaires that are asked during a health check and answered by the learning subject 206, as well as a questionnaire for estimating mental and neurological health indicators. For example, questions are set on the following items, and the learning subject 206 is made to answer them.
(1) Awareness of socio-economic conditions, including class affiliation and financial instability; (2) Awareness of health and well-being, including satisfaction with life and a desire to improve; (3) Personal values, post-materialism (a philosophy that prioritizes spiritual and mental well-being over material and economic wealth) and Epicureanism (a philosophy that prioritizes living in the present over preparing for the future).
(4) Awareness of stress and fatigue (physical fatigue, mental fatigue, etc.) and other moods (anger, confusion, depression, tension, apathy, etc.); (5) Self-evaluation of personality traits and state traits such as motivation (reward responsiveness, sensation seeking, drive, etc.), interpersonal relationships (empathic interest, perspective taking, daydreaming, personal pain, etc.), curiosity (progressive curiosity, comprehensive curiosity, etc.), and grit (perseverance, consistency, etc.); (6) Awareness of happiness and well-being; (7) Awareness of work engagement (enthusiasm for work, immersion in work, energy for work, etc.). In other words, unlike the health examination results 204, these data are information such as questionnaire results that include the subjective opinions of the learning subjects 206.
"Wellbeing" refers to an individual's state of physical, mental and social fulfillment, based on the definition of health in the 1948 Constitution of the World Health Organization (WHO).

従来、ＭＲＩ装置では学習用被験者２０６の平常状態における脳情報を取得していた。平常状態とは、学習用被験者２０６に対して特別な刺激を与えていない状態である。このような状態における脳情報は、他の人と比較した特徴程度しか、有用な情報を得られず、学習用被験者２０６の脳の機能的特色を見出すには至らない。 Conventionally, MRI devices have acquired brain information from a learning subject 206 in a normal state. The normal state is a state in which no special stimuli are given to the learning subject 206. Brain information in such a state can only provide useful information on characteristics compared to other people, and does not allow for the identification of functional characteristics of the learning subject's 206 brain.

そこで、本発明に係るバイオフィードバック装置１０１は、ｆＭＲＩ装置２０１で学習用被験者２０６の脳情報を取得する際に、学習用被験者２０６に対して学習用被験者２０６の感情を揺さぶるための、様々な精神的刺激を与える。例えば、学習用被験者２０６に美麗な絵やイラストレーションを一定時間見せた後に、醜悪な絵等を一定時間見せる、あるいは簡単なアクションゲームで遊んで貰う等である。 The biofeedback device 101 according to the present invention provides various mental stimuli to the learning subject 206 to stir up his/her emotions when the fMRI device 201 acquires brain information from the learning subject 206. For example, the learning subject 206 may be shown a beautiful picture or illustration for a certain period of time, and then shown an ugly picture or the like for a certain period of time, or may be asked to play a simple action game.

この、学習用被験者２０６または被験者１０２に対して感情面における刺激を与えるための、少なくとも映像を含む映像コンテンツが、ＶＲコンテンツＶ１０４である。
ＶＲコンテンツＶ１０４は、学習用被験者２０６または被験者１０２に対して様々な感情面における刺激を与えるため、多様なコンテンツを用意する。また、ＶＲコンテンツＶ１０４は、単に静止画を表示させるのみならず、学習用被験者２０６または被験者１０２に特定の感情を誘起させるために、ストーリー性を有する動画コンテンツや、クイズやゲーム等も用意する。 This video content, which includes at least a video, for providing emotional stimulation to the learning subject 206 or the subject 102 is the VR content V104.
The VR content V104 provides a variety of content to stimulate the learning subject 206 or the subject 102 in various emotional aspects. In addition, the VR content V104 does not simply display still images, but also provides video content with a story, quizzes, games, and the like to induce specific emotions in the learning subject 206 or the subject 102.

バイオフィードバック装置１０１によりＶＲコンテンツＶ１０４を学習用被験者２０６に閲覧させ、あるいはバイオフィードバック装置１０１によりＶＲゲームを学習用被験者２０６にプレイして貰うことで、学習用被験者２０６の感情が誘起される。学習用被験者２０６の感情が誘起される、ということは、学習用被験者２０６の脳がＶＲコンテンツＶ１０４やＶＲゲームという刺激に対して反応することを意味する。 By having the learning subject 206 view the VR content V104 using the biofeedback device 101, or by having the learning subject 206 play a VR game using the biofeedback device 101, emotions are induced in the learning subject 206. Emotions being induced in the learning subject 206 means that the brain of the learning subject 206 responds to the stimulus of the VR content V104 or the VR game.

脳が外的刺激に対して反応すると、その感情の種類によって、脳の異なる部位における血流が活発になることが知られている。本発明に係るバイオフィードバック装置１０１は、ＶＲコンテンツＶ１０４で学習用被験者２０６の脳を刺激しながらｆＭＲＩ装置２０１で脳情報を取得することで、学習用被験者２０６の脳が特定の感情を誘起した状態においてどのような状態になるのかを知ることができる。 It is known that when the brain responds to an external stimulus, blood flow becomes active in different parts of the brain depending on the type of emotion. The biofeedback device 101 according to the present invention can learn what state the brain of the learning subject 206 is in when a specific emotion is induced, by acquiring brain information with the fMRI device 201 while stimulating the brain of the learning subject 206 with the VR content V104.

更に、ｆＭＲＩ装置２０１で脳情報を取得している間、生体情報も同時に取得することで、学習用被験者２０６が特定の感情を誘起した状態における脳情報と学習用被験者２０６の生体情報を紐付けることが可能になる。
加えて、ｆＭＲＩ装置２０１で脳情報と生体情報を同時取得した直後に、学習用被験者２０６に対して精神状態をモニタリングするための簡単なアンケートを実施する。このアンケートの結果によって学習用被験者２０６の精神状態を示す情報を取得できる。すると、学習用被験者２０６が特定の感情を誘起した状態における脳情報と、学習用被験者２０６の生体情報と、学習用被験者２０６の精神状態情報を紐付けることが可能になる。 Furthermore, by simultaneously acquiring biometric information while acquiring brain information using the fMRI device 201, it becomes possible to link the brain information when a specific emotion is induced in the training subject 206 with the biometric information of the training subject 206.
In addition, immediately after simultaneously acquiring brain information and biological information by fMRI device 201, a simple questionnaire is administered to learning subject 206 to monitor the mental state. Information indicating the mental state of learning subject 206 can be acquired from the results of this questionnaire. This makes it possible to link the brain information, biological information of learning subject 206, and mental state information of learning subject 206 when a specific emotion is induced in learning subject 206.

すなわち、ＶＲコンテンツＶ１０４で学習用被験者２０６に精神的刺激を与えながら脳情報と生体情報を取得し、更にＶＲコンテンツＶ１０４のチャプター終了直後に、学習用被験者２０６にアンケートを実施して精神状態情報を取得することで、学習用被験者２０６が特定の感情を誘起した状態における脳情報と、学習用被験者２０６の生体情報と、学習用被験者２０６の精神状態情報という、データベースのレコードが得られる。このレコードの集合体が、本発明におけるバイオフィードバック装置１０１が取得する脳情報データベースである。
この脳情報データベースを基に、ＤＮＮ等によるＡＩを構築することで、生体情報から脳情報を推定する脳情報推定装置、そして脳情報から精神状態を推定する精神状態推定装置を実現することが可能になる。 That is, by acquiring brain information and biological information while providing mental stimulation to the learning subject 206 with the VR content V104, and further acquiring mental state information by conducting a questionnaire on the learning subject 206 immediately after the end of a chapter of the VR content V104, database records are obtained, which include brain information in a state in which a specific emotion is induced in the learning subject 206, biological information of the learning subject 206, and mental state information of the learning subject 206. This collection of records is the brain information database acquired by the biofeedback device 101 in the present invention.
By constructing AI using DNN or the like based on this brain information database, it will be possible to realize a brain information estimation device that estimates brain information from biometric information, and a mental state estimation device that estimates mental states from brain information.

しかしながら、脳情報と健康状態は密接な関連性を有することが、脳科学分野におけるこれまでの研究等により明らかである。また、脳情報は年齢と性別によるばらつきが激しいことが、発明者のこれまでの研究により明らかになっている。このため、学習用被験者２０６から得られるＭＲＩ画像ファイル群２０２をそのままＤＮＮに投入すると、過学習を引き起こし易い。
そこで、脳情報推定装置において生体情報から脳情報を推定する際に、予め学習用被験者２０６をグルーピングする。以下、グルーピングの一例を示す。
先ず、学習用被験者２０６を性別と年齢層でグルーピングする。年齢層は例えば、学習用被験者２０６の年齢を１０歳毎に区切る。次に、性別と年齢層でグルーピングした学習用被験者２０６のグループに対し、ＧＭ－ＢＨＱ及びＦＡ－ＢＨＱの平均値を算出する。そして、ＧＭ－ＢＨＱ及びＦＡ－ＢＨＱの平均値を境に、以下のようなグルーピングが可能になる。
（１）ＧＭ－ＢＨＱ値が平均値以上、且つ、ＦＡ－ＢＨＱ値が平均値以上のグループ。
（２）ＧＭ－ＢＨＱ値が平均値以上、且つ、ＦＡ－ＢＨＱ値が平均値未満のグループ。
（３）ＧＭ－ＢＨＱ値が平均値未満、且つ、ＦＡ－ＢＨＱ値が平均値以上のグループ。
（４）ＧＭ－ＢＨＱ値が平均値未満、且つ、ＦＡ－ＢＨＱ値が平均値未満のグループ。
なお、このようなグルーピングは、学習用被験者２０６のサンプル数に応じて適宜変更し得る。
学習用被験者２０６に対して以上のようなグルーピングを施した上で、学習用被験者２０６の健康状態、ｆＭＲＩ装置２０１による計測前のアンケート、ｆＭＲＩ装置２０１による計測直後のアンケートも、推定精度を高めるための情報としてＤＮＮに投入する。学習用被験者２０６を適切にグルーピングすることによって、ＤＮＮの過学習を防ぎ、ＤＮＮによる高精度な推定を実現できる。
However, previous research in the field of brain science has revealed that brain information and health conditions are closely related. Furthermore, previous research by the inventor has revealed that brain information varies greatly depending on age and gender. For this reason, if the MRI image file group 202 obtained from the training subject 206 is directly input into the DNN, overlearning is likely to occur.
Therefore, when estimating brain information from biological information in the brain information estimation device, the learning subjects 206 are grouped in advance. An example of grouping will be described below.
First, the learning subjects 206 are grouped by gender and age group. For example, the age groups are set by dividing the learning subjects 206 into 10-year groups. Next, the average values of GM-BHQ and FA-BHQ are calculated for the learning subjects 206 grouped by gender and age group. Then, the following groupings become possible with the average values of GM-BHQ and FA-BHQ as boundaries.
(1) Group in which GM-BHQ value is above the average and FA-BHQ value is above the average.
(2) A group whose GM-BHQ value is above the average and whose FA-BHQ value is below the average.
(3) A group in which the GM-BHQ value is below the average and the FA-BHQ value is above the average.
(4) A group in which the GM-BHQ value is below the average and the FA-BHQ value is below the average.
Such grouping may be changed as appropriate depending on the number of samples of the training subjects 206 .
After subjecting learning subjects 206 to grouping as described above, the health condition of learning subjects 206, a questionnaire before measurement by fMRI device 201, and a questionnaire immediately after measurement by fMRI device 201 are also input to the DNN as information for improving the estimation accuracy. By appropriately grouping learning subjects 206, overlearning of the DNN can be prevented, and highly accurate estimation by the DNN can be achieved.

図４は、バイオフィードバック装置１０１のハードウェア構成を示すブロック図である。
周知のサーバ装置で構成されるバイオフィードバック装置１０１は、バス４１０に、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、不揮発性ストレージ４０４、ＮＩＣ（Network Interface Card）４０５、ＵＳＢ等のシリアルポート４０６、ＲＴＣ（Real Time Clock）４０７が接続されている。
バイオフィードバック装置１０１は周知のＰＣ等でも代用可能であり、その場合は表示部４０８と操作部４０９が付随する。 FIG. 4 is a block diagram showing the hardware configuration of the biofeedback device 101. As shown in FIG.
The biofeedback device 101 , which is configured as a well-known server device, has a CPU 401 , ROM 402 , RAM 403 , non-volatile storage 404 , a NIC (Network Interface Card) 405 , a serial port 406 such as USB, and an RTC (Real Time Clock) 407 connected to a bus 410 .
The biofeedback device 101 can be replaced by a well-known PC or the like, in which case a display unit 408 and an operation unit 409 are provided.

図５は、バイオフィードバック装置１０１のソフトウェア機能を示すブロック図である。
入出力制御部５０１は、端末１０６または操作部４０９から受ける操作命令に従い、種々の動作を行う。
入出力制御部５０１は、ｆＭＲＩ装置２０１からＭＲＩ画像ファイル群２０２及び計測時生体情報２０３を受信する。また入出力制御部５０１は、端末１０６、操作部４０９またはシリアルポート４０６等から、健康診断結果２０４及び生活環境アンケート結果２０５を受信する。そして入出力制御部５０１は、これら受信した情報を後述するテーブルに登録する。
入出力制御部５０１は更に、テーブルや演算処理機能とデータのやり取りを行い、種々の実行結果を端末１０６または表示部４０８に表示する。 FIG. 5 is a block diagram showing the software functions of the biofeedback device 101.
The input/output control unit 501 performs various operations in accordance with operation commands received from the terminal 106 or the operation unit 409 .
The input/output control unit 501 receives the MRI image file group 202 and the measurement time biological information 203 from the fMRI device 201. The input/output control unit 501 also receives the health check result 204 and the living environment questionnaire result 205 from the terminal 106, the operation unit 409, the serial port 406, or the like. The input/output control unit 501 then registers the received information in a table, which will be described later.
The input/output control unit 501 further exchanges data with tables and arithmetic processing functions, and displays various execution results on the terminal 106 or the display unit 408 .

ＮＮ演算処理部５０２は、ＤＮＮ（Deep Neural Network）のエンジンである。
脳情報圧縮演算処理部５０３は、ＭＲＩ画像ファイル群２０２から得られる脳情報を次元圧縮する次元圧縮演算処理を実行する。 The NN calculation processing unit 502 is an engine of a DNN (Deep Neural Network).
The brain information compression calculation processing unit 503 executes a dimensional compression calculation process for compressing the dimensions of the brain information obtained from the MRI image file group 202 .

図６は、脳情報圧縮演算処理部５０３の内部処理の詳細を示すブロック図である。
脳情報圧縮演算処理部５０３は、灰白質量算出部６０１、神経線維異方性算出部６０２、大脳皮質領域間相互作用算出部６０３、大脳皮質領域間反応性算出部６０４及び平均値演算部６０５ａ、６０５ｂ、６０５ｃ、６０５ｄよりなる。
灰白質量算出部６０１は、入出力制御部５０１を通じて入力されるＭＲＩ画像ファイル群２０２に対して灰白質量演算処理を行い、例えば１１６個の灰白質量データ群６０６を出力する。灰白質量データ群６０６は更に平均値演算部６０５ａに入力される。平均値演算部６０５ａは灰白質量データ群６０６の平均値を演算して灰白質量平均値６０７を出力する。この灰白質量平均値６０７の演算処理は特許文献３に示されるＧＭ－ＢＨＱ（Grey-Matter Brain Healthcare Quotient）と等価であり、灰白質量平均値６０７は単一のスカラ値である。 FIG. 6 is a block diagram showing details of the internal processing of the brain information compression calculation processing unit 503.
The brain information compression calculation processing unit 503 comprises a gray matter volume calculation unit 601, a nerve fiber anisotropy calculation unit 602, an interaction calculation unit 603 between cerebral cortical areas, a reactivity calculation unit 604 between cerebral cortical areas, and average value calculation units 605a, 605b, 605c, and 605d.
The gray matter mass calculation unit 601 performs gray matter mass calculation processing on the MRI image file group 202 input through the input/output control unit 501, and outputs, for example, 116 gray matter mass data groups 606. The gray matter mass data groups 606 are further input to an average value calculation unit 605a. The average value calculation unit 605a calculates the average value of the gray matter mass data groups 606, and outputs a gray matter mass average value 607. The calculation processing of this gray matter mass average value 607 is equivalent to the GM-BHQ (Grey-Matter Brain Healthcare Quotient) shown in Patent Document 3, and the gray matter mass average value 607 is a single scalar value.

神経線維異方性算出部６０２は、入出力制御部５０１を通じて入力されるＭＲＩ画像ファイル群２０２に対して神経線維異方性演算処理を行い、例えば４８個の神経線維異方性データ群６０８を出力する。神経線維異方性データ群６０８は更に平均値演算部６０５ｂに入力される。平均値演算部６０５ｂは神経線維異方性データ群６０８の平均値を演算して神経線維異方性平均値６０９を出力する。この神経線維異方性平均値６０９の演算処理は特許文献３に示されるＦＡ－ＢＨＱ（fractional anisotropy Brain Healthcare Quotient）と等価であり、神経線維異方性平均値６０９は単一のスカラ値である。 The nerve fiber anisotropy calculation unit 602 performs nerve fiber anisotropy calculation processing on the MRI image file group 202 input through the input/output control unit 501, and outputs, for example, a nerve fiber anisotropy data group 608 of 48 pieces. The nerve fiber anisotropy data group 608 is further input to an average value calculation unit 605b. The average value calculation unit 605b calculates the average value of the nerve fiber anisotropy data group 608 and outputs a nerve fiber anisotropy average value 609. The calculation processing of this nerve fiber anisotropy average value 609 is equivalent to the fractional anisotropy Brain Healthcare Quotient (FA-BHQ) shown in Patent Document 3, and the nerve fiber anisotropy average value 609 is a single scalar value.

大脳皮質領域間相互作用算出部６０３は、入出力制御部５０１を通じて入力されるＭＲＩ画像ファイル群２０２に対して大脳皮質領域間相互作用演算処理を行い、例えば１１６個の領域間相互作用データ群６１０を出力する。この領域間相互作用データ群６１０は、ｆＭＲＩでのみ計測可能な、学習用被験者２０６の脳の活動に関連した血流動態反応に基づく情報である。領域間相互作用データ群６１０は更に平均値演算部６０５ｃに入力される。平均値演算部６０５ｃは領域間相互作用データ群６１０の平均値を演算して領域間相互作用平均値６１１を出力する。この領域間相互作用平均値６１１は単一のスカラ値である。 The cortical area interaction calculation unit 603 performs cortical area interaction calculation processing on the MRI image file group 202 input through the input/output control unit 501, and outputs, for example, 116 pieces of inter-area interaction data group 610. This inter-area interaction data group 610 is information based on the hemodynamic response related to the brain activity of the training subject 206, which can only be measured by fMRI. The inter-area interaction data group 610 is further input to an average value calculation unit 605c. The average value calculation unit 605c calculates the average value of the inter-area interaction data group 610 and outputs an inter-area interaction average value 611. This inter-area interaction average value 611 is a single scalar value.

大脳皮質領域間反応性算出部６０４は、入出力制御部５０１を通じて入力されるＭＲＩ画像ファイル群２０２に対して大脳皮質領域間反応性演算処理を行い、例えば１１６×（１１６－１）÷２＝６６７０個の領域間反応性データ群６１２を出力する。この領域間反応性データ群６１２は、ｆＭＲＩでのみ計測可能な、学習用被験者２０６の脳の活動に関連した血流動態反応に基づく情報である。領域間反応性データ群６１２は更に平均値演算部６０５ｄに入力される。平均値演算部６０５ｄは領域間反応性データ群６１２の平均値を演算して領域間反応性平均値６１３を出力する。この領域間反応性平均値６１３は単一のスカラ値である。
以上、灰白質量データ群６０６、灰白質量平均値６０７、神経線維異方性データ群６０８、神経線維異方性平均値６０９、領域間相互作用データ群６１０、領域間相互作用平均値６１１、領域間反応性データ群６１２及び領域間反応性平均値６１３が圧縮脳情報６１４として、図７にて後述する被験者計測情報テーブル５０７の圧縮脳情報フィールドに記録される。 The cerebral cortical inter-regional reactivity calculation unit 604 performs cerebral cortical inter-regional reactivity calculation processing on the MRI image file group 202 input through the input/output control unit 501, and outputs, for example, 116×(116−1)÷2=6670 pieces of inter-regional reactivity data group 612. This inter-regional reactivity data group 612 is information based on a hemodynamic response related to the brain activity of the learning subject 206, which can only be measured by fMRI. The inter-regional reactivity data group 612 is further input to an average value calculation unit 605d. The average value calculation unit 605d calculates the average value of the inter-regional reactivity data group 612 and outputs an inter-regional reactivity average value 613. This inter-regional reactivity average value 613 is a single scalar value.
The above gray matter volume data group 606, gray matter volume average value 607, nerve fiber anisotropy data group 608, nerve fiber anisotropy average value 609, inter-region interaction data group 610, inter-region interaction average value 611, inter-region reactivity data group 612, and inter-region reactivity average value 613 are recorded as compressed brain information 614 in the compressed brain information field of the subject measurement information table 507, which will be described later in FIG. 7.

図５に戻ってブロック図の説明を続ける。
精神状態判定処理部５０４は、アンケート結果から学習用被験者２０６の精神状態を判定し、判定した精神状態情報を出力する。
アンケートは例えば公知のＰＯＭＳ２等であり、精神状態は例えばＰＯＭＳ２で測定できる７つの気分尺度
１：怒り－敵意
２：混乱－当惑
３：抑うつ－落ち込み
４：疲労－無気力
５：緊張－不安
６：活気－活力
７：友好
を基本とする種々の精神状態情報である。 Returning to FIG. 5, the description of the block diagram will continue.
The mental state determination processing unit 504 determines the mental state of the learning subject 206 from the questionnaire results, and outputs the determined mental state information.
The questionnaire is, for example, the well-known POMS2, and the mental state is various mental state information based on, for example, the seven mood scales that can be measured by POMS2: 1: anger-hostility, 2: confusion-bewilderment, 3: depression-depression, 4: fatigue-lethargy, 5: tension-anxiety, 6: vigor-vitality, and 7: friendliness.

図７は、図５のブロック図に示される各種テーブルのフィールド構成を示す図である。
被験者マスタ５０５は、被験者ＩＤフィールドと、被験者氏名フィールドと、性別フィールドと、年齢フィールドを有する。
被験者ＩＤフィールドには、学習用被験者２０６を一意に識別する被験者ＩＤが格納される。
被験者氏名フィールドには、学習用被験者２０６の氏名が格納される。
性別フィールドには、学習用被験者２０６の性別が格納される。
年齢フィールドには、学習用被験者２０６の年齢が格納される。 FIG. 7 is a diagram showing the field configurations of the various tables shown in the block diagram of FIG.
The subject master 505 has a subject ID field, a subject name field, a gender field, and an age field.
The subject ID field stores a subject ID that uniquely identifies the training subject 206 .
The subject name field stores the name of the learning subject 206 .
The gender field stores the gender of the training subject 206 .
The age field stores the age of the training subject 206 .

被験者基本情報テーブル５０６は、被験者ＩＤフィールドと、ｆＭＲＩ計測日フィールドと、健康診断結果フィールドと、ｆＭＲＩ計測前アンケート結果フィールドと、ｆＭＲＩ計測後アンケート結果フィールドを有する。
被験者ＩＤフィールドは、被験者マスタ５０５の同名フィールドと同じである。
ｆＭＲＩ計測日フィールドには、学習用被験者２０６がｆＭＲＩ装置２０１にて計測を実施した日が格納される。
健康診断結果フィールドには、学習用被験者２０６が提供する学習用被験者２０６自身の健康診断の結果の情報が格納される。 The subject basic information table 506 has a subject ID field, an fMRI measurement date field, a medical examination result field, a pre-fMRI measurement questionnaire result field, and a post-fMRI measurement questionnaire result field.
The subject ID field is the same as the field of the same name in the subject master 505 .
The fMRI measurement date field stores the date on which the training subject 206 underwent measurement using the fMRI device 201 .
The medical examination result field stores information on the results of the medical examination of the learning subject 206 himself/herself, which is provided by the learning subject 206 .

ｆＭＲＩ計測前アンケート結果フィールドには、学習用被験者２０６がｆＭＲＩ装置２０１にて計測を実施した日における、ｆＭＲＩ装置２０１計測前のアンケート結果が格納される。
ｆＭＲＩ計測後アンケート結果フィールドには、学習用被験者２０６がｆＭＲＩ装置２０１にて計測を実施した日における、ｆＭＲＩ装置２０１計測後のアンケート結果が格納される。
この被験者基本情報テーブル５０６は、ｆＭＲＩ装置２０１における計測が実施された際の、時間を伴わない情報が格納される。 The pre-fMRI measurement questionnaire result field stores the results of a questionnaire given before measurement by the fMRI device 201 on the day that the learning subject 206 underwent measurement by the fMRI device 201 .
The post-fMRI measurement questionnaire result field stores the results of a questionnaire after measurement by the fMRI device 201 on the day that the learning subject 206 underwent measurement by the fMRI device 201 .
This subject basic information table 506 stores information without time when measurements were performed in the fMRI device 201 .

被験者計測情報テーブル５０７は、被験者ＩＤフィールドと、日時フィールドと、脳情報フィールドと、圧縮脳情報フィールドと、生体情報フィールドと、ｆＭＲＩ計測中アンケート結果フィールドを有する。
被験者ＩＤフィールドは、被験者マスタ５０５の同名フィールドと同じである。
日時フィールドには、学習用被験者２０６がｆＭＲＩ装置２０１にて計測を実施した際の、後述する脳情報フィールド、生体情報フィールド、ｆＭＲＩ計測中アンケート結果フィールドの値を取得した日時が格納される。 The subject measurement information table 507 has a subject ID field, a date and time field, a brain information field, a compressed brain information field, a biological information field, and an fMRI measurement questionnaire result field.
The subject ID field is the same as the field of the same name in the subject master 505 .
The date and time field stores the date and time when the values of the brain information field, biological information field, and fMRI measurement questionnaire result field described below were acquired when the training subject 206 underwent measurement using the fMRI device 201.

脳情報フィールドには、学習用被験者２０６がｆＭＲＩ装置２０１にて計測を実施した際の、リアルタイムで取得した脳情報が格納される。
圧縮脳情報フィールドには、脳情報フィールドの脳情報を脳情報圧縮演算処理部５０３で圧縮した圧縮脳情報６１０が格納される。
生体情報フィールドには、学習用被験者２０６がｆＭＲＩ装置２０１にて計測を実施した際の、リアルタイムで取得した生体情報が格納される。 The brain information field stores brain information acquired in real time when the training subject 206 undergoes measurement using the fMRI device 201 .
The compressed brain information field stores compressed brain information 610 obtained by compressing the brain information in the brain information field by the brain information compression calculation processing unit 503.
The biological information field stores biological information acquired in real time when the training subject 206 is measured by the fMRI device 201 .

ｆＭＲＩ計測中アンケート結果フィールドには、学習用被験者２０６がｆＭＲＩ装置２０１にて計測を実施した際の、リアルタイムで取得したアンケート結果、またはＶＲコンテンツＶ１０４内で取得される種々の情報が格納される。
ＶＲコンテンツＶ１０４内で取得される種々の情報とは、例えばＶＲゲームにおけるスコア値等である。
この被験者計測情報テーブル５０７は、ｆＭＲＩ装置２０１における計測が実施された際の、時間を伴う情報が格納される。 The survey result field during fMRI measurement stores survey results obtained in real time when the training subject 206 undergoes measurement using the fMRI device 201, or various information obtained within the VR content V104.
The various information acquired within the VR content V104 is, for example, a score value in a VR game.
This subject measurement information table 507 stores information including the time when measurements were performed in the fMRI device 201 .

ＶＲコンテンツ情報５０８は、相対時間フィールドと、ＶＲコンテンツ名称フィールドと、ＶＲコンテンツ本体フィールドを有する。
相対時間フィールドには、ＶＲコンテンツＶ１０４の相対時間情報（チャプター）が格納される。 The VR content information 508 has a relative time field, a VR content name field, and a VR content body field.
The relative time field stores relative time information (chapter) of the VR content V104.

ＶＲコンテンツ名称フィールドには、ＶＲコンテンツＶ１０４のチャプター毎の名称が格納される。
ＶＲコンテンツ本体フィールドには、ＶＲコンテンツＶ１０４の動画データやＶＲゲーム等のプログラム等のＶＲコンテンツ本体が格納される。 The VR content name field stores the name of each chapter of the VR content V104.
The VR content body field stores the VR content body such as video data of the VR content V104 and programs such as VR games.

被験者ＡＩ係数テーブル５０９は、被験者年齢層フィールドと、被験者性別フィールドと、ＡＩ種別フィールドと、近似関数パラメータフィールドを有する。
被験者年齢層フィールドには、学習用被験者２０６をグルーピングする際の年齢層が格納される。
被験者性別フィールドには、学習用被験者２０６の性別が格納される。
ＡＩ種別フィールドには、推定出力を行うＤＮＮの種別を示す情報が格納される。
近似関数パラメータフィールドには、ＤＮＮの学習処理を行った際の近似関数パラメータが格納される。 The subject AI coefficient table 509 has a subject age group field, a subject gender field, an AI type field, and an approximation function parameter field.
The subject age group field stores the age group for grouping the learning subjects 206 .
The subject gender field stores the gender of the learning subject 206 .
The AI type field stores information indicating the type of DNN that performs the estimation output.
The approximation function parameter field stores approximation function parameters obtained when the DNN learning process is performed.

本発明の実施形態に係る脳情報推定装置と精神状態推定装置は、ＤＮＮよりなる。
脳情報推定装置は、図９で後述するが、被験者１０２の年齢、事前アンケート結果、事後アンケート結果、計測中生体情報を入力されると、被験者１０２の圧縮脳情報６１０を推定する。
精神状態推定装置は、図９で後述するが、被験者１０２の年齢、事前アンケート結果、事後アンケート結果、圧縮脳情報６１０を入力されると、被験者１０２の精神状態情報を推定する。 The brain information estimation device and the mental state estimation device according to the embodiments of the present invention are composed of DNN.
The brain information estimation device, which will be described later with reference to FIG. 9, estimates compressed brain information 610 of the subject 102 when the age, pre-questionnaire results, post-questionnaire results, and biological information during measurement of the subject 102 are input.
The mental state estimation device, which will be described later with reference to FIG. 9, estimates mental state information of the subject 102 when the age of the subject 102, the results of the pre-questionnaire, the results of the post-questionnaire, and compressed brain information 610 are input.

ＤＮＮよりなるこれらの脳情報推定装置及び精神状態推定装置は、過学習を防ぐために、学習用被験者２０６を年齢層と性別でグルーピングして、学習処理を行う。
被験者年齢層フィールドと被験者性別フィールドは、学習用被験者２０６のグルーピングに用いる情報である。
ＡＩ種別フィールドは、脳情報推定と精神状態推定の何れかを示す情報である。 In order to prevent overlearning, these brain information estimation devices and mental state estimation devices, which are made up of DNNs, perform learning processing by grouping the learning subjects 206 by age group and sex.
The subject age group field and subject gender field are information used for grouping the training subjects 206 .
The AI type field is information indicating either brain information estimation or mental state estimation.

図８は、バイオフィードバック装置１０１の学習モードにおける処理手順を示すフローチャートである。
処理を開始すると（Ｓ８０１）、先ず、ｆＭＲＩ計測作業に先立ち、学習用被験者２０６に事前アンケートを実施する（Ｓ８０２）。
次に、学習用被験者２０６に所定の生体情報取得用センサを装着して貰いながら、ｆＭＲＩ装置２０１に入って貰う（Ｓ８０３）。
最初に、ＶＲコンテンツＶ１０４を再生しない状態で、学習用被験者２０６の初期状態時のｆＭＲＩ計測を実施すると共に、同時に生体情報も計測する（Ｓ８０４）。 FIG. 8 is a flow chart showing the processing procedure in the learning mode of the biofeedback device 101.
When the process starts (S801), first, prior to the fMRI measurement work, a pre-questionnaire is conducted on the learning subject 206 (S802).
Next, the learning subject 206 is asked to enter the fMRI device 201 while wearing a predetermined sensor for acquiring biological information (S803).
First, without playing back the VR content V104, fMRI measurement is performed on the learning subject 206 in an initial state, and biological information is also measured at the same time (S804).

これ以降（Ｓ８０５からＳ８０８）はループ処理である。
バイオフィードバック装置１０１のＶＲコンテンツ情報５０８からＶＲコンテンツＶ１０４を再生して、ＶＲ映像を表示、及び／またはＶＲゲームを実行する。そして、ｆＭＲＩ計測を実施すると共に、同時に生体情報も計測する（Ｓ８０６）。
１つのチャプターのＶＲコンテンツＶ１０４の再生が終わったら、ＶＲコンテンツＶ１０４の再生を一旦停止し、学習用被験者２０６にアンケートを実施する（Ｓ８０７）。
このステップＳ８０６とＳ８０７を、全てのＶＲコンテンツＶ１０４の再生が終了するまで繰り返す（Ｓ８０８）。 The process thereafter (S805 to S808) is a loop process.
The VR content V104 is played from the VR content information 508 of the biofeedback device 101 to display VR video and/or play a VR game. Then, fMRI measurement is performed and biological information is measured at the same time (S806).
When the playback of one chapter of the VR content V104 is completed, the playback of the VR content V104 is temporarily stopped, and a questionnaire is conducted on the learning subjects 206 (S807).
These steps S806 and S807 are repeated until the playback of all the VR content V104 is completed (S808).

全てのＶＲコンテンツＶ１０４の再生が終了したら、ｆＭＲＩ計測も終了する。その後、学習用被験者２０６に事後アンケートを実施する（Ｓ８０９）。
一通りの情報収集が終了したら、バイオフィードバック装置１０１は脳情報圧縮演算処理を実行し、被験者計測情報テーブル５０７の脳情報フィールドから、圧縮脳情報フィールドの値を生成して記憶する（Ｓ８１０）。 The fMRI measurement is also completed when the reproduction of all the VR content V104 is completed. After that, a post-test questionnaire is administered to the learning subject 206 (S809).
When a general set of information collection is completed, the biofeedback device 101 executes a brain information compression calculation process, and generates and stores a value of the compressed brain information field from the brain information field of the subject measurement information table 507 (S810).

圧縮脳情報６１０が出来上がったら、学習用被験者２０６を年齢層と性別で分類した上で、圧縮脳情報学習を実施する（Ｓ８１１）。
次に、学習用被験者２０６を年齢層と性別で分類した上で、被験者精神状態学習を実施する（Ｓ８１２）。
そして、一連の処理を終了する（Ｓ８１３）。 Once the compressed brain information 610 is created, the learning subjects 206 are classified by age group and sex, and compressed brain information learning is then carried out (S811).
Next, the learning subjects 206 are classified by age group and sex, and learning of the subject mental state is carried out (S812).
Then, the series of processes ends (S813).

図９Ａは、圧縮脳情報学習処理を示す概略図である。
先ず、ＮＮ演算処理部５０２を学習モードで稼働させる。これが図９Ａにおける特定年代及び性別の被験者群のＮＮ学習モード９０１ａである。その上で、学習用被験者２０６の年齢、健康診断結果、事前アンケート結果、事後アンケート結果、計測中生体情報を学習データとしてＮＮ学習モード９０１ａに入力し、圧縮脳情報６１０をラベル（回答）としてＮＮ学習モード９０１ａに入力して、学習処理を行う。このとき、特定被験者群の近似関数パラメータ９０２が生成され、更新される。 FIG. 9A is a schematic diagram showing the compressed brain information learning process.
First, the NN calculation processing unit 502 is operated in the learning mode. This is the NN learning mode 901a of the subject group of a specific age and sex in Fig. 9A. Then, the age, health check result, pre-questionnaire result, post-questionnaire result, and biological information during measurement of the learning subject 206 are input to the NN learning mode 901a as learning data, and the compressed brain information 610 is input to the NN learning mode 901a as a label (answer), and a learning process is performed. At this time, the approximation function parameters 902 of the specific subject group are generated and updated.

図９Ｂは、圧縮脳情報推定処理を示す概略図である。
先ず、ＮＮ演算処理部５０２を推定モードで稼働させる。これが図９Ｂにおける特定年代及び性別の被験者群のＮＮ推定モード９０１ｂである。その上で、特定被験者群の近似関数パラメータ９０２をＮＮ推定モード９０１ｂに読み込ませた上で、被験者１０２の年齢、健康診断結果、事前アンケート結果、計測中生体情報を評価データとして入力すると、ＮＮ推定モード９０１ｂは推定圧縮脳情報を出力する。 FIG. 9B is a schematic diagram showing the compressed brain information estimation process.
First, the NN calculation processing unit 502 is operated in the estimation mode. This is the NN estimation mode 901b for a subject group of a specific age and gender in Fig. 9B. Then, the approximation function parameters 902 for the specific subject group are read into the NN estimation mode 901b, and the age, health check results, advance questionnaire results, and biological information being measured of the subject 102 are input as evaluation data, and the NN estimation mode 901b outputs estimated compressed brain information.

図９Ｃは、被験者精神状態学習処理を示す概略図である。
先ず、ＮＮ演算処理部５０２を学習モードで稼働させる。これが図９Ｃにおける特定年代及び性別の被験者群のＮＮ学習モード９０１ｃである。その上で、学習用被験者２０６の年齢、健康診断結果、事前アンケート結果、事後アンケート結果、計測中圧縮脳情報を学習データとしてＮＮ学習モード９０１ｃに入力し、計測中精神状態をラベル（回答）としてＮＮ学習モード９０１ｃに入力して、学習処理を行う。このとき、特定被験者群の近似関数パラメータ９０３が生成され、更新される。 FIG. 9C is a schematic diagram showing the subject mental state learning process.
First, the NN calculation processing unit 502 is operated in the learning mode. This is the NN learning mode 901c of a subject group of a specific age and sex in Fig. 9C. Then, the age, health check result, pre-questionnaire result, post-questionnaire result, and compressed brain information during measurement of the learning subject 206 are input to the NN learning mode 901c as learning data, and the mental state during measurement is input to the NN learning mode 901c as a label (answer), and learning processing is performed. At this time, the approximation function parameters 903 of the specific subject group are generated and updated.

図９Ｄは、被験者精神状態推定処理を示す概略図である。
先ず、ＮＮ演算処理部５０２を推定モードで稼働させる。これが図９Ｄにおける特定年代及び性別の被験者群のＮＮ推定モード９０１ｄである。その上で、特定被験者群の近似関数パラメータ９０３をＮＮ推定モード９０１ｄに読み込ませた上で、被験者１０２の年齢、健康診断結果、事前アンケート結果、計測中精神状態を評価データとして入力すると、ＮＮ推定モード９０１ｄは推定精神状態情報を出力する。 FIG. 9D is a schematic diagram showing a subject mental state estimation process.
First, the NN calculation processing unit 502 is operated in the estimation mode. This is the NN estimation mode 901d for a subject group of a specific age and gender in Fig. 9D. Then, the approximation function parameters 903 for the specific subject group are read into the NN estimation mode 901d, and the age, medical examination results, preliminary questionnaire results, and mental state during measurement of the subject 102 are input as evaluation data, and the NN estimation mode 901d outputs estimated mental state information.

図１０は、脳情報推定装置１００１と精神状態推定装置１００２の機能ブロック図である。
脳情報推定装置１００１は、前述の図９Ｂに示した圧縮脳情報推定処理と同一である。
ＮＮ演算処理部５０２を推定モードで稼働させ、特定被験者群の近似関数パラメータ９０２をＮＮ演算処理部５０２に読み込ませると、脳情報推定装置１００１が構成される。脳情報推定装置１００１に、被験者１０２の年齢、健康診断結果、事前アンケート結果、事後アンケート結果、計測中生体情報を評価データとして入力すると、脳情報推定装置１００１は推定圧縮脳情報を出力する。
精神状態推定装置１００２は、前述の図９Ｄに示した被験者精神状態推定処理と同一である。 FIG. 10 is a functional block diagram of a brain information estimation device 1001 and a mental state estimation device 1002.
The brain information estimation device 1001 is the same as the compressed brain information estimation process shown in FIG. 9B described above.
The brain information estimation device 1001 is configured by operating the NN calculation processing unit 502 in estimation mode and reading the approximation function parameters 902 of a specific subject group into the NN calculation processing unit 502. When the age, health check result, pre-questionnaire result, post-questionnaire result, and biological information during measurement of the subject 102 are input to the brain information estimation device 1001 as evaluation data, the brain information estimation device 1001 outputs estimated compressed brain information.
The mental state estimation device 1002 is the same as the subject mental state estimation process shown in FIG. 9D described above.

ＮＮ演算処理部５０２を推定モードで稼働させ、特定被験者群の近似関数パラメータ９０３をＮＮ演算処理部５０２に読み込ませると、精神状態推定装置１００２が構成される。精神状態推定装置１００２に、被験者１０２の年齢、健康診断結果、事前アンケート結果、そして脳情報推定装置１００１が出力した推定圧縮脳情報を評価データとして入力すると、精神状態推定装置１００２は推定精神状態情報を出力する。
脳情報推定装置１００１が出力する推定圧縮脳情報と、精神状態推定装置１００２が出力する推定精神状態情報は、入出力制御部５０１によって所定の表示用加工が施された上で、端末１０６または表示部４０８に送られる。 When the NN calculation processing unit 502 is operated in estimation mode and the approximation function parameters 903 of a specific subject group are read into the NN calculation processing unit 502, a mental state estimation device 1002 is configured. When the age, health check result, and preliminary questionnaire result of the subject 102, and the estimated compressed brain information output by the brain information estimation device 1001 are input to the mental state estimation device 1002 as evaluation data, the mental state estimation device 1002 outputs estimated mental state information.
The estimated compressed brain information output by brain information estimation device 1001 and the estimated mental state information output by mental state estimation device 1002 are subjected to a predetermined display processing by input/output control unit 501 and then sent to terminal 106 or display unit 408.

図１１は、バイオフィードバック装置１０１の推定モードにおける処理手順を示すフローチャートである。
処理を開始すると（Ｓ１１０１）、先ず、精神状態介入治験に先立ち、被験者１０２に事前アンケートを実施する（Ｓ１１０２）。
次に、被験者１０２に図示しない所定の生体情報取得用センサと、ＶＲゴーグル１０３を装着して貰う（Ｓ１１０３）。
最初に、ＶＲコンテンツＶ１０４を再生しない状態で、被験者１０２の初期状態時の生体情報を計測する（Ｓ１１０４）。 FIG. 11 is a flowchart showing the processing procedure of the biofeedback device 101 in the estimation mode.
When the process starts (S1101), first, prior to the mental state intervention clinical trial, a pre-questionnaire is administered to the subject 102 (S1102).
Next, the subject 102 is asked to wear a predetermined biometric information acquisition sensor (not shown) and the VR goggles 103 (S1103).
First, without playing back the VR content V104, biometric information of the subject 102 in an initial state is measured (S1104).

これ以降（Ｓ１１０５からＳ１１１１）はループ処理である。
バイオフィードバック装置１０１のＶＲコンテンツ情報５０８からＶＲコンテンツＶ１０４を再生して、ＶＲ映像を表示、及び／またはＶＲゲームを実行する。そして、生体情報を計測する（Ｓ１１０６）。
１つのチャプターのＶＲコンテンツＶ１０４の再生が終わったら、ＶＲコンテンツＶ１０４の再生を一旦停止し、被験者１０２にアンケートを実施する（Ｓ１１０７）。
生体情報とアンケート結果をＡＩに投入して、被験者１０２の圧縮脳情報６１０を推定する（Ｓ１１０８）。これが、脳情報推定装置１００１の機能である。 The process thereafter (S1105 to S1111) is a loop process.
The VR content V104 is played from the VR content information 508 of the biofeedback device 101, and VR video is displayed and/or a VR game is played. Then, biological information is measured (S1106).
When the playback of one chapter of the VR content V104 is completed, the playback of the VR content V104 is temporarily stopped, and a questionnaire is conducted on the subject 102 (S1107).
The biometric information and the questionnaire results are input into the AI to estimate compressed brain information 610 of the subject 102 (S1108). This is the function of the brain information estimation device 1001.

ステップＳ１１０８で取得した被験者１０２の推定圧縮脳情報とアンケート結果をＡＩに投入して、被験者１０２の精神状態を推定する（Ｓ１１０９）。これが、精神状態推定装置１００２の機能である。
図示しないバイオフィードバック装置１０１の操作者は、推定した被験者１０２の精神状態に応じて、直前に再生したＶＲコンテンツＶ１０４を再度再生するか、別のＶＲコンテンツＶ１０４を再生すべきか、あるいは終了すべきかを判断する（Ｓ１１１０）。
以上、Ｓ１１０６からＳ１１１０までを、ステップＳ１１１０で終了すべきと判断するまで繰り返す（Ｓ１１１１）。そして、一連の処理を終了する（Ｓ１１１２）。 The estimated compressed brain information of the subject 102 acquired in step S1108 and the questionnaire results are input to an AI to estimate the mental state of the subject 102 (S1109). This is the function of the mental state estimation device 1002.
The operator of the biofeedback device 101 (not shown) determines, depending on the estimated mental state of the subject 102, whether to replay the VR content V104 that was played immediately before, play a different VR content V104, or end the process (S1110).
The above steps from S1106 to S1110 are repeated until it is determined in step S1110 that the process should end (S1111), and then the series of processes ends (S1112).

なお、上述の図１１に示したバイオフィードバック装置１０１の処理手順では、操作者、つまり人間の判断で、ＶＲコンテンツＶ１０４の再生継続や停止等を選択したが、手順に定型化の傾向が明確になれば、推定圧縮脳情報及び推定精神状態情報の値に応じて、ＶＲコンテンツＶ１０４の選択、再生継続、停止等をプログラムで制御することも可能である。 In the processing procedure of the biofeedback device 101 shown in FIG. 11 above, the operator, that is, a human, makes the decision to continue or stop the playback of the VR content V104. However, if the procedure becomes more standardized, it may be possible to programmatically control the selection, continuation, or stopping of the playback of the VR content V104 according to the values of the estimated compressed brain information and the estimated mental state information.

本発明の実施形態では、脳情報推定装置１００１、精神状態推定装置１００２、バイオフィードバック装置１０１及び脳情報データベースを説明した。
本発明の実施形態に係るバイオフィードバック装置１０１は、ＶＲコンテンツＶ１０４及び／またはＶＲゲームの再生を行うことによって、被験者１０２に対して精神的刺激を与えながら生体情報を取得する。すると、被験者１０２の生体情報と、被験者１０２の健康診断結果２０４及び生活環境アンケート結果２０５から、脳情報推定装置１００１が有するＤＮＮの機能によって、被験者１０２の圧縮脳情報を推定する。更にバイオフィードバック装置１０１は、推定した被験者１０２の脳情報と、健康診断結果２０４及び生活環境アンケート結果２０５から、精神状態推定装置１００２が有するＤＮＮの機能によって、被験者１０２の精神状態を推定する。 In the embodiments of the present invention, the brain information estimation device 1001, the mental state estimation device 1002, the biofeedback device 101, and the brain information database have been described.
The biofeedback device 101 according to the embodiment of the present invention acquires bioinformation while providing mental stimulation to the subject 102 by playing back VR content V104 and/or a VR game. Then, compressed brain information of the subject 102 is estimated from the bioinformation of the subject 102, the health check result 204 of the subject 102, and the living environment questionnaire result 205 of the subject 102, by the DNN function of the brain information estimation device 1001. Furthermore, the biofeedback device 101 estimates the mental state of the subject 102 from the estimated brain information of the subject 102, the health check result 204, and the living environment questionnaire result 205, by the DNN function of the mental state estimation device 1002.

脳情報推定装置１００１は、学習用被験者２０６の年齢、事前アンケート結果、事後アンケート結果、計測中生体情報を学習データとして、そして圧縮脳情報６１０をラベル（回答）として、学習モードで稼働するＮＮ演算処理部５０２に入力して、ＮＮ演算処理部５０２に学習処理を行うことで、構成される。
精神状態推定装置１００２は、学習用被験者２０６の年齢、事前アンケート結果、事後アンケート結果、計測中圧縮脳情報を学習データとして、そして計測中精神状態をラベル（回答）として、学習モードで稼働するＮＮ演算処理部５０２に入力して、ＮＮ演算処理部５０２に学習処理を行うことで、構成される。 The brain information estimation device 1001 is configured by inputting the age, pre-questionnaire results, post-questionnaire results, and measured biological information of the learning subject 206 as learning data, and the compressed brain information 610 as a label (answer), to an NN calculation processing unit 502 operating in a learning mode, and performing a learning process in the NN calculation processing unit 502.
The mental state estimation device 1002 is configured by inputting the age of the training subject 206, the results of the pre-questionnaire, the results of the post-questionnaire, and the compressed brain information during measurement as learning data, and the mental state during measurement as a label (answer) into an NN calculation processing unit 502 operating in a learning mode, and performing learning processing in the NN calculation processing unit 502.

すなわち、被験者基本情報テーブル５０６と被験者計測情報テーブル５０７において、学習用被験者２０６の年齢、性別、健康診断結果、事前アンケート結果、事後アンケート結果、計測中生体情報、計測中脳情報が紐付けられており、被験者基本情報テーブル５０６と被験者計測情報テーブル５０７は、脳情報推定装置１００１及び精神状態推定装置１００２を構成するに必要な、脳情報データベースを構成する。 In other words, the subject basic information table 506 and the subject measurement information table 507 link the age, sex, health examination results, pre-questionnaire results, post-questionnaire results, biological information during measurement, and brain information during measurement of the learning subject 206, and the subject basic information table 506 and the subject measurement information table 507 constitute a brain information database necessary to configure the brain information estimation device 1001 and the mental state estimation device 1002.

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。 Although the embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and includes other modifications and applications as long as they do not deviate from the gist of the present invention described in the claims.

１０１…バイオフィードバック装置、１０２…被験者、１０３…ＶＲゴーグル、１０５…ネットワーク、１０６…端末、２０１…ｆＭＲＩ装置、２０２…ＭＲＩ画像ファイル群、２０３…計測時生体情報、２０４…健康診断結果、２０５…生活環境アンケート結果、２０６…学習用被験者、３０１…反射板、３０２…レンズ、３０３…プロジェクタ、４０１…ＣＰＵ、４０２…ＲＯＭ、４０３…ＲＡＭ、４０４…不揮発性ストレージ、４０５…ＮＩＣ、４０６…シリアルポート、４０７…ＲＴＣ、４０８…表示部、４０９…操作部、４１０…バス、５０１…入出力制御部、５０２…ＮＮ演算処理部、５０３…脳情報圧縮演算処理部、５０４…精神状態判定処理部、５０５…被験者マスタ、５０６…被験者基本情報テーブル、５０７…被験者計測情報テーブル、５０８…ＶＲコンテンツ情報、５０９…被験者ＡＩ係数テーブル、６０１…灰白質量算出部、６０５ａ、６０５ｂ…平均値演算部、６０２…神経線維異方性算出部、６０３…大脳皮質領域間相互作用算出部、６０６…灰白質量データ群、６０７…灰白質量平均値、６０８…神経線維異方性データ群、６０９…神経線維異方性平均値、６１０…領域間相互作用データ群、６１１…領域間相互作用平均値、６１２…領域間反応性データ群、６１３…領域間反応性平均値、６１４…圧縮脳情報、９０１ａ、９０１ｃ…ＮＮ学習モード、９０１ｂ、９０１ｄ…ＮＮ推定モード、９０２、９０３…近似関数パラメータ、１００１…脳情報推定装置、１００２…精神状態推定装置 101... biofeedback device, 102... subject, 103... VR goggles, 105... network, 106... terminal, 201... fMRI device, 202... MRI image file group, 203... biological information at the time of measurement, 204... health examination results, 205... living environment questionnaire results, 206... learning subject, 301... reflector, 302... lens, 303... projector, 401... CPU, 402... ROM, 403... RAM, 404... non-volatile storage, 405... NIC, 406... serial port, 407... RTC, 408... display unit, 409... operation unit, 410... bus, 501... input/output control unit, 502... NN calculation processing unit, 503... brain information compression calculation processing unit, 504... mental state judgment processing unit, 505... subject master, 506... subject basic information Table, 507...Subject measurement information table, 508...VR content information, 509...Subject AI coefficient table, 601...Gray matter volume calculation unit, 605a, 605b...Average value calculation unit, 602...Nerve fiber anisotropy calculation unit, 603...Cerebral cortical area interaction calculation unit, 606...Gray matter volume data group, 607...Gray matter volume average value, 608...Nerve fiber anisotropy data group, 609...Nerve fiber anisotropy average value, 610...Inter-area interaction data group, 611...Inter-area interaction average value, 612...Inter-area reactivity data group, 613...Inter-area reactivity average value, 614...Compressed brain information, 901a, 901c...NN learning mode, 901b, 901d...NN estimation mode, 902, 903...Approximation function parameters, 1001...Brain information estimation device, 1002...Mental state estimation device

Claims

a video display device for allowing the subject to view video content including at least a video for providing emotional stimulation to the subject;
a brain information estimation device that acquires biometric information of the subject using a predetermined biometric information acquisition sensor while displaying the video content on the video display device, estimates brain information of the subject based on the biometric information, and outputs estimated brain information;
a mental state estimation device that estimates a mental state of the subject based on the biological information of the subject and the estimated brain information, and outputs estimated mental state information;
The brain information is gray matter volume, nerve fiber anisotropy, and interaction between cerebral cortical regions obtained from a group of MRI image files generated by an fMRI device from a learning subject;
the brain information estimation device is a neural network formed by performing a learning process using the biological information obtained from a plurality of the learning subjects as input data and the brain information as labels,
the mental state estimation device is a neural network formed by performing a learning process using the biological information and the brain information obtained from a plurality of the learning subjects as input data and the results of a questionnaire administered to the learning subjects as labels;
Biofeedback device.