Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7653688B2 - Information processing device, determination method, and determination program - Google Patents
[go: Go Back, main page]

JP7653688B2 - Information processing device, determination method, and determination program - Google Patents

Information processing device, determination method, and determination program Download PDF

Info

Publication number
JP7653688B2
JP7653688B2 JP2021515974A JP2021515974A JP7653688B2 JP 7653688 B2 JP7653688 B2 JP 7653688B2 JP 2021515974 A JP2021515974 A JP 2021515974A JP 2021515974 A JP2021515974 A JP 2021515974A JP 7653688 B2 JP7653688 B2 JP 7653688B2
Authority
JP
Japan
Prior art keywords
data
trained model
subject
waveform data
multiple channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021515974A
Other languages
Japanese (ja)
Other versions
JPWO2020218013A1 (en
JPWO2020218013A5 (en
Inventor
琢史 ▲柳▼澤
匠 田中
丈 青江
良平 福間
晴彦 貴島
学 池田
真弘 畑
良平 石井
達也 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
University of Osaka NUC
Original Assignee
Osaka University NUC
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC, University of Tokyo NUC filed Critical Osaka University NUC
Publication of JPWO2020218013A1 publication Critical patent/JPWO2020218013A1/ja
Publication of JPWO2020218013A5 publication Critical patent/JPWO2020218013A5/ja
Application granted granted Critical
Publication of JP7653688B2 publication Critical patent/JP7653688B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Instruments for taking body samples for diagnostic purposes; Other methods or instruments for diagnosis, e.g. for vaccination diagnosis, sex determination or ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、対象者の脳から発せられた生体信号に基づいて当該対象者の脳疾患に関する判定を行う情報処理装置等に関する。 The present invention relates to an information processing device etc. that determines whether a subject has a brain disease based on biological signals emitted from the subject's brain.

対象者の生体信号データを用いて、当該対象者に脳疾患があるか否かを診断する研究が進められている。例えば、下記の特許文献1には、認知課題を実行中の被験者の脳血流データから所定の特徴量を抽出し、その特徴量から被験者の認知機能障害の程度を判別する技術が開示されている。Research is being conducted into diagnosing whether a subject has a brain disease using the subject's biosignal data. For example, the following Patent Document 1 discloses a technology that extracts a specific feature from the subject's cerebral blood flow data while the subject is performing a cognitive task, and determines the degree of the subject's cognitive impairment from the feature.

国際公開第2012/165602号パンフレット(2012年12月6日公開)International Publication No. 2012/165602 (published December 6, 2012)

しかしながら、上記従来技術には、生体信号データにどのような特徴が表れるかが不明な疾患の場合に、適切な特徴量を決定することが難しいという問題がある。例えば、特許文献1では、fNIRS(functional near-infrared spectroscopy)で測定した脳血流データを種々のフィルタにかけ、フィルタを通過した信号の振幅の最大値等を特徴量として認知機能障害の程度を判定している。しかし、認知機能障害の程度の判定において、上記の特徴量が最適であるという保証はなく、認知機能障害の程度と相関のある情報が特徴量として抽出されることなく抜け落ちている可能性もある。However, the above conventional technology has a problem in that it is difficult to determine appropriate feature quantities in the case of a disease in which it is unclear what features will appear in the biosignal data. For example, in Patent Document 1, cerebral blood flow data measured by fNIRS (functional near-infrared spectroscopy) is filtered with various filters, and the maximum amplitude of the signal that has passed through the filters is used as a feature quantity to determine the degree of cognitive impairment. However, there is no guarantee that the above feature quantities are optimal in determining the degree of cognitive impairment, and there is a possibility that information correlated with the degree of cognitive impairment may be missing without being extracted as a feature quantity.

本発明の一態様は、生体信号データに対して特徴点抽出等の処理を施すことなく、対象者の脳疾患に関する判定を行うことができる情報処理装置等を実現することを目的とする。 One aspect of the present invention aims to realize an information processing device, etc. that can determine whether a subject has a brain disease without performing processing such as feature point extraction on biosignal data.

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、対象者の脳から発せられた生体信号の時系列データを取得するデータ取得部と、脳疾患と、該脳疾患の患者の脳から発せられた生体信号の時系列データとの関係を機械学習することにより構築された学習済みモデルに、上記データ取得部が取得した上記時系列データを入力し、当該学習済みモデルの出力に基づいて上記対象者の脳疾患に関する判定を行う判定部と、を備えている。In order to solve the above problem, an information processing device according to one embodiment of the present invention includes a data acquisition unit that acquires time series data of biosignals emitted from the brain of a subject, and a judgment unit that inputs the time series data acquired by the data acquisition unit into a trained model constructed by machine learning the relationship between a brain disease and the time series data of biosignals emitted from the brain of a patient with the brain disease, and makes a judgment regarding the brain disease of the subject based on the output of the trained model.

また、本発明の一態様に係る判定方法は、情報処理装置を用いた判定方法であって、対象者の脳から発せられた生体信号の時系列データを取得するデータ取得ステップと、脳から発せられる生体信号の時系列データと、脳疾患との関係を機械学習することにより構築された学習済みモデルに、上記データ取得ステップで取得した上記時系列データを入力して、当該学習済みモデルの出力に基づいて上記対象者の脳疾患に関する判定を行う判定ステップと、を含む。 In addition, a determination method according to one aspect of the present invention is a determination method using an information processing device, and includes a data acquisition step of acquiring time series data of biosignals emitted from the brain of a subject, and a determination step of inputting the time series data acquired in the data acquisition step into a trained model constructed by machine learning the relationship between the time series data of the biosignals emitted from the brain and brain diseases, and making a determination regarding the brain disease of the subject based on the output of the trained model.

本発明の一態様によれば、生体信号データに対して特徴点抽出等の処理を施すことなく、対象者の脳疾患に関する判定を行うことができる。 According to one aspect of the present invention, it is possible to determine whether a subject has a brain disease without performing processing such as feature point extraction on the biosignal data.

本発明の実施形態1に係る情報処理装置の要部構成の一例を示すブロック図である。1 is a block diagram showing an example of a configuration of a main part of an information processing device according to a first embodiment of the present invention; 脳波データを教師データとして構築した学習済みモデルの構成例を示す図である。FIG. 13 is a diagram showing an example of the configuration of a trained model constructed using electroencephalogram data as training data. 上記学習済みモデルの精度実証実験における弁別成功率を示す図である。FIG. 13 is a diagram showing the discrimination success rate in an accuracy demonstration experiment of the above-mentioned trained model. 上記情報処理装置が実行する処理の一例を示すフローチャートである。4 is a flowchart illustrating an example of a process executed by the information processing device. 本発明の実施形態2に係る、脳磁図データを教師データとして構築した学習済みモデルの構成例を示す図である。FIG. 11 is a diagram showing an example of the configuration of a trained model constructed using magnetoencephalography data as training data in accordance with a second embodiment of the present invention. 脳磁図データを教師データとして構築した学習済みモデルの精度実証実験における弁別成功率を示す図である。FIG. 13 is a diagram showing the discrimination success rate in an accuracy verification experiment of a trained model constructed using magnetoencephalography data as training data.

〔実施形態1〕
(装置構成)
本発明の一実施形態に係る情報処理装置1の構成を図1に基づいて説明する。図1は、情報処理装置1の要部構成の一例を示すブロック図である。詳細は以下説明するが、情報処理装置1は、対象者の脳疾患に関する判定を行う装置である。なお、以下では、情報処理装置1が1つの装置(コンピュータ)である例を説明するが、複数の装置を通信可能に接続した情報処理システムを構築し、その構成要素である各装置に情報処理装置1が備える各機能を持たせる構成としてもよい。
[Embodiment 1]
(Device configuration)
The configuration of an information processing device 1 according to an embodiment of the present invention will be described with reference to Fig. 1. Fig. 1 is a block diagram showing an example of the main configuration of the information processing device 1. The information processing device 1 is a device that performs a determination regarding a brain disease of a subject, as will be described in detail below. Note that, although an example in which the information processing device 1 is one device (computer) will be described below, an information processing system in which multiple devices are connected to be able to communicate with each other may also be constructed, and each device, which is a component of the information processing device, may have each function of the information processing device 1.

情報処理装置1は、情報処理装置1の各部を統括して制御する制御部10、情報処理装置1が使用する各種データを記憶する記憶部20、情報処理装置1に対する入力を受け付ける入力部30、および情報処理装置1が情報を出力するための出力部40を備えている。また、制御部10には、データ取得部101、正規化部102、判定部103、および出力制御部104が含まれている。そして、記憶部20には、脳波データ201と学習済みモデル202が記憶されている。なお、記憶部20、入力部30、および出力部40は、情報処理装置1に有線または無線で接続された情報処理装置1の外部の装置であってもよい。The information processing device 1 includes a control unit 10 that controls each unit of the information processing device 1, a storage unit 20 that stores various data used by the information processing device 1, an input unit 30 that accepts input to the information processing device 1, and an output unit 40 that causes the information processing device 1 to output information. The control unit 10 also includes a data acquisition unit 101, a normalization unit 102, a judgment unit 103, and an output control unit 104. The storage unit 20 stores brainwave data 201 and a trained model 202. The storage unit 20, the input unit 30, and the output unit 40 may be external devices connected to the information processing device 1 by wire or wirelessly.

データ取得部101は、情報処理装置1による判定の対象者の脳から発せられた生体信号の時系列データを取得する。具体的には、データ取得部101は、脳波計で測定された対象者の脳波データを上記時系列データとして取得する。なお、データ取得部101が取得するデータは、対象者の脳から発せられた生体信号の時系列データであればよく、脳波データに限られない。例えば、データ取得部101は、実施形態2で説明する脳磁図データを取得してもよいし、fMRI(functional magnetic resonance imaging)やfNIRSで計測されたデータを取得してもよい。ただし、計測の簡便さという観点から、脳波データまたは脳磁図データを取得することが好ましい。なお、詳細は後述するが、データ取得部101は、学習済みモデル202の入力データとすることができるデータ(学習に用いた教師データと同種のデータ)を取得する。The data acquisition unit 101 acquires time series data of biosignals emitted from the brain of the subject of the judgment by the information processing device 1. Specifically, the data acquisition unit 101 acquires the electroencephalogram data of the subject measured by an electroencephalograph as the above-mentioned time series data. Note that the data acquired by the data acquisition unit 101 may be time series data of biosignals emitted from the brain of the subject, and is not limited to electroencephalogram data. For example, the data acquisition unit 101 may acquire magnetoencephalogram data described in embodiment 2, or may acquire data measured by fMRI (functional magnetic resonance imaging) or fNIRS. However, from the viewpoint of ease of measurement, it is preferable to acquire electroencephalogram data or magnetoencephalogram data. Note that, although details will be described later, the data acquisition unit 101 acquires data that can be used as input data for the trained model 202 (data of the same type as the teacher data used for training).

正規化部102は、複数チャンネルの生体信号の時系列データを正規化する。具体的には、正規化部102は、データ取得部101が複数チャンネルの脳波データを取得した場合に、それらの脳波データを正規化する。正規化の詳細は、後記「処理の流れ」の項目で説明する。The normalization unit 102 normalizes the time series data of the biosignals of multiple channels. Specifically, when the data acquisition unit 101 acquires electroencephalogram data of multiple channels, the normalization unit 102 normalizes the electroencephalogram data. Details of normalization will be explained in the "Processing flow" section below.

判定部103は、対象者の脳疾患に関する判定を行う。具体的には、判定部103は、データ取得部101が取得した脳波データを学習済みモデル202に入力し、学習済みモデル202の出力に基づいて上記判定を行う。判定の詳細も後記「処理の流れ」の項目で説明する。The judgment unit 103 makes a judgment regarding the subject's brain disease. Specifically, the judgment unit 103 inputs the EEG data acquired by the data acquisition unit 101 to the trained model 202, and makes the above judgment based on the output of the trained model 202. Details of the judgment will also be explained in the "Processing flow" section below.

出力制御部104は、判定部103の判定結果を出力部40に出力させる。例えば、出力部40が画像を出力する表示装置である場合、出力制御部104は、上記判定結果を示す画像を出力部40に表示させる。なお、判定結果の出力態様は特に限定されず、例えば音声出力してもよいし、印字出力してもよい。また、出力制御部104は、判定結果をウェブページ等にアップロードすることにより、当該判定結果を対象者に閲覧させてもよいし、電子メール等で判定結果を対象者に通知してもよい。The output control unit 104 causes the output unit 40 to output the judgment result of the judgment unit 103. For example, if the output unit 40 is a display device that outputs an image, the output control unit 104 causes the output unit 40 to display an image showing the judgment result. The manner in which the judgment result is output is not particularly limited, and may be, for example, audio output or printed output. The output control unit 104 may also upload the judgment result to a webpage or the like to allow the subject to view the judgment result, or may notify the subject of the judgment result by email or the like.

脳波データ201は、脳波計で測定された対象者の脳波データであり、対象者の脳から発生する電位の変動を示す。具体的には、脳波データ201は、対象者の頭部に取り付けられた所定数の検出電極で所定期間に測定した波形データである。The electroencephalogram data 201 is the electroencephalogram data of the subject measured by an electroencephalograph, and indicates fluctuations in the electrical potential generated by the subject's brain. Specifically, the electroencephalogram data 201 is waveform data measured over a predetermined period of time by a predetermined number of detection electrodes attached to the subject's head.

学習済みモデル202は、脳疾患と、該脳疾患の患者の脳から発せられた生体信号の時系列データとの関係を機械学習することにより構築された、対象者の脳疾患に関する判定を行うための判定用モデルである。具体的には、学習済みモデル202は、認知症の種類と各種の認知症患者の脳波データとの関係を機械学習して構築されたものである。学習済みモデル202の詳細は、後記「学習済みモデル」の項目で説明する。The trained model 202 is a judgment model for making a judgment regarding a subject's brain disease, constructed by machine learning the relationship between a brain disease and time series data of biosignals emitted from the brain of a patient with the brain disease. Specifically, the trained model 202 is constructed by machine learning the relationship between the type of dementia and the electroencephalogram data of various types of dementia patients. Details of the trained model 202 will be explained in the "Trained Model" section below.

以上のように、情報処理装置1は、対象者の脳から発せられた生体信号の時系列データとして脳波データを取得するデータ取得部101を備えている。また、情報処理装置1は、対象者の脳疾患に関する判定を行う判定部103を備えている。より詳細には、判定部103は、脳疾患と該脳疾患の患者の脳波データとの関係を機械学習することにより構築された学習済みモデル202に、データ取得部101が取得した脳波データを入力し、学習済みモデル202の出力に基づいて上記判定を行う。As described above, the information processing device 1 includes a data acquisition unit 101 that acquires electroencephalogram data as time-series data of biological signals emitted from the subject's brain. The information processing device 1 also includes a judgment unit 103 that makes a judgment regarding the subject's brain disease. More specifically, the judgment unit 103 inputs the electroencephalogram data acquired by the data acquisition unit 101 into a trained model 202 that has been constructed by machine learning the relationship between the brain disease and the electroencephalogram data of patients with the brain disease, and makes the above judgment based on the output of the trained model 202.

このように、情報処理装置1によれば、特徴点抽出等の処理を施していない脳波データを学習済みモデル202に入力することにより、対象者の脳疾患に関する判定を行うことができる。また、上記の判定結果を得るために、対象者が行うべきことは脳波測定のみである。つまり、情報処理装置1には、アミロイドPET(positron emission tomography)等による認知症診断と比べて、対象者の身体的および経済的負担が小さいという利点もある。さらに、詳細は後述するが、情報処理装置1によれば、従来技術では困難であった、認知症の種類の判別も可能である。 In this way, the information processing device 1 can input EEG data that has not been subjected to processing such as feature point extraction into the trained model 202, thereby making it possible to make a judgment regarding the subject's brain disease. Furthermore, in order to obtain the above judgment result, the subject only needs to measure his or her EEG. In other words, the information processing device 1 also has the advantage of imposing less physical and economic burden on the subject compared to dementia diagnosis using amyloid PET (positron emission tomography) or the like. Furthermore, as will be described in detail later, the information processing device 1 can also distinguish the type of dementia, which was difficult to do with conventional technology.

(学習済みモデル)
図2は、学習済みモデル202の構成例を示す図である。図2に示す学習済みモデル202は、判定の対象者の脳波データを入力とし、対象者が所定のクラスタに該当する確率を出力するように構築された畳み込みニューラルネットワーク(CNN:convolutional neural network)である。
(Pre-trained model)
Fig. 2 is a diagram showing an example of the configuration of the trained model 202. The trained model 202 shown in Fig. 2 is a convolutional neural network (CNN) constructed to receive electroencephalogram data of a subject of judgment as input and output the probability that the subject belongs to a predetermined cluster.

図2の学習済みモデル202が判定対象とするクラスタは、健常、AD(Alzheimer's disease:アルツハイマー病)、DLB(dementia with Lewy bodies:レビー小体型認知症)、およびiNPH(idiopathic normal pressure hydrocephalus:特発性正常圧水頭症)の4つである。無論、クラスタは、所望の判定事項を判定できるように適宜設定すればよく、この例に限られない。例えば、ADであるか否かを判定するのみであれば、ADと健常の2つのクラスタのみとしてもよい。また、例えば、認知症の程度を判定したい場合には、判定したい程度毎にクラスタを設定すればよい。さらに、実施形態2で説明するように、認知症以外の認知機能障害のクラスタを設定してもよい。The clusters to be judged by the trained model 202 in FIG. 2 are four: healthy, AD (Alzheimer's disease), DLB (dementia with Lewy bodies), and iNPH (idiopathic normal pressure hydrocephalus). Of course, the clusters may be set appropriately so that the desired judgment item can be judged, and are not limited to this example. For example, if it is only necessary to judge whether or not it is AD, only two clusters, AD and healthy, may be used. Also, for example, if it is necessary to judge the degree of dementia, a cluster may be set for each degree to be judged. Furthermore, as described in embodiment 2, a cluster may be set for cognitive dysfunction other than dementia.

学習済みモデル202に入力される脳波データは、対象者の頭部に取り付けられた19個の検出電極で所定期間に測定した19個の波形データからなる。例えば、5~10分程度の脳波測定を行った場合、そのうちの2秒間を上記所定期間とし、データのサンプリングを200Hzとしてもよい。この場合、入力層は、19(チャンネル)×400(個)のノードを含む構成となる。無論、脳波の測定部位、波形データの数(チャンネル数)、および上記所定期間は、必要な判定精度が保持できる範囲で適宜変更することが可能である。The EEG data input to the trained model 202 consists of 19 waveform data measured over a specified period of time by 19 detection electrodes attached to the subject's head. For example, if EEG measurements are performed for about 5 to 10 minutes, the specified period may be 2 seconds of that time, and the data may be sampled at 200 Hz. In this case, the input layer includes 19 (channels) x 400 (nodes). Of course, the EEG measurement site, the number of waveform data (number of channels), and the specified period may be changed as appropriate within the range in which the required judgment accuracy can be maintained.

学習済みモデル202は、入力層に入力された上記の脳波データに対し、まず畳み込みを行うように設計されている。より詳細には、図2の学習済みモデル202は、19×4のサイズのフィルタによって畳み込みを行う構成である。このように、脳波データが同時に測定された複数チャンネルの生体信号を含む場合、学習済みモデル202は、同一時刻の複数チャンネルの生体信号を畳み込む層を含むものとすることが好ましい。これにより、複数チャンネルの脳波データの特徴を集約することができる。The trained model 202 is designed to first perform convolution on the above-mentioned EEG data input to the input layer. More specifically, the trained model 202 in FIG. 2 is configured to perform convolution using a filter of size 19×4. In this way, when the EEG data includes biosignals of multiple channels measured simultaneously, it is preferable that the trained model 202 includes a layer that convolves the biosignals of multiple channels at the same time. This makes it possible to aggregate the features of the EEG data of multiple channels.

なお、この構成は、学習済みモデル202に周波数解析による特徴点抽出と同様の機能を持たせるという設計思想に基づいている。つまり、学習済みモデル202は、脳波データの周波数成分ごとの特徴点を抽出する抽出部を含んでいるともいえる。ただし、学習済みモデル202による特徴抽出は、機械学習によって最適化されたものであり、従来技術で行われているような画一的な特徴抽出とは性質が異なる。 This configuration is based on the design concept of giving the trained model 202 a function similar to feature point extraction by frequency analysis. In other words, the trained model 202 can be said to include an extraction unit that extracts feature points for each frequency component of the EEG data. However, the feature extraction by the trained model 202 is optimized by machine learning and is different in nature from the uniform feature extraction performed by conventional technology.

上記畳み込み後は、一般的なCNNと同様のネットワーク構造とすればよい。例えば、畳み込みとプーリングが所定回数繰り返されたのち、所定数の全結合ネットワークを経て、出力層が接続されたネットワーク構造としてもよい。また、プーリングでは、例えばマックスプーリング(Max Pooling)を行ってもよい。なお、上述のように、初回の畳み込みによって得られるデータは、複数チャンネルのデータが集約されている。このため、初回の畳み込み後のネットワーク構造として、入力層が1チャンネルのCNN(例えば音声認識用のCNN)のネットワーク構造をそのまま適用することも可能である。After the above convolution, the network structure may be the same as that of a general CNN. For example, after the convolution and pooling are repeated a predetermined number of times, the network structure may be such that the output layer is connected via a predetermined number of fully connected networks. In addition, for example, max pooling may be performed in the pooling. As described above, the data obtained by the first convolution is an aggregate of data from multiple channels. For this reason, it is also possible to apply the network structure of a CNN with a one-channel input layer (for example, a CNN for speech recognition) as it is as the network structure after the first convolution.

(機械学習)
上述のように、学習済みモデル202は、入力層と出力層の間に複数の中間層を含んでいるから、深層学習によって層間の重みを最適化することによって構築する。学習に使用する教師データは、上述の4つのクラスタの何れかに属することが予め分かっている複数の対象者の脳波を測定することによって得た脳波データである。
(Machine Learning)
As described above, the trained model 202 includes multiple intermediate layers between the input layer and the output layer, and is constructed by optimizing the weights between the layers through deep learning. The training data used for training is electroencephalogram data obtained by measuring the electroencephalograms of multiple subjects who are known in advance to belong to one of the four clusters described above.

例えば、学習済みモデル202を、種類の異なる認知症の患者の脳から発せられた脳波データを教師データとする機械学習で構築した場合、判定部103は、学習済みモデル202の出力に基づいて対象者の認知症の種類を判定することになる。このように、情報処理装置1によれば、従来技術では判定が難しかった認知症の種類についても判定することが可能である。For example, if the trained model 202 is constructed by machine learning using electroencephalogram data emitted from the brains of patients with different types of dementia as training data, the determination unit 103 will determine the type of dementia of the subject based on the output of the trained model 202. In this way, the information processing device 1 can determine types of dementia that were difficult to determine using conventional technology.

上述の特許文献1にも記載されているとおり、従来の認知症診断においては、認知課題を実行中の対象者の脳活動状態が計測されるが、上記の脳波測定は、対象者の安静時に行ってもよい。安静とは、作業等を行うことなく目を閉じている状態を指す。この場合、学習済みモデル202は、安静時に測定された脳波データを用いた機械学習によって構築されたものとなる。また、この場合、データ取得部101は、対象者の安静時に測定された脳波データを時系列データとして取得する。これにより、対象者に認知課題の実行などの煩雑な作業を行わせることなく、対象者の脳疾患に関する判定を行うことができる。また、認知課題の実行が困難な対象者についても判定可能であるという利点もある。As described in the above-mentioned Patent Document 1, in conventional dementia diagnosis, the brain activity state of a subject performing a cognitive task is measured, but the above-mentioned EEG measurement may be performed when the subject is at rest. "Resting" refers to a state in which the eyes are closed and no work is being performed. In this case, the trained model 202 is constructed by machine learning using EEG data measured when the subject is at rest. In this case, the data acquisition unit 101 acquires the EEG data measured when the subject is at rest as time-series data. This makes it possible to determine whether the subject has a brain disease without making the subject perform complicated tasks such as performing cognitive tasks. Another advantage is that it is possible to determine whether the subject has a brain disease when the subject has difficulty performing cognitive tasks.

なお、従来、安静時の脳波データに認知症特有の波形パターンが含まれるとの知見はなく、それゆえ安静時の脳波データを認知症の診断に利用することも行われていなかった。このような技術水準において、本願の発明者らは、安静時の脳波データを用いて構築した学習済みモデル202により、認知症であるか健常であるかのみならず、認知症の種類まで判定することができることを見出した。判定の精度については、図3に基づいて以下で説明する。 Note that, up until now, there has been no knowledge that resting EEG data contains waveform patterns specific to dementia, and therefore resting EEG data has not been used to diagnose dementia. At this technical level, the inventors of the present application have discovered that a trained model 202 constructed using resting EEG data can determine not only whether a person has dementia or is healthy, but also the type of dementia. The accuracy of the determination will be described below with reference to FIG. 3.

(実験結果)
健常者、AD患者、DLB患者、およびiNPH患者の脳波データを学習済みモデル202に入力し、学習済みモデル202による弁別の精度を確認する実験を行った。その結果を図3に示す。図3は、上記実験における学習済みモデル202の弁別成功率を示す図である。
(Experimental Results)
An experiment was conducted by inputting EEG data from a healthy subject, an AD patient, a DLB patient, and an iNPH patient into the trained model 202 to confirm the discrimination accuracy of the trained model 202. The results are shown in Fig. 3. Fig. 3 is a diagram showing the discrimination success rate of the trained model 202 in the above experiment.

なお、弁別成功率は、K-分割交差検証(K-fold cross-validation)により算出した。具体的には、K=10とし、10回の検証結果の平均値±1SD(標準偏差)を弁別成功率とした。また、学習済みモデル202の構築には安静時の脳波データを用い、実験において学習済みモデル202に入力した脳波データも安静時に測定されたものとした。The discrimination success rate was calculated by K-fold cross-validation. Specifically, K=10, and the discrimination success rate was calculated as the average value of 10 validation results ±1 SD (standard deviation). In addition, resting EEG data was used to construct the trained model 202, and the EEG data input to the trained model 202 in the experiment was also measured at rest.

図示のように、学習済みモデル202によれば、88.3±15.0(%)という高い精度で健常者とAD患者とを弁別することができた。また、健常者とDLB患者、健常者とiNPH患者、AD患者とDLB患者、およびAD患者とiNPH患者については、100±0(%)弁別することができた。また、DLB患者とiNPH患者についても82.4±13.1(%)という十分な分別精度であり、4種(健常者、AD患者、DLB患者、およびiNPH患者)の弁別についても83.0±10.4(%)という高い分別精度であった。As shown in the figure, the trained model 202 was able to discriminate between healthy subjects and AD patients with a high accuracy of 88.3±15.0(%). It was also able to discriminate between healthy subjects and DLB patients, healthy subjects and iNPH patients, AD patients and DLB patients, and AD patients and iNPH patients with 100±0(%). It also had a sufficient discrimination accuracy of 82.4±13.1(%) for DLB patients and iNPH patients, and a high discrimination accuracy of 83.0±10.4(%) for the four types (healthy subjects, AD patients, DLB patients, and iNPH patients).

以上のように、情報処理装置1は、安静時の脳波データで構築した学習済みモデル202と、当該対象者の安静時の脳波データとを用いて、対象者が、健常者、AD患者、DLB患者、およびiNPH患者の何れに該当するかを高精度に判定することができた。安静時の脳波データを用いてこのような高精度な弁別を行うことができるということは、本願出願時の技術水準では到底予想し得ないものであった。As described above, the information processing device 1 was able to determine with high accuracy whether the subject was a healthy individual, an AD patient, a DLB patient, or an iNPH patient, using the trained model 202 constructed from resting EEG data and the subject's resting EEG data. The ability to make such highly accurate discrimination using resting EEG data was something that could not have been predicted at the state of the art at the time of filing this application.

(処理の流れ)
情報処理装置1が実行する処理(判定方法)の流れを図4に基づいて説明する。図4は、情報処理装置1が実行する処理の一例を示すフローチャートである。
(Processing flow)
The flow of the process (determination method) executed by the information processing device 1 will be described with reference to Fig. 4. Fig. 4 is a flowchart showing an example of the process executed by the information processing device 1.

S1(データ取得ステップ)では、データ取得部101が脳波データ201を取得する。脳波データ201は対象者の脳波を測定することによって得られたデータであり、予め入力部30を介して情報処理装置1に入力され、記憶部20に記憶されている。なお、S1において、データ取得部101は、学習済みモデル202の構築の際に教師データとして用いた脳波データと同様にして測定された脳波データ201を取得する。例えば、安静時の脳波データを教師データとしていた場合には、データ取得部101は、安静時に測定された脳波データ201を取得する。In S1 (data acquisition step), the data acquisition unit 101 acquires brainwave data 201. The brainwave data 201 is data obtained by measuring the subject's brainwaves, and is input in advance to the information processing device 1 via the input unit 30 and stored in the memory unit 20. Note that in S1, the data acquisition unit 101 acquires brainwave data 201 measured in the same manner as the brainwave data used as teacher data when constructing the trained model 202. For example, when resting brainwave data is used as teacher data, the data acquisition unit 101 acquires brainwave data 201 measured at rest.

S2では、正規化部102が、S1で取得された脳波データ201を正規化する。正規化の対象が複数チャンネルの時系列データである脳波データ201であるから、正規化の方法としては、チャンネル毎に時間方向の正規化を行う方法と、時間毎にチャンネル方向の正規化を行う方法とが考えられるが、前者の方法が好ましい。つまり、正規化部102は、複数チャンネルの脳波データのそれぞれについて時間方向の正規化を行うことが好ましい。これは、本願の発明者らの実験により、複数チャンネルの脳波データのそれぞれについて時間方向の正規化した場合の方が、判定精度が高くなることが分かったためである。正規化が行われた場合、判定部103は、学習済みモデル202に正規化後の脳波データを入力して対象者の脳疾患に関する判定を行うことになる。In S2, the normalization unit 102 normalizes the EEG data 201 acquired in S1. Since the target of normalization is the EEG data 201, which is time-series data of multiple channels, the normalization method can be performed by performing normalization in the time direction for each channel or by performing normalization in the channel direction for each time, but the former method is preferable. In other words, it is preferable that the normalization unit 102 normalizes each of the EEG data of multiple channels in the time direction. This is because the inventors of the present application have found that the accuracy of judgment is higher when the EEG data of multiple channels is normalized in the time direction through experiments. When normalization is performed, the judgment unit 103 inputs the normalized EEG data into the trained model 202 to make a judgment regarding the brain disease of the subject.

また、脳波データ201のサンプリングレートが教師データとして用いた脳波データのサンプリングレートと異なっている場合、正規化部102は、正規化の前または後に、脳波データ201からリサンプリングを行ってもよい。リサンプリングを行うことにより、教師データとして用いた脳波データのサンプリングレートと同じサンプリングレートの脳波データを得ることができる。In addition, when the sampling rate of the EEG data 201 is different from the sampling rate of the EEG data used as the teacher data, the normalization unit 102 may perform resampling from the EEG data 201 before or after normalization. By performing resampling, it is possible to obtain EEG data having the same sampling rate as the sampling rate of the EEG data used as the teacher data.

S3(判定ステップ)では、判定部103が、S2で正規化された脳波データを学習済みモデル202に入力して、対象者が各クラスタ(例えば、健常、AD、DLB、およびiNPH)に該当する確率をそれぞれ算出する。そして、判定部103は、算出した確率値に基づいて、対象者が何れのクラスタに該当するかを判定する。例えば、判定部103は、対象者が、上記算出した確率値が最も高いクラスタに該当すると判定してもよい。In S3 (determination step), the determination unit 103 inputs the EEG data normalized in S2 into the trained model 202 and calculates the probability that the subject belongs to each cluster (e.g., healthy, AD, DLB, and iNPH). Then, the determination unit 103 determines which cluster the subject belongs to based on the calculated probability value. For example, the determination unit 103 may determine that the subject belongs to the cluster with the highest calculated probability value.

S4では、出力制御部104が、S4の判定結果を出力部40に出力させる。例えば、出力部40が表示装置である場合、出力制御部104はS4の判定結果を示す画像を出力部40に表示させてもよい。この場合、学習済みモデル202が出力する確率値や、確率値が二番目以降のクラスタについてもあわせて表示させてもよい。S5の処理の終了により、図4のフローは終了となる。In S4, the output control unit 104 outputs the judgment result of S4 to the output unit 40. For example, if the output unit 40 is a display device, the output control unit 104 may cause the output unit 40 to display an image showing the judgment result of S4. In this case, the probability values output by the trained model 202 and clusters with second or subsequent probability values may also be displayed. The flow in FIG. 4 ends when the processing of S5 ends.

以上のように、情報処理装置1を用いた判定方法は、対象者の脳から発せられた生体信号の時系列データである脳波データを取得するデータ取得ステップ(S1)と、対象者の脳疾患に関する判定を行う判定ステップ(S3)と、を含む。また、S3では、脳波データと脳疾患との関係を機械学習することにより構築された学習済みモデル202に、S1で取得した脳波データを入力して、学習済みモデル202の出力に基づいて対象者の脳疾患に関する判定を行う。As described above, the determination method using the information processing device 1 includes a data acquisition step (S1) of acquiring electroencephalogram data, which is time-series data of biological signals emitted from the subject's brain, and a determination step (S3) of determining whether the subject has a brain disease. In addition, in S3, the electroencephalogram data acquired in S1 is input to a trained model 202 constructed by machine learning the relationship between the electroencephalogram data and brain diseases, and a determination of the subject's brain disease is made based on the output of the trained model 202.

上記判定方法によれば、特徴点抽出等の処理を施していない脳波データを学習済みモデル202に入力するだけで、対象者の脳疾患に関する判定を行うことができる。また、上記の判定結果を得るために、対象者が行うべきことは脳波測定のみであり、対象者の身体的および経済的負担が小さい。さらに、上記判定方法によれば、従来技術では困難であった、認知症の種類の判別も可能である。 According to the above-mentioned determination method, a determination regarding a subject's brain disease can be made simply by inputting EEG data that has not been subjected to processing such as feature point extraction into the trained model 202. Moreover, in order to obtain the above-mentioned determination result, the subject only needs to measure his/her EEG, which places a small physical and economic burden on the subject. Furthermore, according to the above-mentioned determination method, it is also possible to distinguish the type of dementia, which was difficult with conventional technology.

〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
[Embodiment 2]
Other embodiments of the present invention will be described below. For ease of explanation, the same reference numerals are given to members having the same functions as those described in the above embodiment, and the description thereof will not be repeated.

(装置構成と処理の流れ)
本実施形態では、脳から発せられる生体信号の時系列データとして、脳磁図データを用いる例を説明する。脳磁図データは、脳の電気的な活動によって生じる磁場を計測機器(例えば超電導量子干渉計)によって計測することによって得られる波形データである。
(Device configuration and processing flow)
In this embodiment, an example will be described in which magnetoencephalography data is used as time-series data of biosignals emitted from the brain. Magnetoencephalography data is waveform data obtained by measuring magnetic fields generated by electrical activity of the brain using a measuring device (e.g., a superconducting quantum interference meter).

本実施形態の情報処理装置1は、学習済みモデル200の代わりに、脳磁図データを教師データとして構築した学習済みモデル200Aを用いる点で実施形態1の情報処理装置1(図1参照)と相違している。本実施形態の情報処理装置1が実行する処理(判定方法)の流れは、取得する時系列データが脳波データから脳磁図データに変わっている点を除けば、図4の例と同様である。The information processing device 1 of this embodiment differs from the information processing device 1 of embodiment 1 (see FIG. 1) in that it uses a trained model 200A constructed using magnetoencephalography data as training data instead of the trained model 200. The flow of the process (determination method) executed by the information processing device 1 of this embodiment is similar to the example of FIG. 4, except that the acquired time series data is changed from electroencephalography data to magnetoencephalography data.

(学習済みモデルと機械学習)
図5は、脳磁図データを教師データとして構築した学習済みモデル200Aの構成例を示す図である。脳磁図データを用いる場合も、脳波データを用いる場合と同様に、複数チャンネルの時系列データを用いることが望ましい。学習済みモデル202Aは、判定の対象者の脳磁図データを入力とし、対象者が所定のクラスタに該当する確率を出力するように構築されたCNNである。図5の例におけるクラスタは、健常、iNPH、てんかん、パーキンソン病、および脊髄損傷の5つである。
(Pre-trained models and machine learning)
5 is a diagram showing an example of the configuration of a trained model 200A constructed using magnetoencephalography data as training data. When magnetoencephalography data is used, it is desirable to use time-series data of multiple channels, as in the case of using electroencephalography data. The trained model 202A is a CNN constructed to input magnetoencephalography data of a subject to be judged and output the probability that the subject belongs to a predetermined cluster. The clusters in the example of FIG. 5 are five: healthy, iNPH, epilepsy, Parkinson's disease, and spinal cord injury.

学習済みモデル202Aに入力される脳磁図データは、頭部の160カ所で所定期間の磁場を計測して生成された160チャンネルの時系列データ(波形データ)である。このため、学習済みモデル202の入力層は、160(チャンネル)×所定期間におけるサンプリング回数のノードを含む構成としている。例えば、所定期間を800msとし、サンプリングレートを1kHzとした場合、入力層は、160(チャンネル)×800(個)のノードを含む構成となる。無論、脳磁図の測定部位、波形データの数(チャンネル数)、および測定時間は、必要な判定精度が保持できる範囲で適宜変更することが可能である。The magnetoencephalogram data input to the trained model 202A is 160-channel time series data (waveform data) generated by measuring the magnetic field at 160 locations on the head for a specified period of time. For this reason, the input layer of the trained model 202 is configured to include nodes equal to 160 (channels) x the number of samplings in the specified period. For example, if the specified period is 800 ms and the sampling rate is 1 kHz, the input layer will include 160 (channels) x 800 (nodes). Of course, the magnetoencephalogram measurement site, the number of waveform data (number of channels), and the measurement time can be changed as appropriate within the range in which the required judgment accuracy can be maintained.

学習済みモデル202Aは、実施形態1の学習済みモデル202と同様に、入力層に入力されたデータに対し、複数チャンネルに跨るフィルタによる畳み込みを行うように設計されている。これにより、複数チャンネルの脳磁図データの特徴を集約することができる。上記畳み込み後のネットワーク構造は、学習済みモデル202と同様である。ただし、上記のように判定対象のクラスタを5つにする場合、出力層のノード数は5つとする。 Trained model 202A, like trained model 202 in embodiment 1, is designed to perform convolution using a filter across multiple channels on the data input to the input layer. This makes it possible to aggregate the features of magnetoencephalography data from multiple channels. The network structure after the above convolution is the same as that of trained model 202. However, when there are five clusters to be judged as described above, the number of nodes in the output layer is five.

学習済みモデル202Aの構築における機械学習は、学習済みモデル202と同様にして行うことができる。学習に使用する教師データは、上述の5つのクラスタの何れかに属することが予め分かっている複数の対象者の脳磁図を測定することによって得た脳磁図データとすればよい。実施形態1の脳波測定と同様、脳磁図の測定は、対象者の安静時に行ってもよい。この場合、学習済みモデル202Aは、安静時に測定された脳磁図データを用いた機械学習によって構築されたものとなり、データ取得部101は、対象者の安静時に測定された脳磁図を時系列データとして取得する。これにより、対象者に認知課題の実行などの煩雑な作業を行わせることなく、対象者の脳疾患に関する判定を行うことができる。また、認知課題の実行が困難な対象者についても判定可能であるという利点もある。Machine learning in constructing the trained model 202A can be performed in the same manner as the trained model 202. The teacher data used for learning may be magnetoencephalogram data obtained by measuring magnetoencephalograms of multiple subjects who are known in advance to belong to any of the five clusters described above. As with the EEG measurement in embodiment 1, the magnetoencephalogram may be measured while the subject is at rest. In this case, the trained model 202A is constructed by machine learning using magnetoencephalogram data measured while the subject is at rest, and the data acquisition unit 101 acquires the magnetoencephalogram measured while the subject is at rest as time-series data. This makes it possible to determine the subject's brain disease without having the subject perform complicated tasks such as performing cognitive tasks. There is also the advantage that it is possible to determine subjects who have difficulty performing cognitive tasks.

(実験結果)
健常者、iNPH患者、てんかん患者、パーキンソン病患者、および脊髄損傷患者の脳磁図データを学習済みモデル202Aに入力し、学習済みモデル202Aによる弁別の精度を確認する実験を行った。その結果を図6の「弁別成功率(CNN)」の項目に示す。図6は、脳磁図データを教師データとして構築した学習済みモデル202Aの弁別成功率を示す図である。なお、学習済みモデル202Aの構築には安静時の脳磁図データを用い、実験において学習済みモデル202Aに入力した脳磁図データも安静時に測定されたものとした。
(Experimental Results)
Magnetoencephalogram data of a healthy subject, an iNPH patient, an epilepsy patient, a Parkinson's disease patient, and a spinal cord injury patient were input to the trained model 202A, and an experiment was conducted to confirm the accuracy of discrimination by the trained model 202A. The results are shown in the "Discrimination Success Rate (CNN)" section of FIG. 6. FIG. 6 is a diagram showing the discrimination success rate of the trained model 202A constructed using magnetoencephalogram data as training data. Note that magnetoencephalogram data at rest was used to construct the trained model 202A, and the magnetoencephalogram data input to the trained model 202A in the experiment was also measured at rest.

また、対照実験として、健常者および上記4種類の認知機能障害の患者の脳磁図データを周波数解析することによって得たスペクトログラムを教師データとして機械学習したSVM(support vector machine)による弁別を行った。この結果は、図6の「弁別成功率(SVM)」の項目に示している。CNNとSVMの弁別成功率をStudent’s t-testにて比較したところ、図6の「p値」に示すように、いくつかの項目については統計的有意にCNNの精度が高いことが示された。As a control experiment, discrimination was performed using a support vector machine (SVM) trained on spectrograms obtained by frequency analysis of magnetoencephalography data from healthy subjects and patients with the above four types of cognitive impairment. The results are shown in the "Discrimination success rate (SVM)" section of Figure 6. When the discrimination success rates of CNN and SVM were compared using Student's t-test, the accuracy of CNN was statistically significantly higher for some items, as shown in the "p-value" in Figure 6.

図示のように、学習済みモデル202Aによれば、96.8±3.9(%)という非常に高い精度でiNPH患者とてんかん患者とを弁別することができた。また、iNPH患者と健常者との弁別についても88.0±9.9(%)と高い精度となった。なお、この弁別において、健常者であるがiNPH患者と誤判定された被験者には若い人が多かった。そこで、上記健常者のうち40歳以上のみを対象として弁別の精度を算出したところ、95.2±6.7(%)となった(図5の「年齢補正」の項目)。この結果から、脳磁図データを用いてiNPH患者の弁別を行う場合、対象者を40歳以上とすることがより好ましいといえる。As shown in the figure, the trained model 202A was able to discriminate between iNPH patients and epilepsy patients with an extremely high accuracy of 96.8±3.9%. It also achieved high accuracy of 88.0±9.9% for discriminating between iNPH patients and healthy subjects. In this discrimination, many of the healthy subjects who were erroneously determined to be iNPH patients were young. Therefore, when the discrimination accuracy was calculated for only the healthy subjects aged 40 years or older, it was 95.2±6.7% (see the "Age correction" item in Figure 5). From these results, it can be said that it is more preferable to limit the subjects to those aged 40 years or older when discriminating between iNPH patients using magnetoencephalography data.

また、iNPH患者とパーキンソン病患者、iNPH患者と脊髄損傷患者についても、それぞれ89.3±12.7(%)、88.2±11.9(%)と高い弁別精度となった。このように、学習済みモデル202Aによれば、健常者のみならず、パーキンソン病等の脳磁図データに影響が表れる他の疾患の患者とiNPH患者との弁別が可能であることが分かった。In addition, the discrimination accuracy was high for iNPH patients and Parkinson's disease patients, and for iNPH patients and spinal cord injury patients, at 89.3±12.7% and 88.2±11.9%, respectively. Thus, it was found that trained model 202A can discriminate between iNPH patients and not only healthy subjects, but also patients with other diseases, such as Parkinson's disease, that affect magnetoencephalography data.

また、上記4種類の疾患の患者と健常者とが混在した群を対象とした弁別においても、7割近い弁別成功率となった。そして、学習済みモデル202Aを用いた弁別の成功率は、実験した全ての場合において、SVMによる弁別の成功率を上回る結果となった。安静時の脳磁図データを用いてこのような高精度な弁別を行うことができるということは、本願出願時の技術水準では到底予想し得ないものであった。 In addition, the discrimination success rate was nearly 70% when discriminating between a group of patients with the above four types of diseases and healthy subjects. In all experimental cases, the discrimination success rate using trained model 202A exceeded the discrimination success rate using SVM. The fact that such highly accurate discrimination could be performed using magnetoencephalography data at rest was something that could not have been predicted at the state of the art at the time of filing this application.

以上のように、本実施形態の情報処理装置1では、安静時の脳磁図データで構築した学習済みモデル202Aと対象者の安静時の脳磁図データとを用いて、対象者が健常者および上記4種類の認知機能障害の何れに該当するかを判定することができる。この構成には、認知課題を実行させる場合と比べて、対象者への負担が少ないという利点がある。また、認知課題の実行が困難な対象者についても判定可能であるという利点もある。As described above, the information processing device 1 of this embodiment can determine whether the subject is a healthy individual or has one of the four types of cognitive impairments described above, using the trained model 202A constructed from magnetoencephalography data at rest and the subject's magnetoencephalography data at rest. This configuration has the advantage of placing less strain on the subject compared to having the subject perform a cognitive task. It also has the advantage of being able to determine whether the subject has difficulty performing a cognitive task.

〔判定可能な疾患について〕
情報処理装置1は、脳波または脳磁図に影響が表れる疾患であり、皮質の活動異常を伴う疾患であれば、対象者がその疾患であるか否かを判定することが可能である。上記各実施形態で説明した以外の疾患について判定を行う場合、判定対象の疾患に応じた学習済みモデルを予め構築しておけばよい。学習済みモデルの構築方法も上記各実施形態と同様であり、判定対象の疾患の患者の脳波または脳磁図のデータを教師データとして機械学習を行えばよい。
[About diagnosable diseases]
The information processing device 1 can determine whether or not a subject has a disease that affects electroencephalograms or magnetoencephalograms and is accompanied by abnormal cortical activity. When determining whether or not a subject has a disease other than those described in the above embodiments, a trained model corresponding to the disease to be determined may be constructed in advance. The method of constructing the trained model is the same as in the above embodiments, and machine learning may be performed using electroencephalogram or magnetoencephalogram data of a patient with the disease to be determined as teacher data.

〔ソフトウェアによる実現例〕
情報処理装置1の制御ブロック(特に制御部10に含まれる各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
[Software implementation example]
The control block of the information processing device 1 (particularly each unit included in the control unit 10) may be realized by a logic circuit (hardware) formed on an integrated circuit (IC chip) or the like, or may be realized by software.

後者の場合、情報処理装置1は、各機能を実現するソフトウェアであるプログラム(判定プログラム)の命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。In the latter case, the information processing device 1 includes a computer that executes the instructions of a program (determination program), which is software that realizes each function. This computer includes, for example, one or more processors, and a computer-readable recording medium that stores the program. The object of the present invention is achieved by the processor reading the program from the recording medium and executing it in the computer. The processor can be, for example, a CPU (Central Processing Unit). The recording medium can be a "non-transient tangible medium", such as a ROM (Read Only Memory), as well as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, etc. The computer can also include a RAM (Random Access Memory) that expands the program. The program can be supplied to the computer via any transmission medium (such as a communication network or a broadcast wave) that can transmit the program. One aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
〔付記事項〕
本発明の一態様に係る情報処理装置は、対象者の脳から発せられた生体信号の時系列データを取得するデータ取得部と、脳疾患と、該脳疾患の患者の脳から発せられた生体信号の時系列データとの関係を機械学習することにより構築された学習済みモデルに、上記データ取得部が取得した上記時系列データを入力し、当該学習済みモデルの出力に基づいて上記対象者の脳疾患に関する判定を行う判定部と、を備えている。
本発明の一態様に係る情報処理装置では、上記学習済みモデルは、種類の異なる認知症の患者の脳から発せられた生体信号の時系列データを教師データとする機械学習で構築されたものであってもよい。この場合、上記判定部は、上記学習済みモデルの出力に基づいて上記対象者の認知症の種類を判定してもよい。
本発明の一態様に係る情報処理装置では、上記時系列データは、同時に測定された複数チャンネルの生体信号を含み、上記学習済みモデルは、同一時刻の複数チャンネルの上記生体信号を畳み込む層を含む畳み込みニューラルネットワークであってもよい。
本発明の一態様に係る情報処理装置は、複数チャンネルの上記時系列データのそれぞれについて時間方向の正規化を行う正規化部を備え、上記判定部は、上記学習済みモデルに正規化後の上記生体信号の時系列データを入力して、当該学習済みモデルの出力に基づいて上記対象者の脳疾患に関する判定を行ってもよい。
本発明の一態様に係る情報処理装置では、上記学習済みモデルは、安静時に測定された脳波データを用いた機械学習によって構築されたものであってもよい。この場合、上記データ取得部は、上記対象者の安静時に測定された脳波データを上記時系列データとして取得してもよい。
本発明の一態様に係る情報処理装置では、上記学習済みモデルは、安静時に測定された脳磁図データを用いた機械学習によって構築されたものであってもよい。この場合、上記データ取得部は、上記対象者の安静時に測定された脳磁図を上記時系列データとして取得してもよい。
本発明の一態様に係る判定方法は、情報処理装置を用いた判定方法であって、対象者の脳から発せられた生体信号の時系列データを取得するデータ取得ステップと、脳から発せられる生体信号の時系列データと、脳疾患との関係を機械学習することにより構築された学習済みモデルに、上記データ取得ステップで取得した上記時系列データを入力して、当該学習済みモデルの出力に基づいて上記対象者の脳疾患に関する判定を行う判定ステップと、を含む。
本発明の一態様に係る判定プログラムは、上記情報処理装置としてコンピュータを機能させるための判定プログラムであって、上記データ取得部および上記判定部としてコンピュータを機能させる。
The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the claims. Embodiments obtained by appropriately combining the technical means disclosed in different embodiments are also included in the technical scope of the present invention.
[Additional Notes]
An information processing device according to one embodiment of the present invention includes a data acquisition unit that acquires time series data of biosignals emitted from the brain of a subject, and a determination unit that inputs the time series data acquired by the data acquisition unit into a trained model constructed by machine learning the relationship between brain diseases and the time series data of biosignals emitted from the brains of patients with the brain disease, and makes a determination regarding the brain disease of the subject based on the output of the trained model.
In the information processing device according to one aspect of the present invention, the trained model may be constructed by machine learning using time series data of biological signals emitted from the brains of patients with different types of dementia as teacher data. In this case, the determination unit may determine the type of dementia of the subject based on an output of the trained model.
In an information processing device according to one aspect of the present invention, the time series data may include biosignals of multiple channels measured simultaneously, and the trained model may be a convolutional neural network including a layer that convolves the biosignals of the multiple channels at the same time.
An information processing device according to one embodiment of the present invention includes a normalization unit that performs time-direction normalization on each of the time series data of multiple channels, and the determination unit inputs the normalized time series data of the biological signal to the trained model and performs a determination regarding brain disease of the subject based on the output of the trained model.
In the information processing device according to an aspect of the present invention, the trained model may be constructed by machine learning using electroencephalogram data measured while the subject is at rest. In this case, the data acquisition unit may acquire the electroencephalogram data measured while the subject is at rest as the time-series data.
In the information processing device according to an aspect of the present invention, the trained model may be constructed by machine learning using magnetoencephalogram data measured while the subject is at rest. In this case, the data acquisition unit may acquire the magnetoencephalogram measured while the subject is at rest as the time-series data.
A determination method according to one embodiment of the present invention is a determination method using an information processing device, and includes a data acquisition step of acquiring time series data of biological signals emitted from the brain of a subject, and a determination step of inputting the time series data acquired in the data acquisition step into a trained model constructed by machine learning the relationship between the time series data of the biological signals emitted from the brain and brain diseases, and making a determination regarding the brain disease of the subject based on the output of the trained model.
A determination program according to one aspect of the present invention is a determination program for causing a computer to function as the information processing device, and causes the computer to function as the data acquisition unit and the determination unit.

1 情報処理装置
101 データ取得部
102 正規化部
103 判定部
201 脳波データ(生体信号の時系列データ)
202 学習済みモデル
1 Information processing device 101 Data acquisition unit 102 Normalization unit 103 Determination unit 201 Electroencephalogram data (time series data of biological signals)
202 Trained Model

Claims (5)

対象者の安静時に同時に測定された複数チャンネルの脳波の波形データ、または上記対象者の安静時に同時に測定された複数チャンネルの脳磁図の波形データを取得するデータ取得部と、
同一時刻の複数チャンネルの波形データを畳み込む層を含み、脳疾患の患者の安静時に同時に測定された脳波の複数チャンネルの波形データ、または上記患者の安静時に同時に測定された脳磁図の複数チャンネルの波形データを教師データとして機械学習することにより構築された学習済みモデルに、上記データ取得部が取得した脳波の波形データまたは脳磁図の波形データのみを入力し、当該学習済みモデルの出力に基づいて上記対象者の脳疾患に関する判定を行う判定部と、を備え、
上記学習済みモデルの出力は、上記対象者が脳疾患に関する所定のクラスタに該当する確率を示す、
ことを特徴とする情報処理装置。
A data acquisition unit that acquires waveform data of multiple channels of electroencephalograms measured simultaneously while the subject is at rest, or waveform data of multiple channels of magnetoencephalograms measured simultaneously while the subject is at rest;
a determination unit that inputs only the electroencephalogram waveform data or magnetoencephalogram waveform data acquired by the data acquisition unit into a trained model that includes a layer for convolving waveform data of multiple channels at the same time, the trained model being constructed by machine learning using as teacher data the waveform data of multiple channels of electroencephalograms measured simultaneously while a patient with a brain disease is at rest, or the waveform data of multiple channels of magnetoencephalograms measured simultaneously while the patient is at rest; and determines whether the subject has a brain disease based on an output of the trained model ;
The output of the trained model indicates the probability that the subject falls into a predetermined cluster related to a brain disease.
23. An information processing apparatus comprising:
上記学習済みモデルは、種類の異なる認知症の患者の脳波または脳磁図の波形データを教師データとする機械学習で構築されたものであり、
上記判定部は、上記学習済みモデルの出力に基づいて上記対象者の認知症の種類を判定する、ことを特徴とする請求項1に記載の情報処理装置。
The trained model was constructed using machine learning that uses waveform data of electroencephalograms or magnetoencephalograms of patients with different types of dementia as training data.
The information processing device according to claim 1, characterized in that the determination unit determines the type of dementia of the subject based on the output of the trained model.
上記複数チャンネルの脳波の波形データ、または、上記複数チャンネルの脳磁図の波形データのそれぞれについて時間方向の正規化を行う正規化部を備え、
上記判定部は、上記学習済みモデルに正規化後の上記波形データを入力して、当該学習済みモデルの出力に基づいて上記対象者の脳疾患に関する判定を行う、ことを特徴とする請求項1に記載の情報処理装置。
a normalization unit that normalizes the waveform data of the electroencephalogram of the multiple channels or the waveform data of the magnetoencephalogram of the multiple channels in a time direction,
The information processing device according to claim 1, characterized in that the judgment unit inputs the normalized waveform data into the trained model and makes a judgment regarding a brain disease of the subject based on the output of the trained model.
プロセッサを備える情報処理装置を用いた判定方法であって、
前記プロセッサが、対象者の安静時に同時に測定された複数チャンネルの脳波の波形データ、または上記対象者の安静時に同時に測定された複数チャンネルの脳磁図の波形データを取得するデータ取得ステップと、
前記プロセッサが、同一時刻の複数チャンネルの波形データを畳み込む層を含み、脳疾患の患者の安静時に同時に測定された脳波の複数チャンネルの波形データ、または上記患者の安静時に同時に測定された脳磁図の複数チャンネルの波形データを教師データとして機械学習することにより構築された学習済みモデルに、上記データ取得ステップで取得された脳波の波形データまたは脳磁図の波形データのみを入力し、当該学習済みモデルの出力に基づいて上記対象者の脳疾患に関する判定を行う判定ステップと、を含み、
上記学習済みモデルの出力は、上記対象者が脳疾患に関する所定のクラスタに該当する確率を示す、
ことを特徴とする判定方法。
A determination method using an information processing device including a processor,
A data acquisition step in which the processor acquires waveform data of multiple channels of electroencephalograms measured simultaneously while the subject is at rest, or waveform data of multiple channels of magnetoencephalograms measured simultaneously while the subject is at rest;
the processor includes a layer for convolving waveform data of multiple channels at the same time, and inputs only the EEG waveform data or the magnetoencephalogram waveform data acquired in the data acquisition step into a trained model constructed by machine learning using as teacher data waveform data of multiple channels of EEGs simultaneously measured while a patient with a brain disease is at rest, or waveform data of multiple channels of magnetoencephalograms simultaneously measured while the patient is at rest; and a determination step for making a determination regarding the brain disease of the subject based on an output of the trained model ;
The output of the trained model indicates the probability that the subject falls into a predetermined cluster related to a brain disease.
A determination method comprising:
請求項1に記載の情報処理装置としてコンピュータを機能させるための判定プログラムであって、上記データ取得部および上記判定部としてコンピュータを機能させるための判定プログラム。 A determination program for causing a computer to function as the information processing device according to claim 1, the determination program causing the computer to function as the data acquisition unit and the determination unit.
JP2021515974A 2019-04-25 2020-04-09 Information processing device, determination method, and determination program Active JP7653688B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019084528 2019-04-25
JP2019084528 2019-04-25
PCT/JP2020/015969 WO2020218013A1 (en) 2019-04-25 2020-04-09 Information processing device, determination method, and determination program

Publications (3)

Publication Number Publication Date
JPWO2020218013A1 JPWO2020218013A1 (en) 2020-10-29
JPWO2020218013A5 JPWO2020218013A5 (en) 2022-03-24
JP7653688B2 true JP7653688B2 (en) 2025-03-31

Family

ID=72942563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021515974A Active JP7653688B2 (en) 2019-04-25 2020-04-09 Information processing device, determination method, and determination program

Country Status (2)

Country Link
JP (1) JP7653688B2 (en)
WO (1) WO2020218013A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7587232B2 (en) * 2020-11-12 2024-11-20 国立大学法人京都工芸繊維大学 Information processing device and computer program
JP2024535131A (en) * 2021-09-14 2024-09-26 アプライド・コグニション・インコーポレーテッド Non-invasive assessment of glymphatic flow and neurodegeneration from a wearable device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007125362A (en) 2005-10-31 2007-05-24 Univ New York System and method for predicting cognitive decline
WO2012165602A1 (en) 2011-05-31 2012-12-06 国立大学法人名古屋工業大学 Cognitive dysfunction-determining equipment, cognitive dysfunction-determining system, and program
WO2016093048A1 (en) 2014-12-09 2016-06-16 株式会社Nttデータ・アイ Brain disease diagnosis assistance system, brain disease diagnosis assistance method, and program
JP2018526711A (en) 2015-06-03 2018-09-13 インナーアイ リミテッドInnerEye Ltd. Image classification by brain computer interface

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019060298A1 (en) * 2017-09-19 2019-03-28 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement
AU2018350984A1 (en) * 2017-10-17 2020-05-07 Satish Rao Machine learning based system for identifying and monitoring neurological disorders

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007125362A (en) 2005-10-31 2007-05-24 Univ New York System and method for predicting cognitive decline
WO2012165602A1 (en) 2011-05-31 2012-12-06 国立大学法人名古屋工業大学 Cognitive dysfunction-determining equipment, cognitive dysfunction-determining system, and program
WO2016093048A1 (en) 2014-12-09 2016-06-16 株式会社Nttデータ・アイ Brain disease diagnosis assistance system, brain disease diagnosis assistance method, and program
JP2018526711A (en) 2015-06-03 2018-09-13 インナーアイ リミテッドInnerEye Ltd. Image classification by brain computer interface

Also Published As

Publication number Publication date
WO2020218013A1 (en) 2020-10-29
JPWO2020218013A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
US11559697B2 (en) System and method for generating electromagnetic treatment protocols for the nervous system
Durongbhan et al. A dementia classification framework using frequency and time-frequency features based on EEG signals
EP3217869B1 (en) Scoring method based on improved signals analysis
KR102143900B1 (en) System for providing subject-independent brain-computer interface and method thereof
US20160029946A1 (en) Wavelet analysis in neuro diagnostics
Aljalal et al. Mild cognitive impairment detection with optimally selected EEG channels based on variational mode decomposition and supervised machine learning
Trinh et al. Identifying individuals with mild cognitive impairment using working memory-induced intra-subject variability of resting-state EEGs
EP1216656A1 (en) Method and apparatus for estimating degree of neuronal impairment in brain cortex
Velasco et al. Motor imagery EEG signal classification with a multivariate time series approach
Luján et al. Mateo Sotos, J.; Ricarte, JJ; Borja, AL A Survey on EEG Signal Processing Techniques and Machine Learning: Applications to the Neurofeedback of Autobiographical Memory Deficits in Schizophrenia. Electronics 2021, 10, 3037
Lai et al. Detection of Moderate Traumatic Brain Injury from Resting‐State Eye‐Closed Electroencephalography
JP7653688B2 (en) Information processing device, determination method, and determination program
Hsiao et al. EEG-based classification between individuals with mild cognitive impairment and healthy controls using conformal kernel-based fuzzy support vector machine
US11559244B2 (en) System and methods for consciousness evaluation in non-communicating subjects
Javaid et al. Complexity measures reveal age-dependent changes in electroencephalogram during working memory task
Szachewicz Classification of motor imagery for brain-computer interfaces
Diwakar et al. Deep learning identifies brain cognitive load via EEG signals
Dhanapal et al. Electroencephalogram classification using various artificial neural networks
Sharma et al. Dementia diagnosis with EEG using machine learning
Sharma et al. The role of EEG signal processing in detection of neurocognitive disorders
Ghuli et al. Quantification of EEG Characteristics for Epileptic Seizure Detection and Monitoring of Anaesthesia Using Spectral Analysis
Mohan et al. Advanced EEG signal processing and feature extraction concepts
Pescaglia et al. Exploring dynamic alpha band connectivity in Parkinson’s disease: A novel approach to postural control assessment using the BioVRSea paradigm
KR20150128018A (en) Cognitive neuro-feedback method based on brain-computer interfaces system
Yousefi et al. Sleep disorder diagnosis using EEG signals and LSTM deep learning method

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20211004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250310

R150 Certificate of patent or registration of utility model

Ref document number: 7653688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150