Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7779038B2 - 学習装置及び推定装置 - Google Patents
[go: Go Back, main page]

JP7779038B2 - 学習装置及び推定装置 - Google Patents

学習装置及び推定装置

Info

Publication number
JP7779038B2
JP7779038B2 JP2021125652A JP2021125652A JP7779038B2 JP 7779038 B2 JP7779038 B2 JP 7779038B2 JP 2021125652 A JP2021125652 A JP 2021125652A JP 2021125652 A JP2021125652 A JP 2021125652A JP 7779038 B2 JP7779038 B2 JP 7779038B2
Authority
JP
Japan
Prior art keywords
state
area
brain activity
subject
functional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021125652A
Other languages
English (en)
Other versions
JP2023020340A (ja
Inventor
英樹 竹原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2021125652A priority Critical patent/JP7779038B2/ja
Priority to CN202280052465.4A priority patent/CN117751383A/zh
Priority to PCT/JP2022/029383 priority patent/WO2023008578A1/ja
Publication of JP2023020340A publication Critical patent/JP2023020340A/ja
Priority to US18/424,910 priority patent/US20240168114A1/en
Application granted granted Critical
Publication of JP7779038B2 publication Critical patent/JP7779038B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/4806Functional imaging of brain activation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Instruments for taking body samples for diagnostic purposes; Other methods or instruments for diagnosis, e.g. for vaccination diagnosis, sex determination or ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/4808Multimodal MR, e.g. MR combined with positron emission tomography [PET], MR combined with ultrasound or MR combined with computed tomography [CT]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Neurology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Artificial Intelligence (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Neurosurgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Psychology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、学習装置及び推定装置に関する。
被験者の脳の活動状態を測定する手法として、機能的近赤外分光法が知られている(例えば、特許文献1参照)。機能的近赤外分光法は、例えば機能的磁気共鳴画像法等の他の測定法と比較して、大掛かりな設備が必要ないため測定の自由度が高く、低コストで実現可能である。
特開2009-136434号公報
一方、機能的近赤外分光法は、空間分解能が低く、頭皮血流等のノイズの影響を受けやすいという課題があり、測定結果の精度を高めることが求められている。
本発明は、上記に鑑みてなされたものであり、被験者の脳の活動状態を精度良く測定するための学習装置及び推定装置を提供することを目的とする。
本発明に係る学習装置は、被験者の脳の活動状態を機能的近赤外分光法により測定した測定結果に基づく機能画像を取得する取得部と、取得した前記機能画像と、前記機能的近赤外分光法による測定時における前記被験者の脳の活動状態を示す情報であって前記機能的近赤外分光法による測定結果とは異なる情報に基づく脳活動情報とを対応付けた対応データを生成する対応データ生成部とを備える。
本発明に係る推定装置は、被験者の脳の活動状態を機能的近赤外分光法により測定した測定結果に基づく機能画像を取得する取得部と、前記機能画像と前記被験者の脳の活動状態を示す脳活動情報との相関関係について予め機械学習により生成された学習モデルと、前記取得部で取得された前記機能画像とに基づいて、前記被験者の脳の活動状態を推定する推定部とを備える。
本発明によれば、被験者の脳の活動状態を精度良く測定するための学習装置及び推定装置を提供できる。
図1は、本実施形態に係る脳機能学習推定システムの一例を示す機能ブロック図である。 図2は、ニューラルネットワークの一例を示す図である。 図3は、学習方法の一例を模式的に示す図である。 図4は、推定方法の一例を模式的に示す図である。 図5は、学習装置の動作の一例を示すフローチャートである。 図6は、推定装置の動作の一例を示すフローチャートである。
以下、本発明に係る学習装置及び推定装置の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
[第1実施形態]
図1は、本実施形態に係る脳機能学習推定システム100の一例を示す機能ブロック図である。図1に示す脳機能学習推定システム100は、検出装置10と、設定装置20と、学習装置30と、推定装置40とを備える。
検出装置10は、被験者の脳の活動状態を示す脳活動情報を検出する。検出装置10としては、例えばfNIRS(functional Near-Infrared Spectroscopy:機能的近赤外分光法)の原理に基づいて脳血流の測定を行う測定装置11と、fNIRSの原理に基づく測定装置に限定されず、例えば脳活動情報として脳活動量を測定するfMRI(functional Magnetic Resonance Imaging:機能的磁気共鳴画像法)の原理に基づいて測定を行う測定装置12とを有する。
測定装置11は、fNIRSの原理に基づく測定結果から、被験者の脳の活動状態を示す機能画像を生成する。機能画像としては、例えば被験者の脳の所定部位における酸化ヘモグロビン濃度、脱酸化ヘモグロビン濃度及び総ヘモグロビン濃度の少なくとも1つの分布を示す画像が挙げられる。なお、機能画像は、酸化ヘモグロビン濃度、脱酸化ヘモグロビン濃度、総ヘモグロビン濃度の分布を示す画像をそれぞれ生成してもよい。また、脳の活動状態と最も相関が高いと考えられる脱酸化ヘモグロビン濃度の機能画像のみを生成してもよい。また、酸化ヘモグロビン濃度、脱酸化ヘモグロビン濃度、総ヘモグロビン濃度についての機能画像をそれぞれ1つのチャネルとして1つの機能画像に統合してもよい。例えば、RGB画像であれば、RGBそれぞれがチャネルに相当する。これにより、酸化ヘモグロビン濃度、脱酸化ヘモグロビン濃度、総ヘモグロビン濃度のそれぞれの機能画像の空間的な相対関係を機械学習で学習させることができる。
機能画像は、被験者の脳の断面を示す画像である。機能画像は、例えば被験者の脳を横断面、矢状面、冠状面の少なくとも1つの平面で切断した断面で示すことができる。断面の種類については、例えば設定装置20を用いて設定することができ、設定装置20で設定された設定情報は、推定装置40を経由して検出装置10に送られる。
機能画像の対象となる脳の所定部位としては、例えばウェルニッケ野及びブローカ野等の言語中枢とすることができる。ウェルニッケ野及びブローカ野を所定部位とする場合、機能画像は、例えば両野を観測するのに適した横断面及び矢状面の少なくとも一方とすることが好ましい。なお、所定部位としては、上記に限定されず、fNIRSで測定可能な部位であれば、他の部位であってもよい。fNIRSでは、被験者の脳のうち例えば大脳(新皮質)等の表面側の部位を好適に測定可能である。したがって、所定部位としては、例えば被験者の大脳の少なくとも一部とすることができる。
ここで、fNIRSの原理に基づいて脳血流の測定を行う測定装置11は、例えば、複数の光ファイバチャネルを有する。光ファイバチャネルは、光源からの近赤外光を被験者の頭部に出射する出射用の光ファイバと、被験者の頭部の内部で反射又は散乱された近赤外光を受光する受光用の光ファイバとを有する。出射用の光ファイバ及び受光用の光ファイバは、被験者のウェルニッケ野及びブローカ野の脳活動情報が計測可能な位置に配置される。
測定装置11は、上記の断面の種類(横断面、矢状面、冠状面)と、所定部位(ウェルニッケ野、ブローカ野、等)とに基づいて、例えば拡散光トモグラフィ等の手法により、機能画像を生成することができる。
測定装置12は、fMRIの原理に基づく測定結果から、被験者の脳の活動状態を示す参照画像を生成する。参照画像は、例えば被験者の脳の画像に対して、所定部位における酸化ヘモグロビン濃度、脱酸化ヘモグロビン濃度、総ヘモグロビン濃度の変化を示す画像であり、それらを重ね合わせた画像等が挙げられる。また、参照画像は、少なくとも測定装置11の生成する機能画像と相関のある画像にすることが望ましい。例えば、測定装置11の生成する機能画像が脱酸化ヘモグロビン濃度の機能画像であれば、測定装置12の生成する参照画像は脱酸化ヘモグロビン濃度の変化を示す画像を生成するようにする。fMRIは、fNIRSに比べて、空間分解能が高く、ノイズの影響を受けにくいという利点がある。このため、fMRIにより得られる参照画像は、fNIRSにより得られる機能画像に比べて、被験者の脳の活動状態を高精度に判別可能である。
設定装置20は、脳機能学習推定システム100の設定情報を入力する。設定装置20は、キーボード、マウス等の入力装置が用いられてもよいし、タッチパネルを有するスマートフォン、タブレット等が用いられてもよい。
学習装置30は、検出装置10の検出結果を学習する。学習装置30は、例えばCPU(Central Processing Unit)等の処理装置と、RAM(Random Access Memory)又はROM(Read Only Memory)等の記憶装置を有する。学習装置30は、取得部31と、対応データ生成部32と、学習モデル生成部33と、記憶部34とを備える。
取得部31は、被験者の脳の活動状態をfNIRSにより測定した測定結果に基づく機能画像を取得する。本実施形態において、取得部31は、測定装置11の測定結果に基づく機能画像を取得する。また、本実施形態において、取得部31は、例えば被験者の脳のウェルニッケ野及びブローカ野を示す機能画像を取得する。
対応データ生成部32は、取得部31で取得した機能画像と、当該機能画像に対応する脳活動情報とを対応付けた対応データを生成する。脳活動情報は、fNIRSによる測定時における被験者の脳の活動状態を示す情報であって、fNIRSによる測定結果とは異なる情報に基づく情報である。このような脳活動情報としては、例えば被験者の脳のウェルニッケ野及びブローカ野における活動状態を示す情報とすることができる。本実施形態において、脳活動情報は、被験者の脳をfMRIにより測定した測定結果に基づく情報である。つまり、脳活動情報は、例えば測定装置12で生成される参照画像から判別できる活動状態である。この活動状態は、例えば参照画像に基づいて人手により判定することができる。なお、画像処理装置等を用いて自動的に活動状態を判定してもよい。
ウェルニッケ野及びブローカ野の各野の活動状態は、それぞれ段階的に設定することができる。例えば、ウェルニッケ野及びブローカ野の各野の活動状態は、それぞれ「高活動」「低活動」の2段階に設定することができる。なお、各野の活動状態はそれぞれ段階的に設定できるとしたが、各野の特性に合わせて段階的に設定することができる。例えば、ウェルニッケ野の活動状態は、所定閾値W1に基づいて、所定閾値W1以上であれば高活動とし、所定閾値W1より小さければ低活動として分類する。また、ブローカ野の活動状態は、所定閾値B1に基づいて、所定閾値B1以上であれば高活動、所定閾値B1より小さければ低活動として分類する。ここで、ウェルニッケ野の所定閾値の設定について一例を説明する。被験者に対して聴覚刺激や視覚刺激等の五感に反応するような刺激を与えたり与えなかったりして所定時間の脳活動情報を測定して、所定時間内の多数の参照画像を生成し、所定時間内の多数の参照画像のウェルニッケ野に該当する領域の画素値(酸化ヘモグロビン濃度、脱酸化ヘモグロビン濃度及び総ヘモグロビン濃度の少なくとも一つを変換した画素値)の最低値と最高値を取得する。そして、所定閾値を前記最高値の50%としても良いし、所定閾値を前記最低値の150%としても良いし、所定閾値を前記最高値と前記最低値の中間値としても良い。このように、参照画像の画素値に基づいて所定閾値を設定する。ブローカ野についても同様に閾値を設定することができる。なお、各野の活動状態は、3段階以上に設定してもよい。
つまり、ウェルニッケ野及びブローカ野の活動状態は、
(1)ウェルニッケ野が低活動、ブローカ野が低活動の状態(両野低活動)
(2)ウェルニッケ野が低活動、ブローカ野が高活動の状態(ブローカ野優位)
(3)ウェルニッケ野が高活動、ブローカ野が低活動の状態(ウェルニッケ野優位)
(4)ウェルニッケ野が高活動、ブローカ野が高活動の状態(両野高活動)
の4つに分類することができる。したがって、脳活動情報としては、両野低活動状態、ブローカ野優位状態、ウェルニッケ野優位状態、両野高活動状態、の4種類の状態として設定することができる。ここでは、ウェルニッケ野及びブローカ野の各野の活動状態は同じ段階に設定したが、例えば、ウェルニッケ野は2段階、ブローカ野は4段階のように異なる段階に設定しても良い。
本実施形態において、対応データ生成部32は、測定装置11と測定装置12とで同一の被験者の脳を同時に測定した測定結果に基づく機能画像と脳活動情報とを対応付けた対応データを生成する。つまり、対応データは、fNIRSの測定結果に基づく機能画像に対して、fMRIの測定結果に基づいて判定される脳活動情報が対応付けられた状態となる。上記したように、fMRIにより得られる参照画像は、fNIRSにより得られる機能画像に比べて、被験者の脳の活動状態を高精度に判別可能となる。このため、fNIRSにより得られる機能画像自体に基づいて被験者の脳の活動状態を判別した場合の情報に比べて、高精度の情報が機能画像に対応付けられる可能性が高くなる。対応データ生成部32は、生成した対応データを記憶部34に記憶させる。
本実施形態において、学習モデル生成部33は、例えばVGG16で表されるニューラルネットワーク(畳み込みニューラルネットワーク)を用いて学習モデルを生成する。図2は、ニューラルネットワークの一例を示す図である。図2に示すように、ニューラルネットワークNWは、13層の畳み込み層S1と、5層のプーリング層S2と、3層の全結合層S3とを有する。ニューラルネットワークは、入力される情報を畳み込み層S1及びプーリング層S2で順に処理し、処理結果が全結合層S3で結合されて出力される。
学習モデル生成部33は、対応データ生成部32で生成された対応データをニューラルネットワークNWに入力し、対応データで対応付けられる機能画像と脳活動情報との相関関係を深層学習等の機械学習により学習する。つまり、学習モデル生成部33は、学習によりニューラルネットワークNWを最適化して学習モデルを生成する。例えば、教師あり学習では脳活動情報を正解データとして扱い、ここでは脳活動情報は4種類の状態であるため、4つの状態に分類する問題を解くように学習する。なお、本実施形態では、VGG16で表される畳み込みニューラルネットワークを用いて学習モデルを生成する例を説明しているが、これに限定されず、他の種類のニューラルネットワークを用いて学習モデルを生成してもよい。
記憶部34は、各種情報を記憶する。記憶部34は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部34として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部34は、データ生成部32で生成される対応データ、学習モデル生成部33で生成される学習モデルを記憶する。
記憶部34は、被験者の脳の活動状態をfNIRSにより測定した測定結果に基づく機能画像を取得する処理と、取得した機能画像とfNIRSによる測定時における被験者の脳の活動状態を示す情報であってfNIRSとは異なる情報に基づく脳活動情報とを対応付けた対応データを生成する処理とをコンピュータに実行させる学習プログラムを記憶する。記憶部34は、生成された対応データに基づいて、機能画像と脳活動情報との相関関係を機械学習して学習モデルを生成する処理を更にコンピュータに実行させる学習プログラムを記憶する。
推定装置40は、被験者の脳の活動状態を推定する。推定装置40は、例えばCPU等の処理装置と、RAM又はROM等の記憶装置を有する。推定装置40は、取得部41と、推定部42と、記憶部43とを備える。
取得部41は、被験者の脳の活動状態をfNIRSにより測定した測定結果に基づく機能画像を取得する。取得部41は、測定装置11において生成された機能画像を取得する。
推定部42は、取得部41で取得した機能画像と、学習装置30で生成された学習モデルとに基づいて、被験者の脳の活動状態を推定する。推定部42は、取得部41で取得した機能画像を学習モデルに入力する。この場合、学習モデルからは、機能画像と脳活動情報との相関関係の学習結果に基づいて、入力した機能画像に対応する脳活動情報が出力される。推定部42は、出力結果である脳活動情報が、被験者の脳の活動状態であると推定する。推定部42は、推定結果を出力する。出力された推定結果は、例えば設定装置20に送信され、設定装置20において表示等される。また、推定部42は、推定結果を記憶部43に記憶させてもよい。
記憶部43は、各種情報を記憶する。記憶部43は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部43として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部43は、学習装置30で生成される学習モデルを記憶することができる。
記憶部43は、被験者の脳の活動状態をfNIRSにより測定した測定結果に基づく機能画像を取得する処理と、機能画像と機能画像の測定時における被験者の脳の活動状態を示す脳活動情報との相関関係について予め機械学習により生成された学習モデルと、取得された機能画像とに基づいて、被験者の脳の活動状態を推定する処理とをコンピュータに実行させる。
次に、上記のように構成された脳機能学習推定システム100を用いた学習方法及び推定方法について説明する。図3は、学習方法の流れを模式的に示す図である。本実施形態に係る学習方法においては、まず、材料となる機能画像及び脳活動情報を生成する。被験者は、測定装置11及び測定装置12により、同時に測定を行う。測定装置11及び測定装置12は、測定結果に基づいて機能画像及び参照画像を生成する。
判定者は、参照画像を見て被験者の脳活動情報を判定する。参照画像は機能画像よりも高精度であるため、機能画像を見て被験者の脳活動情報を判別するよりも精度の良い判定結果が得られる可能性が高くなる。判定者は、参照画像を見て、被験者の脳の活動状態を判定し、判定結果となる脳活動情報を設定装置20により入力する。ここでは、例えばブローカ野優位という判定結果を入力する。入力された脳活動情報は、例えば測定装置12のメモリ等に記憶される。なお、同時に測定された結果に基づく機能画像及び脳活動情報には、互いに対応付けが可能となるように測定時刻等のタグ情報が含まれてもよい。このような測定及び判定を複数回行うことにより、複数の機能画像及び脳活動情報の組み合わせが蓄積される。
この状態で、学習装置30に学習を開始させるように設定装置20から入力等を行うことにより、学習処理が開始される。取得部31は、測定装置11の測定結果に基づく機能画像を取得する。対応データ生成部32は、測定装置12から脳活動情報を取得する。対応データ生成部32は、取得された機能画像と脳活動情報とをタグ情報等に基づいて対応付けた対応データを生成する。対応データ生成部32は、生成した対応データを記憶部34に記憶させる。
学習モデル生成部33は、生成された対応データに基づいて、機能画像と脳活動情報との相関関係を機械学習(深層学習)することにより、ニューラルネットワークNWを最適化して学習モデルを生成する。学習モデル生成部33は、生成した学習モデルを記憶部34に記憶させる。
図4は、推定方法の流れを模式的に示す図である。本実施形態に係る推定方法において、被験者は、測定装置11により測定を行う。測定装置11は、測定結果に基づく機能画像を生成する。この状態で、推定装置40に推定を開始させるように設定装置20から入力等を行うことにより、推定処理が開始される。推定装置40は、学習装置30の記憶部34に記憶された学習モデルを予め取得し、記憶部43に記憶しておく。
取得部41は、測定装置11の測定結果に基づく機能画像を取得する。推定部42は、記憶部43に記憶された学習モデルであるニューラルネットワークNWに機能画像を入力し、出力結果である脳活動情報を取得して、取得した脳活動情報を被験者の脳の活動状態であると推定する。図4に示す例では、「ブローカ野優位」という脳活動情報がニューラルネットワークNWから出力される。推定部42は、ニューラルネットワークNWからの出力結果に基づいて、被験者の脳の活動状態が「ブローカ野優位」であると推定する。推定部42は、推定結果を出力する。推定部42から出力された推定結果は、例えば設定装置20等の外部装置等において表示等させることができる。
図5は、学習装置30の動作の一例を示すフローチャートである。図5に示すように、学習装置30において、取得部31は、被験者の脳の活動状態をfNIRSにより測定した測定結果に基づく機能画像を取得する(ステップS10)。次に、対応データ生成部32は、取得した機能画像と、fNIRSによる測定時における被験者の脳の活動状態を示す情報であってfNIRSによる測定結果とは異なる情報に基づく脳活動情報とを対応付けた対応データを生成する(ステップS20)。次に、学習モデル生成部33は、対応データ生成部32で生成された対応データに基づいて、機能画像と脳活動情報との相関関係を機械学習して学習モデルを生成する(ステップS30)。
図6は、推定装置40の動作の一例を示すフローチャートである。図6に示すように、推定装置40において、取得部41は、被験者の脳の活動状態をfNIRSにより測定した測定結果に基づく機能画像を取得する(ステップS40)。次に、推定部42は、機能画像と脳活動情報との相関関係について予め機械学習により生成された学習モデルと、取得部41で取得された機能画像とに基づいて、被験者の脳の活動状態を推定する(ステップS50)。
以上のように、本実施形態に係る学習装置30は、被験者の脳の活動状態をfNIRSにより測定した測定結果に基づく機能画像を取得する取得部31と、取得した機能画像と、fNIRSによる測定時における被験者の脳の活動状態を示す情報であってfNIRSによる測定結果とは異なる情報に基づく脳活動情報とを対応付けた対応データを生成する対応データ生成部32とを備える。
この構成によれば、fNIRSによる測定結果に基づく機能画像と、fNIRSによる測定結果とは異なる情報に基づく脳活動情報とを対応付けることができる。このため、fNIRSによる測定結果に基づく機能画像から脳活動情報を判定する場合に比べて、機能画像と脳活動情報との対応付けを高精度に行うことができる。これにより、被験者の脳の活動状態の精度良い測定に資することができる。
本実施形態に係る学習装置30において、対応データ生成部32で生成された対応データに基づいて、機能画像と脳活動情報との相関関係を機械学習して学習モデルを生成する学習モデル生成部33を更に備える。この構成によれば、機能画像と脳活動情報との対応付けが高精度に行われた対応データを用いて学習モデルを生成するため、機能画像と脳活動情報との相関関係について高精度の学習モデルを生成できる。これにより、被験者の脳の活動状態の精度良い測定に資することができる。
本実施形態に係る学習装置30において、fNIRSによる測定結果とは異なる情報は、fNIRSによる測定と対応する時期に被験者の脳をfMRIにより測定した測定結果に基づく情報である。fMRIは、fNIRSに比べて、空間分解能が高く、ノイズの影響を受けにくいという利点がある。このため、fMRIにより得られる参照画像は、fNIRSにより得られる機能画像に比べて、被験者の脳の活動状態を高精度に判別可能である。したがって、fNIRSによる測定結果に基づく機能画像から脳活動情報を判定する場合に比べて、機能画像と脳活動情報との対応付けを高精度に行うことができる。
本実施形態に係る学習装置30において、機能画像は、被験者の大脳を示す画像である。この構成によれば、fNIRSにより好適に測定可能な大脳の画像を用いるため、高精度の対応付け及び学習を行うことができる。
本実施形態に係る推定装置40は、被験者の脳の活動状態をfNIRSにより測定した測定結果に基づく機能画像を取得する取得部41と、機能画像と機能画像の測定時における被験者の脳の活動状態を示す脳活動情報との相関関係について予め機械学習により生成された学習モデルと、取得部41で取得された機能画像とに基づいて、被験者の脳の活動状態を推定する推定部42とを備える。
この構成によれば、fNIRSによる測定結果に基づく機能画像と、予め機械学習により生成された学習モデルとに基づいて、被験者の脳の活動状態を推定することができるため、fNIRSによる測定結果に基づく機能画像から人手により推定する場合に比べて、被験者の脳の活動状態を高精度に推定することが可能となる。
なお、ウェルニッケ野及びブローカ野の各野の活動状態は、それぞれ段階的に設定することができるとしたが、fNIRSの光ファイバチャネルの特性に基づいて設定してもよい。具体的には、ウェルニッケ野及びブローカ野の活動状態は、fNIRSの光ファイバチャネルの特性に基づいて段階的に設定する。以下、ウェルニッケ野及びブローカ野の活動状態の段階をfNIRSの光ファイバチャネルの特性に基づいて変更する例を変形例として説明する。
ウェルニッケ野及びブローカ野の活動状態は、fNIRSの光ファイバチャネルの数に応じて段階的に設定する。例えば、ウェルニッケ野の活動状態を示す段階の数を、ウェルニッケ野の脳活動情報を計測するために設置した受光用の光ファイバの数と比例して設定する。また、ブローカ野の活動状態を示す段階の数を、ブローカ野の脳活動情報を計測するために設置した受光用の光ファイバの数と比例して設定する。ここでは、光ファイバチャネルの数を受光用の光ファイバの数としたが、受光用の光ファイバの数と射出用の光ファイバの数の合計数としても良い。このようにすることで、装着したfNIRSの光ファイバチャネルの数に応じて適切に脳活動情報を学習して測定することができる。
ウェルニッケ野及びブローカ野の活動状態は、fNIRSの光ファイバチャネルの出射用の光ファイバの出力量や受光用の光ファイバの感度に応じて設定する。例えば、ウェルニッケ野の活動状態を示す段階を、ウェルニッケ野の脳活動情報を計測するために設置した受光用の光ファイバの感度と比例して設定する。また、ブローカ野の活動状態を示す段階を、ブローカ野の脳活動情報を計測するために設置した受光用の光ファイバの感度と比例して設定する。ここでは、受光用の光ファイバの感度と比例して設定したが、射出用の光ファイバの出力量としても良いし、受光用の光ファイバの感度と射出用の光ファイバの出力量の両方を考慮しても良い。また、感度を得るための、受光用の光ファイバの口径の大きさや射出用の光ファイバの口径の大きさに比例して設定しても良い。このようにすることで、装着したfNIRSの光ファイバチャネルの出力量や感度に応じて適切に脳活動情報を学習して測定することができる。
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態においては、学習装置30及び推定装置40が脳機能学習推定システム100の一部を構成する場合を例に挙げて説明したが、これに限定されない。学習装置30及び推定装置40は、それぞれ独立した装置又はシステムとして設けられた構成であってもよい。
また、上記実施形態においては、学習装置30と推定装置40とが別個の装置として設けられた構成を例に挙げて説明したが、これに限定されない。例えば、学習装置30の機能と推定装置40の機能とを有する処理装置が設けられた構成であってもよい。
S1…畳み込み層、S2…プーリング層、S3…結合層、NW…ニューラルネットワーク(学習モデル)、10…検出装置、11,12…測定装置、20…設定装置、30…学習装置、31,41…取得部、32…対応データ生成部、33…学習モデル生成部、34,43…記憶部、40…推定装置、42…推定部、100…脳機能学習推定システム

Claims (5)

  1. 被験者の脳の活動状態を機能的近赤外分光法により測定した測定結果に基づく機能画像を取得する取得部と、
    取得した前記機能画像と、前記機能的近赤外分光法による測定時における前記被験者の脳の活動状態を示す情報であって前記機能的近赤外分光法による測定結果とは異なる情報に基づくウェルニッケ野及びブローカ野の状態を示す脳活動情報とを対応付けた対応データを生成する対応データ生成部と
    を備え
    前記脳活動情報は、両野低活動状態、ブローカ野優位状態、ウェルニッケ野優位状態、両野高活動状態を示す
    学習装置。
  2. 前記対応データ生成部で生成された前記対応データに基づいて、前記機能画像と前記脳活動情報との相関関係を機械学習して学習モデルを生成する学習モデル生成部を更に備える
    請求項1に記載の学習装置。
  3. 前記機能的近赤外分光法による測定結果とは異なる情報は、前記機能的近赤外分光法による測定と対応する時期に前記被験者の脳を機能的磁気共鳴画像法により測定した測定結果に基づく情報である、
    請求項1又は請求項2に記載の学習装置。
  4. 前記被験者の脳の活動状態を示す情報は、前記機能的近赤外分光法による測定時における光ファイバの特性に基づく情報である、
    請求項1から請求項3のいずれか一項に記載の学習装置。
  5. 被験者の脳の活動状態を機能的近赤外分光法により測定した測定結果に基づく機能画像を取得する取得部と、
    前記機能画像と前記被験者の脳のウェルニッケ野及びブローカ野の状態を示す活動状態を示す脳活動情報との相関関係について予め機械学習により生成された学習モデルと、前記取得部で取得された前記機能画像とに基づいて、前記被験者の脳の活動状態を推定する推定部と
    を備え
    前記脳活動情報は、両野低活動状態、ブローカ野優位状態、ウェルニッケ野優位状態、両野高活動状態を示す
    推定装置。
JP2021125652A 2021-07-30 2021-07-30 学習装置及び推定装置 Active JP7779038B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021125652A JP7779038B2 (ja) 2021-07-30 2021-07-30 学習装置及び推定装置
CN202280052465.4A CN117751383A (zh) 2021-07-30 2022-07-29 学习装置和估计装置
PCT/JP2022/029383 WO2023008578A1 (ja) 2021-07-30 2022-07-29 学習装置及び推定装置
US18/424,910 US20240168114A1 (en) 2021-07-30 2024-01-29 Learning apparatus and estimation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021125652A JP7779038B2 (ja) 2021-07-30 2021-07-30 学習装置及び推定装置

Publications (2)

Publication Number Publication Date
JP2023020340A JP2023020340A (ja) 2023-02-09
JP7779038B2 true JP7779038B2 (ja) 2025-12-03

Family

ID=85086949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021125652A Active JP7779038B2 (ja) 2021-07-30 2021-07-30 学習装置及び推定装置

Country Status (4)

Country Link
US (1) US20240168114A1 (ja)
JP (1) JP7779038B2 (ja)
CN (1) CN117751383A (ja)
WO (1) WO2023008578A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069847A (ja) 2003-08-25 2005-03-17 Hitachi Ltd 生体光計測装置
JP2018079087A (ja) 2016-11-16 2018-05-24 株式会社デンソー 生体情報解析装置、及び生体情報解析方法
JP2018089142A (ja) 2016-12-05 2018-06-14 学校法人同志社 脳機能イメージングデータからヒトの脳活動状態を推定する方法
JP2021092873A (ja) 2019-12-06 2021-06-17 株式会社島津製作所 生体データ管理方法、生体データ管理システムおよび生体データ管理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069847A (ja) 2003-08-25 2005-03-17 Hitachi Ltd 生体光計測装置
JP2018079087A (ja) 2016-11-16 2018-05-24 株式会社デンソー 生体情報解析装置、及び生体情報解析方法
JP2018089142A (ja) 2016-12-05 2018-06-14 学校法人同志社 脳機能イメージングデータからヒトの脳活動状態を推定する方法
JP2021092873A (ja) 2019-12-06 2021-06-17 株式会社島津製作所 生体データ管理方法、生体データ管理システムおよび生体データ管理プログラム

Also Published As

Publication number Publication date
JP2023020340A (ja) 2023-02-09
US20240168114A1 (en) 2024-05-23
WO2023008578A1 (ja) 2023-02-02
CN117751383A (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
Leshikar et al. Medial prefrontal cortex supports source memory for self-referenced materials in young and older adults
Price et al. Design and analysis of fMRI studies with neurologically impaired patients
Habeck et al. Relation of cognitive reserve and task performance to expression of regional covariance networks in an event-related fMRI study of nonverbal memory☆
US12471797B2 (en) Method and system for determining brain-state dependent functional areas of unitary pooled activity and associated dynamic networks with functional magnetic resonance imaging
KR101703547B1 (ko) 기능적 근적외선 분광법의 뇌활성도 측정에 따른 유효 채널 추출 방법 및 장치
Wen et al. Exploring resting-state functional connectivity with total interdependence
US20170156630A1 (en) System and method for adaptive and patient-specific magnetic resonance imaging
US20090279762A1 (en) Brain function analysis apparatus
Torralbo et al. Good exemplars of natural scene categories elicit clearer patterns than bad exemplars but not greater BOLD activity
Sasai et al. Frequency-specific network topologies in the resting human brain
Li et al. Lipschitz-Killing curvature based expected Euler characteristics for p-value correction in fNIRS
Venkataraman et al. Joint modeling of anatomical and functional connectivity for population studies
Lowe et al. Modern methods for interrogating the human connectome
Tipples et al. Neural bases for individual differences in the subjective experience of short durations (less than 2 seconds)
Bonomini et al. Linear regression models and k-means clustering for statistical analysis of fNIRS data
JP4477403B2 (ja) 生体光計測装置
JP6404162B2 (ja) 脳機能指標演算装置および脳機能指標演算方法
Randeniya et al. Increased functional activity, bottom-up and intrinsic effective connectivity in autism
US11678833B2 (en) Brain activity feature amount extraction method
JP7779038B2 (ja) 学習装置及び推定装置
Brodtmann et al. The functional magnetic resonance imaging hemodynamic response to faces remains stable until the ninth decade
JP2000237146A (ja) ストレス計測装置
Hernández-Martin et al. Comparing diffuse optical tomography and functional magnetic resonance imaging signals during a cognitive task: pilot study
Nambu et al. Transient increase in systemic interferences in the superficial layer and its influence on event-related motor tasks: a functional near-infrared spectroscopy study
JP2006280806A (ja) 脳内電流源推定方法、生体情報推定方法、脳内電流源推定装置、及び生体情報推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251103

R150 Certificate of patent or registration of utility model

Ref document number: 7779038

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150