Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6649462B2 - Dual closed circuit brain-machine interface system and method - Google Patents
[go: Go Back, main page]

JP6649462B2 - Dual closed circuit brain-machine interface system and method - Google Patents

Dual closed circuit brain-machine interface system and method Download PDF

Info

Publication number
JP6649462B2
JP6649462B2 JP2018232980A JP2018232980A JP6649462B2 JP 6649462 B2 JP6649462 B2 JP 6649462B2 JP 2018232980 A JP2018232980 A JP 2018232980A JP 2018232980 A JP2018232980 A JP 2018232980A JP 6649462 B2 JP6649462 B2 JP 6649462B2
Authority
JP
Japan
Prior art keywords
brain
signal
user
intention
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018232980A
Other languages
Japanese (ja)
Other versions
JP2019109888A (en
Inventor
チョンギ ジョン
チョンギ ジョン
ソクユン ユン
ソクユン ユン
ジュンシク キム
ジュンシク キム
ドンヒョク イ
ドンヒョク イ
ガウン ジョン
ガウン ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SNU R&DB Foundation
Original Assignee
Seoul National University R&DB Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seoul National University R&DB Foundation filed Critical Seoul National University R&DB Foundation
Publication of JP2019109888A publication Critical patent/JP2019109888A/en
Application granted granted Critical
Publication of JP6649462B2 publication Critical patent/JP6649462B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)
  • Rehabilitation Tools (AREA)

Description

本発明は、二重閉回路ブレイン−マシーンインターフェースシステム及びその方法に関し、より詳細には、(a)使用者の運動意図に対応する脳信号である運動意図脳信号が感知されると、ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の運動意図に基づく運動に対する情報である運動情報を生成する段階;(b)前記ブレイン−マシーンインターフェースシステムが、前記運動情報に対応して前記使用者の身体部位を代替して動作する外部機器を制御するための制御信号を生成し、前記制御信号に対応して前記外部機器が動作するように支援して、前記外部機器の動作状態に対応する感覚信号を獲得し、前記感覚信号を分析して前記外部機器の動作状態を前記使用者が認識できるようにするための脳刺激パターン(前記脳刺激パターンは、前記外部機器の動作状態を前記使用者が認識できるようにするために動作状態別に設定された体性感覚情報に対応して、当該体性感覚を誘発するために設定された脳部位を刺激するためのパターンである)を獲得する段階;及び(c)前記ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の脳部位を刺激する脳刺激頻度に対する情報を生成し、前記脳刺激頻度に対する情報を利用して前記脳刺激パターンを補正し、前記補正された脳刺激パターンを参照して脳刺激部を通じて前記脳部位を刺激するように支援する段階を含むことを特徴とする二重閉回路ブレイン−マシーンインターフェース方法及びシステムに関する。   The present invention relates to a dual closed-circuit brain-machine interface system and method, and more particularly, (a) when a movement intention brain signal, which is a brain signal corresponding to a user's movement intention, is detected. A step in which the machine interface system analyzes the movement intention brain signal to generate movement information that is information on movement based on the movement intention of the user; (b) the brain-machine interface system corresponds to the movement information. Generating a control signal for controlling an external device that operates in place of the user's body part, and assists the external device to operate in response to the control signal; A sensory signal corresponding to an operation state is acquired, and the sensory signal is analyzed so that the user can recognize the operation state of the external device. Brain stimulation pattern (the brain stimulation pattern induces the somatic sensation corresponding to the somatosensory information set for each operation state so that the user can recognize the operation state of the external device) (C) the brain-machine interface system analyzes the motion-intention brain signal to determine the user's brain region. Generating information on a brain stimulation frequency to be stimulated, correcting the brain stimulation pattern using the information on the brain stimulation frequency, and stimulating the brain region through a brain stimulation unit with reference to the corrected brain stimulation pattern. And a method and system for dual closed circuit brain-machine interface.

ブレイン−マシーンインターフェース(BMI)技術は、脳と機械の相互情報伝達及び解析を通じて考えるだけで外部電子装置または機器を制御する技術である。より詳細には、使用者の意図と関連する脳信号を基にその意図を解析して外部事物や仮想の物体を制御する技術である。   Brain-Machine Interface (BMI) technology is a technology for controlling an external electronic device or device only by thinking through mutual information transmission and analysis between the brain and the machine. More specifically, it is a technique of analyzing an intention based on a brain signal related to a user's intention and controlling an external thing or a virtual object.

既存の研究では、四肢麻痺患者の一次運動皮質、後頭頂葉皮質などに侵襲的な微細電極を挿入し、測定された脳信号を基に考えるだけでロボットアームをある程度制御し得ると報告されたことがある。   An existing study reported that inserting an invasive microelectrode into the primary motor cortex, occipital parietal cortex, etc. of a patient with quadriplegia could control the robot arm to some extent simply by thinking based on measured brain signals. Sometimes.

そして、電極の大きさが微細電極よりも大きい脳皮質脳波(ECoG)を利用したブレイン−マシーンインターフェース技術の場合、微細電極を利用したシステムに比べて制御正確度は多少劣るが、脳組織をほぼ破壊せずに、より広い脳領域をカバーすることができるという長所がある。   In the case of the brain-machine interface technology using the brain cortical electroencephalogram (ECoG) in which the size of the electrode is larger than that of the microelectrode, the control accuracy is somewhat inferior to the system using the microelectrode, but the brain tissue is almost completely removed. It has the advantage that it can cover a larger brain area without destroying it.

しかし、脳信号基盤ブレイン−マシーンインターフェースシステムのパフォーマンスに対する限界も明確だが、研究者らはこれに対する主な原因として運動命令遂行中の体性感覚フィードバックを受けることができないという点を挙げている。   However, although the limitations on the performance of the brain signal-based brain-machine interface system are clear, researchers have cited the main reason for this inability to receive somatosensory feedback during motor command execution.

また、たとえ体性感覚フィードバックを受けるとしても、単純に脳刺激を通じたフィードバックシステムだけでは、実際運動パフォーマンスに大きな影響を及ぼす脳領域間フィードバックメカニズムを復元させることができない問題点がある。   Further, even if somatic sensory feedback is received, there is a problem in that a feedback mechanism between brain regions that has a great effect on motor performance can not be restored by simply using a feedback system through brain stimulation.

本発明は、上述した問題点をすべて解決することを目的とする。   An object of the present invention is to solve all the problems described above.

また、本発明は、使用者の運動関連脳信号デコーディングを通じた外部機器制御と当該制御過程で誘発された感覚信号(例えば、外部機器のセンサ信号)に対応する脳刺激を通じて使用者に体性感覚フィードバックを誘導することを他の目的とする。   In addition, the present invention provides control of an external device through decoding of a motion-related brain signal of the user and physical stimulation of the user through brain stimulation corresponding to a sensory signal (for example, a sensor signal of the external device) induced in the control process. Another purpose is to induce sensory feedback.

また、運動意図と関連して発生する脳信号に対する脳領域間フィードバックを使用者に脳信号感知/脳刺激シークエンスで誘導することを他の目的とする。   It is another object of the present invention to induce a user to perform inter-brain region feedback on a brain signal generated in association with a movement intention through a brain signal sensing / brain stimulation sequence.

また、本発明は、脳刺激によって発生する脳信号の雑音を最小化するためのものであることを他の目的とする。   Another object of the present invention is to minimize noise of brain signals generated by brain stimulation.

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。   The characteristic configuration of the present invention for achieving the above object of the present invention and realizing the characteristic effects of the present invention described below is as follows.

本発明の一態様によれば、使用者のブレイン−マシーン間をインターフェーシングする方法において、(a)使用者の運動意図に対応する脳信号である運動意図脳信号が感知されると、ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の運動意図に基づく運動に対する情報である運動情報を生成する段階;(b)前記ブレイン−マシーンインターフェースシステムが、前記運動情報に対応して前記使用者の身体部位を代替して動作する外部機器を制御するための制御信号を生成し、前記制御信号に対応して前記外部機器が動作するように支援して、前記外部機器の動作状態に対応する感覚信号を獲得し、前記感覚信号を分析して前記外部機器の動作状態を前記使用者が認識できるようにするための脳刺激パターン(前記脳刺激パターンは、前記外部機器の動作状態を前記使用者が認識できるようにするために動作状態別に設定された体性感覚情報に対応して、当該体性感覚を誘発するために設定された脳部位を刺激するためのパターンである)を獲得する段階;及び(c)前記ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の脳部位を刺激する脳刺激頻度に対する情報を生成し、前記脳刺激頻度に対する情報を利用して前記脳刺激パターンを補正し、前記補正された脳刺激パターンを参照して脳刺激部を通じて前記脳部位を刺激するように支援する段階;を含むことを特徴とする二重閉回路ブレイン−マシーンインターフェース方法を提供する。   According to one aspect of the present invention, there is provided a method for interfacing between a user's brain and a machine, comprising the steps of: (a) detecting a brain intention signal that is a brain signal corresponding to the user's movement intention; A step in which the machine interface system analyzes the movement intention brain signal to generate movement information that is information on movement based on the movement intention of the user; (b) the brain-machine interface system corresponds to the movement information. Generating a control signal for controlling an external device that operates in place of the user's body part, and assists the external device to operate in response to the control signal; Acquiring a sensory signal corresponding to an operation state, analyzing the sensory signal, and enabling the user to recognize an operation state of the external device. Stimulation pattern (The brain stimulation pattern is for inducing the somatosensory according to the somatosensory information set for each operation state so that the user can recognize the operation state of the external device. And (c) the brain-machine interface system analyzes the motion intention brain signal and stimulates the user's brain region. Generating information on a brain stimulation frequency, correcting the brain stimulation pattern using the information on the brain stimulation frequency, and stimulating the brain region through a brain stimulation unit with reference to the corrected brain stimulation pattern. Providing a double closed circuit brain-machine interface method.

本発明の他の態様によれば、使用者のブレイン−マシーン間をインターフェーシングするブレイン−マシーンインターフェースシステムにおいて、外部機器に接近可能な通信部、及び(1)使用者の運動意図に対応する脳信号である運動意図脳信号が感知されると、前記運動意図脳信号を分析して前記使用者の運動意図に基づく運動に対する情報である運動情報を生成するプロセス、(2)前記運動情報に対応して前記使用者の身体部位を代替して動作する外部機器を制御するための制御信号を生成し、前記制御信号に対応して前記外部機器が動作するように支援して、前記外部機器の動作状態に対応する感覚信号を獲得し、前記感覚信号を分析して前記外部機器の動作状態を前記使用者が認識できるようにするための脳刺激パターン(前記脳刺激パターンは、前記外部機器の動作状態を前記使用者が認識できるようにするために動作状態別に設定された体性感覚情報に対応して、当該体性感覚を誘発するために設定された脳部位を刺激するためのパターンである)を獲得するプロセス、及び(3)前記運動意図脳信号を分析して前記使用者の脳部位を刺激する脳刺激頻度に対する情報を生成し、前記脳刺激頻度に対する情報を利用して前記脳刺激パターンを補正し、前記補正された脳刺激パターンを参照して脳刺激部を通じて前記脳部位を刺激するように支援するプロセスを遂行するプロセッサを含むことを特徴とする二重閉回路ブレイン−マシーンインターフェースシステムを提供する。   According to another aspect of the present invention, in a brain-machine interface system for interfacing between a user's brain and a machine, a communication unit accessible to an external device, and (1) a brain corresponding to a user's exercise intention. A process of analyzing the motion intention brain signal when the motion intention brain signal is sensed to generate motion information that is information on motion based on the motion intention of the user; (2) corresponding to the motion information Generating a control signal for controlling an external device that operates in place of the user's body part, and assists the external device to operate in response to the control signal; A brain stimulation pattern for acquiring a sensory signal corresponding to an operation state, analyzing the sensory signal, and enabling the user to recognize an operation state of the external device (the brain stimulation pattern). The stimulation pattern corresponds to the somatosensory information set for each operation state so that the user can recognize the operation state of the external device, and a brain set to induce the somatosensory. (3) analyzing the brain signal of the intention to exercise to generate information on the frequency of brain stimulation for stimulating the brain part of the user, and A processor for performing a process of correcting the brain stimulation pattern using information on the brain stimulation pattern and supporting the brain part through a brain stimulation unit with reference to the corrected brain stimulation pattern. Providing a dual closed circuit brain-machine interface system.

本発明によれば、次のような効果がある。   According to the present invention, the following effects can be obtained.

本発明は、使用者の運動関連脳信号デコーディングを通じた外部機器制御と当該制御過程で誘発された感覚信号(例えば、外部機器のセンサ信号)に対応する脳刺激を通じて使用者に体性感覚フィードバックを誘導する効果がある。   The present invention provides somatic sensory feedback to a user through control of an external device through decoding of a motion-related brain signal of the user and brain stimulation corresponding to a sensory signal (eg, a sensor signal of the external device) induced in the control process. Has the effect of inducing.

また、運動意図と関連して発生する脳信号に対する脳領域間フィードバックを使用者に脳信号感知/脳刺激シークエンスで誘導する効果がある。   In addition, there is an effect that the inter-brain area feedback for the brain signal generated in association with the exercise intention is guided to the user by the brain signal sensing / brain stimulation sequence.

また、本発明は、脳刺激によって発生する脳信号の雑音を最小化する効果がある。   Further, the present invention has an effect of minimizing noise of a brain signal generated by brain stimulation.

図1は、本発明の一実施例にかかる二重閉回路ブレイン−マシーンインターフェースシステム及び外部機器を概略的に示す図面である。FIG. 1 is a diagram schematically illustrating a double closed circuit brain-machine interface system and external devices according to an embodiment of the present invention. 図2は、本発明の一実施例によって使用者のブレイン−マシーン間をインターフェーシングする概略的な過程を示す図面である。FIG. 2 illustrates a schematic process of interfacing between a user's brain and a machine according to an embodiment of the present invention. 図3は、本発明の一実施例によって二重フィードバックループを有する二重閉回路ブレイン−マシーンインターフェースシステムを概略的に示す図面である。FIG. 3 is a diagram schematically illustrating a double closed circuit brain-machine interface system having a double feedback loop according to an embodiment of the present invention. 図4は、本発明の一実施例にかかる雑音除去部を概略的に示す図面である。FIG. 4 is a diagram schematically illustrating a noise removing unit according to an embodiment of the present invention. 図5は、本発明の一実施例によって使用者の脳信号の雑音を除去する概略的な過程を示す図面である。FIG. 5 is a schematic diagram illustrating a process of removing noise from a user's brain signal according to an embodiment of the present invention.

後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は互に異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例にかかる本発明の精神及び範囲を逸脱せずに他の実施例で実現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は、限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。   The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of example, specific embodiments in which the invention may be practiced. These examples are described in sufficient detail to enable those skilled in the art to practice the invention. It is to be understood that various embodiments of the invention are different from one another, but need not be mutually exclusive. For example, the particular shapes, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in one embodiment. It should also be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Therefore, the following detailed description is not intended to be construed in a limiting sense, and the scope of the invention, when properly described, is intended to cover all scopes equivalent to those claimed in the following claims: It is limited only by the appended claims. In the drawings, like reference numbers indicate identical or similar functions in some aspects.

以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention belongs can easily carry out the present invention. It shall be.

図1は、本発明の一実施例にかかる二重閉回路ブレイン−マシーンインターフェースシステム100及び外部機器400を概略的に示す図面である。   FIG. 1 is a diagram schematically illustrating a double closed circuit brain-machine interface system 100 and an external device 400 according to an embodiment of the present invention.

まず、図1に示されたように、本発明の二重閉回路ブレイン−マシーンインターフェースシステム100はプロセッサ110、通信部120、データベース130、感知部140、刺激部150及び雑音除去部160が含まれ得る。   First, as shown in FIG. 1, the double closed circuit brain-machine interface system 100 of the present invention includes a processor 110, a communication unit 120, a database 130, a sensing unit 140, a stimulating unit 150, and a noise removing unit 160. obtain.

二重閉回路ブレイン−マシーンインターフェースシステム100のプロセッサ110は使用者の運動意図脳信号に対するフィードバックを使用者に提供するか提供するように支援するが、これについては後で詳細な説明を通じて詳しく述べることとする。   The processor 110 of the dual closed-circuit brain-machine interface system 100 provides or assists the user in providing feedback to the user's motor intention brain signal, which will be described in greater detail below. And

通信部120は、多様な通信技術で実現され得る。即ち、Wi−Fi(WIFI:登録商標)、WCDMA(Wideband CDMA)、HSDPA(High Speed Downlink Packet Access)、HSUPA(High Speed Uplink Packet Access)、HSPA(High Speed Packet Access)、モバイルワイマックス(Mobile WiMAX:登録商標)、ワイブロ(WiBro:登録商標)、LTE(Long Term Evolution)、ブルートゥース(bluetooth:登録商標)、赤外線通信(IrDA、infrared data association)、NFC(Near Field Communication)、ジグビー(Zigbee:登録商標)、無線LAN技術などが適用され得る。また、インターネットと連結されてサービスを提供する場合、インターネットで情報伝送のための標準プロトコルであるTCP/IPに基づくことがある。   The communication unit 120 can be realized by various communication technologies. That is, Wi-Fi (WIFI: registered trademark), WCDMA (Wideband CDMA), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), HSPAX Mobile (HXApX) : Registered trademark), WiBro (registered trademark), LTE (Long Term Evolution), Bluetooth (registered trademark), infrared communication (IrDA, infrared data association), NFC (Near Field Communication: Negative Communications, NFC (Near Field Communication)) Trademark), wireless LAN Surgery, etc. can be applied. Also, when a service is provided by being connected to the Internet, it may be based on TCP / IP, which is a standard protocol for transmitting information on the Internet.

二重閉回路ブレイン−マシーンインターフェースシステム100のプロセッサ110は、通信部120を通じてデータベース130から必要な情報を受信し得る。また、場合によってプロセッサ110は、通信部120を通じて外部機器400とも必要な情報を送受信し得る。   The processor 110 of the dual closed-circuit brain-machine interface system 100 may receive necessary information from the database 130 through the communication unit 120. In some cases, the processor 110 may transmit and receive necessary information to and from the external device 400 via the communication unit 120.

そして、二重閉回路ブレイン−マシーンインターフェースシステム100のデータベース130は二重閉回路ブレイン−マシーンインターフェースシステム100の動作のための各種データを保存するものであり、複数個の感覚種類に対して各々対応する脳反応パターン、前記脳反応を誘導するための刺激の大きさ、刺激時間、周波数、これらの時空間的変化に対する情報と使用者の脳信号を感知するための脳信号感知部140の位置情報及び使用者の脳を刺激するための脳刺激部150の位置情報などが含まれ得る。   The database 130 of the double closed-circuit brain-machine interface system 100 stores various data for the operation of the double closed-circuit brain-machine interface system 100, and corresponds to a plurality of sensory types. Brain response pattern, magnitude of stimulation for inducing the brain response, stimulation time, frequency, information on these spatio-temporal changes, and position information of the brain signal sensing unit 140 for sensing a user's brain signal And position information of the brain stimulating unit 150 for stimulating the user's brain.

この時、データベース130はフラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、SDまたはXDメモリ)、ラム(Random Access Memory、RAM)、SRAM(Static Random Access Memory)、ROM(ReadOnly Memory)、EEPROM(Electrically Erasable Programmable ReadOnly Memory)、PROM(Programmable ReadOnly Memory)、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの保存媒体が含まれ得て、これに限定されずデータを保存することができるすべての媒体が含まれ得る。また、データベース130は、二重閉回路ブレイン−マシーンインターフェースシステム100の内部に設置されるか、これとは異なり二重閉回路ブレイン−マシーンインターフェースシステム100と分離設置されて二重閉回路ブレイン−マシーンインターフェースシステム100との通信を通じてデータを伝送するか受信されるデータを記録し得る。   At this time, the database 130 may include a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), a card type memory (for example, an SD or XD memory), and a RAM (RAM). Random Access Memory (RAM), SRAM (Static Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read Only Memory), EEPROM (Electrically Reasonable Programmable Read Only Memory) And obtained contain at least one type of storage medium of the click may include any medium capable of storing data not limited to this. Further, the database 130 may be installed inside the double closed circuit brain-machine interface system 100, or alternatively, may be installed separately from the double closed circuit brain-machine interface system 100 to provide the double closed circuit brain-machine interface. Data may be transmitted or received through communication with the interface system 100 and recorded.

次に、感知部140は、使用者の脳信号を感知する部分であり、脳信号センサ、信号増幅器、アナログフィルタ及びアナログ−デジタルコンバータなどのうち少なくとも一部が含まれ得る。感知部140の脳信号感知は、侵襲的な方法か非侵襲的な方法であり得、感知部140は使用者の脳領域のうち一次運動皮質領域などに位置し得る。   Next, the sensing unit 140 is a unit that senses a user's brain signal, and may include at least a part of a brain signal sensor, a signal amplifier, an analog filter, an analog-digital converter, and the like. The sensing of the brain signal by the sensing unit 140 may be an invasive method or a non-invasive method, and the sensing unit 140 may be located in a primary motor cortex region of a user's brain region.

次に、刺激部150は使用者の脳に刺激を加える部分であり、刺激は電気刺激であり得て、多重チャネルで同時にまたはある程度の時間差をおいて加えることがある。そして、刺激時間は、刺激の種類によって流動的であり、数ミリ秒から1秒内外までの範囲を有し得る。また、刺激部150は、侵襲的な方法で脳を刺激するか非侵襲的な方法で脳を刺激し得て、使用者の脳領域のうち一次または二次体性感覚皮質、後頭頂葉皮質または前運動領域の一部などに位置し得る。   Next, the stimulating unit 150 is a part that applies a stimulus to the user's brain, and the stimulus may be an electrical stimulus, and may be applied simultaneously or with a certain time lag on multiple channels. The stimulus time is fluid depending on the type of stimulus, and may have a range from a few milliseconds to within or outside one second. In addition, the stimulating unit 150 may stimulate the brain in an invasive manner or stimulate the brain in a non-invasive manner, and the primary or secondary somatosensory cortex, the occipital parietal cortex among the brain regions of the user. Or it may be located, for example, in a part of the pre-motion area.

次に、雑音除去部160は、使用者の脳に加えられる脳刺激の物理的特性を基に実際脳環境で測定され得る雑音信号を推定した後、実際測定された信号からリアルタイムで雑音を除去し得るが、これについては後で詳細な説明を通じて詳しく述べることとする。   Next, the noise removing unit 160 estimates a noise signal that can be measured in the actual brain environment based on physical characteristics of brain stimulation applied to the user's brain, and then removes noise in real time from the actually measured signal. However, this will be described in detail later in the detailed description.

一方、図1に示されたように、外部機器400は駆動部410及びセンサ部420が含まれ得る。   Meanwhile, as shown in FIG. 1, the external device 400 may include a driving unit 410 and a sensor unit 420.

駆動部410は、使用者の脳信号によって外部機器が駆動する部分であり、ロボットアームであり得るが、これに限定されず使用者の脳信号によって駆動が可能なすべての装置が含まれ得る。   The driving unit 410 is a unit that is driven by an external device according to a user's brain signal and may be a robot arm, but is not limited thereto, and may include any device that can be driven by a user's brain signal.

そして、センサ部420は、外部機器400の駆動によって発生する感覚信号を獲得する部分であり、圧力センサ、位置センサ、振動センサ、温度センサなどが含まれ得るが、これに限定されず感覚信号を測定することができるすべてのセンサが含まれ得る。   The sensor unit 420 is a unit that acquires a sensory signal generated by driving the external device 400, and may include a pressure sensor, a position sensor, a vibration sensor, a temperature sensor, and the like, but is not limited thereto. All sensors that can measure can be included.

このように構成された本発明の一実施例にかかる二重閉回路ブレイン−マシーンインターフェースシステム100及び外部機器400を利用して使用者の脳と機械間をインターフェーシングする方法を図2を参照して説明すれば次の通りである。   A method for interfacing between a user's brain and a machine using the double closed circuit brain-machine interface system 100 and the external device 400 according to an embodiment of the present invention will now be described with reference to FIG. It is as follows.

まず、使用者の脳信号のうち使用者の運動意図と関連する脳信号を二重閉回路ブレイン−マシーンインターフェースシステム100の感知部140で感知し得る。この時、感知部140は、侵襲的な方法や非侵襲的な方法の脳信号センサを利用して使用者の運動意図脳信号を感知し得る(S210)。   First, a brain signal related to a user's movement intention among the user's brain signals may be detected by the sensing unit 140 of the double closed circuit brain-machine interface system 100. At this time, the sensing unit 140 may sense a user's movement intention brain signal using an invasive or non-invasive brain signal sensor (S210).

かかる感知された運動意図関連脳信号は、感知部140の信号増幅器、アナログフィルタ及びアナログ−デジタルコンバータなどを通過し得て、通過した信号は二重閉回路ブレイン−マシーンインターフェースシステム100のプロセッサ110によってデジタルフィルタリング、re−referencing、神経スパイク信号感知、発火率計算などの前処理過程を経ることがある。   The sensed movement intention-related brain signal may pass through a signal amplifier, an analog filter, an analog-to-digital converter, and the like of the sensing unit 140, and the passed signal is processed by the processor 110 of the dual closed circuit brain-machine interface system 100. It may go through a pre-processing process such as digital filtering, re-referencing, nerve spike signal sensing, and firing rate calculation.

そして、二重閉回路ブレイン−マシーンインターフェースシステム100のプロセッサ110は、前記感知された脳信号を利用して使用者の運動意図に基づく動作予測情報である運動情報を生成し得る(S220)。この時、運動情報を生成するために使用されるアルゴリズムは、人工神経網アルゴリズムが使用され得るが、これに限定されず、ベイズ分類器(Bayesian classifier)や回帰(regression)方式の機械学習アルゴリズムなど脳信号を利用して動作予測情報である運動情報を生成する目的に符合するすべてのアルゴリズムのうち少なくとも一部を使用し得る。   Then, the processor 110 of the dual closed circuit brain-machine interface system 100 may generate motion information as motion prediction information based on the motion intention of the user using the sensed brain signal (S220). At this time, an algorithm used to generate the motion information may be an artificial neural network algorithm, but is not limited thereto. For example, a Bayesian classifier, a regression type machine learning algorithm, or the like. At least a part of all algorithms corresponding to the purpose of generating motion information as motion prediction information using the brain signal may be used.

また、二重閉回路ブレイン−マシーンインターフェースシステム100のプロセッサ110は、前記運動情報に対応して使用者の身体部位を代替して動作する外部機器400を制御するための制御信号を生成し得て、かかる制御信号によって外部機器400の駆動部410が使用者の運動意図通りに動作するようにし得る(S230)。   Also, the processor 110 of the dual closed-circuit brain-machine interface system 100 may generate a control signal for controlling the external device 400 that operates in place of the body part of the user according to the exercise information. According to the control signal, the driving unit 410 of the external device 400 may operate as intended by the user (S230).

次に、二重閉回路ブレイン−マシーンインターフェースシステム100のプロセッサ110は前記駆動部410の動作状態によって発生する感覚信号をセンサ部420を通じて獲得し得る(S240)。   Next, the processor 110 of the dual closed circuit brain-machine interface system 100 may acquire a sensory signal generated according to an operation state of the driving unit 410 through the sensor unit 420 (S240).

次に、二重閉回路ブレイン−マシーンインターフェースシステム100のプロセッサ110は、前記獲得した感覚信号を分析して外部機器400の動作状態を使用者が認識できるようにするための体性感覚を誘発するために設定された脳部位を刺激するための脳刺激パターンを生成し得る(S250)。   Next, the processor 110 of the dual closed-circuit brain-machine interface system 100 analyzes the acquired sensory signal to induce a somatic sensation for the user to recognize the operation state of the external device 400. A brain stimulation pattern for stimulating the brain region set for the purpose may be generated (S250).

即ち、プロセッサ110は、データベース130に保存されている複数個の感覚種類に対して各々対応する脳反応パターン、前記脳反応を誘導するための刺激の大きさ、刺激時間、周波数、これらの時空間的変化に対する情報などを通信部120を通じて受信されて前記獲得した感覚信号と互いに比較して前記感覚信号に対応する最も類似する脳反応を誘発するための脳刺激パターンを生成し得る。   That is, the processor 110 may determine a brain response pattern corresponding to each of a plurality of sensory types stored in the database 130, a magnitude of a stimulus for inducing the brain response, a stimulus time, a frequency, The information about the target change may be received through the communication unit 120 and may be compared with the acquired sensory signal to generate a brain stimulation pattern for inducing a most similar brain response corresponding to the sensory signal.

また、脳刺激パターンは、感覚信号の種類と大きさ、時空間的変化などによって異なり得て、脳刺激パターンを生成する過程で機械学習やディープラーニングアルゴリズムが使用され得る。   Also, the brain stimulation pattern may vary depending on the type and magnitude of the sensory signal, spatio-temporal changes, and the like, and machine learning and deep learning algorithms may be used in the process of generating the brain stimulation pattern.

前記のような二重閉回路ブレイン−マシーンインターフェースシステム100のS210ないしS250段階は、図3を参照としてより具体化され得るが、図3を参照すると、(i)運動意図関連脳信号感知(S310)、(ii)運動情報生成、制御信号生成及び伝達(S320)、(iii)3次元ロボットアーム/ハンド制御(S322)、(iv)感覚信号伝達(S324)及び(v)脳刺激パターン生成(S326)からなる脳−外部機器−脳フィードバックループによって遂行され得る。   Steps S210 to S250 of the dual closed circuit brain-machine interface system 100 as described above may be more specifically embodied with reference to FIG. 3, but with reference to FIG. ), (Ii) motion information generation, control signal generation and transmission (S320), (iii) three-dimensional robot arm / hand control (S322), (iv) sensory signal transmission (S324), and (v) brain stimulation pattern generation ( S326) can be performed by the brain-external device-brain feedback loop.

次に、二重閉回路ブレイン−マシーンインターフェースシステム100のプロセッサ110は、感知部140で感知した運動意図関連脳信号を分析して運動意図時点及び運動意図強度を判断し得る(S260)。   Next, the processor 110 of the dual closed circuit brain-machine interface system 100 may analyze the motion intention related brain signal detected by the sensing unit 140 to determine a motion intention time and a motion intention intensity (S260).

この時、運動意図時点及び強度の判断は、大脳の前運動領域、運動領域、後頭頂葉皮質、前前頭葉などの脳信号を利用し得る。   At this time, the determination of the time point and the intensity of the movement intention may use the brain signals of the premotor area, the motion area, the occipital parietal cortex, the frontal lobe, etc. of the cerebrum.

一例として、脳皮質脳波の場合、既存の準備電位基盤方式も使用されるが、動き以前アルファ−ローベータ領域の事象関連脱同期(Event−Related Desynchronization;ERD、7〜20Hz程度)と高周波ハイ−ガンマ(High−gamma、50Hz以上)領域の脳活性パターンが使用され得る。また、微細電極の場合、発火タイミングや発火比率程度が運動意図と時点及び強度判断において基本尺度になるが、前記脳領域間の連結性強度も主要基準となり得る。これは脳皮質脳波の場合も同一である。この時、連結性分析は、位相−変位カップリング(phase−amplitude coupling)、位相同期化(phase synchronization)、古典的相関関係分析、相互情報量(mutual information)などの同時的連結性分析方法以外に部分指向性コヒーレンス(partial directed coherence)などの因果的連結性分析も使用され得る。   For example, in the case of the cortical EEG, the existing preparatory potential-based method is also used. Brain activity patterns in the region (High-gamma, 50 Hz or higher) can be used. Further, in the case of a fine electrode, the firing timing and the firing rate are the basic measures in determining the intention of exercise, the time point, and the intensity, and the strength of connectivity between the brain regions may be the main reference. This is the same in the case of cortical EEG. At this time, the connectivity analysis may be performed by a method other than a simultaneous connectivity analysis method such as phase-amplitude coupling, phase synchronization, classical correlation analysis, and mutual information. Causal connectivity analysis, such as partial directed coherence, can also be used.

まず、運動意図の時点判断は、プロセッサ110が運動意図が明確にない休止状態の脳信号対比脳信号の揺動が、2標準偏差(standard deviation;SD)などの基準を越える時点を計算して得られることがある。しかし、この場合、誤警報(false alarm)が発生する可能性が大きいため、当該時点前後の脳信号パターンを分析して時点を確定し得る。   First, the processor 110 determines the time point of the exercise intention by calculating the time point at which the fluctuation of the brain signal in the resting state where the exercise intention is not clear exceeds the standard such as 2 standard deviations (SD). May be obtained. However, in this case, since a false alarm is likely to occur, the time point can be determined by analyzing a brain signal pattern before and after the time point.

例えば、当該時点前には休止状態と類似する脳信号揺動を見せながら、当該時点以後に一貫的に2SDを越える揺動が観察される場合には、この時点が運動意図時点である確率が高くなることを利用して判別し、「時点以後1秒間2SD以上trialが何個以上であればこの時点が運動意図時点である」と判別するアルゴリズムを利用するか、ベイジアン(Bayesian)基盤機械学習方法などを利用し得て、これに限定されず「確率的にこの時点が運動意図時点である」と判別することができる目的に符合するすべての方法のうち少なくとも一部を利用し得る。   For example, if the brain signal fluctuations similar to the resting state are shown before the time point and the fluctuations exceeding 2SD are consistently observed after the time point, the probability that this time point is the exercise intention time point is low. An algorithm is used to judge whether or not the number of trials is equal to or more than 2SD for one second after the time, and that this time is a motion intention time, or Bayesian-based machine learning A method or the like can be used, and the present invention is not limited to this, and at least a part of all methods that meet the purpose that can be determined stochastically that this time is the exercise intention time can be used.

そして、運動意図の強度は、プロセッサ110が運動意図時点が判別された時点の脳信号及びそれ以後の追加的な脳信号を基盤とした運動意図信号脳信号と運動意図が明確にない休止状態の脳信号のX軸上のピーク値間の距離値を基に判断し得る。   The intensity of the exercise intention is determined by the processor 110 when the exercise intention time is determined and the brain intention signal based on the brain signal at the time when the exercise intention time is determined and the additional brain signal thereafter. The determination can be made based on the distance value between the peak values on the X-axis of the brain signal.

次に、二重閉回路ブレイン−マシーンインターフェースシステム100のプロセッサ110は、前記運動意図時点に対応する脳刺激時点に対するトリガ情報を生成し得て、前記運動意図強度を分析して使用者の脳部位を刺激する脳刺激頻度に対する情報を生成し得る(S270)。   Next, the processor 110 of the dual closed-circuit brain-machine interface system 100 may generate trigger information for a brain stimulation time point corresponding to the movement intention time, analyze the movement intention strength, and analyze the user's brain region. May be generated for the brain stimulation frequency for stimulating (S270).

例えば、運動意図強度を最大単位時間あたり刺激頻度がある、即ち漸近線が存在する分布関数に代入させて脳刺激頻度を生成し得て、これに限定されず運動意図強度が脳刺激頻度を決定するという目的に符合するすべての方法のうち少なくとも一部を利用して生成し得る。   For example, it is possible to generate a brain stimulation frequency by substituting the exercise intention intensity into a distribution function having a maximum stimulation frequency per unit time, that is, an asymptote, and the exercise intention intensity is not limited thereto, and the brain intention frequency determines the brain stimulation frequency. It can be generated using at least a part of all methods that meet the purpose of doing so.

前記のような二重閉回路ブレイン−マシーンインターフェースシステム100のS210、S260及びS270段階は、図3を参照としてより具体化され得るが、図3を参照すると、(i)運動意図関連脳信号感知(S310)、(ii)運動意図時点及び強度判断(S330)及び(iii)脳刺激時点に対するトリガ情報及び脳刺激頻度に対する情報生成(S322)からなる脳領域間フィードバックループによって遂行され得る。   Steps S210, S260 and S270 of the dual closed circuit brain-machine interface system 100 as described above can be further embodied with reference to FIG. 3. This can be performed by a feedback loop between brain regions consisting of (S310), (ii) determination of exercise intention time and intensity (S330), and (iii) generation of trigger information on brain stimulation time and information on brain stimulation frequency (S322).

次に、二重閉回路ブレイン−マシーンインターフェースシステム100のプロセッサ110は、前記脳刺激時点に対するトリガ情報及び前記脳刺激頻度に対する情報を参照して前記脳刺激パターンを補正し得て(S280)、補正された脳刺激パターンを参照して脳刺激パターンを前記信号に変換して刺激部150を通じて使用者の脳部位を刺激するように支援し得る(S290)。   Next, the processor 110 of the double closed circuit brain-machine interface system 100 may correct the brain stimulation pattern with reference to the trigger information for the brain stimulation time point and the information for the brain stimulation frequency (S280). The brain stimulation pattern is converted into the signal with reference to the brain stimulation pattern, and the stimulation unit 150 may be used to assist the user in stimulating a brain part of the user (S290).

この時、図3を参照すると、二重閉回路ブレイン−マシーンインターフェースシステム100は、脳−外部機器−脳フィードバックループで生成されたフィードバック情報及び脳領域間フィードバックループで生成されたフィードバック情報を統合して、脳刺激パターンを補正した後、補正された脳刺激パターンで体性感覚を誘導する脳刺激を印加し得る(S340)。   At this time, referring to FIG. 3, the double closed circuit brain-machine interface system 100 integrates the feedback information generated by the brain-external device-brain feedback loop and the feedback information generated by the inter-brain region feedback loop. Then, after correcting the brain stimulation pattern, a brain stimulation for inducing somatic sensation with the corrected brain stimulation pattern may be applied (S340).

前記のような使用者の脳と機械間をインターフェーシングする方法は、二重閉回路ブレイン−マシーンインターフェースシステム100を利用して、(i)使用者の運動意図脳信号を利用して外部機器400を制御する過程で誘発された感覚信号を、脳刺激を通じて使用者が認知できるようにする脳−外部機器−脳フィードバック及び(ii)使用者の運動意図脳信号に対応する脳刺激に対するトリガ情報及び脳刺激頻度に対する情報を、プロセッサ110を通じて生成する脳領域間フィードバックを統合する方法であり、図2に示されたような順序でブレイン−マシーンインターフェースシステム100のプロセッサ110によって遂行され得る。しかし、これに限定されず多様な順序で遂行され得る。   The method of interfacing between the user's brain and the machine as described above uses the dual closed-circuit brain-machine interface system 100 and (i) the external device 400 using the user's movement intention brain signal. A brain-external device that enables the user to recognize the sensory signal induced in the process of controlling the brain through brain stimulation, and (ii) trigger information for brain stimulation corresponding to the brain signal corresponding to the movement intention of the user; This is a method of integrating feedback between brain regions that generates information on the frequency of brain stimulation through the processor 110, and may be performed by the processor 110 of the brain-machine interface system 100 in the order shown in FIG. However, the present invention is not limited thereto, and may be performed in various orders.

一例として、二重閉回路ブレイン−マシーンインターフェースシステム100のプロセッサ110は、図2に示された、(i)使用者の運動意図脳信号感知(S210)、運動情報生成(S220)、外部機器制御信号生成、外部機器動作(S230)、外部機器動作状態に対応する感覚信号獲得(S240)及び脳刺激パターン獲得(S250)順序に対応する図3に示された脳−外部機器−脳フィードバックと(ii)使用者の運動意図脳信号感知(S210)、運動意図時点及び強度判断(S260)、脳刺激時点に対するトリガ情報及び脳刺激頻度に対する情報生成(S270)順序に対応する図3に示された脳領域間フィードバックを同時に遂行することもある。   As an example, the processor 110 of the dual closed-circuit brain-machine interface system 100 includes (i) sensing a user's movement intention brain signal (S210), generating movement information (S220), and controlling external devices shown in FIG. The brain-external device-brain feedback shown in FIG. 3 corresponding to the order of signal generation, external device operation (S230), sensory signal acquisition corresponding to the external device operation state (S240), and brain stimulation pattern acquisition (S250) ( ii) FIG. 3 corresponding to the order of sensing the brain signal of the user's intention to exercise (S210), judging the point of exercise intention and intensity (S260), generating trigger information for the point of brain stimulation and generating information for the frequency of brain stimulation (S270). Inter-brain feedback may be performed simultaneously.

また、他の例として、二重閉回路ブレイン−マシーンインターフェースシステム100のプロセッサ110は、図2に示された、(i)使用者の運動意図脳信号感知(S210)、運動意図時点及び強度判断(S260)、脳刺激時点に対するトリガ情報及び脳刺激頻度に対する情報生成(S270)順序に対応する図3に示された脳領域間フィードバックを先に遂行した後、(ii)使用者の運動意図脳信号感知(S210)、運動情報生成(S220)、外部機器制御信号生成、外部機器動作(S230)、外部機器動作状態に対応する感覚信号獲得(S240)及び脳刺激パターン獲得(S250)順序に対応する図3に示された脳−外部機器−脳フィードバックを遂行することもある。   Also, as another example, the processor 110 of the double-closed-circuit brain-machine interface system 100 may include: (i) sensing the user's intention brain signal (S210); (S260), after performing the inter-brain region feedback shown in FIG. 3 corresponding to the order of generating the trigger information for the brain stimulation time and the information for the brain stimulation frequency (S270), (ii) the user's movement intention brain Signal sensing (S210), exercise information generation (S220), external device control signal generation, external device operation (S230), acquisition of sensory signals corresponding to external device operation status (S240), and acquisition of brain stimulation pattern (S250) 3 may perform the brain-external device-brain feedback shown in FIG.

一方、二重閉回路ブレイン−マシーンインターフェースシステム100を利用して体性感覚誘発のための脳刺激が間歇的に加えられて脳信号デコーディングを通じて運動意図が感知され得る時に集中的に脳刺激を印加し得て、これ以上運動しようとしない場合、再び間歇的な脳刺激シーケンスに戻り得る。   On the other hand, when the brain stimulation for somatosensory induction is intermittently applied using the dual closed-circuit brain-machine interface system 100 and the movement intention can be sensed through brain signal decoding, the brain stimulation is intensively performed. If it can be applied and it is not going to move anymore, it can return to the intermittent brain stimulation sequence again.

そして、二重閉回路ブレイン−マシーンインターフェースシステム100は、運動意図感知以後にも運動領域信号の特性(例えば、運動意図強度)と感覚センサ信号の強度によって脳刺激頻度が変化し得て、運動または感覚関連脳信号は使用者が集中する程度などによってその強度が異なるなど、特に精巧な動きを遂行しなければならない場合にはより頻繁な感覚フィードバックが行なわれ得る。   In addition, the dual closed-circuit brain-machine interface system 100 may change the frequency of brain stimulation according to the characteristics of the motion area signal (eg, the intensity of the motion intention) and the intensity of the sensory sensor signal even after the detection of the motion intention. Sensory-related brain signals may have more frequent sensory feedback, especially when elaborate movements have to be performed, such as the intensity of the sensory signal depending on the degree of concentration of the user.

また、二重閉回路ブレイン−マシーンインターフェースシステム100は、休止状態(脳刺激が間歇的に加えられる状態)で運動意図が感知されなくても外部感覚センサ信号が一定の水準以上で増加する時(例えば、ある人またはある装置によってロボットアームに対するコンタクトが行われた場合)には脳刺激頻度が増加し得る。   In addition, the dual closed-circuit brain-machine interface system 100 may operate when the external sensation sensor signal increases above a certain level even in a rest state (a state in which brain stimulation is applied intermittently) and no movement intention is sensed ( For example, if a person or a device makes contact with the robot arm), the frequency of brain stimulation may increase.

図4は本発明の一実施例にかかる二重閉回路ブレイン−マシーンインターフェースシステム100の雑音除去部160を概略的に示す図面である。   FIG. 4 is a diagram schematically illustrating the noise removing unit 160 of the dual closed circuit brain-machine interface system 100 according to an embodiment of the present invention.

図4に示されたように、雑音除去部160はモデリング部162及び信号処理部164が含まれ得る。   As shown in FIG. 4, the noise removing unit 160 may include a modeling unit 162 and a signal processing unit 164.

また、雑音除去部160は、使用者のMRI情報基盤脳構造モデリングデータが含まれ得る(図示せず)。   In addition, the noise removing unit 160 may include MRI information-based brain structure modeling data of the user (not shown).

このように構成された本発明の一実施例にかかる二重閉回路ブレイン−マシーンインターフェースシステム100の雑音を除去する方法を図5を参照して説明すれば次の通りである。   A method of removing noise of the double closed circuit brain-machine interface system 100 according to an embodiment of the present invention will now be described with reference to FIG.

まず、雑音除去部160のモデリング部162は、データベース130に保存されている脳刺激部150の位置情報、脳信号感知部140の位置情報及び脳刺激頻度に対する情報などを参照して補正された脳刺激パターンに対する情報を通信部120を通じて獲得し得る(S510)。   First, the modeling unit 162 of the noise removing unit 160 corrects the brain corrected with reference to the position information of the brain stimulating unit 150, the position information of the brain signal sensing unit 140, the information on the brain stimulation frequency, and the like stored in the database 130. Information on the stimulus pattern may be obtained through the communication unit 120 (S510).

また、雑音除去部160のモデリング部162は、獲得した脳刺激部150の位置情報、脳信号感知部140の位置情報、補正された脳刺激パターン及び既保存された使用者のMRI情報基盤脳構造モデリングデータを利用して、脳刺激部150を通じて使用者の脳部位刺激によって脳信号感知部140で感知され得る雑音信号パターンをモデリングし得る(S520)。   In addition, the modeling unit 162 of the noise removing unit 160 may obtain the acquired position information of the brain stimulating unit 150, the position information of the brain signal sensing unit 140, the corrected brain stimulation pattern, and the MRI information-based brain structure of the saved user. Using the modeling data, a noise signal pattern that can be sensed by the brain signal sensing unit 140 according to the user's brain region stimulation through the brain stimulation unit 150 can be modeled (S520).

この時、雑音信号パターンをモデリングする計算には、脳科学で一般的に使用される磁場導出行列(Lead−field matrix)基盤フォワードモデリング(forward modeling)技法が適用されることがあり、これは脳刺激チャネルが多チャネルである場合にも適用され得る。   At this time, a calculation of modeling a noise signal pattern may be performed by using a magnetic field derivation matrix (forward-modeling) based forward modeling technique commonly used in brain science. It can also be applied when the stimulation channel is multi-channel.

そして、雑音除去部160の信号処理部164は、脳信号感知部140で感知された脳刺激による雑音が含まれている運動意図脳信号を印加され得る(S530)。   In addition, the signal processing unit 164 of the noise removing unit 160 may receive a motion intention brain signal including noise caused by brain stimulation detected by the brain signal sensing unit 140 (S530).

次に、雑音除去部160の信号処理部164は、前記雑音が含まれている運動意図脳信号と前記モデリングされた雑音信号パターンを比較して、運動意図脳信号でモデリングされた雑音信号パターンと一致する雑音信号を除去し得る(S540)。   Next, the signal processing unit 164 of the noise removing unit 160 compares the motion intention brain signal including the noise with the modeled noise signal pattern, and compares the noise signal pattern modeled with the motion intention brain signal with the noise signal pattern. A matching noise signal may be removed (S540).

この時、雑音信号を除去する方法として、リアルタイム独立成分分析(Independent Component Analysis、ICA)及び主成分分析(Principal Component Analysis)などの方法が使用されることがあり、各抽出されたコンポーネントとモデリングされた雑音信号との相関関係を、ピアソン相関(Pearson Correlation)やMutual Information分析を利用して計算した後、最も高い値を有するコンポーネントを除外して信号を再構成し得る。   At this time, as a method of removing a noise signal, a method such as real-time independent component analysis (ICA) and principal component analysis (Principal Component Analysis) may be used, and each extracted component is modeled and modeled. After calculating the correlation with the noise signal using Pearson Correlation or Mutual Information analysis, the signal having the highest value may be excluded to reconstruct the signal.

一方、雑音信号が除去された再構成された信号は、使用者の運動意図に対する運動情報生成、運動意図時点判断及び運動意図強度判断に使用され得る。   On the other hand, the reconstructed signal from which the noise signal has been removed may be used to generate exercise information on the exercise intention of the user, determine the exercise intention time, and determine the exercise intention intensity.

以上で説明された本発明にかかる実施例は、多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で実現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独または組み合わせて含まれ得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスク(flopticaldisk)のような磁気−光媒体(magneto−opticalmedia)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけではなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明にかかる処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることがあり、その逆も同様である。   The embodiments of the present invention described above can be implemented in the form of program commands that can be executed through various computer components and can be recorded on a computer-readable recording medium. The computer readable recording medium may include a program command, a data file, a data structure, or the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable by those skilled in the computer software field. . Examples of a computer-readable recording medium include a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape; an optical recording medium such as a CD-ROM and a DVD; and a magnetic-optical medium such as a floppy disk. A hardware device specially configured to store and execute program commands, such as a medium-optical media and a ROM, a RAM, a flash memory, etc., is included. Examples of program instructions include not only machine language codes such as those produced by compilers, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.

以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればかかる記載から多様な修正及び変形が行なわれ得る。   Although the present invention has been described with reference to specific embodiments such as specific components and limited embodiments and drawings, it is provided to facilitate a more general understanding of the present invention. However, the present invention is not limited to the above-described embodiment, and various modifications and variations can be made by those skilled in the art to which the present invention pertains.

従って、本発明の思想は、前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等または等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。   Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and is limited not only to the claims described below but also to any equivalent or equivalently modified claims. Can be said to belong to the category of the idea of the present invention.

100:ブレイン−マシーンインターフェースシステム
110:プロセッサ
120:通信部
130:データベース
140:感知部
150:刺激部
160:雑音除去部
162:モデリング部
164:信号処理部
400:外部機器
410:駆動部
420:センサ部
100: brain-machine interface system 110: processor 120: communication unit 130: database 140: sensing unit 150: stimulating unit 160: noise removing unit 162: modeling unit 164: signal processing unit 400: external device 410: driving unit 420: sensor Department

Claims (14)

使用者のブレイン−マシーン間をインターフェーシングする方法において、
(a)使用者の運動意図に対応する脳信号である運動意図脳信号が感知されると、ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の運動意図に基づく運動に対する情報である運動情報を生成する段階;
(b)前記ブレイン−マシーンインターフェースシステムが、前記運動情報に対応して前記使用者の身体部位を代替して動作する外部機器を制御するための制御信号を生成し、前記制御信号に対応して前記外部機器が動作するように支援して、前記外部機器の動作状態に対応する感覚信号を獲得し、前記感覚信号を分析して前記外部機器の動作状態を前記使用者が認識できるようにするための脳刺激パターン(前記脳刺激パターンは、前記外部機器の動作状態を前記使用者が認識できるようにするために動作状態別に設定された体性感覚情報に対応して、当該体性感覚を誘発するために設定された脳部位を刺激するためのパターンである)を獲得する段階;及び
(c)前記ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の脳部位を刺激する脳刺激頻度に対する情報を生成し、前記脳刺激頻度に対する情報を利用して前記脳刺激パターンを補正し、前記補正された脳刺激パターンを参照して脳刺激部を通じて前記脳部位を刺激するように支援する段階;
を含むことを特徴とする二重閉回路ブレイン−マシーンインターフェース方法。
In a method of interfacing between a user's brain and a machine,
(A) When a movement intention brain signal, which is a brain signal corresponding to the movement intention of the user, is detected, a brain-machine interface system analyzes the movement intention brain signal and performs movement based on the movement intention of the user. Generating athletic information that is information for
(B) the brain-machine interface system generates a control signal for controlling an external device that operates in place of the body part of the user in response to the exercise information; Assisting the external device to operate, obtaining a sensory signal corresponding to the operation state of the external device, analyzing the sensory signal so that the user can recognize the operation state of the external device. Brain stimulation pattern (the brain stimulation pattern corresponds to the somatosensory information set for each operation state so that the user can recognize the operation state of the external device, and (C) stimulating a brain region set to induce the stimulus; and (c) the brain-machine interface system uses the motion-intention brain signal. Analyzing the signal to generate information on a brain stimulation frequency for stimulating a brain part of the user, using the information on the brain stimulation frequency to correct the brain stimulation pattern, and refer to the corrected brain stimulation pattern. Supporting the brain part through a brain stimulating unit to stimulate the brain part;
A double closed circuit brain-machine interface method comprising:
(d)前記ブレイン−マシーンインターフェースシステムが、(i)前記使用者の運動意図脳信号を感知するための脳信号感知部の第1位置情報、(ii)前記脳部位を刺激するための脳刺激部の第2位置情報及び(iii)前記(c)段階で獲得した前記補正された脳刺激パターンを参照して、前記(a)段階で感知した前記使用者の運動意図脳信号に含まれている雑音信号を除去する段階;をさらに含み、前記第2位置情報は前記第1位置情報と既設定された距離以内に位置して、前記第2位置情報を通じて前記使用者の設定された脳部位を刺激する脳刺激信号が第1位置情報を通じて獲得される前記運動意図脳信号に影響を及ぼすことを特徴とする請求項1に記載の二重閉回路ブレイン−マシーンインターフェース方法。   (D) the brain-machine interface system: (i) first position information of a brain signal sensing unit for sensing a brain signal intended to exercise the user; (ii) brain stimulation for stimulating the brain region Referring to the second position information of the unit and (iii) the corrected brain stimulation pattern acquired in step (c), the brain signal included in the movement intention brain signal of the user sensed in step (a). Removing the noise signal that is present, wherein the second location information is located within a preset distance from the first location information, and the user's set brain region is determined through the second location information. The brain closed-machine interface method according to claim 1, wherein a brain stimulation signal for stimulating the brain influences the movement intention brain signal obtained through the first position information. 前記雑音信号を除去することにおいて、
(d−1)前記ブレイン−マシーンインターフェースシステムは、前記脳信号感知部の第1位置情報、前記脳刺激部の第2位置情報及び前記補正された脳刺激パターン及び既保存された前記使用者の3次元脳構造モデリングデータを参照して、前記脳刺激部を通じて前記使用者の脳部位刺激によって前記脳信号感知部で感知され得る雑音信号に対応する雑音信号パターンをモデリングし、
(d−2)前記モデリングされた雑音信号パターンと前記脳信号感知部で感知された前記運動意図脳信号を比較して前記運動意図脳信号で前記モデリングされた雑音信号パターンと一致する雑音信号を除去することを特徴とする請求項2に記載の二重閉回路ブレイン−マシーンインターフェース方法。
In removing the noise signal,
(D-1) The brain-machine interface system may include a first position information of the brain signal sensing unit, a second position information of the brain stimulating unit, the corrected brain stimulation pattern, and a stored user's saved information. Referring to the three-dimensional brain structure modeling data, modeling a noise signal pattern corresponding to a noise signal that can be sensed by the brain signal sensing unit by stimulating a brain part of the user through the brain stimulation unit;
(D-2) comparing the modeled noise signal pattern with the motion intention brain signal detected by the brain signal sensing unit to generate a noise signal that matches the modeled noise signal pattern with the motion intention brain signal. 3. The method as claimed in claim 2, wherein the method comprises eliminating.
前記(b)段階で、前記ブレイン−マシーンインターフェースシステムが、前記使用者が感知し得る複数個の感覚種類に対して各々対応する脳反応パターン、前記脳反応を誘導するための刺激の大きさ、刺激時間、周波数及びこれらの時空間的変化に対する情報のうち少なくとも一つが保存されているデータベースを参照して、前記感覚信号に対応する脳反応を誘導するための前記脳刺激パターンを生成することを特徴とする請求項1に記載の二重閉回路ブレイン−マシーンインターフェース方法。   In the step (b), the brain-machine interface system may include a brain response pattern corresponding to each of a plurality of types of sensations that can be sensed by the user, a magnitude of a stimulus for inducing the brain response, Generating a brain stimulation pattern for inducing a brain response corresponding to the sensory signal by referring to a database in which at least one of stimulation time, frequency, and information on these spatiotemporal changes is stored. The method of claim 1, wherein the method is a dual closed circuit brain-machine interface. 前記(c)段階で、前記ブレイン−マシーンインターフェースシステムが、前記運動意図脳信号を分析して前記使用者の設定された脳部位を刺激する時点を決定するトリガ情報を生成し、前記トリガ情報を追加で利用して前記(b)段階における脳刺激パターンを補正することを特徴とする請求項1に記載の二重閉回路ブレイン−マシーンインターフェース方法。   In the step (c), the brain-machine interface system analyzes the brain signal of the intention to move to generate trigger information for determining a time point for stimulating a set brain part of the user, and generates the trigger information. The method of claim 1, wherein the brain stimulation pattern in step (b) is additionally used. 前記ブレイン−マシーンインターフェースシステムが、前記使用者の運動意図がない状態に対応する休止状態の脳信号に対比して前記使用者の前記運動意図脳信号が所定の閾値を越える瞬間を前記使用者の運動意図時点と判断し、前記運動意図時点に対応して前記使用者の設定された脳部位を刺激する時点を決定するトリガ情報を生成することを特徴とする請求項5に記載の二重閉回路ブレイン−マシーンインターフェース方法。   The brain-machine interface system detects an instant at which the movement intention brain signal of the user exceeds a predetermined threshold value in comparison with a rest state brain signal corresponding to a state where the user does not have movement intention. 6. The double closing device according to claim 5, wherein it is determined that the exercise is intended, and trigger information is determined to determine a time at which the user sets a brain part set in accordance with the exercise intention. Circuit Brain-Machine Interface Method. 前記(c)段階で、前記ブレイン−マシーンインターフェースシステムが、前記使用者の運動意図脳信号及び前記運動意図脳信号以後に感知された使用者の追加運動意図脳信号を前記使用者の運動意図がない状態に対応する休止状態の脳信号と比較分析して前記使用者の運動意図強度を判断し、前記運動意図強度を分析して前記脳刺激頻度に対する情報を生成することを特徴とする請求項1に記載の二重閉回路ブレイン−マシーンインターフェース方法。   In the step (c), the brain-machine interface system determines the motion intention brain signal of the user and the additional motion intention brain signal of the user detected after the motion intention brain signal as the motion intention of the user. The method according to claim 1, further comprising comparing the brain signal in a resting state corresponding to the absence state to determine the exercise intention intensity of the user, and analyzing the exercise intention intensity to generate information on the brain stimulation frequency. 2. The method of claim 1 wherein the brain-machine interface is a double closed circuit. 使用者のブレイン−マシーン間をインターフェーシングするブレイン−マシーンインターフェースシステムにおいて、
外部機器に接近可能な通信部、及び
(1)使用者の運動意図に対応する脳信号である運動意図脳信号が感知されると、前記運動意図脳信号を分析して前記使用者の運動意図に基づく運動に対する情報である運動情報を生成するプロセス、(2)前記運動情報に対応して前記使用者の身体部位を代替して動作する外部機器を制御するための制御信号を生成し、前記制御信号に対応して前記外部機器が動作するように支援して、前記外部機器の動作状態に対応する感覚信号を獲得し、前記感覚信号を分析して前記外部機器の動作状態を前記使用者が認識できるようにするための脳刺激パターン(前記脳刺激パターンは前記外部機器の動作状態を前記使用者が認識できるようにするために動作状態別に設定された体性感覚情報に対応して当該体性感覚を誘発するために設定された脳部位を刺激するためのパターンである)を獲得するプロセス、及び(3)前記運動意図脳信号を分析して前記使用者の脳部位を刺激する脳刺激頻度に対する情報を生成し、前記脳刺激頻度に対する情報を利用して前記脳刺激パターンを補正し、前記補正された脳刺激パターンを参照して脳刺激部を通じて前記脳部位を刺激するように支援するプロセスを遂行するプロセッサを含むことを特徴とする二重閉回路ブレイン−マシーンインターフェースシステム。
In a brain-machine interface system for interfacing between a user's brain-machine,
A communication unit accessible to an external device; and (1) when a movement intention brain signal, which is a brain signal corresponding to the movement intention of the user, is sensed, the movement intention brain signal is analyzed to analyze the movement intention brain signal. (2) generating a control signal for controlling an external device that operates in place of the body part of the user in accordance with the exercise information; Assisting the external device to operate in response to a control signal, acquiring a sensory signal corresponding to the operation state of the external device, analyzing the sensory signal, and determining the operation state of the external device by the user. A brain stimulation pattern for allowing the user to recognize the brain stimulation pattern (corresponding to the somatosensory information set for each operation state so that the user can recognize the operation state of the external device. Somatic feeling (3) a brain stimulation frequency for analyzing the movement intention brain signal to stimulate the user's brain region. A process of generating information on the brain stimulation pattern, using the information on the brain stimulation frequency to correct the brain stimulation pattern, and referring to the corrected brain stimulation pattern to assist in stimulating the brain region through a brain stimulation unit. A closed-circuit brain-machine interface system comprising a processor for performing
前記プロセッサが、(i)前記使用者の運動意図脳信号を感知するための脳信号感知部の第1位置情報、(ii)前記脳部位を刺激するための脳刺激部の第2位置情報及び(iii)前記(3)プロセッサで獲得した前記補正された脳刺激パターンを参照して、前記(1)プロセッサで感知した前記使用者の運動意図脳信号に含まれている雑音信号を除去するプロセスをさらに含み、前記第2位置情報は前記第1位置情報と既設定された距離以内に位置して、前記第2位置情報を通じて前記使用者の設定された脳部位を刺激する脳刺激信号が第1位置情報を通じて獲得される前記運動意図脳信号に影響を及ぼすことを特徴とする請求項8に記載の二重閉回路ブレイン−マシーンインターフェースシステム。   The processor is configured to: (i) first position information of a brain signal sensing unit for sensing a brain signal intended to exercise the user; (ii) second position information of a brain stimulation unit for stimulating the brain region; (Iii) a process of removing a noise signal included in the motion intention brain signal of the user detected by the processor with reference to the corrected brain stimulation pattern acquired by the processor; And wherein the second position information is located within a preset distance from the first position information, and a brain stimulation signal for stimulating a brain region set by the user through the second position information is a second signal. 9. The dual closed-circuit brain-machine interface system according to claim 8, wherein the one-position information affects the movement intention brain signal. 前記雑音信号を除去することにおいて、
前記プロセッサが、前記脳信号感知部の第1位置情報、前記脳刺激部の第2位置情報及び前記補正された脳刺激パターン及び既保存された前記使用者の3次元脳構造モデリングデータを参照して、前記脳刺激部を通じて前記使用者の脳部位刺激によって前記脳信号感知部で感知され得る雑音信号に対応する雑音信号パターンをモデリングするプロセス、及び前記モデリングされた雑音信号パターンと前記脳信号感知部で感知された前記運動意図脳信号を比較して前記運動意図脳信号で前記モデリングされた雑音信号パターンと一致する雑音信号を除去するプロセスを遂行することを特徴とする請求項9に記載の二重閉回路ブレイン−マシーンインターフェースシステム。
In removing the noise signal,
The processor refers to the first position information of the brain signal sensing unit, the second position information of the brain stimulation unit, the corrected brain stimulation pattern, and the stored three-dimensional brain structure modeling data of the user. Modeling a noise signal pattern corresponding to a noise signal that can be sensed by the brain signal sensing unit through the brain stimulation unit through the brain stimulation of the user, and the modeled noise signal pattern and the brain signal sensing The method of claim 9, further comprising: performing a process of comparing the motion intention brain signal detected by the unit to remove a noise signal that matches the modeled noise signal pattern in the motion intention brain signal. Double closed circuit brain-machine interface system.
前記(2)プロセスで、前記プロセッサが、前記使用者が感知し得る複数個の感覚種類に対して各々対応する脳反応パターン、前記脳反応を誘導するための刺激の大きさ、刺激時間、周波数及びこれらの時空間的変化に対する情報のうち少なくとも一つが保存されているデータベースを参照して、前記感覚信号に対応する脳反応を誘導するための前記脳刺激パターンを生成することを特徴とする請求項8に記載の二重閉回路ブレイン−マシーンインターフェースシステム。   In the process (2), the processor may include a plurality of brain reaction patterns corresponding to a plurality of types of sensations that can be sensed by the user, a magnitude of a stimulus for inducing the brain reaction, a stimulus time, and a frequency. And generating a brain stimulation pattern for inducing a brain response corresponding to the sensory signal by referring to a database in which at least one of information on the spatiotemporal change is stored. Item 10. A double closed circuit brain-machine interface system according to item 8. 前記(3)プロセスで、前記プロセッサが、前記運動意図脳信号を分析して前記使用者の設定された脳部位を刺激する時点を決定するトリガ情報を生成し、前記トリガ情報を追加で利用して前記(2)プロセスにおける脳刺激パターンを補正することを特徴とする請求項8に記載の二重閉回路ブレイン−マシーンインターフェースシステム。   In the process (3), the processor analyzes the movement intention brain signal to generate trigger information for determining a time point for stimulating a brain region set by the user, and additionally uses the trigger information. 9. The double closed-circuit brain-machine interface system according to claim 8, wherein the brain stimulation pattern in the process (2) is corrected. 前記プロセッサが、前記使用者の運動意図がない状態に対応する休止状態の脳信号に対比して前記使用者の前記運動意図脳信号が所定の閾値を越える瞬間を前記使用者の運動意図時点と判断し、前記運動意図時点に対応して前記使用者の設定された脳部位を刺激する時点を決定するトリガ情報を生成することを特徴とする請求項12に記載の二重閉回路ブレイン−マシーンインターフェースシステム。   The processor sets the moment when the motion intention brain signal of the user exceeds a predetermined threshold as compared with a dormant brain signal corresponding to a state where the user does not have motion intention with the motion intention time of the user. The double closed-circuit brain-machine according to claim 12, wherein the determination is performed to generate trigger information for determining a time point for stimulating the set brain part of the user according to the time point of the exercise intention. Interface system. 前記(3)プロセスで、前記プロセッサが、前記使用者の運動意図脳信号及び前記運動意図脳信号以後に感知された使用者の追加運動意図脳信号を前記使用者の運動意図がない状態に対応する休止状態の脳信号と比較分析して前記使用者の運動意図強度を判断し、前記運動意図強度を分析して前記脳刺激頻度に対する情報を生成することを特徴とする請求項8に記載の二重閉回路ブレイン−マシーンインターフェースシステム。   In the process (3), the processor may be configured to convert the user's motion intention brain signal and the user's additional motion intention brain signal detected after the user's motion intention brain signal into a state where the user does not have a motion intention. 9. The apparatus according to claim 8, wherein the exercise intention intensity of the user is determined by comparing and analyzing with a brain signal in a resting state, and the information about the brain stimulation frequency is generated by analyzing the exercise intention intensity. Double closed circuit brain-machine interface system.
JP2018232980A 2017-12-18 2018-12-12 Dual closed circuit brain-machine interface system and method Active JP6649462B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0174638 2017-12-18
KR1020170174638A KR102074485B1 (en) 2017-12-18 2017-12-18 Double closed loop brain-machine interface system and method thereof

Publications (2)

Publication Number Publication Date
JP2019109888A JP2019109888A (en) 2019-07-04
JP6649462B2 true JP6649462B2 (en) 2020-02-19

Family

ID=67105160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018232980A Active JP6649462B2 (en) 2017-12-18 2018-12-12 Dual closed circuit brain-machine interface system and method

Country Status (2)

Country Link
JP (1) JP6649462B2 (en)
KR (1) KR102074485B1 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7365411B2 (en) 2019-06-12 2023-10-19 クラレノリタケデンタル株式会社 Mouthpiece and mouthpiece manufacturing method
US20210018896A1 (en) * 2019-07-16 2021-01-21 Carnegie Mellon University Methods and Systems for Noninvasive Mind-Controlled Devices
KR102149615B1 (en) * 2019-11-13 2020-08-28 가톨릭관동대학교산학협력단 Brain-machine interface learning system and method thereof
WO2021231609A1 (en) * 2020-05-12 2021-11-18 California Institute Of Technology Decoding movement intention using ultrasound neuroimaging
CN112494053B (en) * 2020-12-23 2023-10-03 深圳市德力凯医疗设备股份有限公司 Method, system, equipment and storage medium for monitoring brain hypoxic risk level
CN113146618B (en) * 2021-03-16 2022-07-01 深兰科技(上海)有限公司 Control method and system of mechanical arm, electronic equipment and storage medium
CN114983424B (en) * 2022-08-03 2022-11-15 之江实验室 Multichannel mixed chopping method and system applied to brain-computer interface chip
CN115509347B (en) * 2022-09-05 2026-03-17 同济大学 A method, device, and storage medium for inducing walking intention based on emotion-based brain-computer interfaces.
CN119556789A (en) * 2023-09-03 2025-03-04 华为技术有限公司 A signal processing method and related device
JP2025048914A (en) * 2023-09-21 2025-04-03 ソフトバンクグループ株式会社 system
CN119987539B (en) * 2024-12-20 2025-09-05 天津大学 A brain-computer interaction paradigm, implementation method, brain-computer interaction method and system
CN120788603A (en) * 2025-09-10 2025-10-17 南京左右脑医疗科技集团有限公司 Brain-computer interface brain-electricity coding and decoding data processing method, device and storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090088659A1 (en) * 2007-09-27 2009-04-02 Immersion Corporation Biological Sensing With Haptic Feedback
JP6142146B2 (en) * 2012-11-28 2017-06-07 株式会社国際電気通信基礎技術研究所 Exoskeleton type robot and rehabilitation device
KR101740894B1 (en) * 2015-11-13 2017-05-29 대한민국 Brain-computer interface system and method using spatial filter

Also Published As

Publication number Publication date
JP2019109888A (en) 2019-07-04
KR102074485B1 (en) 2020-02-06
KR20190073214A (en) 2019-06-26

Similar Documents

Publication Publication Date Title
JP6649462B2 (en) Dual closed circuit brain-machine interface system and method
EP3836836B1 (en) Real-time spike detection and identification
US10824225B2 (en) Methods and apparatuses for determining head movement
JP2016511651A5 (en) Wearable device
CN110662576B (en) Personalized closed-loop pulsed transcranial stimulation system for cognitive enhancement
KR101656739B1 (en) Method and apparatus for control of wearable gait robot based on eeg
Hofmann et al. Bayesian filtering of surface EMG for accurate simultaneous and proportional prosthetic control
US9381352B2 (en) Method for stimulating living body more accurately and apparatus using the same
US10668280B2 (en) Two-phase calibration of a neuroprosthetic system
JP7614157B2 (en) Feature extraction device, state estimation device, feature extraction method, state estimation method, and program
TW201806370A (en) System and method for providing a real-time signal segmentation and fiducial points alignment framework
KR101939363B1 (en) Brain-computer interface apparatus adaptable to use environment and method of operating thereof
JP6553818B2 (en) System and method for sleep stage discrimination based on cardiac activity information and brain activity information in EEG signal
Kalampratsidou et al. Sonification of heart rate variability can entrain bodies in motion
US11564609B2 (en) Method, apparatus and computer program for synchronizing biopotential signals
US20200289004A1 (en) Signal processing apparatus and signal processing method
RU2016135284A (en) BRAIN-MACHINE INTERFACE DEVICE FOR REMOTE CONTROL OF EXOSKELETONIC STRUCTURES
Gwin et al. High-density EEG and independent component analysis mixture models distinguish knee contractions from ankle contractions
CN121845611A (en) Electroencephalogram signal processing method and device, electronic equipment and storage medium
Hassan et al. Classification of kinetics of movement for lower limb using covariate shift method for brain computer interface
US20230146449A1 (en) Machine learning-based systems and methods for breath monitoring and assistance of a patient
Major Developing a brain computer interface control system for robotic movement in two dimensions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200116

R150 Certificate of patent or registration of utility model

Ref document number: 6649462

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250