JP7820161B2 - Information processing method, program, information processing device, and model generation method - Google Patents
Information processing method, program, information processing device, and model generation methodInfo
- Publication number
- JP7820161B2 JP7820161B2 JP2022003867A JP2022003867A JP7820161B2 JP 7820161 B2 JP7820161 B2 JP 7820161B2 JP 2022003867 A JP2022003867 A JP 2022003867A JP 2022003867 A JP2022003867 A JP 2022003867A JP 7820161 B2 JP7820161 B2 JP 7820161B2
- Authority
- JP
- Japan
- Prior art keywords
- patient
- aspiration
- information
- onset
- gastroesophageal reflux
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Description
本発明は、情報処理方法、プログラム、情報処理装置及びモデル生成方法に関する。 The present invention relates to an information processing method, a program, an information processing device, and a model generation method.
口腔内の食べ物が唾液と共に気管に侵入する誤嚥、又は胃の内容物が食道を逆流して気管に侵入する誤嚥により、誤嚥性肺炎が発症することが知られている。また、高齢者等では、誤嚥しても咳き込みやむせ等が生じない不顕性誤嚥が発生することがあり、不顕性誤嚥は患者本人が誤嚥に気づかないので、誤嚥の発生を客観的に発見することが望まれている。特許文献1では、簡単な操作で胃食道逆流の発生を検査できる検査器具が開示されている。 It is known that aspiration pneumonia can occur when food in the mouth enters the trachea along with saliva, or when stomach contents reflux up the esophagus and enter the trachea. Additionally, elderly people and others may experience silent aspiration, which does not result in coughing or choking. Because silent aspiration is not recognized by the patient, there is a need for an objective method of detecting aspiration. Patent Document 1 discloses a testing device that can be used to check for the occurrence of gastroesophageal reflux with simple operation.
特許文献1に開示された検査器具のように、専用の検査器具を用いて検査を行う場合、検査コストの削減が難しい。従って、専用の検査器具を用いた検査を行う前に、患者の状態から誤嚥が発生している可能性を簡易的に判定できるシステムが要望されている。 When performing an examination using a dedicated examination device, such as the examination device disclosed in Patent Document 1, it is difficult to reduce examination costs. Therefore, there is a demand for a system that can easily determine the possibility of aspiration occurring based on the patient's condition before performing an examination using a dedicated examination device.
一つの側面では、患者の状態から誤嚥の発症に関する情報を提示することが可能な情報処理方法等を提供することを目的とする。 One aspect of this is to provide an information processing method that can present information regarding the onset of aspiration based on the patient's condition.
一つの側面に係る情報処理方法は、患者の状態に関する状態情報を取得し、取得した状態情報に基づいて、誤嚥の発症に関する発症情報を出力する処理をコンピュータが実行する。 In one aspect of the information processing method, a computer executes a process of acquiring status information regarding a patient's condition and outputting onset information regarding the onset of aspiration based on the acquired status information.
一つの側面では、患者の状態から誤嚥の発症に関する情報を提示することができる。 On one hand, the patient's condition can provide information about the onset of aspiration.
以下、本開示の情報処理方法、プログラム、情報処理装置及びモデル生成方法について、その実施形態を示す図面に基づいて詳述する。 The information processing method, program, information processing device, and model generation method disclosed herein are described in detail below with reference to drawings illustrating embodiments thereof.
(実施形態1)
患者の状態から、当該患者に誤嚥が発生しているか否かを予測して、医師、看護職員及び介護職員等の医療従事者に提示する情報処理装置について説明する。本実施形態では、自然滴下によって、又は経腸栄養ポンプを使用して胃に直接栄養剤を投与する経管栄養が実施されている患者について、誤嚥の発生を予測する。従って、本実施形態では、胃食道逆流による誤嚥の発生を予測する。なお、経管栄養は、鼻から挿入したチューブを用いて栄養剤を投与する経鼻胃管栄養、及び、腹部に空けた瘻孔に挿入したチューブを用いて栄養剤を投与する胃瘻栄養を含む。
(Embodiment 1)
This paper describes an information processing device that predicts whether a patient is experiencing aspiration based on their condition and presents the results to medical professionals, such as doctors, nurses, and caregivers. In this embodiment, the occurrence of aspiration is predicted for patients receiving enteral nutrition, in which nutrients are administered by natural drip or directly to the stomach using an enteral nutrition pump. Therefore, this embodiment predicts the occurrence of aspiration due to gastroesophageal reflux. Enteral nutrition includes nasogastric tube feeding, in which nutrients are administered using a tube inserted through the nose, and gastrostomy tube feeding, in which nutrients are administered using a tube inserted through a fistula created in the abdomen.
図1は情報処理装置の構成例を示すブロック図である。情報処理装置10は、種々の情報処理、情報の送受信が可能な装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。情報処理装置10は、複数台設けられて分散処理する構成でもよく、1台の装置内に設けられた複数の仮想マシンによって実現されてもよい。情報処理装置10は、例えば医療機関内に設置されて利用される。情報処理装置10をサーバコンピュータで構成する場合、情報処理装置10は、医療機関内に設置されたローカルサーバであってもよく、インターネット等のネットワークを介して通信接続されたクラウドサーバであってもよい。 Figure 1 is a block diagram showing an example configuration of an information processing device. The information processing device 10 is a device capable of various information processing and sending and receiving information, such as a server computer or personal computer. The information processing device 10 may be configured to have multiple devices for distributed processing, or may be realized by multiple virtual machines installed in a single device. The information processing device 10 is installed and used, for example, in a medical institution. When the information processing device 10 is configured as a server computer, the information processing device 10 may be a local server installed in the medical institution, or a cloud server connected to the medical institution via a network such as the Internet.
情報処理装置10は、患者の状態を示す状態情報に基づいて、当該患者に誤嚥が発生している可能性を複数段階で予測し、予測した可能性が高い場合にアラートで通知する処理を行う。具体的には後述のように、情報処理装置10は、所定の訓練データを学習する機械学習を行い、患者の状態情報を入力として、胃食道逆流による誤嚥が発生している可能性を出力する学習モデル12M(図3参照)を予め用意してある。情報処理装置10は、患者の状態情報を学習モデル12Mに入力し、胃食道逆流による誤嚥の発生可能性を学習モデル12Mから取得する。なお、患者の状態情報は、体温、血中酸素飽和度、痰の量、喘鳴の有無、表情に関する情報、口腔内のにおいの有無、口腔内の酸性レベル、口腔内の糖の有無等のうちのいずれか複数を含む。 The information processing device 10 performs a process of predicting the possibility of aspiration occurring in a patient at multiple stages based on status information indicating the patient's condition, and notifying the patient by alert when the predicted possibility is high. Specifically, as described below, the information processing device 10 performs machine learning to learn predetermined training data, and has prepared in advance a learning model 12M (see Figure 3) that inputs the patient's status information and outputs the possibility of aspiration occurring due to gastroesophageal reflux. The information processing device 10 inputs the patient's status information into the learning model 12M and obtains the possibility of aspiration occurring due to gastroesophageal reflux from the learning model 12M. The patient's status information includes any one or more of body temperature, blood oxygen saturation, amount of phlegm, presence or absence of wheezing, information about facial expression, presence or absence of oral odor, oral acidity level, presence or absence of sugar in the oral cavity, etc.
情報処理装置10は、制御部11、記憶部12、通信部13、入力部14、表示部15、読み取り部16等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)又はAIチップ(AI用半導体)等の1又は複数のプロセッサを有する。制御部11は、記憶部12に記憶してあるプログラム12Pを適宜実行することにより、情報処理装置10が行うべき種々の情報処理、制御処理等を行う。 The information processing device 10 includes a control unit 11, a memory unit 12, a communication unit 13, an input unit 14, a display unit 15, a reading unit 16, etc., and these units are interconnected via a bus. The control unit 11 has one or more processors, such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), a GPU (Graphics Processing Unit), or an AI chip (AI semiconductor). The control unit 11 appropriately executes a program 12P stored in the memory unit 12 to perform various information processing, control processing, etc. that should be performed by the information processing device 10.
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行するプログラム12P(プログラム製品)及びプログラム12Pの実行に必要な各種のデータ等を予め記憶している。また記憶部12は、制御部11がプログラム12Pを実行する際に発生するデータ等を一時的に記憶する。また記憶部12は、例えば機械学習によって訓練データを学習済みの学習モデル12Mを記憶している。学習モデル12Mは、患者の状態情報が入力された場合に、胃食道逆流による誤嚥が発生している可能性(胃食道逆流物の誤嚥の発症に関する発症情報)を出力するように学習された学習済みモデルである。学習モデル12Mは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。学習モデル12Mは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部12には、この演算を規定する関数の係数や閾値等のデータが学習モデル12Mとして記憶される。また記憶部12は、後述する電子カルテDB12aを記憶している。電子カルテDB12aは、情報処理装置10に接続された他の記憶装置に記憶されてもよく、情報処理装置10が通信可能な他の記憶装置に記憶されてもよい。 The memory unit 12 includes RAM (Random Access Memory), flash memory, a hard disk, an SSD (Solid State Drive), etc. The memory unit 12 pre-stores the program 12P (program product) executed by the control unit 11 and various data necessary for executing the program 12P. The memory unit 12 also temporarily stores data generated when the control unit 11 executes the program 12P. The memory unit 12 also stores a learning model 12M that has learned training data, for example, through machine learning. The learning model 12M is a trained model that has been trained to output the possibility of aspiration due to gastroesophageal reflux (onset information related to the onset of aspiration of gastroesophageal reflux material) when patient condition information is input. The learning model 12M is intended to be used as a program module constituting artificial intelligence software. The learning model 12M performs a predetermined calculation on input values and outputs the calculation results. Data such as function coefficients and thresholds that define this calculation are stored in the memory unit 12 as the learning model 12M. The storage unit 12 also stores an electronic medical record DB 12a, which will be described later. The electronic medical record DB 12a may be stored in another storage device connected to the information processing device 10, or in another storage device with which the information processing device 10 can communicate.
通信部13は、有線通信又は無線通信によって、インターネット又はLAN(Local Area Network)等のネットワークに接続するための通信モジュールであり、ネットワークを介して他の装置との間で情報の送受信を行う。入力部14は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。表示部15は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部11からの指示に従って各種の情報を表示する。入力部14及び表示部15は一体として構成されたタッチパネルであってもよい。なお、入力部14及び表示部15は必須ではなく、情報処理装置10は、接続された端末装置を通じて操作を受け付け、表示すべき情報を外部の表示装置へ出力する構成でもよい。 The communication unit 13 is a communication module for connecting to a network such as the Internet or a LAN (Local Area Network) via wired or wireless communication, and transmits and receives information to other devices via the network. The input unit 14 accepts operation input by the user and sends control signals corresponding to the operation content to the control unit 11. The display unit 15 is a liquid crystal display, organic EL display, or the like, and displays various information in accordance with instructions from the control unit 11. The input unit 14 and display unit 15 may be integrated into a touch panel. Note that the input unit 14 and display unit 15 are not required, and the information processing device 10 may be configured to accept operations via a connected terminal device and output information to be displayed to an external display device.
読み取り部16は、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、USB(Universal Serial Bus)メモリ、SD(Secure Digital)カード等を含む可搬型記憶媒体1aに記憶された情報を読み取る。記憶部12に記憶されるプログラム12P(プログラム製品)及び各種のデータは、制御部11が読み取り部16を介して可搬型記憶媒体1aから読み取って記憶部12に記憶してもよい。また、記憶部12に記憶されるプログラム12P及び各種のデータは、制御部11が通信部13を介して他の装置からダウンロードして記憶部12に記憶してもよい。 The reading unit 16 reads information stored on portable storage medium 1a, including CD (Compact Disc)-ROM, DVD (Digital Versatile Disc)-ROM, USB (Universal Serial Bus) memory, SD (Secure Digital) card, etc. The control unit 11 may read the program 12P (program product) and various data stored in the storage unit 12 from the portable storage medium 1a via the reading unit 16 and store them in the storage unit 12. The control unit 11 may also download the program 12P and various data stored in the storage unit 12 from another device via the communication unit 13 and store them in the storage unit 12.
図2は電子カルテDB12aの構成例を示す模式図である。電子カルテDB12aは、医療機関を利用する患者の電子カルテデータ(診療記録)を格納するデータベースである。図2に示す電子カルテDB12aは、患者ID列、患者情報列、状態情報列等を含む。患者ID列は、各患者を識別するための識別情報(患者ID、患者コード)を記憶する。患者IDは例えば医療機関で発行された診察券の診察券番号であってもよい。患者情報列は、患者IDに対応付けて、患者に関する患者情報を記憶する。患者情報は、例えば患者の年齢及び性別を含む属性情報、既往歴、診断名、身長及び体重等を含む。また患者情報は、患者に発生した症状に関する情報を含んでおり、例えば患者に誤嚥が発生したことを示す情報を含む。なお、誤嚥は、胃の内容物が食道を逆流して気管に侵入する胃食道逆流による誤嚥、及び口腔内容物が気管に侵入する誤嚥を含む。 Figure 2 is a schematic diagram showing an example configuration of the electronic medical record DB 12a. The electronic medical record DB 12a is a database that stores electronic medical record data (medical records) of patients who use medical institutions. The electronic medical record DB 12a shown in Figure 2 includes a patient ID column, a patient information column, a condition information column, and so on. The patient ID column stores identification information (patient ID, patient code) for identifying each patient. The patient ID may be, for example, the patient card number on a patient card issued by a medical institution. The patient information column stores patient information related to the patient in association with the patient ID. The patient information includes, for example, attribute information such as the patient's age and gender, medical history, diagnosis, height, and weight. The patient information also includes information about symptoms experienced by the patient, such as information indicating that the patient has experienced aspiration. Aspiration includes aspiration due to gastroesophageal reflux, in which stomach contents reflux up the esophagus and enter the trachea, and aspiration in which oral contents enter the trachea.
状態情報列は、患者IDに対応付けて、患者の状態に関する状態情報を記憶する。状態情報は、患者から計測した体温、血圧、心拍数、呼吸数等のバイタルデータを含む。また状態情報は、血中酸素飽和度、痰の量、喘鳴の有無、口腔内のにおいの有無、表情レベル、口腔内の酸性レベル、口腔内の糖の有無等を含む。血中酸素飽和度は、パルスオキシメータを用いて計測される。痰の量は、吸引器を用いて患者の口腔内、咽頭部及び喉頭部から吸引した分泌物(痰及び唾液等)の量である。痰の吸引は、例えば経管栄養で栄養剤が投与された後に実施される。喘鳴の有無は、患者が呼吸する際に喉がガラガラ、ヒューヒュー、ゼーゼー等の音が発生するか否かを示す。喘鳴の有無は、例えば医療従事者が患者の口元の音を聴取して判断してもよく、患者の口元の音をマイクで収集し、収集した音声が、喘鳴で発生する音に一致するか否かに基づいて判断してもよい。口腔内のにおいの有無は、患者の口腔内で、患者に投与した栄養剤のにおい(例えば甘いにおい)がするか否かを示す。においの有無は、例えば医療従事者が患者の口元のにおいを嗅いで判断してもよく、においを検知できる装置を用いて患者の口元のにおいを検知し、検知したにおいが、投与中の栄養剤のにおいに一致するか否かに基づいて判断してもよい。表情レベルは、例えば患者を日々観察している医療従事者が患者の顔を確認して判断してもよく、例えば入院時に各患者の顔写真を撮影しておき、入院時の顔写真と、検査タイミングで撮影した患者の顔写真とを比較することによって判断してもよい。表情レベルは、例えば普段の表情に対して苦しそうであるか、又は意思疎通が可能であるかを示しており、例えば普段通りの正常な表情をレベル1とし、苦しそうな状態又は意思疎通ができない状態が悪化するほど高いレベルとし、例えば5段階(レベル1~レベル5)で表される。これらのデータは例えば計測日時に対応付けて各列に記憶され、各データの計測は1日に所定回数(例えば3回~5回程度)行われる。口腔内の酸性レベルは、食道内pHモニタリング検査によって計測される食道内のpH値である。口腔内の糖の有無は、例えば尿糖試験紙を用いて計測される。なお、胃の内容物(胃液)が食道内に逆流していれば食道内が低いpH値となるので、食道内のpH値に基づいて胃食道逆流の発生有無を判定できる。また、胃の内容物(食べ物、栄養剤)が口腔内まで逆流していれば、口腔内に胃の内容物中の糖が検出されるので、口腔内の糖の有無に基づいて胃食道逆流の発生有無を判定できる。各データは、時間的変化を示すグラフで表されてもよく、グラフのデータは、例えば計測日時と計測した値との組を、計測を行うたびに記録した一連のデータである。 The status information string stores status information related to the patient's condition, associated with the patient ID. The status information includes vital data measured from the patient, such as body temperature, blood pressure, heart rate, and respiratory rate. The status information also includes blood oxygen saturation, amount of phlegm, presence or absence of wheezing, presence or absence of oral odor, facial expression level, oral acidity level, and presence or absence of sugar in the oral cavity. Blood oxygen saturation is measured using a pulse oximeter. The amount of phlegm is the amount of secretions (phlegm, saliva, etc.) aspirated from the patient's oral cavity, pharynx, and larynx using a suction device. Phlegm suction is performed, for example, after administering nutrients via tube feeding. The presence or absence of wheezing indicates whether the patient makes sounds such as throat rasping, whistling, or wheezing when breathing. The presence or absence of wheezing can be determined, for example, by a medical professional listening to the sounds around the patient's mouth, or by collecting sounds around the patient's mouth with a microphone and determining whether the collected sounds match those produced by wheezing. The presence or absence of an odor in the oral cavity indicates whether the odor of the nutritional supplement administered to the patient (e.g., a sweet odor) can be detected in the patient's oral cavity. The presence or absence of an odor can be determined, for example, by a medical professional smelling the patient's mouth, or by using an odor-detecting device to detect the odor of the patient's mouth and determining whether the detected odor matches the odor of the nutritional supplement being administered. The facial expression level can be determined, for example, by a medical professional who observes the patient daily by checking the patient's face. For example, a facial photograph of each patient can be taken at the time of admission and compared with the facial photograph taken at the time of admission and the patient's facial photograph taken at the time of examination. The facial expression level indicates, for example, whether the patient appears distressed or able to communicate compared to their usual facial expression. For example, a normal, normal expression is assigned a level 1, and the level increases as the patient appears distressed or unable to communicate. It is expressed on a scale of, for example, five levels (levels 1 to 5). These data are stored in each column, for example, associated with the measurement date and time, and each data measurement is performed a predetermined number of times per day (e.g., approximately three to five times). The acidity level in the oral cavity is the pH value in the esophagus measured by an esophageal pH monitoring test. The presence or absence of sugar in the oral cavity is measured, for example, using a urine glucose test strip. Note that if stomach contents (gastric juice) are refluxing into the esophagus, the pH value in the esophagus will be low, and the occurrence of gastroesophageal reflux can be determined based on the pH value in the esophagus. Furthermore, if stomach contents (food, nutrients) are refluxing into the oral cavity, sugar in the stomach contents will be detected in the oral cavity, and the occurrence or absence of gastroesophageal reflux can be determined based on the presence or absence of sugar in the oral cavity. Each piece of data may be represented as a graph showing changes over time, and the graph data is a series of data recorded each time a measurement is taken, for example, consisting of a pair of measurement date and time and the measured value.
電子カルテDB12aの記憶内容は図2に示す例に限定されず、患者に実施した血液検査及び尿検査等の各種検査に関する検査情報、治療に関する治療情報、手術に関する手術情報、薬の服用歴、医師等が入力したコメント等、患者に関する各種の情報が記憶されてもよい。なお、検査情報は、X線画像、超音波画像、CT(Computed Tomography:コンピュータ断層撮影法)画像、MRI(Magnetic Resonance Imaging:磁気共鳴画像法)画像、PET(Positron Emission Tomography:陽電子放出断層撮影法)画像等の医用画像を含んでもよい。 The contents stored in electronic medical record DB12a are not limited to the example shown in Figure 2, and may include various types of information related to the patient, such as test information related to various tests performed on the patient, such as blood tests and urine tests, treatment information related to treatment, surgery information related to surgery, medication history, and comments entered by doctors, etc. The test information may also include medical images such as X-ray images, ultrasound images, CT (Computed Tomography) images, MRI (Magnetic Resonance Imaging) images, and PET (Positron Emission Tomography) images.
図3は学習モデル12Mの構成例を示す模式図である。図3に示す学習モデル12Mは、患者の状態情報(体温、血中酸素飽和度、痰の量、喘鳴の有無、表情レベル、口腔内のにおいの有無)を入力とし、入力されたデータに基づいて、当該患者に胃食道逆流による誤嚥が発生している可能性を判別する演算を行い、演算した結果(胃食道逆流による誤嚥の発生可能性)を出力するように学習してある。学習モデル12Mは、例えば深層学習によって生成されるニューラルネットワークモデルであるCNN(Convolutional Neural Network)で構成される。なお、学習モデル12Mは、CNNのほかに、RNN(Recurrent Neural Network)、LSTM(Long Short-Term Memory)、決定木、ランダムフォレスト、SVM(Support Vector Machine)等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。情報処理装置10は、所定の訓練データを学習する機械学習を行って学習モデル12Mを事前に生成しておく。そして情報処理装置10は、電子カルテDB12aに登録してある患者の状態情報を学習モデル12Mに入力し、学習モデル12Mからの出力情報に基づいて、患者に胃食道逆流による誤嚥が発生している可能性を予測する。学習モデル12Mに入力される各データは、定期的に計測された時系列データであってもよい。 Figure 3 is a schematic diagram showing an example configuration of learning model 12M. Learning model 12M shown in Figure 3 is trained to input patient condition information (body temperature, blood oxygen saturation, amount of phlegm, presence or absence of wheezing, facial expression level, and presence or absence of oral odor), perform a calculation to determine the possibility of aspiration due to gastroesophageal reflux in the patient based on the input data, and output the calculation result (the possibility of aspiration due to gastroesophageal reflux). Learning model 12M is configured, for example, by a convolutional neural network (CNN), a neural network model generated by deep learning. Learning model 12M may be configured using algorithms other than CNN, such as recurrent neural networks (RNNs), long short-term memory (LSTMs), decision trees, random forests, and support vector machines (SVMs), or may be configured by combining multiple algorithms. Information processing device 10 generates learning model 12M in advance by performing machine learning to learn predetermined training data. The information processing device 10 then inputs the patient's condition information registered in the electronic medical record DB 12a into the learning model 12M, and predicts the possibility that the patient is experiencing aspiration due to gastroesophageal reflux based on the output information from the learning model 12M. Each piece of data input into the learning model 12M may be time-series data measured periodically.
図3に示す学習モデル12Mは3つの出力ノードを有しており、各出力ノードには、胃食道逆流による誤嚥の発生可能性が高い、中程度、低い状態がそれぞれ対応付けられており、各出力ノードから、対応付けられた状態であると判別すべき確率を出力する。なお、発生可能性が低い状態とは、発生可能性がほぼ無い正常な状態であることを意味する。図3に示す例では、出力ノード0は、胃食道逆流による誤嚥が発生している可能性が高いと判別すべき確率を出力し、出力ノード1は、胃食道逆流による誤嚥が発生している可能性が中程度と判別すべき確率を出力し、出力ノード2は、胃食道逆流による誤嚥が発生している可能性が低いと判別すべき確率を出力する。各出力ノードの出力値は例えば0~1.0の値であり、各出力ノードから出力された判別確率の合計が1.0(100%)となる。上述した構成により、学習モデル12Mは、患者の状態情報が入力された場合に、患者に胃食道逆流による誤嚥が発生している可能性(高・中・低の各可能性に対する判別確率)を出力する。 The learning model 12M shown in FIG. 3 has three output nodes. Each output node is associated with a state in which there is a high, medium, or low possibility of aspiration due to gastroesophageal reflux, and outputs the probability that the associated state should be determined. A low probability state refers to a normal state in which there is almost no possibility of aspiration. In the example shown in FIG. 3, output node 0 outputs the probability that there is a high possibility of aspiration due to gastroesophageal reflux, output node 1 outputs the probability that there is a medium possibility of aspiration due to gastroesophageal reflux, and output node 2 outputs the probability that there is a low possibility of aspiration due to gastroesophageal reflux. The output value of each output node is, for example, a value between 0 and 1.0, and the sum of the determination probabilities output from each output node is 1.0 (100%). With the above-described configuration, when patient condition information is input, learning model 12M outputs the possibility that the patient has aspiration due to gastroesophageal reflux (the determination probabilities for each of high, medium, and low possibilities).
情報処理装置10は、上述した学習モデル12Mにおいて、例えば、各出力ノードからの出力値のうちで最大の出力値(判別確率)を出力した出力ノードに対応付けられている可能性を、予測すべき可能性に特定する。なお、学習モデル12Mは、それぞれの可能性に対する判別確率を出力する複数の出力ノードを有する代わりに、判別確率が最も高い可能性を出力する1個の出力ノードを有する構成でもよい。 In the above-mentioned learning model 12M, the information processing device 10 identifies, for example, the possibility associated with the output node that outputs the largest output value (discrimination probability) among the output values from each output node as the possibility to be predicted. Note that instead of having multiple output nodes that output discrimination probabilities for each possibility, the learning model 12M may be configured to have a single output node that outputs the possibility with the highest discrimination probability.
学習モデル12Mは、訓練用の状態情報と、胃食道逆流による誤嚥が発生している可能性を示す情報(正解ラベル)とを含む訓練データを用いて、未学習の学習モデルを機械学習させることにより生成される。訓練データは、胃食道逆流が発生した患者の状態情報に対して、胃食道逆流による誤嚥の発生可能性が高いことを示す情報(胃食道逆流物の誤嚥の発症に関する発症情報)が付与されて生成される。また、訓練データは、胃食道逆流が発生していない患者の状態情報に対して、胃食道逆流による誤嚥の発生可能性が低いことを示す情報が付与されて生成されてもよい。患者の状態情報、及び胃食道逆流が発生したか否かの情報は、電子カルテDB12aに記憶してある情報から取得することができる。 The learning model 12M is generated by machine learning an untrained learning model using training data including training condition information and information (correct answer labels) indicating the possibility of aspiration due to gastroesophageal reflux. The training data is generated by adding information indicating a high possibility of aspiration due to gastroesophageal reflux (onset information related to the onset of aspiration of gastroesophageal reflux material) to the condition information of a patient in whom gastroesophageal reflux has occurred. The training data may also be generated by adding information indicating a low possibility of aspiration due to gastroesophageal reflux to the condition information of a patient in whom gastroesophageal reflux has not occurred. The patient's condition information and information on whether gastroesophageal reflux has occurred can be obtained from information stored in the electronic medical record DB 12a.
学習モデル12Mは、訓練用の状態情報が入力された場合に、正解ラベルが示す可能性に対応する出力ノードからの出力値が1.0に近づき、他の出力ノードからの出力値が0.0に近づくように学習する。学習処理において学習モデル12Mは、入力された状態情報に基づく演算を行い、各出力ノードからの出力値を算出する。そして学習モデル12Mは、算出した各出力ノードの出力値と正解ラベルに応じた値(正解ラベルが示す可能性に対応する出力ノードに対しては1、それ以外の出力ノードに対しては0)とを比較し、各出力値がそれぞれ正解ラベルに応じた値に近似するように、演算処理に用いるパラメータを最適化する。当該パラメータは、学習モデル12Mにおけるニューロン間の重み等である。パラメータの最適化の方法は特に限定されないが、誤差逆伝播法、最急降下法等を用いることができる。これにより、患者の状態情報が入力された場合に、胃食道逆流による誤嚥が発生している可能性を予測し、予測結果を出力するように学習された学習モデル12Mが得られる。 When training status information is input, the learning model 12M learns so that the output value from the output node corresponding to the possibility indicated by the correct label approaches 1.0 and the output values from other output nodes approach 0.0. During the learning process, the learning model 12M performs calculations based on the input status information to calculate output values from each output node. The learning model 12M then compares the calculated output value of each output node with the value corresponding to the correct label (1 for the output node corresponding to the possibility indicated by the correct label, and 0 for other output nodes), and optimizes parameters used in the calculation process so that each output value approximates the value corresponding to the correct label. These parameters are, for example, weights between neurons in the learning model 12M. The parameter optimization method is not particularly limited, but examples that can be used include backpropagation and steepest descent. As a result, a learning model 12M is obtained that is trained to predict the possibility of aspiration due to gastroesophageal reflux and output the prediction result when patient status information is input.
学習モデル12Mの学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの学習モデル12Mは、例えばネットワーク経由又は可搬型記憶媒体1a経由で学習装置から情報処理装置10にダウンロードされて記憶部12に記憶される。学習モデル12Mは、図3に示す構成に限定されない。学習モデル12Mは、胃食道逆流による誤嚥の発生及び誤嚥性肺炎の発生を予測する際に用いられる患者の状態に関する情報が入力される構成とすることができる。例えば、図3に示す各データに加えて、患者の口腔内の酸性レベル又は口腔内の糖の有無を示す情報が入力される構成でもよい。また、学習モデル12Mに入力される各データは時系列データであってもよく、例えば定期的に計測される計測結果及び定期的に判定される判定結果の時系列データであってもよい。この場合、例えば患者の直近の1日分又は数日分の各データが学習モデル12Mに入力されるように構成することができる。 The learning model 12M may be trained by another learning device. The trained learning model 12M generated by training on another learning device is downloaded from the learning device to the information processing device 10, for example, via a network or a portable storage medium 1a, and stored in the storage unit 12. The learning model 12M is not limited to the configuration shown in FIG. 3. The learning model 12M may be configured to receive information about the patient's condition used to predict the occurrence of aspiration due to gastroesophageal reflux and the occurrence of aspiration pneumonia. For example, in addition to the data shown in FIG. 3, the learning model 12M may be configured to receive information indicating the acidity level in the patient's oral cavity or the presence or absence of sugar in the oral cavity. Furthermore, the data input to the learning model 12M may be time-series data, such as time-series data of measurement results that are periodically measured and assessment results that are periodically assessed. In this case, the learning model 12M may be configured to receive, for example, data from the patient's most recent day or several days.
以下に、訓練データを学習して学習モデル12Mを生成する処理について説明する。図4は学習モデル12Mの生成処理手順の一例を示すフローチャートである。以下の処理は、情報処理装置10の制御部11が、記憶部12に記憶してあるプログラム12Pに従って行うが、他の学習装置で行われてもよい。 The process of learning training data and generating a learning model 12M is described below. Figure 4 is a flowchart showing an example of the processing steps for generating a learning model 12M. The following process is performed by the control unit 11 of the information processing device 10 in accordance with the program 12P stored in the memory unit 12, but may also be performed by another learning device.
情報処理装置10の制御部11はまず、訓練データに用いる患者の情報を電子カルテDB12aから取得して訓練データを生成し、生成した訓練データを用いて学習モデル12Mの学習を行う。例えば制御部11は、電子カルテDB12aに記憶してある各患者の情報に基づいて、胃食道逆流による誤嚥が発生したことがある患者がいるか否かを判断する(S11)。胃食道逆流による誤嚥が発生したことがある患者がいると判断した場合(S11:YES)、制御部11は、当該患者の状態情報を電子カルテDB12aから取得する(S12)。例えば制御部11は、当該患者の状態情報のうち、胃食道逆流による誤嚥が発生した前後の所定期間に計測又は判定された、体温、血中酸素飽和度、痰の量、喘鳴の有無、表情レベル、口腔内のにおいの有無に関する各データを電子カルテDB12aから読み出す。制御部11は、取得した状態情報に対して、胃食道逆流による誤嚥の発生可能性が「高」を示す正解ラベルを付けて訓練データを生成し、記憶部12に記憶する(S13)。 The control unit 11 of the information processing device 10 first obtains patient information to be used for training data from the electronic medical record DB 12a, generates training data, and uses the generated training data to train the learning model 12M. For example, the control unit 11 determines whether any patient has experienced aspiration due to gastroesophageal reflux based on the information about each patient stored in the electronic medical record DB 12a (S11). If it determines that any patient has experienced aspiration due to gastroesophageal reflux (S11: YES), the control unit 11 obtains the patient's condition information from the electronic medical record DB 12a (S12). For example, the control unit 11 reads from the electronic medical record DB 12a each piece of data related to the patient's condition, including body temperature, blood oxygen saturation, amount of sputum, presence or absence of wheezing, facial expression level, and presence or absence of oral odor, measured or determined during a predetermined period before and after the occurrence of aspiration due to gastroesophageal reflux. The control unit 11 generates training data by attaching a correct answer label indicating a "high" likelihood of aspiration due to gastroesophageal reflux to the acquired condition information, and stores the data in the memory unit 12 (S13).
制御部11は、ステップS11の処理に戻り、胃食道逆流による誤嚥が発生したことがある他の患者がいるか否かを判断し、いると判断する都度(S11:YES)、ステップS12~S13の処理を行って訓練データを生成する。制御部11は、胃食道逆流による誤嚥が発生したことがある患者がいないと判断するまでステップS12~S13の処理を繰り返す。これにより、胃食道逆流による誤嚥が発生したことがある患者の情報に基づいて、学習モデル12Mの学習に用いる訓練データを生成して蓄積できる。制御部11は、胃食道逆流による誤嚥が発生したことがある患者がいないと判断した場合(S11:NO)、胃食道逆流による誤嚥が発生したことがない患者(胃食道逆流の未発生患者)がいるか否かを判断する(S14)。未発生患者がいると判断した場合(S14:YES)、制御部11は、当該患者の状態情報を電子カルテDB12aから取得する(S15)。ここでは制御部11は、ステップS12と同様のデータを電子カルテDB12aから読み出す。そして、制御部11は、取得した状態情報に対して、胃食道逆流による誤嚥の発生可能性が「低」を示す正解ラベルを付けて訓練データを生成し、記憶部12に記憶する(S16)。 The control unit 11 returns to step S11 and determines whether there are any other patients who have experienced aspiration due to gastroesophageal reflux. Each time it determines that there are such patients (S11: YES), it performs steps S12 to S13 to generate training data. The control unit 11 repeats steps S12 to S13 until it determines that there are no patients who have experienced aspiration due to gastroesophageal reflux. This allows it to generate and accumulate training data to be used for learning the learning model 12M based on information about patients who have experienced aspiration due to gastroesophageal reflux. If the control unit 11 determines that there are no patients who have experienced aspiration due to gastroesophageal reflux (S11: NO), it determines whether there are any patients who have never experienced aspiration due to gastroesophageal reflux (patients who have not experienced gastroesophageal reflux) (S14). If it determines that there are patients who have not experienced aspiration due to gastroesophageal reflux (S14: YES), the control unit 11 obtains the patient's condition information from the electronic medical record DB 12a (S15). Here, the control unit 11 reads the same data as in step S12 from the electronic medical record DB 12a. Then, the control unit 11 generates training data by attaching a correct answer label indicating a "low" likelihood of aspiration due to gastroesophageal reflux to the acquired condition information, and stores the data in the memory unit 12 (S16).
制御部11は、ステップS14の処理に戻り、胃食道逆流による誤嚥が発生したことがない他の患者がいるか否かを判断し、いると判断する都度(S14:YES)、ステップS15~S16の処理を行って訓練データを生成して蓄積する。制御部11は、胃食道逆流による誤嚥が発生したことがない患者がいないと判断するまでステップS15~S16の処理を繰り返す。これにより、胃食道逆流による誤嚥が発生したことがない患者の情報に基づいて、学習モデル12Mの学習に用いる訓練データを生成して蓄積できる。なお、上述した処理では、胃食道逆流による誤嚥が発生したことがない患者の情報に基づいて、発生可能性が「低」を示す正解ラベルが対応付けられた訓練データを生成するが、この構成に限定されない。例えば、胃食道逆流による誤嚥が発生したことがある患者の情報のうちで、胃食道逆流による誤嚥が発生していない状態での状態情報に基づいて、発生可能性が「低」を示す正解ラベルが対応付けられた訓練データを生成してもよい。 The control unit 11 returns to the processing of step S14 and determines whether there are any other patients who have not experienced aspiration due to gastroesophageal reflux. Each time it determines that there are such patients (S14: YES), it performs the processing of steps S15 to S16 to generate and store training data. The control unit 11 repeats the processing of steps S15 to S16 until it determines that there are no patients who have not experienced aspiration due to gastroesophageal reflux. This allows training data to be used for learning the learning model 12M to be generated and stored based on information about patients who have not experienced aspiration due to gastroesophageal reflux. Note that in the above-mentioned processing, training data associated with a correct answer label indicating a "low" likelihood of occurrence is generated based on information about patients who have not experienced aspiration due to gastroesophageal reflux, but this configuration is not limited to this. For example, training data associated with a correct answer label indicating a "low" likelihood of occurrence may be generated based on status information about patients who have experienced aspiration due to gastroesophageal reflux, when aspiration due to gastroesophageal reflux has not occurred.
制御部11は、胃食道逆流による誤嚥が発生したことがない患者がいないと判断した場合(S14:NO)、蓄積した訓練データを用いて学習モデル12Mの学習処理を行う(S17)。ここでは、制御部11は、訓練データに含まれる状態情報を学習モデル12Mに入力し、各出力ノードからの出力値を取得する。制御部11は、各出力ノードの出力値と、正解ラベルに応じた値(正解の可能性に対応する出力ノードに対しては1、その他の出力ノードに対しては0)とを比較し、両者が近似するように、例えば誤差逆伝播法を用いて、学習モデル12Mにおけるニューロン間の重み等のパラメータを最適化する。 If the control unit 11 determines that there are no patients who have never experienced aspiration due to gastroesophageal reflux (S14: NO), it performs a learning process for the learning model 12M using the accumulated training data (S17). Here, the control unit 11 inputs the state information contained in the training data into the learning model 12M and obtains the output value from each output node. The control unit 11 compares the output value of each output node with the value corresponding to the correct answer label (1 for the output node corresponding to the possibility of the correct answer, 0 for other output nodes), and optimizes parameters such as the weights between neurons in the learning model 12M using, for example, backpropagation, so that the two values approximate each other.
制御部11は、ステップS13,S16で蓄積した訓練データのうちで、学習処理が行われていない訓練データ(未処理のデータ)があるか否かを判断する(S18)。未処理のデータがあると判断した場合(S18:YES)、制御部11は、ステップS17の処理に戻り、学習処理が未処理の訓練データを用いて学習処理を繰り返す。未処理のデータがないと判断した場合(S18:NO)、制御部11は一連の処理を終了する。 The control unit 11 determines whether or not there is any training data (unprocessed data) that has not yet undergone learning processing among the training data accumulated in steps S13 and S16 (S18). If it determines that there is unprocessed data (S18: YES), the control unit 11 returns to the processing of step S17 and repeats the learning processing using the unprocessed training data. If it determines that there is no unprocessed data (S18: NO), the control unit 11 ends the series of processing steps.
上述した処理により、患者の状態情報が入力された場合に、当該患者に胃食道逆流による誤嚥が発生している可能性を出力するように学習された学習モデル12Mが生成される。なお、上述したような訓練データを用いた学習処理を繰り返し行うことにより、学習モデル12Mを更に最適化することができる。また、既に学習済みの学習モデル12Mについても、上述した処理を行うことによって再学習させることができ、この場合、判別精度がより高い学習モデル12Mを生成できる。 The above-described processing generates a learning model 12M that has been trained to output the possibility that a patient is experiencing aspiration due to gastroesophageal reflux when patient condition information is input. It is possible to further optimize the learning model 12M by repeatedly performing the learning processing using the training data described above. Furthermore, a learning model 12M that has already been trained can also be retrained by performing the above-described processing, in which case a learning model 12M with higher discrimination accuracy can be generated.
以下に、上述した処理によって生成された学習モデル12Mを用いて、医療従事者が患者の状態を観察した結果を電子カルテに入力した場合に、当該患者に胃食道逆流による誤嚥が発生している可能性を予測してアラートを出力する処理について説明する。図5は胃食道逆流による誤嚥発生の予測処理手順の一例を示すフローチャート、図6及び図7は画面例を示す説明図である。以下の処理は、情報処理装置10の制御部11が、記憶部12に記憶してあるプログラム12Pに従って行う。 The following describes a process that uses the learning model 12M generated by the above-described process to predict the possibility of aspiration due to gastroesophageal reflux in a patient and output an alert when a medical professional enters the results of their observation of the patient's condition into the electronic medical record. Figure 5 is a flowchart showing an example of the processing procedure for predicting the occurrence of aspiration due to gastroesophageal reflux, and Figures 6 and 7 are explanatory diagrams showing example screens. The following process is performed by the control unit 11 of the information processing device 10 in accordance with the program 12P stored in the memory unit 12.
医療現場において看護職員は、1日に所定回数、入院患者の様子を観察する巡視業務を行っている。その際、看護職員は、患者の体温、血圧、心拍数、及び血中酸素飽和度等を計測して電子カルテに入力する。また看護職員は、患者に喘鳴が発生しているか否か、口腔内で所定のにおいがするか否か、表情のレベル等を判定し、喘鳴の有無、においの有無、及び表情レベル等を電子カルテに入力する。また看護職員又は介護職員は、経管栄養によって栄養剤を投与した後の所定のタイミングで、吸引器を用いて患者の口腔内等から分泌物を吸引する処置を行い、吸引した分泌物の量(痰の量)を電子カルテに入力する。なお、電子カルテに入力する痰の量には、痰及び唾液に加えて、吸引する際に使用した洗浄水が含まれていてもよい。 Nursing staff in medical settings make rounds to observe hospitalized patients a set number of times a day. During these rounds, they measure the patient's temperature, blood pressure, heart rate, blood oxygen saturation, etc., and enter these values into the electronic medical record. They also determine whether the patient is wheezing, whether there is a specific odor in the mouth, and the level of facial expression, and enter the presence or absence of wheezing, the presence or absence of odor, and the level of facial expression into the electronic medical record. Furthermore, at a set time after administering nutrients via tube feeding, nursing staff or caregivers use a suction device to suction secretions from the patient's mouth, etc., and enter the amount of secretions suctioned (amount of phlegm) into the electronic medical record. The amount of phlegm entered into the electronic medical record may include the rinsing water used during suction, in addition to phlegm and saliva.
以下では説明の簡略化のため、看護職員等の医療従事者は、情報処理装置10の入力部14を介して患者の情報を入力して電子カルテを更新する処理を例に説明する。しかし、医療従事者は、情報処理装置10と通信可能なスタッフ端末(図示せず)を用いて電子カルテを更新してもよい。この場合、医療従事者は、入力部及び表示部を有するスタッフ端末を用いて、情報処理装置10の電子カルテDB12aにアクセスする。このような構成の場合、電子カルテを表示する電子カルテ画面が情報処理装置10からスタッフ端末へ送信されてスタッフ端末で表示され、電子カルテ画面を介して入力された各データがスタッフ端末から情報処理装置10へ送信されて電子カルテDB12aに登録される。 For simplicity's sake, the following description will use as an example a process in which a medical professional, such as a nursing staff member, inputs patient information via the input unit 14 of the information processing device 10 to update the electronic medical record. However, the medical professional may also update the electronic medical record using a staff terminal (not shown) that can communicate with the information processing device 10. In this case, the medical professional accesses the electronic medical record DB 12a of the information processing device 10 using the staff terminal, which has an input unit and a display unit. In this configuration, an electronic medical record screen displaying the electronic medical record is transmitted from the information processing device 10 to the staff terminal and displayed on the staff terminal, and each piece of data input via the electronic medical record screen is transmitted from the staff terminal to the information processing device 10 and registered in the electronic medical record DB 12a.
情報処理装置10の制御部11は、入力部14を介して電子カルテの起動を指示された場合、指定された患者の電子カルテのデータを表示する電子カルテ画面を表示部15に表示する(S21)。図6は電子カルテ画面例を示しており、図6に示す電子カルテ画面は、患者の患者ID、氏名、年齢、及び性別を表示している。これらの情報は、電子カルテDB12aから読み出されて電子カルテ画面に表示される。図6に示す画面は、現在時刻を表示し、現在時刻に計測された当該患者の体温、血中酸素飽和度、痰の量、喘鳴の有無、口腔内のにおいの有無、表情レベルを入力するための入力欄を有する。また図6に示す画面は、各入力欄に入力されたデータに基づいて、患者に胃食道逆流による誤嚥が発生している可能性を判定する処理の実行を指示するための誤嚥判定ボタンを有する。体温、血中酸素飽和度、及び痰の量の入力欄は、例えば任意の数値が入力できる構成であり、喘鳴の有無及びにおいの有無の入力欄は、有又は無のいずれかを選択できるラジオボタンが設けられた構成であり、表情レベルの入力欄は、レベル1~レベル5のいずれかを選択できる構成である。図6に示す画面は、上述した入力欄に加えて、口腔内の酸性レベルを入力するための入力欄、口腔内の糖の有無を入力するための入力欄等を有する構成でもよい。 When the control unit 11 of the information processing device 10 is instructed to launch the electronic medical record via the input unit 14, it displays an electronic medical record screen on the display unit 15, displaying the electronic medical record data of the specified patient (S21). Figure 6 shows an example of an electronic medical record screen, and the electronic medical record screen shown in Figure 6 displays the patient's patient ID, name, age, and gender. This information is read from the electronic medical record DB 12a and displayed on the electronic medical record screen. The screen shown in Figure 6 displays the current time and has input fields for entering the patient's body temperature, blood oxygen saturation, amount of sputum, presence or absence of wheezing, presence or absence of oral odor, and facial expression level measured at the current time. The screen shown in Figure 6 also has an aspiration determination button for instructing the execution of a process to determine the possibility of the patient having aspiration due to gastroesophageal reflux based on the data entered in each input field. The input fields for body temperature, blood oxygen saturation, and sputum volume are configured to allow the input of any numerical value, the input fields for wheezing and odor are configured with radio buttons that allow the user to select either "yes" or "no," and the input field for facial expression level is configured to allow the user to select one of levels 1 to 5. In addition to the above-mentioned input fields, the screen shown in FIG. 6 may also have an input field for inputting the acidity level in the oral cavity, an input field for inputting the presence or absence of sugar in the oral cavity, etc.
医療従事者は、図6に示す画面中の各入力欄に対して、患者の状態を示す各データを入力し、胃食道逆流による誤嚥の発生可能性を判定したい場合に誤嚥判定ボタンを操作する。情報処理装置10において、制御部11は、図6に示す画面中の各入力欄を介して、患者の状態情報の入力を受け付けたか否かを判断しており(S22)、受け付けていないと判断した場合(S22:NO)、待機する。制御部11(取得部)は、患者の状態情報の入力を受け付けたと判断した場合(S22:YES)、入力された状態情報をそれぞれの入力欄に表示する(S23)。 The medical professional enters data indicating the patient's condition into each input field on the screen shown in Figure 6, and operates the aspiration determination button when wanting to determine the possibility of aspiration due to gastroesophageal reflux. In the information processing device 10, the control unit 11 determines whether input of patient condition information has been accepted via each input field on the screen shown in Figure 6 (S22), and if it determines that input has not been accepted (S22: NO), it waits. If the control unit 11 (acquisition unit) determines that input of patient condition information has been accepted (S22: YES), it displays the entered condition information in the respective input fields (S23).
制御部11は、図6に示す画面中の誤嚥判定ボタンが操作されたか否かを判断し(S24)、操作されていないと判断した場合(S24:NO)、ステップS22の処理に戻り、各入力欄に対するデータの入力受付を継続する。誤嚥判定ボタンが操作されたと判断した場合(S24:YES)、制御部11は、入力された状態情報に基づいて、当該患者に胃食道逆流による誤嚥が発生している可能性を予測する(S25)。具体的には、制御部11は、図6に示す画面を介して入力された状態情報を学習モデル12Mに入力し、学習モデル12Mからの出力値に基づいて、胃食道逆流による誤嚥の発生可能性を予測する。例えば制御部11は、学習モデル12Mからの出力値のうちで最大の出力値(判別確率)を出力した出力ノードを特定し、特定した出力ノードに対応付けられている可能性を、当該患者の可能性に特定する。 The control unit 11 determines whether the aspiration determination button on the screen shown in FIG. 6 has been operated (S24). If it determines that it has not been operated (S24: NO), the control unit 11 returns to the processing of step S22 and continues to accept data input into each input field. If it determines that the aspiration determination button has been operated (S24: YES), the control unit 11 predicts the possibility that the patient has aspiration due to gastroesophageal reflux based on the input condition information (S25). Specifically, the control unit 11 inputs the condition information input via the screen shown in FIG. 6 into the learning model 12M, and predicts the possibility of aspiration due to gastroesophageal reflux based on the output value from the learning model 12M. For example, the control unit 11 identifies the output node that output the largest output value (discrimination probability) among the output values from the learning model 12M, and determines the possibility associated with the identified output node as the possibility of the patient.
制御部11は、予測結果に基づいて、発生可能性が高いことを予測したか否かを判断する(S26)。そして制御部11(出力部)は、発生可能性が高いことを予測したと判断した場合(S26:YES)、発生可能性が高いことを通知するためのアラートを出力する(S27)。例えば制御部11は、図7Aに示すように、胃食道逆流による誤嚥の発生可能性が高いことと、医師による確認が必要であることとを通知するメッセージを電子カルテ画面に表示してアラートを出力する。これにより、電子カルテに患者の情報を入力した医療従事者は、患者の状態情報に基づいて予測された胃食道逆流による誤嚥の発生可能性が高いことを把握できる。上述した処理では、胃食道逆流による誤嚥の発生可能性を高中低で判定しているが、例えば80%以上、60%以上80%未満、40%以上60%未満、20%以上40%未満、20%未満のような数値で判定する構成でもよい。このような場合、例えば予測した発生可能性が所定値以上(例えば60%以上)であった場合にアラートを出力するように構成することができる。情報処理装置10がスピーカ等の音声出力部を有する場合、制御部11は、アラートメッセージの表示に加えて、アラートメッセージを音声出力することによりアラートを出力する構成でもよい。 Based on the prediction results, the control unit 11 determines whether a high probability of occurrence has been predicted (S26). If the control unit 11 (output unit) determines that a high probability of occurrence has been predicted (S26: YES), it outputs an alert to notify the user of the high probability of occurrence (S27). For example, as shown in FIG. 7A, the control unit 11 outputs an alert by displaying a message on the electronic medical record screen notifying the user that aspiration due to gastroesophageal reflux is highly likely and that confirmation by a physician is required. This allows medical professionals who have entered patient information into the electronic medical record to understand the predicted high probability of aspiration due to gastroesophageal reflux based on the patient's condition information. In the above-described process, the likelihood of aspiration due to gastroesophageal reflux is determined as high, medium, or low. However, it may also be determined using a numerical value, such as 80% or more, 60% or more but less than 80%, 40% or more but less than 60%, 20% or more but less than 40%, or less than 20%. In such cases, an alert can be output if the predicted likelihood is equal to or greater than a predetermined value (e.g., 60% or more). If the information processing device 10 has an audio output unit such as a speaker, the control unit 11 may be configured to output the alert by outputting the alert message as audio in addition to displaying the alert message.
図7Aに示すようなアラートが出力された場合、例えば看護職員は、医師に、胃食道逆流による誤嚥の発生有無の確認を依頼する。医師は、患者の状態を観察し、必要に応じて胸部のX線画像、CT画像、血液検査等を行い、検査結果に基づいて確定診断を行う。また医師は、患者の観察の結果又は確定診断の結果、患者に対して必要な処置があれば、処置の実施を看護職員等に指示する。ここでの処置は、例えば栄養剤の投与速度を遅くする処置、栄養剤の投与時及び投与後に患者の上半身を起こすギャッチアップの時間を延ばす処置、栄養剤の種類を変更する処置、経鼻胃管栄養から胃瘻栄養に変更する処置等を含む。栄養剤の種類を変更する処置は、例えば液体の栄養剤から半固形の栄養剤又は粘度可変型栄養剤への変更、消化態栄養剤又は半消化態栄養剤の使用等を含む。 When an alert like the one shown in Figure 7A is output, for example, a nursing staff member will ask a physician to confirm whether or not aspiration due to gastroesophageal reflux has occurred. The physician will observe the patient's condition and, if necessary, perform chest X-rays, CT scans, blood tests, etc., and make a definitive diagnosis based on the test results. Furthermore, if the physician determines that treatment is necessary for the patient based on the results of the patient's observation or definitive diagnosis, he or she will instruct the nursing staff member to implement the treatment. Treatments here include, for example, slowing the rate of nutritional supplement administration, extending the time the patient is kept upright during and after nutritional supplement administration, changing the type of nutritional supplement, or switching from nasogastric tube feeding to gastrostomy feeding. Changing the type of nutritional supplement includes, for example, switching from liquid nutritional supplements to semi-solid nutritional supplements or variable viscosity nutritional supplements, or using digested or semi-digested nutritional supplements.
発生可能性が高いことを予測していないと判断した場合(S26:NO)、制御部11は、発生可能性が低いことを予測したか否かを判断する(S28)。発生可能性が低いことを予測していないと判断した場合(S28:NO)、即ちここでは発生可能性が中程度であることを予測した場合、制御部11は、胃食道逆流による誤嚥の発生を予防するためのアドバイスを出力する(S29)。例えば制御部11は、図7Bに示すように、胃食道逆流による誤嚥の発生可能性が中程度であることと、推奨される対応処置とを通知するメッセージを電子カルテ画面に表示してアドバイスを出力する。推奨される対応処置は、例えば栄養剤の投与時及び投与後のギャッチアップの時間を延ばす処置、栄養剤の投与速度を遅くする処置等を含む。これにより、電子カルテに患者の情報を入力した医療従事者は、患者の状態情報に基づいて予測された胃食道逆流による誤嚥の発生可能性が中程度であることを把握できると共に、胃食道逆流による誤嚥の発生を抑制するための対応処置を把握できる。ここでも、制御部11は、アドバイスメッセージの表示に加えて、アドバイスメッセージを音声出力することによりアドバイスを出力する構成でもよい。 If the control unit 11 determines that a high likelihood of occurrence is not predicted (S26: NO), it determines whether a low likelihood of occurrence is predicted (S28). If the control unit 11 determines that a low likelihood of occurrence is not predicted (S28: NO), i.e., if the control unit 11 predicts a moderate likelihood of occurrence, the control unit 11 outputs advice to prevent aspiration due to gastroesophageal reflux (S29). For example, as shown in FIG. 7B, the control unit 11 outputs the advice by displaying a message on the electronic medical record screen notifying the patient that aspiration due to gastroesophageal reflux is moderate and recommending appropriate countermeasures. Recommended countermeasures include, for example, extending the wait time during and after administration of the nutritional supplement, slowing the administration rate of the nutritional supplement, etc. This allows the medical professional who entered the patient's information into the electronic medical record to understand that the predicted moderate likelihood of aspiration due to gastroesophageal reflux is predicted based on the patient's condition information, and to understand appropriate countermeasures to prevent aspiration due to gastroesophageal reflux. Here again, the control unit 11 may output the advice by audio output in addition to displaying the advice message.
図7Bに示すようなアドバイスが出力された場合、例えば看護職員はアドバイスに従った処置を行う。制御部11は、発生可能性が低いことを予測したと判断した場合(S28:YES)、即ち発生可能性がほぼ無い正常な状態であることを予測した場合、ステップS29の処理をスキップして一連の処理を終了する。なお、制御部11は、胃食道逆流による誤嚥の発生可能性が低いこと、又は発生可能性がほぼ無い正常な状態であることを通知するメッセージを表示部15に表示してもよい。制御部11は、電子カルテ画面を介して入力された情報(電子カルテデータ)を電子カルテDB12aに記憶しておく。 When advice such as that shown in Figure 7B is output, for example, nursing staff will take action in accordance with the advice. If the control unit 11 determines that it has predicted a low probability of occurrence (S28: YES), that is, if it predicts that the condition is normal and the probability of occurrence is almost zero, it skips the processing of step S29 and ends the series of processes. The control unit 11 may also display a message on the display unit 15 notifying the user that the probability of aspiration due to gastroesophageal reflux occurring is low, or that the condition is normal and the probability of occurrence is almost zero. The control unit 11 stores the information (electronic medical record data) entered via the electronic medical record screen in the electronic medical record DB 12a.
上述した処理により、看護職員及び介護職員等の医療従事者が、患者の状態に関する情報を電子カルテに入力した際に、胃食道逆流による誤嚥の発生可能性が予測されて通知される。よって、例えば看護職員が入院患者の状態を観察する巡視業務を行った際に、医師による確認が必要であるか否か、患者に行うべき処置があるか否かを把握できる。これにより、例えば経験の浅い看護職員であっても、看護職員が行う通常業務において医師に確認すべきか否かを判断できるので、胃食道逆流による誤嚥の発生の見落としを抑制して早期に発見することが可能となる。また本実施形態では、学習モデル12Mを用いて、患者の状態情報から胃食道逆流による誤嚥の発生可能性を予測するので、膨大な訓練データを学習させた学習モデル12Mを用いる場合には、より正確に予測することが可能となる。 Through the above-described processing, when medical professionals such as nursing staff and caregivers enter information about a patient's condition into an electronic medical record, the likelihood of aspiration due to gastroesophageal reflux is predicted and notified. Therefore, for example, when nursing staff perform rounds to observe the condition of a hospitalized patient, they can determine whether a doctor's consultation is necessary and whether any treatment is required for the patient. This allows even inexperienced nursing staff to determine whether a doctor's consultation is necessary during their normal nursing duties, thereby reducing the likelihood of aspiration due to gastroesophageal reflux being overlooked and enabling early detection. Furthermore, in this embodiment, a learning model 12M is used to predict the likelihood of aspiration due to gastroesophageal reflux from patient condition information. Therefore, when a learning model 12M that has been trained with a large amount of training data is used, more accurate predictions are possible.
本実施形態では、図6に示す電子カルテ画面を介して患者の状態情報を医療従事者が入力する構成であるが、この構成に限定されない。例えば、情報処理装置10が、体温計、パルスオキシメータ、及び吸引器との間で情報の送受信を行える場合、体温計から患者の体温を受信し、パルスオキシメータから血中酸素飽和度を受信し、吸引器から吸引された痰の量を受信する構成でもよい。この場合、情報処理装置10の制御部11は、受信した各データを図6に示す画面の各入力欄に表示する。また、患者の口元の音声をマイクで収集して情報処理装置10へ送信し、情報処理装置10が、受信した音声データに基づいて患者に喘鳴が発生しているか否かを判定してもよい。また、患者の口元のにおいをにおいセンサで検知して情報処理装置10へ送信し、情報処理装置10が、受信したにおいデータに基づいて所定のにおいが有るか否かを判定してもよい。また、患者の顔画像をカメラで撮影して情報処理装置10へ送信し、情報処理装置10が、受信した顔画像データに基づいて患者の表情が苦しそうであるか否かに応じた表情レベルを判定してもよい。患者の顔画像から表情レベルを判定する場合、例えば各表情レベルに対応するテンプレート画像を予め用意しておき、テンプレート画像を用いたパターンマッチングによって患者の表情レベルを判定してもよい。また、例えば患者の入院時に顔画像を撮影して顔画像の特徴量を登録しておき、入院時の顔画像の特徴量との比較結果に基づいて患者の表情レベルを判定してもよい。患者の顔画像を撮影するカメラは、例えば病室内に設けられた監視カメラ、医療従事者が装着するAR(Augmented Reality)グラスに設けられたカメラ、医療従事者が携帯するスタッフ端末に設けられたカメラ等を用いることができる。このような場合、情報処理装置10の制御部11は、判定した各データを図6に示す画面の各入力欄に表示する。 In this embodiment, a medical professional inputs patient condition information via the electronic medical record screen shown in FIG. 6 , but this configuration is not limited thereto. For example, if the information processing device 10 is capable of transmitting and receiving information between a thermometer, a pulse oximeter, and a suction device, it may receive the patient's temperature from the thermometer, the blood oxygen saturation from the pulse oximeter, and the amount of sputum aspirated from the suction device. In this case, the control unit 11 of the information processing device 10 displays each received data in the respective input fields on the screen shown in FIG. 6 . Alternatively, a microphone may collect voice data from the patient's mouth and transmit it to the information processing device 10, which may then determine whether the patient is wheezing based on the received voice data. Alternatively, an odor sensor may detect odors from the patient's mouth and transmit them to the information processing device 10, which may then determine whether a specific odor is present based on the received odor data. Alternatively, a camera may capture an image of the patient's face and transmit it to the information processing device 10, which may then determine an expression level based on the received facial image data, depending on whether the patient appears distressed. When determining the facial expression level from a patient's facial image, for example, template images corresponding to each facial expression level may be prepared in advance, and the patient's facial expression level may be determined by pattern matching using the template images. Alternatively, for example, a facial image may be taken of the patient upon admission and the features of the facial image may be registered, and the patient's facial expression level may be determined based on the results of a comparison with the features of the facial image taken at the time of admission. The camera used to capture the patient's facial image may be, for example, a surveillance camera installed in the hospital room, a camera installed in AR (Augmented Reality) glasses worn by medical staff, or a camera installed in a staff terminal carried by medical staff. In such cases, the control unit 11 of the information processing device 10 displays each determined data in each input field on the screen shown in FIG. 6.
本実施形態では、情報処理装置10が学習モデル12Mを用いて胃食道逆流による誤嚥の発生可能性を予測する処理をローカルで行う構成について説明したが、この構成に限定されない。例えば、情報処理装置10をサーバコンピュータで構成し、学習モデル12Mを用いた胃食道逆流による誤嚥の発生可能性の予測処理をサーバコンピュータで行うように構成してもよい。この場合、サーバコンピュータは、例えばネットワーク経由で接続してある医療従事者が用いるスタッフ端末から患者の状態情報を取得し、予測した発生可能性を含むアラート又はアドバイスをスタッフ装置へ出力して表示するように構成されていてもよい。このような構成とした場合であっても、上述した本実施形態と同様の処理が可能であり、同様の効果が得られる。 In this embodiment, a configuration has been described in which the information processing device 10 locally performs processing to predict the likelihood of aspiration due to gastroesophageal reflux using the learning model 12M, but this configuration is not limited to this. For example, the information processing device 10 may be configured as a server computer, and the processing to predict the likelihood of aspiration due to gastroesophageal reflux using the learning model 12M may be performed on the server computer. In this case, the server computer may be configured to obtain patient condition information from a staff terminal used by a medical professional connected via a network, for example, and to output and display an alert or advice including the predicted likelihood of occurrence to the staff device. Even with such a configuration, the same processing as in the present embodiment described above is possible, and the same effects can be obtained.
(実施形態2)
専用の検査機器を用いて、患者の状態情報から胃食道逆流による誤嚥の発生可能性を予測して提示する構成について説明する。図8は検査機器の外観例を示す模式図である。検査機器20は、板状の外形を有しており、図8Aは検査機器20の一面(例えば表面)の例を示し、図8Bは検査機器20の他面(例えば裏面)の例を示す。図8に示すように、検査機器20の一面にはタッチパネル24が設けられており、他面にはマイク25及びカメラ26が設けられている。図9は検査機器20の構成例を示すブロック図である。検査機器20は、制御部21、記憶部22、通信部23、タッチパネル24、マイク25、カメラ26等を含み、これらの各部はバスを介して相互に接続されている。検査機器20の制御部21、記憶部22、通信部23は、実施形態1の情報処理装置10の制御部11、記憶部12、通信部13と同様の構成を有するので詳細な説明は省略する。なお、検査機器20の記憶部22は、制御部21が実行するプログラム22P、学習モデル22M、喘鳴認識モデル22M1、及び表情認識モデル22M2を記憶している。
(Embodiment 2)
A configuration for predicting and presenting the possibility of aspiration due to gastroesophageal reflux based on patient condition information using a dedicated testing device will be described. FIG. 8 is a schematic diagram showing an example of the appearance of the testing device. The testing device 20 has a plate-like outer shape. FIG. 8A shows an example of one side (e.g., the front side) of the testing device 20, and FIG. 8B shows an example of the other side (e.g., the back side) of the testing device 20. As shown in FIG. 8 , a touch panel 24 is provided on one side of the testing device 20, and a microphone 25 and a camera 26 are provided on the other side. FIG. 9 is a block diagram showing an example of the configuration of the testing device 20. The testing device 20 includes a control unit 21, a memory unit 22, a communication unit 23, the touch panel 24, the microphone 25, the camera 26, etc., and these units are interconnected via a bus. The control unit 21, the memory unit 22, and the communication unit 23 of the testing device 20 have the same configurations as the control unit 11, the memory unit 12, and the communication unit 13 of the information processing device 10 of embodiment 1, and therefore detailed description thereof will be omitted. The memory unit 22 of the testing equipment 20 stores a program 22P executed by the control unit 21, a learning model 22M, a wheezing recognition model 22M1, and a facial expression recognition model 22M2.
タッチパネル24は、ユーザによる操作入力を受け付ける入力部と、液晶ディスプレイ又は有機ELディスプレイ等の表示部とが一体として構成されたものである。マイク25は、制御部21からの指示に従って周囲の音声を収集する集音部であり、取得した音声データを記憶部22へ送出して記憶させる。カメラ26は、制御部21からの指示に従って撮影する撮影部であり、取得した撮影画像(画像データ)を記憶部22へ送出して記憶させる。 The touch panel 24 is an integrated unit consisting of an input unit that accepts user input and a display unit such as a liquid crystal display or organic EL display. The microphone 25 is a sound collection unit that collects surrounding sounds in accordance with instructions from the control unit 21, and sends the acquired sound data to the memory unit 22 for storage. The camera 26 is a photographing unit that takes pictures in accordance with instructions from the control unit 21, and sends the acquired photographed images (image data) to the memory unit 22 for storage.
図10は実施形態2の学習モデルの構成例を示す模式図である。図10Aに示すように、本実施形態は、図3に示す実施形態1の学習モデル12Mと同様の構成を有する学習モデル22Mに加えて、喘鳴認識モデル22M1及び表情認識モデル22M2を有する。本実施形態の学習モデル22Mも、患者の状態情報(体温、血中酸素飽和度、痰の量、喘鳴の有無、表情レベル、口腔内のにおいの有無)が入力された場合に、当該患者に胃食道逆流による誤嚥が発生している可能性を出力する構成を有する。本実施形態の学習モデル22Mには、患者の口元の音声に基づいて喘鳴認識モデル22M1が判定した喘鳴の有無、及び、患者の顔画像に基づいて表情認識モデルが判定した表情レベルが入力される。 Figure 10 is a schematic diagram showing an example of the configuration of a learning model in embodiment 2. As shown in Figure 10A, this embodiment includes a learning model 22M having a configuration similar to that of learning model 12M in embodiment 1 shown in Figure 3, as well as a wheezing recognition model 22M1 and a facial expression recognition model 22M2. Learning model 22M in this embodiment is also configured to output the possibility that a patient is experiencing aspiration due to gastroesophageal reflux when patient condition information (body temperature, blood oxygen saturation, amount of sputum, presence or absence of wheezing, facial expression level, presence or absence of oral odor) is input. Learning model 22M in this embodiment receives input of the presence or absence of wheezing determined by wheezing recognition model 22M1 based on the voice at the patient's mouth, and the facial expression level determined by the facial expression recognition model based on an image of the patient's face.
図10Bは喘鳴認識モデル22M1の構成例を示しており、図10Bに示す喘鳴認識モデル22M1は、患者の口元から収集した音声データを入力とし、入力された音声データに基づいて、当該患者に喘鳴が発生しているか否かを判別する演算を行い、演算した結果(喘鳴の有無)を出力するように学習してある。喘鳴認識モデル22M1は、例えばCNN、RNN等のアルゴリズムを用いて構成され、複数のアルゴリズムを組み合わせて構成されてもよい。図10Bに示す喘鳴認識モデル22M1は2つの出力ノードを有しており、出力ノード0は、喘鳴が発生していると判別すべき確率を出力し、出力ノード1は、喘鳴が発生していないと判別すべき確率を出力する。各出力ノードの出力値は例えば0~1.0の値であり、各出力ノードから出力された判別確率の合計が1.0(100%)となる。上述した構成により、喘鳴認識モデル22M1は、患者の口元の音声データが入力された場合に、患者に喘鳴が発生しているか否かを示す情報(喘鳴有り又は喘鳴無しに対する判別確率)を出力する。情報処理装置10は、上述した喘鳴認識モデル22M1において、各出力ノードからの出力値のうちで最大(大きい方)の出力値(判別確率)を出力した出力ノードに対応付けられている喘鳴状態を、予測すべき喘鳴状態に特定する。なお、喘鳴認識モデル22M1は、喘鳴の有無のそれぞれに対する判別確率を出力する2つの出力ノードを有する代わりに、判別確率が最も高い喘鳴状態(喘鳴有り又は無し)を出力する1つの出力ノードを有する構成でもよい。 Figure 10B shows an example configuration of wheezing recognition model 22M1. The wheezing recognition model 22M1 shown in Figure 10B is trained to input voice data collected from the patient's mouth, perform a calculation to determine whether the patient is wheezing based on the input voice data, and output the calculation result (wheezing presence or absence). The wheezing recognition model 22M1 is configured using an algorithm such as CNN or RNN, and may also be configured by combining multiple algorithms. The wheezing recognition model 22M1 shown in Figure 10B has two output nodes. Output node 0 outputs the probability that wheezing should be determined to be occurring, and output node 1 outputs the probability that wheezing should be determined to be absent. The output value of each output node is, for example, a value between 0 and 1.0, and the sum of the determination probabilities output from each output node is 1.0 (100%). With the above configuration, when voice data from the patient's mouth is input, the wheezing recognition model 22M1 outputs information indicating whether the patient is wheezing (the determination probability of wheezing or not). The information processing device 10 identifies the wheezing state associated with the output node that outputs the maximum (largest) output value (discrimination probability) among the output values from each output node in the above-mentioned wheezing recognition model 22M1 as the wheezing state to be predicted. Note that instead of having two output nodes that output discrimination probabilities for the presence or absence of wheezing, the wheezing recognition model 22M1 may be configured to have a single output node that outputs the wheezing state with the highest discrimination probability (wheezing present or absent).
喘鳴認識モデル22M1は、訓練用の音声データと、喘鳴が発生しているか否かを示す情報(正解ラベル)とを含む訓練データを用いて、未学習の学習モデルを機械学習させることにより生成される。訓練データは、喘鳴が発生している患者の口元の音声データに対して、喘鳴有りを示す情報が付与されて生成される。また、訓練データは、喘鳴が発生していない患者の口元の音声データに対して、喘鳴無しを示す情報が付与されて生成される。患者の音声データは、検査機器20のマイク25を用いて収集してもよく、電子カルテDB12aに記憶してある場合には電子カルテDB12aから取得してもよい。喘鳴の有無の情報は、電子カルテDB12aに記憶してある情報から取得できる。喘鳴認識モデル22M1は、訓練用の音声データが入力された場合に、正解ラベルが示す喘鳴の状態(喘鳴の有無)に対応する出力ノードからの出力値が1.0に近づき、他の出力ノードからの出力値が0.0に近づくように学習する。ここでも、喘鳴認識モデル22M1は、ニューロン間の重み等を、誤差逆伝播法、最急降下法等を用いて最適化して学習処理を行う。これにより、患者の音声データが入力された場合に、喘鳴が発生しているか否かを予測し、予測結果を出力するように学習された喘鳴認識モデル22M1が得られる。 Wheezing recognition model 22M1 is generated by machine learning an untrained learning model using training data containing training audio data and information indicating whether wheezing is occurring (correct answer label). Training data is generated by adding information indicating the presence of wheezing to audio data of a patient's mouth when wheezing occurs. Training data is also generated by adding information indicating the absence of wheezing to audio data of a patient's mouth when wheezing does not occur. Patient audio data may be collected using microphone 25 of testing device 20, or may be obtained from electronic medical record DB 12a if stored in electronic medical record DB 12a. Information on the presence or absence of wheezing can be obtained from information stored in electronic medical record DB 12a. When training audio data is input, wheezing recognition model 22M1 learns so that the output value from the output node corresponding to the wheezing state (presence or absence of wheezing) indicated by the correct answer label approaches 1.0, and the output values from other output nodes approach 0.0. Here too, wheezing recognition model 22M1 performs a learning process by optimizing the weights between neurons using backpropagation, steepest descent, etc. This results in wheezing recognition model 22M1 that has been trained to predict whether wheezing is occurring when patient voice data is input and output the prediction result.
図10Cは表情認識モデル22M2の構成例を示しており、図10Cに示す表情認識モデル22M2は、患者の顔を撮影して得られた顔画像データを入力とし、入力された顔画像データに基づいて、当該患者の表情レベルを判別する演算を行い、演算した結果(表情レベル)を出力するように学習してある。表情レベルは、実施形態1と同様に5段階(レベル1~レベル5)で表され、普段通りの正常な表情をレベル1とし、苦しそうな状態又は意思疎通ができない状態が悪化するほど高いレベルとする。表情認識モデル22M2は、例えばCNN、RNN等のアルゴリズムを用いて構成され、複数のアルゴリズムを組み合わせて構成されてもよい。図10Cに示す表情認識モデル22M2は5つの出力ノードを有しており、出力ノード0~4はそれぞれ、表情レベル5~1と判別すべき確率を出力する。各出力ノードの出力値は例えば0~1.0の値であり、各出力ノードから出力された判別確率の合計が1.0(100%)となる。上述した構成により、表情認識モデル22M2は、患者の顔画像データが入力された場合に、各表情レベルに対する判別確率を出力する。情報処理装置10は、上述した表情認識モデル22M2において、各出力ノードからの出力値のうちで最大の出力値(判別確率)を出力した出力ノードに対応付けられている表情レベルを、予測すべき表情レベルに特定する。なお、表情認識モデル22M2は、各表情レベルに対する判別確率を出力する複数の出力ノードを有する代わりに、判別確率が最も高い表情レベルを出力する1つの出力ノードを有する構成でもよい。 Figure 10C shows an example configuration of facial expression recognition model 22M2. The facial expression recognition model 22M2 shown in Figure 10C is trained to input facial image data obtained by photographing a patient's face, perform a calculation to determine the patient's facial expression level based on the input facial image data, and output the calculation result (facial expression level). As in embodiment 1, facial expression levels are expressed on a five-level scale (levels 1 to 5), with level 1 representing a normal, normal expression and higher levels representing a state of distress or inability to communicate. The facial expression recognition model 22M2 is configured using algorithms such as CNN and RNN, and may also be configured by combining multiple algorithms. The facial expression recognition model 22M2 shown in Figure 10C has five output nodes, with output nodes 0 to 4 outputting the probability of determining the patient as an expression level 5 to 1, respectively. The output value of each output node is, for example, a value between 0 and 1.0, and the sum of the determination probabilities output from each output node is 1.0 (100%). With the above-described configuration, when facial image data of a patient is input, facial expression recognition model 22M2 outputs a discrimination probability for each facial expression level. In the above-described facial expression recognition model 22M2, information processing device 10 identifies the facial expression level associated with the output node that outputs the largest output value (discrimination probability) among the output values from each output node as the facial expression level to be predicted. Note that, instead of having multiple output nodes that output discrimination probabilities for each facial expression level, facial expression recognition model 22M2 may be configured to have a single output node that outputs the facial expression level with the highest discrimination probability.
表情認識モデル22M2は、訓練用の顔画像データと、該顔画像データの撮影対象の患者の表情レベル(正解ラベル)とを含む訓練データを用いて、未学習の学習モデルを機械学習させることにより生成される。訓練データは、患者の顔画像データに対して、該顔画像データに基づいて医療従事者等が判定した患者の表情レベルが付与されて生成される。患者の顔画像データは、検査機器20のカメラ26を用いて撮影してもよく、電子カルテDB12aに記憶してある場合には電子カルテDB12aから取得してもよい。患者の表情レベルは、電子カルテDB12aに記憶してある情報から取得してもよい。表情認識モデル22M2は、訓練用の顔画像データが入力された場合に、正解ラベルが示す表情レベルに対応する出力ノードからの出力値が1.0に近づき、他の出力ノードからの出力値が0.0に近づくように学習する。ここでも、表情認識モデル22M2は、ニューロン間の重み等を、誤差逆伝播法、最急降下法等を用いて最適化して学習処理を行う。これにより、患者の顔画像データが入力された場合に、撮影対象の患者の表情レベルを予測し、予測結果を出力するように学習された表情認識モデル22M2が得られる。 The facial expression recognition model 22M2 is generated by machine learning an untrained learning model using training data including training facial image data and the facial expression level (correct answer label) of the patient whose facial image data is captured. The training data is generated by assigning the patient's facial expression level, determined by a medical professional or other professional based on the facial image data, to the patient's facial image data. The patient's facial image data may be captured using the camera 26 of the inspection device 20, or may be obtained from the electronic medical record DB 12a if stored in the electronic medical record DB 12a. The patient's facial expression level may be obtained from information stored in the electronic medical record DB 12a. When training facial image data is input, the facial expression recognition model 22M2 learns so that the output value from the output node corresponding to the facial expression level indicated by the correct answer label approaches 1.0 and the output values from other output nodes approach 0.0. Here, too, the facial expression recognition model 22M2 performs the learning process by optimizing the weights between neurons using backpropagation, steepest descent, or the like. This results in a facial expression recognition model 22M2 that has been trained to predict the facial expression level of the patient being photographed when facial image data of the patient is input and output the predicted result.
本実施形態の検査機器20は、上述した実施形態1の情報処理装置10と同様に、患者の状態情報から胃食道逆流による誤嚥の発生可能性を予測する処理を行う。具体的には、検査機器20の制御部21は、図5に示す処理と同様の処理の実行が可能である。なお、図5中のステップS21において、検査機器20の制御部21は、電子カルテ画面の代わりに、図11Aに示すような画面をタッチパネル24に表示する。図11は検査機器20の画面例を示す模式図である。図11Aに示す画面は患者の状態情報を入力するための入力画面であり、図6に示す画面と同様の構成を有する。 The testing device 20 of this embodiment, like the information processing device 10 of embodiment 1 described above, performs processing to predict the likelihood of aspiration due to gastroesophageal reflux from patient condition information. Specifically, the control unit 21 of the testing device 20 is capable of executing processing similar to that shown in FIG. 5. Note that in step S21 of FIG. 5, the control unit 21 of the testing device 20 displays a screen such as that shown in FIG. 11A on the touch panel 24 instead of the electronic medical record screen. FIG. 11 is a schematic diagram showing an example screen of the testing device 20. The screen shown in FIG. 11A is an input screen for inputting patient condition information, and has a configuration similar to that of the screen shown in FIG. 6.
検査機器20の制御部21は、図11Aに示す入力画面を介して、患者の状態情報の入力を受け付け、入力された各情報をそれぞれの入力欄に表示する(S22~S23)。なお、入力画面に対する各情報の入力は、看護職員等がタッチパネル24を操作することによって行われてもよく、検査機器20が他の検査機器から受信してもよい。例えば検査機器20が、体温計、パルスオキシメータ、及び吸引器との間で情報の送受信を行うように構成されている場合、検査機器20の制御部21は、体温計、パルスオキシメータ、及び吸引器からそれぞれ患者の体温、血中酸素飽和度、及び痰の量を受信する。この場合、制御部21は、受信した各データを図11Aに示す画面の各入力欄に表示する。 The control unit 21 of the testing device 20 accepts input of patient condition information via the input screen shown in FIG. 11A and displays each piece of input information in the respective input fields (S22-S23). Note that each piece of information may be entered into the input screen by a nursing staff member or other person operating the touch panel 24, or may be received by the testing device 20 from another testing device. For example, if the testing device 20 is configured to send and receive information to and from a thermometer, pulse oximeter, and aspirator, the control unit 21 of the testing device 20 receives the patient's body temperature, blood oxygen saturation, and amount of sputum from the thermometer, pulse oximeter, and aspirator, respectively. In this case, the control unit 21 displays each piece of received data in the respective input fields on the screen shown in FIG. 11A.
また検査機器20の制御部21は、マイク25にて患者の口元の音声を収集し、得られた音声データに基づいて、喘鳴認識モデル22M1を用いて喘鳴の発生の有無を判定し、判定結果(喘鳴の有無)を取得する。この場合、制御部21は、取得した判定結果を、図11Aに示す画面中の喘鳴の入力欄に表示する。また制御部21は、カメラ26にて患者の顔画像を撮影し、得られた顔画像データに基づいて、表情認識モデル22M2を用いて表情レベルを判定し、判定結果を取得する。この場合、制御部21は、取得した判定結果を、図11Aに示す画面中の表情レベルの入力欄に表示する。患者の顔画像から表情レベルを判定する処理は、表情認識モデル22M2を用いる構成のほかに、各表情レベルに対応するテンプレート画像を予め用意しておき、テンプレート画像を用いたパターンマッチングによって行われてもよい。また、例えば患者の入院時に顔画像を撮影して顔画像の特徴量を登録しておき、入院時の顔画像の特徴量との比較結果に基づいて患者の表情レベルを判定してもよい。 The control unit 21 of the testing device 20 also collects the patient's voice using the microphone 25, and based on the obtained voice data, determines whether wheezing is occurring using the wheezing recognition model 22M1, and obtains the determination result (wheezing or not). In this case, the control unit 21 displays the obtained determination result in the wheezing input field on the screen shown in FIG. 11A. The control unit 21 also captures a facial image of the patient using the camera 26, and based on the obtained facial image data, determines the facial expression level using the facial expression recognition model 22M2, and obtains the determination result. In this case, the control unit 21 displays the obtained determination result in the facial expression level input field on the screen shown in FIG. 11A. In addition to using the facial expression recognition model 22M2, the process of determining the facial expression level from the patient's facial image may also be performed by preparing template images corresponding to each facial expression level in advance and performing pattern matching using the template images. For example, a facial image may be taken at the time of admission to the patient, and the features of the facial image may be registered, and the patient's facial expression level may be determined based on the results of a comparison with the features of the facial image at the time of admission.
また、検査機器20は、においセンサを有し、においセンサにて患者の口元のにおいを検知して所定のにおいがあるか否かを判定するように構成されていてもよい。この場合、制御部21は、においセンサにて患者の口元のにおいを検知し、所定のにおい(患者に投与した栄養剤のにおい)の有無を判定する。そして、制御部21は、判定結果を、図11Aに示す画面中の口腔内のにおいの入力欄に表示する。 The testing device 20 may also be configured to have an odor sensor that detects odor around the patient's mouth and determines whether or not a specific odor is present. In this case, the control unit 21 uses the odor sensor to detect odor around the patient's mouth and determines whether or not a specific odor (the odor of the nutritional supplement administered to the patient) is present. The control unit 21 then displays the determination result in the input field for intraoral odor on the screen shown in FIG. 11A.
そして、検査機器20の制御部21は、図11Aに示す入力画面中の誤嚥判定ボタンが操作された場合に、入力画面を介して入力された患者の情報に基づいて、当該患者の胃食道逆流による誤嚥の発生可能性を予測する(S24~S25)。そして制御部21は、胃食道逆流による誤嚥の発生可能性が高いことを予測したと判断した場合(S26:YES)、図11Bに示すようなメッセージをタッチパネル24に表示してアラートを出力する(S27)。図11Bに示す画面は、図7Aに示す画面と同様の構成を有する。これにより、本実施形態においても、医療従事者は、患者の状態情報に基づいて予測された胃食道逆流による誤嚥の発生可能性が高いことを把握できる。なお、図11Bに示すアラートメッセージはリセットボタンを有しており、リセットボタンが操作された場合、制御部21は、アラートメッセージの表示を終了すると共に、画面中の各入力欄に入力されたデータを消去してリセットする。 When the aspiration determination button on the input screen shown in FIG. 11A is operated, the control unit 21 of the testing device 20 predicts the possibility of aspiration due to gastroesophageal reflux for the patient based on the patient information entered via the input screen (S24-S25). If the control unit 21 determines that aspiration due to gastroesophageal reflux is highly likely (S26: YES), it displays a message such as that shown in FIG. 11B on the touch panel 24 and outputs an alert (S27). The screen shown in FIG. 11B has the same configuration as the screen shown in FIG. 7A. This allows medical personnel, in this embodiment as well, to understand the high possibility of aspiration due to gastroesophageal reflux, as predicted based on the patient's condition information. The alert message shown in FIG. 11B also has a reset button. When the reset button is operated, the control unit 21 terminates the display of the alert message and erases and resets the data entered in each input field on the screen.
また、本実施形態においても、制御部21は、胃食道逆流による誤嚥の発生可能性が低いことを予測していないと判断した場合(S28:NO)、胃食道逆流による誤嚥の発生を予防するためのアドバイスを出力する(S29)。図示は省略するが、ここでは、図11Bに示すアラートメッセージの代わりに、図7Bに示すようなアドバイスメッセージがタッチパネル24に表示される。これにより、医療従事者は、胃食道逆流による誤嚥の発生を抑制するための対応処置を把握できる。 Also in this embodiment, if the control unit 21 determines that it has not predicted that the likelihood of aspiration due to gastroesophageal reflux is low (S28: NO), it outputs advice to prevent aspiration due to gastroesophageal reflux (S29). Although not shown, here, instead of the alert message shown in FIG. 11B, an advice message such as that shown in FIG. 7B is displayed on the touch panel 24. This allows medical personnel to understand the appropriate measures to take to prevent aspiration due to gastroesophageal reflux.
本実施形態では、上述した実施形態1と同様の効果が得られる。また本実施形態では、専用の検査機器20を用いて、胃食道逆流による誤嚥の発生可能性を判定できるので、看護職員及び介護職員等が手軽に検査を行うことができる。 This embodiment achieves the same effects as the first embodiment described above. Furthermore, this embodiment uses a dedicated testing device 20 to determine the possibility of aspiration due to gastroesophageal reflux, allowing nursing staff, caregivers, and others to easily perform the test.
(実施形態3)
患者の状態情報に基づいて、胃食道逆流による誤嚥の発生可能性に加えて、口腔内容物の誤嚥の発生可能性を予測して提示する情報処理装置について説明する。本実施形態では、経管栄養が実施されている患者に加えて、経口摂取が可能な患者について、誤嚥の発生を予測する。本実施形態の情報処理装置は、実施形態1の情報処理装置10と同様の構成を有するので、構成についての説明は省略する。
(Embodiment 3)
An information processing device that predicts and displays the possibility of aspiration of oral contents, in addition to the possibility of aspiration due to gastroesophageal reflux, based on patient condition information will be described. In this embodiment, the occurrence of aspiration is predicted for patients who are able to take food orally, as well as for patients receiving tube feeding. The information processing device of this embodiment has the same configuration as the information processing device 10 of embodiment 1, and therefore a description of the configuration will be omitted.
図12は実施形態3の誤嚥発生の予測処理手順の一例を示すフローチャート、図13は実施形態3の画面例を示す模式図である。図12に示す処理は、図5に示す処理において、ステップS28~S29の代わりにステップS31~S33を追加したものである。図5と同じステップについては説明を省略する。 Figure 12 is a flowchart showing an example of the aspiration occurrence prediction process procedure in embodiment 3, and Figure 13 is a schematic diagram showing an example screen in embodiment 3. The process shown in Figure 12 is the process shown in Figure 5 with steps S31 to S33 added instead of steps S28 to S29. Explanations of the same steps as in Figure 5 will be omitted.
本実施形態の情報処理装置10の制御部11は、図5中のステップS21~S27と同様の処理を行う。これにより、電子カルテ画面を介して患者の状態情報が入力された場合に、状態情報に基づいて胃食道逆流による誤嚥の発生可能性が予測され、発生可能性が高いことが予測された場合に、アラートが出力されて医療従事者に通知される。 The control unit 11 of the information processing device 10 of this embodiment performs processing similar to steps S21 to S27 in Figure 5. As a result, when patient condition information is input via the electronic medical record screen, the possibility of aspiration due to gastroesophageal reflux is predicted based on the condition information, and if a high possibility of occurrence is predicted, an alert is output to notify medical personnel.
本実施形態の情報処理装置10の制御部11は、胃食道逆流による誤嚥の発生可能性が高いことを予測していないと判断した場合(S26:NO)、即ち胃食道逆流による誤嚥の発生可能性が高くない場合、口腔内容物の誤嚥の発生可能性を予測する(S31)。例えば制御部11は、電子カルテDB12aに記憶してある電子カルテデータから、当該患者が経口摂取した食べ物の摂取量及び摂取時刻、咳及び痰の発生状態、口腔内の衛生状態等の情報を読み出し、読み出した情報に基づいて、口腔内容物の誤嚥の発生可能性を予測する。例えば経口摂取した食べ物の摂取量が所定量以上である場合、摂取時刻からの経過時間が所定時間内である場合、咳及び痰の発生量が増加している場合、口腔内のケアが不十分である場合等には、制御部11は、口腔内容物の誤嚥の発生可能性が高いことを予測する。例えば制御部11は、電子カルテDB12aから読み出した各データに基づいて、口腔内容物の誤嚥の発生可能性を示すスコアを算出することにより、発生可能性が高いか否かを予測する。 When the control unit 11 of the information processing device 10 of this embodiment determines that aspiration due to gastroesophageal reflux is not highly likely (S26: NO), i.e., when the likelihood of aspiration due to gastroesophageal reflux is not high, it predicts the likelihood of aspiration of oral contents (S31). For example, the control unit 11 reads information such as the amount and time of food orally ingested by the patient, the state of coughing and phlegm production, and oral hygiene from the electronic medical record data stored in the electronic medical record DB 12a, and predicts the likelihood of aspiration of oral contents based on the read information. For example, if the amount of food orally ingested is equal to or greater than a predetermined amount, if the elapsed time since the time of ingestion is within a predetermined time, if the amount of coughing and phlegm production is increasing, if oral care is insufficient, etc., the control unit 11 predicts that aspiration of oral contents is highly likely. For example, the control unit 11 predicts whether aspiration of oral contents is highly likely by calculating a score indicating the likelihood of aspiration of oral contents based on each piece of data read from the electronic medical record DB 12a.
制御部11は、予測結果に基づいて、口腔内容物の誤嚥の発生可能性が高いことを予測したか否かを判断する(S32)。例えば口腔内容物の誤嚥の発生可能性を示すスコアを算出している場合、制御部11は、算出したスコアが所定値以上であるか否かを判断する。口腔内容物の誤嚥の発生可能性が高いことを予測したと判断した場合(S32:YES)、制御部11は、発生可能性が高いことを通知するためのアラートを出力する(S33)。例えば制御部11は、図13に示すように、口腔内容物の誤嚥の発生可能性が高いことと、医師による確認が必要であることとを通知するメッセージを電子カルテ画面に表示してアラートを出力する。これにより、電子カルテに患者の情報を入力した医療従事者は、患者の状態情報に基づいて予測された口腔内容物の誤嚥の発生可能性が高いことを把握できる。なお、図13に示すアラートメッセージに、例えば口腔内のケアを行うこと、嚥下に関するリハビリ又はトレーニングを行うこと等のアドバイスを含めてもよい。 Based on the prediction result, the control unit 11 determines whether or not a high probability of oral content aspiration has been predicted (S32). For example, if a score indicating the probability of oral content aspiration has been calculated, the control unit 11 determines whether the calculated score is equal to or greater than a predetermined value. If it determines that a high probability of oral content aspiration has been predicted (S32: YES), the control unit 11 outputs an alert to notify the patient of the high probability of occurrence (S33). For example, as shown in FIG. 13, the control unit 11 outputs the alert by displaying a message on the electronic medical record screen notifying the patient that aspiration of oral content is highly likely and that confirmation by a doctor is required. This allows a medical professional who has entered patient information into the electronic medical record to understand the high probability of oral content aspiration predicted based on the patient's condition information. The alert message shown in FIG. 13 may also include advice such as providing oral care or swallowing rehabilitation or training.
図13に示すようなアラートが出力された場合、例えば看護職員は、医師に、口腔内容物の誤嚥の発生有無の確認を依頼する。また看護職員は医師に確認した後に、口腔内のケア、嚥下のリハビリ又はトレーニングを患者に行う。制御部11は、口腔内容物の誤嚥の発生可能性が高いことを予測していないと判断した場合(S32:NO)、即ち口腔内容物の誤嚥の発生可能性が低い場合、ステップS33の処理をスキップして一連の処理を終了する。ここでは制御部11は、誤嚥の発生可能性が低いこと、又は誤嚥の発生可能性がほぼ無い正常な状態であることを通知するメッセージを表示部15に表示してもよい。 When an alert such as that shown in FIG. 13 is output, for example, nursing staff will ask a doctor to confirm whether or not aspiration of oral contents has occurred. After confirming with the doctor, the nursing staff will provide the patient with oral care and swallowing rehabilitation or training. If the control unit 11 determines that it has not predicted a high possibility of aspiration of oral contents (S32: NO), that is, if the possibility of aspiration of oral contents is low, it skips the processing of step S33 and ends the series of processes. Here, the control unit 11 may display a message on the display unit 15 notifying that the possibility of aspiration is low or that the patient is in a normal state with almost no possibility of aspiration.
本実施形態では、上述した実施形態1と同様の効果が得られる。また本実施形態では、胃食道逆流による誤嚥の発生可能性に加えて、口腔内容物の誤嚥の発生可能性を予測して医療従事者に提示できる。よって、医師は、提示された予測結果に基づいて、必要に応じて胸部のX線画像又はCT画像の撮影、及び血液検査等の精密検査を行って確定診断を行う。 This embodiment achieves the same effects as the first embodiment described above. Furthermore, this embodiment can predict the possibility of aspiration of oral contents, in addition to the possibility of aspiration due to gastroesophageal reflux, and present this to medical professionals. Therefore, based on the presented prediction results, doctors can make a definitive diagnosis by taking chest X-rays or CT images and conducting detailed tests such as blood tests, as necessary.
本実施形態の構成は、実施形態1の情報処理装置10に適用可能であり、実施形態2の検査機器20にも適用可能であり、実施形態1の情報処理装置10又は実施形態2の検査機器20に適用した場合であっても同様の効果が得られる。また、本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。 The configuration of this embodiment is applicable to the information processing device 10 of embodiment 1 and also to the inspection device 20 of embodiment 2, and similar effects can be obtained when applied to the information processing device 10 of embodiment 1 or the inspection device 20 of embodiment 2. Furthermore, the modified examples described in each of the above embodiments can also be applied to this embodiment as appropriate.
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed herein are to be considered in all respects as illustrative and not restrictive. The scope of the present invention is defined by the claims, not by the meaning described above, and is intended to include all modifications within the meaning and scope of the claims.
10 情報処理装置
11 制御部
12 記憶部
13 通信部
14 入力部
15 表示部
20 検査機器
21 制御部
22 記憶部
25 マイク
26 カメラ
12a 電子カルテDB
12M 学習モデル
22M 学習モデル
REFERENCE SIGNS LIST 10 Information processing device 11 Control unit 12 Memory unit 13 Communication unit 14 Input unit 15 Display unit 20 Inspection equipment 21 Control unit 22 Memory unit 25 Microphone 26 Camera 12a Electronic medical record DB
12M Learning Model 22M Learning Model
Claims (10)
患者の状態情報を入力した場合に、前記患者の胃食道逆流物の誤嚥の発症に関する発症情報を出力するように学習された学習モデルに、取得した状態情報を入力して、前記患者の胃食道逆流物の誤嚥の発症に関する発症情報を出力する
処理をコンピュータが実行する情報処理方法。 obtaining status information regarding the patient's condition;
An information processing method in which a computer executes a process of inputting acquired condition information into a learning model that has been trained to output onset information regarding the onset of aspiration of gastroesophageal reflux material in the patient when condition information of the patient is input , and outputting onset information regarding the onset of aspiration of gastroesophageal reflux material in the patient .
前記学習モデルから出力された可能性が所定値以上である場合に、前記患者が胃食道逆流物の誤嚥を発症していることを示す発症情報を出力する
処理を前記コンピュータが実行する請求項1に記載の情報処理方法。 the learning model is trained to output onset information indicating a possibility in multiple stages that the patient has developed aspiration of gastroesophageal reflux material;
The information processing method according to claim 1, wherein the computer executes a process of outputting onset information indicating that the patient has developed aspiration of gastroesophageal reflux material if the possibility output from the learning model is equal to or greater than a predetermined value.
処理を前記コンピュータが実行する請求項2に記載の情報処理方法。 The information processing method according to claim 2 , wherein the computer executes a process of outputting an alert notifying a doctor that confirmation is required when the possibility output from the learning model is equal to or greater than a predetermined value.
取得した状態情報に基づいて、誤嚥の発症に関する発症情報を出力し、
前記患者が胃食道逆流物の誤嚥を発症している可能性が高いことを示す発症情報を出力した場合、胃食道逆流物の誤嚥を抑制するための対応処置に関する情報を出力し、前記患者が口腔内容物の誤嚥を発症している可能性が高いことを示す発症情報を出力した場合、口腔内のケアの対応処置に関する情報を出力する
処理をコンピュータが実行する情報処理方法。 obtaining status information regarding the patient's condition;
outputting onset information regarding the onset of aspiration based on the acquired condition information;
An information processing method in which a computer executes a process of outputting information regarding countermeasures to prevent aspiration of gastroesophageal reflux material when onset information indicating a high possibility that the patient has developed aspiration of gastroesophageal reflux material is output, and outputting information regarding countermeasures for oral care when onset information indicating a high possibility that the patient has developed aspiration of oral contents is output.
請求項1から4までのいずれか1つに記載の情報処理方法。 5. The information processing method according to claim 1, wherein the condition information includes any one of the patient's body temperature, blood oxygen saturation, amount of phlegm, acidity level in the patient's oral cavity, presence or absence of sugar in the oral cavity, presence or absence of a specific odor in the oral cavity, information about the patient's facial expression, and presence or absence of wheezing.
患者の状態情報を入力した場合に、前記患者の胃食道逆流物の誤嚥の発症に関する発症情報を出力するように学習された学習モデルに、取得した状態情報を入力して、前記患者の胃食道逆流物の誤嚥の発症に関する発症情報を出力する
処理をコンピュータに実行させるプログラム。 obtaining status information regarding the patient's condition;
A program that causes a computer to execute a process of inputting acquired condition information into a learning model that has been trained to output onset information regarding the onset of aspiration of gastroesophageal reflux material in a patient when condition information of the patient is input , and outputting onset information regarding the onset of aspiration of gastroesophageal reflux material in the patient .
患者の状態情報を入力した場合に、前記患者の胃食道逆流物の誤嚥の発症に関する発症情報を出力するように学習された学習モデルに、取得した状態情報を入力して、前記患者の胃食道逆流物の誤嚥の発症に関する発症情報を出力する出力部と
を備える情報処理装置。 an acquisition unit that acquires status information regarding the status of a patient;
an output unit that inputs the acquired condition information into a learning model that has been trained to output onset information regarding the onset of aspiration of gastroesophageal reflux material in the patient when condition information of the patient is input , and outputs onset information regarding the onset of aspiration of gastroesophageal reflux material in the patient .
取得した状態情報に基づいて、誤嚥の発症に関する発症情報を出力し、
前記患者が胃食道逆流物の誤嚥を発症している可能性が高いことを示す発症情報を出力した場合、胃食道逆流物の誤嚥を抑制するための対応処置に関する情報を出力し、前記患者が口腔内容物の誤嚥を発症している可能性が高いことを示す発症情報を出力した場合、口腔内のケアの対応処置に関する情報を出力する
処理をコンピュータに実行させるプログラム。 obtaining status information regarding the patient's condition;
outputting onset information regarding the onset of aspiration based on the acquired condition information ;
A program that causes a computer to execute a process of outputting information regarding countermeasures to suppress aspiration of gastroesophageal reflux material when onset information indicating a high possibility that the patient has developed aspiration of gastroesophageal reflux material is output, and outputting information regarding countermeasures for oral care when onset information indicating a high possibility that the patient has developed aspiration of oral contents is output .
取得した状態情報に基づいて、誤嚥の発症に関する発症情報を出力する出力部と、
前記患者が胃食道逆流物の誤嚥を発症している可能性が高いことを示す発症情報を出力した場合、胃食道逆流物の誤嚥を抑制するための対応処置に関する情報を出力し、前記患者が口腔内容物の誤嚥を発症している可能性が高いことを示す発症情報を出力した場合、口腔内のケアの対応処置に関する情報を出力する処置情報出力部と
を備える情報処理装置。 an acquisition unit that acquires status information regarding the status of a patient;
an output unit that outputs onset information regarding the onset of aspiration based on the acquired condition information ;
a treatment information output unit that outputs information regarding countermeasures for preventing aspiration of gastroesophageal reflux matter when onset information indicating that the patient is likely to have developed aspiration of gastroesophageal reflux matter is output, and that outputs information regarding countermeasures for oral care when onset information indicating that the patient is likely to have developed aspiration of oral contents is output;
An information processing device comprising:
取得した訓練データを用いて、前記患者の状態情報が入力された場合に、前記患者の胃食道逆流物の誤嚥の発症に関する発症情報を出力する学習モデルを生成する
処理をコンピュータが実行するモデル生成方法。 obtaining training data including patient condition information and onset information relating to onset of gastroesophageal reflux aspiration in the patient;
A model generation method in which a computer executes a process of generating a learning model that uses the acquired training data to output onset information regarding the onset of aspiration of gastroesophageal reflux material in the patient when condition information of the patient is input.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022003867A JP7820161B2 (en) | 2022-01-13 | 2022-01-13 | Information processing method, program, information processing device, and model generation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022003867A JP7820161B2 (en) | 2022-01-13 | 2022-01-13 | Information processing method, program, information processing device, and model generation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023103037A JP2023103037A (en) | 2023-07-26 |
| JP7820161B2 true JP7820161B2 (en) | 2026-02-25 |
Family
ID=87377676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022003867A Active JP7820161B2 (en) | 2022-01-13 | 2022-01-13 | Information processing method, program, information processing device, and model generation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7820161B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018070522A1 (en) | 2016-10-14 | 2018-04-19 | 公立大学法人大阪府立大学 | Deglutition diagnosis device and program |
| WO2019244646A1 (en) | 2018-06-18 | 2019-12-26 | 日本電気株式会社 | Disease risk prediction device, disease risk prediction method, and disease risk prediction program |
| WO2020085103A1 (en) | 2018-10-24 | 2020-04-30 | 日本電気株式会社 | Support device, support method, and recording medium |
| JP6903368B1 (en) | 2020-10-23 | 2021-07-14 | Plimes株式会社 | Swallowing evaluation device, swallowing evaluation system, swallowing evaluation method and swallowing evaluation program |
| JP6949277B1 (en) | 2021-01-15 | 2021-10-13 | 三菱電機株式会社 | Pre-disease diagnosis device, pre-disease diagnosis method and learning model generation device |
-
2022
- 2022-01-13 JP JP2022003867A patent/JP7820161B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018070522A1 (en) | 2016-10-14 | 2018-04-19 | 公立大学法人大阪府立大学 | Deglutition diagnosis device and program |
| WO2019244646A1 (en) | 2018-06-18 | 2019-12-26 | 日本電気株式会社 | Disease risk prediction device, disease risk prediction method, and disease risk prediction program |
| WO2020085103A1 (en) | 2018-10-24 | 2020-04-30 | 日本電気株式会社 | Support device, support method, and recording medium |
| JP6903368B1 (en) | 2020-10-23 | 2021-07-14 | Plimes株式会社 | Swallowing evaluation device, swallowing evaluation system, swallowing evaluation method and swallowing evaluation program |
| JP6949277B1 (en) | 2021-01-15 | 2021-10-13 | 三菱電機株式会社 | Pre-disease diagnosis device, pre-disease diagnosis method and learning model generation device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023103037A (en) | 2023-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11553874B2 (en) | Dental image feature detection | |
| Liang et al. | OralCam: enabling self-examination and awareness of oral health using a smartphone camera | |
| Hanif et al. | Estimation of apnea-hypopnea index using deep learning on 3-D craniofacial scans | |
| US20170007126A1 (en) | System for conducting a remote physical examination | |
| WO2020039769A1 (en) | Information processing device, program, and information processing method | |
| Islam et al. | Deep learning of facial depth maps for obstructive sleep apnea prediction | |
| EP4211649B1 (en) | Systems and methods for identifying images of polyps | |
| US12524986B2 (en) | Systems and methods for comparing distance between embedding of images to threshold to classify images as containing the same or different occurrence of event indicators | |
| BR112021013256A2 (en) | METHODS AND DEVICES FOR SWALLOWING DISABILITY SCREENING | |
| US20260053433A1 (en) | Multi-modal medical condition identification | |
| JP7820161B2 (en) | Information processing method, program, information processing device, and model generation method | |
| KR20240057778A (en) | Dental caries risk diagnosis system according to the morphological structure and location of teeth | |
| WO2025029914A1 (en) | Multi-modal medical condition identification | |
| CN118121139A (en) | Small intestinal capsule endoscopy method, device, equipment and storage medium | |
| JP2023176561A (en) | Program, model generation method, medical instrument, information processing method and information processing device | |
| JP2023098761A (en) | Information processing method, learning model generation method, information collection method, computer program, and information processing apparatus | |
| CN117242529A (en) | Methods and systems for providing diagnostic and therapeutic services for clinical diagnosis and prescription | |
| Vergara et al. | Contribution of wireless Wi-Fi intraoral cameras to the assessment of swallowing safety and efficiency | |
| JP2022087520A (en) | Motion detection device and motion detection method | |
| JP2021176039A (en) | Medical checkup support system, control program of medical checkup support system, and support method | |
| Anitha et al. | Applications of Internet of Things in Telemedicine | |
| JP7754179B2 (en) | Learning device, behavior recommendation device, learning method, behavior recommendation method, and program | |
| JP2024047308A (en) | PROGRAM, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING APPARATUS AND MODEL GENERATION METHOD | |
| Vickram | Fused Deep-Features for Automatic Classification of Chest Radiographs Into Normal/Covid-19 | |
| CN121752169A (en) | Endoscopic devices, image processing devices, in-hospital systems, image processing methods and image processing programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20241008 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250919 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20251007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20251105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20260203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20260212 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7820161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |