JP7662932B2 - Auscultation system, stethoscope, and method - Google Patents
Auscultation system, stethoscope, and method Download PDFInfo
- Publication number
- JP7662932B2 JP7662932B2 JP2020111885A JP2020111885A JP7662932B2 JP 7662932 B2 JP7662932 B2 JP 7662932B2 JP 2020111885 A JP2020111885 A JP 2020111885A JP 2020111885 A JP2020111885 A JP 2020111885A JP 7662932 B2 JP7662932 B2 JP 7662932B2
- Authority
- JP
- Japan
- Prior art keywords
- sound waveform
- collected
- auscultation
- auscultatory sound
- waveform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本発明は、聴診システム、聴診器、及び、方法に関する。 The present invention relates to an auscultation system, a stethoscope, and a method.
聴診器の中には、マイク等のセンサーにより電子的に心音等の音を採取し、採取した音を増幅し、増幅した音を医師等に聴取させる、いわゆる電子聴診器と呼ばれるものがある（例えば、特許文献１参照。）。電子聴診器により取得された音は、例えば、周波数解析が行われる場合がある。特許文献２には、以下の記載がある。「テレビ電話などを用いた遠隔診療において、聴診器による診断を行う場合、マイクロフォンを内蔵したチェストピースを有する聴診器を患者自身が自己の身体に接触させて、心音などをマイクロフォンで電気信号に変換し、これを通信により遠隔の医師に送信するという方法が用いられる。しかし、患者は聴診器の使用に慣れておらず、チェストピースが体表面に適切に接触できていないことがある。このような場合、従来の聴診器では、遠隔の映像からの視覚情報を見て、チェストピースが体に接触しているかどうかを医師が判断をすることは非常に困難であり、チェストピースが体表面に適切に接触していないことによる誤診を招く恐れがあった。」 Among stethoscopes, there are so-called electronic stethoscopes that electronically pick up sounds such as heart sounds using sensors such as microphones, amplify the picked up sounds, and allow doctors and others to listen to the amplified sounds (see, for example, Patent Document 1). The sounds picked up by the electronic stethoscope may be subjected to, for example, frequency analysis. Patent Document 2 states the following: "When making a diagnosis using a stethoscope in remote medical treatment using a videophone or the like, the patient touches the stethoscope, which has a chest piece with a built-in microphone, to his or her own body, and the microphone converts heart sounds and the like into electrical signals, which are then transmitted to a remote doctor via communication. However, patients are not accustomed to using stethoscopes, and the chest piece may not be in proper contact with the body surface. In such cases, with conventional stethoscopes, it is very difficult for a doctor to judge whether the chest piece is in contact with the body by looking at the visual information from the remote image, and there is a risk of a misdiagnosis due to the chest piece not being in proper contact with the body surface."
上述した特許文献２に記載の課題の他、従来の聴診器においては、聴診器を操作し、聴診するユーザーの技量により、身体の状態変化の判断が行われているため、遠隔医療（診療）、在宅医療において、個人が、聴診器で心音等を測定した場合、身体の状態の変化を判断する難易度が高いという問題がある。 In addition to the issues described in Patent Document 2 above, conventional stethoscopes rely on the skill of the user to operate the stethoscope and listen to the patient's condition to determine whether there is a change in the patient's physical condition. This means that in remote medical care (treatment) and home medical care, when an individual uses a stethoscope to measure heart sounds, etc., it is very difficult to determine whether there is a change in the patient's physical condition.
本発明の目的は、容易に、身体の状態の変化を判断可能な手段を提供することである。 The objective of the present invention is to provide a means for easily determining changes in physical condition.
第１の発明の聴診システムは、聴診音を採取するためのセンサーと、制御部と、を備え、前記制御部は、前記センサーにより採取された採取聴診音波形と、所定の聴診音波形と、を比較し、比較結果に基づいて、身体の状態を判断することを特徴とする。 The auscultation system of the first invention comprises a sensor for collecting auscultatory sounds and a control unit, and the control unit compares the collected auscultatory sound waveform collected by the sensor with a predetermined auscultatory sound waveform, and judges the physical condition based on the comparison result.
本発明では、制御部は、センサーにより聴取された採取聴診音波形と、所定の聴診音波形と、を比較し、比較結果に基づいて、身体の状態を判断する。例えば、「所定の聴診波形」として、聴診音が採取されるユーザーの過去の聴診音波形を用いれば、過去のユーザーの身体に関する聴診音波形との比較を行うことができるため、過去の身体の状態に対する現在の身体の状態の変化を判断することができる。これにより、過去の身体の状態に対する現在の身体の状態の変化が判断されるため、判断結果に基づいて、ユーザーは、容易に、身体の状態の変化を判断することができる。 In the present invention, the control unit compares the collected auscultatory sound waveform picked up by the sensor with a specified auscultatory sound waveform, and judges the physical condition based on the comparison result. For example, if the past auscultatory sound waveform of the user from which the auscultatory sounds are collected is used as the "specified auscultatory waveform," a comparison can be made with the auscultatory sound waveform related to the user's body in the past, and changes in the current physical condition relative to the past physical condition can be judged. In this way, changes in the current physical condition relative to the past physical condition are judged, and the user can easily judge changes in the physical condition based on the judgment result.
第２の発明の聴診システムは、第１の発明の聴診システムにおいて、前記制御部は、聴診音波形に基づいて、時間対振幅の推移を示すエネルギートレンドデータを作成し、エネルギートレンドデータのピークにマークを打ち、マークの間隔から、聴診音波形の周期を取得することを特徴とする。 The auscultation system of the second invention is the auscultation system of the first invention, characterized in that the control unit creates energy trend data showing the progression of amplitude versus time based on the auscultation sound waveform, places marks on peaks in the energy trend data, and obtains the period of the auscultation sound waveform from the interval between the marks.
第３の発明の聴診システムは、第２の発明の聴診システムにおいて、前記制御部は、
エネルギートレンドデータのピークを中心とする、前後に１周期の１／２の区間における聴診音波形データ、又は、聴診音波形に基づくデータを、採取聴診音波形として、又は、所定の聴診音波形の取得に用いることを特徴とする。
The auscultation system of the third invention is the auscultation system of the second invention, wherein the control unit:
Auscultatory sound waveform data in a section that is half a cycle before and after the peak of the energy trend data, or data based on the auscultatory sound waveform, is used as a collected auscultatory sound waveform or to obtain a specified auscultatory sound waveform.
第４の発明の聴診システムは、第２の発明の聴診システムにおいて、前記制御部は、エネルギートレンドデータのピークを中心として、前後に１周期の１／２の区間における聴診音波形データ、又は、聴診音波形に基づくデータを、所定回数重ね書きしたデータを、採取聴診音波形として、又は、所定の聴診音波形の取得に用いることを特徴とする。 The auscultation system of the fourth invention is the auscultation system of the second invention, characterized in that the control unit uses auscultation sound waveform data in a section of 1/2 of one cycle before and after the peak of the energy trend data, or data based on the auscultation sound waveform, overwritten a specified number of times, as a collected auscultation sound waveform or for obtaining a specified auscultation sound waveform.
聴診音波形が、例えば、心音波形である場合、周期信号であるため、測定ばらつきがある。このため、本発明では、制御部は、エネルギートレンドデータのピークを中心として、前後に１周期の１／２の区間における聴診音波形データ、又は、聴診音波形に基づくデータを、所定回数重ね書きしたデータを、採取聴診音波形として、又は、所定の聴診音波形の取得に用いる。これにより、測定ばらつきを丸めこむことができる When the auscultatory sound waveform is, for example, a cardiac waveform, it is a periodic signal, so there is measurement variation. For this reason, in the present invention, the control unit uses auscultatory sound waveform data in a section of 1/2 of one period around the peak of the energy trend data, or data based on the auscultatory sound waveform, overwritten a specified number of times, as the collected auscultatory sound waveform or to obtain a specified auscultatory sound waveform. This makes it possible to round off the measurement variation.
第５の発明の聴診システムは、第２～第４のいずれかの発明の聴診システムにおいて、前記制御部は、聴診音波形の実効値、又は、STFT（Short-time Fourier transform）した後の、全周波数エネルギーの和、又は、二乗平均を足し合わせることで、エネルギートレンドデータを作成することを特徴とする。 The auscultation system of the fifth invention is the auscultation system of any one of the second to fourth inventions, characterized in that the control unit creates energy trend data by adding up the effective value of the auscultation sound waveform, or the sum or root mean square of all frequency energies after STFT (Short-time Fourier transform).
第６の発明の聴診システムは、第３又は第４の発明の聴診システムにおいて、前記制御部は、聴診音波形に基づくデータとして、聴診音波形を、FFT（Fast Fourier transform）、又は、MFCC（Mel-Frequency Cepstrum Coefficients）したデータを用いることを特徴とする。 The auscultation system of the sixth invention is the auscultation system of the third or fourth invention, characterized in that the control unit uses data obtained by subjecting the auscultation sound waveform to FFT (Fast Fourier transform) or MFCC (Mel-Frequency Cepstrum Coefficients) as data based on the auscultation sound waveform.
第７の発明の聴診システムは、第１～第６のいずれかの発明の聴診システムにおいて、所定の聴診音波形は、聴診音が採取されるユーザーの聴診音に基づく波形であることを特徴とする。 The seventh invention is an auscultation system according to any one of the first to sixth inventions, characterized in that the predetermined auscultation sound waveform is a waveform based on the auscultation sound of the user whose auscultation sound is collected.
第８の発明の聴診システムは、第７の発明の聴診システムにおいて、前記制御部は、採取聴診音波形が、所定の聴診音波形に対して変化している場合、医療機関の受診を促す旨を報知することを特徴とする。 The auscultation system of the eighth invention is the auscultation system of the seventh invention, characterized in that the control unit issues a notification encouraging the patient to visit a medical institution if the collected auscultation sound waveform changes from a predetermined auscultation sound waveform.
第９の発明の聴診システムは、第１～第６のいずれかの発明の聴診システムにおいて、所定の聴診音波形は、複数人において特徴が共通する、身体の状態が異常な聴診音の波形であることを特徴とする。 The auscultation system of the ninth invention is the auscultation system of any one of the first to sixth inventions, characterized in that the specified auscultation sound waveform is a waveform of an auscultation sound that has common characteristics among multiple people and indicates an abnormal physical condition.
第１０の発明の聴診システムは、第１の発明の聴診システムにおいて、前記制御部は、判断した身体の状態を報知することを特徴とする。 The auscultation system of the tenth invention is the auscultation system of the first invention, characterized in that the control unit notifies the determined physical condition.
第１１の発明の聴診システムは、第１の発明の聴診システムにおいて、前記制御部は、判断した身体の状態に基づいて、医療機関の受診の要否を判断することを特徴とする。 The auscultation system of the eleventh invention is the auscultation system of the first invention, characterized in that the control unit determines whether or not it is necessary to visit a medical institution based on the determined physical condition.
第１２の発明の聴診システムは、第１１の発明の聴診システムにおいて、前記制御部は、判断した医療機関の受診の要否を報知することを特徴とする。 The auscultation system of the 12th invention is the auscultation system of the 11th invention, characterized in that the control unit notifies the user of the judged need to visit a medical institution.
第１３の発明の聴診システムは、第１～第１２のいずれかの発明の聴診システムにおいて、所定の聴診音波形は、機械学習により学習モデルが作成され、取得されていることを特徴とする。 The auscultation system of the thirteenth invention is the auscultation system of any one of the first to twelfth inventions, characterized in that the predetermined auscultation sound waveform is acquired by creating a learning model through machine learning.
第１４の発明の聴診システムは、第１の発明の聴診システムにおいて、所定の聴診音波形は、聴診音が採取されるユーザーの聴診音に基づく波形と、複数人において特徴が共通する、身体の状態が異常な聴診音の波形と、であり、前記制御部は、採取聴診音波形と、聴診音が採取されるユーザーの聴診音に基づく波形と、を比較し、採取聴診音波形が、聴診音が採取されるユーザーの聴診音に基づく波形に対して変化している場合、採取聴診音波形と、複数人において特徴が共通する、身体の状態が異常な聴診音の波形と、を比較することを特徴とする。 The auscultation system of the fourteenth invention is characterized in that, in the auscultation system of the first invention, the predetermined auscultation sound waveform is a waveform based on the auscultation sound of the user from whom the auscultation sound is collected and a waveform of auscultation sound with an abnormal physical condition that has common characteristics among multiple people, and the control unit compares the collected auscultation sound waveform with the waveform based on the auscultation sound of the user from whom the auscultation sound is collected, and when the collected auscultation sound waveform has changed compared to the waveform based on the auscultation sound of the user from whom the auscultation sound is collected, compares the collected auscultation sound waveform with the waveform of auscultation sound with an abnormal physical condition that has common characteristics among multiple people.
第１５の発明の聴診システムは、第１４の発明の聴診システムにおいて、前記制御部は、採取聴診音波形と、複数人において特徴が共通する、身体の状態が異常な聴診音の波形と、が類似している場合、身体の異常を報知することを特徴とする。 The auscultation system of the fifteenth invention is the auscultation system of the fourteenth invention, characterized in that the control unit notifies a physical abnormality when the collected auscultation sound waveform is similar to auscultation sound waveforms that have common characteristics among multiple people and indicate an abnormal physical condition.
第１６の発明の聴診システムは、第１４又は第１５の発明の聴診システムにおいて、前記制御部は、採取聴診音波形と、複数人において特徴が共通する、身体の状態が異常な聴診音の波形と、が類似している場合、医療機関の受診を促す旨を報知することを特徴とする。 The auscultation system of the 16th invention is the auscultation system of the 14th or 15th invention, characterized in that the control unit issues a notification encouraging the patient to visit a medical institution when the collected auscultation sound waveform is similar to auscultation sound waveforms that have common characteristics among multiple people and indicate an abnormal physical condition.
第１７の発明の聴診器は、聴診音を採取するためのセンサーと、制御部と、を備え、前記制御部は、前記センサーにより採取された採取聴診音波形と、所定の聴診音波形と、を比較し、比較結果に基づいて、身体の状態を判断することを特徴とする。 The stethoscope of the seventeenth invention is characterized in that it comprises a sensor for collecting auscultatory sounds and a control unit, and the control unit compares the collected auscultatory sound waveform collected by the sensor with a predetermined auscultatory sound waveform, and judges the physical condition based on the comparison result.
第１８の発明の方法は、センサーにより採取された採取聴診音波形と、所定の聴診音波形と、を比較し、比較結果に基づいて、身体の状態を判断することを特徴とする。 The method of the 18th invention is characterized in that it compares the auscultatory sound waveform collected by the sensor with a predetermined auscultatory sound waveform, and judges the physical condition based on the comparison result.
本発明によれば、ユーザーは、容易に、身体の状態の変化を判断することができる。 The present invention allows users to easily determine changes in their physical condition.
以下、本発明の実施形態について説明する。本発明の実施形態に係る聴診システムは、例えば、聴診器と、スマートフォンと、から構成される。聴診システムでは、聴診器により採取された聴診音（例えば、心音）が、スマートフォンに送信され、スマートフォンにおいて、聴診音の解析等が行われる。なお、聴診システムは、聴診器のみから構成されていてもよい。また、聴診音の解析等を行う機器は、スマートフォンでなくてもよく、専用の機器等であってもよい。 The following describes an embodiment of the present invention. An auscultation system according to an embodiment of the present invention is composed of, for example, a stethoscope and a smartphone. In the auscultation system, auscultation sounds (e.g., heart sounds) collected by the stethoscope are transmitted to the smartphone, and the smartphone performs analysis of the auscultation sounds. Note that the auscultation system may be composed of only a stethoscope. Also, the device that performs analysis of the auscultation sounds does not have to be a smartphone, and may be a dedicated device, etc.
聴診器は、聴診音が採取される人体と接触する接触面である下面に、聴診音を採取するためのセンサーを備える。センサーは、例えば、ダイアフラムと、ダイアフラムに貼り付けられたピエゾ素子と、から構成される。また、センサーは、例えば、ダイアフラムと、マイクと、から構成される。また、センサーは、例えば、マイクである。センサーにより採取された聴診音は、スマートフォンに送信される。 The stethoscope is provided with a sensor for collecting auscultatory sounds on the underside, which is the contact surface that comes into contact with the human body from which the auscultatory sounds are collected. The sensor is, for example, composed of a diaphragm and a piezoelectric element attached to the diaphragm. The sensor is, for example, composed of a diaphragm and a microphone. The sensor is, for example, a microphone. The auscultatory sounds collected by the sensor are transmitted to a smartphone.
スマートフォンは、例えば、ＣＰＵ（Central Processing Unit）等の制御部を備えている。なお、以下で説明する処理等は、基本的に制御部によって実行されるが、「制御部は、～する。」という「～する」処理において、「制御部は」の文言を省略している場合がある。スマートフォンの制御部は、聴診器から送信される、センサーにより採取された採取聴診音波形（以下、「テストデータ」ともいう。）と、所定の聴診音波形と、を比較し、比較結果に基づいて、身体の状態を判断する。所定の聴診音波形は、例えば、機械学習により取得されたデータ（以下、「学習データ」ともいう。）である。学習データは、例えば、聴診音が採取されるユーザーの過去に採取された聴診音に基づく波形である。制御部は、テストデータが、学習データに対して変化している場合、身体の状態が変化していると判断し、例えば、スマートフォンの表示画面により、医療機関の受診を促す旨を報知する。このとき、制御部は、身体の状態が変化していることを報知してもよい。 The smartphone includes a control unit such as a CPU (Central Processing Unit). The processes described below are basically executed by the control unit, but the word "control unit" may be omitted in the process of "the control unit does". The control unit of the smartphone compares the collected auscultatory sound waveform (hereinafter also referred to as "test data") collected by a sensor and transmitted from the stethoscope with a predetermined auscultatory sound waveform, and judges the physical condition based on the comparison result. The predetermined auscultatory sound waveform is, for example, data acquired by machine learning (hereinafter also referred to as "learning data"). The learning data is, for example, a waveform based on auscultatory sounds collected in the past by the user whose auscultatory sounds are collected. If the test data has changed with respect to the learning data, the control unit judges that the physical condition has changed, and, for example, notifies the user on the display screen of the smartphone that the user should visit a medical institution. At this time, the control unit may notify that the physical condition has changed.
また、学習データは、複数人において特徴が共通する、身体の状態が異常な聴診音の波形である。例えば、聴診音が、心音である場合、学習データは、典型的な心疾患の波形である。制御部は、テストデータが、学習データに類似している場合、心疾患の疑いがあると判断し、例えば、スマートフォンの表示画面により、医療機関の受診を促す旨を報知する。このとき、制御部は、疑いのある心疾患名を報知してもよい。このように、制御部は、身体の状態を判断し、判断した身体の状態に基づいて、医療機関の受診の要否を判断する。制御部は、医療機関の受診が不要と判断した場合であっても、その旨を報知するようになっていてもよい。 The learning data is a waveform of auscultatory sounds that have common characteristics among multiple people and indicate an abnormal physical condition. For example, if the auscultatory sounds are heart sounds, the learning data is a waveform of a typical heart disease. If the test data is similar to the learning data, the control unit determines that there is a suspicion of heart disease, and issues a notification, for example, via a display screen on a smartphone, encouraging the person to visit a medical institution. At this time, the control unit may notify the person of the name of the suspected heart disease. In this way, the control unit determines the physical condition, and determines whether or not to visit a medical institution based on the determined physical condition. The control unit may be configured to notify this even if it determines that a visit to a medical institution is not necessary.
なお、各種の報知は、スマートフォンの表示画面により行われていてもよいし、他の表示で行われてもよい。また、「音」により報知されるようになっていてもよい。 The various notifications may be made via the smartphone's display screen or other display. Notifications may also be made by "sound."
次に、聴診音を機械学習に取り込むための方法について説明する。以下の手順で、心音（聴診音）の同期と間隔の掌握を行い、対象の心音の切り取りと機械学習による比較とを行う。 Next, we will explain the method for incorporating auscultatory sounds into machine learning. The following steps are used to synchronize heart sounds (auscultatory sounds) and grasp the intervals, extract the target heart sounds, and compare them using machine learning.
（１）心音波形をセンサーで採取する。図１に、心音波形の一例を示す。
（２）波形の実効値、又は、STFT（Short-time Fourier transform）した後の全周波数のエネルギー（和、又は、二乗平均）を足し合わせ、時間対振幅の推移を示すエネルギートレンドデータを作成する。図２に、実波形、STFTデータ、及び、エネルギートレンドデータの一例を示す。図２では、図１における鎖線、及び、一点鎖線の領域における実波形、STFTデータ、及び、エネルギートレンドデータが示されている。
（３）エネルギートレンドデータのピークにマークを打ち、マークの間隔から心拍同期の時間位置と心拍の周期Tを採取する。図３に、エネルギートレンドデータの一例を示す。なお、図では、センサーから採取した心音が示されており、I音に大きなピークが確認できる。
（４）周期を測定した区間について、ピークを中心として、前後に周期Tの1/2の時間で、心音波形を切り取る。図４（ａ）に、波形の切り取りを説明するための図を示す。
（５）切り取った区間の心音を、FFT（Fast Fourier transform）、MFCC（Mel-Frequency Cepstrum Coefficients）、又は、波形そのままの形で、学習データ、又は、テストデータとして取得する。又は、心音は、周期信号であるため、測定ばらつきを丸め込むため、所定回数（例えば、１０回）の波形を重ね書きしたものを、学習データ、又は、テストデータとして取得する。図４（ｂ）に、信号処理後の図を示す。図５（ｃ）に、機械学習による分類、学習モデル作成を説明するための図を示す。
（６）例えば、（５）で採取した過去の健康時のデータを学習データとして、定期的に（例えば、毎日）採取される心音をテストデータとして採取する。
（７）例えば、毎日採取される心音（テストデータ）と、学習データと、において、著しい変化が起こった場合、学習データとの類似性がなくなるため、異常として判定する。図６に、学習モデルを用いた分類判定を説明するための図を示す。
（８）類似性がない場合、異常を疑い、毎日採取される心音（テストデータ）と心音異常波形の学習モデル（学習データ）との類似性を確認する。類似性があれば、その近い心疾患について表示（報知）の上、医師の診療を促す。
（９）希望波形、異常波形ともに類似性がない場合、異常フラグを記録し、医師の診療を促す。
(1) The heart sound waveform is collected by a sensor. Figure 1 shows an example of the heart sound waveform.
(2) The effective value of the waveform or the energy (sum or root mean square) of all frequencies after STFT (Short-time Fourier transform) is added to generate energy trend data showing the transition of amplitude versus time. Figure 2 shows an example of the real waveform, STFT data, and energy trend data. Figure 2 shows the real waveform, STFT data, and energy trend data in the areas of the dashed line and the dashed dotted line in Figure 1.
(3) Mark the peaks of the energy trend data, and obtain the time position of heartbeat synchronization and the heartbeat period T from the interval between the marks. Figure 3 shows an example of energy trend data. In the figure, the heart sounds collected from the sensor are shown, and a large peak can be confirmed for the first sound.
(4) For the section in which the period was measured, cut out the phonocardiogram waveform with a time of 1/2 the period T before and after the peak. Figure 4(a) is a diagram for explaining how the waveform is cut out.
(5) The heart sounds in the cut out section are acquired as learning data or test data in the form of FFT (Fast Fourier transform), MFCC (Mel-Frequency Cepstrum Coefficients), or in the form of the waveform itself. Alternatively, since the heart sounds are periodic signals, a predetermined number of (e.g., 10) waveforms are overwritten to round off measurement variations, and acquired as learning data or test data. FIG. 4(b) shows a diagram after signal processing. FIG. 5(c) shows a diagram for explaining classification by machine learning and creation of a learning model.
(6) For example, the past healthy data collected in (5) is used as learning data, and heart sounds collected periodically (for example, daily) are used as test data.
(7) For example, if a significant change occurs between the heart sounds (test data) collected daily and the learning data, the similarity with the learning data is lost and the data is judged as abnormal. Fig. 6 shows a diagram for explaining classification judgment using a learning model.
(8) If there is no similarity, an abnormality is suspected, and the similarity between the heart sounds collected daily (test data) and the learning model of abnormal heart sound waveforms (learning data) is checked. If there is a similarity, the system displays (notifies) the patient of the close heart disease and prompts the patient to see a doctor.
(9) If there is no similarity between the desired waveform and the abnormal waveform, an abnormality flag is recorded and a doctor is prompted to make a diagnosis.
以下、聴診システムの処理動作を、図７に示すフローチャートに基づいて説明する。まず、制御部は、初期学習モードであるか否かを判断する（Ｓ１）。初期学習モードは、ユーザーの健康時の聴診音（例えば、心音）を学習するためのモードである。制御部は、初期学習モードであると判断した場合（Ｓ１：Ｙｅｓ）、センサーによる聴診音を取得する（Ｓ２）。次に、制御部は、取得した聴診音波形に対して、前処理を行い、前処理を行った聴診音波形データ、又は、前処理を行わずに、前処理を行っていない聴診音波形データを取得する（Ｓ３）。次に、制御部は、Ｓ３で取得した聴診音波形データの学習を行う（Ｓ４）。次に、制御部は、規定数の学習を完了したか否かを判断する（Ｓ５）。制御部は、規定数の学習を完了していないと判断した場合（Ｓ５：Ｎｏ）、Ｓ２の処理を行う。制御部は、規定数の学習を完了したと判断した場合（Ｓ５：Ｙｅｓ）、初期学習モードを終了する。 The processing operation of the auscultation system will be described below based on the flowchart shown in FIG. 7. First, the control unit determines whether or not the mode is the initial learning mode (S1). The initial learning mode is a mode for learning auscultation sounds (e.g., heart sounds) when the user is healthy. If the control unit determines that the mode is the initial learning mode (S1: Yes), it acquires auscultation sounds from the sensor (S2). Next, the control unit performs preprocessing on the acquired auscultation sound waveform, and acquires auscultation sound waveform data that has been preprocessed, or auscultation sound waveform data that has not been preprocessed without performing preprocessing (S3). Next, the control unit learns the auscultation sound waveform data acquired in S3 (S4). Next, the control unit determines whether or not a prescribed number of learnings have been completed (S5). If the control unit determines that the prescribed number of learnings has not been completed (S5: No), it performs the process of S2. If the control unit determines that the prescribed number of learnings has been completed (S5: Yes), it ends the initial learning mode.
制御部は、初期学習モードでないと判断した場合（Ｓ１：Ｎｏ）、センサーによる聴診音を取得する（Ｓ６）。次に、制御部は、取得した聴診音波形に対して、前処理を行い、前処理を行った聴診音波形データ（テストデータ）、又は、前処理を行わずに、前処理を行っていない聴診音波形データ（テストデータ）を取得する（Ｓ７）。次に、制御部は、学習データを読み出す（Ｓ８）。ここでの学習データは、聴診音が採取されるユーザーの過去に採取された聴診音に基づく波形（健康時）である。言い換えれば、初期学習モードで学習された学習データである。 If the control unit determines that the mode is not the initial learning mode (S1: No), it acquires auscultatory sounds from the sensor (S6). Next, the control unit performs preprocessing on the acquired auscultatory sound waveform, and acquires preprocessed auscultatory sound waveform data (test data), or does not perform preprocessing and acquires non-preprocessed auscultatory sound waveform data (test data) (S7). Next, the control unit reads out the learning data (S8). The learning data here is a waveform (when healthy) based on auscultatory sounds previously collected by the user whose auscultatory sounds are to be collected. In other words, it is learning data learned in the initial learning mode.
次に、制御部は、テストデータと学習データとに、顕著な差異があるか否かを判断する（Ｓ９）。制御部は、テストデータと学習データとに、顕著な差異がないと判断した場合（Ｓ９：Ｎｏ）、処理を終了する。制御部は、テストデータと学習データとに、顕著な差異があると判断した場合（Ｓ９：Ｙｅｓ）、異常フラグを立てる（Ｓ１０）。次に、制御部は、学習データを読み出す（Ｓ１１）。ここでの学習データは、複数人において特徴が共通する、身体の状態が異常な聴診音の波形（例えば、典型的な心疾患の波形）である。 Next, the control unit determines whether there is a significant difference between the test data and the learning data (S9). If the control unit determines that there is no significant difference between the test data and the learning data (S9: No), the control unit ends the process. If the control unit determines that there is a significant difference between the test data and the learning data (S9: Yes), the control unit sets an abnormality flag (S10). Next, the control unit reads out the learning data (S11). The learning data here is auscultatory sound waveforms that have common characteristics among multiple people and indicate an abnormal physical condition (for example, a waveform of a typical heart disease).
次に、制御部は、テストデータと学習データとが類似しているか否か、例えば、テストデータが、典型的な心疾患の波形と類似しているか否かを判断する（Ｓ１２）。制御部は、テストデータと学習データとが類似している、例えば、テストデータが、典型的な心疾患の波形と類似していると判断した場合（Ｓ１２：Ｙｅｓ）、類似する疾患名を記録し（Ｓ１３）、医療機関の受診を推奨する旨を表示し（Ｓ１４）、処理を終了する。制御部は、テストデータと学習データとが類似していない、例えば、テストデータが、典型的な心疾患の波形と類似していないと判断した場合（Ｓ１２：Ｎｏ）、医療機関の受診を推奨する旨を表示し（Ｓ１４）、処理を終了する。 Next, the control unit judges whether the test data and the learning data are similar, for example, whether the test data is similar to the waveform of a typical heart disease (S12). If the control unit judges that the test data and the learning data are similar, for example, that the test data is similar to the waveform of a typical heart disease (S12: Yes), it records the name of the similar disease (S13), displays a message recommending that the patient visit a medical institution (S14), and ends the process. If the control unit judges that the test data and the learning data are not similar, for example, that the test data is not similar to the waveform of a typical heart disease (S12: No), it displays a message recommending that the patient visit a medical institution (S14), and ends the process.
なお、聴診システムが、聴診器のみで構成される場合、聴診器には、ＣＰＵ等の制御部が設けられ、制御部は、図７に示す処理動作を含む、上述した処理を行う。 When the auscultation system is composed of only a stethoscope, the stethoscope is provided with a control unit such as a CPU, and the control unit performs the above-mentioned processing, including the processing operation shown in FIG. 7.
以上説明したように、本実施形態では、制御部は、センサーにより聴取された採取聴診音波形と、所定の聴診音波形と、を比較し、比較結果に基づいて、身体の状態を判断する。例えば、「所定の聴診波形」として、聴診音が採取されるユーザーの過去の聴診音波形を用いれば、過去のユーザーの身体に関する聴診音波形との比較を行うことができるため、過去の身体の状態に対する現在の身体の状態の変化を判断することができる。これにより、過去の身体の状態に対する現在の身体の状態の変化が判断されるため、判断結果に基づいて、ユーザーは、容易に、身体の状態の変化を判断することができる。 As described above, in this embodiment, the control unit compares the collected auscultatory sound waveform picked up by the sensor with a predetermined auscultatory sound waveform, and judges the physical condition based on the comparison result. For example, if the past auscultatory sound waveform of the user from which the auscultatory sound is collected is used as the "predetermined auscultatory waveform," a comparison can be made with the auscultatory sound waveform related to the user's body in the past, and the change in the current physical condition relative to the past physical condition can be judged. In this way, the change in the current physical condition relative to the past physical condition is judged, and the user can easily judge the change in the physical condition based on the judgment result.
また、聴診音波形が、例えば、心音波形である場合、周期信号であるため、測定ばらつきがある。このため、本実施形態では、制御部は、エネルギートレンドデータのピークを中心として、前後に１周期の１／２の区間における聴診音波形データ、又は、聴診音波形に基づくデータを、所定回数重ね書きしたデータを、採取聴診音波形として、又は、所定の聴診音波形の取得に用いる。これにより、測定ばらつきを丸めこむことができる。なお、国際公開２０１８／１１７１７１号公報には、「所定回数重ね書きしたデータ」を用いることについて、記載も示唆もないことに留意されたい。 In addition, when the auscultatory sound waveform is, for example, a cardiac waveform, it is a periodic signal and therefore there is measurement variability. For this reason, in this embodiment, the control unit uses auscultatory sound waveform data in a section of 1/2 of one cycle before and after the peak of the energy trend data, or data based on the auscultatory sound waveform, overwritten a specified number of times, as the collected auscultatory sound waveform or for acquiring a specified auscultatory sound waveform. This makes it possible to round off measurement variability. Please note that WO 2018/117171 does not state or suggest the use of "data overwritten a specified number of times."
以上、本発明の実施形態について説明したが、本発明を適用可能な形態は、上述の実施形態には限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることが可能である。 Although the embodiments of the present invention have been described above, the forms to which the present invention can be applied are not limited to the above-mentioned embodiments, and appropriate modifications can be made without departing from the spirit of the present invention.
本発明は、聴診システム、聴診器、及び、方法に好適に採用され得る。 The present invention can be suitably used in auscultation systems, stethoscopes, and methods.
Claims (14)
制御部と、を備え、
前記制御部は、
初期学習モードであるか否かを判断し、
前記初期学習モードであると判断した場合、
学習モデルを作成するための学習モデル用聴診音波形から１周期を切り取り、
切り取った１周期の前記学習モデル用聴診音波形に基づく学習データから、機械学習により前記学習モデルを作成し、
前記初期学習モードでないと判断した場合、
前記センサーにより採取された採取聴診音波形から１周期を切り取り、
切り取った１周期の前記採取聴診音波形に基づくテストデータと前記学習モデルとを比較し、
比較結果に基づいて、身体の状態を判断することを特徴とする聴診システム。 A sensor for collecting auscultatory sounds;
A control unit,
The control unit is
Determine whether the device is in initial learning mode;
If it is determined that the initial learning mode is selected,
One period is cut out from the auscultatory sound waveform for creating a learning model,
creating the learning model by machine learning from learning data based on the one cycle of the extracted auscultatory sound waveform for the learning model;
If it is determined that the initial learning mode is not selected,
One period is cut out from the collected auscultatory sound waveform collected by the sensor,
comparing test data based on the collected auscultatory sound waveform of one cut cycle with the learning model;
An auscultation system that determines a physical condition based on a comparison result.
切り取った１周期の前記学習モデル用聴診音波形を高速フーリエ変換し、又は、切り取った１周期の前記学習モデル用聴診音波形からメル周波数ケプストラム係数を求めて前記学習データとし、
切り取った１周期の前記採取聴診音を高速フーリエ変換し、又は、切り取った１周期の前記採取聴診音からメル周波数ケプストラム係数を求めて前記テストデータとすることを特徴とする請求項１に記載の聴診システム。 The control unit is
performing a fast Fourier transform on the one cycle of the auscultatory sound waveform for the learning model, or calculating Mel-frequency cepstrum coefficients from the one cycle of the auscultatory sound waveform for the learning model, and using these as the learning data;
The auscultation system according to claim 1, characterized in that the test data is obtained by subjecting the extracted one cycle of the collected auscultatory sound to a fast Fourier transform or by calculating Mel-frequency cepstrum coefficients from the extracted one cycle of the collected auscultatory sound.
切り取った１周期の前記学習モデル用聴診音波形を前記学習データとし、
切り取った１周期の前記採取聴診音波形を前記テストデータとすることを特徴とする請求項１に記載の聴診システム。 The control unit is
The extracted one cycle of the auscultatory sound waveform for the learning model is used as the learning data.
2. The auscultation system according to claim 1, wherein the test data is a cut cycle of the collected auscultatory sound waveform.
切り取った１周期の前記学習モデル用聴診音波形を所定回数重ね書きして前記学習データとし、
切り取った１周期の前記採取聴診音波形を所定回数重ね書きして前記テストデータとすることを特徴とする請求項１に記載の聴診システム。 The control unit is
The extracted one cycle of the auscultatory sound waveform for the learning model is overwritten a predetermined number of times to obtain the learning data.
2. The auscultation system according to claim 1, wherein the test data is obtained by overwriting the collected auscultatory sound waveform of one cycle that has been cut out a predetermined number of times.
波形の実効値の算出、
短時間フーリエ変換した波形の全周波数の和の算出、
短時間フーリエ変換した波形の全周波数の二乗平均の算出、
のいずれかを実行することで、聴診音波形及び採取聴診音波形に基づき、時間対振幅の推移を示すエネルギートレンドデータを作成し、
作成した聴診音波形に基づくエネルギートレンドデータのピークにマークを打ち、マークの間隔から、聴診音波形の周期を取得し、
作成した採取聴診音波形に基づくエネルギートレンドデータのピークにマークを打ち、マークの間隔から、採取聴診音波形の周期を取得することを特徴とする請求項１～４のいずれか１項に記載の聴診システム。 The control unit is
Calculating the effective value of a waveform ,
Calculating the sum of all frequencies of the waveform obtained by short-time Fourier transform;
Calculating the root mean square of all frequencies of the short-time Fourier transformed waveform,
By carrying out any one of the above, energy trend data showing the transition of amplitude versus time is created based on the auscultatory sound waveform and the collected auscultatory sound waveform,
Mark the peaks of the energy trend data based on the created auscultatory sound waveform, and obtain the period of the auscultatory sound waveform from the interval between the marks.
The auscultation system according to any one of claims 1 to 4, characterized in that it marks the peaks of energy trend data based on the created collected auscultatory sound waveform, and obtains the period of the collected auscultatory sound waveform from the interval between the marks.
前記学習モデル用聴診音波形に基づく、時間対振幅の推移を示すエネルギートレンドデータのピークを中心とする、前後に１周期の１／２の区間における前記学習モデル用聴診音波形を切り出すことにより、前記学習モデル用聴診音波形から１周期を切り出し、
前記採取聴診音波形に基づく、エネルギートレンドデータのピークを中心とする、前後に１周期の１／２の区間における前記採取聴診音波形を切り出すことにより、前記採取聴診音波形から１周期を切り出すことを特徴とする請求項１～４のいずれか１項に記載の聴診システム。 The control unit is
a period is extracted from the auscultatory sound waveform for the learning model by extracting the auscultatory sound waveform for the learning model in a section of 1/2 of one period before and after a peak of energy trend data showing a transition of amplitude versus time based on the auscultatory sound waveform for the learning model;
The auscultation system according to any one of claims 1 to 4, characterized in that one cycle is extracted from the collected auscultation sound waveform by extracting the collected auscultation sound waveform in a section that is 1/2 of one cycle before and after the peak of energy trend data based on the collected auscultation sound waveform.
制御部と、を備え、
前記制御部は、
初期学習モードであるか否かを判断し、
前記初期学習モードであると判断した場合
学習モデルを作成するための学習モデル用聴診音波形から１周期を切り取り、
切り取った１周期の前記学習モデル用聴診音波形に基づく学習データから、機械学習により前記学習モデルを作成し、
前記初期学習モードでないと判断した場合、
前記センサーにより採取された採取聴診音波形から１周期を切り取り、
切り取った１周期の前記採取聴診音波形に基づくテストデータと前記学習モデルとを比較し、
比較結果に基づいて、身体の状態を判断することを特徴とする聴診器。 A sensor for collecting auscultatory sounds;
A control unit,
The control unit is
Determine whether the device is in initial learning mode;
When it is determined that the initial learning mode is selected
One period is cut out from the auscultatory sound waveform for creating a learning model,
creating the learning model by machine learning from learning data based on the one cycle of the extracted auscultatory sound waveform for the learning model;
If it is determined that the initial learning mode is not selected,
One period is cut out from the collected auscultatory sound waveform collected by the sensor,
comparing test data based on the collected auscultatory sound waveform of one cut cycle with the learning model;
A stethoscope that determines a physical condition based on the comparison results.
初期学習モードであるか否かを判断し、
前記初期学習モードであると判断した場合、
学習モデルを作成するための学習モデル用聴診音波形から１周期を切り取り、
切り取った１周期の前記学習モデル用聴診音波形に基づく学習データから、機械学習により前記学習モデルを作成し、
前記初期学習モードでないと判断した場合、
センサーにより採取された採取聴診音波形から１周期を切り取り、
切り取った１周期の前記採取聴診音波形に基づくテストデータと前記学習モデルとを比較し、
比較結果に基づいて、身体の状態を判断することを特徴とする方法。 By computer,
Determine whether the device is in initial learning mode;
If it is determined that the initial learning mode is selected,
One period is cut out from the auscultatory sound waveform for creating a learning model,
creating the learning model by machine learning from learning data based on the one cycle of the auscultatory sound waveform for the learning model;
If it is determined that the initial learning mode is not selected,
One period is cut from the auscultatory sound waveform collected by the sensor ,
comparing test data based on the collected auscultatory sound waveform of one cut cycle with the learning model;
The method comprises determining a physical condition based on the comparison result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020111885A JP7662932B2 (en) | 2020-06-29 | 2020-06-29 | Auscultation system, stethoscope, and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020111885A JP7662932B2 (en) | 2020-06-29 | 2020-06-29 | Auscultation system, stethoscope, and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022011027A JP2022011027A (en) | 2022-01-17 |
| JP7662932B2 true JP7662932B2 (en) | 2025-04-16 |
Family
ID=80147875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020111885A Active JP7662932B2 (en) | 2020-06-29 | 2020-06-29 | Auscultation system, stethoscope, and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7662932B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120600357A (en) * | 2025-08-07 | 2025-09-05 | 温州理工学院 | Remote medical equipment monitoring methods |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009240527A (en) | 2008-03-31 | 2009-10-22 | Yamaguchi Univ | Apparatus and method for analyzing heart sound frequency |
| JP2010286268A (en) | 2009-06-09 | 2010-12-24 | Kyushu Univ | Signal peak measurement system |
| JP2014004018A (en) | 2012-06-21 | 2014-01-16 | Sharp Corp | Information processor, information processing method, control program and recording medium |
| CN108682433A (en) | 2018-06-01 | 2018-10-19 | 四川长虹电器股份有限公司 | The heart sound kind identification method of first-order difference coefficient based on MFCC |
| JP2019531792A (en) | 2016-09-07 | 2019-11-07 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Classifier ensemble for detection of abnormal heart sounds |
| JP2020027569A (en) | 2018-08-17 | 2020-02-20 | 国立大学法人滋賀医科大学 | Body sound diagnostic device |
-
2020
- 2020-06-29 JP JP2020111885A patent/JP7662932B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009240527A (en) | 2008-03-31 | 2009-10-22 | Yamaguchi Univ | Apparatus and method for analyzing heart sound frequency |
| JP2010286268A (en) | 2009-06-09 | 2010-12-24 | Kyushu Univ | Signal peak measurement system |
| JP2014004018A (en) | 2012-06-21 | 2014-01-16 | Sharp Corp | Information processor, information processing method, control program and recording medium |
| JP2019531792A (en) | 2016-09-07 | 2019-11-07 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Classifier ensemble for detection of abnormal heart sounds |
| CN108682433A (en) | 2018-06-01 | 2018-10-19 | 四川长虹电器股份有限公司 | The heart sound kind identification method of first-order difference coefficient based on MFCC |
| JP2020027569A (en) | 2018-08-17 | 2020-02-20 | 国立大学法人滋賀医科大学 | Body sound diagnostic device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022011027A (en) | 2022-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW480168B (en) | Multi-modal cardiac diagnostic decision support system | |
| EP3781036B1 (en) | Electronic stethoscope | |
| US10039520B2 (en) | Detection of coronary artery disease using an electronic stethoscope | |
| Qu et al. | Monitoring of physiological sounds with wearable device based on piezoelectric MEMS acoustic sensor | |
| US20210219925A1 (en) | Apparatus and method for detection of physiological events | |
| EP3463095B1 (en) | Measuring arrangement for monitoring specific activity parameters of the human heart | |
| Rosales et al. | Heart rate monitoring using hydraulic bed sensor ballistocardiogram | |
| US20120172676A1 (en) | Integrated monitoring device arranged for recording and processing body sounds from multiple sensors | |
| TW200526174A (en) | Analysis of auscultatory sounds using single value decomposition | |
| KR20170087855A (en) | Automated diagnosis based at least in part on pulse waveforms | |
| JP2020075136A (en) | Biological vibration signal detection device | |
| JP2021510113A (en) | Wearable health condition monitoring device and how to manufacture and use it | |
| Dampage et al. | AI-based heart monitoring system | |
| JP7662932B2 (en) | Auscultation system, stethoscope, and method | |
| JP7518357B2 (en) | Auscultation system, stethoscope, and method | |
| WO2017159753A1 (en) | Systolic heart noise detection device | |
| Waters et al. | Deep-learning based segmentation of in-ear cardiac sounds | |
| KR100401213B1 (en) | Pulse wave velocity measurement system using heart sounds and pulse wave | |
| US20260069237A1 (en) | Wearable Soft Electronics-Based Stethoscope | |
| JP7320867B2 (en) | Medical devices and programs | |
| Zhdanov et al. | Short review of devices for detection of human breath sounds and heart tones | |
| Amper-West et al. | Respiratory sound analysis as a diagnosis tool for breathing disorders | |
| Sang | Analysis of Seismocardiogram Signals From Healthy and Unhealthy Subjects Using an Accelerometer Contact Microphone | |
| TW202423373A (en) | Multi-dimensional artificial intelligence auscultation device | |
| Kajor et al. | Preliminary Investigation of Temporomandibular Joint Acoustic Effects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210618 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240703 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250317 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7662932 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |