Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7828231B2 - 超音波時系列データ処理装置及び超音波時系列データ処理プログラム - Google Patents
[go: Go Back, main page]

JP7828231B2 - 超音波時系列データ処理装置及び超音波時系列データ処理プログラム - Google Patents

超音波時系列データ処理装置及び超音波時系列データ処理プログラム

Info

Publication number
JP7828231B2
JP7828231B2 JP2022080336A JP2022080336A JP7828231B2 JP 7828231 B2 JP7828231 B2 JP 7828231B2 JP 2022080336 A JP2022080336 A JP 2022080336A JP 2022080336 A JP2022080336 A JP 2022080336A JP 7828231 B2 JP7828231 B2 JP 7828231B2
Authority
JP
Japan
Prior art keywords
disease
waveform data
series data
target
test site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022080336A
Other languages
English (en)
Other versions
JP2023168940A (ja
Inventor
英司 笠原
智章 長野
勝徳 浅房
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2022080336A priority Critical patent/JP7828231B2/ja
Priority to CN202310450827.1A priority patent/CN117064432A/zh
Priority to US18/138,494 priority patent/US20230368917A1/en
Publication of JP2023168940A publication Critical patent/JP2023168940A/ja
Application granted granted Critical
Publication of JP7828231B2 publication Critical patent/JP7828231B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本明細書は、超音波時系列データ処理装置及び超音波時系列データ処理プログラムを開示する。
従来、被検体内の同一位置(超音波プローブから見て同一方向)に対して超音波の送受波を複数回繰り返し、それにより得られた時系列の受信ビームデータ列である時系列データを画像化又は解析することが行われている。
時系列データを画像化したものとしては、例えば、横軸を時間、縦軸を深度とし、時間軸方向に延びる輝度ラインによって組織の深度方向への動きの様子が示されたMモード画像、あるいは、送信した超音波の周波数と受信した超音波の周波数との差分に基づいて被検部位又は被検部位内を流れる血流の速度を演算し、横軸を時間、縦軸を速度としたドプラ波形画像などが含まれる。
特許文献1には、時系列データを解析する方法として、非侵襲的手法でありながら、血管疾患、特に動脈硬化、血管狭窄、及び動脈瘤を高精度で判定する方法であって、拍動する被験体の血管壁に対して超音波(振動数f)を送波することで振動数がfに変化した反射エコーを受信し、当該反射エコーに対してウェーブレット変換を施してウェーブレットスペクトルを取得し、当該ウェーブレットスペクトルをモード分解してモード別のスペクトルを取得し、ウェーブレット逆変換により時間軸にあるモード別の波形を取得し、モード毎にノルム値を算出し、正常個体から得られたノルム分布と比較することで、血管疾患の有無、あるいは、特定の血管疾患の罹患率を判定する方法が開示されている。
国際公開第2012/008173号
上述のように、従来、時系列データを解析して疾患を判定することが行われていたが、その判定のための演算量が多くなってしまうという問題があった。例えば、上述の特許文献1においては、ウェーブレット変換によってウェーブレットスペクトルを取得し、当該ウェーブレットスペクトルをモード分解してモード別のスペクトルを取得し、ウェーブレット逆変換により時間軸にあるモード別の波形を取得し、モード毎にノルム値を算出し、正常個体から得られたノルム分布と比較するという種々の処理が必要となっている。
本明細書で開示される超音波時系列データ処理装置の目的は、被検体内の同一位置に対して超音波の送受波を複数回繰り返すことで得られた時系列データに基づいて、当該時系列データが示す疾患を予測するための演算量を低減させることにある。
本明細書で開示される超音波時系列データ処理装置は、疾患を有する被検部位内の同一位置に対する超音波の送受波を複数回繰り返し行って、当該被検部位又は当該被検部位内を流れる血液からの反射波に基づいて生成された、信号の時間変化を示す時系列データである学習用時系列データと、当該被検部位が有する疾患を示す情報との組み合わせを学習データとして用いて、入力された前記時系列データに基づいて当該時系列データが示す疾患を予測して出力するように学習された疾患予測学習器に対して、対象被検部位内の同一位置に対する超音波の送受波を複数回繰り返し行うことで生成された前記時系列データである対象時系列データを入力し、当該入力に対する前記疾患予測学習器の出力に基づいて、前記対象時系列データが示す疾患を予測する疾患予測部と、前記疾患予測部の予測結果をユーザに通知する通知部と、を備えることを特徴とする。
当該構成によれば、疾患予測部は、対象時系列データを学習済みの疾患予測学習器に入力すれば、疾患予測学習器の出力に基づいて、当該対象時系列データが示す疾患を予測することができる。これにより、従来に比して、対象時系列データが示す疾患を予測するための演算量が低減される。
前記疾患予測学習器は、入力された前記時系列データに基づいて、複数の疾患それぞれについての当該時系列データが該当する可能性を出力するように学習され、前記疾患予測部は、前記疾患予測学習器に前記対象時系列データを入力して、複数の疾患それぞれについての前記対象時系列データが該当する可能性を予測し、前記通知部は、複数の疾患それぞれについての前記対象時系列データが該当する可能性を前記ユーザに通知するとよい。
当該構成によれば、従来に比して、複数の疾患それぞれについての対象時系列データが該当する可能性を予測するための演算量が低減されると共に、ユーザは、複数の疾患それぞれについての対象時系列データが該当する可能性を把握することができる。
前記通知部は、前記複数の疾患のうち、前記対象時系列データが該当する可能性が最も高かった疾患を表示部に強調表示するとよい。
当該構成によれば、ユーザは、対象時系列データが該当する可能性が最も高い疾患を容易に把握することができる。
前記疾患予測部は、前記対象時系列データが示す疾患の予測に先立って、前記対象被検部位がどの部位であるかを特定し、特定した部位にさらに基づいて、前記対象時系列データが示す疾患を予測するとよい。
当該構成によれば、疾患予測学習器の出力精度が向上されることで、対象時系列データが示す疾患の予測精度を向上させることができる。
前記対象被検部位及び前記被検部位は、脈動する部位であり、前記対象時系列データ及び前記学習用時系列データは、前記対象被検部位及び前記被検部位の脈動周期における同一期間に対応する前記時系列データであるとよい。
当該構成によれば、脈動周期における学習用時系列データと対象時系列データとの期間が同一となることで疾患予測学習器の出力精度が向上され、これにより対象時系列データが示す疾患の予測精度を向上させることができる。
前記対象時系列データを生成する時系列データ生成部と、をさらに備え、前記疾患予測部は、前記時系列データ生成部による前記対象時系列データの生成に対して、リアルタイムに、前記対象時系列データが示す疾患を予測し、前記通知部は、前記疾患予測部による前記対象時系列データが示す疾患の予測に対して、リアルタイムに、前記疾患予測部の予測結果を前記ユーザに通知するとよい。
本明細書で開示される超音波時系列データ処理装置においては、対象時系列データが示す疾患を予測するための演算量が低減され、これにより演算時間も低減される。したがって、当該構成のように、リアルタイムに疾患の予測結果をユーザに通知する場合、対象時系列データの取得時点に対する予測結果の通知の遅延を低減することができる。
また、本明細書で開示される超音波時系列データ処理プログラムは、コンピュータを、疾患を有する被検部位内の同一位置に対する超音波の送受波を複数回繰り返し行って、当該被検部位又は当該被検部位内を流れる血液からの反射波に基づいて生成された、信号の時間変化を示す時系列データである学習用時系列データと、当該被検部位が有する疾患を示す情報との組み合わせを学習データとして用いて、入力された前記時系列データに基づいて当該時系列データが示す疾患を予測して出力するように学習された疾患予測学習器に対して、対象被検部位内の同一位置に対する超音波の送受波を複数回繰り返し行うことで生成された前記時系列データである対象時系列データを入力し、当該入力に対する前記疾患予測学習器の出力に基づいて、前記対象時系列データが示す疾患を予測する疾患予測部と、前記疾患予測部の予測結果をユーザに通知する通知部と、として機能させることを特徴とする。
本明細書で開示される超音波時系列データ処理装置によれば、被検体内の同一位置に対して超音波の送受波を複数回繰り返すことで得られた時系列データに基づいて、当該時系列データが示す疾患を予測するための演算量を低減させることができる。
本実施形態に係る超音波診断装置のブロック図である。 受信ビームデータと受信フレームデータとの関係を示す概念図である。 疾患予測学習器の学習処理の様子を示す概念図である。 疾患予測学習器を用いた予測処理の様子を示す概念図である。 疾患予測部の予測結果を通知する通知画面の第1の例を示す図である。 疾患予測部の予測結果を通知する通知画面の第2の例を示す図である。 本実施形態に係る超音波診断装置の処理の流れを示すフローチャートである。
図1は、本実施形態に係る超音波時系列データ処理装置としての超音波診断装置10のブロック図である。超音波診断装置10は、病院などの医療機関に設置され、超音波検査時に使用される医用装置である。
超音波診断装置10は、Bモード、ドプラモード、及びMモードを含む複数の動作モードで動作可能となっている。Bモードとは、超音波ビーム(送信ビーム)が走査されて得られた複数の受信ビームデータから構成される受信フレームデータに基づいて、走査面からの反射波の振幅強度が輝度に変換された断層画像(Bモード画像)を生成して表示するモードである。ドプラモードは、被検体内において設定された観察ラインにおける送信波と反射波の周波数の差分に基づいて、観察ラインにおける組織の運動速度を示す波形(ドプラ波形)を生成して表示するモードである。ドプラモードには連続波モード、パルスドプラモード、カラードプラモード、あるいはティッシュドプラモードが含まれていてよい。Mモードとは、被検体内において設定された観察ラインに対応する受信ビームデータに基づいて、当該観察ライン上の組織運動を表すMモード画像を生成して表示するモードである。本実施形態は、特に、超音波診断装置10がドプラモード又はMモードで動作する場合に着目する。
超音波プローブであるプローブ12は、超音波の送信及び反射波の受信を行うデバイスである。具体的には、プローブ12は、被検体の体表に当接され、被検体に向けて超音波を送信し、被検体内の組織において反射した反射波を受信する。プローブ12内には、複数の振動素子からなる振動素子アレイが設けられている。振動素子アレイに含まれる各振動素子には、後述の送信部14から電気信号である送信信号が供給され、これにより、超音波ビーム(送信ビーム)が生成される。また、振動素子アレイに含まれる各振動素子は、被検体からの反射波を受信し、反射波を電気信号である受信信号に変換して後述の受信部16に送信する。
送信部14は、超音波の送信時において、後述のプロセッサ34の制御に応じて、複数の送信信号をプローブ12(詳しくは振動素子アレイ)に対して並列的に供給する。これにより振動素子アレイから超音波が送信される。
ドプラモード又はMモードにおいては、医師や検査技師などのユーザによって決定された、被検体の被検部位内の同一位置に対して、プローブ12が送信ビームの送信を複数回繰り返し行うように、送信部14は送信信号をプローブ12に供給する。換言すれば、プローブ12が被検部位内の同一位置に向かう方向への送信ビームの送信を複数回繰り返し行うように、送信部14は送信信号をプローブ12に供給する。なお、Bモードにおいては、プローブ12から送信される送信ビームが走査面内において電子走査されるように、送信部14は送信信号をプローブ12に供給する。あるいは、時分割スキャンを行って、送信ビームを走査面内において電子走査している間に、ユーザによって決定された同一位置への送信ビームの送信を繰り返すようにすることもできる。
受信部16は、反射波の受信時において、プローブ12(詳しくは振動素子アレイ)からの複数の受信信号を並列的に受け取る。受信部16では、複数の受信信号に対する整相加算(遅延加算)が実施され、これにより受信ビームデータが生成される。
ドプラモード又はMモードにおいては、プローブ12が被検部位内の同一位置に対する送信ビームの送信を複数回繰り返したことによって、受信部16は、当該被検部位又は当該被検部位内を流れる血液からの複数の反射波を受信し、複数の反射波に基づいて時系列の受信ビームデータ列を生成する。なお、Bモードにおいては、受信部16は、走査方向に並ぶ複数の受信ビームデータにより受信フレームデータを構成する。
図2は、受信ビームデータBDと受信フレームデータFとの関係を示す概念図である。ドプラモード又はMモードにおいては、ユーザにより指定された位置(方向)に向けて超音波の送受信が行われる。これにより、時系列の複数の受信ビームデータDB(つまり受信ビームデータ列)が生成される。受信ビームデータDBは、各深度からの反射波の強度及び周波数を示す情報を有している。Bモードにおいては、送信ビームが走査方向θに走査されて走査方向θに並ぶ複数の受信ビームデータによって受信フレームデータFが生成される。
ドプラモードにおいては、受信ビームデータ列はドプラ処理部18に送られ、Mモードにおいては、受信ビームデータ列はビームデータ処理部20に送られる。
図1に戻り、ドプラ処理部18は、ドプラモードにおいて、受信部16からの受信ビームデータ列に基づいて、被検部位又は被検部位内を流れる血液の速度の時間変化を示す、時系列データとしてのドプラデータを生成する。具体的には、ドプラ処理部18は、各受信ビームデータについて、参照周波数(送信周波数)を掛け合わせ、ローパスフィルタを通してドプラ偏移を取り出す直交検波、サンプルボリュームの位置の信号のみを取り出すサンプルゲート処理(パルスドプラモードの場合)、信号のA/D変換、及び、高速フーリエ変換法(FFT法)による周波数分析などの処理を行うことでドプラデータを生成する。生成されたドプラデータは、画像生成部22及びプロセッサ34に送られる。ドプラモードの場合、受信部16及びドプラ処理部18が時系列データ生成部に相当する。
ビームデータ処理部20は、Mモードにおいて、受信部16からの受信ビームデータ列に対して、ゲイン補正処理、対数増幅処理、及びフィルタ処理などの各種信号処理を行う。処理後の受信ビームデータ列は、画像生成部22及びプロセッサ34に送られる。本実施形態では、Mモードにおいて、ビームデータ処理部20による処理後の受信ビームデータ列が、被検部位の位置の時間変化を示す時系列データに相当する。この場合、受信部16及びビームデータ処理部20が時系列データ生成部に相当する。なお、Bモードにおいても、ビームデータ処理部20は、受信部16からの受信フレームデータに対して上記の各種信号処理を行う。
画像生成部22は、デジタルスキャンコンバータにより構成され、座標変換機能、画素補間機能、フレームレート変換機能などを備えている。
ドプラモードにおいては、画像生成部22は、ドプラ処理部18からのドプラデータに基づいて、ドプラ波形画像を生成する。ドプラ波形は、時間と速度の2次元平面上に示される波形であり、受信ビームデータ列に対応する観測ライン上の被検部位又は被検部位内を流れる血液の速度の時間変化が示されたものである。
Mモードにおいては、画像生成部22は、ビームデータ処理部20からの受信ビームデータ列に基づいて、Mモード画像を生成する。Mモード画像は、時間と深度の2次元平面上に示される波形であり、受信ビームデータ列に対応する観測ライン上の被検部位の位置の時間変化が示されたものである。
なお、Bモードにおいては、画像生成部22は、ビームデータ処理部20からの受信フレームデータに基づいて、反射波の振幅(強度)が輝度で表されたBモード画像を生成する。
表示制御部24は、画像生成部22で生成された、ドプラ波形画像、Mモード画像、あるいはBモード画像などの各種画像を、例えば液晶パネルなどにより構成される表示部としてのディスプレイ26に表示させる。また、表示制御部24は、後述の疾患予測部36による予測結果をディスプレイ26に表示させる。
なお、送信部14、受信部16、ドプラ処理部18、ビームデータ処理部20、画像生成部22、表示制御部24の各部は、1又は複数のプロセッサ、チップ、電気回路などによって構成されている。各部がハードウェアとソフトウエアとの協働により実現されてもよい。
入力インターフェース28は、例えばボタン、トラックボール、あるいはタッチパネルなどから構成される。入力インターフェース28は、ユーザの指示を超音波診断装置10に入力するためのものである。
メモリ30は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、eMMC(embedded Multi Media Card)、ROM(Read Only Memory)あるいはRAM(Random Access Memory)などを含んで構成される。メモリ30には、超音波診断装置10の各部を動作させるための超音波時系列データ処理プログラムが記憶される。なお、超音波時系列データ処理プログラムは、USB(Universal Serial Bus)メモリ又はCD-ROMなどのコンピュータ読み取り可能な非一時的な記憶媒体に格納することもできる。超音波診断装置10又は他のコンピュータは、そのような記憶媒体から超音波時系列データ処理プログラムを読み取って実行することができる。また、図1に示される通り、メモリ30には、疾患予測学習器32が記憶される。
疾患予測学習器32は、例えば、RNN(Recurrent neural network;回帰型ニューラルネットワーク)、RNNの一種であるLSTM(Long Short Term Memory)、CNN(Convolutional Neural Network;畳み込みニューラルネットワーク)、あるいは、深層強化学習アルゴリズムを利用したDQN(Deep Q-Network)などの学習モデルから構成される。疾患予測学習器32は、疾患を有する被検部位内の同一位置に対する超音波の送受波を複数回繰り返し行って、当該被検部位又は当該被検部位内を流れる血液からの反射波に基づいて生成された時系列データである学習用時系列データと、当該被検部位が有する疾患を示す情報(ラベル)との組み合わせを学習データとして用いて、入力された時系列データに基づいて当該時系列データが示す疾患を予測して出力するように学習されたものである。
図3は、疾患予測学習器32の学習処理の様子を示す概念図である。例えば、疾患予測学習器32には、疾患として「狭窄」を有する被検部位に対して超音波の送受信を行って得られた学習用時系列データが疾患予測学習器32に入力されている。この場合、疾患予測学習器32は、当該学習用時系列データが示す疾患を予測して出力する。疾患予測学習器32は、最終段(出力層)にソフトマックス関数などの活性化関数が設けられており、疾患予測学習器32は、複数の疾患それぞれについての、学習用時系列データが示す可能性(確率)を出力データとして出力する。学習処理を行うコンピュータは、所定の損失関数により、当該出力データと、当該学習用時系列データに付されたラベル(この場合は「狭窄」)との誤差を演算し、当該誤差が小さくなるように、疾患予測学習器32の各パラメータ(例えば各ニューロンの重みやバイアス)を調整する。このような学習処理を繰り返すことで、疾患予測学習器32は、入力された時系列データに基づいて、複数の疾患それぞれについての当該時系列データが該当する可能性を高精度に出力できるようになる。
学習用時系列データの対象となる被検部位は脈動する部位である場合がある。その場合、学習用時系列データは、被検部位の脈動周期における所定期間に対応するデータであるとよい。例えば、被検体に装着された心電計から被検体の心電波形を取得し、心電波形におけるR波からR波の間の期間に取得された受信ビームデータ列に基づく時系列データを学習用時系列データとするとよい。
本実施形態では、学習用時系列データは画像化前のデータ(上述のドプラデータや受信ビームデータ列に相当)であるが、学習用時系列データとしては、ドプラデータや受信ビームデータ列に基づいて画像化されたドプラ波形画像又はMモード画像(詳しくは、ドプラ波形画像やMモード画像の特徴を数値化したデータ)であってもよい。
なお、図3には、学習データとして、疾患を示さない時系列データ(正常時)が含まれているが、正常時の時系列データは学習データに含まれていなくてもよい。また、疾患予測学習器32は、疾患毎に別の学習器が用意されてもよい。その場合、各学習器は、入力された時系列データが、対応する疾患を示す確率を出力するように学習される。
本実施形態では、疾患予測学習器32は、超音波診断装置10以外の他のコンピュータによって学習されて、学習済みの疾患予測学習器32がメモリ30に記憶される。しかし、超音波診断装置10により取得される時系列データを学習用時系列データとして、疾患予測学習器32の学習処理を超音波診断装置10で行うようにしてもよい。この場合、プロセッサ34が、疾患予測学習器32の学習処理を行う学習処理部としての機能を発揮することになる。
図1に戻り、プロセッサ34は、汎用的な処理装置(例えばCPU(Central Processing Unit)など)、及び、専用の処理装置(例えばGPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、あるいは、プログラマブル論理デバイスなど)の少なくとも1つを含んで構成される。プロセッサ34としては、1つの処理装置によるものではなく、物理的に離れた位置に存在する複数の処理装置の協働により構成されるものであってもよい。図1に示すように、プロセッサ34は、メモリ30に記憶された超音波時系列データ処理プログラムに従って、疾患予測部36としての機能を発揮する。
図4は、疾患予測学習器32を用いた予測処理の様子を示す概念図である。疾患予測部36は、疾患予測の対象となる被検部位(本明細書では「対象被検部位」と呼ぶ)内の同一位置に対する超音波の送受波を複数回繰り返し行うことで得られた時系列データ(本明細書では「対象時系列データ」と呼ぶ)を、学習済みの疾患予測学習器32に入力する。上述のように、対象時系列データは、受信部16及びドプラ処理部18(ドプラモードの場合)、又は、受信部16及びビームデータ処理部20(Mモードの場合)により生成されるものである。また、対象時系列データとしては、ドプラデータや受信ビームデータ列に基づいて画像化されたドプラ波形画像又はMモード画像(詳しくは、ドプラ波形画像やMモード画像の特徴を数値化したデータ)であってもよい。
疾患予測学習器32は、入力された対象時系列データに基づいて、対象時系列データが示す疾患を予測して、予測結果を示す出力データを出力する。疾患予測部36は、疾患予測学習器32の出力データに基づいて、対象時系列データが示す疾患を予測する。上述のように、本実施形態では、疾患予測学習器32は、複数の疾患それぞれについての、対象時系列データが示す可能性を出力データとして出力可能である。例えば、疾患予測学習器32は、対象時系列データが疾患Aを示す可能性として「0.12(12%)」を出力し、対象時系列データが疾患Bを示す可能性として「0.83(83%)」を出力し、対象時系列データが疾患Cを示す可能性として「0.06(6%)」を出力し、・・・対象時系列データが疾患Nを示す可能性として「0.03(3%)」を出力する。このような出力データに基づいて、疾患予測部36は、複数の疾患それぞれについての、対象時系列データが該当する可能性を予測することができる。
疾患別に複数の疾患予測学習器32が用意されている場合は、疾患予測部36は、対象時系列データを複数の疾患予測学習器32に順次し、複数の疾患予測学習器32それぞれの出力データに基づいて、複数の疾患それぞれについての対象時系列データが該当する可能性を予測する。
このように、本実施形態においては、疾患予測部36は、対象時系列データを学習済みの疾患予測学習器32に入力すれば、疾患予測学習器32の出力に基づいて、対象時系列データが示す疾患を予測することができる。これにより、従来に比して、対象時系列データが示す疾患を予測するための演算量が低減される。
対象被検部位、及び、学習用時系列データの対象となった被検部位が脈動する部位である場合、対象時系列データ及び学習用時系列データは、対象被検部位及び被検部位の脈動周期における同一期間に対応する時系列データであるとよい。例えば、学習用時系列データが、心電波形におけるR波からR波の間の期間に取得された受信ビームデータ列に基づく時系列データである場合、疾患予測部36は、対象時系列データも、心電波形におけるR波からR波の間の期間に取得された受信ビームデータ列に基づく時系列データとするとよい。脈動周期における学習用時系列データと対象時系列データとの期間が同一となることで、疾患予測学習器32の出力精度を向上させることができる。すなわち、疾患予測部36による対象時系列データが示す疾患の予測精度が向上される。
また、疾患予測部36は、対象時系列データが示す疾患の予測に先立って、対象被検部位がどの部位であるかを特定し、特定した部位にさらに基づいて、対象時系列データが示す疾患を予測するとよい。
対象被検部位がどの部位であるのかの特定は、例えば、対象時系列データに基づいて画像生成部22が生成した画像(ドプラ波形画像又はMモード画像)を解析することで特定することができる。時分割スキャンにより時系列データと共に受信フレームデータが取得されている場合には、当該受信フレームデータに基づいて画像生成部22により生成されたBモード画像を解析することで、対象被検部位がどの部位であるのかの特定するようにしてもよい。あるいは、疾患予測部36は、入力インターフェース28からのユーザ入力に基づいて、対象被検部位がどの部位であるのかの特定してもよい。例えば、ユーザが入力インターフェース28から入力した超音波診断のための設定(例えばユーザにより選択されたプリセットなど)に基づいて、対象被検部位がどの部位であるのかを特定するようにしてもよい。
疾患予測部36は、対象被検部位がどの部位であるかを示すパラメータを、対象時系列データと共に疾患予測学習器32に入力する。これにより、疾患予測学習器32は、対象被検部がどの部位であるかを考慮しつつ、対象時系列データが示す疾患を予測することが可能になる。例えば、疾患予測学習器32は、対象被検部位において生じ得ない疾患を除外した上で、対象時系列データが示す疾患を予測することが可能になる。これにより、疾患予測学習器32の出力精度を向上させることができ、すなわち、疾患予測部36による対象時系列データが示す疾患の予測精度が向上される。
表示制御部24は、疾患予測部36の予測結果をユーザに通知する。すなわち、表示制御部24は通知部として機能する。なお、本実施形態では、疾患予測部36の予測結果は、以下に説明するように表示制御部24によってディスプレイ26に表示させるが、これに加えて又は代えて、音声出力などによって疾患予測部36の予測結果がユーザに通知されてもよい。
図5は、ディスプレイ26に表示された、疾患予測部36の予測結果を通知する通知画面50の第1の例を示す図である。通知画面50においては、対象時系列データに基づいて生成された超音波画像52、及び、疾患予測部36の予測結果54が表示されている。なお、通知画面50はドプラモードにおけるものであり、超音波画像52としてドプラ波形画像が表示されているが、もちろん、Mモードの場合は、超音波画像52としてMモード画像が表示される。
上述のように、疾患予測部36は、複数の疾患それぞれについての、対象時系列データが該当する可能性を予測可能であるため、表示制御部24は、複数の疾患それぞれについての対象時系列データが該当する可能性をユーザに通知するとよい。通知画面50の予測結果54においては、表示制御部24は、複数の疾患名(「疾患A」、「疾患B」、「疾患C」、・・・、「疾患N」)を表示すると共に、各疾患についての対象時系列データが該当する可能性をグラフの形で表示している。
図6は、通知画面50の第2の例を示す図である。図6の通知画面50に示すように、表示制御部24は、予測結果54’において、疾患予測部36が対象時系列データが該当する可能性を予測した複数の疾患のうち、対象時系列データが該当する可能性が最も高かった疾患を強調表示するとよい。図6の例では、複数の疾患のうち、「疾患B」が対象時系列データが該当する可能性が最も高いため、予測結果54’において「疾患B」が強調表示されている。
強調表示の態様としては、種々の態様が考えられる。例えば、強調表示の対象となる疾患を他の疾患とは異なる色やフォントで表示するようにしてもよい。また、強調表示の対象となる疾患にマーカや網掛けなどを施して表示するようにしてもよい。また、複数の疾患を、対象時系列データが該当する可能性が高い順に並べるようにしてもよい。また、強調表示の対象となる疾患(対象時系列データが該当する可能性が最も高かった疾患)のみを表示するようにしてもよい。
複数の疾患のうち、対象時系列データが該当する可能性が最も高かった疾患を強調表示することで、ユーザは、対象時系列データが該当する可能性の高い疾患を容易に把握することができる。
上述のように、本実施形態においては、従来に比して、対象時系列データが示す疾患を予測するための演算量が低減される。すなわち、対象時系列データが示す疾患の予測をより高速に行うことができる。したがって、疾患予測部36は、対象時系列データの生成に対して、リアルタイムに、対象時系列データが示す疾患を予測し、表示制御部24は、疾患予測部36による対象時系列データが示す疾患の予測に対して、リアルタイムに、疾患予測部36の予測結果をユーザに通知するとよい。本実施形態によれば、このようなリアルタイム処理をしても、遅延など生じることなく、スムースに疾患予測部36の予測結果をユーザに通知することができる。
以下、図7に示すフローチャートに従って、本実施形態に係る超音波診断装置10の処理の流れを説明する。
ステップS10において、入力インターフェース28からのユーザの指示に応じて、超音波診断装置10はドプラモード又はMモードを開始する。
ステップS12において、ドプラモードの場合、ドプラ処理部18は、受信部16からの受信ビームデータ列に基づいて、対象時系列データとしてのドプラデータを生成する。Mモードの場合、ビームデータ処理部20は、対象時系列データとしての、各種信号処理が施された受信ビームデータ列を生成する。
ステップS14において、疾患予測部36は、ステップS12で生成された対象時系列データ(ドプラデータ又は受信ビームデータ列)を学習済みの疾患予測学習器32に入力する。そして、疾患予測部36は、対象時系列データに対する疾患予測学習器32の出力データに基づいて、対象時系列データが示す疾患を予測する。
ステップS16において、表示制御部24は、ステップS12で生成されたドプラデータに基づくドプラ波形画像、又は、ステップS12で生成された受信ビームデータ列に基づくMモード画像、並びに、ステップS14における疾患予測部36による予測結果をディスプレイ26に表示させる。これにより、疾患予測部36による予測結果がユーザに通知される。
ステップS18において、プロセッサ34は、ユーザの指示によってドプラモード又はMモードが終了したか否かを判定する。ドプラモード又はMモードが継続されている場合はステップS12に戻り、ステップS12からS18までの処理を繰り返す。ドプラモード又はMモードが終了した場合は処理を終了する。
以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。
例えば、本実施形態では、超音波時系列データ処理装置が超音波診断装置10であったが、超音波時系列データ処理装置は超音波診断装置10に限られず、その他のコンピュータであってもよい。この場合、超音波時系列データ処理装置としてのコンピュータからアクセス可能なメモリに学習済みの疾患予測学習器32が記憶され、当該コンピュータのプロセッサが疾患予測部36及び表示制御部24としての機能を発揮する。
10 超音波診断装置、12 プローブ、14 送信部、16 受信部、18 ドプラ処理部、20 ビームデータ処理部、22 画像生成部、24 表示制御部、26 ディスプレイ、28 入力インターフェース、30 メモリ、32 疾患予測学習器、34 プロセッサ、36 疾患予測部。

Claims (6)

  1. 疾患を有する被検部位内の同一位置に対する超音波の送受波を複数回繰り返し行って、当該被検部位又は当該被検部位内を流れる血液からの反射波に基づいて生成された、信号の時間変化を示す波形データである学習用波形データと、当該被検部位が有する疾患を示す情報と、当該被検部位がどの部位であるかを示す情報との組み合わせを学習データとして用いて、入力された前記波形データに基づいて当該波形データが示す疾患を予測して出力するように学習された疾患予測学習器と、
    対象波形データが示す疾患の予測に先立って、対象被検部位がどの部位であるかを特定し、前記疾患予測学習器に対して、前記対象被検部位内の同一位置に対する超音波の送受波を複数回繰り返し行うことで生成された前記波形データである対象波形データ、及び、前記対象波形データを解析することで特定された前記対象被検部位がどの部位であるかを示す情報を入力し、当該入力に対する前記疾患予測学習器の出力に基づいて、前記対象波形データが示す疾患を予測する疾患予測部と、
    前記疾患予測部の予測結果をユーザに通知する通知部と、
    を備えることを特徴とする超音波時系列データ処理装置。
  2. 前記疾患予測学習器は、入力された前記波形データに基づいて、複数の疾患それぞれについての当該波形データが該当する可能性を出力するように学習され、
    前記疾患予測部は、前記疾患予測学習器に前記対象波形データを入力して、複数の疾患それぞれについての前記対象波形データが該当する可能性を予測し、
    前記通知部は、複数の疾患それぞれについての前記対象波形データが該当する可能性を前記ユーザに通知する、
    ことを特徴とする請求項1に記載の超音波時系列データ処理装置。
  3. 前記通知部は、前記複数の疾患のうち、前記対象波形データが該当する可能性が最も高かった疾患を表示部に強調表示する、
    ことを特徴とする請求項2に記載の超音波時系列データ処理装置。
  4. 前記対象被検部位及び前記被検部位は、脈動する部位であり、
    前記対象波形データ及び前記学習用波形データは、前記対象被検部位及び前記被検部位の脈動周期における同一期間に対応する前記波形データである、
    ことを特徴とする請求項1に記載の超音波時系列データ処理装置。
  5. 前記対象波形データを生成する時系列データ生成部と、
    をさらに備え、
    前記疾患予測部は、前記時系列データ生成部による前記対象波形データの生成に対して、リアルタイムに、前記対象波形データが示す疾患を予測し、
    前記通知部は、前記疾患予測部による前記対象波形データが示す疾患の予測に対して、リアルタイムに、前記疾患予測部の予測結果を前記ユーザに通知する、
    ことを特徴とする請求項1に記載の超音波時系列データ処理装置。
  6. 疾患を有する被検部位内の同一位置に対する超音波の送受波を複数回繰り返し行って、当該被検部位又は当該被検部位内を流れる血液からの反射波に基づいて生成された、信号の時間変化を示す波形データである学習用波形データと、当該被検部位が有する疾患を示す情報と、当該被検部位がどの部位であるかを示す情報との組み合わせを学習データとして用いて、入力された前記波形データに基づいて当該波形データが示す疾患を予測して出力するように学習された疾患予測学習器を備えるコンピュータを、
    対象波形データが示す疾患の予測に先立って、対象被検部位がどの部位であるかを特定し、前記疾患予測学習器に対して、前記対象被検部位内の同一位置に対する超音波の送受波を複数回繰り返し行うことで生成された前記波形データである対象波形データ、及び、前記対象波形データを解析することで特定された前記対象被検部位がどの部位であるかを示す情報を入力し、当該入力に対する前記疾患予測学習器の出力に基づいて、前記対象波形データが示す疾患を予測する疾患予測部と、
    前記疾患予測部の予測結果をユーザに通知する通知部と、
    として機能させることを特徴とする超音波時系列データ処理プログラム。
JP2022080336A 2022-05-16 2022-05-16 超音波時系列データ処理装置及び超音波時系列データ処理プログラム Active JP7828231B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022080336A JP7828231B2 (ja) 2022-05-16 2022-05-16 超音波時系列データ処理装置及び超音波時系列データ処理プログラム
CN202310450827.1A CN117064432A (zh) 2022-05-16 2023-04-24 超声波时间序列数据处理装置以及非临时性存储介质
US18/138,494 US20230368917A1 (en) 2022-05-16 2023-04-24 Ultrasound time-series data processing device and ultrasound time-series data processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022080336A JP7828231B2 (ja) 2022-05-16 2022-05-16 超音波時系列データ処理装置及び超音波時系列データ処理プログラム

Publications (2)

Publication Number Publication Date
JP2023168940A JP2023168940A (ja) 2023-11-29
JP7828231B2 true JP7828231B2 (ja) 2026-03-11

Family

ID=88699413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022080336A Active JP7828231B2 (ja) 2022-05-16 2022-05-16 超音波時系列データ処理装置及び超音波時系列データ処理プログラム

Country Status (3)

Country Link
US (1) US20230368917A1 (ja)
JP (1) JP7828231B2 (ja)
CN (1) CN117064432A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2025027365A (ja) * 2023-08-14 2025-02-27 富士フイルム株式会社 超音波診断装置及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020049212A (ja) 2018-09-21 2020-04-02 キヤノンメディカルシステムズ株式会社 装置、医用情報処理装置、及びプログラム
WO2020158100A1 (ja) 2019-01-30 2020-08-06 富士フイルム株式会社 医用画像解析装置、方法およびプログラム
JP2020146455A (ja) 2019-03-06 2020-09-17 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP2021068309A (ja) 2019-10-25 2021-04-30 直己 岡田 重症度評価装置及びモデル生成装置
JP2021100555A (ja) 2019-12-24 2021-07-08 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
CN113256596A (zh) 2021-06-08 2021-08-13 北博(厦门)智能科技有限公司 一种基于神经网络模型的医院影像检查方法及终端

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2987633B2 (ja) * 1989-06-26 1999-12-06 富士写真フイルム株式会社 異常陰影検出装置
JP5127371B2 (ja) * 2007-08-31 2013-01-23 キヤノン株式会社 超音波画像診断システム、及びその制御方法
JP2015119917A (ja) * 2013-12-25 2015-07-02 日立アロカメディカル株式会社 超音波診断装置
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
US20200196987A1 (en) * 2018-12-20 2020-06-25 General Electric Company Method and system to manage beamforming parameters based on tissue density
CN113423344B (zh) * 2019-02-15 2024-09-27 富士胶片株式会社 超声波诊断装置及超声波诊断装置的控制方法
KR102940670B1 (ko) * 2020-01-22 2026-03-19 삼성메디슨 주식회사 초음파 진단 장치, 초음파 진단 장치 제어방법, 및 컴퓨터 프로그램 제품
US20220233167A1 (en) * 2021-01-22 2022-07-28 Echo Mind AI Corp Detecting pathologies using an ultrasound probe

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020049212A (ja) 2018-09-21 2020-04-02 キヤノンメディカルシステムズ株式会社 装置、医用情報処理装置、及びプログラム
WO2020158100A1 (ja) 2019-01-30 2020-08-06 富士フイルム株式会社 医用画像解析装置、方法およびプログラム
JP2020146455A (ja) 2019-03-06 2020-09-17 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP2021068309A (ja) 2019-10-25 2021-04-30 直己 岡田 重症度評価装置及びモデル生成装置
JP2021100555A (ja) 2019-12-24 2021-07-08 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
CN113256596A (zh) 2021-06-08 2021-08-13 北博(厦门)智能科技有限公司 一种基于神经网络模型的医院影像检查方法及终端

Also Published As

Publication number Publication date
JP2023168940A (ja) 2023-11-29
US20230368917A1 (en) 2023-11-16
CN117064432A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
US10338203B2 (en) Classification preprocessing in medical ultrasound shear wave imaging
CN104640506B (zh) 超声波诊断装置、医用图像处理装置和医用图像处理方法
US12245895B2 (en) Method and ultrasound system for shear wave elasticity imaging
JP5481108B2 (ja) 超音波診断装置及び自動診断支援装置
JP7333448B2 (ja) 超音波診断装置
JP2020531074A (ja) 画像アーチファクト特定及び除去のための深層学習ネットワークを有する超音波システム
US11432806B2 (en) Information processing apparatus, information processing method, and storage medium
US20220401081A1 (en) Reduction of reverberation artifacts in ultrasound images and associated devices, systems, and methods
JP7775141B2 (ja) 超音波時系列データ処理装置及び超音波時系列データ処理プログラム
CN113440166B (zh) 利用超声医学成像的肝病活动估计
JP7828231B2 (ja) 超音波時系列データ処理装置及び超音波時系列データ処理プログラム
CN114173673A (zh) 使用图像数据进行的超声系统声学输出控制
US20240293105A1 (en) Liver disease activity estimation with ultrasound medical imaging
US20060079783A1 (en) Method and system for deriving a fetal heart rate without the use of an electrocardiogram in non-3D imaging applications
JP7828241B2 (ja) 超音波時系列データ処理装置及び超音波時系列データ処理プログラム
CN113015490B (zh) 用于同时呈现多门多普勒信号的对应于不同解剖结构的多普勒信号的方法和系统
US20220142614A1 (en) Ultrasound-derived proxy for physical quantity
KR100842234B1 (ko) 도플러 스펙트럼의 베이스라인 및 스케일을 조절하는 영상처리 시스템 및 방법
EP4597162A1 (en) A method of optimizing an ultrasound image
JP2025115471A (ja) 超音波診断装置及び脂肪率推定方法
KR20260038203A (ko) 초음파 의료 영상을 이용한 조직 비선형 응답으로부터 지방 분율 추정
JP4050707B2 (ja) 超音波計測装置
CN120713562A (zh) 一种超声成像方法和超声成像设备
CN113939236A (zh) 一种超声成像设备及其超声回波信号的处理方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20240821

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20251111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260227

R150 Certificate of patent or registration of utility model

Ref document number: 7828231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150